CN109583408A - 一种基于深度学习的车辆关键点对齐方法 - Google Patents

Abstract

本发明提供一种基于深度学习的车辆关键点对齐方法，利用深度卷积网络强大的特征提取能力对车辆的车窗、车灯、车牌等区域进行特征点回归。将车辆关键点通过几何矩阵运算得到车辆对齐矩阵，从而将车辆校正对齐至同一角度和方向，完成车辆对齐效果。本方案所述的车辆关键点对齐方法可行性高，实时性强，提取得到的关键点可以有效表征车辆整体情况和细节信息，经过对齐后的车辆图像有利于后续分类识别算法的识别率提升。

Description

一种基于深度学习的车辆关键点对齐方法

技术领域

本发明属于计算机视觉处理技术领域，具体涉及一种基于深度学习的 车辆关键点对齐方法。

背景技术

随着人工智能和计算机视觉技术的发展，车辆识别技术已经广泛运用 于许多图侦和公安***中，如卡口***、电子警察***、智能交通和自动 驾驶等领域中。但由于室外复杂环境光照和车辆多角度多方向行驶的现实 情况影响，车辆识别技术容易产生误识别的情况，亟待解决的是提高车辆 识别的准确率。因此，对车辆图片进行预处理和校正，提供较好的车辆图 片用于算法识别，是一条提高识别率的可行之路。

关于车辆特征点对齐的方法目前仅有一篇专利(《基于梯度回归树的车 辆关键点检测方法及装置》)，主要采用了传统机器学习算法。获取待检测 图片各关键点的初始位置，并将关键点的初始位置输入到经过训练的分类 器中检测得到各关键点的最终位置。采用级联的方式进行关键点提取，但 由于特征为手工设计，难以对各类复杂的监控场景有较好的鲁棒性。

由于受到现实复杂环境下光照条件、背景物遮挡、相机成像质量、运 动模糊等方面的综合影响，安防监控场景下的道路车辆视频或图像存在角 度较大、背光、逆光、车身不全、图像模糊等影响算法识别精度的情况。 如何有效地准确提取车辆关键区域并进行校准至同一位置，为后续车辆属 性识别特征提供有效的预处理，成为一个亟待解决的问题。现有技术采用 传统算法架构，利用梯度回归树逐点回归结合全局约束规则进行车辆关键 点提取的策略，仅能适应卡口或电警场景下图像清晰、车身较正且无遮挡 的情况，无法对复杂的视频监控场景下大角度低质量车辆图片进行有效提 取，泛化性较差。

发明内容

本发明的目的是提出一种基于深度学习的车辆关键点对齐方法，以解 决现有技术无法对复杂的视频监控场景下大角度低质量车辆图片进行有效 提取，泛化性较差的技术问题。

本发明通过以下技术方案实现：

一种基于深度学习的车辆关键点对齐方法，该方法包括以下步骤：(1) 利用CNN卷积神经网络对车辆的车窗、车灯及车牌区域进行车辆关键点提 取和输出；(2)将车辆关键点通过几何矩阵运算得到车辆关键点对齐矩阵； (3)基于该对齐矩阵将车辆校正对齐至同一角度和方向。

进一步地，在所述的车辆关键点提取步骤之前，收集卡口与道路监控 的车辆图片作为训练集，进行训练集图片标注和训练集数据增强。

进一步地，所述的训练集图片标注的区域包括：车窗外轮廓、车辆大 灯、车辆下边缘、车辆下轮廓中点和车牌，总共对车辆进行了19个关键点 的标注。

进一步地，所述的训练集数据增强包括对所述训练集中的车辆图片进 行一种或多种方式的图像变换。

优选的，所述的图像变换包括：加噪、随机擦除、旋转、亮度变化或 仿射变换。

进一步地，所述的CNN卷积神经网络，其结构包括：一个数据data层， 五个卷积conv层，两个局部响应归一化LRN层，三个池化pooling层和两 个全连接fc层。

优选的，所述数据data层的输入为3通道，宽高分别为227和227。

进一步地，所述的结构还包括6个激活函数relu1-relu6。

进一步地，所述的车辆关键点的对齐步骤具体包括：

1)计算标注区域车窗外轮廓的最左和最右的两个车辆关键点的中点坐 标(cx,cy)；

2)计算上述两个车辆关键点与水平轴的角度；

3)计算旋转矩阵M；

4)利用M*X实现车辆对齐，其中X为输入的车辆图像矩阵。

本发明还包括一种非易失性存储介质，其包括一条或多条计算机指令， 所述一条或多条计算机指令在执行时实现上述所述的方法。

与现有技术相比，本发明至少具有下述的有益效果或优点：

本发明提供的这种基于深度学习的车辆关键点对齐方法，将车辆整车 区域作为输入，利用卷积神经网络强大的特征提取能力和尺度不变性特点， 实现车辆关键点的提取和输出。该方法引入CNN深度神经网络，通过大量 数据学习自动得到有效特征，能够有效适应各种角度和复杂环境下的车辆 关键点提取，相比现有技术方案鲁棒性和泛化能力更强；采用自主设计的 轻量级神经网络，大幅降低模型显存占用和耗时，实现快速检测和定位。该方法可适用于电警卡口等标准化场景，也可适用于城市道路监控场景， 实现对车辆关键区域的提取和定位，从而进行各种车辆属性识别，例如车 型识别、品牌识别和车牌识别等。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1为本发明的车辆关键点标注图。

图2为本发明实施深度学习网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进 行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有 做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范 围。

针对现有技术中采用传统算法架构，利用梯度回归树逐点回归结合全 局约束规则进行车辆关键点提取的策略，仅能适应卡口或电警场景下图像 清晰、车身较正且无遮挡的情况，无法对复杂的视频监控场景下大角度低 质量车辆图片进行有效提取，泛化性和实时性较差。本发明提出了一种基 于深度学习的车辆关键点对齐方法，将车辆整车区域作为输入，利用卷积 神经网络强大的特征提取能力和尺度不变性特点，实现车辆关键点的提取和输出。该方法引入CNN深度神经网络，通过大量数据学习自动得到有效 特征，能够有效适应各种角度和复杂环境下的车辆关键点提取，相比现有 技术方案鲁棒性和泛化能力更强；采用自主设计的轻量级神经网络，大幅 降低模型显存占用和耗时，实现快速检测和定位。该方法可适用于电警卡 口等标准化场景，也可适用于城市道路监控场景，实现对车辆关键区域的 提取和定位，从而进行各种车辆属性识别，例如车型识别、品牌识别和车 牌识别等。具体技术方案如下：

1.训练集图片标注

本方案收集卡口与道路监控图片作为训练集，对训练集中的图片，如 图1所示，标注如下：

总共对车辆进行了19个关键点的标注，其中1、2、18、19号点标注 车窗外轮廓；3、4、6、7、13、14、16、17号点标注车辆大灯；5、15号 点标注车辆下边缘；8、9、11、12号点标注车牌区域；10号点标注车辆下 轮廓中点。通过19个点的标注设计，实现对车辆关键区域，如车灯和外轮 廓的完整标注，有利于后续模型自动学习车辆关键特征。

2.训练集数据增强

对图片进行如下5种方式的图像变换，对训练集数据进行增强，以提 高模型对不同情况(包括简单和复杂场景)的适应能力：

1)加噪。因为现实世界中数字图像会受到各种各样干扰和噪声的影响， 因此对训练集的加噪处理可以有效模拟监控场景下车辆图片的真实情况；

2)随机擦除。针对原始图片进行随机区域选择，并进行区域填充，实 现对图片的随机擦除，增强模型对遮挡样本的检测适应能力；

3)旋转。以原始图片中心点为圆点，利用图像预处理方法对图像进行 旋转，包括顺时针旋转3～5°，逆时针旋转3～5°，增强模型对有一定角度 的车辆图像的适应能力；

4)亮度变化。现实场景中，很多图像会出现光线不足显得很暗、或者 过度曝光情况，需要深度学习模型对不同亮度和对比度的图像进行有效适 应。利用图像处理算法对图像进行亮度调整(变亮、变暗等)，模拟现实场 景中各类光照条件；

5)仿射变换。实现图像内二维坐标的线性变换，模拟现实场景下车辆 图像变形压缩的各种情况。

3.深度网络设计

现有的官方网络，如VGGNet、GoogleNet、ResNet和DenseNet等，虽 然对各类图像处理任务具有较为优秀的特征提取能力，但由于网络过于复 杂，计算参数较多，会造成模型显存占用过大和耗时过多，难以应用到实 际工程项目和产品中。在综合考虑准确率和模型消耗的前提下，本发明设 计了一个轻量型的关键点提取网络，主要包含以下几个部分：

1个输入的数据data层，5个卷积conv层，分别为conv1、conv2、 conv3、conv4以及conv5；2个LRN层(Local Response Normalization， 即局部响应归一化层)，分别为norm1和norm2；3个池化pooling层，分 别为pool1、pool2以及pool5；2个全连接fc层，分别为fc6和fc7。所 述data层的输入为3通道，宽高分别为227和227；该网络结构还包括6 个激活函数relu1-relu6；具体结构如图2所示。

4.模型训练

模型训练采用“知识蒸馏”的方式，即将训练好的复杂模型推广能力 “知识”迁移到一个结构更为简单的网络中。首先训练一个复杂的大型网 络模型，利用“蒸馏”的方式，利用一个紧凑设计的网络模型从复杂模型 中提取出特征信息，达到大模型所具有的性能，从而在保证模型性能的前 提下大幅减少模型参数和计算量。

5.车辆对齐方法

1)计算关键点第2点和第18点的中点坐标(cx,cy)；

2)计算关键点第2点和第18点与水平轴的角度θ；

3)依据2)中的角度θ计算旋转矩阵

4)利用M*X实现车辆对齐，其中X为输入的车辆图像矩阵。

本发明还提供了一种非易失性存储介质，其包括一条或多条计算机指 令，所述一条或多条计算机指令在执行时实现上述所述的方法。

本方案针对现实监控场景下车辆多角度多方向情况影响算法识别精度 的问题，提出一种基于深度学习的车辆关键点对齐方法，利用深度卷积网 络强大的特征提取能力对车辆的车窗、车灯、车牌等区域进行特征点回归。 将车辆关键点通过几何矩阵运算得到车辆对齐矩阵，从而将车辆校正对齐 至同一角度和方向，完成车辆对齐效果。本方案所述的车辆关键点提取和 对齐方法可行性高，实时性强，提取得到的关键点可以有效表征车辆整体 情况和细节信息，经过对齐后的车辆图像有利于后续分类识别算法的识别 率提升。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而 已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内， 所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的车辆关键点对齐方法，其特征在于，所述的方法包括以下步骤：(1)利用CNN卷积神经网络对车辆的车窗、车灯及车牌区域进行车辆关键点提取和输出；(2)将车辆关键点通过几何矩阵运算得到车辆关键点对齐矩阵；(3)基于该对齐矩阵将车辆校正对齐至同一角度和方向。

2.根据权利要求1所述的方法，其特征在于，在所述的车辆关键点提取步骤之前，收集卡口与道路监控的车辆图片作为训练集，进行训练集图片标注和训练集数据增强。

3.根据权利要求2所述的方法，其特征在于，所述的训练集图片标注的区域包括：车窗外轮廓、车辆大灯、车辆下边缘、车辆下轮廓中点和车牌，总共对车辆进行了19个关键点的标注。

4.根据权利要求2所述的方法，其特征在于，所述的训练集数据增强包括对所述训练集中的车辆图片进行一种或多种方式的图像变换。

5.根据权利要求4所述的方法，其特征在于，所述的图像变换包括：加噪、随机擦除、旋转、亮度变化或仿射变换。

6.根据权利要求1所述的方法，其特征在于，所述的CNN卷积神经网络，其结构包括：一个数据data层，五个卷积conv层，两个局部响应归一化LRN层，三个池化pooling层和两个全连接fc层。

7.根据权利要求6所述的方法，其特征在于：所述数据data层的输入为3通道，宽高分别为227和227。

8.根据权利要求6所述的方法，其特征在于，所述的结构还包括6个激活函数relu1-relu6。

9.根据权利要求3所述的方法，其特征在于，所述的车辆关键点的对齐步骤具体包括：

1)计算标注区域车窗外轮廓的最左和最右的两个车辆关键点的中点坐标(cx,cy)；

2)计算上述两个车辆关键点与水平轴的角度；

3)计算旋转矩阵M；

4)利用M*X实现车辆对齐，其中X为输入的车辆图像矩阵。

10.一种非易失性存储介质，其特征在于，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述权利要求1-9任一项所述的方法。