CN111008632B - 一种基于深度学习的车牌字符分割方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的车牌字符分割方法，属于车牌识别技术领域，包括获取待识别的车牌图像，并根据车牌图像得到车牌位置局部图像；将车牌位置局部图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵；根据mask特征矩阵，获取车牌字符候选区域的掩码图像；根据feature特征矩阵，获取车牌字符候选区域的像素特征；根据车牌字符候选区域的掩码图像和车牌字符候选区域的像素特征，得到车牌位置局部图像中车牌字符的位置矩形。本发明通过逐像素语义分割和聚类机制，使得车牌字符位置的检测结果更加准确，检出率更高。

Description

一种基于深度学习的车牌字符分割方法

技术领域

本发明涉及车牌识别技术领域，特别涉及一种基于深度学习的车牌字符分割方法。

背景技术

车牌识别是智能交通的核心技术，包含了三个部分：车牌定位，字符分割，字符识别。其中，字符分割是整个技术最重要的一部分，字符分割的好坏，直接影响后续的字符识别，进而影响整体的识别性能。

字符分割是指在一幅已知车牌准确位置的图像中，精确分割出每个单一字符。对于清晰的车牌图像，已有很多成熟方法，可以获得较好的分割结果。然而，实际环境中，由于光线变化、拍摄角度、车牌污损等各种复杂场景的存在，会造成车牌字符的模糊、缺失、粘连等缺陷的出现。当前的成熟方法很难进行精确分割，从而造成最终的车牌识别失败。因此，如何有效的对低质量车牌图像进行精确字符分割，仍然是当前限制车牌识别技术的难题。

目前，车牌字符分割主要有以下几类方法：

(1)基于垂直投影的方法：该方法通过获取车牌字符的垂直投影曲线，依据曲线的波峰波谷位置，获取每个字符的边缘位置。该类方法的优点是算法简单，速度快，对于清晰车牌，分割效果较佳。其缺点是对于一些污损、粘连、定位不够精确的低质量车牌，分割效果会明显下降，甚至失效。

(2)基于连通区域分析的方法：该方法首先进行车牌图像二值化，利用单个字符都是单连通区域的特征进行分析，最终获取字符的位置。该类方法的优点是对低图像质量的车牌适应性较好，速度较快，然而，它对于缺失、粘连的字符，却无能为力。

(3)基于机器学习的方法：如“一种基于支持向量机的车牌字符分割方法”(中国专利公开号为CN103207998A，公开日期为2013年07月17日)，该类方法通过获取车牌的布局规律特征，借助分类器进行训练学习，最终完成车牌字符的分割。其优点是对于清晰车牌，识别效果较佳，对于低质量图像也有一定的抵抗性。其缺点是合适的布局规律特征较难选取，部分变形车牌不满足布局规律，计算特征的过程，相对较复杂。

(4)基于深度学习的方法：近年来，深度学习技术凭借着可以模拟人类大脑神经网络，能够进行精确的非线性预测，各个领域都得到了广泛的关注和应用。因此出现了一批经典的目标位置检测网络框架，如faster rcnn，ssd，yolo等，这些经典网络框架通过迁移学习，可以很好地检测车牌字符位置。但该类技术的缺点是模型消耗内存很大，运算量很大，基于anchor box的模型训练参数很复杂，不易收敛，这些缺点严重的限制了深度学习算法在车牌字符分割领域的应用。

发明内容

本发明的目的在于克服现有技术存在的不足或缺陷，以提高车牌字符分割的结果的准确性。

为实现以上目的，本发明采用一种基于深度学习的车牌字符分割方法，包括如下步骤：

获取待识别的车牌图像，并根据车牌图像得到车牌位置局部图像；

将车牌位置局部图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵；

根据mask特征矩阵，获取车牌字符候选区域的掩码图像；

根据feature特征矩阵，获取车牌字符候选区域的像素特征；

根据车牌字符候选区域的掩码图像和车牌字符候选区域的像素特征，得到车牌位置局部图像中车牌字符的位置矩形。

进一步地，所述深度神经网络模型包括基干网络和预测网络，预测网络包括mask分支网络和feature分支网络，基干网络的输入为所述车牌位置局部图像，基干网络的输出结果为所述车牌位置局部图像的高级特征层，基干网络的输出分别接mask分支网络和feature分支网络的输入。

进一步地，所述基干网络包括1个卷积层conv0和3个残差网络基础机构体resblock1、resblock2、resblock3，conv0、resblock1、resblock2和resblock3依次连接；

每个残差网络基础机构体包括1个下采样层maxpool、一个卷积层conv0、一个卷积层conv1、一个合并层eltsum和一个卷积层conv，卷积层conv0的输出与卷积层conv1输入连接，卷积层conv1和下采样层maxpool的输出均与合并层eltsum输入连接，合并层eltsum的输出与卷积层conv输入连接；

卷积层conv0、卷积层conv1和卷积层conv的输出均连接有批量归一化BN层和非线性激活relu层。

进一步地，所述mask分支网络包括第一卷积层和2个上采样块，2个上采样块依次连接后与第一卷积层输入连接；

所述feature分支网络包括第二卷积层和2个上采样块，2个上采样块依次连接后与第二卷积层输入连接；

所述上采样块包括依次连接的上采样层、第三卷积层、批量化归一层和激活函数层，上采样层采用反卷积操作。

进一步地，所述深度神经网络模型的训练步骤包括：

获取已标注的样本图像训练集，在每个样本图像中，车牌字符区域标注为1，车牌背景区域标注为0；

构建所述深度神经网络模型的目标损失函数，该目标损失函数包括所述mask分支网络的目标损失函数和所述feature分支网络的目标损失函数；

将已标注的样本图像训练集输入至所述深度神经网络模型中进行训练，得到所述预训练后的深度神经网络模型。

进一步地，所述mask分支网络的目标损失函数采用经典的交叉熵损失函数，所述feature分支网络的目标损失函数采用具有聚类性质的高区分度损失函数，其中具有聚类性质的高区分度损失函数为：

/>

其中，L_feature表示所述feature分支网络的目标损失函数，C是样本图像中标注的车牌字符区域数目，n_c表示第c个车牌字符区域内的像素数目，u_c表示第c个车牌字符区域的所有像素的特征向量的中心，u_c1表示第c1个车牌字符区域的所有像素的特征向量的中心，u_c2表示第c2个车牌字符区域的所有像素的特征向量的中心，x_i表示第i个像素的特征向量，||.||表示L2距离，[x]₊＝max(0,x)，δ_s和δ_d表示偏移量。

进一步地，将车牌位置局部图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵，包括：

将所述车牌位置局部图像输入至所述预先训练好的深度神经网络模型中，利用所述基干网络提取所述车牌位置局部图像的高级特征层，并分别输入至所述mask分支网络和所述feature分支网络；

利用所述mask分支网络对高级特征层进行处理，得到所述mask特征矩阵；

利用所述feature分支网络对高级特征层进行处理，得到所述feature特征矩阵。

进一步地，所述根据mask特征矩阵，获取车牌字符候选区域的掩码图像，包括：

基于所述mask特征矩阵，利用如下公式获取所述车牌位置局部图像中车牌字符候选区域的掩码图像：

其中，bin(i，j)表示(i，j)位置处像素的掩码，m(i，j)表示所述mask分支网络的输出特征矩阵上(i，j)位置处预测值，T_obj表示掩码判断阈值。

进一步地，所述根据feature特征矩阵，获取车牌字符候选区域的像素特征，包括：

以所述车牌字符候选区域的掩码图像为参考，在所述feature特征矩阵上提取所有车牌字符候选区域的像素特征。

进一步地，所述根据车牌字符候选区域的掩码图像和车牌字符候选区域的像素特征，得到车牌位置局部图像中车牌字符的位置矩形，包括：

对在所述掩码图像上属于同一车牌字符区域的像素点进行聚类，获得属于同一车牌字符区域的像素集合；

根据属于同一车牌字符区域的像素集合，获取其最小外接矩形作为车牌字符的位置矩形。

与现有技术相比，本发明存在以下技术效果：本发明采用深度学习技术对车牌字符进行分割，利用训练好的深度神经网络模型对车牌位置局部图像进行处理，得到mask特征矩阵和feature特征矩阵。从mask特征矩阵中获取车牌字符候选区域的掩码图像和从feature特征矩阵获取车牌字符候选区域的像素特征，对车牌字符候选区域的像素特征进行聚类处理，得到在掩码图像上属于同一车牌字符区域的像素点集合，获取其最小外接矩形，即为车牌字符位置矩形。本方案通过逐像素语义分割和聚类机制，使得车牌字符位置的检测结果更加准确，检出率更高。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种基于深度学习的车牌字符分割方法的流程示意图；

图2是本发明方案的整体流程示意图；

图3是深度神经网络模型结构图；

图4是基干网络结构图；

图5是残差网络基础机构体结构图；

图6是mask分支网络结构图；

图7是feature分支网络结构图；

图8是上采样块upsample block结构图。

附图中：

每个模块图形旁边的字母数字，表示当前特征层的特征图尺寸，即：特征图高度×特征图宽度×特征图通道数。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种基于深度学习的车牌字符分割方法，包括如下步骤S1至S5：

S1、获取待识别的车牌图像，并根据车牌图像得到车牌位置局部图像；

需要说明的是，本实施例中使用已有的车牌位置检测方法从车牌图像中获取车牌位置局部图像。

S2、将车牌位置局部图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵；

S3、根据mask特征矩阵，获取车牌字符候选区域的掩码图像；

S4、根据feature特征矩阵，获取车牌字符候选区域的像素特征；

S5、根据车牌字符候选区域的掩码图像和车牌字符候选区域的像素特征，得到车牌位置局部图像中车牌字符的位置矩形。

其中，通过考虑车牌字符分割任务的特殊性和深度神经网络模型设计的复杂性，设计出的深度神经网络模型的作用是用于提取输入图像的高级特征层，并根据高级特征层判断输入图像上每个像素点位置是否输入某一个字符区域。即可先判断图像上每个像素点是否属于车牌字符区域，再判断图像像素点是否属于某一个车牌字符区域。

本实施例中利用深度神经网络模型对输入图像进行处理，分别得到mask特征矩阵和feature特征矩阵，利用mask特征矩阵获取车牌字符候选区域的掩码图像，利用feature特征矩阵获取车牌字符候选区域的像素特征，其中mask特征矩阵为1通道、尺寸为128*64的特征矩阵，feature特征矩阵为N通道、尺寸为128*64的特征矩阵，其中N表示每个像素点的特征向量维度。通过对车牌字符位置候选区域的像素特征进行聚类处理，得到在掩码图像上属于同一车牌区域的像素点集合，获取其最小外接矩形，即为车牌位置矩形。通过逐像素语义分割和聚类机制，使得车牌位置的检测结果更加准确，检出率更高。

进一步地，在上述对车牌位置局部图像进行车牌字符位置检测之前，还需对深度神经网络模型进行构建及训练，然后利用训练好的深度神经网络模型进行车牌字符位置检测，如图2所示：

(1)设计深度神经网络模型：

由于本实施例中深度神经网络模型的作用是：提取输入图像(车牌位置局部图像)的高级特征层，并根据获取的高级特征层判断图像上每个像素点位置是否属于某一个字符区域。综合考虑车牌字符分割任务的特殊性和深度神经网络模型的计算复杂性，本实施例中采用的深度神经网络模型如图3所示：其包括一个高效的基干网络和两个分支预测网络，即mask分支网络和feature分支网络。其中，基干网络主要用于提取输入图像的高级特征层，mask分支网路判断图像每个像素点是否属于车牌字符区域，feature分支网络判断图像像素点是否属于某一个车牌字符区域。另外，图3中粗黑框区域表示的是使用训练模型进行车牌字符分割时的后续处理模块。

本实施例采用的深度神经网络是卷积神经网络(Convolutional NeuralNetworks，CNN)，凭借着局部稀疏连接和权值共享，卷积神经网络是图像处理领域应用最普遍的深度神经网络。具体的设计说明如下：

1-1)设计深度神经网络模型输入图像，本实施例所采用的输入图像是尺寸为128*64的RGB图像；

1-2)设计基干网络，基干网络主要用来提取输入图像的高级特征层，是整个深度神经网络模型中运算操作最密集的部分，直接决定了深度神经网络模型的运行速度。由于车牌区域颜色种类较少，字符颜色和背景区域颜色存在明显的差异，本发明采用的基干网络如图4所示，该基干网络包括一个核尺寸为3x3，跨度为2的卷积层conv0，3个残差网络基础机构体resblock1、resblock2、resblock3。

其中，残差网络基础机构体的具体网络结构如图5所示，图5中，maxpool层是一个核尺寸为2x2，跨度为2的下采样层，conv0层是一个核尺寸为3x3，跨度为2的卷积层，conv1层是一个核尺寸为3x3，跨度为1的卷积层，eltsum层是不同分支对应元素相加的合并层，conv层是一个核尺寸为3x3，跨度为1的卷积层，主要用于融合eltsum层获取的特征。该基干网络的输出就是高层特征层feature map。另外，基干网络中的每一个卷积层后面均带有批量归一化BN层和非线性激活relu层。

1-3)设计mask分支网络，如图6所示，mask分支网络包括2个上采样块upsampleblock，模块图形名字中括号内的数值表示上采样率，1个卷积核尺寸是1x1，跨度是1的卷积层，该卷积层的输出特征图是1通道、尺寸为128*64的特征矩阵；

1-4)设计feature分支网络，如图7所示，feature分支网络包括2个上采样块upsample block，模块图形名字中括号内的数值表示上采样率，1个卷积核尺寸是1x1，跨度是1的卷积层，该卷积层的输出特征图是N通道、尺寸为128*64的特征矩阵，其中N表示每个像素点的特征向量维度；

1-5)设计upsample block，如图8所示，每一个upsample block包括一个上采样层upsample，1个卷积核尺寸是3x3，跨度是1的卷积层conv，一个批量归一化层batchnorm，一个激活函数层relu。其中，upsample采用的是常用的反卷积操作deconvolution，图8中模块图形名字中括号内的数值表示上采样率。

需要说明的是，本实施例中通过综合考虑车牌字符分割任务的特殊性和深度神经网络模型的计算复杂性，设计出的深度神经网络模型包括基干网络和两个分支预测网络，可减少模型内存消耗，极大的提升了***的运行速度。

(2)训练深度神经网络模型：

主要是通过大量的标注好的训练样本数据，优化深度神经网络模型参数，使得深度神经网络模型检测性能最优，具体的步骤如下：

2-1)获取训练样本图像，主要是收集各种场景，各种光线、各种角度下的车牌图像，然后使用现有的车牌位置检测方法获取车牌位置局部图像，然后对车牌位置局部图像进行标注，其中车牌字符区域标注为1，车牌背景区域标注为0；

2-3)设计深度神经网络模型的目标损失函数，mask分支的目标损失函数采用的是经典的交叉熵损失函数，feature分支的目标损失函数采用的是如公式(1)所定义的具有聚类性质的高区分度损失函数；

其中，L_feature表示所述feature分支网络的目标损失函数，C是样本图像中标注的车牌字符区域数目，n_c表示第c个车牌字符区域内的像素数目，u_c表示第c个车牌字符区域的所有像素的特征向量的中心，u_c1表示第c1个车牌字符区域的所有像素的特征向量的中心，u_c2表示第c2个车牌字符区域的所有像素的特征向量的中心，x_i表示第i个像素的特征向量，||.||表示L2距离，[x]₊＝max(0,x)，δ_s和δ_d表示偏移量。

2-4)训练深度神经网络模型，主要是把标注好的车牌样本图像集合送入定义好的深度神经网络模型，学习相关的模型参数。

需要说明的是，本实施例中通过采用无anchor训练机制，降低了模型训练的难度，同时使得训练模型的收敛速度更快。

(3)利用预先训练好的深度神经网络模型对车牌位置局部图像进行处理，检测出车牌字符位置：

3-1)在实际环境中，对于任意给出的一幅车牌位置局部图像，将车牌位置局部图像输入至所述预先训练好的深度神经网络模型中，利用所述基干网络提取所述车牌位置局部图像的高级特征层，并分别输入至所述mask分支网络和所述feature分支网络；

3-2)将mask分支网络的输出作为mask特征矩阵；

3-3)将feature分支网络的输出作为feature特征矩阵；

3-4)获取车牌字符候选区域掩码，主要是在mask分支输出的mask特征矩阵上，按照如下公式获取图像中车牌字符候选区域掩码，即可能存在车牌字符区域的掩码图像；

其中，bin(i，j)表示(i，j)位置处像素的掩码，m(i，j)表示mask分支的输出特征矩阵上(i，j)位置处预测值，T_obj表示掩码判断阈值。

3-5)提取车牌字符候选区域的像素特征，主要是在featurefe分支输出特征矩阵上，以车牌字符候选区域掩码为参考，提取所有车牌字符候选区域像素的特征向量；

3-6)车牌字符区域识别，判断掩码图像上，哪些像素点是属于同一个车牌字符区域，主要基于kmeans聚类方法，对所有车牌字符候选区域像素的特征向量进行聚类处理，获得属于同一车牌字符区域的像素集合，共有7类；

3-7)获取车牌字符位置矩形，在属于一个车牌字符区域的像素集合的基础上，获取最小外接矩形，即是车牌字符位置矩形。

需要说明的是，本实施例中基于逐像素语义分割和聚类机制，车牌字符分割结果更加准确，对于无损、粘连、字符缺失、定位不够精确的低质量车牌图像，可实现更高准确度的车牌字符分割，鲁棒性更强。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的车牌字符分割方法，其特征在于，包括：

获取待识别的车牌图像，并根据车牌图像得到车牌位置局部图像；

将车牌位置局部图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵；

根据mask特征矩阵，获取车牌字符候选区域的掩码图像；

根据feature特征矩阵，获取车牌字符候选区域的像素特征；

根据车牌字符候选区域的掩码图像和车牌字符候选区域的像素特征，得到车牌位置局部图像中车牌字符的位置矩形；

所述深度神经网络模型包括基干网络和预测网络，预测网络包括mask分支网络和feature分支网络，基干网络的输入为所述车牌位置局部图像，基干网络的输出结果为所述车牌位置局部图像的高级特征层，基干网络的输出分别接mask分支网络和feature分支网络的输入；

所述基干网络包括1个卷积层conv0和3个残差网络基础机构体resblock1、resblock2、resblock3，conv0、resblock1、resblock2和resblock3依次连接；

每个残差网络基础机构体包括1个下采样层maxpool、一个卷积层conv0、一个卷积层conv1、一个合并层eltsum和一个卷积层conv，卷积层conv0的输出与卷积层conv1输入连接，卷积层conv1和下采样层maxpool的输出均与合并层eltsum输入连接，合并层eltsum的输出与卷积层conv输入连接；

卷积层conv0、卷积层conv1和卷积层conv的输出均连接有批量归一化BN层和非线性激活relu层；

所述mask分支网络包括第一卷积层和2个上采样块，2个上采样块依次连接后与第一卷积层输入连接；

所述feature分支网络包括第二卷积层和2个上采样块，2个上采样块依次连接后与第二卷积层输入连接；

所述上采样块包括依次连接的上采样层、第三卷积层、批量化归一层和激活函数层，上采样层采用反卷积操作；

所述深度神经网络模型的训练步骤包括：

获取已标注的样本图像训练集，在每个样本图像中，车牌字符区域标注为1，车牌背景区域标注为0；

构建所述深度神经网络模型的目标损失函数，该目标损失函数包括所述mask分支网络的目标损失函数和所述feature分支网络的目标损失函数；

将已标注的样本图像训练集输入至所述深度神经网络模型中进行训练，得到所述预训练后的深度神经网络模型；

所述mask分支网络的目标损失函数采用经典的交叉熵损失函数，所述feature分支网络的目标损失函数采用具有聚类性质的高区分度损失函数，其中具有聚类性质的高区分度损失函数为：

/>

其中，L_feature表示所述feature分支网络的目标损失函数，C是样本图像中标注的车牌字符区域数目，n_c表示第c个车牌字符区域内的像素数目，u_c表示第c个车牌字符区域的所有像素的特征向量的中心，u_c1表示第c1个车牌字符区域的所有像素的特征向量的中心，u_c2表示第c2个车牌字符区域的所有像素的特征向量的中心，x_i表示第i个像素的特征向量，||.||表示L2距离，[x]₊＝max(0,x)，δ_s和δ_d表示偏移量。

2.如权利要求1所述的基于深度学习的车牌字符分割方法，其特征在于，将车牌位置局部图像输入至预先训练好的深度神经网络模型中进行前向运算，得到mask特征矩阵和feature特征矩阵，包括：

将所述车牌位置局部图像输入至所述预先训练好的深度神经网络模型中，利用所述基干网络提取所述车牌位置局部图像的高级特征层，并分别输入至所述mask分支网络和所述feature分支网络；

利用所述mask分支网络对高级特征层进行处理，得到所述mask特征矩阵；

利用所述feature分支网络对高级特征层进行处理，得到所述feature特征矩阵。

3.如权利要求1所述的基于深度学习的车牌字符分割方法，其特征在于，所述根据mask特征矩阵，获取车牌字符候选区域的掩码图像，包括：

基于所述mask特征矩阵，利用如下公式获取所述车牌位置局部图像中车牌字符候选区域的掩码图像：

其中，bin(i，j)表示(i，j)位置处像素的掩码，m(i，j)表示所述mask分支网络的输出特征矩阵上(i，j)位置处预测值，T_obj表示掩码判断阈值。

4.如权利要求1所述的基于深度学习的车牌字符分割方法，其特征在于，所述根据feature特征矩阵，获取车牌字符候选区域的像素特征，包括：

以所述车牌字符候选区域的掩码图像为参考，在所述feature特征矩阵上提取所有车牌字符候选区域的像素特征。

5.如权利要求1所述的基于深度学习的车牌字符分割方法，其特征在于，所述根据车牌字符候选区域的掩码图像和车牌字符候选区域的像素特征，得到车牌位置局部图像中车牌字符的位置矩形，包括：

对在所述掩码图像上属于同一车牌字符区域的像素点进行聚类，获得属于同一车牌字符区域的像素集合；

根据属于同一车牌字符区域的像素集合，获取其最小外接矩形作为车牌字符的位置矩形。

Images