CN115497084A - 一种仿真车牌图片和字符级别标注的生成方法 - Google Patents

Abstract

本发明公开了一种仿真车牌图片和字符级别标注的生成方法，涉及图像数据处理技术领域；该方法包括以下的步骤：S10、单张车牌的素材准备和生成，包括素材准备的步骤和批量生成单张车牌图片的步骤；S20、车头背景图片和数据增强，包括素材准备的步骤和数据增强的步骤，其中素材准备包括获取不同车型的车头图片、统计夜晚和白天的汽车数量占比以及不同天气类型的占比；数据增强包括采用仿射变换或透视变换，对车牌图片进行形变来模拟真实场景下停车场摄像头拍摄车牌的形变；本发明的有益效果是：可供企业低成本且快速地增加车牌图像数据和单个字符的坐标值的数据，缩短了需要单个字符坐标信息的车牌识别的深度学习神经网络的研发时间。

Description

一种仿真车牌图片和字符级别标注的生成方法

技术领域

本发明涉及图像数据处理技术领域，更具体的说，本发明公开了一种仿真车牌图片和字符级别标注的生成方法。

背景技术

基于深度学习的车牌识别方法日益成熟，但由于车牌数据具有隐私性，导致车牌图像数据较难获取。

有些深度学习车牌识别模型中涉及对单个字符的识别，面临着单个字符的车牌标注数据集资源稀缺的难题。如果对车牌的单个字符的进行人工标注，将导致标注时间周期长，开发成本高昂。

以上两点导致车牌识别的训练数据量难以提升，严重影响模型效果。

市面上其它的车牌数据生成技术，比如用生成对抗神经网络GAN生成车牌，虽然可以得到与真实车牌相似的车牌图片，但不能得到单个字符的坐标值，它们只能用于CRNN+CTC等不需要单个字符坐标信息的车牌识别深度学习神经网络的数据扩充，不能用于需要单个字符坐标信息的深度学习神经网络的数据扩充。

发明内容

为了克服现有技术的不足，本发明提供一种仿真车牌图片和字符级别标注的生成方法。

本发明解决其技术问题所采用的技术方案是：一种仿真车牌图片和字符级别标注的生成方法，其改进之处在于，该方法包括以下的步骤：

S10、单张车牌的素材准备和生成，包括素材准备的步骤和批量生成单张车牌图片的步骤，其中所述的素材准备的步骤包括获取车牌的规范信息、获取单个字符设计图、确定不同类别的汽车/摩托车的车牌数量占比；

S20、车头背景图片和数据增强，包括素材准备的步骤和数据增强的步骤，其中素材准备包括获取不同车型的车头图片、统计夜晚和白天的汽车数量占比以及不同天气类型的占比；数据增强包括采用仿射变换或透视变换，对车牌图片进行形变，以模拟真实场景下停车场摄像头拍摄车牌的形变。

进一步的，所述步骤S10中，车牌的规范信息包括汽车/摩托车的所有字符取值集合、所有车牌类别、不同类别车牌的底色和字符颜色、单个字符宽度和高度、字符间的间隙、字符到车牌上下边的间隙、单行/双行车牌字符个数和检验码。

进一步的，所述步骤S10中，获取单个字符设计图包括以下步骤：

S101、通过采集多个车牌的字体设计的样本，裁剪后获得单个字符的集合；

S102、在字体库中进行相似度匹配，选取多次比对中投票结果最多的字体，定为该字符的字体；

S103、通过步骤S101和步骤S102，获取所有字符的字体，从而得到所有字符的单个字符设计图。

进一步的，所述步骤S10中，确定不同类别的汽车/摩托车的车牌数量占比包括：

查阅政府发放的汽车/摩托车的各个类别车牌的占比数据，或者统计采集的多个车牌数据，得到汽车/摩托车的不同类别的数据占比。

进一步的，所述步骤S10中，所述素材准备的步骤还包括确定车牌边框的步骤，该步骤包括以下内容：

归纳总结采集的车牌数据，统计出边框的类别和不同边框的数量占比，采用画图软件模仿设计出车牌边框；

所述素材准备的步骤还包括特殊情况的车牌底色和字符颜色处理的步骤：整体采集的特殊情况的车牌，统计其占比，特殊情况包括夜间情况下，车牌反光时车牌和字符颜色所呈现出的特殊颜色。

进一步的，所述步骤S10中，批量生成单张车牌图片的步骤包括：

S110、根据汽车/摩托车各个类别车牌的占比比例选择车牌底色，再选择配套的字体颜色；

S111、根据车牌的规范信息中字符与上下行的间隔、不同字符间的位置间隔以及校验码的要求，设置各个位置每个字符的概率，并根据概率，在车牌固定的单个字符位置上随机选择一个字符，并采用OpenCV或者Pillow库进行贴图，直至贴完一张车牌，同时也得出了每个字符的类别信息和坐标位置；

S112、根据边框样式的占比比例选择一款边框用OpenCV贴图，得到完整的车牌。

进一步的，步骤S20中，通过查阅地区的各个品牌不同车型销售占比，或对采集的数据进行统计，得出不同车型的车头图片素材和数据占比；

从历史天气中计算各类天气的汽车/摩托车的数量占比，其中各类天气包括下雨天、阴天和起雾天气。

进一步的，步骤S20中，采用仿射变换对车牌图片进行形变时，包括：

进行多次尝试单个仿射变换类型和多个仿射变换组合后的效果，判断车牌的形变效果是否与摄像头拍摄的形变效果类似和单个字符的形变程度是否能被深度学习网络识别，确定各个仿射变换的参数取值区间；

随机选取五种仿射变化的排列组合，并在各个变换的取值区间随机取值，得到每种仿射变换的参数；

仿射变换后的各个字符的坐标值，采用总仿射变换矩阵乘以原始坐标得到。

进一步的，仿射变换的类型包括平移、旋转、放缩、剪切、反射。

进一步的，步骤S20中，采用透视变换对车牌图片进行形变时，通过确定各个透视变换的参数取值区间，参数乘以透视变换矩阵，再用该透视变换矩阵对图片矩阵和单个字符的坐标值进行矩阵乘法，即对该图片实现了透视变换，并得到了透视变换后的单个字符的坐标值。

本发明的有益效果是：本发明的一种仿真车牌图片和字符级别标注的生成方法，可供企业低成本且快速地增加车牌图像数据和单个字符的类别和坐标值的数据，缩短含识别单个字符的车牌识别神经网络的研发时间，降低车牌识别项目的研发成本。增加多场景的车牌数据，增强模型鲁棒性和可迁移性。

附图说明

图1为本发明的一种仿真车牌图片和字符级别标注的生成方法的流程示意图。

图2为本发明中生成车牌的示意图。

图3为本发明中根据单个字符的类别和坐标值的内容绘制而成的示意图。

图4为本发明中各种数据增强后的车牌的示意图。

图5为官方的一行车牌规范的示意图。

图6为为官方的两行车牌规范的示意图。

图7至图9为单个字符的设计图的示意图。

图10为各种类型的车牌边框的示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

实施例1

参照图1所示，本发明揭示了一种仿真车牌图片和字符级别标注的生成方法，具体的，在本实施例中，该方法包括以下的步骤：

S10、单张车牌的素材准备和生成，包括素材准备的步骤和批量生成单张车牌图片的步骤，其中所述的素材准备的步骤包括获取车牌的规范信息、获取单个字符设计图、确定不同类别的汽车/摩托车的车牌数量占比；

在本实施例中，车牌的规范信息包括汽车/摩托车的所有字符取值集合、所有车牌类别、不同类别车牌的底色和字符颜色、单个字符宽度和高度、字符间的间隙、字符到车牌上下边的间隙、单行/双行车牌字符个数和检验码。

并且，所述步骤S10中，获取单个字符设计图包括以下步骤：

S101、通过采集多个车牌的字体设计的样本，裁剪后获得单个字符的集合；

S102、在字体库中进行相似度匹配，选取多次比对中投票结果最多的字体，定为该字符的字体；

S103、通过步骤S101和步骤S102，获取所有字符的字体，从而得到所有字符的单个字符设计图。

所述步骤S10中，确定不同类别的汽车/摩托车的车牌数量占比包括：

查阅政府发放的汽车/摩托车的各个类别车牌的占比数据，或者统计采集的多个车牌数据，得到汽车/摩托车的不同类别的数据占比。

另外，所述步骤S10中，所述素材准备的步骤还包括确定车牌边框的步骤，该步骤包括以下内容：

车牌边框对于车牌识别来说容易误识别成“1”和“Y”等，所以需要加入设计。通过归纳总结采集的车牌数据，统计出边框的类别和不同边框的数量占比，采用画图软件模仿设计出车牌边框；

所述素材准备的步骤还包括特殊情况的车牌底色和字符颜色处理的步骤：整体采集的特殊情况的车牌，统计其占比。特殊情况包括夜间情况下，车牌反光时车牌和字符颜色所呈现出的特殊颜色。

进一步的，所述步骤S10中，批量生成单张车牌图片的步骤包括：

S110、根据汽车/摩托车各个类别车牌的占比比例选择车牌底色，再选择配套的字体颜色；

S111、根据车牌的规范信息中字符与上下行的间隔、不同字符间的位置间隔以及校验码的要求，设置各个位置每个字符的概率，并根据概率，在车牌固定的单个字符位置上随机选择一个字符，并采用OpenCV或者Pillow库进行贴图，直至贴完一张车牌，同时也得出了每个字符的类别信息和坐标位置；

S112、根据边框样式的占比比例选择一款边框用OpenCV贴图，得到完整的车牌。

参照图2所示，即为本发明提供了一具体实施例，生成的车牌示意图。参照图3所示，其中左侧图纸为根据单个字符的类别和坐标值的内容绘制而成的示意图，右侧图纸为该张车牌的各个字符的坐标值；其中，这张车牌对应的各个字符的坐标值的txt的内容解释为：1、每行内容为一个字符的坐标值信息（这张车牌是8个字符，所以有8行）；2、每行的5个内容分别为：字符的内容，字符框的中心点归一化x值，字符框的中心点归一化y值，字符框的归一化宽w，字符框的归一化高h。

上述的步骤中，生成的只是理想条件下的车牌内容，现实生活中，停车场拍摄的车牌由于光照强弱、天气变化、摄像头透视失真等，拍摄的数据比较模糊且有一定形变。所以需要进行数据增强，使仿真车牌的数据分布和摄像头拍摄的车牌数据分布接近，才能使模型学习得更好。

S20、车头背景图片和数据增强，包括素材准备的步骤和数据增强的步骤，其中素材准备包括获取不同车型的车头图片、统计夜晚和白天的汽车数量占比以及不同天气类型的占比；数据增强包括采用仿射变换或透视变换对车牌图片进行形变，以模拟真实场景下停车场摄像头拍摄车牌的形变。

由于车头的纹理有时会导致车牌的误识别，需加入考虑。步骤S20中，通过查阅地区的各个品牌不同车型销售占比，或对采集的数据进行统计，得出不同车型的车头图片素材和数据占比；

不同光照强度下，车牌的识别准确率差异很大，需要统计街头采集的白天和晚上的汽车/摩托车的数量占比；

从历史天气中计算各类天气的汽车/摩托车的数量占比，其中各类天气包括下雨天、阴天和起雾天气。

本实施例中，步骤S20中，采用仿射变换对车牌图片进行形变时，包括：进行多次尝试单个仿射变换类型和多个仿射变换组合后的效果，判断车牌的形变效果是否与摄像头拍摄的形变效果类似和单个字符的形变程度是否能被深度学习网络识别，确定各个仿射变换的参数取值区间；

随机选取五种仿射变化的排列组合，并在各个变换的取值区间随机取值，得到每种仿射变换的参数；

由高等代数可知，对图片做一种仿射变化，就是用该种仿射变换对应的仿射变换矩阵去乘以图片RGB三维矩阵，用参数乘以仿射变换矩阵就是得到该参数的仿射变换矩阵；做多种仿射变换，就是按仿射变换组合的前后顺序，对各个仿射变换矩阵依次进行矩阵左乘之后得到的总仿射变换矩阵去乘以图片矩阵；

仿射变换后的各个字符的坐标值，采用总仿射变换矩阵乘以原始坐标得到。

本实施例中，仿射变换的类型包括平移、旋转、放缩、剪切、反射。

在另一个具体的实施例中，步骤S20中，采用透视变换对车牌图片进行形变时，通过确定各个透视变换的参数取值区间，参数乘以透视变换矩阵，再用该透视变换矩阵对图片矩阵和单个字符的坐标值进行矩阵乘法，即对该图片实现了透视变换，并得到了透视变换后的单个字符的坐标值。

另外，不需要变动单个字符坐标值的的数据增强；在上述的实施例中，由于车牌进行仿射变换和透视变换后，车牌会有空缺部分，需要用多种车头图片素材用OpenCV进行按位填充。采用OpenCV实现对车牌亮度，锐化，高斯模糊、椒盐噪点等效果。采用OpenCV实现起雾，下雨天，不同光源等效果。

参照图4所示，即为各种数据增强后的车牌的示意图。

实施例2

参照图5至图10所示，本发明提供了一种仿真车牌图片和字符级别标注的生成方法，对于步骤S10中的获取单个字符设计图的具体步骤，本发明还提供了具体实施例，如图5所示，为采集的一行车牌规范的示意图；如图6所示，为采集的两行车牌规范的示意图；所包含的信息包括单个字符的高度、单个字符的宽度、相邻字符之间的间距以及字符的宽度等。如图7所示，为黑底白字的单个字符的设计图；如图8所示，为白底黑字的单个字符的设计图；如图9所示，为白底蓝字的单个字符的设计图。关于字符的尺寸，除数字“1”的宽为30高为70外，其余字符的宽为50高70。

结合5至图9所示，本实施例中关于获取单个字符设计图的具体步骤，包括以下内容：

步骤1、根据采集统计概率选择本地图片，确定是一行车牌还是两行车牌；

步骤2、根据统计概率从三种车牌底图颜色中选择其中一个颜色的车牌底图；

步骤3、根据统计概率选择一个车牌边框，贴在车牌底图上，得到一个含有车牌边框的车牌底图；如图10所示，即为各种类型的车牌边框的示意图；

步骤4、根据官方网站每个字母和数字的最近部分到车牌顶部或底部的间距为10毫米”和“每个字母和数字的最近部分到车牌侧面的距离为20毫米”的规定，首先确定一行车牌或者两行车牌的第一个字符的左上角坐标值(x1,y1)，按照统计概率选择第一个字符，颜色需要和车牌底图颜色匹配。

用OpenCV或者Pillow库把该字符的图片贴到步骤3所得的含车框的车牌底图上。根据左上角的位置和该字符的宽高值(宽：width, 高：height)可以计算得到该字符的右下角的坐标值（x2,y2）即(x1+width, y1+height)，并且记录下该字符的字符内容。

步骤5. 根据官网要求“相邻字母之间或相邻数字之间的间距为10毫米”和“相邻的字母和数字之间的间距为20毫米”的要求确定字符间隙，依次贴上后面的字符（车牌的最后一个字符如有校验码的要求，可以根据官网给出的校验码的规定，由前面所有的字符内容计算得到），得到一张完整的车牌和车牌里每个字符的字符内容、左上角坐标值(x1,y1)和右下角坐标值（x2,y2）。

本发明的一种仿真车牌图片和字符级别标注的生成方法，可供企业低成本且快速地增加车牌图像数据和单个字符的坐标值的数据，缩短了需要单个字符坐标信息的车牌识别的深度学习神经网络的研发时间，解决“需要单个字符的坐标值”的信息的深度学习神经网络难以快速、低成本地获得训练数据的问题，降低车牌识别项目的研发成本。增加多场景的车牌数据，可增强模型鲁棒性和可迁移性。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种仿真车牌图片和字符级别标注的生成方法，其特征在于，该方法包括以下的步骤：

S10、单张车牌的素材准备和生成，包括素材准备的步骤和批量生成单张车牌图片的步骤，其中所述的素材准备的步骤包括获取车牌的规范信息、获取单个字符设计图、确定不同类别的汽车/摩托车的车牌数量占比；

S20、车头背景图片和数据增强，包括素材准备的步骤和数据增强的步骤，其中素材准备包括获取不同车型的车头图片、统计夜晚和白天的汽车数量占比以及不同天气类型的占比；数据增强包括采用仿射变换或透视变换，对车牌图片进行形变，以模拟真实场景下停车场摄像头拍摄车牌的形变。

2.根据权利要求1所述的一种仿真车牌图片和字符级别标注的生成方法，其特征在于，所述步骤S10中，车牌的规范信息包括汽车/摩托车的所有字符取值集合、所有车牌类别、不同类别车牌的底色和字符颜色、单个字符宽度和高度、字符间的间隙、字符到车牌上下边的间隙、单行/双行车牌字符个数和检验码。

3.根据权利要求2所述的一种仿真车牌图片和字符级别标注的生成方法，其特征在于，所述步骤S10中，获取单个字符设计图包括以下步骤：

S101、通过采集多个车牌的字体设计的样本，裁剪后获得单个字符的集合；

S102、在字体库中进行相似度匹配，选取多次比对中投票结果最多的字体，定为该字符的字体；

S103、通过步骤S101和步骤S102，获取所有字符的字体，从而得到所有字符的单个字符设计图。

4.根据权利要求3所述的一种仿真车牌图片和字符级别标注的生成方法，其特征在于，所述步骤S10中，确定不同类别的汽车/摩托车的车牌数量占比包括：

查阅政府发放的汽车/摩托车的各个类别车牌的占比数据，或者统计采集的多个车牌数据，得到汽车/摩托车的不同类别的数据占比。

5.根据权利要求3所述的一种仿真车牌图片和字符级别标注的生成方法，其特征在于，所述步骤S10中，所述素材准备的步骤还包括确定车牌边框的步骤，该步骤包括以下内容：

归纳总结采集的车牌数据，统计出边框的类别和不同边框的数量占比，采用画图软件模仿设计出车牌边框；

所述素材准备的步骤还包括特殊情况的车牌底色和字符颜色处理的步骤：整体采集的特殊情况的车牌，统计其占比，特殊情况包括夜间情况下，车牌反光时车牌和字符颜色所呈现出的特殊颜色。

6.根据权利要求4所述的一种仿真车牌图片和字符级别标注的生成方法，其特征在于，所述步骤S10中，批量生成单张车牌图片的步骤包括：

S110、根据汽车/摩托车各个类别车牌的占比比例选择车牌底色，再选择配套的字体颜色；

S111、根据车牌的规范信息中字符与上下行的间隔、不同字符间的位置间隔以及校验码的要求，设置各个位置每个字符的概率，并根据概率，在车牌固定的单个字符位置上随机选择一个字符，并采用OpenCV或者Pillow库进行贴图，直至贴完一张车牌，同时也得出了每个字符的类别信息和坐标位置；

S112、根据边框样式的占比比例选择一款边框用OpenCV贴图，得到完整的车牌。

7.根据权利要求1所述的一种仿真车牌图片和字符级别标注的生成方法，其特征在于，步骤S20中，通过查阅地区的各个品牌不同车型销售占比，或对采集的数据进行统计，得出不同车型的车头图片素材和数据占比；

从历史天气中计算各类天气的汽车/摩托车的数量占比，其中各类天气包括下雨天、阴天和起雾天气。

8.根据权利要求1所述的一种仿真车牌图片和字符级别标注的生成方法，其特征在于，步骤S20中，采用仿射变换对车牌图片进行形变时，包括：

进行多次尝试单个仿射变换类型和多个仿射变换组合后的效果，判断车牌的形变效果是否与摄像头拍摄的形变效果类似和单个字符的形变程度是否能被深度学习网络识别，确定各个仿射变换的参数取值区间；

随机选取五种仿射变化的排列组合，并在各个变换的取值区间随机取值，得到每种仿射变换的参数；

仿射变换后的各个字符的坐标值，采用总仿射变换矩阵乘以原始坐标得到。

9.根据权利要求8所述的一种仿真车牌图片和字符级别标注的生成方法，其特征在于，仿射变换的类型包括平移、旋转、放缩、剪切、反射。

10.根据权利要求1所述的一种仿真车牌图片和字符级别标注的生成方法，其特征在于，步骤S20中，采用透视变换对车牌图片进行形变时，通过确定各个透视变换的参数取值区间，参数乘以透视变换矩阵，再用该透视变换矩阵对图片矩阵和单个字符的坐标值进行矩阵乘法，即对该图片实现了透视变换，并得到了透视变换后的单个字符的坐标值。

Images