CN112418208B - 基于Tiny-YOLO v3的焊缝胶片字符识别方法 - Google Patents

Abstract

本发明属于焊缝胶片字符识别相关技术领域，其公开了一种基于Tiny‑YOLO v3的焊缝胶片字符识别方法，该方法包括：将Tiny‑YOLO v3网络中除上层预设层数外的多层3×3卷积层替换为特征融合提取的GCF模块，将预测层替换为小尺度预测层，并更新了网络中的anchor值，获得了优化后的Tiny‑YOLO v3网络；对优化后的Tiny‑YOLO v3网络进行训练获得训练完成的Tiny‑YOLO v3网络；采用训练完成的Tiny‑YOLO v3网络对待测试焊缝胶片数据进行识别即可获得焊缝胶片上的字符。本发明可以在确保网络对目标具备高检测精度的同时，具有更小的模型尺寸，更快的训练和检测速度。

Description

基于Tiny-YOLO v3的焊缝胶片字符识别方法

技术领域

本发明属于焊缝胶片字符识别相关技术领域，更具体地，涉及一种基于Tiny-YOLOv3的焊缝胶片字符识别方法。

背景技术

特种设备等公司所使用的焊缝图像大多都是使用X射线进行投射得到的胶片图像，焊缝胶片图像上包含着用于识别焊缝信息的文字或符号，对这些字符进行准确识别对于追溯整个焊缝检测过程有着决定性作用。目前深度神经网络结构日益复杂，在提高检测精度的同时增大了对高性能硬件的依赖性，出于对成本的考虑，大部分企业不会购置计算与存储能力更强设备用于检测任务，故现有的卷积神经网络不能满足特种设备企业信息检测的实用性要求，尽管已有一些针对该任务的轻量化网络，但其网格模型大小仍旧超过了50MB，且识别准确率在95％以下，模型各方面能力均还有待提高。因此，需要设计一种更加轻量化性能更高的神经网络，在保证神经网络准确率的基础上对网络进行压缩，使之满足检测任务准确性、实时性与检测设备便携性和经济性的要求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于Tiny-YOLO v3的焊缝胶片字符识别方法，可以提供了一种更加轻量化，识别准确性更高的焊缝胶片字符识别方法，极大的降低了检测模型在工业应用过程中对高性能硬件的依赖。

为实现上述目的，按照本发明的一个方面，提供了一种基于Tiny-YOLO v3的焊缝胶片字符识别方法，所述方法包括：S1，将Tiny-YOLO v3网络中除上层预设层数外的多层3×3卷积层替换为特征融合提取的GCF模块；S2，将所述Tiny-YOLO v3网络的大尺度和中尺度的预测层替换为小尺度预测层；S3，根据样本的尺寸替换所述Tiny-YOLO v3网络的anchor值，至此完成了所述Tiny-YOLO v3网络的优化；S4，对优化后的所述Tiny-YOLO v3网络进行训练以更新所述Tiny-YOLO v3网络的权重值获得训练完成的Tiny-YOLO v3网络；S5，采用训练完成的Tiny-YOLO v3网络对待测试焊缝胶片数据进行识别即可获得焊缝胶片上的字符。

优选地，并将所述Tiny-YOLO v3网络的每个栅格中的anchor的数量设置为1个。

优选地，所述GCF模块由Ghost模块和CSP特征融合模块结合而成，具体结合步骤如下：所述GSP特征融合模块将输入特征图在维度上均分为两部分，其中第一部分不进行任何操作，第二部分输入Ghost模块进行特征提取后与所述第一部分进行堆叠。

优选地，所述第二部分输入Ghost模块进行特征提取的步骤为：第二部分特征图依次输入卷积层、归一化层和激活层后获得中间特征图，将所述中间特征图依次进入深度卷积层、归一化层和激活层后与所述中间特征图堆叠后输出。

优选地，步骤S1中具体为将Tiny-YOLO v3网络的除第一层外的多层3×3卷积层替换为特征融合提取的GCF模块。

优选地，所述步骤S3中所述根据样本的尺寸替换所述Tiny-YOLO v3网络的anchor值具体步骤为：S3’，获取具有焊缝胶片图像数据集中的每个真实标注框的长度和宽度，并求取其平均值，将该平均值加入到所述焊缝胶片图像数据集中重新求取平均值，将获得的平均值加入上一焊缝胶片图像数据集中再次求解平均值，以此方式不断向所述焊缝胶片图像数据集中添加平均值数据，直至求解的平均值与求解的上一平均值误差小于预设值，则根据最终求解的平均值尺寸获取anchor值。

优选地，采用k-means++算法并将所述k-means++算法中的聚类中心设置为1个实现所述步骤S3’。

优选地，步骤S4中采用训练集对所述优化后的所述Tiny-YOLO v3网络进行训练，所述训练集的获得方法为：将焊缝胶片图像进行归一化处理；对归一化处理后的焊缝胶片图像进行标注，获得所述焊缝胶片图像的类别、大小和位置，将所述焊缝胶片图像及其类别、大小和位置信息存储为一组，则多个焊缝胶片图像及其标注信息构成数据集，将所述数据集分为训练集和测试集。

优选地，若所述焊缝胶片图像数量少于预设值，则对所述焊缝胶片图像归一化后分别对所述焊缝胶片图像进行亮度调节和对比调节获得多组焊缝胶片图像以增加所述焊缝胶片图像的数量。

优选地，在像素值(-30，-10)∪(10，30)范围内产生随机数，对焊缝胶片图像整体像素值增加或减少所述随机数获得亮度调节后的焊缝胶片图像；采用PIL库中的enhance函数，在(1.2，2.5)区间内产生随机数作为所述enhance函数的参数进行焊缝胶片图像的对比度调节。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的Tiny-YOLO v3的焊缝胶片字符识别方法至少具有如下有益效果：

1.本申请将大尺度和中尺度的预测层替换为用于检测精细小结构的小尺度预测层，显著提高了对焊缝胶片上字符的识别能力和识别准确度；

2.根据识别的对象更新了Tiny-YOLO v3网络的anchor值并将每个栅格中的anchor数量设置为1个，一方面使得anchor的尺寸与识别对象尺寸相仿，能够降低网络拟合目标尺寸的训练难度，另一方面可以减少捕捉的图片中背景的占比进而减少负样本的数量，减小了由于正负样本不均衡现象对网络精度造成的负面影响，提高了网络的训练速度和检测精度；

3.GCF模块代替Tiny-YOLO v3网络中的3×3卷积层可以实现在保留图像特征的情况下减少网络模型的计算过程，显著减少了模型的大小；

4.通过对真实标注框的长度和宽度不断迭代求平均的方式获得anchor大小，而且可以利用现有的k-means++算法实现，计算十分简单方便；

5.本申请将将具有深度可分离卷积的Ghost模块引入Tiny-YOLO v3网络，替代普通卷积，极大的减少了网络内参数的数量，在保证较高的检测性能的基础上加快了网络的运算速度；

6.本申请可以对Tiny-YOLO v3网络在提升识别准确度的情况下进一步轻量化，优化后的Tiny-YOLO v3网络对焊缝胶片字符的识别准确率可以达到98.86％，模型大小可以减少至6.7M，在确保网络对目标具备高检测精度的同时，具有更小的模型尺寸，更少的运算量，更快的训练和检测速度，因此降低对高性能硬件的依赖性。

附图说明

图1示意性示出了本实施例中基于Tiny-YOLO v3的焊缝胶片字符识别方法的步骤图；

图2示意性示出了本实施例中现有技术中的Tiny-YOLO v3网络的结构图；

图3示意性示出了本实施例中优化优化后的Tiny-YOLO v3网络的结构图；

图4示意性示出了本实施例中CSP模块的工作过程示意图；

图5示意性示出了本实施例中Ghost模块的工作过程示意图；

图6示意性示出了本实施例中标注的焊缝图像的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1，本发明提供了一种基于Tiny-YOLO v3的焊缝胶片字符识别方法，通过对现有的轻量化Tiny-YOLO v3进行优化一方面提升识别的准确性，另一方面显著减少了Tiny-YOLO v3网络的占用内存。

本发明提供的基于Tiny-YOLO v3的焊缝胶片字符识别方法包括如下步骤S1～S5。

S1，将Tiny-YOLO v3网络中除上层预设层数外的多层3×3卷积层替换为特征融合提取的GCF模块。

所述GCF模块由Ghost模块和CSP特征融合模块结合而成，具体结合步骤如下：

所述GSP特征融合模块将输入特征图在维度上均分为两部分，其中第一部分不进行任何操作，第二部分输入Ghost模块进行特征提取后与所述第一部分进行堆叠。第二部分特征图依次输入卷积层、归一化层和激活层后获得中间特征图，将所述中间特征图依次进入深度卷积层、归一化层和激活层后与所述中间特征图堆叠后输出。

现有的Tiny-YOLO v3网络如图2所示，该网络可以提取并识别数字和字母，本申请首先对该Tiny-YOLO v3网络进行轻量化设计，可以将Tiny-YOLO v3网络的除第一层外的多层3×3卷积层替换为特征融合提取的GCF模块。

如图3所示，本实施例中将原Tiny-YOLO v3网络的第layer3，layer5，layer7，layer9，layer11中的3×3卷积层均替换为GCF模块。所述GCF模块由Ghost模块和CSP特征融合模块结合而成，所述GSP特征融合模块将输入特征图在维度上均分为两部分，其中第一部分不进行任何操作，第二部分输入Ghost模块进行特征提取后与所述第一部分进行堆叠。如图4所示，CSP模块将输入特征图在维度上平均分成Part1和Part2，Part1不进行任何操作，Part2通过Ghost模块后与Partl在通道上进行堆叠。Ghost模块的详细结构如图5所示，Part2的特征图依次经过一个1×1的卷积核(Conv)，归一化(BN)层和激活(ReLU)层后获得中间特征图，该中间特征图的通道数为Ghost模块输出通道数的一半。对于该中间特征图有两条支路操作，第一条支路由3×3深度卷积(Depthwise Conv)，归一化(BN)层和激活(ReLU)层获得通道数不变的新特征图，另一条支路不对中间特征图进行任何操作，并最终与第一条支路所获得的新特征图在通道上进行堆叠。

S2，将所述Tiny-YOLO v3网络的大尺度和中尺度的预测层替换为小尺度预测层。

由于焊缝胶片图像上的字符均为小尺寸对象，并且Tiny-YOLO v3网络的损失函数由所有尺度预测层的损失函数相加组成，单个尺度训练效果不好就会影响网络的整体训练效果，焊缝胶片图像上的字符均为小目标对象，仅保留小目标预测层有利于网络训练和精准预测。因此去掉Tiny-YOLO v3网络中的尺寸为13×13的大尺度的预测层和26×26的中尺度的预测层，增加52×52的小尺寸的预测层以识别小目标。本实施例中为去除Tiny-YOLOv3网络中layerl5，layer16，layer17，layer22，layer23，并将原网络的layer18-layer21作为改进后网络的layer15-layer18，并在此基础上增加layer19-layer24。

S3，根据样本的尺寸替换所述Tiny-YOLO v3网络的anchor值，至此完成了所述Tiny-YOLO v3网络的优化。

步骤S3中所述根据样本的尺寸替换所述Tiny-YOLO v3网络的anchor值具体步骤为：

S3’，获取具有焊缝胶片图像数据集中的每个真实标注框的长度和宽度，并求取其平均值，将该平均值加入到所述焊缝胶片图像数据集中重新求取平均值，将获得的平均值加入上一焊缝胶片图像数据集中再次求解平均值，以此方式不断向所述焊缝胶片图像数据集中添加平均值数据，直至求解的平均值与求解的上一平均值误差小于预设值，则根据最终求解的平均值尺寸获取anchor值。

优选采用k-means++算法并将所述k-means++算法中的聚类中心设置为1个实现所述步骤S3’。利于k-means++算法对样本的尺寸进行聚类计算得到的新的anchor值，并替换Tiny-YOLO v3配置文件中原anchor的参数值。anchor的形状设定的匹配程度将直接影响网络模型的训练效果，利于k-means++算法对检测目标尺寸进行聚类，能够得到更加契合焊缝胶片图像上字符的anchor大小，从而优化网络的训练过程。

调整Tiny-YOLO v3网络每个栅格设置的anchor数量，将默认的3个anchor改为1个anchor以减少捕捉的图片中背景的占比进而减少负样本的数量。卷积神经网络训练中由于负样本数量太大时会造成正负样本不均衡问题，从而导致网络训练效果不佳，并使得网络检测精度降低。为减小正负样本不均衡对网络精度的影响，通过减少anchor个数来减少网络训练中负样本个数，进而提高网络检测精度。

S4，对优化后的所述Tiny-YOLO v3网络进行训练以更新所述Tiny-YOLO v3网络的权重值获得训练完成的Tiny-YOLO v3网络。

采用训练集对所述优化后的所述Tiny-YOLO v3网络进行训练，所述训练集的获得方法如下步骤S41～S42所示。

S41，将焊缝胶片图像进行归一化处理；

首先将所有的焊缝胶片图像的尺寸归一化，具体操作为将图像进行整体缩放，使得其长边缩放至416个像素，同时利用补0操作使短边也为416个像素。

若所述焊缝胶片图像数量少于预设值，则对所述焊缝胶片图像归一化后分别对所述焊缝胶片图像进行亮度调节和对比调节获得多组焊缝胶片图像以增加所述焊缝胶片图像的数量。当数据集所包含的情况越丰富越复杂且数量越多时，网络模型的泛化能力以及鲁棒性也就越强，因此对数据集利用数据增强技术进行扩充，结合不同焊缝胶片图像亮度与对比度差异较大的特性，分别通过改变图像亮度与对比度进行数据增强：

(1)改变亮度，在像素值(-30，-10)∪(10，30)范围内产生随机数，对焊缝胶片图像整体像素值增加或减少所述随机数获得亮度调节后的焊缝胶片图像；

(2)改变对比度，使用PIL库中的enhance函数，在(1.2，2.5)区间内产生随机数作为函数参数进行数据增强。

S42，对归一化处理后的焊缝胶片图像进行标注，获得所述焊缝胶片图像的类别、大小和位置，将所述焊缝胶片图像及其类别、大小和位置信息存储为一组，则多个焊缝胶片图像及其标注信息构成数据集，将所述数据集分为训练集和测试集。

本实施例中优选为开源标注工具LabelImg对焊缝图像进行标注，该软件对图像标注后会产生xml文件，文件中保存有图像中目标的类别、大小和位置等信息。对图像进行标注，得到标签文件，则多个焊缝胶片图像及其标注信息构成数据集，将所述数据集分为训练集和测试集。

采用训练集对优化后的Tiny-YOLO v3网络进行训练，训练过程选择自适应学习率参数更新算法(Adam)更新网络的权重值，每次随机选择6个训练集样本构成一个batch进行训练，训练轮数设置为300，学习率初始值为0.001，权重衰减超参数为0.0005。在训练过程中得到训练集上的损失，以此观察网络的训练效果，训练过程结束后得到最终的网络模型。

在测试集上对最终的网络模型进行测试并在图像上输出预测的标注框和类别，输出所有置信度大于0.6的检测框，并利用非极大值抑制算法消除冗余的边界框，最终筛选出最佳的目标边界框，如图6所示，同时对原Tiny-YOLO v3与YOLO v3网络进行测试，统计网络改进前后的检测结果得到如表1所示的性能对比：

表1

由此可见，本发明对比原Tiny-YOLO v3和YOLO v3网络在检测性能上有明显提高，能够实现精准的焊缝胶片字符识别，同时具有较小的模型大小和快速的检测速度，能够很好地降低检测模型对于硬件存储能力和计算能力的要求。

S5，采用训练完成的Tiny-YOLO v3网络对待测试焊缝胶片数据进行识别即可获得焊缝胶片上的字符。

综上所述，本申请对Tiny-YOLO v3网络在提升识别准确度的情况下进一步轻量化，优化后的Tiny-YOLO v3网络对焊缝胶片字符的识别准确率可以达到98.86％，模型大小可以减少至6.7M，在确保网络对目标具备高检测精度的同时，具有更小的模型尺寸，更少的运算量，更快的训练和检测速度，因此降低对高性能硬件的依赖性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于Tiny-YOLO v3的焊缝胶片字符识别方法，其特征在于，所述方法包括：

S1，将Tiny-YOLO v3网络中除上层预设层数外的多层3×3卷积层替换为特征融合提取的GCF模块；其中，所述GCF模块由Ghost模块和CSP特征融合模块结合而成，具体结合步骤如下：所述CSP特征融合模块将输入特征图在维度上均分为两部分，其中第一部分不进行任何操作，第二部分输入Ghost模块进行特征提取后与所述第一部分进行堆叠；所述第二部分输入Ghost模块进行特征提取的步骤为：第二部分特征图依次输入卷积层、归一化层和激活层后获得中间特征图，将所述中间特征图依次进入深度卷积层、归一化层和激活层后与所述中间特征图堆叠后输出；

S2，将所述Tiny-YOLO v3网络的大尺度和中尺度的预测层替换为小尺度预测层；

S3，根据样本的尺寸替换所述Tiny-YOLO v3网络的anchor值，至此完成了所述Tiny-YOLO v3网络的优化；具体步骤为：步骤S3’，获取具有焊缝胶片图像数据集中的每个真实标注框的长度和宽度，并求取其平均值，将该平均值加入到所述焊缝胶片图像数据集中重新求取平均值，将获得的平均值加入上一焊缝胶片图像数据集中再次求解平均值，以此方式不断向所述焊缝胶片图像数据集中添加平均值数据，直至求解的平均值与求解的上一平均值误差小于预设值，则根据最终求解的平均值尺寸获取anchor值；

S4，对优化后的所述Tiny-YOLO v3网络进行训练以更新所述Tiny-YOLO v3网络的权重值获得训练完成的Tiny-YOLO v3网络；

S5，采用训练完成的Tiny-YOLO v3网络对待测试焊缝胶片数据进行识别即可获得焊缝胶片上的字符。

2.根据权利要求1所述的方法，其特征在于，步骤S3还包括将所述Tiny-YOLO v3网络的每个栅格中的anchor的数量设置为1个。

3.根据权利要求1所述的方法，其特征在于，步骤S1中具体为将Tiny-YOLO v3网络的除第一层外的多层3×3卷积层替换为特征融合提取的GCF模块。

4.根据权利要求1所述的方法，其特征在于，采用k-means++算法并将所述k-means++算法中的聚类中心设置为1个实现所述步骤S3’。

5.根据权利要求1所述的方法，其特征在于，步骤S4中采用训练集对所述优化后的所述Tiny-YOLO v3网络进行训练，所述训练集的获得方法为：

将焊缝胶片图像进行归一化处理；

对归一化处理后的焊缝胶片图像进行标注，获得所述焊缝胶片图像的类别、大小和位置，将所述焊缝胶片图像及其类别、大小和位置信息存储为一组数据，则多个焊缝胶片图像及其标注信息构成数据集，将所述数据集分为训练集和测试集。

6.根据权利要求5所述的方法，其特征在于，若所述焊缝胶片图像数量少于预设值，则对所述焊缝胶片图像归一化后分别对所述焊缝胶片图像进行亮度调节和对比调节获得多组焊缝胶片图像以增加所述焊缝胶片图像的数量。

7.根据权利要求6所述的方法，其特征在于，在像素值(-30,-10)∪(10,30)范围内产生随机数，对焊缝胶片图像整体像素值增加或减少所述随机数获得亮度调节后的焊缝胶片图像；采用PIL库中的enhance函数，在（1.2,2.5）区间内产生随机数作为所述enhance函数的参数进行焊缝胶片图像的对比度调节。

Images