CN112308054B - 基于目标检测算法的多功能数字表自动读数方法 - Google Patents

Abstract

本发明公开了一种基于目标检测算法的多功能数字表自动读数方法，包括以下步骤：步骤S1，对YOLOv4网络模型进行轻量化改进，得到YOLOv4轻量化网络模型；步骤S2，对多功能数字表图片进行采集并对多功能数字表图片上的数字进行位置标定和类别标定；步骤S3，使用经过步骤S2标定后的多功能数字表图片及其标定信息对YOLOv4轻量化网络模型进行训练，得到YOLOv4轻量化数字检测模型。所述基于目标检测算法的多功能数字表自动读数方法识别速度快、识别准确率高，稳定性好，解决了现有数字表自动读数方法容易受外界环境变化和图像成像质量好坏的影响，缺乏数字识别的稳定性、准确性的问题。

Description

基于目标检测算法的多功能数字表自动读数方法

技术领域

本发明涉及多功能数字表读数技术领域，尤其涉及一种基于目标检测算法的多功能数字表自动读数方法。

背景技术

多功能数字表由于其显示直观，具有多功能和高性价比等优点，在配电房中广泛使用，多功能数字表可以通过简单的设置实现不同单位电流和电压的显示，多功能数字表一般以三行四列形式显示，即可同时显示三个读数，每个读数由四个数字和小数点组装而成，每个数字和小数点都由红色发光二极管表示（如图1所示）。在配电房的日常巡检中，需要专业工作人员通过人眼观看并记录数字表的读数，巡检效率低，读数容易出错。

目前的数字表自动读数方法基本上都是分两步来实现的，即第一步用目标检测算法（比如Faster-rcnn、SSD或者YOLO等）确定整个数字表位置或者表盘中数字显示区域的位置；第二步结合基本的图像处理算法在第一步的基础上实现单个数字提取分割，最后通过模板匹配或者分类器实现数字识别，或者在第一步的基础上用文本识别的方法实现数字的识别。这些方法在第二步中均以传统的图像算法来实现数字的识别，容易受外界环境变化和图像成像质量好坏的影响，缺乏数字识别的稳定性、准确性，不能满足巡检机器人的运动特性和识别精度要求。

发明内容

针对背景技术提出的问题，本发明的目的在于提出一种基于目标检测算法的多功能数字表自动读数方法，识别速度快、识别准确率高，稳定性好，解决了现有数字表自动读数方法容易受外界环境变化和图像成像质量好坏的影响，缺乏数字识别的稳定性、准确性的问题。

为达此目的，本发明采用以下技术方案：

一种基于目标检测算法的多功能数字表自动读数方法，包括以下步骤：

步骤S1，对YOLOv4网络模型进行轻量化改进，得到YOLOv4轻量化网络模型；

步骤S2，对多功能数字表图片进行采集并对多功能数字表图片上的数字进行位置标定和类别标定；

步骤S3，使用经过步骤S2标定后的多功能数字表图片及其标定信息对YOLOv4轻量化网络模型进行训练，得到YOLOv4轻量化数字检测模型；

步骤S4，使用步骤S3得到的YOLOv4轻量化数字检测模型对多功能数字表图片进行数字检测识别，返回检测到的每个数字的信息；

其中，所述多功能数字表图片由YOLOv4开关柜器件检测模型对巡检机器人拍摄的图片进行检测得到；

步骤S5，根据返回的每个数字的信息对每个数字进行排序重组，得到正确的数字排列顺序，获得正确的读数；

步骤S6，根据预先设置的小数位数对读数进行小数点添加，得到最终读数。

更进一步说明，所述YOLOv4开关柜器件检测模型为经过训练的检测模型，所述YOLOv4开关柜器件检测模型的训练包括以下步骤：

（1）建立训练集：将巡检机器人多次巡检拍摄的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到训练集；

（2）建立测试集：将没有参与训练的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到测试集；

（3）在训练集上训练原始YOLOv4目标检测网络模型，迭代训练后得到YOLOv4开关柜器件检测模型；

（4）在测试集上测试YOLOv4开关柜器件检测模型的检测性能。

更进一步说明，所述步骤S1中，具体包括以下步骤：

步骤S10，采用轻量化网络结构MobileNetV3替换原YOLOv4网络模型中的CSPDarknet53网络结构并作为骨干网络；

步骤S11，删除原YOLOv4网络模型中的后面两个Yolov3 head结构，只保留一个Yolov3 head结构，并减少锚点数目；

步骤S12，将网络输入从416*416缩小为192*256。

更进一步说明，所述步骤S2中，具体包括以下步骤：

步骤S20，从巡检机器人在巡检过程中拍摄的大量开关柜图片中筛选出含有多功能数字表的图片，并人工框选出多功能数字表区域的位置；

步骤S21，根据人工框选的位置矩形框从开关柜图片中裁剪出单个多功能表数字表图片并保存；

步骤S22，用标注软件对保存的每张多功能数字表图片上的数字进行位置标定和类别标定，将标注信息保存在XML文件中。

更进一步说明，所述步骤S3具体为：使用经过所述步骤S2标定后的多功能数字表图片和对应的XML文件对YOLOv4轻量化网络模型进行训练，迭代训练后得到YOLOv4轻量化数字检测模型。

更进一步说明，所述步骤S4中，具体包括以下步骤：

步骤S40，用YOLOv4开关柜器件检测模型对巡检机器人拍摄的图片进行检测得出多功能数字表，并根据检测矩形框从开关柜图片中裁剪得到多功能数字表图片；

步骤S41，将裁剪得到的多功能数字表图片输入到YOLOv4轻量化数字检测模型中进行数字检测，返回每个数字的位置矩形框信息和类别信息。

更进一步说明，所述步骤S5中，具体包括以下步骤：

步骤S50，根据YOLOv4轻量化数字检测模型返回每个数字的位置矩形框信息和类别信息，按照位置矩形框的左上顶点纵坐标的大小对每个数字进行排序，将识别到的数字分成上、中、下三行；

步骤S51，对属于同一行的数字检测结果根据其位置矩形框左上顶点横坐标的大小从左到右进行排序，完成排序重组，得到正确的数字排列顺序，获得正确的读数。

更进一步说明，所述步骤S6中，具体包括以下步骤：

步骤S60，在巡检机器人正式对配电房开关柜巡检之前，工作人员通过控制机器人运动的Qt上位机界面进行机器人运动路径的踩点规划；

步骤S61，在巡检机器人运动踩点时，若该拍摄点有多功能数字表，即在Qt界面的小数点添加栏里输入小数点位数。

与现有技术相比，本发明具有以下有益效果：

1、通过对YOLOv4原网络模型进行了轻量化改进，降低了算法的硬件运行成本，提升了数字检测识别速度，每个数字表识别时间只要6.2ms。基于Darknet框架训练，可以方便支持Windows和Linux不同***部署，具有识别速度快，部署方便的特点；

2、通过使用具有强大学***均数字识别准确率在99.7%，具有更高的识别准确率，且稳定性好，应用于配电房巡检机器人***中，具有高效、准确、稳定的识别特点；

3、通过人工框选出多功能数字表区域，然后对保存的每张多功能数字表图片上的数字进行位置标定和类别标定，标注准确率高，确保后面对YOLOv4轻量化网络模型进行训练的准确率，从而保证YOLOv4轻量化数字检测模型的识别准确率。

附图说明

附图对本发明做进一步说明，但附图中的内容不构成对本发明的任何限制。

图1是本发明一个实施例的多功能数字表的示意图；

图2是本发明一个实施例的基于目标检测算法的多功能数字表自动读数方法的流程图；

图3是本发明一个实施例的开关柜图片的示意图；

图4是本发明一个实施例从开关柜图片中裁剪出的部分器件的示意图，其中（a）为温湿度控制器、（b）为电压转换开关、（c）为多功能数字表、（d）为跳闸连接片、（e）为带电指示、（f）为接地故障指示；

图5是本发明一个实施例由YOLOv4轻量化数字检测模型得到的原始检测结果的示意图；

图6是本发明一个实施例经排序重组后的顺序读数结果的示意图；

图7是本发明一个实施例经排序重组后的矩形框内数字识别结果的示意图。

具体实施方式

一种基于目标检测算法的多功能数字表自动读数方法，包括以下步骤：

步骤S1，对YOLOv4网络模型进行轻量化改进，得到YOLOv4轻量化网络模型；

步骤S2，对多功能数字表图片进行采集并对多功能数字表图片上的数字进行位置标定和类别标定；

步骤S3，使用经过步骤S2标定后的多功能数字表图片及其标定信息对YOLOv4轻量化网络模型进行训练，得到YOLOv4轻量化数字检测模型；

步骤S4，使用步骤S3得到的YOLOv4轻量化数字检测模型对多功能数字表图片进行数字检测识别，返回检测到的每个数字的信息；

其中，所述多功能数字表图片由YOLOv4开关柜器件检测模型对巡检机器人拍摄的图片进行检测得到；

步骤S5，根据返回的每个数字的信息对每个数字进行排序重组，得到正确的数字排列顺序，获得正确的读数；

步骤S6，根据预先设置的小数位数对读数进行小数点添加，得到最终读数。

具体地，本基于目标检测算法的多功能数字表自动读数方法应用于配电房巡检机器人***中。

本方法具体分两步实现多功能数字表的自动读数，即先用YOLOv4开关柜器件检测模型对巡检机器人拍摄的柜面图片进行检测得到多功能数字表图片，然后采用经过轻量化改进的YOLOv4轻量化数字检测模型直接实现对数字表中每个数字的检测识别；

本方法通过对YOLOv4原网络模型进行了轻量化改进，降低了算法的硬件运行成本，提升了数字检测识别速度，每个数字表识别时间只要6.2ms。基于Darknet框架训练，可以方便支持Windows和Linux不同***部署，具有识别速度快，部署方便的特点；

此外，通过使用具有强大学***均数字识别准确率在99.7%，具有更高的识别准确率，且稳定性好，应用于配电房巡检机器人***中，具有高效、准确、稳定的识别特点。

更进一步说明，所述YOLOv4开关柜器件检测模型为经过训练的检测模型，所述YOLOv4开关柜器件检测模型的训练包括以下步骤：

（1）建立训练集：将巡检机器人多次巡检拍摄的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到训练集；

（2）建立测试集：将没有参与训练的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到测试集；

（3）在训练集上训练原始YOLOv4目标检测网络模型，迭代训练后得到YOLOv4开关柜器件检测模型；

（4）在测试集上测试YOLOv4开关柜器件检测模型的检测性能。

由于巡检机器人在不同巡检点拍摄的开关柜图片中会存在多种仪表器件，如图3所示，开关柜图片中除了有多功能数字外，还有指示灯、大开关和温湿度控制器等器件，本方法先训练原始YOLOv4目标检测网络模型，得到YOLOv4开关柜器件检测模型，然后再用YOLOv4开关柜器件检测模型（Object_Detector）检测出开关柜图片上的多功能数字表和其他机器，得出每个器件的位置框和器件的类型，然后根据每个器件的位置框从开关柜图片中裁剪出该器件，如图4所示，并根据该器件的类型调用对应的接口功能进行工作状态的识别，检测得到多功能数字表图片，检测准确率高，检测效率高。

更进一步说明，所述步骤S1中，具体包括以下步骤：

步骤S10，采用轻量化网络结构MobileNetV3替换原YOLOv4网络模型中的CSPDarknet53网络结构并作为骨干网络；

步骤S11，删除原YOLOv4网络模型中的后面两个Yolov3 head结构，只保留一个Yolov3 head结构，并减少锚点数目；

步骤S12，将网络输入从416*416缩小为192*256。

通过对原YOLOv4网络模型进行轻量化改进，能够有效减少模型计算量，降低了算法的硬件运行成本，在保证数字检测识别准确率的同时，能够有效提升数字检测识别速度，从而提高巡检机器人的工作效率。

更进一步说明，所述步骤S2中，具体包括以下步骤：

步骤S20，从巡检机器人在巡检过程中拍摄的大量开关柜图片中筛选出含有多功能数字表的图片，并人工框选出多功能数字表区域的位置；

步骤S21，根据人工框选的位置矩形框从开关柜图片中裁剪出单个多功能表数字表图片并保存；

步骤S22，用标注软件对保存的每张多功能数字表图片上的数字进行位置标定和类别标定，将标注信息保存在XML文件中。

通过人工框选出多功能数字表区域，然后对保存的每张多功能数字表图片上的数字进行位置标定和类别标定，标注准确率高，确保后面对YOLOv4轻量化网络模型进行训练的准确率，从而保证YOLOv4轻量化数字检测模型的识别准确率。

更进一步说明，所述步骤S3具体为：使用经过所述步骤S2标定后的多功能数字表图片和对应的XML文件对YOLOv4轻量化网络模型进行训练，迭代训练后得到YOLOv4轻量化数字检测模型。

通过使用经过所述步骤S2标定后的多功能数字表图片和对应的XML文件对YOLOv4轻量化网络模型进行训练，得到的YOLOv4轻量化数字检测模型能够对多功能数字表中的每个数字的位置和类别进行识别，识别准确率高，稳定性好，不易受外界环境变化和图像成像质量好坏的影响。

更进一步说明，所述步骤S4中，具体包括以下步骤：

步骤S40，用YOLOv4开关柜器件检测模型对巡检机器人拍摄的图片进行检测得出多功能数字表，并根据检测矩形框从开关柜图片中裁剪得到多功能数字表图片；

步骤S41，将裁剪得到的多功能数字表图片输入到YOLOv4轻量化数字检测模型中进行数字检测，返回每个数字的位置矩形框信息和类别信息。

通过将裁剪得到的多功能数字表图片输入到YOLOv4轻量化数字检测模型中进行数字检测，检测返回每个数字的位置矩形框信息和类别信息的准确率高，且方便后面根据矩形框信息的结果进行排序重组，排序准确率高。

更进一步说明，所述步骤S5中，具体包括以下步骤：

步骤S50，根据YOLOv4轻量化数字检测模型返回每个数字的位置矩形框信息和类别信息，按照位置矩形框的左上顶点纵坐标的大小对每个数字进行排序，将识别到的数字分成上、中、下三行；

步骤S51，对属于同一行的数字检测结果根据其位置矩形框左上顶点横坐标的大小从左到右进行排序，完成排序重组，得到正确的数字排列顺序，获得正确的读数。

按照位置矩形框的左上顶点纵坐标的大小对每个数字进行排序，并对属于同一行的数字检测结果根据其位置矩形框左上顶点横坐标的大小从左到右进行排序，完成排序重组，排序重组方法简单，排序效率高。

更进一步说明，所述步骤S6中，具体包括以下步骤：

步骤S60，在巡检机器人正式对配电房开关柜巡检之前，工作人员通过控制机器人运动的Qt上位机界面进行机器人运动路径的踩点规划；

步骤S61，在巡检机器人运动踩点时，若该拍摄点有多功能数字表，即在Qt界面的小数点添加栏里输入小数点位数。

经过所述步骤S5进行排序重组后得到的读数不含小数点，由于机器人摄像头离开关柜比较远，加之机器人的运动特性和多功能数字表的显示特性，通过图像处理算法确定多功能数字表中每一行读数的小数点位置难度很大，导致准确性和稳定性很低，导致读数存在十倍或者千倍的巨大差距，本方法对多开关柜上每一个多功能数字的小数位数进行人工确定，根据人工设置的小数位数对读数进行小数点添加，得到数字表最终读数，使得获得的最终读数的准确率高，稳定性好。

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

如图2所示，一种基于目标检测算法的多功能数字表自动读数方法，包括以下步骤：

步骤S1，对YOLOv4网络模型进行轻量化改进，得到YOLOv4轻量化网络模型，具体包括以下步骤：

步骤S10，采用轻量化网络结构MobileNetV3替换原YOLOv4网络模型中的CSPDarknet53网络结构并作为骨干网络；

步骤S11，删除原YOLOv4网络模型中的后面两个Yolov3 head结构，只保留一个Yolov3 head结构，并将锚点数目 （anchors）由18个减少到10个；

步骤S12，将网络输入从416*416缩小为192*256。

步骤S2，对多功能数字表图片进行采集并对多功能数字表图片上的数字进行位置标定和类别标定，具体包括以下步骤：

步骤S20，从巡检机器人在巡检过程中拍摄的大量开关柜图片中筛选出含有多功能数字表的图片，并人工框选出多功能数字表区域的位置；

步骤S21，根据人工框选的位置矩形框从开关柜图片中裁剪出6000张单个多功能表数字表图片，并保存到本地磁盘；

步骤S22，用标注软件（具体采用LabelImage标注软件）对保存的每张多功能数字表图片上的数字进行位置标定和类别标定，将标注信息保存在XML文件中。

步骤S3，使用经过所述步骤S2标定后的6000张多功能数字表图片和对应的XML文件对YOLOv4轻量化网络模型进行训练，迭代5万次后训练得到YOLOv4轻量化数字检测模型（Number_detector）；

步骤S4，使用步骤S3得到的YOLOv4轻量化数字检测模型（Number_detector）对多功能数字表图片进行数字检测识别，返回检测到的每个数字的信息，具体包括以下步骤：

步骤S40，用YOLOv4开关柜器件检测模型（Object_Detector）对巡检机器人拍摄的图片进行检测得出多功能数字表，并根据检测矩形框从开关柜图片中裁剪得到多功能数字表图片；

步骤S41，将裁剪得到的多功能数字表图片输入到YOLOv4轻量化数字检测模型中进行数字检测，返回每个数字的位置矩形框信息和类别信息；

具体地，位置矩形框信息为（x，y，w，h），其中，x表示左顶点横坐标, y表示左顶点纵坐标，w表示矩形宽的宽, h表示矩形框的高，类别信息为0,1,2,3,4,5,6,7,8,9中的某一个数字；

其中，所述多功能数字表图片由YOLOv4开关柜器件检测模型（Object_Detector）对巡检机器人拍摄的图片进行检测得到，YOLOv4开关柜器件检测模型（Object_Detector）为经过训练的检测模型，YOLOv4开关柜器件检测模型的训练包括以下步骤：

（1）建立训练集：将巡检机器人多次巡检拍摄的5000张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立一个由5000张图片和5000个XML文件组成的训练集；

（2）建立测试集：将没有参与训练的1000张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立一个由1000张图片和1000个XML文件组成的测试集；

（3）在训练集上训练原始YOLOv4目标检测网络模型，迭代训练48000次后得到YOLOv4开关柜器件检测模型（Object_Detector）；

（4）在测试集上测试YOLOv4开关柜器件检测模型的检测性能。

由于巡检机器人在不同巡检点拍摄的开关柜图片中会存在多种仪表器件，如图3所示，开关柜图片中除了有多功能数字外，还有指示灯、大开关和温湿度控制器等器件，本方法先训练原始YOLOv4目标检测网络模型，得到YOLOv4开关柜器件检测模型，然后再用YOLOv4开关柜器件检测模型（Object_Detector）检测出开关柜图片上的多功能数字表和其他机器，得出每个器件的位置框和器件的类型，然后根据每个器件的位置框从开关柜图片中裁剪出该器件，如图4所示，并根据该器件的类型调用对应的接口功能进行工作状态的识别，检测得到多功能数字表图片，检测准确率高，检测效率高。

步骤S5，根据返回的每个数字的信息对每个数字进行排序重组，得到正确的数字排列顺序，获得正确的读数，具体包括以下步骤：

步骤S50，根据YOLOv4轻量化数字检测模型返回每个数字的位置矩形框信息和类别信息，按照位置矩形框的左上顶点纵坐标的大小对每个数字进行排序，将识别到的数字分成上、中、下三行；

具体地，YOLOv4轻量化数字检测模型对多功能数字表检测后会返回每个数字的位置矩形框信息和类别信息，可以表示为{(x1,y1,w1,h1,lable1,score1), (x2,y2,w2,h2,lable2,score2),……,(x12,y12,w12,h12,lable12,score12)}，其中(x1,y1,w1,h1,lable1,score1)表示第一个被检测出来的数字的位置矩形框和类别信息，x1和y1分别表示位置矩形框左上角顶点的横坐标和纵坐标，w1和h1分别表示位置矩形框的宽和高，lable1表示该数字的类别，score1表示该数字属于某个类别的概率值，(x2,y2,w2,h2,lable2,score2)表示第二个被检测数字的矩形框和类别信息，依此类推，一共有12个被检测出的数字；

更进一步说明，YOLOv4轻量化数字检测模型对多功能数字表图片上的12个数字的检测顺序是随机的，而不是按照多功能数字表正确的数字显示顺序（读数分为上、中、下三行，每一行的4个数字从左往右依次排列），如图5所示，图5为由YOLOv4轻量化数字检测模型得到的原始检测结果的示意图，矩形框表示YOLOv4轻量化数字检测模型针对数字表中每个数字检测到的位置矩形框，矩形框左顶点的数字表示YOLOv4轻量化数字检测模型在检测12个数字时的先后顺序，比如矩形框左顶点的数字数字0表示最后一行读数的第3个数字3是第一个被检测到的；

更进一步说明，按照位置矩形框的左上顶点纵坐标的大小对每个数字进行排序，将识别到的数字分成上、中、下三行，具体为根据12个矩形框左上顶点纵坐标y的大小对每个数字的检测结果(x,y,w,h,lable,score)进行排序。y值从小变大，12个数字的检测结果也按y值从小到大的顺序进行位置重新排序，得到12个升序的数字检测结果：

new_result={R1,R2,R3,R4,R5,R6,R7,R8,R9,R10,R11,R12}；

其中R1=(x1,y1,w1,h1,lable1,score1)，由于属于同一行的4个数字位置框的y值大小相差很小，所以直接将new_result均分成3部分就能得到数字表中读数对应的上、中、下三行，上行包含R1,R2，R3和R4四个数字检测结果，中行包含R5,R6,R7和R8，下行包含R9,R10,R11和R12。

步骤S51，对属于同一行的数字检测结果根据其位置矩形框左上顶点横坐标的大小从左到右进行排序，完成排序重组，得到正确的数字排列顺序，获得正确的读数。

更进一步说明，具体为对属于同一行的4个数字检测结果根据其位置矩形框左上顶点横坐标x值的大小从左到右进行排序，比如对于属于第一行的4个数字检测结果first_line=(R1,R2,R3,R4)，先对R1，R2，R3和R4中的x值从小到大进行排序，然后R1，R2，R3和R4也根据其x值的排列顺序进行位置调整，从而完成4个数字检测结果的从左到右排序。

经过步骤S50和S51后，数字检测结果完成了排序重组，如图6所示，数字表读数被成功分成了三行，每一行由4个数字组成，分别用序号0，1，2，3（矩形框左上角数字）表示每个数字的位置，如图7所示，矩形框左上角的数字表示该矩形框内数字的识别结果。

步骤S6，根据预先设置的小数位数对读数进行小数点添加，得到最终读数。

更进一步说明，经过步骤S5重新排序后得到的读数只是含有4位数的整数读数，比如1430、1431和1430，但是多功能表真正的读数是14.30、14.31和14.30，由于机器人摄像头离开关柜比较远，加之机器人的运动特性和多功能数字表的显示特性，通过图像处理算法确定多功能数字表每一行读数的小数点位置难度很大，导致准确性和稳定性很低，导致读数存在十倍或者千倍的巨大差距。所以本方法多开关柜上每一个多功能数字的小数位数进行人工确定，具体包括以下步骤：

步骤S60，在巡检机器人正式对配电房开关柜巡检之前，工作人员通过控制机器人运动的Qt上位机界面进行机器人运动路径的踩点规划，即控制巡检机器人对开关柜进行有先后顺序的拍照识别；

步骤S61，在巡检机器人运动踩点时，若该拍摄点有多功能数字表，即在Qt界面的小数点添加栏里输入小数点位数，比如该拍摄点拍摄的图片中有3个多功能数字表，每个表的读数都含有2位小数，就输入“2,2,2”，如果该拍摄点拍摄的3个多功能表中的前两个表的读数含有3位小数，最后一个表读数含有2位小数，就输入“3,3,2”。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (3)

1.一种基于目标检测算法的多功能数字表自动读数方法，其特征在于，包括以下步骤：

步骤S1，对YOLOv4网络模型进行轻量化改进，得到YOLOv4轻量化网络模型，具体包括以下步骤：

步骤S10，采用轻量化网络结构MobileNetV3替换原YOLOv4网络模型中的CSPDarknet53网络结构并作为骨干网络；

步骤S11，删除原YOLOv4网络模型中的后面两个Yolov3 head结构，只保留一个Yolov3head结构，并减少锚点数目；

步骤S12，将网络输入从416*416缩小为192*256；

步骤S2，对多功能数字表图片进行采集并对多功能数字表图片上的数字进行位置标定和类别标定；

所述步骤S2中，具体包括以下步骤：

步骤S20，从巡检机器人在巡检过程中拍摄的大量开关柜图片中筛选出含有多功能数字表的图片，并人工框选出多功能数字表区域的位置；

步骤S21，根据人工框选的位置矩形框从开关柜图片中裁剪出单个多功能数字表图片并保存；

步骤S22，用标注软件对保存的每张多功能数字表图片上的数字进行位置标定和类别标定，将标注信息保存在XML文件中；

步骤S3，使用经过步骤S2标定后的多功能数字表图片及其标定信息对YOLOv4轻量化网络模型进行训练，得到YOLOv4轻量化数字检测模型；

步骤S4，使用步骤S3得到的YOLOv4轻量化数字检测模型对多功能数字表图片进行数字检测识别，返回检测到的每个数字的信息，具体包括以下步骤：

步骤S40，用YOLOv4开关柜器件检测模型对巡检机器人拍摄的图片进行检测得出多功能数字表，并根据检测矩形框从开关柜图片中裁剪得到多功能数字表图片；其中，多功能数字表图片由YOLOv4开关柜器件检测模型对巡检机器人拍摄的图片进行检测得到；

步骤S41，将裁剪得到的多功能数字表图片输入到YOLOv4轻量化数字检测模型中进行数字检测，返回每个数字的位置矩形框信息和类别信息；

所述YOLOv4开关柜器件检测模型为经过训练的检测模型，所述YOLOv4开关柜器件检测模型的训练包括以下步骤：

（1）建立训练集：将巡检机器人多次巡检拍摄的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到训练集；

（2）建立测试集：将没有参与训练的多张开关柜图片用标注软件进行人工标注，将每张开关柜图片中的器件位置和器件类别信息保存在对应的XML文件中，建立得到测试集；

（3）在训练集上训练原始YOLOv4目标检测网络模型，迭代训练后得到YOLOv4开关柜器件检测模型；

（4）在测试集上测试YOLOv4开关柜器件检测模型的检测性能；

步骤S5，根据返回的每个数字的信息对每个数字进行排序重组，得到正确的数字排列顺序，获得正确的读数，具体包括以下步骤：

步骤S50，根据YOLOv4轻量化数字检测模型返回每个数字的位置矩形框信息和类别信息，按照位置矩形框的左上顶点纵坐标的大小对每个数字进行排序，将识别到的数字分成上、中、下三行；

步骤S51，对属于同一行的数字检测结果根据其位置矩形框左上顶点横坐标的大小从左到右进行排序，完成排序重组，得到正确的数字排列顺序，获得正确的读数；

步骤S6，根据预先设置的小数位数对读数进行小数点添加，得到最终读数。

2.根据权利要求1所述的基于目标检测算法的多功能数字表自动读数方法，其特征在于，所述步骤S3具体为：使用经过所述步骤S2标定后的多功能数字表图片和对应的XML文件对YOLOv4轻量化网络模型进行训练，迭代训练后得到YOLOv4轻量化数字检测模型。

3.根据权利要求1所述的基于目标检测算法的多功能数字表自动读数方法，其特征在于，所述步骤S6中，具体包括以下步骤：

步骤S60，在巡检机器人正式对配电房开关柜巡检之前，工作人员通过控制机器人运动的Qt上位机界面进行机器人运动路径的踩点规划；

步骤S61，在巡检机器人运动踩点时，若拍摄点有多功能数字表，即在Qt界面的小数点添加栏里输入小数点位数。

Images