CN111461121A - 一种基于yolov3网络的电表示数识别方法 - Google Patents

一种基于yolov3网络的电表示数识别方法 Download PDF

Info

Publication number
CN111461121A
CN111461121A CN202010417060.9A CN202010417060A CN111461121A CN 111461121 A CN111461121 A CN 111461121A CN 202010417060 A CN202010417060 A CN 202010417060A CN 111461121 A CN111461121 A CN 111461121A
Authority
CN
China
Prior art keywords
network
prediction
image
boxes
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010417060.9A
Other languages
English (en)
Inventor
徐然
孔陈祥
戚群朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Electric Power Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Jiangsu Electric Power Information Technology Co Ltd filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202010417060.9A priority Critical patent/CN111461121A/zh
Publication of CN111461121A publication Critical patent/CN111461121A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于YOLOV3网络的电表示数识别方法，首先基于YOLOv3‑tiny网络构建示数区域定位模型，对示数目标定位；然后裁剪示数目标区域；最后基于YOLOv3网络构建示数文字识别模型，进行示数文字识别，测试时，在NMS算法中添加规则:如果存在任意两个预测框的IOU>0.6,那么将保留置信度最高的预测框,将其余预测框全部删除。本发明利用图像处理技术及基于YOLOv3的人工智能深度学习网络对智能电表图像进行分析处理，定位关键目标区域并识别其中的电表读数等信息。将人工智能、图像处理和电力营销领域相结合，降低了读表工作的人工成本及人为误差，提升了准确率。

Description

一种基于YOLOV3网络的电表示数识别方法
技术领域
本发明涉及一种基于YOLOV3网络的电表示数识别方法，实现了对在复杂背景下拍摄的电表图片可以快速准确地识别电能表示数信息。
背景技术
传统电能表的示数信息采集大都采用人工抄表, 但人工抄表工作繁琐, 效率较低。随着智能电网的不断发展, 基于数字图像处理方法的电能表自动抄表***被广泛应用。
电表示数识别常用的数字图像处理方法分为两类。一类是根据人工设计的特征进行定位和识别的方法, 如使用边缘检测方法定位示数目标区域, 然后根据数字的笔画和形状特征进行数字识别; 又比如使用图像阈值处理方法定位示数目标区域, 然后根据投影法和数字的笔画特征进行数字识别。另一类是基于深度学习自动提取特征的定位和识别方法, 如 等使用 YOLOv2-Tin、cptn或者ctc网络定位示数目标区域, 利用CR-NET、CRNN等网络进行数字及文字识别。基于人工设计的特征进行目标检测存在检测准确率低、训练耗时长，对文字识别支撑度低等缺点, 而基于深度学习的目标检测能够自动提取特征, 有效提升检测精度, 因此目前基于深度学习的目标检测得到了广泛应用。常见的深度学习网络在面对复杂背景的电表图像时需要收集大量训练图集完成检测网络的训练，代价高，且算法处理耗时长。这些成为图像识别技术在这一领域发展的瓶颈。
发明内容
为了解决上述问题，本发明的目的是提供一种基于YOLOV3网络的电表示数识别方法，将人工智能、图像处理和电力营销领域相结合，降低了读表工作的人工成本及人为误差，提升了准确率。
本发明的目的通过以下技术方案实现：
一种基于YOLOV3网络的电表示数识别方法，其特征在于：结合深度学习神经网络，分为图像预处理，关键目标区域检测及读数识别三个过程，其中关键目标区域识别使用YOLOv3-Tiny目标检测模型来实现，读数识别使用YOLOv3目标检测模型来实现；具体如下：
1) 首先基于YOLOv3-tiny网络构建示数区域定位模型，对示数目标定位；
2）然后裁剪示数目标区域；
3）最后基于YOLOv3网络构建示数文字识别模型，进行示数文字识别，测试时，在NMS算法中添加规则: 如果存在任意两个预测框的 IOU>0.6, 那么将保留置信度最高的预测框,将其余预测框全部删除。
本发明在YOLOV3网络提出后，使用YOLOV3作为示数目标区域检测网络完成电能表示数识别任务。基于 YOLOV3网络的检测方法将特征提取、目标定位、目标分类统一于一个卷积网络中, 将物体检测问题作为一个回归问题来解决, 将测试图像输入完成训练的网络便能得到目标物体的位置和其所属的类别及其相应的置信度。YOLOV3借鉴了残差网络结构，形成更深的网络层次，以及多尺度检测，提升了mAP及小物体检测效果，检测速度快、准确率较高，具备对复杂背景下的目标检测能力，同时一定程度上降低了对训练样本集规模的依赖。
为排除电能表图像中无关信息的干扰, 首先基于YOLOv3-tiny网络构建示数区域定位模型，对示数目标定位, 为了提高定位的准确率, 测试时将预测框的尺寸扩大为原来的1.1.倍。然后裁剪示数目标区域。最后基于YOLOv3网络构建示数文字识别模型，进行示数文字识别，为了避免同一个数字位置出现多个不同类别的预测框,测试时对NMS 算法进行改进, 在NMS算法中添加规则: 如果存在任意两个预测框的 IOU>0.6, 那么将保留置信度最高的预测框, 将其余预测框全部删除。
本发明实现了对在复杂背景下拍摄的电表图片可以快速准确地识别电能表示数信息。利用图像处理技术及基于YOLOv3的人工智能深度学习网络对智能电表图像进行分析处理，定位关键目标区域并识别其中的电表读数等信息。
本发明支持多尺度检测，提升了mAP及小物体检测效果，检测速度快、准确率较高，具备对复杂背景下的目标检测能力，同时一定程度上降低了对训练样本集规模的依赖。
本发明将人工智能、图像处理和电力营销领域相结合，降低了读表工作的人工成本及人为误差，提升了准确率。
附图说明
图1就本发明所述的电能表示数识别流程图。
图2 本发明中基于YOLOv3网络检测基本流程图。
具体实施方式
下面结合附图和具体实施，对本发明作进一步详细阐述：
一种基于YOLOV3网络的电表示数识别方法，结合深度学习神经网络，分为图像预处理，关键目标区域检测及读数识别三个过程，其中关键目标区域识别使用YOLOv3-Tiny目标检测模型来实现，读数识别使用YOLOv3目标检测模型来实现；具体如下：
1) 首先基于YOLOv3-tiny网络构建示数区域定位模型，对示数目标定位；
2）然后裁剪示数目标区域；
3）最后基于YOLOv3网络构建示数文字识别模型，进行示数文字识别，测试时，在NMS算法中添加规则: 如果存在任意两个预测框的 IOU>0.6, 那么将保留置信度最高的预测框,将其余预测框全部删除。
图2 本发明中基于YOLOv3网络检测基本流程图。具体步骤如下：
步骤1： 分辨率初始化: 将原始图像的分辨率初始化为a × b, 图像的通道数为n。
步骤2：卷积网络提取特征: 将 resize 后的图像数据输入卷积网络, 输出一个S×S ×[(5+N)× B] 的特征图, 该特征图将图像划分为S ×S个网格单元, 每个网格单元输出 B 个预测框, 每个预测框将输出 4 种信息, 包括预测框的位置 、尺寸 、置信度 以及预测不同类别的条件概率 , 其中类别的数量为N。
步骤3：NMS 处理删除冗余框: NMS (Non-Maximum Suppression) 即非极大值抑制算法, 对于预测框组成的集合 , 采用下面的计算方式: 选择具有最大置信度的预测框, 将其从集合中移除并加入到最终的检测结果中, 将 A中剩余预测框中与M 的IOU大于阈值Nt的框从A中移除, 重复这个过程, 直到A集合为空。使用NMS 算法将特征图 1 中的冗余框的置信度设置为 0, 生成特征图 2。
步骤4：计算预测类别: 预测框对于第i类的置信度分数si , 用公式表示为:
si = pi ×c
其中,pi表示当前预测框对应第i 类的条件概率 , c 表示 当前预测框的置信度. 预测类别取si 最大时对应的类别i, 预测框对应的预测类别用公式表示为:
C = arg max(si)
本发明实现了对在复杂背景下拍摄的电表图片可以快速准确地识别电能表示数信息。利用图像处理技术及基于YOLOv3的人工智能深度学习网络对智能电表图像进行分析处理，定位关键目标区域并识别其中的电表读数等信息。

Claims (2)

1.一种基于YOLOV3网络的电表示数识别方法，其特征在于：结合深度学习神经网络，分为图像预处理，关键目标区域检测及读数识别三个过程，其中关键目标区域识别使用YOLOv3-Tiny目标检测模型来实现，读数识别使用YOLOv3目标检测模型来实现；具体如下：
1) 首先基于YOLOv3-tiny网络构建示数区域定位模型，对示数目标定位；
2）然后裁剪示数目标区域；
3）最后基于YOLOv3网络构建示数文字识别模型，进行示数文字识别，测试时，在NMS算法中添加规则: 如果存在任意两个预测框的 IOU>0.6, 那么将保留置信度最高的预测框,将其余预测框全部删除。
2.根据权利要求1所述的基于YOLOV3网络的电表示数识别方法，其特征在于：基于YOLOV3网络的电表示数识别方法具体如下：
步骤1： 分辨率初始化: 将原始图像的分辨率初始化为a × b, 图像的通道数为n；
步骤2：卷积网络提取特征: 将 resize 后的图像数据输入卷积网络, 输出一个S×S ×[(5+N)× B] 的特征图, 该特征图将图像划分为S ×S个网格单元, 每个网格单元输出B 个预测框, 每个预测框将输出 4 种信息, 包括预测框的位置 、尺寸 、置信度以及预测不同类别的条件概率, 其中类别的数量为N；
步骤3：NMS 处理删除冗余框: NMS即非极大值抑制算法,对于预测框组成的集合,采用下面的计算方式:选择具有最大置信度的预测框 , 将其从集合中移除并加入到最终的检测结果中,将A中剩余预测框中与M 的IOU大于阈值Nt的框从A中移除, 重复这个过程, 直到A集合为空；使用NMS 算法将特征图 1 中的冗余框的置信度设置为 0, 生成特征图 2；
步骤4：计算预测类别: 预测框对于第i类的置信度分数si, 用公式表示为: si = pi×c
其中,pi表示当前预测框对应第i 类的条件概率 , c 表示当前预测框的置信度，预测类别取si 最大时对应的类别i, 预测框对应的预测类别用公式表示为: C = arg max(si)。
CN202010417060.9A 2020-05-18 2020-05-18 一种基于yolov3网络的电表示数识别方法 Pending CN111461121A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010417060.9A CN111461121A (zh) 2020-05-18 2020-05-18 一种基于yolov3网络的电表示数识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010417060.9A CN111461121A (zh) 2020-05-18 2020-05-18 一种基于yolov3网络的电表示数识别方法

Publications (1)

Publication Number Publication Date
CN111461121A true CN111461121A (zh) 2020-07-28

Family

ID=71682752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010417060.9A Pending CN111461121A (zh) 2020-05-18 2020-05-18 一种基于yolov3网络的电表示数识别方法

Country Status (1)

Country Link
CN (1) CN111461121A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347929A (zh) * 2020-11-06 2021-02-09 电子科技大学中山学院 一种指针式仪表***及监控方法
CN112508017A (zh) * 2020-12-15 2021-03-16 通号智慧城市研究设计院有限公司 数显仪表读数智能识别方法、***、处理设备和存储介质
CN112883965A (zh) * 2021-02-08 2021-06-01 中兴盛达电气技术（郑州）有限公司 包装器皿上的日期检测方法、电子设备和计算机可读存储介质
CN113642582A (zh) * 2021-08-13 2021-11-12 中国联合网络通信集团有限公司 电表读数识别方法、装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657682A (zh) * 2018-11-29 2019-04-19 国网河北省电力有限公司电力科学研究院 一种基于深度神经网络和多阈值软切分的电能表示数识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657682A (zh) * 2018-11-29 2019-04-19 国网河北省电力有限公司电力科学研究院 一种基于深度神经网络和多阈值软切分的电能表示数识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚安 等: "基于YOLOv3网络的电能表示数识别方法", 《计算机***应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347929A (zh) * 2020-11-06 2021-02-09 电子科技大学中山学院 一种指针式仪表***及监控方法
CN112508017A (zh) * 2020-12-15 2021-03-16 通号智慧城市研究设计院有限公司 数显仪表读数智能识别方法、***、处理设备和存储介质
CN112883965A (zh) * 2021-02-08 2021-06-01 中兴盛达电气技术（郑州）有限公司 包装器皿上的日期检测方法、电子设备和计算机可读存储介质
CN113642582A (zh) * 2021-08-13 2021-11-12 中国联合网络通信集团有限公司 电表读数识别方法、装置、电子设备和存储介质
CN113642582B (zh) * 2021-08-13 2023-07-25 中国联合网络通信集团有限公司 电表读数识别方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN106980858B (zh) 一种语言文本检测与定位***及应用该***的语言文本检测与定位方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN104992223A (zh) 基于深度学习的密集人数估计方法
CN113157678B (zh) 一种多源异构数据关联方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和***
CN113936195B (zh) 敏感图像识别模型的训练方法、训练装置和电子设备
CN105117740A (zh) 字体识别方法及装置
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN111860465A (zh) 基于超像素的遥感图像提取方法、装置、设备及存储介质
Gawade et al. Early-stage apple leaf disease prediction using deep learning
CN113077438B (zh) 针对多细胞核彩色图像的细胞核区域提取方法及成像方法
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN115953394B (zh) 基于目标分割的海洋中尺度涡检测方法及***
CN116030346A (zh) 基于马尔可夫判别器的非成对弱监督云检测方法及***
CN115661904A (zh) 数据标注和域适应模型训练方法、装置、设备及介质
CN115100451A (zh) 一种用于液压泵漏油监控的数据扩充方法
CN118012921B (zh) 一种用于知识产权虚拟实验的人机交互数据处理***
CN117593648B (zh) 基于弱监督学习的遥感目标建筑物提取方法
CN116977334B (zh) 一种光缆表面瑕疵检测方法及装置
Rao et al. Markov random field classification technique for plant leaf disease detection
CN117079103B (zh) 一种用于神经网络训练的伪标签生成方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728

RJ01 Rejection of invention patent application after publication