CN110659636B - 基于深度学习的指针式仪表读数识别方法 - Google Patents

基于深度学习的指针式仪表读数识别方法 Download PDF

Info

Publication number
CN110659636B
CN110659636B CN201910894088.9A CN201910894088A CN110659636B CN 110659636 B CN110659636 B CN 110659636B CN 201910894088 A CN201910894088 A CN 201910894088A CN 110659636 B CN110659636 B CN 110659636B
Authority
CN
China
Prior art keywords
pointer
scale mark
instrument
straight line
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910894088.9A
Other languages
English (en)
Other versions
CN110659636A (zh
Inventor
朱杰
周登科
王库
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Smart Technology Co Ltd
Suirui Technology Group Co Ltd
Original Assignee
Jiangxi Suirui Intelligent Technology Co ltd
Suirui Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Suirui Intelligent Technology Co ltd, Suirui Technology Group Co Ltd filed Critical Jiangxi Suirui Intelligent Technology Co ltd
Priority to CN201910894088.9A priority Critical patent/CN110659636B/zh
Publication of CN110659636A publication Critical patent/CN110659636A/zh
Application granted granted Critical
Publication of CN110659636B publication Critical patent/CN110659636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的指针式仪表读数识别方法，该方法通过第一深度网络模型识别待识别仪表图片中的表盘区域；将该待识别仪表的表盘所在的区域从该图片上截取出来；通过第二深度网络模型识别该表盘中的圆心坐标、各个刻度线数字坐标、半指针针尖坐标以及位于指针两侧的两个刻度线数字的坐标；将该两个刻度线数字所在的区域分别从截取出的待识别仪表的表盘区域的图片中截取出来；通过第三深度网络模型识别该两个刻度线数字的数值，并采用角度法进行读数。该基于深度学习的指针式仪表读数识别方法能够同时识别多种类型的指针式仪表的读数，且读数效率更高。

Description

基于深度学习的指针式仪表读数识别方法
技术领域
本发明是关于仪器仪表智能识别技术领域，特别是关于一种基于深度学习的指针式仪表读数识别方法。
背景技术
指针式仪表作为一种测量仪器，具有结构简单、价格低廉、防尘防水、抗电磁干扰能力强等特点，被广泛应用于电力***、石油化工、航天航空等领域。目前大多数指针式仪表基本都是靠人眼进行示数判读，人眼识别过程中精度不高、工作量大、效率低，且在变电站等高温、高压、高辐射环境中，不适合用人眼进行仪表识别，因此，有必要研究用机器代替人工来进行指针式仪表的读数识别。
指针式仪表读数识别主要包含三个步骤：仪表定位、表盘要素提取和示数判读。仪表定位主要有Hough变换圆检测和模板匹配法；表盘要素提取主要有Hough变换、减影法、中心投影法、最小二乘法、区域生长法等；示数判读主要有距离法和角度法。在仪表定位中，Hough变换圆检测和特征匹配方法效率低，速度慢。表盘要素提取时的中心投影法、减影法和区域生长法对采集仪表图像的要求较高，容易受拍摄环境的影响，鲁棒性能差，而Hough变换和最小二乘法计算量大，误差高，导致提取指针的速度较慢。仪表示数判读的方法中，角度法误差较大，距离法计算量较大。另外，发明人还发现，目前的仪表读数识别方法都是只针对一种类型的仪表进行读数识别，无法同时识别多种类型的仪表。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于深度学习的指针式仪表读数识别方法，其能够同时识别多种类型的指针式仪表的读数，且读数效率更高。
为实现上述目的，本发明提供了一种基于深度学习的指针式仪表读数识别方法，用于对指针式仪表进行读数识别，该方法包括：将待识别仪表的图片输入第一深度网络模型中从而得到该待识别仪表的类型以及该待识别仪表的表盘在该图片中的区域坐标；将该待识别仪表的表盘所在的区域从该图片上截取出来；将截取出的所述待识别仪表的表盘区域的图片输入第二深度网络模型中从而得到该待识别仪表表盘的圆心坐标和各个刻度线数字的坐标，确定该待识别仪表表盘的半指针针尖的坐标和指针所在的直线，并且确定出距离所述指针所在的直线最近的两个刻度线数字的区域；将该两个刻度线数字所在的区域分别从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出该两个刻度线数字的数值，并采用角度法计算出该仪表的读数。
在本发明的一实施方式中，该指针式仪表读数识别方法还包括构建所述第一深度网络模型，所述构建所述第一深度网络模型包括：通过可见光摄像头采集监测范围内各个仪表的图片集，其中，该图片集包括多个拍摄角度、多种光照条件、多个背景以及多个指针旋转角度下拍摄的各个仪表的图片；在所述图片集中标注所述各个仪表的表盘区域以及仪表类型，并记录下所述各个仪表的表盘区域的位置信息以及所述各个仪表的刻度线数字区域的位置信息；通过目标检测网络模型对标注后的图片集进行训练得到所述第一深度网络模型。
在本发明的一实施方式中，该指针式仪表读数识别方法还包括构建所述第二深度网络模型，所述构建所述第二深度网络模型包括：根据所述各个仪表的表盘区域的位置信息，将所述各个仪表的表盘区域从所述各个仪表的图片上截取出来从而得到表盘图片集；在所述表盘图片集中标注各个表盘的半指针区域、表盘圆心区域以及刻度线数字的区域，其中，所述半指针区域为矩形框，所述半指针被标注在该矩形框的对角线上；通过目标检测网络模型对标注后的表盘图片集进行训练从而得到所述第二深度网络模型。
在本发明的一实施方式中，在所述表盘图片集中标注各个表盘的半指针区域、表盘圆心区域以及刻度线数字的区域包括：根据K均值算法确定所述各个表盘的半指针、表盘圆心以及刻度线数字的标注区域。
在本发明的一实施方式中，该指针式仪表读数识别方法还包括构建所述第三深度网络模型，所述构建所述第三深度网络模型包括：根据所述各个仪表的刻度线数字区域的位置信息，将所述各个仪表的刻度线数字区域从所述各个表盘的图片中截取出来从而得到刻度线数字图片集；采用轮廓法对所述刻度线数字图片集的各个刻度线数字进行倾斜校正，并对校正后的各个刻度线数字用投影法进行分割从而得到数字字符图片集；采用CaffeNet网络模型迁移学习MNIST数据集权重训练所述数字字符图片集从而得到所述第三深度网络模型。
在本发明的一实施方式中，所述确定该仪表表盘的半指针针尖的坐标包括：确定所述待识别仪表的表盘的圆心坐标到所述半指针矩形框的四个顶点的欧式距离；选择所述欧式距离最大值所对应的顶点坐标为所述半指针针尖的坐标。
在本发明的一实施方式中，所述确定出距离所述指针所在的直线最近的两个刻度线数字包括：确定所述待识别仪表的各个刻度线数字的坐标到所述半指针针尖的坐标的欧式距离；选择所述欧式距离最小值和次小值所对应的刻度线数字为距离所述指针所在的直线最近的两个刻度线数字。
在本发明的一实施方式中，所述采用角度法计算出该仪表的读数包括：将距离所述指针所在的直线最近的两个刻度线数字分别与所述待识别仪表的表盘圆心进行连接从而得到第一直线和第二直线；确定所述第一直线与所述指针所在的直线的第一夹角thea1，并确定所述第二直线与所述指针所在的直线的第二夹角thea2；根据角度法确定所述待识别仪表的读数v，其中，所述角度法为：
Figure BDA0002209681170000041
其中v1为距离所述指针所在的直线最近的两个刻度线数字中较小的刻度线数字的值；v2为距离所述指针所在的直线最近的两个刻度线数字中较大的刻度线数字的值。
在本发明的一实施方式中，所述将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述距离所述指针所在的直线最近的两个刻度线数字的数值包括：若所述距离所述指针所在的直线最近的两个刻度线数字的数值均不能够被识别出来，则判定该两个刻度线数字被所述待识别仪表的指针所遮挡，此时再确认所述待识别仪表的表盘中除了该两个刻度线数字的其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的区域；将所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的区域分别从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；将截取出的所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的数值；根据所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的数值确定出所述距离所述指针所在的直线最近的两个刻度线数字的数值。
在本发明的一实施方式中，所述将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述距离所述指针所在的直线最近的两个刻度线数字的数值包括：若所述距离所述指针所在的直线最近的两个刻度线数字的数值其中之一不能够被识别出来，则判定该两个刻度线数字中不能够被识别出来的刻度线数字被所述待识别仪表的指针所遮挡，此时再确认所述待识别仪表的表盘中除了该两个刻度线数字的其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的区域；将所述其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的区域从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；将截取出的所述其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的区域用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的数值；根据所述其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的数值和之前已经被识别出的一个刻度线数字的数值确定出所述距离所述指针所在的直线最近的两个刻度线数字的数值。
与现有技术相比，根据本发明的基于深度学习的指针式仪表读数识别方法，通过第一个深度网络模型得到待识别仪表的仪表类型和表盘位置信息，通过第二个深度网络模型得到半指针、表盘圆心和刻度线上的数字位置信息，通过第三个深度网络模型实现对表盘刻度线上的数字识别，通过训练三个模型来实现指针仪表读数，读数效率更高，且可以识别多种类型的指针式仪表；另外在建立模型过程中，采样的图片样本数据为不同拍摄角度、不同光照条件、不同背景、不同类型的图片，因此本方法能够在复杂背景、光照不均、图像模糊、镜面反射、仪表倾斜等情况下还可以对仪表准确读数，本方法鲁棒性好、普适性高；同时采用本发明的角度法读数相对于现有技术的角度法读数省去了仪表倾斜校正步骤，有效地提高了仪表定位和表盘要素提取的速度，并且提高了读数精度，并且相对于现有技术采用图像处理的仪表读数识别方法，省去了图像预处理步骤，进一步提高了仪表智能读数的速度。
附图说明
图1是根据本发明一实施方式的基于深度学的指针式读数识别方法的步骤组成；
图2是根据本发明一实施方式的表盘的截取示意图；
图3是根据本发明一实施方式的圆心、指针以及刻度线数字的标注示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
为了克服现有技术的问题，本实施方式提供了一种基于深度学的指针式读数识别方法，通过三个深度网络模型进行读数识别，读数效率更高，且可以适用于多种类型的指针式仪表的读数，鲁棒性高，普适性强。
图1是根据本实施方式的基于深度学习的指针式仪表读数识别方法的步骤组成。该方法包括步骤S1～步骤S5。
在步骤S1中，通过第一深度网络模型识别待识别仪表图片中的表盘区域。
具体而言，将待识别仪表的图片输入第一深度网络模型中从而得到该待识别仪表的类型以及该待识别仪表的表盘在该图片中的区域坐标。
在步骤S2中，将该待识别仪表的表盘所在的区域从该图片上截取出来。
在步骤S3中，通过第二深度网络模型识别该表盘中的圆心坐标、各个刻度线数字坐标、半指针针尖坐标以及位于指针两侧的两个刻度线数字的区域。
具体而言，将截取出的待识别仪表的表盘区域的图片输入第二深度网络模型中从而得到该待识别仪表表盘的圆心坐标和各个刻度线数字的坐标，确定该待识别仪表表盘的半指针针尖的坐标和指针所在的直线，并且确定出距离指针所在的直线最近的两个刻度线数字的区域。
其中，确定该仪表表盘的半指针针尖的坐标包括：确定待识别仪表的表盘的圆心坐标到半指针矩形框的四个顶点的欧式距离；选择欧式距离最大值所对应的顶点坐标为半指针针尖的坐标。
确定出距离指针所在的直线最近的两个刻度线数字的区域包括：确定待识别仪表的各个刻度线数字的坐标到半指针针尖的坐标的欧式距离；选择欧式距离最小值和次小值所对应的刻度线数字为距离指针所在的直线最近的两个刻度线数字的区域。
在步骤S4中，将该两个刻度线数字所在的区域分别从截取出的待识别仪表的表盘区域的图片中截取出来。
在步骤S5中，通过第三深度网络模型识别该两个刻度线数字的数值，并采用角度法进行读数。
具体而言，将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出该两个刻度线数字的数值，并采用角度法计算出该仪表的读数。
具体地，在另一实施方式中，在识别该两个刻度线数字时若距离指针所在的直线最近的两个刻度线数字的数值均不能够被识别出来，则判定该两个刻度线数字被待识别仪表的指针所遮挡，此时再确认待识别仪表的表盘中除了该两个刻度线数字的其余刻度线数字中距离指针所在的直线最近的两个刻度线数字的区域；将其余刻度线数字中距离指针所在的直线最近的两个刻度线数字的区域分别从截取出的待识别仪表的表盘区域的图片中截取出来；将截取出的其余刻度线数字中距离指针所在的直线最近的两个刻度线数字的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出其余刻度线数字中距离指针所在的直线最近的两个刻度线数字的数值；根据其余刻度线数字中距离指针所在的直线最近的两个刻度线数字的数值确定出距离指针所在的直线最近的两个刻度线数字的数值。
在另一实施方式中，若距离指针所在的直线最近的两个刻度线数字的数值其中之一不能够被识别出来，则判定该两个刻度线数字中不能够被识别出来的刻度线数字被待识别仪表的指针所遮挡，此时再确认待识别仪表的表盘中除了该两个刻度线数字的其余刻度线数字中距离指针所在的直线最近的一个刻度线数字的区域；将其余刻度线数字中距离指针所在的直线最近的一个刻度线数字的区域从截取出的待识别仪表的表盘区域的图片中截取出来；将截取出的其余刻度线数字中距离指针所在的直线最近的一个刻度线数字的区域用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出其余刻度线数字中距离指针所在的直线最近的一个刻度线数字的数值；根据其余刻度线数字中距离指针所在的直线最近的一个刻度线数字的数值和之前已经被识别出的一个刻度线数字的数值确定出距离指针所在的直线最近的两个刻度线数字的数值。
其中，采用角度法计算出该仪表的读数包括：将距离指针所在的直线最近的两个刻度线数字分别与待识别仪表的表盘圆心进行连接从而得到第一直线和第二直线；确定第一直线与指针所在的直线的第一夹角thea1，并确定第二直线与指针所在的直线的第二夹角thea2；以及根据角度法确定待识别仪表的读数v。
其中，该角度法为：
Figure BDA0002209681170000081
其中v1为距离指针所在的直线最近的两个刻度线数字中较小的刻度线数字的值；v2为距离指针所在的直线最近的两个刻度线数字中较大的刻度线数字的值。
在本实施方式中，该指针式仪表读数识别方法还包括构建第一深度网络模型、构建第二深度网络模型、构建第三深度网络模型。
构建第一深度网络模型包括：通过可见光摄像头采集监测范围内各个仪表的图片集，其中，该图片集包括多个拍摄角度、多种光照条件(明、暗、反光灯)、多个背景以及多个指针旋转角度下拍摄的各个仪表的图片；在图片集中标注各个仪表的表盘区域以及仪表类型，并记录下各个仪表的表盘区域的位置信息以及各个仪表的刻度线数字区域的位置信息；通过目标检测网络模型对标注后的图片集进行训练得到第一深度网络模型。具体而言，将表盘以及刻度线数字的位置信息记录在XML(可扩展标记语言)文件中通过解析XML标签文件来提取位置信息时。
其中，仪表类型包括温度表、湿度表、电压表、电流表等各种指针式仪表。目标检测网络模型包括：YOLO v3、RCNN系列、Mask-RCNN、R-FCN、YOLO、SSD、FPN等目标检测网络模型。
构建第二深度网络模型包括：解析文件中记录的各个仪表的表盘区域的位置信息，将各个仪表的表盘区域从各个仪表的图片上截取出来从而得到表盘图片集；在表盘图片集中标注各个表盘的半指针区域、表盘圆心区域以及刻度线数字的区域，其中，半指针区域为矩形框，半指针被标注在该矩形框的对角线上；通过目标检测网络模型对标注后的表盘图片集进行训练从而得到第二深度网络模型。具体而言，本实施方式中根据K均值算法确定各个表盘的半指针、表盘圆心以及刻度线数字的最佳标注区域，以提高定位的准确性。便于理解，图2为从仪表图片上截取出的表盘图片。图3显示了被标注的半指针区域(如A示意)、刻度线数字区域(如B示意)以及表盘圆心区域(如C示意)。
构建第三深度网络模型包括：解析文件中记录的各个仪表的刻度线数字区域的位置信息，将各个仪表的刻度线数字区域从各个表盘的图片中截取出来从而得到刻度线数字图片集；采用轮廓法对刻度线数字图片集的各个刻度线数字进行倾斜校正，并对校正后的各个刻度线数字用投影法进行分割从而得到数字字符图片集；采用CaffeNet网络模型迁移学习MNIST数据集权重训练数字字符图片集从而得到第三深度网络模型。
综上，根据本实施方式的基于深度学习的指针式仪表读数识别方法，通过第一个深度网络模型得到待识别仪表的仪表类型和表盘位置信息，通过第二个深度网络模型得到半指针、表盘圆心和刻度线上的数字位置信息，通过第三个深度网络模型实现对表盘刻度线上的数字识别，通过训练三个模型来实现指针仪表读数，读数效率更高，且可以识别多种类型的指针式仪表；另外在建立模型过程中，采样的图片样本数据为不同拍摄角度、不同光照条件、不同背景、不同类型的图片，因此本方法能够在复杂背景、光照不均、图像模糊、镜面反射、仪表倾斜等情况下还可以对仪表准确读数，本方法鲁棒性好、普适性高；同时采用本实施方式的角度法读数相对于现有技术的角度法读数省去了仪表倾斜校正步骤，有效地提高了仪表定位和表盘要素提取的速度，并且提高了读数精度，并且相对于现有技术采用图像处理的仪表读数识别方法，省去了图像预处理步骤，进一步提高了仪表智能读数的速度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (9)

1.一种基于深度学习的指针式仪表读数识别方法，用于对指针式仪表进行读数识别，其特征在于，该方法包括：
将待识别仪表的图片输入第一深度网络模型中从而得到该待识别仪表的类型以及该待识别仪表的表盘在该图片中的区域坐标；
将该待识别仪表的表盘所在的区域从该图片上截取出来；
将截取出的所述待识别仪表的表盘区域的图片输入第二深度网络模型中从而得到该待识别仪表表盘的圆心坐标和各个刻度线数字的坐标，确定该待识别仪表表盘的半指针针尖的坐标和指针所在的直线，并且确定出距离所述指针所在的直线最近的两个刻度线数字的区域；
将该两个刻度线数字所在的区域分别从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；
将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述距离所述指针所在的直线最近的两个刻度线数字的数值；以及
采用角度法计算出该待识别仪表的读数，并且根据所述待识别仪表的类型获取该待识别仪表的刻度单位；
所述将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述距离所述指针所在的直线最近的两个刻度线数字的数值包括：
若所述距离所述指针所在的直线最近的两个刻度线数字的数值均不能够被识别出来，则判定该两个刻度线数字被所述待识别仪表的指针所遮挡，此时再确认所述待识别仪表的表盘中除了该两个刻度线数字的其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的区域；
将所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的区域分别从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；
将截取出的所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的数值；以及
根据所述其余刻度线数字中距离所述指针所在的直线最近的两个刻度线数字的数值确定出所述距离所述指针所在的直线最近的两个刻度线数字的数值。
2.如权利要求1所述的基于深度学习的指针式仪表读数识别方法，其特征在于，该指针式仪表读数识别方法还包括构建所述第一深度网络模型，所述构建所述第一深度网络模型包括：
通过可见光摄像头采集监测范围内各个仪表的图片集，其中，该图片集包括多个拍摄角度、多种光照条件、多个背景以及多个指针旋转角度下拍摄的各个仪表的图片；
在所述图片集中标注所述各个仪表的表盘区域以及仪表类型，并记录下所述各个仪表的表盘区域的位置信息以及所述各个仪表的刻度线数字区域的位置信息；以及
通过目标检测网络模型对标注后的图片集进行训练得到所述第一深度网络模型。
3.如权利要求2所述的基于深度学习的指针式仪表读数识别方法，其特征在于，该指针式仪表读数识别方法还包括构建所述第二深度网络模型，所述构建所述第二深度网络模型包括：
根据所述各个仪表的表盘区域的位置信息，将所述各个仪表的表盘区域从所述各个仪表的图片上截取出来从而得到表盘图片集；
在所述表盘图片集中标注各个表盘的半指针区域、表盘圆心区域以及刻度线数字的区域，其中，所述半指针区域为矩形框，所述半指针被标注在该矩形框的对角线上；以及
通过目标检测网络模型对标注后的表盘图片集进行训练从而得到所述第二深度网络模型。
4.如权利要求3所述的基于深度学习的指针式仪表读数识别方法，其特征在于，在所述表盘图片集中标注各个表盘的半指针区域、表盘圆心区域以及刻度线数字的区域包括：
根据K均值算法确定所述各个表盘的半指针、表盘圆心以及刻度线数字的标注区域。
5.如权利要求3所述的基于深度学习的指针式仪表读数识别方法，其特征在于，该指针式仪表读数识别方法还包括构建所述第三深度网络模型，所述构建所述第三深度网络模型包括：
根据所述各个仪表的刻度线数字区域的位置信息，将所述各个仪表的刻度线数字区域从所述各个表盘的图片中截取出来从而得到刻度线数字图片集；
采用轮廓法对所述刻度线数字图片集的各个刻度线数字进行倾斜校正，并对校正后的各个刻度线数字用投影法进行分割从而得到数字字符图片集；以及
采用CaffeNet网络模型迁移学习MNIST数据集权重训练所述数字字符图片集从而得到所述第三深度网络模型。
6.如权利要求3所述的基于深度学习的指针式仪表读数识别方法，其特征在于，所述确定该仪表表盘的半指针针尖的坐标包括：
确定所述待识别仪表的表盘的圆心坐标到所述半指针矩形框的四个顶点的欧式距离；以及
选择所述欧式距离最大值所对应的顶点坐标为所述半指针针尖的坐标。
7.如权利要求1所述的基于深度学习的指针式仪表读数识别方法，其特征在于，所述确定出距离所述指针所在的直线最近的两个刻度线数字的区域包括：
确定所述待识别仪表的各个刻度线数字的坐标到所述半指针针尖的坐标的欧式距离；以及
选择所述欧式距离最小值和次小值所对应的刻度线数字为距离所述指针所在的直线最近的两个刻度线数字的区域。
8.如权利要求1所述的基于深度学习的指针式仪表读数识别方法，其特征在于，所述采用角度法计算出该待识别仪表的读数包括：
将距离所述指针所在的直线最近的两个刻度线数字分别与所述待识别仪表的表盘圆心进行连接从而得到第一直线和第二直线；
确定所述第一直线与所述指针所在的直线的第一夹角thea1，并确定所述第二直线与所述指针所在的直线的第二夹角thea2；以及
根据角度法确定所述待识别仪表的读数v，
其中，所述角度法为：
Figure FDA0003522516710000041
其中v1为距离所述指针所在的直线最近的两个刻度线数字中较小的刻度线数字的值；v2为距离所述指针所在的直线最近的两个刻度线数字中较大的刻度线数字的值。
9.如权利要求1所述的基于深度学习的指针式仪表读数识别方法，其特征在于，所述将截取出的该两个刻度线数字所在的区域分别用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述距离所述指针所在的直线最近的两个刻度线数字的数值包括：
若所述距离所述指针所在的直线最近的两个刻度线数字的数值其中之一不能够被识别出来，则判定该两个刻度线数字中不能够被识别出来的刻度线数字被所述待识别仪表的指针所遮挡，此时再确认所述待识别仪表的表盘中除了该两个刻度线数字的其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的区域；
将所述其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的区域从所述截取出的所述待识别仪表的表盘区域的图片中截取出来；
将截取出的所述其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的区域用轮廓法倾斜校正后再用投影法分割成数字字符，并将分割后的数字字符依次输入到第三深度网络模型中从而识别出所述其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的数值；以及
根据所述其余刻度线数字中距离所述指针所在的直线最近的一个刻度线数字的数值和之前已经被识别出的一个刻度线数字的数值确定出所述距离所述指针所在的直线最近的两个刻度线数字的数值。
CN201910894088.9A 2019-09-20 2019-09-20 基于深度学习的指针式仪表读数识别方法 Active CN110659636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910894088.9A CN110659636B (zh) 2019-09-20 2019-09-20 基于深度学习的指针式仪表读数识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910894088.9A CN110659636B (zh) 2019-09-20 2019-09-20 基于深度学习的指针式仪表读数识别方法

Publications (2)

Publication Number Publication Date
CN110659636A CN110659636A (zh) 2020-01-07
CN110659636B true CN110659636B (zh) 2022-05-13

Family

ID=69038276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910894088.9A Active CN110659636B (zh) 2019-09-20 2019-09-20 基于深度学习的指针式仪表读数识别方法

Country Status (1)

Country Link
CN (1) CN110659636B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291691B (zh) * 2020-02-17 2022-03-15 合肥工业大学 一种基于深度学习的变电站二次设备仪表盘读数检测方法
CN113312941A (zh) * 2020-02-26 2021-08-27 北京同邦卓益科技有限公司 监控仪表盘的方法和装置
CN111368906B (zh) * 2020-02-29 2023-05-23 华南理工大学 一种基于深度学习的指针式油位计读数识别方法
CN111950369A (zh) * 2020-07-10 2020-11-17 济南信通达电气科技有限公司 一种变电站指针式刀闸动作程度识别方法及装置
CN112183530A (zh) * 2020-09-24 2021-01-05 上海三高计算机中心股份有限公司 一种计量表读数识别***
CN112115895B (zh) * 2020-09-24 2023-12-22 深圳市赛为智能股份有限公司 指针型仪表读数识别方法、装置、计算机设备及存储介质
CN112489071A (zh) * 2020-11-03 2021-03-12 辽宁长江智能科技股份有限公司 一种指针水表识别方法与***
CN112507815A (zh) * 2020-11-24 2021-03-16 北京超维世纪科技有限公司 关于指针式仪器仪表盘刻度人工智能图像识别算法及***
CN112560839A (zh) * 2020-12-02 2021-03-26 随锐科技集团股份有限公司 指针式仪表读数的自动识别方法及***
CN112308054B (zh) * 2020-12-29 2021-07-20 广东科凯达智能机器人有限公司 基于目标检测算法的多功能数字表自动读数方法
CN113029220A (zh) * 2021-01-28 2021-06-25 开放智能机器（上海）有限公司 一种工业仪表盘的状态识别***及方法
CN113566863B (zh) * 2021-06-11 2023-12-26 北京眸视科技有限公司 一种指针表的读取方法和装置
CN113469178B (zh) * 2021-07-05 2024-03-01 安徽南瑞继远电网技术有限公司 一种基于深度学习的电力表计识别方法
CN113837166B (zh) * 2021-08-20 2024-03-12 北京工业大学 一种基于深度学习的指针式仪表自动读数方法
CN113837159A (zh) * 2021-11-26 2021-12-24 中化学交通建设集团有限公司 一种基于机器视觉的仪表示数识别方法和装置
CN114549814A (zh) * 2022-01-25 2022-05-27 福建和盛高科技产业有限公司 基于yolox检测的仪表读数识别方法
CN115690771A (zh) * 2022-12-29 2023-02-03 常州海图信息科技股份有限公司 电力房仪表巡检方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460327A (zh) * 2018-01-12 2018-08-28 河南大学 一种基于图像处理的指针式仪表读数自动识别方法
CN108764257A (zh) * 2018-05-23 2018-11-06 郑州金惠计算机***工程有限公司 一种多视角的指针式仪表识别方法
CN109543682A (zh) * 2018-11-23 2019-03-29 电子科技大学 一种基于深度学习的指针式仪表读数方法
CN109993166A (zh) * 2019-04-03 2019-07-09 同济大学 基于刻度查找的指针式仪表读数自动识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729515B2 (en) * 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
CN103207987B (zh) * 2013-02-28 2016-05-18 华北电力大学 一种指针式仪表的示数识别方法
CN105809179B (zh) * 2014-12-31 2019-10-25 中国科学院深圳先进技术研究院 一种指针式仪表的读数识别方法及装置
CN107590498B (zh) * 2017-09-27 2020-09-01 哈尔滨工业大学 一种基于字符分割级联二分类器的自适应汽车仪表检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460327A (zh) * 2018-01-12 2018-08-28 河南大学 一种基于图像处理的指针式仪表读数自动识别方法
CN108764257A (zh) * 2018-05-23 2018-11-06 郑州金惠计算机***工程有限公司 一种多视角的指针式仪表识别方法
CN109543682A (zh) * 2018-11-23 2019-03-29 电子科技大学 一种基于深度学习的指针式仪表读数方法
CN109993166A (zh) * 2019-04-03 2019-07-09 同济大学 基于刻度查找的指针式仪表读数自动识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic Recognition of Instrument Dial Readings with Multiple Reference Points;Tengteng Zhang et al.;《2017 Chinese Automation Congress CAC》;20180101;第7416-7420页 *
仪表自动判读方法的研究与实现;魏琦 等;《信息技术》;20180331(第3期);第140-144、149页 *

Also Published As

Publication number Publication date
CN110659636A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110659636B (zh) 基于深度学习的指针式仪表读数识别方法
CN112257676B (zh) 一种指针式仪表读数方法、***以及巡检机器人
CN110580480B (zh) 基于图像处理的表计读数识别方法
CN112906694B (zh) 变电站倾斜式指针式仪表图像的读数矫正***及方法
CN112818988B (zh) 一种指针式仪表自动识别读数方法及***
Chi et al. Machine vision based automatic detection method of indicating values of a pointer gauge
CN105091922B (zh) 一种基于虚拟表盘的指针表读数识别方法
CN111414934A (zh) 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN111950330A (zh) 一种基于目标检测的指针式仪表示数检测方法
CN110852954B (zh) 指针式仪表的图像倾斜校正方法及***
CN107239742A (zh) 一种仪表指针刻度值计算方法
CN111368906B (zh) 一种基于深度学习的指针式油位计读数识别方法
CN108182433A (zh) 一种表计读数识别方法及***
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN112801094B (zh) 一种指针式仪表图像倾斜校正方法
CN109448043A (zh) 平面约束下的立木高度提取方法
CN113837159A (zh) 一种基于机器视觉的仪表示数识别方法和装置
CN114663744A (zh) 基于机器学习的仪表自动识别方法及***
CN105423975A (zh) 一种大型工件的标定***及方法
CN112560839A (zh) 指针式仪表读数的自动识别方法及***
CN116543376B (zh) 一种指针式仪表读数方法和***
CN113050022B (zh) 一种基于旋转天线的图像定位方法、装置及终端设备
CN112990190A (zh) 指针式仪表读数的识别方法、装置
CN112232209A (zh) 用于变电站巡检机器人的指针式仪表盘读数的识别方法
CN115588196A (zh) 基于机器视觉的指针型仪表读数方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200310

Address after: 100192 Beijing city Haidian District Baosheng Road No. 1 north of the Austrian Science Park Building No. 19 Beijing Suirui Center

Applicant after: Suirui Technology Group Co., Ltd

Applicant after: Jiangxi Smart Technology Co., Ltd.

Address before: 100192 Beijing city Haidian District Baosheng Road No. 1 north of the Austrian Science Park Building No. 19 Beijing Suirui Center

Applicant before: Suirui Technology Group Co., Ltd

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant