CN112861867A - 指针式仪表盘识别方法、***及存储介质 - Google Patents

指针式仪表盘识别方法、***及存储介质 Download PDF

Info

Publication number
CN112861867A
CN112861867A CN202110138641.3A CN202110138641A CN112861867A CN 112861867 A CN112861867 A CN 112861867A CN 202110138641 A CN202110138641 A CN 202110138641A CN 112861867 A CN112861867 A CN 112861867A
Authority
CN
China
Prior art keywords
instrument
instrument panel
image
pointer
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110138641.3A
Other languages
English (en)
Inventor
金芝
李戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110138641.3A priority Critical patent/CN112861867A/zh
Publication of CN112861867A publication Critical patent/CN112861867A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种指针式仪表盘识别方法、***及存储介质，通过获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。本申请利用复杂情况下大样本的仪表图像对目标检测神经网络进行训练得到训练后的仪表检测模型，支持各种复杂场景下多个仪表的同时检测，大大提高了仪表盘的识别准确性以及效率。

Description

指针式仪表盘识别方法、***及存储介质
技术领域
本申请属于仪器识别技术领域，具体地，涉及一种指针式仪表盘识别方法、***及存储介质。
背景技术
指针式仪表在工业领域中被大量使用且类型繁多。其优点在于：对环境的极高适应能力，抗干扰能力强，尤其在环境恶劣的场合，如挖掘隧道、矿洞等场景；对监测数据的反应灵敏且迅速，延迟时间短。指针式仪表的读数操作往往由大量的专业的工作人员去执行。随着人工智能技术的发展，智能巡检机器人正逐步代替人工巡检，用于对工业设备的监测。智能巡检机器人使用相机采集设备、管道的仪表图像信息，并传送到控制后台进行仪表图像的后续分析和处理。
目前，指针式仪表一般基于机器学习或基于深度学习进行表盘的识别。基于机器学习的方法主要是针对表盘呈现圆形或者椭圆形的特点，对整幅图像做霍夫椭圆检测，从而筛选出关键的部分，它的缺点是容易筛选出图像中其他的干扰物，如椭圆形的铁丝网等。随着人工智能技术的发展，越来越多的使用神经网络做目标检测来进行表盘识别。例如，卷积神经网络叠加来定位表盘，但这种方法的网络结构简单，大多仅限于一张图片中出现一个仪表，且识别出表盘后仍然要用传统图像算法识别指针等结构，其性能在大样本复杂情况下十分不可靠。
发明内容
本发明提出了一种指针式仪表盘识别方法及***，旨在解决目前指针式仪表盘识别中，识别场景局限小、识别结果不准确，且识别效果不佳的问题。
根据本申请实施例的第一个方面，提供了一种指针式仪表盘识别方法，具体包括以下步骤：
获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；
将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；
将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；
根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。
本申请一些实施方式中，获取不同场景下一定数量的指针式仪表图像，不同场景包括不同光照、不同背景和/或不同拍摄角度下。
本申请一些实施方式中，根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘识别图像，具体包括：
根据仪表种类的不同，绘制不同颜色的仪表盘预测框；
根据不同颜色的仪表盘预测框的大小，将待识别仪表图像中的仪表盘进行切割，得到仪表盘识别图像。
本申请一些实施方式中，目标检测神经网络由卷积模块、残差模块、特征融合模块和检测层堆叠形成。
本申请一些实施方式中，目标检测神经网络yolo-v3深度学习网络。
本申请一些实施方式中，将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量，具体包括：
根据待识别仪表图像获取三维矩阵；三维矩阵包括图像长、宽以及颜色通道数；
将三维矩阵转换为输入向量；
将输入向量输入仪表检测模型进行预测，得到仪表预测向量。
本申请一些实施方式中，仪表预测向量包括预测位置有仪表的概率值、仪表的中心点x坐标、仪表的中心点y坐标、仪表盘宽度以及仪表盘高度。
根据本申请实施例的第二个方面，提供了一种指针式仪表盘识别***，具体包括：
图像获取模块：用于获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；
仪表检测模型训练模块：用于将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；
仪表预测模块：用于将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；
仪表盘识别模块：用于根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。
根据本申请实施例的第三个方面，提供了一种指针式仪表盘识别设备，包括：
存储器：用于存储可执行指令；以及
处理器:用于与存储器连接以执行可执行指令从而完成指针式仪表盘识别方法。
根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现指针式仪表盘识别方法。
采用本申请实施例中的指针式仪表盘识别方法、***及存储介质，通过获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。本申请利用复杂情况下大样本的仪表图像对目标检测神经网络进行训练得到训练后的仪表检测模型，支持各种复杂场景下多个仪表的同时检测，大大提高了仪表盘的识别准确性以及效率，提高了后续仪表示数的识别准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的指针式仪表盘识别方法的步骤示意图；
图2中示出了根据本申请实施例中包含至少一个指针式仪表的图像示意图；
图3中示出了根据本申请实施例中对指针式仪表进行识别预测的示意图；
图4中示出了根据本申请实施例的指针式仪表盘识别***的结构示意图；
图5中示出了根据本申请实施例的指针式仪表盘识别设备的结构示意图。
具体实施方式
在实现本申请的过程中，发明人发现现有的仪表识别方法中，针对表盘呈现圆形或者椭圆形的特点，对整幅图像做霍夫椭圆检测，从而筛选出关键的部分，它的缺点是容易筛选出图像中其他的干扰物，如椭圆形的铁丝网等。其它采用卷积神经网络叠加来定位表盘的方法，大多仅限于一张图片中出现一个仪表，且识别出表盘后仍然要用传统图像算法识别指针等结构，其性能在大样本复杂情况下十分不可靠。
基于此，本发明的指针式仪表盘识别方法、***及存储介质，通过获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。
本申请利用复杂情况下大样本的仪表图像对目标检测神经网络进行训练得到训练后的仪表检测模型，大大提高了仪表盘的识别准确性，提高了后续仪表示数的识别准确性。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的指针式仪表盘识别方法的步骤示意图。
如图1所示，本申请实施例的指针式仪表盘识别方法，具体包括以下步骤：
S101：获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集。
具体的，不同场景包括不同光照、不同背景和/或不同拍摄角度下。
图2中分别示出了根据本申请实施例中包含至少一个指针式仪表的图像示意图。图3中示出了根据本申请实施例中对指针式仪表进行识别预测的示意图。
如图2和3所示，在一张指针式仪表图像中可包含一个仪表盘，也可以包含多个仪表盘。
具体实施时，通过巡检机器人采集真实场景下千张级图像，其中包含了各种光照、天气与拍摄角度的图像。然后针对这些图像制作标签。具体使用labelimg软件标记图像中仪表的位置，用xml格式的数据对其进行记录，然后将训练图像和各自的标签配对，最后将图像统一大小后封装成训练数据集。
S102：将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型。
具体的，本实施例中的目标检测神经网络基于yolo-v3深度学习网络，目标检测模型yolo-v3，输入是一个代表图片的三维矩阵，前两维是长和宽，第三维代表通道数。因为网络中神经元数量固定，所以现场图片按比例缩放，宽度多余部分用全零掩码覆盖，初始的通道数代表红绿蓝的3个通道(RGB)。
目标检测神经网络由卷积模块、残差模块、特征融合模块和检测层堆叠形成。
其中，残差模块将两个卷积模块的输入与输出相加，避免了网络层数过多而产生的梯度消失、梯度***。为了保证可加性，残差模块输入、输出的特征图维度完全相同。融合层将不同维度的特征图通过上采样的方式对齐并融合。检测层：遍历特征图的宽和高，在里面筛选疑似的目标。每5个值负责预测一个仪表，分别有当前位置有仪表的概率p、仪表的中心点横坐标x、仪表的中心点纵坐标y、仪表宽度w以及仪表高度h。其中，w和h以预设模板框的长、宽对数为基底，同时预设三个模板以在不同尺度上并行预测。
在训练的过程中，本团队使用python语言和pytorch深度学习框架，通过最小化损失函数控制学习方向，损失函数损失的计算公式如下：
Figure BDA0002927974550000051
其中，λ1、λ2为损失函数系数，p为当前位置有仪表的概率，x为仪表的中心点横坐标，y为仪表的中心点纵坐标，w为仪表宽度，h为仪表高度。
具体用adam优化器调整网络里面的参数，控制学习率不超过0.03，迭代70轮次，使得损失函数的值稳定在0.1以下并不再反弹。
S103：将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框A的大小。
具体的，包括以下步骤：首先，根据待识别仪表图像获取三维矩阵；三维矩阵包括图像长、宽以及颜色通道数；然后，将三维矩阵转换为输入向量；最后，将输入向量输入仪表检测模型进行预测，得到仪表预测向量。
具体实施中，首先采集待检测图像，待检测图像可以来源于手机、相机、机器人等拍摄，要求是包含红绿蓝三通道的彩图，本申请将现场图片按比例缩放到448*448，宽度多余部分用全零掩码覆盖，然后使用python的程序包cv2，将图像读入内存，获得一个三维的numpy格式矩阵，接着使用pytorch深度学习框架的接口imread函数将该矩阵转换为向量，然后将这个向量传入训练好的仪表检测模型中，模型在0.2秒之内会给出预测结果，结果也是以向量的形式表示，向量的第一个维度表示仪表盘的个数，第二个维度表示每个仪表盘的位置信息。位置信息包括五个数值，第一是仪表盘的类别，如图3所示，第二到五分别表示中心点的x和y坐标，以及表盘的矩形框长度h和宽度w。
S104：根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。
具体的，包括以下步骤：根据仪表种类的不同，绘制不同颜色的仪表盘预测框；然后，根据不同颜色的仪表盘预测框的大小，将待识别仪表图像中的仪表盘进行切割，得到仪表盘识别图像。
具体实施时，是将向量形式的预测结果转化成人眼能直观感受的形式，一方面，根据预测的坐标绘制矩阵框，不同种类的预测结果给出不同的颜色；另一方面，借用cv2程序库将表盘所在的图像部分单独切下来，方便展示。
本申请一些实施方式中，仪表预测向量包括预测位置有仪表的概率值、仪表的中心点x坐标、仪表的中心点y坐标、仪表盘宽度以及仪表盘高度。
本申请实施例中的指针式仪表盘识别方法，通过获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。本申请利用复杂情况下大样本的仪表图像对目标检测神经网络进行训练得到训练后的仪表检测模型，支持各种复杂场景下多个仪表的同时检测，大大提高了仪表盘的识别准确性以及效率，提高了后续仪表示数的识别准确性。
本申请支持各种复杂场景下多个仪表的同时检测，同时，支持任意场景下的切换，无需更换模型，只用传入新的包含仪表的图片，就可以获得新的检测结果，同时也使得对外的展示更加灵活。
实施例2
本实施例提供了一种指针式仪表盘识别***，对于本实施例的指针式仪表盘识别***中未披露的细节，请参照其它实施例中的指针式仪表盘识别方法的具体实施内容。
图4中示出了根据本申请实施例的指针式仪表盘识别***的结构示意图。
如图4所示，本申请实施例的指针式仪表盘识别***，具体包括图像获取模块10、仪表检测模型训练模块20、仪表预测模块30以及仪表盘识别模块40。
具体的，
图像获取模块10：用于获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集。
具体的，不同场景包括不同光照、不同背景和/或不同拍摄角度下。
具体实施时，通过巡检机器人采集真实场景下千张级图像，其中包含了各种光照、天气与拍摄角度的图像。然后针对这些图像制作标签。具体使用labelimg软件标记图像中仪表的位置，用xml格式的数据对其进行记录，然后将训练图像和各自的标签配对，最后将图像统一大小后封装成训练数据集。
仪表检测模型训练模块20：用于将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型。
具体的，本实施例中的目标检测神经网络基于yolo-v3深度学习网络，目标检测模型yolo-v3，输入是一个代表图片的三维矩阵，前两维是长和宽，第三维代表通道数。因为网络中神经元数量固定，所以现场图片按比例缩放，宽度多余部分用全零掩码覆盖，初始的通道数代表红绿蓝的3个通道(RGB)。
目标检测神经网络由卷积模块、残差模块、特征融合模块和检测层堆叠形成。
其中，残差模块将两个卷积模块的输入与输出相加，避免了网络层数过多而产生的梯度消失、梯度***。为了保证可加性，残差模块输入、输出的特征图维度完全相同。融合层将不同维度的特征图通过上采样的方式对齐并融合。检测层：遍历特征图的宽和高，在里面筛选疑似的目标。每5个值负责预测一个仪表，分别有当前位置有仪表的概率p、仪表的中心点横坐标x、仪表的中心点纵坐标y、仪表宽度w以及仪表高度h。其中，w和h以预设模板框的长、宽对数为基底，同时预设三个模板以在不同尺度上并行预测。
在训练的过程中，本团队使用python语言和pytorch深度学习框架，通过最小化损失函数控制学习方向，损失函数损失的计算公式如下：
Figure BDA0002927974550000071
其中，λ1、λ2为损失函数系数，p为当前位置有仪表的概率，x为仪表的中心点横坐标，y为仪表的中心点纵坐标，w为仪表宽度，h为仪表高度。
具体用adam优化器调整网络里面的参数，控制学习率不超过0.03，迭代70轮次，使得损失函数的值稳定在0.1以下并不再反弹。
仪表预测模块30：用于将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小。
具体的，包括以下步骤：首先，根据待识别仪表图像获取三维矩阵；三维矩阵包括图像长、宽以及颜色通道数；然后，将三维矩阵转换为输入向量；最后，将输入向量输入仪表检测模型进行预测，得到仪表预测向量。
具体实施中，首先采集待检测图像，待检测图像可以来源于手机、相机、机器人等拍摄，要求是包含红绿蓝三通道的彩图，本申请将现场图片按比例缩放到448*448，宽度多余部分用全零掩码覆盖，然后使用python的程序包cv2，将图像读入内存，获得一个三维的numpy格式矩阵，接着使用pytorch深度学习框架的接口imread函数将该矩阵转换为向量，然后将这个向量传入训练好的仪表检测模型中，模型在0.2秒之内会给出预测结果，结果也是以向量的形式表示，向量的第一个维度表示仪表盘的个数，第二个维度表示每个仪表盘的位置信息。位置信息包括五个数值，第一是仪表盘的类别，第二到五分别表示中心点的x和y坐标，以及表盘的矩形框长度和宽度。
仪表盘识别模块40：用于根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。
具体的，包括以下步骤：根据仪表种类的不同，绘制不同颜色的仪表盘预测框；然后，根据不同颜色的仪表盘预测框的大小，将待识别仪表图像中的仪表盘进行切割，得到仪表盘识别图像。
具体实施时，是将向量形式的预测结果转化成人眼能直观感受的形式，一方面，根据预测的坐标绘制矩阵框，不同种类的预测结果给出不同的颜色；另一方面，借用cv2程序库将表盘所在的图像部分单独切下来，方便展示。
本申请一些实施方式中，仪表预测向量包括预测位置有仪表的概率值、仪表的中心点x坐标、仪表的中心点y坐标、仪表盘宽度以及仪表盘高度。
本申请实施例中的指针式仪表盘识别***，通过图像获取模块10获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；仪表检测模型训练模块20将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；仪表预测模块30将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；仪表盘识别模块40根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。本申请利用复杂情况下大样本的仪表图像对目标检测神经网络进行训练得到训练后的仪表检测模型，支持各种复杂场景下多个仪表的同时检测，大大提高了仪表盘的识别准确性以及效率，提高了后续仪表示数的识别准确性。
本申请支持各种复杂场景下多个仪表的同时检测，同时，支持任意场景下的切换，无需更换模型，只用传入新的包含仪表的图片，就可以获得新的检测结果，同时也使得对外的展示更加灵活。
实施例3
本实施例提供了一种指针式仪表盘识别设备，对于本实施例的指针式仪表盘识别设备中未披露的细节，请参照其它实施例中的指针式仪表盘识别方法或***具体的实施内容。
图5中示出了根据本申请实施例的指针式仪表盘识别设备400的结构示意图。
如图5所示，指针式仪表盘识别设备400，包括：
存储器402：用于存储可执行指令；以及
处理器401:用于与存储器402连接以执行可执行指令从而完成运动矢量预测方法。
本领域技术人员可以理解，示意图5仅仅是指针式仪表盘识别设备400的示例，并不构成对指针式仪表盘识别设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如指针式仪表盘识别设备400还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等，处理器401是指针式仪表盘识别设备400的控制中心，利用各种接口和线路连接整个指针式仪表盘识别设备400的各个部分。
存储器402可用于存储计算机可读指令，处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块，以及调用存储在存储器402内的数据，实现指针式仪表盘识别设备400的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据指针式仪表盘识别设备400使用所创建的数据等。此外，存储器402可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
指针式仪表盘识别设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现其他实施例中的指针式仪表盘识别方法。
本申请实施例中的指针式仪表盘识别设备及计算机存储介质，通过获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；将训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；将待识别仪表图像输入至仪表检测模型进行预测，得到仪表预测向量；仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；根据仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。本申请利用复杂情况下大样本的仪表图像对目标检测神经网络进行训练得到训练后的仪表检测模型，支持各种复杂场景下多个仪表的同时检测，大大提高了仪表盘的识别准确性以及效率，提高了后续仪表示数的识别准确性。
本申请支持各种复杂场景下多个仪表的同时检测，同时，支持任意场景下的切换，无需更换模型，只用传入新的包含仪表的图片，就可以获得新的检测结果，同时也使得对外的展示更加灵活。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种指针式仪表盘识别方法，包括以下步骤：
获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；
将所述训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；
将待识别仪表图像输入至所述仪表检测模型进行预测，得到仪表预测向量；所述仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；
根据所述仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。
2.根据权利要求1所述的指针式仪表盘识别方法，其特征在于，所述获取不同场景下一定数量的指针式仪表图像，所述不同场景包括不同光照、不同背景和/或不同拍摄角度下。
3.根据权利要求1所述的指针式仪表盘识别方法，其特征在于，所述根据所述仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘识别图像，具体包括：
根据仪表种类的不同，绘制不同颜色的仪表盘预测框；
根据所述不同颜色的仪表盘预测框的大小，将待识别仪表图像中的仪表盘进行切割，得到仪表盘识别图像。
4.根据权利要求1所述的指针式仪表盘识别方法，其特征在于，所述目标检测神经网络由卷积模块、残差模块、特征融合模块和检测层堆叠形成。
5.根据权利要求1所述的指针式仪表盘识别方法，其特征在于，所述目标检测神经网络为yolo-v3深度学习网络。
6.根据权利要求1所述的指针式仪表盘识别方法，其特征在于，所述将待识别仪表图像输入至所述仪表检测模型进行预测，得到仪表预测向量，具体包括：
根据所述待识别仪表图像获取三维矩阵；所述三维矩阵包括图像长、宽以及颜色通道数；
将所述三维矩阵转换为输入向量；
将所述输入向量输入所述仪表检测模型进行预测，得到仪表预测向量。
7.根据权利要求1或6所述的指针式仪表盘识别方法，其特征在于，所述仪表预测向量包括预测位置有仪表的概率值、仪表的中心点横坐标、仪表的中心点纵坐标、仪表盘宽度以及仪表盘高度。
8.一种指针式仪表盘识别***，其特征在于，具体包括：
图像获取模块：用于获取不同场景下一定数量的指针式仪表图像，并进行仪表种类标签的标注，得到训练数据集；
仪表检测模型训练模块：用于将所述训练数据集输入至目标检测神经网络进行训练，得到训练后的仪表检测模型；
仪表预测模块：用于将待识别仪表图像输入至所述仪表检测模型进行预测，得到仪表预测向量；所述仪表预测向量包括仪表种类、仪表盘中心坐标以及仪表盘预测框的大小；
仪表盘识别模块：用于根据所述仪表预测向量，将待识别仪表图像中的至少一个仪表盘进行切割，得到至少一个仪表盘图像。
9.一种指针式仪表盘识别设备，其特征在于，包括：
存储器：用于存储可执行指令；以及
处理器:用于与所述存储器连接以执行所述可执行指令从而完成权利要求1-7任一项所述的指针式仪表盘识别方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；计算机程序被处理器执行以实现如权利要求1-7任一项所述的指针式仪表盘识别方法。
CN202110138641.3A 2021-02-01 2021-02-01 指针式仪表盘识别方法、***及存储介质 Pending CN112861867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110138641.3A CN112861867A (zh) 2021-02-01 2021-02-01 指针式仪表盘识别方法、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110138641.3A CN112861867A (zh) 2021-02-01 2021-02-01 指针式仪表盘识别方法、***及存储介质

Publications (1)

Publication Number Publication Date
CN112861867A true CN112861867A (zh) 2021-05-28

Family

ID=75987557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110138641.3A Pending CN112861867A (zh) 2021-02-01 2021-02-01 指针式仪表盘识别方法、***及存储介质

Country Status (1)

Country Link
CN (1) CN112861867A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673509A (zh) * 2021-07-28 2021-11-19 华南理工大学 一种基于图像文本的仪表检测分类方法
CN114638961A (zh) * 2022-03-28 2022-06-17 北京国电瑞源科技发展有限公司 一种指针表盘识别方法、***及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948469A (zh) * 2019-03-01 2019-06-28 吉林大学 基于深度学习的巡检机器人仪表自动检测识别方法
CN111062282A (zh) * 2019-12-05 2020-04-24 武汉科技大学 基于改进yolov3模型的变电站指针式仪表识别方法
CN111814740A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 指针仪表读数的识别方法、装置、计算机设备和存储介质
CN112115893A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 仪表盘指针读数识别方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948469A (zh) * 2019-03-01 2019-06-28 吉林大学 基于深度学习的巡检机器人仪表自动检测识别方法
CN111062282A (zh) * 2019-12-05 2020-04-24 武汉科技大学 基于改进yolov3模型的变电站指针式仪表识别方法
CN111814740A (zh) * 2020-07-28 2020-10-23 南方电网数字电网研究院有限公司 指针仪表读数的识别方法、装置、计算机设备和存储介质
CN112115893A (zh) * 2020-09-24 2020-12-22 深圳市赛为智能股份有限公司 仪表盘指针读数识别方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673509A (zh) * 2021-07-28 2021-11-19 华南理工大学 一种基于图像文本的仪表检测分类方法
CN113673509B (zh) * 2021-07-28 2023-06-09 华南理工大学 一种基于图像文本的仪表检测分类方法
CN114638961A (zh) * 2022-03-28 2022-06-17 北京国电瑞源科技发展有限公司 一种指针表盘识别方法、***及计算机存储介质

Similar Documents

Publication Publication Date Title
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
CN114240878A (zh) 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN109886928A (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN110175519B (zh) 一种变电站的分合标识仪表识别方法、装置与存储介质
CN107948586B (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN112861867A (zh) 指针式仪表盘识别方法、***及存储介质
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN114549390A (zh) 电路板检测方法、电子装置及存储介质
CN111242922A (zh) 一种蛋白质图像分类方法、装置、设备及介质
CN114037907A (zh) 输电线路的检测方法、装置、计算机设备、存储介质
CN117115722A (zh) 施工场景检测的方法、装置、存储介质及电子设备
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN115147644A (zh) 图像描述模型的训练和描述方法、***、设备及存储介质
CN113962980A (zh) 基于改进yolov5x的玻璃容器瑕疵检测方法及***
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN116563841B (zh) 配电网设备标识牌的检测方法、检测装置和电子设备
CN112434582A (zh) 一种车道线颜色识别方法、***、电子设备及存储介质
CN116805387A (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN111104965A (zh) 车辆目标识别的方法及装置
CN115601675A (zh) 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
CN112232431A (zh) 水印检测模型训练方法、水印检测方法、***、设备及介质
CN110826647A (zh) 一种电力设备异物外观自动检测方法及***
CN117372510B (zh) 基于计算机视觉模型的地图注记识别方法、终端及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination