CN114037992A - 仪表示数识别方法、装置、电子设备及存储介质 - Google Patents
仪表示数识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114037992A CN114037992A CN202111260579.1A CN202111260579A CN114037992A CN 114037992 A CN114037992 A CN 114037992A CN 202111260579 A CN202111260579 A CN 202111260579A CN 114037992 A CN114037992 A CN 114037992A
- Authority
- CN
- China
- Prior art keywords
- image
- instrument
- image data
- target
- meter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000005520 cutting process Methods 0.000 claims abstract description 18
- 238000005286 illumination Methods 0.000 claims abstract description 16
- 238000012937 correction Methods 0.000 claims description 29
- 238000002310 reflectometry Methods 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种仪表示数识别方法、装置、电子设备及存储介质。该方法包括：对获取到的图像数据进行亮度增强，得到增强图像数据，在对增强图像数据进行裁剪后，得到仪表图像，并识别所述仪表图像的目标表盘类型；并按照所述目标表盘类型对应的目标预设标准表盘，对所述仪表图像进行矫正，得到矫正仪表图像；基于所述矫正仪表图像中的指针位置和所述目标预设标准表盘的刻度信息，识别所述仪表图像中的仪表示数。基于此，对于低光照和/或仪表图像偏斜的情况，本申请的方案还是可以较为准确地进行示数读取，降低了对于仪表示数识别的环境要求，减小了仪表示数识别的难度。
Description
技术领域
本申请实施例涉及视觉识别技术领域，尤其涉及一种仪表示数识别方法、装置、电子设备及存储介质。
背景技术
随着机器视觉的发展，机器视觉识别的技术被广泛应用于工业领域、安全领域、医学领域等。在工业领域，相对于电子式仪表，指针式仪表具有结构简单、价格低廉、防尘放水、抗电磁干扰等特点，因此，在恶劣的工业环境中，指针式仪表发挥了较大的作用。
指针式仪表一般无法通过通信渠道回传其测量数据，目前对于指针式仪表的示数读取，绝大部分是通过检测仪表的外形轮廓和指针轮廓，从而实现对仪表示数的识别读取。
但是，上述方法要求仪表处要有稳定的光源、端正的表盘等，这就提高了对于仪表示数识别的环境要求，增大了仪表示数识别的难度。
发明内容
本申请实施例提供一种仪表示数识别方法、装置、电子设备及存储介质，以降低对于仪表示数识别的环境要求，减小仪表示数识别的难度。
第一方面，本申请实施例提供了一种仪表示数识别方法，所述方法包括：
在获取到图像数据的情况下，对所述图像数据进行亮度增强，得到增强图像数据；
对所述增强图像数据进行裁剪，得到仪表图像，并识别所述仪表图像的目标表盘类型；
按照所述目标表盘类型对应的目标预设标准表盘，对所述仪表图像进行矫正，得到矫正仪表图像；
基于所述矫正仪表图像中的指针位置和所述目标预设标准表盘的刻度信息，识别所述仪表图像中的仪表示数。
第二方面，本申请实施例还提供了一种仪表示数识别装置，该仪表示数识别装置包括：
增强模块，用于在获取到图像数据的情况下，对所述图像数据进行亮度增强，得到增强图像数据；
裁剪识别模块，用于对所述增强图像数据进行裁剪，得到仪表图像，并识别所述仪表图像的目标表盘类型；
矫正模块，用于按照所述目标表盘类型对应的目标预设标准表盘，对所述仪表图像进行矫正，得到矫正仪表图像；
示数识别模块，用于基于所述矫正仪表图像中的指针位置和所述目标预设标准表盘的刻度信息，识别所述仪表图像中的仪表示数。
第三方面，本申请实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请任一实施例提供的仪表示数识别方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请任一实施例提供的仪表示数识别方法。
本申请实施例的技术方案通过对获取到的图像数据进行亮度增强，得到增强图像数据，在对增强图像数据进行裁剪后，得到仪表图像，并识别所述仪表图像的目标表盘类型；并按照所述目标表盘类型对应的目标预设标准表盘，对所述仪表图像进行矫正，得到矫正仪表图像；基于所述矫正仪表图像中的指针位置和所述目标预设标准表盘的刻度信息，识别所述仪表图像中的仪表示数。基于此，对于低光照和/或仪表图像偏斜的情况，本申请的方案还是可以较为准确地进行示数读取，降低了对于仪表示数识别的环境要求，减小了仪表示数识别的难度。
附图说明
图1为本申请实施例一提供的仪表示数识别方法的流程示意图；
图2是本申请的实施例二提供的一种对图像数据进行亮度增强的流程示意图；
图3是本申请的实施例三提供的一种对增强图像数据进行裁剪和表盘识别的流程示意图；
图4为本申请的实施例四提供的一种对仪表图像进行校正的流程示意图；
图5a为本申请的实施例四提供的一种倾斜矫正前最小外椭圆与最小外圆的示意图；
图5b为本申请的实施例四提供的一种倾斜矫正后最小外椭圆与最小外圆的示意图；
图6为本申请的实施例五提供的一种识别仪表示数的具体流程示意图；
图7为本申请实施例六提供的一种仪表示数识别装置的结构示意图；
图8为本申请实施例七提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例一提供的仪表示数识别方法的流程示意图，本实施例可适用于仪表示数识别的场景。需要说明的是，本申请的方案主要针对指针式仪表的示数读取。
该方法可以由仪表示数识别装置来执行，该装置可采用硬件和/或软件的方式实现,并一般可以集成在具有数据运算能力的计算机等电子设备中，具体包括如下步骤：
步骤101、在获取到图像数据的情况下，对图像数据进行亮度增强，得到增强图像数据。
本步骤中，图像数据为前端摄像头拍摄得到的，由于前端摄像头一般会以录像的方式获取视频流数据，因此，本步骤中可以按照预设的时间间隔从视频流中提取图像数据。
另外，亮度增强的具体过程会在后续的实施例中进行单独介绍，此处不再赘述。亮度增强后，便可以得到增强图像数据。一般，一个图像数据对应会有一个增强图像数据。
需要说明的是，本步骤中的亮度增强，并非是机械性的亮度增强，而是，将亮度增强到与正常光照下图像等效的亮度即可，避免过度提亮导致的图像过亮的问题。
步骤102、对增强图像数据进行裁剪，得到仪表图像，并识别仪表图像的目标表盘类型。
本步骤中，由于增强图像数据中包含有仪表的图像，因此，本步骤即是将仪表的图像从增强图像数据中裁剪出来，以便于后续的处理。由于在实际的应用场景中，会涉及到存在不同类型表盘的仪表，而对于后续的示数读取，表盘的类型是比较重要的，因此，本步骤中在得到仪表图像后，还可以识别该仪表图像的目标表盘类型。
需要说明的是，具体的裁剪以及识别的过程，可以参考后续实施例的说明，此处不再赘述。
步骤103、按照目标表盘类型对应的目标预设标准表盘，对仪表图像进行矫正，得到矫正仪表图像。
为了降低对于仪表示数识别的环境要求，减小仪表示数识别的难度，本步骤将仪表图像对照目标预设标准图像来进行矫正。具体的，本步骤中的矫正可以为依次进行倾斜矫正和旋转矫正，倾斜矫正用于将偏斜的仪表图像矫正为正面，旋转矫正用于矫正图像的角度偏转。
另外，具体矫正的过程可以参考后续实施例的说明，此处不再赘述。
步骤104、基于矫正仪表图像中的指针位置和目标预设标准表盘的刻度信息，识别仪表图像中的仪表示数。
由于仪表中的指针一般是采用旋转的方式来指示不同的示数的，而刻度与指针角度之间是具有数学关系的，因此，本步骤中的指针位置可以指指针的角度，比如以指针的旋转中心为圆心的直角坐标系中，指针与X轴或者Y轴的夹角。
目标预设标准表盘的刻度信息一般可以为最大最小刻度对应的角度和读数值。
本实施例中，通过对获取到的图像数据进行亮度增强，得到增强图像数据，在对增强图像数据进行裁剪后，得到仪表图像，并识别仪表图像的目标表盘类型；并按照目标表盘类型对应的目标预设标准表盘，对仪表图像进行矫正，得到矫正仪表图像；基于矫正仪表图像中的指针位置和目标预设标准表盘的刻度信息，识别仪表图像中的仪表示数。基于此，对于低光照和/或仪表图像偏斜的情况，本申请的方案还是可以较为准确地进行示数读取，降低了对于仪表示数识别的环境要求，减小了仪表示数识别的难度。
实施例二
前述实施例中，对图像数据进行亮度增强的方式可以借助预先训练的低光增强模型，具体的，可以将图像数据输入到预先训练的低光增强模型中，并获取低光增强模型输出的增强图像数据。
需要说明的是，本实施例中，低光增强模型大致可以由以下网络组成：分解网络、增强网络和重建网络。
对于低光增强模型中各网络的具体处理过程，可以参阅图2，图2是本申请的实施例二提供的一种对图像数据进行亮度增强的流程示意图。
如图2所示，本实施例中，对图像数据进行亮度增强的过程可以包括：
步骤201、将图像数据输入到分解网络中进行分解，得到原始的图像数据的反射率图像数据和入射光图像数据。
需要说明的是，对于正常光图像和低光图像，分解后的反射率图像数据基本一致，但是入射光图像数据的差距很大，那么，正常光图像和低光照图像之间光照的差距可以通过调整入射光图像数据的入射光强度来缩减。
在一个具体的例子中，本实施例的低光增强模型可以为RetinexNet算法模型，对应的，分解网络可以是DecomNet网络。
具体的，DecomNet网络首先使用3x3的卷积层输入图像中提取特征，以线性校正单元ReLU为激活函数，然后采用3x3卷积层将图像映射成入射光图像和反射率图像，最后利用sigmoid函数将它们约束在[0,1]范围内。
步骤202、将入射光图像数据输入到增强网络中，对入射光图像数据的局部光照进行增强，得到增强后的入射光图像数据。
本步骤中，增强网络可以采用多尺度级联的方式，可以使得增强网络能够捕获大范围内关于光照分布的上下文信息，从而有利于提高其自适应调整的能力。
在一个具体的例子中，增强网络可以是EnhanceNet网络，该网络采用了编码-解码的整体架构，而且使用了多尺度级联保持全局光照和上下文信息的一致性，同时对局部光照分布进行重点调整。
具体的，对局部光照分布进行调整的过程可以如下：对入射光图像进行连续的下采样，得到图像的全局光照分布，上采样块使用了resize-convolutional结构，通过逐元素求和的方式从下采样块引入其对应的镜像，对局部的光照进行调整。
步骤203、将反射率图像数据以及增强后的入射光图像数据输入到重建网络中，通过逐元素相乘对反射率图像数据以及增强后的入射光图像数据进行重建，得到增强图像数据。
虽然反射率图像数据相对于正常光图像的差别较小，但是为了提高最终重建得到的增强图像数据的图像质量，本步骤也可以对反射率图像数据进行去噪，去噪即是对反射率图像数据中被放大的噪声进行抑制，也采用了平滑的方式来缓解降噪可能会带来的图像突变。
但是平滑之后，可能会带来图像本身锐度降低的后果，导致图像不清晰，因此，在平滑后可以增加一个增强处理，以增强反射率图像数据的特征表达，提到图像的锐度，使其更为清晰。
一般，本实施例是将图像光照分量和反射分量的乘积，其中，光照分量即入射光图像数据，反射分量即反射率图像数据。
因此，本步骤中便是将反射率图像数据以及增强后的入射光图像数据进行相乘，从而重建出最终的增强图像数据。具体的，本实施例可以采用逐元素相乘，来进行重建，即对应像素位置的反射率图像数据以及增强后的入射光图像数据相乘，从而拼接出完整的增强图像数据。
需要说明的是，对于上述低光增强模型的训练，可以从预先存储的在低光照和正常光照这两种环境下的仪表图像，形成数据集，然后将数据集划分为训练集、验证集和测试集。
在构建好低光增强模型(比如RetinexNet算法模型)的架构后，对该模型进行加载，并将前述训练集输入到该模型中，对该模型进行训练，待该模型的输出符合训练完成条件时，得到训练完成的低光增强模型与参数权重文件。
需要说明的是，对于该模型的训练，可以参考相关的技术方案，此处不再赘述。
实施例三
前述实施例中，对增强图像数据进行裁剪和识别可以借助预先训练的表盘检测模型，具体的，可以将增强图像数据输入到预先训练的表盘检测模型中裁剪以及表盘识别，得到仪表图像以及仪表图像的目标表盘类型。
具体可以参阅图3，图3是本申请的实施例三提供的一种对增强图像数据进行裁剪和表盘识别的流程示意图。
如图3所示，本实施例提供的对增强图像数据进行裁剪和表盘识别的过程可以包括：
步骤301、对增强图像数据进行特征提取,并基于提取到的特征确定候选框体，对候选框体进行筛选，得到仪表包含框体。
本步骤中，可以利用特征金字塔网络(Feature Pyramid Network，FPN)模型进行特征提取，并基于提取的特征推荐候选框体。其中，候选框体指的是能够框选住仪表图像的框体。
为了减少后续的工作量，本步骤中还会对候选框体进行筛选，该筛选过程可以借助区域推荐的网络(Region Proposal Network，RPN)来实现。筛选出的候选框体便是本步骤中的仪表包含框体。
步骤302、将仪表包含框体与提取到的特征进行整合，得到待定图像区域以及各待定图像区域对应的分类结果。
本步骤是对仪表包含框体与提取到的特征进行整合，一般可以是借助RoIAlign来实现，使用双线性内插的方法，获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作。
对于每个仪表包含框体以及对应的提取到的特征，通过mask来进行预测，预测该每个仪表包含框体框选的图像区域的分类结果。
步骤303、将符合预设条件的分类结果对应的待定图像区域确定为仪表图像，并将分类结果对应的表盘类型确定为仪表图像的目标表盘类型。
需要说明的是，分类结果可以是属于各类表盘类型的概率，概率大于预设阈值，则说明该待定图像区域为概率大于预设阈值的表盘类型的仪表图像。
需要说明的是，本实施例中的表盘检测模型可以是Mask_RCNN网络模型，而对于Mask_RCNN网络模型的训练，可以参考相关的技术，此处不再赘述。
实施例四
请参阅图4，图4为本申请的实施例四提供的一种对仪表图像进行校正的流程示意图。
如图4所示，本实施例提供的对仪表图像进行校正的过程可以包括：
步骤401、检测仪表图像中的数字区域以及数字值，并根据数字区域确定数字值所在的质心坐标。
由于在指针式仪表中，指针的顶端是沿着数字区域旋转的，也就是说，数字区域一般是呈圆弧形状的，在仪表图像有偏转或者旋转时，数字区域可能会呈椭圆形状。因此，可以先通过数字区域确定数字值所在的质心坐标。
具体的，确定质心坐标的过程可以为：用OCR(光学符号识别)方法检测出表盘的数字区域，比如数字“10”检测出就会用矩形方框框出来；然后利用矩形方框对角线的交点就可以确定数字的质心坐标。
步骤402、基于质心坐标确定包含仪表图像的最小外圆及最小外椭圆。
由于前述步骤401中得到了各数值的质心坐标，由于数字区域一般是呈圆弧形状的，在仪表图像有偏转或者旋转时，数字区域可能会呈椭圆形状，因此，可以将得到的一系列数字值的质心进行连接，连接成曲线的形状。
然后利用SVD的方法，对前述曲线的形状进行椭圆拟合，所依据的表达式可以为Ax2+Bxy+Cy2+Dx+Ey+1＝0。
拟合得到的椭圆即能够包含仪表图像的最小外椭圆。另外，以椭圆的长半轴为直径所画的圆，即椭圆的外接圆，确定为最小外圆。
步骤403、根据最小外圆及最小外椭圆的倾斜关系，对仪表图像进行倾斜矫正，得到正面仪表图像。
本步骤中，可以先确定最小外圆和最小外椭圆的关键点，请参阅图5a，图5a为本申请的实施例四提供的一种倾斜矫正前最小外椭圆与最小外圆的示意图。
如图5a所示，最小外圆的关键点为Ci(i＝1,2,3,4)，其表示最小外圆与经过圆心的垂直和水平轴的交点，而最小外椭圆的关键点为Ei(i＝1,2,3,4)，其表示最小外椭圆与其长轴和短轴的交点。
然后根据Ci和Ei计算获得椭圆透视变换矩阵，再基于该矩阵对最小外椭圆内的区域(即仪表图像中的表盘)进行倾斜矫正。矫正后示意图可以参考图5b，图5b为本申请的实施例四提供的一种倾斜矫正后最小外椭圆与最小外圆的示意图。
在一个具体的例子中，进行倾斜矫正的过程可以如下：首先确定椭圆中长轴和短轴与椭圆的交点坐标，如图5a，交点包括E1、E2、E3、E4；在确定待矫正点的坐标位置，如图5a，包括C1、C2、C3、C4；利用opencv的getPerspectiveTransform函数计算变换矩阵。再利用warpPerspective函数对原图进行透视变换，得到矫正后的图像。
步骤404、根据目标表盘类型对应的目标预设标准表盘的对称数字值连线与正面仪表图像中的对称数字值连线的夹角，对正面仪表图像进行旋转矫正，得到矫正仪表图像。
需要说明的是，指针式仪表的刻度，一般呈圆形均匀分布，那么表盘中会存在同一直线上的数字值。因此，可以将在同一直线上的数字值连线，对于每条连线，计算其与水平方向的夹角，并求取夹角的平均值。
然后对于目标预设标准表盘，同样将在同一直线上的数字值连线，对于每条连线，计算其与水平方向的夹角，并求取夹角的平均值。
最后将上述两个平均值相减，即可以得到正面仪表图像相对有目标预设标准表盘的旋转角，再根据该旋转角进行旋转，即可得到矫正仪表图像。
另外，还可以将在同一直线上的数字值连线，对于每条连线，计算其与水平方向的夹角，并求取夹角的平均值。然后对该平均值进行旋转。默认预设标准表盘的数字连线与水平方向的夹角为0。
实施例五
请参阅图6，图6为本申请的实施例五提供的一种识别仪表示数的具体流程示意图。
如图6所示，本实施例提供的识别仪表示数的具体过程可以包括：
步骤S601、根据矫正仪表图像中的指针位置，确定矫正仪表图像中指针的方向向量。
为了更为准确的识别指针位置，可以先采用高斯滤波对原始仪表盘图像信息进行噪声的去除，使得图像变得更为平滑；然后对去噪后的图片进行颜色空间的转换，使之成为灰度图。
接着对灰度图进行二值化处理，从而进一步减少原始图像中的冗余信息；接着利用霍夫变换直线检测方法对二值化后图像中的线段进行检测，最后根据线段的长度信息，选取较长的线段用直线拟合函数为指针拟合线段，并根据指针距离圆心的距离从而确定指针方向向量。
在一个具体的例子中，确定指针方向向量的过程可以为：利用霍夫变换直线检测方法对二值化后图像中的线段进行检测；根据上步对检测出的直线线段，按照线段长度进行倒序排序，并选取第一个直线作为指针线段；在利用欧式距离方法计算指针线段两端的坐标点(x1,y1)和(x2,y2)与矫正后圆的圆心坐标点(Ox,Oy)的距离，分别为d1,d2；判断d1和d2的大小，距离小的点为指针的始点，距离大的点为指针的终点，从始点到终点的方向即为指针方向向量。
步骤S602、确定方向向量与目标轴向的夹角，并基于夹角和目标预设标准表盘的刻度信息确定仪表图像中的仪表示数。
本步骤中，目标轴向可以为垂直轴向，即直角坐标系中的Y轴。具体的，可以通过以下公式来计算夹角：θp＝arctan2(v1，v2)，其中，v1和v2分别为方向向量以及目标轴向的轴向向量。
另外，目标预设标准表盘的刻度信息可以为目标预设标准表盘的最大最小刻度对应的角度和读数值，然后利用下述公式便可以得到仪表示数：
其中，θmax，θmin分别是仪表最大最小刻度对应的角度，rmax，rmin分别是最大最小刻度对应的读数值。
实施例六
图7为本申请实施例六提供的一种仪表示数识别装置的结构示意图。本申请实施例所提供的仪表示数识别装置可执行本申请任意实施例所提供的仪表示数识别方法，具备执行方法相应的功能模块和有益效果。该装置可采用软件和/或硬件的方式实现，如图7所示，仪表示数识别装置具体包括：增强模块701、裁剪识别模块702、矫正模块703、示数识别模块704。
其中，增强模块，用于在获取到图像数据的情况下，对图像数据进行亮度增强，得到增强图像数据；
裁剪识别模块，用于对增强图像数据进行裁剪，得到仪表图像，并识别仪表图像的目标表盘类型；
矫正模块，用于按照目标表盘类型对应的目标预设标准表盘，对仪表图像进行矫正，得到矫正仪表图像；
示数识别模块，用于基于矫正仪表图像中的指针位置和目标预设标准表盘的刻度信息，识别仪表图像中的仪表示数。
本实施例中，通过对获取到的图像数据进行亮度增强，得到增强图像数据，在对增强图像数据进行裁剪后，得到仪表图像，并识别仪表图像的目标表盘类型；并按照目标表盘类型对应的目标预设标准表盘，对仪表图像进行矫正，得到矫正仪表图像；基于矫正仪表图像中的指针位置和目标预设标准表盘的刻度信息，识别仪表图像中的仪表示数。基于此，对于低光照和/或仪表图像偏斜的情况，本申请的方案还是可以较为准确地进行示数读取，降低了对于仪表示数识别的环境要求，减小了仪表示数识别的难度。
进一步的，增强模块包括：
增强单元，用于将图像数据输入到预先训练的低光增强模型中，并获取低光增强模型输出的增强图像数据。
进一步的，低光增强模型包括分解网络、增强网络和重建网络；
增强单元包括：
分解子单元，用于将图像数据输入到分解网络中进行分解，得到增强图像数据的反射率图像数据和入射光图像数据；
调整子单元，用于将入射光图像数据输入到增强网络中，对入射光图像数据的局部光照进行增强，得到增强后的入射光图像数据；
重建子单元，用于将反射率图像数据以及增强后的入射光图像数据输入到重建网络中，通过逐元素相乘对反射率图像数据以及增强后的入射光图像数据进行重建，得到增强图像数据。
进一步的，裁剪识别模块包括：
裁剪识别单元，用于将增强图像数据输入到预先训练的表盘检测模型中裁剪以及表盘识别，得到仪表图像以及仪表图像的目标表盘类型。
进一步的，裁剪识别单元包括：
框体确定子单元，用于对增强图像数据进行特征提取,并基于提取到的特征确定候选框体，对候选框体进行筛选，得到仪表包含框体；
整合子单元，用于将仪表包含框体与提取到的特征进行整合，得到待定图像区域以及各待定图像区域对应的分类结果；
分类确定子单元，用于将符合预设条件的分类结果对应的待定图像区域确定为仪表图像，并将分类结果对应的表盘类型确定为仪表图像的目标表盘类型。
进一步的，矫正模块包括：
检测单元，用于检测仪表图像中的数字区域以及数字值，并根据数字区域确定数字值所在的质心坐标；
确定单元，用于基于质心坐标确定包含仪表图像的最小外圆及最小外椭圆；
倾斜矫正单元，用于根据最小外圆及最小外椭圆的倾斜关系，对仪表图像进行倾斜矫正，得到正面仪表图像；
旋转矫正单元，用于根据目标表盘类型对应的目标预设标准表盘的对称数字值连线与正面仪表图像中的对称数字值连线的夹角，对正面仪表图像进行旋转矫正，得到矫正仪表图像。
进一步的，旋转矫正单元包括：
夹角确定子单元，用于对于任一对称数字值连线，确定目标预设标准表盘与正面仪表图像之间的夹角；
旋转矫正子单元，用于根据所有夹角的平均值对正面仪表图像进行旋转矫正，得到矫正仪表图像。
进一步的，示数识别模块包括：
方向向量确定单元，用于根据矫正仪表图像中的指针位置，确定矫正仪表图像中指针的方向向量；
仪表示数读取单元，用于确定方向向量与目标轴向的夹角，并基于夹角和目标预设标准表盘的刻度信息确定仪表图像中的仪表示数。
实施例七
图8为本申请实施例七提供的一种电子设备的结构示意图，如图8所示，该电子设备包括处理器810、存储器820、输入装置830和输出装置840；电子设备中处理器810的数量可以是一个或多个，图8中以一个处理器810为例；电子设备中的处理器810、存储器820、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器820作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的仪表示数识别方法对应的程序指令/模块(例如，仪表示数识别装置中的增强模块701、裁剪识别模块702、矫正模块703、示数识别模块704)。处理器810通过运行存储在存储器820中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的仪表示数识别方法。
也即，在获取到图像数据的情况下，对图像数据进行亮度增强，得到增强图像数据；
对增强图像数据进行裁剪，得到仪表图像，并识别仪表图像的目标表盘类型；
按照目标表盘类型对应的目标预设标准表盘，对仪表图像进行矫正，得到矫正仪表图像；
基于矫正仪表图像中的指针位置和目标预设标准表盘的刻度信息，识别仪表图像中的仪表示数。
存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可用于接收输入的电力施工图纸，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
实施例八
本申请实施例八还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种仪表示数识别方法，该方法包括：
在获取到图像数据的情况下，对图像数据进行亮度增强，得到增强图像数据；
对增强图像数据进行裁剪，得到仪表图像，并识别仪表图像的目标表盘类型；
按照目标表盘类型对应的目标预设标准表盘，对仪表图像进行矫正，得到矫正仪表图像；
基于矫正仪表图像中的指针位置和目标预设标准表盘的刻度信息，识别仪表图像中的仪表示数。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本申请任意实施例所提供的仪表示数识别方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (11)
1.一种仪表示数识别方法，其特征在于，所述方法包括：
在获取到图像数据的情况下，对所述图像数据进行亮度增强，得到增强图像数据；
对所述增强图像数据进行裁剪，得到仪表图像，并识别所述仪表图像的目标表盘类型；
按照所述目标表盘类型对应的目标预设标准表盘，对所述仪表图像进行矫正，得到矫正仪表图像；
基于所述矫正仪表图像中的指针位置和所述目标预设标准表盘的刻度信息，识别所述仪表图像中的仪表示数。
2.根据权利要求1所述的方法，其特征在于，所述对所述图像数据进行亮度增强，得到增强图像数据，包括：
将所述图像数据输入到预先训练的低光增强模型中，并获取所述低光增强模型输出的增强图像数据。
3.根据权利要求2所述的方法，其特征在在于，所述低光增强模型包括分解网络、增强网络和重建网络；
所述将所述图像数据输入到预先训练的低光增强模型中，并获取所述低光增强模型输出的增强图像数据，包括：
将所述图像数据输入到所述分解网络中进行分解，得到原始的所述图像数据的反射率图像数据和入射光图像数据；
将所述入射光图像数据输入到所述增强网络中，对所述入射光图像数据的局部光照进行增强，得到增强后的入射光图像数据；
将所述反射率图像数据以及所述增强后的入射光图像数据输入到所述重建网络中，通过逐元素相乘对所述反射率图像数据以及所述增强后的入射光图像数据进行重建，得到增强图像数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述增强图像数据进行裁剪，得到仪表图像，并识别所述仪表图像的目标表盘类型，包括：
将所述增强图像数据输入到预先训练的表盘检测模型中裁剪以及表盘识别，得到仪表图像以及所述仪表图像的目标表盘类型。
5.根据权利要求4所述的方法，其特征在于，所述将所述增强图像数据输入到预先训练的表盘检测模型中裁剪以及表盘识别，得到仪表图像以及所述仪表图像的目标表盘类型，包括：
对所述增强图像数据进行特征提取,并基于提取到的特征确定候选框体，对所述候选框体进行筛选，得到仪表包含框体；
将所述仪表包含框体与所述提取到的特征进行整合，得到待定图像区域以及各待定图像区域对应的分类结果；
将符合预设条件的所述分类结果对应的所述待定图像区域确定为仪表图像，并将所述分类结果对应的表盘类型确定为所述仪表图像的目标表盘类型。
6.根据权利要求1所述的方法，其特征在于，所述按照所述目标表盘类型对应的目标预设标准表盘，对所述仪表图像进行矫正，得到矫正仪表图像，包括：
检测所述仪表图像中的数字区域以及数字值，并根据所述数字区域确定所述数字值所在的质心坐标；
基于所述质心坐标确定包含所述仪表图像的最小外圆及最小外椭圆；
根据所述最小外圆及所述最小外椭圆的倾斜关系，对所述仪表图像进行倾斜矫正，得到正面仪表图像；
根据所述目标表盘类型对应的目标预设标准表盘的对称数字值连线与所述正面仪表图像中的对称数字值连线的夹角，对所述正面仪表图像进行旋转矫正，得到矫正仪表图像。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标表盘类型对应的目标预设标准表盘的对称数字值连线与所述正面仪表图像中的对称数字值连线的夹角，对所述正面仪表图像进行旋转矫正，得到矫正仪表图像，包括：
对于任一对称数字值连线，确定所述目标预设标准表盘与所述正面仪表图像之间的夹角；
根据所有夹角的平均值对所述正面仪表图像进行旋转矫正，得到矫正仪表图像。
8.根据权利要求1所述的方法，其特征在于，所述基于所述矫正仪表图像中的指针位置和所述目标预设标准表盘的刻度信息，识别所述仪表图像中的仪表示数，包括：
根据所述矫正仪表图像中的指针位置，确定所述矫正仪表图像中指针的方向向量；
确定所述方向向量与目标轴向的夹角，并基于所述夹角和所述目标预设标准表盘的刻度信息确定所述仪表图像中的仪表示数。
9.一种仪表示数识别装置，其特征在于，所述装置包括：
增强模块，用于在获取到图像数据的情况下，对所述图像数据进行亮度增强，得到增强图像数据；
裁剪识别模块，用于对所述增强图像数据进行裁剪，得到仪表图像，并识别所述仪表图像的目标表盘类型；
矫正模块，用于按照所述目标表盘类型对应的目标预设标准表盘，对所述仪表图像进行矫正，得到矫正仪表图像；
示数识别模块，用于基于所述矫正仪表图像中的指针位置和所述目标预设标准表盘的刻度信息，识别所述仪表图像中的仪表示数。
10.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的仪表示数识别方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的仪表示数识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111260579.1A CN114037992A (zh) | 2021-10-28 | 2021-10-28 | 仪表示数识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111260579.1A CN114037992A (zh) | 2021-10-28 | 2021-10-28 | 仪表示数识别方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114037992A true CN114037992A (zh) | 2022-02-11 |
Family
ID=80135648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111260579.1A Pending CN114037992A (zh) | 2021-10-28 | 2021-10-28 | 仪表示数识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114037992A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549835A (zh) * | 2022-02-15 | 2022-05-27 | 中国人民解放军海军工程大学 | 一种基于深度学习的指针式仪表矫正识别方法及装置 |
| CN114663866A (zh) * | 2022-03-30 | 2022-06-24 | 河南科技大学 | 一种基于机器视觉的仪表示数识别方法和装置 |
| CN115797934A (zh) * | 2022-12-01 | 2023-03-14 | 北京百度网讯科技有限公司 | 仪表示数方法、装置、电子设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861870A (zh) * | 2021-02-02 | 2021-05-28 | 北京大学 | 指针式仪表图像矫正方法、***及存储介质 |
| CN112906694A (zh) * | 2021-03-25 | 2021-06-04 | 中国长江三峡集团有限公司 | 变电站倾斜式指针式仪表图像的读数矫正***及方法 |
| CN112949564A (zh) * | 2021-02-02 | 2021-06-11 | 电子科技大学 | 一种基于深度学习的指针式仪表自动读数方法 |
| CN113343969A (zh) * | 2021-06-21 | 2021-09-03 | 重庆科技学院 | 一种基于GBS-YOLOv5s的指针式仪表智能数显方法 |
| WO2021179485A1 (zh) * | 2020-03-11 | 2021-09-16 | 平安科技（深圳）有限公司 | 图像矫正处理方法、装置、存储介质及计算机设备 |
-
2021
- 2021-10-28 CN CN202111260579.1A patent/CN114037992A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021179485A1 (zh) * | 2020-03-11 | 2021-09-16 | 平安科技（深圳）有限公司 | 图像矫正处理方法、装置、存储介质及计算机设备 |
| CN112861870A (zh) * | 2021-02-02 | 2021-05-28 | 北京大学 | 指针式仪表图像矫正方法、***及存储介质 |
| CN112949564A (zh) * | 2021-02-02 | 2021-06-11 | 电子科技大学 | 一种基于深度学习的指针式仪表自动读数方法 |
| CN112906694A (zh) * | 2021-03-25 | 2021-06-04 | 中国长江三峡集团有限公司 | 变电站倾斜式指针式仪表图像的读数矫正***及方法 |
| CN113343969A (zh) * | 2021-06-21 | 2021-09-03 | 重庆科技学院 | 一种基于GBS-YOLOv5s的指针式仪表智能数显方法 |
Non-Patent Citations (3)
| Title |
|---|
| 刘玉翠，周志强: "复杂光照下变电站指针式仪表图像自动识别研究", 《电工技术》, no. 4, 10 April 2018 (2018-04-10), pages 13 - 15 * |
| 刘玉翠;周志强;曹玲芝;: "复杂光照下变电站指针式仪表图像自动识别研究", 电工技术, no. 07, 10 April 2018 (2018-04-10), pages 13 - 15 * |
| 周登科: "基于深度学习的指针式仪表倾斜校正方法", 《计算机辅助设计与图形学学报》, no. 12, 30 December 2020 (2020-12-30), pages 1977 - 1984 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549835A (zh) * | 2022-02-15 | 2022-05-27 | 中国人民解放军海军工程大学 | 一种基于深度学习的指针式仪表矫正识别方法及装置 |
| CN114663866A (zh) * | 2022-03-30 | 2022-06-24 | 河南科技大学 | 一种基于机器视觉的仪表示数识别方法和装置 |
| CN115797934A (zh) * | 2022-12-01 | 2023-03-14 | 北京百度网讯科技有限公司 | 仪表示数方法、装置、电子设备以及存储介质 |
| CN115797934B (zh) * | 2022-12-01 | 2023-12-01 | 北京百度网讯科技有限公司 | 仪表示数方法、装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348815B (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
| US11315281B2 (en) | Pupil positioning method and apparatus, VR/AR apparatus and computer readable medium | |
| US10699134B2 (en) | Method, apparatus, storage medium and device for modeling lane line identification, and method, apparatus, storage medium and device for identifying lane line | |
| CN110659647B (zh) | ***图像识别方法及装置、智能***识别设备和存储介质 | |
| EP3309703B1 (en) | Method and system for decoding qr code based on weighted average grey method | |
| CN114037992A (zh) | 仪表示数识别方法、装置、电子设备及存储介质 | |
| CN111951290B (zh) | 一种图像中物体的边缘检测方法及装置 | |
| CN110427932B (zh) | 一种识别图像中多个票据区域的方法及装置 | |
| CN109919971B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111507908B (zh) | 图像矫正处理方法、装置、存储介质及计算机设备 | |
| CN113962306A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
| CN112861870B (zh) | 指针式仪表图像矫正方法、***及存储介质 | |
| CN111898610B (zh) | 卡片缺角检测方法、装置、计算机设备及存储介质 | |
| CN111767754B (zh) | 一种识别码的识别方法、装置、电子设备及存储介质 | |
| CN110837781B (zh) | 一种人脸识别方法、人脸识别装置及电子设备 | |
| WO2018027527A1 (zh) | 一种光学***成像质量的检测方法和装置 | |
| CN117557565A (zh) | 一种锂电池极片的检测方法及其装置 | |
| CN112580516A (zh) | 一种道路场景识别方法、装置、设备及存储介质 | |
| CN108647680B (zh) | 图像定位框检测方法和装置 | |
| CN111222446A (zh) | 人脸识别方法、人脸识别装置及移动终端 | |
| CN114581911B (zh) | 一种钢卷标号识别方法及*** | |
| CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
| CN111428707B (zh) | 图形识别码的识别方法、装置、存储介质及电子设备 | |
| CN111753573B (zh) | 二维码图像识别方法、装置、电子设备以及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |