CN114266881A - 一种基于改进型语义分割网络的指针式仪表自动读数方法 - Google Patents

Abstract

本发明涉及一种基于改进型语义分割网络的指针式仪表自动读数方法。其步骤包括：S1：语义分割，获取目标仪表原图并输入到目标神经网络模型中来获取语义预测图，从目标语义预测图中分别获取刻度线、指针、量程数字的二值图；S2：图像校正，通过所述目标刻度线二值图中各刻度线轮廓中心点拟合椭圆，建立椭圆与标准圆的透视变换，将目标仪表图和目标刻度线、指针、量程数字的二值图投影到目标标准圆所在平面，来获取校正图像；S3：读数计算，对校正后量程数字二值图与仪表图进行识别获取起止刻度读数，获取校正后刻度线和指针二值图的极坐标展开图，在展开图中定位刻度线和指针位置、修复目标刻度线、计算指针与刻度线相对位置，获取最终读数。

Description

一种基于改进型语义分割网络的指针式仪表自动读数方法

技术领域

本发明涉及计算机处理领域，更具体的说，涉及一种基于改进型语义分割网络的指针式仪表自动读数方法。

背景技术

指针式仪表因结构简单、成本低廉、抗干扰性强等优点被广泛应用于电力、冶金、化工等行业。面对大量使用的指针式仪表，若进行人工读数，存在着读数误差大、工作效率低、可能危及人身安全等问题，因此一种基于计算机视觉技术对指针式仪表进行自动识别、准确读数的方法具有一定的实用价值。

现有的表计识别方法主要采用传统的模式识别，通过图像预处理、目标区域检测、指针识别、读数计算等一系列的步骤实现表计读数，现有的方法虽然具体实施步骤有所不同，但整体流程、使用的技术都大同小异。如许丽在文献《巡检机器人中的指针式仪表读数识别***》中，通过目标分割方法提取指针区域，然后通过hough变换定位指针，最后对图像进行二值化处理，利用指针中心线相对于仪表量程初始刻度的角度和量程的关系识别仪表的读数。

而该类现有的对表计进行识别的传统方法，在使用时受成像视觉、光照、复杂背景和噪声等因素的干扰难以从表盘上准确提取这些有用信息。所以在对仪表进行读数计算前，先通过训练好的神经网络模型进行准确的语义提取就变得十分有必要。

如专利申请号为CN202010114874.5的中国专利记载了一种基于神经网络的仪表表盘校正方法，通过神经网络定位表盘刻度数字，根据数字中心拟合椭圆，然后根据椭圆参数确定特征点，然后透视变换校正仪表表盘。但由于实际工作中会存在一些污损，进而可能会造成提取出的刻度线缺失或增加，因此该类方法缺少对刻度线修复的操作，严重影响最终效果。同时该类方法所用网络模型的体积较大，难以大面积应用到各种嵌入式***上。

因此，一种可准确获取仪表指针、刻度线、量程数字的语义信息，并能在自动读数计算时对刻度线进行修复来提高读数准确度的方法变得十分必要。

发明内容

有鉴如此，为了解决上述问题，本发明提供了一种能准确获取仪表指针、刻度线、量程数字的语义信息，并能在自动读数计算时对刻度线进行修复来提高读数准确度的指针式仪表读数自动识别方法。

本发明的技术方案包括：S1：语义分割，获取目标仪表原图并输入到目标神经网络模型中来获取语义预测图，从目标语义预测图中分别获取刻度线、指针、量程数字的二值图；S2：图像校正，通过所述目标刻度线的二值图中各个刻度轮廓中心点坐标拟合椭圆，建立椭圆与标准圆的透视变换，将目标仪表图像和目标刻度线、指针、量程数字的二值图投影到目标标准圆所在平面，来获取校正图像；S3：读数计算，对校正后的量程数字二值图与仪表图进行识别来获取起止刻度读数，获取校正后的刻度线和指针二值图的极坐标展开图，在展开图中定位各刻度线和指针位置、修复目标刻度线、计算指针与刻度线相对位置，来获取仪表最终读数。

进一步，步骤S2具体包括：S21、对目标刻度线二值图进行形态学腐蚀操作，利用轮廓大小和位置特点过滤掉外部噪点，利用剩下轮廓的中心点坐标使用最小二乘法拟合得到椭圆；S22、获取椭圆中心点坐标和长、短轴长度及端点坐标，以目标椭圆长轴为直径建立包覆目标椭圆的标准圆；S23、建立目标椭圆和标准圆的透视变换，将目标仪表图像和目标刻度线、指针、量程数字的二值图投影到目标标准圆所在平面，来获取相应的校正图像。

进一步，步骤S3中对校正后的量程数字二值图与仪表原图进行识别，具体为：通过OCR算法对校正后的目标量程数字二值图与仪表原图进行识别，获取目标图像的起止刻度读数。

进一步，步骤S3中获取校正后的刻度线和指针二值图的极坐标展开图，具体包括：对刻度线与指针的校正图像进行去噪，将去噪后的刻度线与指针的二值图合并到同一张二值图上；利用极坐标变换将目标二值图展开为矩形，获取对应的展开图。

进一步，步骤S3中在展开图中定位各刻度线和指针位置，修复目标刻度线，具体包括：通过图像细化算法提取展开图中指针与刻度线的中心线；通过对相邻刻度线距离集合进行统计分析，获得真实刻度线间距离的参考值，根据目标参考值将展开图中缺失的刻度线进行填补或对多余的刻度线进行删除。

进一步，所述步骤S1之前还包括：采集多张仪表的图片，对仪表图片中的多个语义标签进行标注，获取相应的高斯热力图标签图，构建仪表图像数据集；通过所述仪表图像数据集，采用误差反向传播算法，训练图像语义分割网络；其中，所述仪表图片中的语义标签至少包括仪表的0刻度位置点、仪表中量程数字标注点、仪表中的指针固定点和仪表中指针顶端位置点。

进一步，上一步中对仪表图片中的多个语义标签进行标注具体包括：对仪表图片中刻度线、指针和量程数字的语义标签进行提取，以矩形形式标注并填充量程数字区域；将所述仪表图片语义标签二值化并检测每个语义标签的轮廓，分别求对应的最小外接矩形；分别建立所述外接矩形与目标正方形的透视变换，通过透视变换将所述刻度线、指针和量程数字的语义标签进行标准高斯热力图投影，获取标注后的高斯热力图标签图。

进一步，步骤S1中所述神经网络模型包括：第一阶段子网络Stage1，用于获取原图1/2下采样尺寸的特征图；第二阶段子网络Stage2、第三阶段子网络Stage3用于得到原图1/4、1/8下采样尺寸的特征图，其中所述Stage1、Stage2、Stage3依次相连；高斯热力图回归网络，用于将Stage1输出的特征图进行上采样，与Stage3进行通道数匹配，映射到相应的高斯热力图值域[0,1]区间，最终与Stage3的输出特征图进行加权融合，得到待预测特征图；语义分类网络，用于对目标待预测特征图进行语义预测分类，获取包含刻度线、指针、量程数字等语义信息的语义预测图。

本发明的有益效果：

1、本发明所使用的改进型语义分割网络模型体积小，便于部署在嵌入式终端设备。2、本发明通过在语义分割网络模型的基础上增加注意力模块与高斯热力图，使用高斯热力图标签训练注意力模块学习指针式仪表图像语义元素对应像素的空间权重，并与原语义分割网络的特征图进行融合提高模型的分割精度，从而使改进后的网络对原图的语义信息的提取的准确度得以提高。3、本发明使用图像细化算法提取校正图像中指针与刻度线的中心线，相对于如传统的hough变换定位指针的方法，在保证准确度的同时减小操作的复杂度，另外这种细化的刻度线的中心线也便于修复。进而便于通过相邻刻度线距离集合进行统计分析来获得真实刻度线间距离的参考值，从而将校正图像中缺失的刻度线进行填补或对多余的刻度线进行删除，提高了本方法的抗干扰能力，进一步提高了仪表读数计算的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的方法的主要步骤的流程图；

图2为本申请所提供的方法的总体流程图；

图3为本申请仪表图片的高斯热力图标签生成过程图；

图4为本申请所提供的方法的神经网络模型的结构参考图；

图5为本申请所提供的方法的步骤S2流程图；

图6-a为实施例中表盘椭圆拟合结果图；

图6-b为实施例中透视变换原理图；

图7为实施例中图像校正与去噪后的结果示意图；

图8为本实施例的步骤S24中目标二值图的极坐标变换效果图；

图9为本实施例步骤S3中刻度线和指针定位与修复效果图；

图10为实施例的图像语义分割模型消融对比实验结果图；

图11为实施例的指针式仪表读数实验的结果展示表。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。

本申请实施例提供了一种指针式仪表自动读数方法，该方法可以应用于图像处理装置中，该图像处理装置可以为独立的设备，或者也可以集成到电子终端或其他具有图像处理能力的设备中。可选的，集成该图像处理装置的设备或电子终端所搭载的操作***可以为windows***、android***或其他操作***，此处不做限定。另外，本发明所用语义分割网络，不局限本方法实施例中所提供的改进型网络，也可以使用其他相同功能的网络。

实施例一

参见图1与图2，在本申请实施例中，所述方法包括步骤S1至S3。

步骤S1、语义分割，获取目标仪表原图并将其输入到目标神经网络模型中，进而获取语义预测图，从而从目标语义预测图中分别获取刻度线、指针、量程数字的二值图。

另外，在步骤S1执行之前，还包括：采集多张仪表的图片，对仪表图片中的多个语义标签进行标注，获取相应的高斯热力图标签图，进而构建仪表图像数据集；通过所述仪表图像数据集，采用误差反向传播算法，训练图像语义分割网络；其中，所述仪表图片中的语义标签至少包括仪表的0刻度位置点、仪表中量程数字标注点、仪表中的指针固定点和仪表中指针顶端位置点。

如图3所示，对仪表图片中的多个语义标签进行标注具体包括：对仪表图片中刻度线、指针和量程数字的语义标签进行提取，得到相对应的像素级语义标签图，以闭合四边形形式标注并填充量程数字区域。将所述像素级语义标签图二值化并检测每个语义标签的轮廓，分别求对应的最小外接矩形；分别建立所述外接矩形与目标正方形的透视变换，进而经透视变换将二维各向同性的标准高斯热力图进行投影即得高斯热力图标签，从而获取标注后的高斯热力图标签图。

在本实施例中，以Labelme软件对仪表图像中语义组件进行像素级标注，初步得到一个像素级语义标签图。另外，生成的像素级语义标签图中，各像素点的值对应其语义类别，本发明使用的语义类别有刻度线、指针和量程数字3类，其它像素为背景类，故总共有4类像素。此外，本发明实施例中像素级语义标签只是标注了仪表语义元素对应像素的位置，而高斯热力图标签则可表示语义元素对应像素的重要程度，从中心向周边减小。因此，本发明使用高斯热力图标签训练注意力模块能学习指针式仪表图像语义元素对应像素的空间权重，并与原语义分割网络的特征图进行融合提高模型的分割精度。

另外在本实施例中，采用误差反向传播算法训练图像语义分割网络时，使用的总损失函数如下：

L＝L_cls+λL_mse

其中，L表示模型总的损失大小，L_cls表示像素分类结果的损失函数，L_mse表示高斯热力图回归结果的损失函数，λ表示两类损失函数的平衡系数。

像素分类采用交叉熵损失评价模型预测结果与语义标签之间的差异,计算公式为：

其中，N为样本总数，M表示类别数，y_c是一个1维向量，元素只有0和1两种取值，如果该样本和标签的类别相同就取1，否则取0，p_c表示预测样本属于类别c的概率。L_cls越小,表示像素分类结果越准确。

高斯热力图回归采用均值平方差损失来评价模型对高斯热力图标签的拟合程度，计算公式为：

其中，N为样本总数，y_i表示模型预测值，

表示标签值。L_mse越小，表示高斯热力图位置回归越准确。

如图4所示，在本实施例中，所用神经网络模型由原始CGNet的基础上加以改进，引入注意力机制和高斯热力图回归思想，通过特征融合增强仪表图像的语义元素的细节特征，同时在最后进行像素语义类别预测时适当加深了分类层。CG-Net网络模型为现有技术，因此在本实施例中不做过多解释。而本神经网络模型中第一阶段子网络Stage1、第二阶段子网络Stage2与第三阶段子Stage3、输入注入机制(input injection)均来自原CG-Net网络模型，因此也不做过多解释。如图4所示，本申请的模型结构具体包括：第一阶段子网络Stage1，用于获取原图1/2下采样(Downsample)尺寸的特征图；第二阶段子网络Stage2、第三阶段子网络Stage3用于得到原图1/4、1/8下采样(Downsample)尺寸的特征图，其中所述Stage1、Stage2、Stage3依次相连；高斯热力图回归网络，用于将Stage1输出的特征图进行上采样(Upsample)，进而与Stage3进行通道数匹配，从而映射到相应的高斯热力图(Gaussian Heatmap)值域[0,1]区间，最终与Stage3的输出特征图进行加权融合，得到待预测特征图；语义分类网络，用于对目标待预测特征图进行语义预测分类，进而获取包含刻度线、指针、量程数字等语义信息的语义预测图。

其中，所述第一阶段子网络Stage1由依次相连的输入层、三个3×3卷积层与激活层、批归一化层组成；所述第二阶段子网络Stage2与第三阶段子Stage3分别由3个与21个堆叠的引导模块CG Block组成；所述第一阶段子Stage1、第二阶段子网络Stage2、第三阶段子网络Stage3的输入端分别与同一输入注入机制(input injection)相连，所述输入注入机制(input injection)可将经Stage1和Stage2下采样(Downsample)的输入图像分别与其输出特征图进行通道连接，从而输入到Stage2和Stage3中以改善网络中的信息流。而本神经网络模型中第二阶段子网络Stage2与第三阶段子Stage3的引导模块CG Block、输入注入机制(input injection)均来自原CG-Net网络模型，因此也不做过多解释。

另外，本实施例中高斯热力图回归网络包括依次相连的注意力模块SENet、两个1×1卷积层、一个高斯热力图(Gaussian Heatmap)，所述的第一个1×1卷积层的输出端连接有一个Sigmoid激活层，进而通过Sigmoid激活层与第三阶段子网络Stage3的输出端相融合，从而与语义分类网络相连。语义分类网络包括依次相连的三个3×3卷积层、激活层、批归一化层、输出层。

如图4所示，在本实施例中，该模型保留了CGNet中的3子网络及输入注入机制(Input Injection)。Stage1由3个3×3卷积层构成，得到原图1/2下采样(Downsample)尺寸的特征图，Stage2和Stage3分别堆叠3个和21个CG Block分别得到原图1/4、1/8下采样(Downsample)尺寸的特征图。输入注入机制(input injection)额外地将1/2和1/4下采样(Downsample)的输入图像分别与上一阶段的输出特征图进行通道连接(Concat)送入到Stage2和Stage3以改善网络中的信息流。为共享Stage1子网络输出的特征图并降低模型参数量，引入轻量级注意力模块SENet。这里将Stage1输出的特征图上采样(Upsample)2倍送入SENet得到注意力特征图，为了与Stage3输出的特征图通道数匹配，通过1×1卷积变换注意力特征图通道数，接着通过Sigmoid激活函数将其映射至高斯热力图(GaussianHeatmap)值域[0,1]区间，再与上采样(Upsample)8倍的Stage3输出特征图通过对应元素相乘的方式进行融合。另外，原始CGNet仅使用了1层1×1卷积层预测像素语义类别，考虑到适当加深网络可提高性能，本发明使用3层卷积层进行预测，包括2个深度可分离卷积(DSConv)和1个标准卷积。需要说明的是，图4中卷积层之后均有激活层和批归一化层，由于图片大小有限，无法完全画出，从而在此处用文字进行补充。

虽然原网络stage2和stage3中本身都采用了注意力机制思想，但其主要用于更好地学习局部特征和全局上下文的联合特征，而本发明在stage1后面增加一个SENet注意力模块分支，是用于回归高斯热力图(Gaussian Heatmap)，在这种回归任务的监督下学习到的特征图可作为空间权重进一步与原网络的输出特征图进行加权融合，从而进一步提升语义分割精度。相对处于较高层的stage2和stage3而言，stage1处于原网络的浅层，因此本发明增加的SENet注意力模块也是对原CGNet采用的注意力机制的一个有效补充。

步骤S2、图像校正，通过所述目标刻度线的二值图中各个刻度线轮廓中心点坐标拟合椭圆，并按一定方法建立与椭圆相对应的标准圆，进而将目标仪表图像和目标刻度线、指针、量程数字的二值图通过一定的方法投影到目标标准圆所在平面，从而获取校正图像。

下面将结合图5、图6对本实施例的步骤S2进行解释。

如图5所示，步骤S2具体包括：

S21、对目标刻度线二值图进行形态学腐蚀操作，进而利用轮廓大小和位置特点过滤掉外部噪点，从而根据剩下轮廓的中心点坐标使用最小二乘法拟合得到椭圆。S22、获取椭圆中心点心坐标和长、短轴长度及端点坐标，以目标椭圆长轴为直径建立包覆目标椭圆的标准圆；S23、建立目标椭圆和标准圆的透视变换，将目标仪表图像和目标刻度线、指针、量程数字的二值图投影到目标标准圆所在平面，来获取校正图像。

其中，如图6所示，建立椭圆与圆之间的透视变换需要4组对应点坐标。由于尺度缩放和旋转不影响指针式仪表读数，本发明采用一种有效的确定对应点的方法，图6-a展示了椭圆拟合结果，图6-b展示了椭圆与圆之间4组对应点<E_i，C_i>(i＝0，1，2，3)的选取方法，记椭圆长轴两端点为E0、E1，短轴两端点为E2、E3，以椭圆中心点O为圆心，以椭圆长轴长度为直径作标准圆，与椭圆相交于点C0、C1(即分别于E0、E1重合)，以椭圆的短轴所在直线E2E3向外延伸可交标准圆于点C2、C3。利用这4组对应点坐标计算出透视变换矩阵，可将倾斜畸变图像上各点变换至标准圆所在平面，从而实现图像校正。

进一步，将结合图7、图8与图9对本实施例的步骤S3进行详细说明。

步骤S3：读数计算，对校正后的量程数字二值图与仪表原图进行识别来获取起止刻度读数，获取校正后的刻度线和指针二值图的极坐标展开图，在展开图中定位各刻度线和指针位置，修复目标刻度线，并计算指针与刻度线相对位置，来获取仪表最终读数。

在本实施例中，步骤S3中具体通过OCR算法对校正后的目标量程数字二值图与仪表原图进行识别，从而获取目标图像的起止刻度读数。其中，OCR算法一般通过二值化、灰度化、滤波等图像预处理确定图像中字符的位置与形状，然后利用模板匹配、特征分类等算法将图像中的字符转换为文本，最后将所有文本按顺序输出到计算机。

另外，在本实施例中，步骤S3中获取校正后的刻度线和指针二值图的极坐标展开图，具体包括：对刻度线与指针的校正图像进行去噪，将去噪后的刻度线与指针的二值图合并到同一张二值图上；利用极坐标变换将目标二值图展开为矩形，获取对应的展开图。

如图7所示，在校正图像上，利用圆的性质、轮廓面积等约束条件进一步去除因语义分割不准带来的噪声。上、下分图分别为校正后刻度线、指针、量程数字的二值图和对应的去噪结果。其中，指针语义分割结果可能出现断裂情形，只要去噪结果保留其中最能体现其特点的一段即可，本实施例中，选取最长的一段，只要其指向正确，就不会影响最终读数的计算。

另外在本实施例步骤S3中，将去噪后的刻度线与指针的二值图合并到同一张二值图上，并利用极坐标变换将目标二值图展开为矩形。以前述标准圆圆心为原点建立笛卡尔坐标系，选标准圆半径为变换半径，从Y轴正半轴顺时针变换，使表盘的起始刻度线位于变换后图像的左侧。极坐标变换前后效果如图8所示。

如图9所示，步骤S3中具体通过Zhang细化算法提取校正图像中指针与刻度线的中心线；通过相邻刻度线距离集合并进行统计分析，进而获得真实刻度线间距离的参考值，从而根据目标参考值将校正图像中缺失的刻度线进行填补或对多余的刻度线进行删除。相对于如传统的hough变换定位指针的方法，在保证准确度的同时减小操作的复杂度，同时对刻度线的修复也使得后续的指针读数计算能更加准确。

在本实施例中，根据刻度线与指针之间的相对位置关系、量程大小、刻度线根数即可获得指针表的读数。设完整的刻度线总数量为N，当前指针指向刻度线i和刻度线i+1之间(i＝0,1..,N))，其归一化的仪表读数计算公式为：

其中，d为指针与刻度线i之间的距离，D为刻度线i+1与刻度线i之间的距离，

为归一化后的分度值。设a和b分别为识别得到的起止刻度对应的量程数字，则指针表最终读数为：R＝a+R_norm×(b-a)。

如图10、图11所示，本实施例还提供了本方法实验结果展示与分析，本实施例的实验结果展示与分析包括：(1)图像语义分割模型消融对比实验；(2)量程数字识别实验；(3)指针式仪表读数实验。本申请实施例提供的实验结果展示是为了更好展现本申请的实际效果，本申请提供的方法的效果展示不局限于上述实验，实际中也可由其他展示实验方法来表现。

本申请的实施例中使用平均交并比mIoU与像素精度(Pixel Accuracy,PA)作为定量指标来衡量仪表图像语义分割的性能。

mIoU定义为图像像素类别真实值和预测值两个集合的交集和并集之比：

其中，K为标签类别数量，TP为正样本被正确预测的数量，FP为负样本被预测为正样本的数量，FN为正样本被预测为负样本的数量。

PA定义为测试集中分类正确的像素点数和所有像素点数的比例：

其中，K表示标签类别数量，p_ij表示将第i类像素分类为第j类像素的数量。

如图10所示，本申请的图像语义分割模型消融对比实验如下：

本实施例开展消融对比实验研究来验证本申请方法对CGNet改进策略的有效性，其中对比模型A为使用3个卷积层作为分类层改进的CGNet，对比模型B为在对比模型A基础上直接***注意力机制改进的CGNet，对比模型C为在对比模型A基础上以增加分支方式引入注意力机制但未使用高斯热力图回归改进的CGNet。按图10中参数对比可知，本申请方法以增加分支方式引入注意力机制并采用高斯热力图回归思想有效提升了分割精度，取得了最高的mIoU和PA值。

本实施例的量程数字识别实验如下：

根据仪表图像语义分割预测结果，从校正后的仪表原图中截取量程数字区域对应的子图像，再进行灰度化和二值化，进一步通过垂直投影分割法将数字分割为单数字字符和小数点。单数字字符识别采用了训练好的卷积神经网络模型。

本次实验测试集中量程数字共有572组，包含单数字字符934个，单数字字符(0-9)识别正确率高达99.79％，但由于少数图像因模糊或受噪声干扰二值化效果不佳，造成少量数字和小数点识别错误，使得量程数字按组识别的整体正确率为97.88％。但由于同一表盘中大部分量程数字识别正确，对其数值排序后进一步利用其等差排列关系进行校验，可确保所有量程数字的准确性，并用于最终读数计算。

本实施例的指针式仪表读数实验如下：

该实验是验证本文方法在指针表自动读数中的适用性与稳定性，使用本文方法对测试集中仪表图像进行读数计算，以人工读数结果作为真实值，计算程序读数与人工读数之间的误差。其中，评价指标使用相对误差表示：

其中，m为本实施例方法的仪表读数数值，v为人工读数数值，r为仪表量程。

实验结果如图11所示，列出了部分典型测试图像的实验结果，其中读数数值均保留至小数点后两位。由实验结果可知，本实施例中使用的方法在实际应用时，相对误差较小，能够满足指针式仪表读数测量的精度要求。

另外，本申请使用的模型推理速度可达27FPS，可满足大多数实时应用需求，仅2.7M的模型大小也非常适合在嵌入式终端设备上部署。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (8)

1.一种基于改进型语义分割网络的指针式仪表自动读数方法，其特征在于，所述方法包括：S1：语义分割，获取目标仪表原图并输入到目标神经网络模型中来获取语义预测图，从目标语义预测图中分别获取刻度线、指针、量程数字的二值图；S2：图像校正，通过所述目标刻度线的二值图中各个刻度轮廓中心点坐标拟合椭圆，并建立与椭圆相对应的标准圆，将目标仪表图像和目标刻度线、指针、量程数字的二值图投影到目标标准圆上，来获取校正图像；S3：读数计算，对校正后的量程数字二值图与仪表图进行识别获取起止刻度读数，获取校正后的刻度线和指针二值图的极坐标展开图，在展开图中定位刻度线和指针位置、修复目标刻度线、计算指针与刻度线相对位置，获取最终读数。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：S21、对目标刻度线二值图进行形态学腐蚀操作，利用轮廓大小和位置特点过滤掉外部噪点，利用剩下轮廓的中心点坐标使用最小二乘法拟合得到椭圆；S22、获取椭圆中心点心坐标和长、短轴长度及端点坐标，以目标椭圆长轴为直径建立包覆目标椭圆的标准圆；S23、建立透视变换将目标仪表图像和目标刻度线、指针、量程数字的二值图投影到目标标准圆上，来获取校正图像。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3中对校正后的量程数字二值图与仪表原图进行识别，具体为：通过OCR算法对校正后的目标量程数字二值图与仪表原图进行识别，来获取目标图像的起止刻度读数。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3中获取校正后的刻度线和指针二值图的极坐标展开图，具体包括：对刻度线与指针的校正图像进行去噪，将去噪后的刻度线与指针的二值图合并到同一张二值图上；利用极坐标变换将目标二值图展开为矩形，获取对应的展开图。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3中在展开图中定位各刻度线和指针位置、修复目标刻度线，具体包括：通过图像细化算法提取展开图中指针与刻度线的中心线；通过对相邻刻度线距离集合进行统计分析，获得真实刻度线间距离的参考值，根据目标参考值将展开图中缺失的刻度线进行填补或对多余的刻度线进行删除。

6.根据权利要求1所述的方法，其特征在于，所述步骤S1之前还包括：采集多张仪表的图片，对仪表图片中的多个语义标签进行标注，获取相应的高斯热力图标签图，构建仪表图像数据集；通过所述仪表图像数据集，采用误差反向传播算法，训练图像语义分割网络；其中，所述仪表图片中的语义标签至少包括仪表的0刻度位置点、仪表中量程数字标注点、仪表中的指针固定点和仪表中指针顶端位置点。

7.根据权利要求5所述的方法，其特征在于，所述对仪表图片中的多个语义标签进行标注具体包括：对仪表图片中刻度线、指针和量程数字的语义标签进行提取，以矩形形式标注并填充量程数字区域；将所述仪表图片语义标签二值化并检测每个语义标签的轮廓，分别求对应的最小外接矩形；分别建立所述外接矩形与目标正方形的透视变换，通过透视变换将所述刻度线、指针和量程数字的语义标签进行标准高斯热力图投影，获取标注后的高斯热力图标签图。

8.根据权利要求1所述的方法，其特征在于，步骤S1中所述神经网络模型包括：第一阶段子网络Stage1，用于获取原图1/2下采样尺寸的特征图；第二阶段子网络Stage2、第三阶段子网络Stage3用于得到原图1/4、1/8下采样尺寸的特征图，其中所述Stage1、Stage2、Stage3依次相连；高斯热力图回归网络，用于将Stage1输出的特征图进行上采样，与Stage3进行通道数匹配，映射到相应的高斯热力图值域[0,1]区间，最终与Stage3的输出特征图进行加权融合，得到待预测特征图；语义分类网络，用于对目标待预测特征图进行语义预测分类，获取包含刻度线、指针、量程数字等语义信息的语义预测图。

Images