CN117727046A - 新型山洪前端仪器仪表读数自动识别方法及*** - Google Patents
新型山洪前端仪器仪表读数自动识别方法及*** Download PDFInfo
- Publication number
- CN117727046A CN117727046A CN202311791640.4A CN202311791640A CN117727046A CN 117727046 A CN117727046 A CN 117727046A CN 202311791640 A CN202311791640 A CN 202311791640A CN 117727046 A CN117727046 A CN 117727046A
- Authority
- CN
- China
- Prior art keywords
- pointer
- instrument
- module
- convolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005070 sampling Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 230000008447 perception Effects 0.000 claims abstract description 23
- 239000012855 volatile organic compound Substances 0.000 claims abstract description 21
- 238000010276 construction Methods 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 38
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 19
- 230000002146 bilateral effect Effects 0.000 claims description 16
- 238000003709 image segmentation Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000004321 preservation Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种新型山洪前端仪器仪表读数自动识别方法及***，包括：构造A‑U2‑Net卷积神经网络模型主干网络；将提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取；将编码阶段输出的语义特征进行融合；构建上采样核预测模块及内容感知模块；对指针式仪表数据集进行预处理，对指针式仪表进行VOC格式数据集的标注，将数据集输入到YOLOV7模型中进行训练；将仪表图像及生成数据输入到改进的A‑U2‑Net模型中进行训练；输入图片通过组合算法检测出结果后，对结果进行解码并写入到分离的图片上。本发明消除了RSU模块提取多尺度特征时残留在特征通道内的无效特征干扰，进一步增强模型的鲁棒性。
Description
技术领域
本发明涉及计算机视觉领域，具体地，涉及一种新型山洪前端仪器仪表读数自动识别方法及***。
背景技术
智慧水利是基于水利信息化、数字化和智能化的建设，利用云计算、物联网、人工智能等高性能信息数字化技术，深入开发和高度整合水利信息资源，实现水利感知、传输、应用的网络化与智能化，能为水利管理者提供准确的水资源信息，协助其做出科学决策，提升水资源的利用率的同时，有效防范水利隐患。目前，我国部分水利指针式仪表处于人工监管状态。如大坝廊道运行维护时，安装的水压测试仪、渗水压力计、土压力计、有害气体监测仪等因通信故障、或无通信接口等问题致使工作人员无法远程获取监测数据，仍依靠人工巡检、抄录的方式获取信息。然而，该方式不仅费时费力，效率难以满足日常仪表监测强度要求，且易受光照、仪表与观测位置的距离及个人读数习惯，心理因素、疲劳等主客观因素影响，存在一定的安全隐患。
随着人工智能技术与水利信息化应用建设的结合，各类指针式仪表的自动识别得到了广泛关注，如部分学者使用霍夫曼变换将图片平面坐标变换到霍夫空间，将RGB空间转化到HSV空间，利用颜色特征来检测表计始末刻度；选择SIFT、ORB等特征点检测算法，通过匹配图像的角点实现仪表的定位以读取指针示数。但该类方法对图像质量要求严苛，易受光照、形变、遮挡等环境因素影响，读数识别精度未能满足复杂背景下的表计读数需求。深度学习中，目标检测算法及图像分割算法均主要以卷积神经网络为基础，并在各类生产中得到较好的应用。U2-net是一种基于编解码结构的显著性目标检测网络，主干网络由RSU(ReSidual U-blocks)堆叠为U型结构组成，其性能较为优秀，但直接将其用于复杂背景下的水利指针式仪表刻度、指针特征提取、分割等问题时网络结构仍有一定的改进空间。
综上所述，各类水利指针式仪表的自动识别主要存在三个问题：其一是如何从复杂多变的场景中精准检测出表盘区域；其二是如何在表盘区域中精准分割出指针及刻度区域，霍夫曼变换、颜色特征提取、SIFT等算法较难自适应的分割表计指针、表盘刻度等信息，不满足实际生产需求；其三是在面对遮挡、角度变化如何自动校正表盘位置，保证各类指针式仪表读数的精度，满足实际生产需要。
申请号CN202310100878.1，名称为一种新型山洪前端仪器仪表读数自动识别算法与装置，该专利涉及一种基于深度学习的水利指针式仪表读数识别方法，包括：构建仪表检测模型；训练仪表检测模型：构建样本集，样本的标注信息包括表盘位置信息和若干关键点位置信息；所述关键点包括指针端点和表盘螺丝点；将样本集输入至仪表检测模型，得到预测结果；利用损失函数计算预测结果与标注信息之间的损失，所述损失包括目标置信度损失、表盘定位损失和关键点定位损失；基于所述损失，迭代更新仪表检测模型参数；获取待处理图像；输入待处理图像至训练完毕的仪表检测模型，得到表盘位置和若干关键点位置；根据指针端点和表盘螺丝点之间的相对位置关系，计算仪表读数。
该专利采用了基于Yolov7的目标检测完成水利指针式仪表盘的检测及表盘螺丝点、指针端点、刻度起始点的检测，并无创新性的设计网络结构，且仪表读数的准确性过于依赖表盘螺丝点、指针端点的信息，当该类信息部分被遮挡时，算法未能应用于实际生产中。
该专利没有提供结合Yolov7目标检测算法与改进U2-Net网络的指针式仪表自动读数算法，不能在减小模型参数量的同时增加了模型的分割能力，没有提出一种抗干扰，且精准、高效的水利指针式仪表读数方法。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种新型山洪前端仪器仪表读数自动识别方法及***。
根据本发明提供的一种新型山洪前端仪器仪表读数自动识别方法，包括：
步骤S1：构造A-U2-Net卷积神经网络模型主干网络；
步骤S2：使用深度可分离卷积，将提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取；
步骤S3：将编码阶段输出的语义特征进行融合，输入至对称解码阶段进行处理；完成上采样操作，构建上采样核预测模块及内容感知模块；
步骤S4：对指针式仪表数据集进行预处理，对指针式仪表进行VOC格式数据集的标注，将数据集输入到YOLOV7模型中进行训练；
步骤S5：将仪表图像及生成数据输入到改进的A-U2-Net模型中进行训练，保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合；输入图片通过组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
优选地，在所述步骤S1中：
构造A-U2-Net卷积神经网络模型主干网络，在RSU模块的内部编码阶段引入通道注意力ECA模块，ECA模块处理过程为，输入为H×W×C的特征图，经过全局平均池化后得到大小为[C，1，1]的聚合特征，通过一个权重共享的一维卷积进行学习，其中卷积核大小通过通道维度C的映射自适应地确定，其公式如下所示：
式中：k为卷积核大小，代表了局部跨通道交互的覆盖率；C表示通道数；γ和b用于改变通道数C和卷积核大小和之间的比例，将学习到的权重加入到输入张量中，实现通道加权，计算公式为:
式中：x为输入张量；GAP为全局平均池化；σ为sigmoid激活函数。
优选地，在所述步骤S2中：
使用深度可分离卷积，利用残差结构将深度可分离卷积提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取，特征图输入将先进行逐通道卷积，利用卷积核进行卷积操作；再进行逐点卷积；
在所述步骤S3中：
在跳跃连接部分加入语义嵌入分支结构，利用语义嵌入分支结构将编码阶段输出的不同语义特征进行融合，输入至对称解码阶段进行处理，模拟全局多尺度上下文；将高层次的特征进行卷积及上采样处理，与低级别的语义特征进行逐像素相乘；
使用CARAFE算子替代SEB结构中的双线性插值完成上采样操作，构建上采样核预测模块及内容感知模块，上采样核预测模块根据输入特征的内容生成上采样核，通过特征图通道压缩、内容编码及上采样核预测及归一化完成：使用1×1的卷积核降低输入特征图的通道数，结合kencoder×kenc*der的卷积层进行上采样核预测，得到形状为的上采样核；利用Softmax函数将上一步得到的上采样核进行归一化；内容感知模块将原图中k×k大小的特征图块与预测出的该点的上采样核作点积，得到输出值，公式如下：
其中，r为kup/2(重组内核大小)，wi′(n，m)为重组内核，x(i+n，j+m)为目标位置像素值，i、j为采样距离。
优选地，在所述步骤S4中：
对收集到的水利指针式仪表数据集进行训练前的预处理，使用包括双边滤波、中值滤波、模糊集函数的图像增强算法提高仪表的对比度，并消除指针式仪表样本中的噪声干扰，其中双边滤波如式(4)所示：
其中c(ξ，x)表示邻域中心点x与邻近点的几何邻近度，dξ为归一化参数，kd为图像像素域核；
使用图像标注LabelImg软件对指针式仪表进行VOC格式数据集的标注，并将标注好的数据集分为训练集、验证集和测试集；基于标注的训练样本提取出仪表坐标信息，将仪表裁剪出，并使用LabelMe软件对裁剪出的样本进行json数据的标注，生成mask标签；
将数据集输入到YOLOV7模型中进行训练，其中输入图像经过backbone进行特征提取后获得3个不同尺度的特征图，这3个尺度的特征图在head中进一步将不同尺度的特征进行整合，完成大、中、小指针式仪表目标的定位，以此确定图像中所有指针式仪表的位置并切割分离出每一个表盘的子图像。
优选地，在所述步骤S5中：
将裁剪出仪表图像及生成的mask数据输入到改进的A-U2-Net模型中进行训练，完成表盘图像中指针及刻度盘区域的分割，融入形态学操作减弱指针及刻度的模糊区域；
针对分割出的指针及刻度盘信息得到指针与刻度盘的相对位置关系，将A-U2-Net模型分割的指针及刻度信息进行极坐标展开，以检测阶段分离出的样本图像中心为原点建立极坐标系，将分割的刻度及刻度区域映射至长方形矩形图像中，计算刻度的初始位置、指针质心位置，完成水利指针式仪表的读数，其中极坐标到直角坐标系的转换公式与读数公式如(5)、(6)(7)所示：
x＝r+ρcos(θ) (5)
y＝r-ρsin(θ) (6)
其中，ρ为极径，θ为极角；
保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合为end toend结构；原始输入图片通过最终组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
根据本发明提供的一种新型山洪前端仪器仪表读数自动识别***，包括：
模块M1：构造A-U2-Net卷积神经网络模型主干网络；
模块M2：使用深度可分离卷积，将提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取；
模块M3：将编码阶段输出的语义特征进行融合，输入至对称解码阶段进行处理；完成上采样操作，构建上采样核预测模块及内容感知模块；
模块M4：对指针式仪表数据集进行预处理，对指针式仪表进行VOC格式数据集的标注，将数据集输入到YOLOV7模型中进行训练；
模块M5：将仪表图像及生成数据输入到改进的A-U2-Net模型中进行训练，保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合；输入图片通过组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
优选地，在所述模块M1中：
构造A-U2-Net卷积神经网络模型主干网络，在RSU模块的内部编码阶段引入通道注意力ECA模块，ECA模块处理过程为，输入为H×W×C的特征图，经过全局平均池化后得到大小为[C，1，1]的聚合特征，通过一个权重共享的一维卷积进行学习，其中卷积核大小通过通道维度C的映射自适应地确定，其公式如下所示：
式中：k为卷积核大小，代表了局部跨通道交互的覆盖率；C表示通道数；γ和b用于改变通道数C和卷积核大小和之间的比例，将学习到的权重加入到输入张量中，实现通道加权，计算公式为:
式中：x为输入张量；GAP为全局平均池化；σ为sigmoid激活函数。
优选地，在所述模块M2中：
使用深度可分离卷积，利用残差结构将深度可分离卷积提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取，特征图输入将先进行逐通道卷积，利用卷积核进行卷积操作；再进行逐点卷积；
在所述模块M3中：
在跳跃连接部分加入语义嵌入分支结构，利用语义嵌入分支结构将编码阶段输出的不同语义特征进行融合，输入至对称解码阶段进行处理，模拟全局多尺度上下文；将高层次的特征进行卷积及上采样处理，与低级别的语义特征进行逐像素相乘；
使用CARAFE算子替代SEB结构中的双线性插值完成上采样操作，构建上采样核预测模块及内容感知模块，上采样核预测模块根据输入特征的内容生成上采样核，通过特征图通道压缩、内容编码及上采样核预测及归一化完成：使用1×1的卷积核降低输入特征图的通道数，结合kencoder×kencoder的卷积层进行上采样核预测，得到形状为的上采样核；利用Softmax函数将上一步得到的上采样核进行归一化；内容感知模块将原图中k×k大小的特征图块与预测出的该点的上采样核作点积，得到输出值，公式如下：
其中，r为kup/2(重组内核大小)，wi′(n，m)为重组内核，x(i+n，j+m)为目标位置像素值，i、j为采样距离。
优选地，在所述模块M4中：
对收集到的水利指针式仪表数据集进行训练前的预处理，使用包括双边滤波、中值滤波、模糊集函数的图像增强算法提高仪表的对比度，并消除指针式仪表样本中的噪声干扰，其中双边滤波如式(4)所示：
其中c(ξ，x)表示邻域中心点x与邻近点的几何邻近度，dξ为归一化参数，kd为图像像素域核；
使用图像标注LabelImg软件对指针式仪表进行VOC格式数据集的标注，并将标注好的数据集分为训练集、验证集和测试集；基于标注的训练样本提取出仪表坐标信息，将仪表裁剪出，并使用LabelMe软件对裁剪出的样本进行json数据的标注，生成mask标签；
将数据集输入到YOLOV7模型中进行训练，其中输入图像经过backbone进行特征提取后获得3个不同尺度的特征图，这3个尺度的特征图在head中进一步将不同尺度的特征进行整合，完成大、中、小指针式仪表目标的定位，以此确定图像中所有指针式仪表的位置并切割分离出每一个表盘的子图像。
优选地，在所述模块M5中：
将裁剪出仪表图像及生成的mask数据输入到改进的A-U2-Net模型中进行训练，完成表盘图像中指针及刻度盘区域的分割，融入形态学操作减弱指针及刻度的模糊区域；
针对分割出的指针及刻度盘信息得到指针与刻度盘的相对位置关系，将A-U2-Net模型分割的指针及刻度信息进行极坐标展开，以检测阶段分离出的样本图像中心为原点建立极坐标系，将分割的刻度及刻度区域映射至长方形矩形图像中，计算刻度的初始位置、指针质心位置，完成水利指针式仪表的读数，其中极坐标到直角坐标系的转换公式与读数公式如(5)、(6)(7)所示：
x＝r+ρcos(θ) (5)
y＝r-ρsin(θ) (6)
其中，ρ为极径，θ为极角；
保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合为end toend结构；原始输入图片通过最终组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过在RSU模块的内部编码中，引入通道注意力ECA模块，消除了RSU模块提取多尺度特征时残留在特征通道内的无效特征干扰，进一步增强模型的鲁棒性；
2、本发明通过在RSU模块中的下采样阶段，使用深度可分离卷积替代传统卷积，并利用残差结构将深度可分离卷积提取的特征和ECA模块提取的特征进行融合，输入至下一个层进行特征提取，在减少网络特征提取结构的计算量同事，使得各个层级均能聚焦更多有效特征信息通道，有效加强每一层级的特征提取能力；
3、本发明在跳跃连接部分构建了上采样核预测模块及内容感知模块，加入了语义嵌入分支(SEB)结构，并使用CARAFE算子替代SEB结构中的双线性插值组合成新的CSEB模块完成上采样操作，有效防止因跳跃连接致使网络丢失过多的空间信息；
4、本发明在分离出指针及刻度盘信息后，利用极坐标与空间坐标的映射关系，完成刻度盘起始点及指针位置的检索，提出一种高精度自动识别仪表读数自动识别算法的读数算法。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为改进前的RSU模块对比示意图；
图2为特征提取结构示意图；
图3为A-U2-Net总体网络结构示意图；
图4为ECA模块示意图；
图5为水利指针式仪表自动读数流程示意图；
图6为测试结果展示示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
本发明属于计算机视觉的目标检测、图像分割等技术领域，具体涉及一种基于YOLOV7目标检测算法与改进U2-Net算法结合的指针式仪器仪表自动识别方法。
针对上述现有技术中的缺陷，本发明旨在利用滤波算法增强样本表盘与背景的对比度，利用YOLOV7目标检测算法分离仪表复杂背景的同时，提出了一种新型的网络架构U2-Net，解决水利指针式仪表读数中的技术难题；
1)增强仪表对比度，精准裁剪目标区域，减弱背景影响：在进行水利指针式仪表自动读数时，最需要关注的问题为仪表读数的精确度和算法效率能否满足实际生产需求，然而，仪表图像中存在大量的无关背景、数据噪声，退化等干扰，为提高读数的稳定性及精确度，引入了双边滤波、中值滤波、模糊集函数等算法解决数据成像模糊、曝光过高、对比度低等问题，结合YOLOV7目标检测算法检测仪表表盘及指针所在区域，排除其他物件干扰，缩小分割范围；
2)改进U2-Net网络结构，提高网络分割指针、刻度能力：针对仪表盘及指针的存在难分割、分割精度低和漏分割等问题，提出了一种改进的U2-Net网络结构。为提高RSU模块特征提取能力的同时减少模块参数量，将基于残差结构把通道注意模块和深度可分离卷积结合起来，组成新的特征提取层；为防止空间信息的丢失，在外层编解码跳跃连接中添加语义嵌入分支结构，采用CARAFE算子进行上采样，将更多的语义信息引入低层特征以加强级间特征的融合，减少因跳跃连接丢失的空间信息，进一步提高模型特征提取能力，实现表盘及指针的精准分割；
3)高效、精准的读取指针式仪表示数：在分割出仪表刻度盘、指针等信息后，将以YOLOV7目标检测算法分离的子图像中心为原点极坐标系，映射指针及刻度信息至矩形图像中，检索指针质心与刻度盘起始位置，完成指针示数的精准读取。
根据本发明提供的一种新型山洪前端仪器仪表读数自动识别方法，如图1-图6所示，包括：
步骤S1：构造A-U2-Net卷积神经网络模型主干网络；
具体地，在所述步骤S1中：
构造A-U2-Net卷积神经网络模型主干网络，在RSU模块的内部编码阶段引入通道注意力ECA模块，ECA模块处理过程为，输入为H×W×C的特征图，经过全局平均池化后得到大小为[C，1，1]的聚合特征，通过一个权重共享的一维卷积进行学习，其中卷积核大小通过通道维度C的映射自适应地确定，其公式如下所示：
式中：k为卷积核大小，代表了局部跨通道交互的覆盖率；C表示通道数；γ和b用于改变通道数C和卷积核大小和之间的比例，将学习到的权重加入到输入张量中，实现通道加权，计算公式为:
式中：x为输入张量；GAP为全局平均池化；σ为sigmoid激活函数。
步骤S2：使用深度可分离卷积，将提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取；
具体地，在所述步骤S2中：
使用深度可分离卷积，利用残差结构将深度可分离卷积提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取，特征图输入将先进行逐通道卷积，利用卷积核进行卷积操作；再进行逐点卷积；
步骤S3：将编码阶段输出的语义特征进行融合，输入至对称解码阶段进行处理；完成上采样操作，构建上采样核预测模块及内容感知模块；
在所述步骤S3中：
在跳跃连接部分加入语义嵌入分支结构，利用语义嵌入分支结构将编码阶段输出的不同语义特征进行融合，输入至对称解码阶段进行处理，模拟全局多尺度上下文；将高层次的特征进行卷积及上采样处理，与低级别的语义特征进行逐像素相乘；
使用CARAFE算子替代SEB结构中的双线性插值完成上采样操作，构建上采样核预测模块及内容感知模块，上采样核预测模块根据输入特征的内容生成上采样核，通过特征图通道压缩、内容编码及上采样核预测及归一化完成：使用1×1的卷积核降低输入特征图的通道数，结合kencoder×kencoder的卷积层进行上采样核预测，得到形状为的上采样核；利用Softmax函数将上一步得到的上采样核进行归一化；内容感知模块将原图中k×k大小的特征图块与预测出的该点的上采样核作点积，得到输出值，公式如下：
其中，r为kup/2(重组内核大小)，wi′(n，m)为重组内核，x(i+n，j+m)为目标位置像素值，i、j为采样距离。
步骤S4：对指针式仪表数据集进行预处理，对指针式仪表进行VOC格式数据集的标注，将数据集输入到YOLOV7模型中进行训练；
具体地，在所述步骤S4中：
对收集到的水利指针式仪表数据集进行训练前的预处理，使用包括双边滤波、中值滤波、模糊集函数的图像增强算法提高仪表的对比度，并消除指针式仪表样本中的噪声干扰，其中双边滤波如式(4)所示：
其中c(ξ，x)表示邻域中心点x与邻近点的几何邻近度，dξ为归一化参数，kd为图像像素域核；
使用图像标注LabelImg软件对指针式仪表进行VOC格式数据集的标注，并将标注好的数据集分为训练集、验证集和测试集；基于标注的训练样本提取出仪表坐标信息，将仪表裁剪出，并使用LabelMe软件对裁剪出的样本进行json数据的标注，生成mask标签；
将数据集输入到YOLOV7模型中进行训练，其中输入图像经过backbone进行特征提取后获得3个不同尺度的特征图，这3个尺度的特征图在head中进一步将不同尺度的特征进行整合，完成大、中、小指针式仪表目标的定位，以此确定图像中所有指针式仪表的位置并切割分离出每一个表盘的子图像。
步骤S5：将仪表图像及生成数据输入到改进的A-U2-Net模型中进行训练，保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合；输入图片通过组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
具体地，在所述步骤S5中：
将裁剪出仪表图像及生成的mask数据输入到改进的A-U2-Net模型中进行训练，完成表盘图像中指针及刻度盘区域的分割，融入形态学操作减弱指针及刻度的模糊区域；
针对分割出的指针及刻度盘信息得到指针与刻度盘的相对位置关系，将A-U2-Net模型分割的指针及刻度信息进行极坐标展开，以检测阶段分离出的样本图像中心为原点建立极坐标系，将分割的刻度及刻度区域映射至长方形矩形图像中，计算刻度的初始位置、指针质心位置，完成水利指针式仪表的读数，其中极坐标到直角坐标系的转换公式与读数公式如(5)、(6)(7)所示：
x＝r+ρcos(θ) (5)
y＝r-ρsin(θ) (6)
其中，ρ为极径，θ为极角；
保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合为end toend结构；原始输入图片通过最终组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
实施例2：
实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
本发明还提供一种新型山洪前端仪器仪表读数自动识别***，所述新型山洪前端仪器仪表读数自动识别***可以通过执行所述新型山洪前端仪器仪表读数自动识别方法的流程步骤予以实现，即本领域技术人员可以将所述新型山洪前端仪器仪表读数自动识别方法理解为所述新型山洪前端仪器仪表读数自动识别***的优选实施方式。
根据本发明提供的一种新型山洪前端仪器仪表读数自动识别***，包括：
模块M1：构造A-U2-Net卷积神经网络模型主干网络；
具体地，在所述模块M1中：
构造A-U2-Net卷积神经网络模型主干网络，在RSU模块的内部编码阶段引入通道注意力ECA模块，ECA模块处理过程为，输入为H×W×C的特征图，经过全局平均池化后得到大小为[C，1，1]的聚合特征，通过一个权重共享的一维卷积进行学习，其中卷积核大小通过通道维度C的映射自适应地确定，其公式如下所示：
式中：k为卷积核大小，代表了局部跨通道交互的覆盖率；C表示通道数；γ和b用于改变通道数C和卷积核大小和之间的比例，将学习到的权重加入到输入张量中，实现通道加权，计算公式为:
式中：x为输入张量；GAP为全局平均池化；σ为sigmoid激活函数。
模块M2：使用深度可分离卷积，将提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取；
具体地，在所述模块M2中：
使用深度可分离卷积，利用残差结构将深度可分离卷积提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取，特征图输入将先进行逐通道卷积，利用卷积核进行卷积操作；再进行逐点卷积；
模块M3：将编码阶段输出的语义特征进行融合，输入至对称解码阶段进行处理；完成上采样操作，构建上采样核预测模块及内容感知模块；
在所述模块M3中：
在跳跃连接部分加入语义嵌入分支结构，利用语义嵌入分支结构将编码阶段输出的不同语义特征进行融合，输入至对称解码阶段进行处理，模拟全局多尺度上下文；将高层次的特征进行卷积及上采样处理，与低级别的语义特征进行逐像素相乘；
使用CARAFE算子替代SEB结构中的双线性插值完成上采样操作，构建上采样核预测模块及内容感知模块，上采样核预测模块根据输入特征的内容生成上采样核，通过特征图通道压缩、内容编码及上采样核预测及归一化完成：使用1×1的卷积核降低输入特征图的通道数，结合kdncoedr×kencoder的卷积层进行上采样核预测，得到形状为的上采样核；利用Softmax函数将上一步得到的上采样核进行归一化；内容感知模块将原图中k×k大小的特征图块与预测出的该点的上采样核作点积，得到输出值，公式如下：
其中，r为kup/2(重组内核大小)，wi′(n，m)为重组内核，x9i+n，j+m)为目标位置像素值，i、j为采样距离。
模块M4：对指针式仪表数据集进行预处理，对指针式仪表进行VOC格式数据集的标注，将数据集输入到YOLOV7模型中进行训练；
具体地，在所述模块M4中：
对收集到的水利指针式仪表数据集进行训练前的预处理，使用包括双边滤波、中值滤波、模糊集函数的图像增强算法提高仪表的对比度，并消除指针式仪表样本中的噪声干扰，其中双边滤波如式(4)所示：
其中c(ξ，x)表示邻域中心点x与邻近点的几何邻近度，dξ为归一化参数，kd为图像像素域核；
使用图像标注LabelImg软件对指针式仪表进行VOC格式数据集的标注，并将标注好的数据集分为训练集、验证集和测试集；基于标注的训练样本提取出仪表坐标信息，将仪表裁剪出，并使用LabelMe软件对裁剪出的样本进行json数据的标注，生成mask标签；
将数据集输入到YOLOV7模型中进行训练，其中输入图像经过backbone进行特征提取后获得3个不同尺度的特征图，这3个尺度的特征图在head中进一步将不同尺度的特征进行整合，完成大、中、小指针式仪表目标的定位，以此确定图像中所有指针式仪表的位置并切割分离出每一个表盘的子图像。
模块M5：将仪表图像及生成数据输入到改进的A-U2-Net模型中进行训练，保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合；输入图片通过组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
具体地，在所述模块M5中：
将裁剪出仪表图像及生成的mask数据输入到改进的A-U2-Net模型中进行训练，完成表盘图像中指针及刻度盘区域的分割，融入形态学操作减弱指针及刻度的模糊区域；
针对分割出的指针及刻度盘信息得到指针与刻度盘的相对位置关系，将A-U2-Net模型分割的指针及刻度信息进行极坐标展开，以检测阶段分离出的样本图像中心为原点建立极坐标系，将分割的刻度及刻度区域映射至长方形矩形图像中，计算刻度的初始位置、指针质心位置，完成水利指针式仪表的读数，其中极坐标到直角坐标系的转换公式与读数公式如(5)、(6)(7)所示：
x＝r+ρcos(θ) (5)
y＝r-ρsin(θ) (6)
其中，ρ为极径，θ为极角；
保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合为end toend结构；原始输入图片通过最终组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
实施例3：
实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
本发明提出了一种融合注意力机制的新的网络架构A-U2-Net。
新型网络架构A-U2-Net：
步骤1、构造A-U2-Net卷积神经网络模型主干网络，模块如图1所示，虚线部分为改进的结构。为消除RSU模块提取多尺度特征时残留在特征通道内的无效特征干扰，将在RSU模块的内部编码阶段引入通道注意力ECA模块，该模块处理过程为，输入为H×W×C的特征图，经过全局平均池化后得到大小为[C，1，1]的聚合特征，再通过一个权重共享的一维卷积进行学习，其中卷积核大小通过通道维度C的映射自适应地确定，其公式如下所示：
式中：k为卷积核大小，代表了局部跨通道交互的覆盖率；C表示通道数；γ和b用于改变通道数C和卷积核大小和之间的比例，默认值设为2和1。最后将学习到的权重加入到输入张量中，实现通道加权。计算公式为:
式中：x为输入张量；GAP为全局平均池化；σ为sigmoid激活函数。
步骤2、使用深度可分离卷积替代传统卷积，减少网络特征提取结构的计算量，同时利用残差结构将深度可分离卷积提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取，使得每级输出特征可以在聚焦于具有更多有效特征信息通道，加强每一级有效特征的提取能力。以输入特征图为7×7×3，输出为4通道为例。特征图输入将先进行逐通道卷积，利用4个3×3×1的卷积核进行卷积操作，该过程的计算量为3×3×(7-3+1)×(7-3+1)×3＝675，参数为3×3×3＝27；再进行逐点卷积，其卷积核的尺寸为1×1×M，M为上一层输出的通道数，该过程计算量为1×1×7×7×3×4＝588，参数个数为1×1×3×4＝12。因此，应用深度可分离卷积所需的总计算量为1263，总参数为39，而传统卷积所需计算量为3×3×(7-3+1)×(7-3+1)×3×4＝2700，参数为4×3×3×3＝108，参数和计算量都远高于深度可分离卷积。深度可分离卷积与注意力机制结合的残差结构如图2所示；
步骤3、在跳跃连接部分加入语义嵌入分支(SEB)结构，利用该结构将编码阶段输出的不同语义特征进行融合，输入至对称解码阶段进行处理，模拟全局多尺度上下文，减少漏分割现象。其操作内容主要包含：将高层次的特征进行卷积及上采样处理，与低级别的语义特征进行逐像素相乘。
步骤4、使用CARAFE算子替代SEB结构中的双线性插值完成上采样操作，构建上采样核预测模块及内容感知模块，其中上采样核预测模块主要根据输入特征的内容生成上采样核，通过特征图通道压缩、内容编码及上采样核预测及归一化3步完成：使用1×1的卷积核降低输入特征图的通道数，结合kencoder×kencoder的卷积层进行上采样核预测，得到形状为的上采样核；最后利用Softmax函数将上一步得到的上采样核进行归一化；内容感知模块将原图中k×k大小的特征图块与预测出的该点的上采样核作点积，得到输出值。公式如下所示。
最后本发明结合yolov7+U2-Net对水利指针式仪表进行识别，具体步骤如下：
水利指针式仪表读数自动识别算法自动读数识别算法：
步骤1、对收集到的水利指针式仪表数据集进行训练前的预处理，由于仪表图像中存在着大量无关背景，导致主体目标的分辨率偏低，且由于过度曝光或光照不足等影响，仪表与背景之间对比度过低，因此研究使用了双边滤波、中值滤波、模糊集函数等图像增强算法提高仪表的对比度，并消除指针式仪表样本中的噪声干扰，其中双边滤波是一种非线性滤波算法，它的实质是在图像的像素坐标邻近度和像素值相似度之间寻求到一种折中处理，可在保留图像边缘信息的同时削弱噪声的影响，如式(4)所示：
其中c(ξ，x)表示邻域中心点x与邻近点的几何邻近度，dξ为归一化参数。
步骤2、先使用图像标注LabelImg软件对指针式仪表进行VOC格式数据集的标注，并将标注好的数据集分为训练集、验证集和测试集；基于标注的训练样本提取出仪表坐标信息，将仪表裁剪出，并使用LabelMe软件对裁剪出的样本进行json数据的标注，生成mask标签。
步骤3、将数据集输入到YOLOV7模型中进行训练，其中输入图像经过backbone进行特征提取后获得3个不同尺度的特征图，这3个尺度的特征图在head中进一步将不同尺度的特征进行整合，完成大、中、小指针式仪表目标的定位，以此确定图像中所有指针式仪表的位置并切割分离出每一个表盘的子图像。
步骤4、将步骤2裁剪出仪表图像及生成的mask数据输入到改进的A-U2-Net模型中进行训练，完成表盘图像中指针及刻度盘区域的分割，融入形态学操作减弱指针及刻度的模糊区域；
步骤5、针对分割出的指针及刻度盘信息得到指针与刻度盘的相对位置关系。将A-U2-Net模型分割的指针及刻度信息进行极坐标展开，以检测阶段分离出的样本图像中心为原点建立极坐标系，将分割的刻度及刻度区域映射至长方形矩形图像中，计算刻度的初始位置、指针质心位置，完成水利指针式仪表的读数，其中极坐标到直角坐标系的转换公式与读数公式如(5、6)(7)所示：
x＝r+ρcos(θ) (5)
y＝r-ρsin(θ) (6)
步骤6、保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合为end-to-end结构；原始输入图片通过最终组合算法检测出结果后，对结果进行解码并写入到分离的图片上，总体算法流程如图5所示。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种新型山洪前端仪器仪表读数自动识别方法，其特征在于，包括：
步骤S1：构造A-U2-Net卷积神经网络模型主干网络；
步骤S2：使用深度可分离卷积，将提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取；
步骤S3：将编码阶段输出的语义特征进行融合，输入至对称解码阶段进行处理；完成上采样操作，构建上采样核预测模块及内容感知模块；
步骤S4：对指针式仪表数据集进行预处理，对指针式仪表进行VOC格式数据集的标注，将数据集输入到YOLOV7模型中进行训练；
步骤S5：将仪表图像及生成数据输入到改进的A-U2-Net模型中进行训练，保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合；输入图片通过组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
2.根据权利要求1所述的新型山洪前端仪器仪表读数自动识别方法，其特征在于，在所述步骤S1中：
构造A-U2-Net卷积神经网络模型主干网络，在RSU模块的内部编码阶段引入通道注意力ECA模块，ECA模块处理过程为，输入为H×W×C的特征图，经过全局平均池化后得到大小为[C，1，1]的聚合特征，通过一个权重共享的一维卷积进行学习，其中卷积核大小通过通道维度C的映射自适应地确定，其公式如下所示：
式中：k为卷积核大小，代表了局部跨通道交互的覆盖率；C表示通道数；γ和b用于改变通道数C和卷积核大小和之间的比例，将学习到的权重加入到输入张量中，实现通道加权，计算公式为:
式中：x为输入张量；GAP为全局平均池化；σ为sigmoid激活函数。
3.根据权利要求1所述的新型山洪前端仪器仪表读数自动识别方法，其特征在于，在所述步骤S2中：
使用深度可分离卷积，利用残差结构将深度可分离卷积提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取，特征图输入将先进行逐通道卷积，利用卷积核进行卷积操作；再进行逐点卷积；
在所述步骤S3中：
在跳跃连接部分加入语义嵌入分支结构，利用语义嵌入分支结构将编码阶段输出的不同语义特征进行融合，输入至对称解码阶段进行处理，模拟全局多尺度上下文；将高层次的特征进行卷积及上采样处理，与低级别的语义特征进行逐像素相乘；
使用CARAFE算子替代SEB结构中的双线性插值完成上采样操作，构建上采样核预测模块及内容感知模块，上采样核预测模块根据输入特征的内容生成上采样核，通过特征图通道压缩、内容编码及上采样核预测及归一化完成：使用1×1的卷积核降低输入特征图的通道数，结合kencoder×kencoder的卷积层进行上采样核预测，得到形状为的上采样核；利用Softmax函数将上一步得到的上采样核进行归一化；内容感知模块将原图中k×k大小的特征图块与预测出的该点的上采样核作点积，得到输出值，公式如下：
其中，r为kup/2(重组内核大小)，wi′(n，m)为重组内核，x(i+n，j+m)为目标位置像素值，i、j为采样距离。
4.根据权利要求1所述的新型山洪前端仪器仪表读数自动识别方法，其特征在于，在所述步骤S4中：
对收集到的水利指针式仪表数据集进行训练前的预处理，使用包括双边滤波、中值滤波、模糊集函数的图像增强算法提高仪表的对比度，并消除指针式仪表样本中的噪声干扰，其中双边滤波如式(4)所示：
其中c(ξ，x)表示邻域中心点x与邻近点的几何邻近度，dξ为归一化参数，kd为图像像素域核；
使用图像标注LabelImg软件对指针式仪表进行VOC格式数据集的标注，并将标注好的数据集分为训练集、验证集和测试集；基于标注的训练样本提取出仪表坐标信息，将仪表裁剪出，并使用LabelMe软件对裁剪出的样本进行json数据的标注，生成mask标签；
将数据集输入到YOLOV7模型中进行训练，其中输入图像经过backbone进行特征提取后获得3个不同尺度的特征图，这3个尺度的特征图在head中进一步将不同尺度的特征进行整合，完成大、中、小指针式仪表目标的定位，以此确定图像中所有指针式仪表的位置并切割分离出每一个表盘的子图像。
5.根据权利要求1所述的新型山洪前端仪器仪表读数自动识别方法，其特征在于，在所述步骤S5中：
将裁剪出仪表图像及生成的mask数据输入到改进的A-U2-Net模型中进行训练，完成表盘图像中指针及刻度盘区域的分割，融入形态学操作减弱指针及刻度的模糊区域；
针对分割出的指针及刻度盘信息得到指针与刻度盘的相对位置关系，将A-U2-Net模型分割的指针及刻度信息进行极坐标展开，以检测阶段分离出的样本图像中心为原点建立极坐标系，将分割的刻度及刻度区域映射至长方形矩形图像中，计算刻度的初始位置、指针质心位置，完成水利指针式仪表的读数，其中极坐标到直角坐标系的转换公式与读数公式如(5)、(6)(7)所示：
x＝r+ρcos(θ) (5)
y＝r-ρsin(θ) (6)
其中，ρ为极径，θ为极角；
保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合为end to end结构；原始输入图片通过最终组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
6.一种新型山洪前端仪器仪表读数自动识别***，其特征在于，包括：
模块M1：构造A-U2-Net卷积神经网络模型主干网络；
模块M2：使用深度可分离卷积，将提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取；
模块M3：将编码阶段输出的语义特征进行融合，输入至对称解码阶段进行处理；完成上采样操作，构建上采样核预测模块及内容感知模块；
模块M4：对指针式仪表数据集进行预处理，对指针式仪表进行VOC格式数据集的标注，将数据集输入到YOLOV7模型中进行训练；
模块M5：将仪表图像及生成数据输入到改进的A-U2-Net模型中进行训练，保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合；输入图片通过组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
7.根据权利要求6所述的新型山洪前端仪器仪表读数自动识别***，其特征在于，在所述模块M1中：
构造A-U2-Net卷积神经网络模型主干网络，在RSU模块的内部编码阶段引入通道注意力ECA模块，ECA模块处理过程为，输入为H×W×C的特征图，经过全局平均池化后得到大小为[C，1，1]的聚合特征，通过一个权重共享的一维卷积进行学习，其中卷积核大小通过通道维度C的映射自适应地确定，其公式如下所示：
式中：k为卷积核大小，代表了局部跨通道交互的覆盖率；C表示通道数；γ和b用于改变通道数C和卷积核大小和之间的比例，将学习到的权重加入到输入张量中，实现通道加权，计算公式为:
式中：x为输入张量；GAP为全局平均池化；σ为sigmoid激活函数。
8.根据权利要求6所述的新型山洪前端仪器仪表读数自动识别***，其特征在于，在所述模块M2中：
使用深度可分离卷积，利用残差结构将深度可分离卷积提取的特征和ECA模块输出特征相加后再输入下一个特征提取层进行特征提取，特征图输入将先进行逐通道卷积，利用卷积核进行卷积操作；再进行逐点卷积；
在所述模块M3中：
在跳跃连接部分加入语义嵌入分支结构，利用语义嵌入分支结构将编码阶段输出的不同语义特征进行融合，输入至对称解码阶段进行处理，模拟全局多尺度上下文；将高层次的特征进行卷积及上采样处理，与低级别的语义特征进行逐像素相乘；
使用CARAFE算子替代SEB结构中的双线性插值完成上采样操作，构建上采样核预测模块及内容感知模块，上采样核预测模块根据输入特征的内容生成上采样核，通过特征图通道压缩、内容编码及上采样核预测及归一化完成：使用1×1的卷积核降低输入特征图的通道数，结合kencoder×kencoder的卷积层进行上采样核预测，得到形状为的上采样核；利用Softmax函数将上一步得到的上采样核进行归一化；内容感知模块将原图中k×k大小的特征图块与预测出的该点的上采样核作点积，得到输出值，公式如下：
其中，r为kup/2(重组内核大小)，wi′(n，m)为重组内核，x(i+n，j+m)为目标位置像素值，i、j为采样距离。
9.根据权利要求6所述的新型山洪前端仪器仪表读数自动识别***，其特征在于，在所述模块M4中：
对收集到的水利指针式仪表数据集进行训练前的预处理，使用包括双边滤波、中值滤波、模糊集函数的图像增强算法提高仪表的对比度，并消除指针式仪表样本中的噪声干扰，其中双边滤波如式(4)所示：
其中c(ξ，x)表示邻域中心点x与邻近点的几何邻近度，dξ为归一化参数，kd为图像像素域核；
使用图像标注LabelImg软件对指针式仪表进行VOC格式数据集的标注，并将标注好的数据集分为训练集、验证集和测试集；基于标注的训练样本提取出仪表坐标信息，将仪表裁剪出，并使用LabelMe软件对裁剪出的样本进行json数据的标注，生成mask标签；
将数据集输入到YOLOV7模型中进行训练，其中输入图像经过backbone进行特征提取后获得3个不同尺度的特征图，这3个尺度的特征图在head中进一步将不同尺度的特征进行整合，完成大、中、小指针式仪表目标的定位，以此确定图像中所有指针式仪表的位置并切割分离出每一个表盘的子图像。
10.根据权利要求6所述的新型山洪前端仪器仪表读数自动识别***，其特征在于，在所述模块M5中：
将裁剪出仪表图像及生成的mask数据输入到改进的A-U2-Net模型中进行训练，完成表盘图像中指针及刻度盘区域的分割，融入形态学操作减弱指针及刻度的模糊区域；
针对分割出的指针及刻度盘信息得到指针与刻度盘的相对位置关系，将A-U2-Net模型分割的指针及刻度信息进行极坐标展开，以检测阶段分离出的样本图像中心为原点建立极坐标系，将分割的刻度及刻度区域映射至长方形矩形图像中，计算刻度的初始位置、指针质心位置，完成水利指针式仪表的读数，其中极坐标到直角坐标系的转换公式与读数公式如(5)、(6)(7)所示：
x＝r+ρcos(θ) (5)
y＝r-ρsin(θ) (6)
其中，ρ为极径，θ为极角；
保存Yolov7目标检测与A-U2-Net图像分割模型权重的保存，并将其组合为end to end结构；原始输入图片通过最终组合算法检测出结果后，对结果进行解码并写入到分离的图片上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311791640.4A CN117727046A (zh) | 2023-12-22 | 2023-12-22 | 新型山洪前端仪器仪表读数自动识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311791640.4A CN117727046A (zh) | 2023-12-22 | 2023-12-22 | 新型山洪前端仪器仪表读数自动识别方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117727046A true CN117727046A (zh) | 2024-03-19 |
Family
ID=90208728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311791640.4A Pending CN117727046A (zh) | 2023-12-22 | 2023-12-22 | 新型山洪前端仪器仪表读数自动识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117727046A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974648A (zh) * | 2024-03-29 | 2024-05-03 | 中国机械总院集团江苏分院有限公司 | 一种织物瑕疵检测方法 |
-
2023
- 2023-12-22 CN CN202311791640.4A patent/CN117727046A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117974648A (zh) * | 2024-03-29 | 2024-05-03 | 中国机械总院集团江苏分院有限公司 | 一种织物瑕疵检测方法 |
| CN117974648B (zh) * | 2024-03-29 | 2024-06-04 | 中国机械总院集团江苏分院有限公司 | 一种织物瑕疵检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210435B (zh) | 一种基于局部和全局特征增强模块的图像语义分割方法 | |
| CN109446992B (zh) | 基于深度学习的遥感影像建筑物提取方法及***、存储介质、电子设备 | |
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| Zhou et al. | BOMSC-Net: Boundary optimization and multi-scale context awareness based building extraction from high-resolution remote sensing imagery | |
| CN111582175B (zh) | 一种共享多尺度对抗特征的高分遥感影像语义分割方法 | |
| CN115601549B (zh) | 基于可变形卷积和自注意力模型的河湖遥感图像分割方法 | |
| CN113888550B (zh) | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 | |
| CN113052106B (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| CN114724155A (zh) | 基于深度卷积神经网络的场景文本检测方法、***及设备 | |
| Hou et al. | BSNet: Dynamic hybrid gradient convolution based boundary-sensitive network for remote sensing image segmentation | |
| CN113838064B (zh) | 一种基于分支gan使用多时相遥感数据的云去除方法 | |
| CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及*** | |
| CN117727046A (zh) | 新型山洪前端仪器仪表读数自动识别方法及*** | |
| CN116205962B (zh) | 基于完整上下文信息的单目深度估计方法及*** | |
| CN110992366A (zh) | 一种图像语义分割方法、装置及存储介质 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、***、设备及存储介质 | |
| CN116958827A (zh) | 一种基于深度学习的撂荒区域提取方法 | |
| CN111860465A (zh) | 基于超像素的遥感图像提取方法、装置、设备及存储介质 | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| Zuo et al. | A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| CN115330703A (zh) | 基于上下文信息融合的遥感影像云与云阴影检测方法 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及*** | |
| CN113628180A (zh) | 一种基于语义分割网络的遥感建筑物检测方法及*** | |
| CN113610032A (zh) | 基于遥感影像的建筑物识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |