CN114639064A - 一种水位识别方法及装置 - Google Patents
一种水位识别方法及装置 Download PDFInfo
- Publication number
- CN114639064A CN114639064A CN202210535926.5A CN202210535926A CN114639064A CN 114639064 A CN114639064 A CN 114639064A CN 202210535926 A CN202210535926 A CN 202210535926A CN 114639064 A CN114639064 A CN 114639064A
- Authority
- CN
- China
- Prior art keywords
- water level
- scale
- level gauge
- image
- gauge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)
Abstract
本发明涉及一种水位识别方法及装置,属于智能水利技术领域。该识别方法包括以下步骤:S1、获取水位尺图像,构建水位尺图像数据集;S2、构建水位尺检测网络模型,利用水位尺图像数据集对水位尺检测网络模型进行训练;S3、利用训练好的水位尺检测网络模型对待识别的水位尺图像进行水位尺刻度预测;S4、根据水位尺刻度预测结果,对预测结果进行后处理分析,获取当前水位。本发明能够解决现有技术中的不足,在复杂的自然环境下,实时、精确获取当前水位值。
Description
技术领域
本发明涉及智能水利技术领域,具体涉及一种水位识别方法及装置。
背景技术
水位是河流湖库的基本水文元素之一,由于城市及灌区对于供水量、暴雨及洪水流量、径流泥沙及养分转移率等信息通常均需要根据水位测量值求得,因此连续可靠的水位监测对于流域水资源管理与综合治理具有重要意义。
当前,水利行业监测水位的方法除了人工检测之外,还有自动水位计检测,自动水位计检测包括浮子式、压力式、超声波式及雷达式等,以及会采用传统的图像识别方法对水位进行监测。这些方法在监控时都存在诸多缺陷,比如人工监测存在安全隐患且劳动强度大、自动化程度低;各种自动水位计成本高,精度易受环境影响,维护成本高;而传统的图像识别方法对于每个摄像头的安装角度和位置要求较高,适应性较差。
中国专利CN114332870A公开了一种水位识别方法、装置、设备及可读存储介质,该专利的预处理方法为:采用大量复杂的预处理算法去消除光照等外界因素影响,首先通过角点和语义信息提取网络来获取水位尺刻度的候选框,然后裁剪水位尺刻度图像,输入到序列文本识别模型得到每个刻度图像的读数结果;后处理方法为:通过上述水位尺刻度值的读数结果,然后将读数结果和E字符顺序排列,将最下方的E字符对应到中文字符,然后通过中文字符查找得到最终的刻度值。该技术方案存在以下不足:一、做了大量的工作,包括预处理、角点检测模型、序列文本识别模型才得到最终的刻度值结果,处理过程非常繁琐。二、针对模型得到的刻度值信息没有进一步的处理,直接对结果按照位置信息进行排序,当出现排序出错,也就是模型检测得到的结果出错,就直接放弃读数。三、针对检测结果中出现的不完整E字符,采取的措施是将其对应到中文字符,然后通过中文字符查找得到最终的刻度值。该方法存在不严谨性,只是阐述了对不完整E字符的处理,没有说明对不完整刻度值字符的处理方法,如果存在不完整的刻度值,则该方法读数误差较大。
发明内容
本发明的目的在于提供一种水位识别方法及装置,该识别方法及装置能够解决现有技术中的不足,在复杂的自然环境下,实时、精确识别水位尺的刻度值,获取当前水位值。
为实现上述目的,本发明采用了以下技术方案:
一种水位识别方法,该方法包括以下步骤:
S1、获取水位尺图像,构建水位尺图像数据集。步骤S1是为了采集原始水位尺训练图像,以得到能够满足模型训练的数据。
S2、构建水位尺检测网络模型,利用水位尺图像数据集对水位尺检测网络模型进行训练。步骤S2的目的是对水位尺检测网络模型进行训练,使得水位尺检测网络模型可以对待识别水位尺图像进行检测。
S3、利用训练好的水位尺检测网络模型对待识别的水位尺图像进行水位尺刻度预测。步骤S3的目的是利用水位尺检测网络模型对待识别的水位尺图像进行检测,以能够将待识别水位尺图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的位置以及类别检测出来。
S4、根据水位尺刻度预测结果,对预测结果进行后处理分析,获取当前水位。步骤S4的目的是对检测得到的结果进行分析处理,以得到待识别水位尺图像当前的水位读数结果。
进一步的,步骤S1中所述的“获取水位尺图像,构建水位尺图像数据集”,具体包括以下步骤:
S11、将若干个摄像头布置在不同河段;所述摄像头,用于拍摄水位尺及水位尺附近水域图像。通过再不同河段设置若干个摄像头,能够采集多样性的原始水位尺训练视频,进而得到能够满足水位尺检测网络模型训练的数据。
S12、获取各摄像头拍摄的视频,并收集不同时间段下的视频流。步骤S12的目的是采集原始水位尺训练视频,以得到能够满足水位尺检测网络模型训练的多样性视频。
S13、采用抽帧的方法对收集到的视频流进行处理,得到若干张图片;所述抽帧时间间隔为2s,每隔2s从视频中抽取一张图片。步骤S13的目的是从视频中抽取满足要求的训练图像,以获取满足水位尺检测网络模型训练的数据。
S14、将所有收集到的图片汇总,将各图片中水位尺所在区域分割出来制作水位尺数据集。考虑到水位尺区域过小,特征提取困难,步骤S14将水位尺区域局部分割的方法,使得水位尺网络检测模型可以更好地提取特征。
S15、利用开源标注工具Labelimg对水位尺数据集各图片中的水位尺、水位尺上的刻度值、水位尺倒影、水位尺倒影上的刻度值进行标注。步骤S15的目的是对所需数据进行标注,以得到水位尺检测网络模型训练需要的数据,制作训练数据集。
S16、将标注完成的水位尺数据集按照8:1:1的比例,乱序分配为训练集、测试集和验证集。将水位尺数据集按比例分成三种,目的是监督模型训练过程,使得水位尺检测网络模型更好的拟合数据。
进一步的,所述水位尺检测网络模型采用改进的yolov5目标检测算法,针对yolov5目标检测算法进行改进,添加自适应特征融合模块,对上层的输出特征进行加权融合;所述自适应特征融合模块的原理为:采用公式
,将上层的输入特征分别乘上各自对应的权重参数得到下一层的特征融合图;权重参数经过降维之后通过softmax函数使得它们的范围都在[0,1]内并且和为1。公式里边的下标和上标代表的是前后不同特征融合图的对应。
进一步的,步骤S3中所述的“利用训练好的水位尺检测网络模型对待识别的水位尺图像进行水位尺刻度预测;”,具体包括以下步骤:
S31、对摄像头获取的待识别的水位尺图像进行预处理,在图像中分割出水位尺所在区域,并对分割出的图像大小进行调整,得到预处理好的水位尺图像。对待识别的水位尺图像进行分割处理,并将分割出的图像调整成水位尺检测网络模型推理需要的数据大小,以对处理后的图像更好的进行检测。
S32、将预处理好的水位尺图像输入到训练好的水位尺检测网络模型中,水位尺检测网络模型对输入图像进行特征提取,并根据提取的特征,对不同的输出层进行自适应的特征融合,对水位尺图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的位置以及类别进行检测,得到水位尺图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的位置以及类别信息。类别包括水位尺、水位尺倒影、1、2、3、4、5、6、7、8、9、-1、-2、-4、-5、-6、-7、-9,一共18类,其中数字类代表水位尺上的各个刻度值,负数代表倒影水位尺上的各个刻度值。步骤S32的目的是将预处理好的待识别水位尺图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的位置以及类别检测出来。
进一步的,步骤S4中所述的“根据水位尺刻度预测结果,对预测结果进行后处理分析,获取当前水位”,具体包括以下步骤:
S41、判断水位尺刻度预测结果中是否存在水位尺类别;若存在,则执行步骤S42;若不存在,则结束本次后处理分析。结合水位尺倒影的相关信息,对当前待识别水位尺进行水位读数,利用水位尺信息结合水位尺倒影信息进行水位读数。
S42、判断水位尺刻度预测结果中是否存在水位尺倒影类别,并根据判断结果,获取水位线;具体步骤为:
若不存在水位尺倒影类别,则将水位尺类别检测框的底边线作为水位线。
若存在水位尺倒影类别,则过滤水位尺和该水位尺对应的水位尺倒影类别,保留置信度最高的检测框,然后判断水位尺检测框的底边线和与该水位尺相对应的倒影检测框的顶端线之间的距离是否小于a个像素,若小于,则将水位尺检测框的底边线和水位尺倒影检测框的顶端线之间的中位线作为水位线;若不小于,则继续判断水位尺上的刻度值和水位尺倒影上的刻度值是否成对存在;若是成对存在,则将所有成对存在的水位尺及其倒影上的刻度值的中位线的平均值作为水位线;若不是成对存在,则将水位尺检测框的底边线作为水位线;其中,a为正整数,a的取值为5;成对存在指的就是水位尺上的刻度值和对应的水位尺倒影上的刻度值同时存在。判断是否成对存在的方法是将水位尺中的刻度以及水位尺倒影中的刻度值逐一对比,如果成对存在则刻度值互为正负,例如8和-8是成对存在的。如果存在多个成对存在的刻度值,就需要对每一对刻度值都求取中位线,然后再对所有的中位线求取平均值作为最终的水位线。在步骤S42中,通过对水位尺及其倒影的信息、刻度值及其倒影的信息,得到水位线在竖直方向的像素距离,从而得到水位线位置。
S43、根据水位尺刻度值之间的距离比值,遍历水位尺中的刻度值,并对其中的误检、漏检进行校正,得到完整的水位尺检测结果。完整的水位尺检测结果包括水尺和纠正后的水尺刻度值信息。默认水位尺自上而下的刻度值是依次递减的,目标检测结果自上而下可能存在部分刻度值检错或者漏检,通过算法自动判断是否存在这种误检、漏检情况,然后基于自上而下的刻度值是依次递减的先验知识对误检、漏检情况纠正,将误检的改正确了,将漏检的加进去。步骤S43的目的是纠正检测结果中的错检、漏检,该步骤结合水位尺自上而下刻度值降序排列的原则,对检测得到的刻度值信息进行纠错,将漏检的刻度值结合上下刻度的信息进行补充。
S44、计算步骤S43中得到的水位尺检测结果中的最小刻度到步骤S42中得到的水位线刻度之间的距离,按照距离比计算水位线的刻度值,获得水位值。步骤S44通过计算水位线和刻度值的关系得到最终的水位线的刻度信息,得到水位线的刻度信息。
本发明还涉及一种水位识别装置,该装置包括以下模块:
视频采集模块,用于采集水位尺所在区域视频,所述水位尺所在区域的视频包括水位尺和水位尺附近水面的图像信息。所述水位尺安装在水域的岸边。
水位尺预测模块,用于从所述水位尺所在区域视频中提取视频帧图像,利用训练好的水位尺检测网络模型对提取的图像进行目标检测,获取图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的类别及位置信息。
水位测算模块,用于根据图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的类别及位置信息,测算出当前水位。
和现有技术相比,本发明的优点为:
(1)为了解决现有技术中存在的“人工监测存在安全隐患且劳动强度大、自动化程度低;各种自动水位计成本高,精度易受环境影响,维护成本高;而传统的图像识别方法对于每个摄像头的安装角度和位置要求较高,适应性较差。”的问题,本发明提出了一种水位识别方法,该方法构建了水位尺检测网络模型,该模型在现有的yolov5目标检测算法加入自适应特征融合模块,对水位尺图像进行检测识别,提高了算法对目标检测识别的准确率以及实时性。通过加入自适应特征融合模块,能够提升水位检测精度,经过实验验证,提升了2%的检测精度。本发明不但消除了安全隐患、降低了劳动强度、提高了自动化程度,而且其检测精度不会受到环境影响,维护成本低。此外,和传统的图像识别方法不同,本发明对于每个摄像头的安装角度和位置要求低,适应性好。
(2)为了解决现有技术中存在的水位尺读数后处理部分的读数不准确的技术问题以及背景技术中提到的中国专利CN114332870A存在的问题三,本发明采用的技术手段是针对检测结果中不同的情况,如检测结果中无水位尺、有水位尺无倒影、有水位尺有倒影等情况分别设计对应的处理方法,先是得到水位线的位置信息,然后结合纠正后的刻度值信息,进而得到水位线的读数信息,达到的有益效果是能够处理多种情况下的水位读数问题,并且具有较高的读数精度。本发明结合目标检测结果中检测框及其倒影信息、刻度值及其倒影信息得到水位线的位置信息,通过刻度值和水位线位置的相对关系,最终得到读数结果,这一逻辑可以解决各种情况下的水位尺读数,并且读数精度更高。
(3)针对背景技术中提到的中国专利CN114332870A存在的问题一,本发明采用加入自适应特征融合模块的yolov5目标检测算法作为水位尺检测网络模型,直接对输入图片进行目标检测,即得到了刻度值位置与读数结果,还得到了水位尺信息和倒影中的所有信息,相比中国专利CN114332870A的方法,本发明更加简洁,并且由于采用了基于深度学习的检测方法,所以水位尺检测网络模型具有更强大的特征提取能力,能够使用复杂环境,而不需要做大量的预处理工作,并且本发明可以得到水位尺更多有用的信息,而不只是刻度值信息。
(4)针对背景技术中提到的中国专利CN114332870A存在的问题二,本发明在后处理部分设计严谨的读数逻辑,首先对检测出来的刻度值结果,进行错检、漏检的纠正,然后通过检测框及其倒影信息、刻度值及其倒影信息得到水位线的位置,然后通过刻度值和水位线位置的相对关系,最终得到读数结果,本发明的方法充分考虑了模型漏检、错检的问题,设计针对性的后处理方法,纠正模型的漏检、错检结果,然后再结合水位线得到最终的检测结果。
附图说明
图1是本发明所述的水位识别方法的方法流程图;其中,ruler代表水位尺的类别名字,_ruler代表水位尺倒影类别名字;
图2是本发明实施例中的水位尺标注图;
图3是本发明实施例中检测结果有水位尺无倒影的示例图;
图4是本发明实施例中检测结果有水位尺及倒影且倒影无刻度的示例图;
图5是本发明实施例中检测结果有水位尺及倒影且倒影有刻度的示例图。
具体实施方式
下面结合附图对本发明做进一步说明。
实施例
某河道监控实时拍摄安装在河道岸边侧壁上的水位尺以及水位尺附近的水域的视频。在拍摄的视频流中按一定时间间隔抽取若干张图片送入本发明所采用的目标检测模型(目标检测检测模型即水位尺检测网络模型)后,目标检测模型在某一时刻检测出目标信息。所述目标信息包括水位尺、水位尺上的刻度值、水位尺倒影、水位尺倒影上的刻度值的位置及类别信息。对检测出的目标信息进行分析,判断当前时刻的水位信息,实时获取水位信息。
如图1所示,本发明所述的水位识别方法包括以下步骤:
S1、获取水位尺图像,构建水位尺图像数据集。在本实施例中,所收集水位尺图像数据共833张图片。S1具体包括以下步骤:
S11、将若干个摄像头布置在不同河段。所述摄像头,用于拍摄水位尺及水位尺附近水域图像。
S12、获取各摄像头拍摄的视频,并收集不同时间段下的视频流。
S13、采用抽帧的方法对收集到的视频流进行处理,得到若干张图片。所述抽帧时间间隔为2s,每隔2s从视频中抽取一张图片。
S14、将所有收集得到的图片汇总,并且将所有图片中的水位尺所在区域分割出来,制作水位尺数据集。
S15、如图2所示,利用开源标注工具Labelimg对水位尺数据集中的各个图片进行标注。在图2中,用矩形框标出了水位尺、水位尺倒影和水位尺上的刻度值。
S16、将标注完成的数据集按照8:1:1的比例,乱序分配为训练集、测试集和验证集。
S2、构建水位尺检测网络模型,利用水位尺图像数据集对水位尺检测网络模型进行训练。
所述水位尺检测网络模型采用改进的yolov5目标检测算法,针对yolov5目标检测算法进行改进,在yolov5目标检测算法中添加自适应特征融合模块,对上层的输出特征进行加权融合。
所述自适应特征融合模块的原理为:
采用公式
将自适应特征融合模块应用到水位尺检测网络模型中,在对水位尺进行检测过程中,能够更好地提取水位尺图像特征,也就是更好地提取水位尺及其倒影、刻度值及其倒影的特征,使提取的水位尺图像特征更加准确,水位尺检测网络模型的检测结果更好,检测精度更高。
自适应特征融合模块中特征图层代表着深度学习网络对图像进行特征提取得到的特征图,特征融合层则代表的是对不同的特征图层进行相应的计算,然后将结果相加得到的融合特征图,也就是特征融合层。由于不同层的特征图大小不一样,但是特征融合层的尺寸是固定的,所以对于不同的特征融合图层,需要先将上一步的特征图层做上采样或者下采样将特征图的大小统一成和特征融合层的尺寸一样,然后对不同的特征层乘以各自对应的权重参数α3,β3和γ3得到特征融合图,该方法可以使得网络学习到的特征更好的融合在一起,为下一步的目标检测过程提供更多有效的特征,提升目标检测算法模型的检测精度。
其中,由于不同层的特征融合图的尺寸大小不同,所以在做运算时需要根据具体需求对特征融合图进行上采样或者下采样处理。
S3、利用训练好的水位尺检测网络模型对待识别的水位尺图像进行水位尺刻度预测。
S4、根据水位尺刻度预测结果,对预测结果进行后处理分析,获取当前水位。
S41、判断水位尺刻度预测结果中是否存在水位尺类别;若存在,则执行步骤S42;若不存在,则结束本次后处理分析;
S42、判断水位尺刻度预测结果中是否存在水位尺倒影类别,并根据判断结果,获取水位线;具体步骤为:
若水位尺倒影类别不存在,则将水位尺类别的底边线作为水位线,如图3所示的情况。
若水位尺倒影类别存在,则过滤水位尺和其倒影类别,保留置信度最高的框,然后判断水位尺底边线和其倒影顶端线之间的距离是否小于a个像素。设L1代表水位尺检测框底边线在竖直方向的位置,L2代表水位尺倒影检测框顶端线在竖直方向的位置,则判断|L1-L2|<a是否成立,若L1和L2之间的绝对值小于a,则将水位尺检测框底边线和水位尺倒影检测框顶端线之间的中位线作为水位线,如图4所示的情况。
若L1和L2之间的绝对值不小于a,则继续判断水位尺的刻度和水位尺倒影中的刻度是否成对存在。若是存在成对存在的刻度值,则计算所有成对存在的水位尺及其倒影上的刻度值的中位线的平均值作为水位线,如图5所示的情况。若没有成对存在的水位尺刻度值,则将水位尺检测框的底边线作为水位线。其中,a为正整数,a的取值为5。如果存在多个成对存在的刻度值,就需要对每一对刻度值都求取中位线,然后再对所有的中位线求取平均值作为最终的水位线。在图5中,存在多个成对存在的刻度值5和-5、6和-6,则计算水位线时,如果水尺检测框和水尺倒影检测框无法确定水位线,就需要通过取这几组成对刻度值的中位线的平均值来作为水位线。
S43、根据水位尺刻度值之间的距离比值,遍历水位尺中的刻度值,并对其中的误检、漏检进行校正,得到完整的水位尺检测结果。完整的水位尺检测结果包括水尺和纠正后的水尺刻度值信息。默认水位尺自上而下的刻度值是依次递减的,目标检测结果自上而下可能存在部分刻度值检错或者漏检,通过算法自动判断是否存在这种误检、漏检情况,然后基于自上而下的刻度值是依次递减的原则对误检、漏检情况纠正,将误检的改正确了,将漏检的加进去。
S44、计算步骤S43中得到的水位尺检测结果中的最小刻度到步骤S42中得到的水位线刻度之间的距离,按照距离比计算水位线的刻度值,获得水位值。
采用水位尺目标检测网络模型进行目标检测,得到水位尺刻度值的位置。通过刻度值位置之间对应的像素点距离,得到不同刻度值之间的距离比值。以图5所示的实例来举例说明下距离比值的计算方法。如图5所示,水位尺的刻度值的检测结果有5,6,7,8,9四个刻度值的检测框,则将每一个检测框的中心位置坐标作为该检测框的位置用S5、S6、S7、S8、S9代表。上述步骤求解出来的水位线位置用Sw代表,则由于水位尺刻度值之间的距离是均等分布的原则,则相邻刻度值之间距离的比值在一定误差范围内是相等。即(S9-S8)/(S8-S7)≈(S8-S7)/(S7-S6)≈(S7-S6)/(S6-S5)≈(S6-S5)/(S5-S4),其中S4为水面下的刻度值4的位置信息,此处为未知数。通过上述已知的位置,求解出S5和S4之间的距离即S5-S4,然后由于Sw也是已知的,所以S5-Sw代表水位线和S5的距离,然后5-(S5-Sw)/(S5-S4)得到的结果就是水位线所对应的结果值,即水位值。求出来距离比,计算得到水面距离最低刻度值的距离所代表的数值,然后结合刻度值的读数,两者相减得到最终的水位读数。水位线的刻度值,就是当前的水位值。
本发明还涉及一种水位识别装置,该装置包括视频采集模块、水位尺预测模块和水位测试模块。
所述视频采集模块,用于采集水位尺所在区域视频。所述水位尺所在区域的视频包括水位尺和水位尺附近水面的图像信息。所述水位尺安装在水域的岸边。
所述水位尺预测模块,用于从所述水位尺所在区域视频中提取视频帧图像,采用抽帧的方法对收集到的视频流进行处理,得到若干张图片,将所有收集得到的图片汇总,并且将所有图片中的水位尺所在区域分割出来,制作水位尺数据集;还用于利用开源标注工具Labelimg对水位尺数据集中的各个图片进行标注,并将标注完成的数据集按照8:1:1的比例,乱序分配为训练集、测试集和验证集;还用于构建水位尺检测网络模型,并采用水位尺数据集对模型进行训练,利用训练好的水位尺检测网络模型对提取的图像进行目标检测,获取图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的类别及位置信息。所述水位尺检测网络模型采用改进的yolov5目标检测算法,针对yolov5目标检测算法进行改进,添加自适应特征融合模块,对上层的输出特征进行加权融合。
所述自适应特征融合模块的原理为:
采用公式
所述水位测算模块,用于根据水位尺预测模块获取的图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的类别及位置信息,测算出当前水位。水位测试模块的具体工作过程如步骤S41-步骤S44所述。
在本实施例中,利用改进的yolov5目标检测算法对水位进行识别,本发明通过水位尺检测模型的预训练,使用深度卷积神经网络算法,有监督的提取已标注的图像中的水位尺、水位尺刻度及其倒影的图像特征学习,在多次的迭代中深度卷积神经网络算法对不同目标的特征不断的拟合学习,最终得到满足预期的水位尺检测网络模型。本发明针对无水位尺、有水位尺无倒影、有水位尺有倒影等情况分别设计对应的处理方法,实现水位值的精确读取,能够处理多种情况下的水位读数问题。
本发明需要使用大量已标注的水位尺图像数据进行预训练,在预训练的基础上才能将算法应用到对未知水位尺刻度以及水位的预测中,所以本发明的主要工作是有两部分组成:深度学习算法的训练、预测阶段以及算法后处理阶段,其技术要点是,能够解决自动水位计成本高且精度易受环境影响的、以及传统图像识别方法灵活度较低的缺点,在降低水位识别成本的同时,提高识别灵活性和识别精度。
本发明的检测对象是水位尺及其倒影的刻度值,无需图像处理方法,而是通过对水位尺位置及其刻度位置进行判定,直接利用神经网络的检测结果即可得到水位尺当前水位的读数。本发明通过一次目标检测得到水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的类别及位置信息的检测结果,然后通过相应的后处理算法得到水位线的位置信息。本发明针对检测得到的数值结果通过构建上下刻度值的关系,可以对缺失漏检刻度值以及误检错检刻度值进行修正和补充,最终得到正确的刻度值分布,然后再根据刻度值与水位线的关系得到最终的水位读数。
和现有技术相比,本发明具有以下创新点:
(1)为了解决现有技术中存在的水位尺读数算法繁琐、精度低、实时性不高的技术问题,本发明采用的技术手段是直接利用一次目标检测得到水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的类别及位置信息的检测结果,然后通过相应的后处理算法得到水位线的位置信息,达到的有益效果是通过引入水位线计算方法和对缺失漏检刻度值以及误检错检刻度值进行修正和补充,可以充分利用水位尺的相关信息进行水位读数,而且整个过程完全满足水位尺检测中的实时性要求,可以得到高精度的实时水位变化。
(2)为了解决水位尺倾斜情况读数误差较大的技术问题,本发明采用的技术手段是利用等比例计算方法来判断不同刻度值之间的距离比值,可以很好的解决水位尺倾斜情况下的读数问题,达到的有益效果是通过该种方法不仅可以在水位尺倾斜情况下继续进行水位尺读数,也可以保证水位尺倾斜情况下的读数精度。本发明不需要任何的先验知识,针对小幅度的水位尺倾斜情况也同样适用,不会影响最终的读数。本发明通过改进的yolov5目标检测算法来确定水位刻度值的位置及读数,能够实现水位尺的精准读数,误差在0.1左右。
(3)为了解决现有水位尺读数算法对于倾斜状态下水位尺读数需要先对水尺做倾斜矫正的技术问题,本发明采用的技术手段是利用等比例计算方法来判断不同刻度值之间的距离比值,达到的有益效果是能够在水位尺倾斜情况下依然可以高精度的读取水位值。本发明不需要对水位尺做倾斜矫正,针对水位尺倾斜的情况,本发明通过判断刻度区间比例的方法来进行倾斜情况下的读数,并且本发明不需要进一步的图像处理方法。
(4)为了解决当前读数算法依赖水位尺样式的技术问题,本发明采用的技术手段是利用基于深度学习的目标检测网络强大的特征提取能力,针对不同样式的水位尺都可以提取到其水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值特征,后处理基于目标检测网络推理得到的结果,不依赖水位尺样式进行读数,达到的有益效果是只需要满足水位尺上有刻度值即可,而绝大部分的水位尺都满足这一要求,本方法使用范围更广。
(5)为了解决现有水位尺读数算法读数精度不高的技术问题,本发明采用的技术手段是不仅考虑水位尺本体,也要考虑水位尺倒影上的信息,本发明对倒影有着严格的处理逻辑,除了通过倒影得到和真实水位尺的分割水位线之外,还通过对倒影中刻度值的提取,进而纠正水位线的精度。达到的有益效果是充分利用图片中水位尺的信息,能够满足多种情况下的水位尺高精度读数。
以上所述实施例仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (6)
1.一种水位识别方法,其特征在于:该方法包括以下步骤:
S1、获取水位尺图像,构建水位尺图像数据集;
S2、构建水位尺检测网络模型,利用水位尺图像数据集对水位尺检测网络模型进行训练;
S3、利用训练好的水位尺检测网络模型对待识别的水位尺图像进行水位尺刻度预测;
S4、根据水位尺刻度预测结果,对预测结果进行后处理分析,获取当前水位。
2.根据权利要求1所述的一种水位识别方法,其特征在于:步骤S1中所述的“获取水位尺图像,构建水位尺图像数据集”,具体包括以下步骤:
S11、将若干个摄像头布置在不同河段;所述摄像头,用于拍摄水位尺及水位尺附近水域图像;
S12、获取各摄像头拍摄的视频,并收集不同时间段下的视频流;
S13、采用抽帧的方法对收集到的视频流进行处理,得到若干张图片;所述抽帧时间间隔为2s,每隔2s从视频中抽取一张图片;
S14、将所有收集到的图片汇总,将各图片中水位尺所在区域分割出来制作水位尺数据集;
S15、利用开源标注工具Labelimg对水位尺数据集各图片中的水位尺、水位尺上的刻度值、水位尺倒影、水位尺倒影上的刻度值进行标注;
S16、将标注完成的水位尺数据集按照8:1:1的比例,乱序分配为训练集、测试集和验证集。
4.根据权利要求3所述的一种水位识别方法,其特征在于:步骤S3中所述的“利用训练好的水位尺检测网络模型对待识别的水位尺图像进行水位尺刻度预测;”,具体包括以下步骤:
S31、对摄像头获取的待识别的水位尺图像进行预处理,在图像中分割出水位尺所在区域,并对分割出的图像大小进行调整,得到预处理好的水位尺图像;
S32、将预处理好的水位尺图像输入到训练好的水位尺检测网络模型中,水位尺检测网络模型对输入图像进行特征提取,并根据提取的特征,对不同的输出层进行自适应的特征融合,对水位尺图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的位置以及类别进行检测,得到水位尺图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的位置以及类别信息。
5.根据权利要求4所述的一种水位识别方法,其特征在于:步骤S4中所述的“根据水位尺刻度预测结果,对预测结果进行后处理分析,获取当前水位”,具体包括以下步骤:
S41、判断水位尺刻度预测结果中是否存在水位尺类别;若存在,则执行步骤S42;若不存在,则结束本次后处理分析;
S42、判断水位尺刻度预测结果中是否存在水位尺倒影类别,并根据判断结果,获取水位线;具体步骤为:
若不存在水位尺倒影类别,则将水位尺类别检测框的底边线作为水位线;
若存在水位尺倒影类别,则过滤水位尺和该水位尺对应的水位尺倒影类别,保留置信度最高的检测框,然后判断水位尺检测框的底边线和与该水位尺相对应的倒影检测框的顶端线之间的距离是否小于a个像素,若小于,则将水位尺检测框的底边线和水位尺倒影检测框的顶端线之间的中位线作为水位线;若不小于,则继续判断水位尺上的刻度值和水位尺倒影上的刻度值是否成对存在;若是成对存在,则将所有成对存在的水位尺及其倒影上的刻度值的中位线的平均值作为水位线;若不是成对存在,则将水位尺检测框的底边线作为水位线;其中,a为正整数,a的取值为5;
S43、根据水位尺刻度值之间的距离比值,遍历水位尺中的刻度值,并对其中的误检、漏检进行校正,得到完整的水位尺检测结果;
S44、计算步骤S43中得到的水位尺检测结果中的最小刻度到步骤S42中得到的水位线刻度之间的距离,按照距离比计算水位线的刻度值,获得水位值。
6.一种水位识别装置,其特征在于:该装置包括以下模块:
视频采集模块,用于采集水位尺所在区域视频,所述水位尺所在区域的视频包括水位尺和水位尺附近水面的图像信息;
水位尺预测模块,用于从所述水位尺所在区域视频中提取视频帧图像,利用训练好的水位尺检测网络模型对提取的图像进行目标检测,获取图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的类别及位置信息;
水位测算模块,用于根据图像中的水位尺、水位尺上的刻度值、水位尺倒影和水位尺倒影上的刻度值的类别及位置信息,测算出当前水位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210535926.5A CN114639064B (zh) | 2022-05-18 | 2022-05-18 | 一种水位识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210535926.5A CN114639064B (zh) | 2022-05-18 | 2022-05-18 | 一种水位识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114639064A true CN114639064A (zh) | 2022-06-17 |
CN114639064B CN114639064B (zh) | 2022-09-02 |
Family
ID=81953016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210535926.5A Active CN114639064B (zh) | 2022-05-18 | 2022-05-18 | 一种水位识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114639064B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082598A (zh) * | 2022-08-24 | 2022-09-20 | 北京百度网讯科技有限公司 | 文本图像生成、训练、文本图像处理方法以及电子设备 |
CN116129430A (zh) * | 2023-01-28 | 2023-05-16 | 武汉大水云科技有限公司 | 一种自适应环境水位识别方法、装置及设备 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2619444B1 (fr) * | 1987-08-13 | 1992-04-17 | France Etat Armement | Dispositif de mesure ponctuelle de la hauteur d'une masse d'eau agitee, en particulier par la houle |
CN107506798A (zh) * | 2017-08-31 | 2017-12-22 | 福建四创软件有限公司 | 一种基于图像识别的水位监测方法 |
US20180356221A1 (en) * | 2015-12-22 | 2018-12-13 | Prodrone Co., Ltd. | Water level measurement system and water level control system, and water level measurement method and water level control method using such systems |
CN109443480A (zh) * | 2018-11-02 | 2019-03-08 | 南京邮电大学 | 基于图像处理的水位标尺定位及水位测量方法 |
CN109508630A (zh) * | 2018-09-27 | 2019-03-22 | 杭州朗澈科技有限公司 | 一种基于人工智能识别水尺水位的方法 |
CN110443243A (zh) * | 2019-08-07 | 2019-11-12 | 浙江大华技术股份有限公司 | 水位监测方法、存储介质、网络设备和水位监测*** |
CN110458019A (zh) * | 2019-07-10 | 2019-11-15 | 哈尔滨工程大学 | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 |
CN110909640A (zh) * | 2019-11-11 | 2020-03-24 | 浙江大华技术股份有限公司 | 水位线的确定方法及装置、存储介质、电子装置 |
CN111223071A (zh) * | 2019-11-20 | 2020-06-02 | 智洋创新科技股份有限公司 | 基于深度学习技术的输电线路场景语义理解方法 |
CN112036409A (zh) * | 2020-08-13 | 2020-12-04 | 浙江大华技术股份有限公司 | 一种液位计的读数识别方法及装置 |
CN112215125A (zh) * | 2020-10-09 | 2021-01-12 | 武汉科技大学 | 一种基于YOLOv3的水位识别方法 |
CN112347827A (zh) * | 2019-08-06 | 2021-02-09 | 东北大学秦皇岛分校 | 一种船舶水尺自动检测方法及*** |
CN112556795A (zh) * | 2020-12-13 | 2021-03-26 | 南京宥安传感科技有限公司 | 一种基于深度学习的水位高度测量*** |
CN112729477A (zh) * | 2021-01-13 | 2021-04-30 | 南京宥安传感科技有限公司 | 一种基于深度学习的新型水位高度测量*** |
CN112766274A (zh) * | 2021-02-01 | 2021-05-07 | 长沙市盛唐科技有限公司 | 一种基于Mask RCNN算法的水尺图像水位自动读数方法及*** |
CN113971779A (zh) * | 2021-10-29 | 2022-01-25 | 中国水利水电科学研究院 | 一种基于深度学习的水尺自动读数方法 |
-
2022
- 2022-05-18 CN CN202210535926.5A patent/CN114639064B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2619444B1 (fr) * | 1987-08-13 | 1992-04-17 | France Etat Armement | Dispositif de mesure ponctuelle de la hauteur d'une masse d'eau agitee, en particulier par la houle |
US20180356221A1 (en) * | 2015-12-22 | 2018-12-13 | Prodrone Co., Ltd. | Water level measurement system and water level control system, and water level measurement method and water level control method using such systems |
CN107506798A (zh) * | 2017-08-31 | 2017-12-22 | 福建四创软件有限公司 | 一种基于图像识别的水位监测方法 |
CN109508630A (zh) * | 2018-09-27 | 2019-03-22 | 杭州朗澈科技有限公司 | 一种基于人工智能识别水尺水位的方法 |
CN109443480A (zh) * | 2018-11-02 | 2019-03-08 | 南京邮电大学 | 基于图像处理的水位标尺定位及水位测量方法 |
CN110458019A (zh) * | 2019-07-10 | 2019-11-15 | 哈尔滨工程大学 | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 |
CN112347827A (zh) * | 2019-08-06 | 2021-02-09 | 东北大学秦皇岛分校 | 一种船舶水尺自动检测方法及*** |
CN110443243A (zh) * | 2019-08-07 | 2019-11-12 | 浙江大华技术股份有限公司 | 水位监测方法、存储介质、网络设备和水位监测*** |
CN110909640A (zh) * | 2019-11-11 | 2020-03-24 | 浙江大华技术股份有限公司 | 水位线的确定方法及装置、存储介质、电子装置 |
CN111223071A (zh) * | 2019-11-20 | 2020-06-02 | 智洋创新科技股份有限公司 | 基于深度学习技术的输电线路场景语义理解方法 |
CN112036409A (zh) * | 2020-08-13 | 2020-12-04 | 浙江大华技术股份有限公司 | 一种液位计的读数识别方法及装置 |
CN112215125A (zh) * | 2020-10-09 | 2021-01-12 | 武汉科技大学 | 一种基于YOLOv3的水位识别方法 |
CN112556795A (zh) * | 2020-12-13 | 2021-03-26 | 南京宥安传感科技有限公司 | 一种基于深度学习的水位高度测量*** |
CN112729477A (zh) * | 2021-01-13 | 2021-04-30 | 南京宥安传感科技有限公司 | 一种基于深度学习的新型水位高度测量*** |
CN112766274A (zh) * | 2021-02-01 | 2021-05-07 | 长沙市盛唐科技有限公司 | 一种基于Mask RCNN算法的水尺图像水位自动读数方法及*** |
CN113971779A (zh) * | 2021-10-29 | 2022-01-25 | 中国水利水电科学研究院 | 一种基于深度学习的水尺自动读数方法 |
Non-Patent Citations (2)
Title |
---|
THOMAS HIES ETAL.: "ENHANCED WATER-LEVEL DETECTION BY IMAGE PROCESSING", 《HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/262337135》 * |
傅启凡等: "基于语义分割的水位监测方法研究", 《激光与光电子学进展》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115082598A (zh) * | 2022-08-24 | 2022-09-20 | 北京百度网讯科技有限公司 | 文本图像生成、训练、文本图像处理方法以及电子设备 |
CN116129430A (zh) * | 2023-01-28 | 2023-05-16 | 武汉大水云科技有限公司 | 一种自适应环境水位识别方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114639064B (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021238030A1 (zh) | 基于聚类分区进行刻度识别的水位监测方法 | |
CN107506798B (zh) | 一种基于图像识别的水位监测方法 | |
CN114639064B (zh) | 一种水位识别方法及装置 | |
US20210374466A1 (en) | Water level monitoring method based on cluster partition and scale recognition | |
CN108875794B (zh) | 一种基于迁移学习的图像能见度检测方法 | |
CN110223341B (zh) | 一种基于图像识别的智能水位监测方法 | |
CN111598098A (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
CN106875395A (zh) | 基于深度神经网络的超像素级sar图像变化检测方法 | |
CN113065578A (zh) | 一种基于双路区域注意力编解码的图像视觉语义分割方法 | |
CN109186706A (zh) | 一种用于城市雨洪淹没区预警的方法 | |
CN107610119B (zh) | 基于直方图分解的带钢表面缺陷精准检测方法 | |
CN114067095B (zh) | 基于水尺字符检测识别的水位识别方法 | |
CN112734729B (zh) | 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质 | |
CN107016353A (zh) | 一种变分辨率目标探测与识别一体化的方法与*** | |
CN115880571A (zh) | 一种基于语义分割的水位尺读数识别方法 | |
Xu et al. | Water level estimation based on image of staff gauge in smart city | |
CN115345859A (zh) | 隧道渗漏水图像的智能检测方法、装置、设备及存储介质 | |
CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
CN115393700A (zh) | 水位高度识别方法、装置、电子设备以及存储介质 | |
CN112884731B (zh) | 一种基于机器视觉的水位检测方法及河道监测方法 | |
CN115830514B (zh) | 一种适用于带弯曲河道的全河段表面流速计算方法及*** | |
CN117152617A (zh) | 一种城市洪涝识别方法及*** | |
CN111161264B (zh) | 一种对含有缺陷的tft电路图像的分割方法 | |
CN115578695B (zh) | 一种自由拍摄视角的水尺水位机器视觉检测方法及装置 | |
CN115984360B (zh) | 一种基于图像处理的计算干滩长度的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |