CN116259008A - 一种基于计算机视觉的水位实时监测方法 - Google Patents

一种基于计算机视觉的水位实时监测方法 Download PDF

Info

Publication number
CN116259008A
CN116259008A CN202310177500.1A CN202310177500A CN116259008A CN 116259008 A CN116259008 A CN 116259008A CN 202310177500 A CN202310177500 A CN 202310177500A CN 116259008 A CN116259008 A CN 116259008A
Authority
CN
China
Prior art keywords
water level
image
value
label
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310177500.1A
Other languages
English (en)
Inventor
王骁鹏
赵杰
华鸿鹏
姚远
朱杰杰
彭锟
时启明
张振兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202310177500.1A priority Critical patent/CN116259008A/zh
Publication of CN116259008A publication Critical patent/CN116259008A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于计算机视觉的水位实时监测方法，它包括以下步骤：步骤S1：采集若干水位标签的图像，制作水位标签数据集；步骤S2：对图像数据集进行预处理，得到畸变矫正后数据增强的数据集；步骤S3：建立U‑net卷积神经网络模型分割场景，将标签和水面进行分割，寻找标签与水面的相邻边界；步骤S4：视觉定标，计算图像像素和实际尺寸的数值对应关系；步骤S5：计算步骤S3中标签与水位边界对应的水位数值；步骤S6：考虑水波干扰，使用视频方式检测每帧视频对应的水位；步骤S7：使用步骤S6中得到的数据，使用最小方差法估计出最终预测水位。

Description

一种基于计算机视觉的水位实时监测方法
技术领域
本发明属于计算机技术领域，尤其涉及人工智能的深度学习技术领域，具体涉及一种基于计算机视觉的水位实时监测方法。
背景技术
自然灾害的发生对人类的生命财产安全和社会的经济生态发展都造成了非常大影响，其中洪水、山洪等灾害更是频频出现，而实现大坝的水位实时监测在预防这些灾害的过程中就显得格外关键了。
授权公告号为CN113390485A的专利文献公开了一种新型的水库水位测量方法，该方法利用摄像机拍摄包含标记点的水位图像，然后通过预置基于深度学习的U-net卷积神经网络算法预测出水位线并利用图像处理算法识别出标记点的像素坐标，参考标记点的相对高程和像素坐标测算出水位值。该方法这类技术非常依赖于对图像标记点的识别，所以当外界光线过于明亮时，准确测量的难度就随之增大；且该方法对于标记点的投射位置有着非常精准的要求，因此测量的准确度很难得到保证。
目前，随着神经网络在各个领域的快速发展，水位监测与神经网络的应用结合也慢慢得到发展。但是在发展初期总是会存在着各种问提需要完善。基于存在的各种问题，本文提出的基于U-net卷积神经网络的水位实时监测方法，一个监控中心可以利用多个摄像头监测多个地点，计算机自动识别摄像头水尺刻度，在水位不正常时弹出警报，监测人员可以查看摄像头画面及时报告。极大的节省了人力和缩短了安全防范的反应时间。
发明内容
本发明的目的是为了提出一种基于U-net卷积神经网络的水位实时监测方法，通过一个监控中心可以利用多个摄像头监测多个地点，计算机自动识别摄像头水尺刻度，在水位不正常时弹出警报，监测人员可以查看摄像头画面及时报告，极大的节省人力和缩短了安全防范的反应时间。
一种基于计算机视觉的水位实时监测方法，其特征在于，它包括以下步骤：
步骤S1：采集若干水位标签的图像，制作水位标签数据集；
步骤S2：对图像数据集进行预处理，得到畸变矫正后数据增强的数据集；
步骤S3：建立U-net卷积神经网络模型分割场景，将标签和水面进行分割，寻找标签与水面的相邻边界；
步骤S4：视觉定标，计算图像像素和实际尺寸的数值对应关系；
步骤S5：计算步骤S3中标签与水位边界对应的水位数值；
步骤S6：考虑水波干扰，使用视频方式检测每帧视频对应的水位；
步骤S7：使用步骤S6中得到的数据，使用最小方差法估计出最终预测水位。
在步骤S2中，包括以下子步骤：
步骤S201：由通过步骤S1采集数据集图像逐张制作成一定规格的高清照片；
步骤S202：对图像中水位标签进行畸变矫正处理；
步骤S203：将矫正处理后的数据集按一定的比例划分为训练集和测试集，利用python中的labelme工具对训练集中的图像进行标签集制作，在图像上标记处相应的标签和背景区域，将背景区域的RGB像素值设置为指定值，水位标签区域设置为指定值；
步骤S204：通过对图像进行旋转变换、透视变换和缩放裁剪的图像变形方式做数据增广，扩大训练集样本量。
在步骤S3中，包括以下子步骤：
步骤S301：建立U-net卷积神经网络模型分割场景，将步骤S2中的数据集输入到U-net模型中进行训练，区分出图像中水位标签的区域；
步骤S302：建立由图像中分割的水位标签区域，得到其底部像素位置分别为(x1，y1)、(x2，y2)...(xn，yn)，假设底部曲线为：
f曲(x)＝ax2+bx+c
利用最小二乘法算出误差最小时a、b、c的值，由此拟合出标签与水位的相邻边界曲线；
步骤S303：建立U-net卷积神经网络模型；
步骤S304：利用建立的U-net卷积神经网络模型获得分割输出结果。
在步骤S303中，所建立的U-net卷积神经网络模型为：
对图像进行编码，即进行下采样操作：利用两次same卷积进行图像的特征提取(获取特征提取层)→每次卷积后通过ReLU激活函数进行激活→进行最大池化操作压缩特征提取层(扩大全局感受视野，使特征通道数量加倍，特征提取层尺寸减小到之前的一半)→重复前面操作进行四次下采样；
对编码后的特征提取层进行解码，即进行上采样操作：对特征提取层进行两次same卷积→每次卷积后通过ReLU激活函数进行激活→进行反卷积操作扩展特征提取层(特征通道数量减少到之前的一半，特征提取层尺寸变为之前的2倍)→重复前面操作进行四次上采样→进行两次same卷积→每次卷积后通过ReLU激活函数进行激活→得到特征提取层(尺寸与输入时初次卷积相同)→使用1个指定大小的卷积核降低特征通道的数量(数量根据所需输出图片大小决定)→利用sigmoid激活函数进行预测分类→得到输入输出图像大小相同的高质量无缝分割输出结果。
在步骤4中，包括以下子步骤：
步骤S401：利用边缘检测的LoG算子检测步骤S3中分割的水位标签区域，获取水位标签上的刻度边缘和数字边缘；
步骤S402：利用边缘信息得到水尺右半部分距离顶端最近的前数个完整的‘E’区域坐标；
步骤S403：计算前数个中最后一个‘E’区域底端垂直到顶部的像素高度为H，已知前数个‘E’区域底端到顶部的实际尺寸为h，计算其比例就得到了图像像素和实际尺寸的数值对应关系为：
D＝h/H。
在步骤5中，包括以下子步骤：
步骤S501：将步骤S3中分割的水位标签区域，输入到做自然场景文本检测的EAST文本检测器中，框选出完整数字的位置；
步骤S502：将框选出的数字图像区域转化为灰度图：
gray＝r*0.3+g*0.59+b*0.11
式中r、g、b分别代表图像中三个通道对应像素点的值，gray代表灰度图片中对应像素点的灰度值；
步骤S503：使用OTSU方法对图片进行二值化：
1)假设图像的前景与背景的分割阈值为t，前景点占图像比例为w0，均值为u0，背景点占图像比例为w1，均值为u1，则整个图像的均值为：
u＝w0*u0+w1*u1
2)建立目标函数：
g(t)＝w0*(u0-u)2+w1*(u1-u)2
g(t)为分割阈值t的类间方差表达式，OTSU算法使g(t)取全局最大值，当g(t)为最大时所对应的t就是最佳阈值；
步骤S504：对二值化的图片使用MSER算法抠出连通域，得到单个分割的数字：
1)MSER基于分水岭的概念，对图像进行二值化，让二值化图像经历一个从全黑到全白的过程；
2)在过程中，有些连通区域面积随阈值上升的变化很小，这些区域就叫MSER：
Figure BDA0004101399650000031
其中Qi表示第i个连通区域的面积，Δ表示微小的阈值变化，当vi小于给定阈值时认为该区域为MSER；
步骤S505：利用KNN算法实现数字识别，定位最小数字的区域和值；
1)在高维空间中，计算点x和y的距离公式为：
Figure BDA0004101399650000032
2)通过将预测点与所有点距离进行计算，然后保存并排序，根据它距离最近的K个点是什么类别来判断预测点属于哪个类别；
步骤S506：由分割的水位标签区域，得到左右边缘像素位置，将边缘像素位置以坐标(x，y)进行表示，求出左右边缘像素点对应相同y值时，x的均值：
Figure BDA0004101399650000041
假设得到的点(x，y)满足：
f中(x)＝ax+b
再利用最小二乘法求出误差最小时的a值，由此拟合出标签区域中线；
步骤S507：联合区域底部曲线和中线：
Figure BDA0004101399650000042
/>
计算出曲线中点位置(x，y)，进而最小数字底部到水位曲线中心的垂直像素距离；
步骤S508：令最小完整数字的值为N，最小数字底部到水位曲线中心的垂直像素距离为T个像素，刻度和数值的对应关系为D，则当前水位值W计算公式如下：
W＝N*0.1-D*T。
在步骤7中，包括以下子步骤：
步骤S701：假定预测时间为t时的水位值，则取步骤S6中该时间点前一段时间内所有水位预测数据；
步骤S702：在获得的数据中，x1、x2...xn分别代表各个时间点数据，将其平均值设为未知参数x，并且将计算所得方差作为目标值y，由此可得以下函数关系：
Figure BDA0004101399650000043
S703：求方差取最小值时x的值，得到这组数据离散程度最小时的均值为x，最后将x的值作为最终预测的时间为t时的水位值。
与现有技术相比，本发明具有如下技术效果：
1)采用计算机图像处理识别和深度学习模型技术自动处理大量视频、图像文件，实现对水位智能识别和分析，从而有效提供自动监视、阈值设置、自动判断、智能告警及远程监控等服务，确保水位测量数据结果的直观性、可验证性及数据分析过程的可回溯性；
2)随着智能水位图像识别***在水文及水利等领域的应用，***的功能也在不断的完善，除具有监测功能外，还具有满足汛期运行、非汛期空闲、随时召测、数据补送、远程唤醒等功能特点。对当地水位监测防洪减灾工作的有序进行具有重大的意义。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1是本方法的流程图；
图2是水尺实物图；
图3是训练数据图像；
图4是标签数据图像；
图5是本发明中U-net卷积神经网络的网格结构示意图。
具体实施方式
一种基于计算机视觉的水位实时监测方法，如图1所示，其具体方法包括下列步骤：
S1：利用如图2所示的水尺采集大量水位标签的图像，制作水位标签数据集；
S2：采用张氏标定法和图像变形的方式对图像数据集进行预处理，得到畸变矫正后数据增强的数据集；
S3：建立U-net卷积神经网络模型分割场景，将标签和水面进行分割，寻找标签与水面的相邻边界；
S4：视觉定标，计算图像像素和实际尺寸的数值对应关系；
S5：计算S3中标签与水位边界对应的水位数值；
S6：考虑水波干扰，使用视频方式检测每帧视频对应的水位；
S7：使用S6中得到的数据，使用最小方差法估计出最终预测水位。
优选地，所述步骤S1中通过利用高清摄像头间隔性拍摄不同实况下的水位标签图像制作数据集，保证了训练数据的全面性，以达到预测时面对不同实况都有较高准确率。
优选地，所述步骤S2中具体包括：
S201：由S1采集数据集图像逐张制作成2048*1536的高清照片；
S202：利用张氏标定法对图像中水位标签进行畸变矫正处理；
S203：将矫正处理后的数据集按8：2的比例划分为训练集和测试集，利用python中的labelme工具对如图3所示的训练集中的图像进行如图4所示的标签集制作，在图像上标记处相应的标签和背景区域，将背景区域的RGB像素值设置为(0，0，0)，水位标签区域设置为(0，0，255)；
S204：通过对图像进行旋转变换、透视变换和缩放裁剪的图像变形方式做数据增广，扩大训练集样本量。
优选地，所述步骤S3具体包括：
S301：建立U-net卷积神经网络模型分割场景，将S2中的数据集输入到U-net模型中进行训练，区分出图像中水位标签的区域；
S302：由图像中分割的水位标签区域，得到其底部像素位置分别为(x1，y1)、(x2，y2)...(xn，yn)，假设底部曲线为：
f曲(x)＝ax2+bx+c
利用最小二乘法算出误差最小时a、b、c的值，由此拟合出标签与水位的相邻边界曲线；
S303：建立如图5所示的U-net卷积神经网络模型：
对图像进行编码，即进行下采样操作：利用两次same卷积进行图像的特征提取(获取特征提取层)→每次卷积后通过ReLU激活函数进行激活→进行最大池化操作压缩特征提取层(扩大全局感受视野，使特征通道数量加倍，特征提取层尺寸减小到之前的一半)→重复前面操作进行四次下采样；
对编码后的特征提取层进行解码，即进行上采样操作：对特征提取层进行两次same卷积→每次卷积后通过ReLU激活函数进行激活→进行反卷积操作扩展特征提取层(特征通道数量减少到之前的一半，特征提取层尺寸变为之前的2倍)→重复前面操作进行四次上采样→进行两次same卷积→每次卷积后通过ReLU激活函数进行激活→得到特征提取层(尺寸与输入时初次卷积相同)→使用1个指定大小的卷积核降低特征通道的数量(数量根据所需输出图片大小决定)→利用sigmoid激活函数进行预测分类→得到输入输出图像大小相同的高质量无缝分割输出结果。
优选地，所述步骤S4具体包括：
S401：利用边缘检测的LoG算子检测S3中分割的水位标签区域，获取水位标签上的刻度边缘和数字边缘；
S402：利用边缘信息得到水尺右半部分距离顶端最近的前数个完整的‘E’区域坐标；
S403：计算前数个中最后一个‘E’区域底端垂直到顶部的像素高度为H，已知前数个‘E’区域底端到顶部的实际尺寸为h(单位：m)，计算其比例就得到了图像像素和实际尺寸的数值对应关系为：
D＝h/H
优选地，所述步骤S5具体包括：
S501：将S3中分割的水位标签区域，输入到做自然场景文本检测的EAST文本检测器中，框选出完整数字的位置；
S502：将框选出的数字图像区域转化为灰度图：
gray＝r*0.3+g*0.59+b*0.11
式中r、g、b分别代表图像中三个通道对应像素点的值，gray代表灰度图片中对应像素点的灰度值。
S503：使用OTSU方法对图片进行二值化：
1)假设图像的前景与背景的分割阈值为t，前景点占图像比例为w0，均值为u0，背景点占图像比例为w1，均值为u1，则整个图像的均值为：
u＝w0*u0+w1*u1
2)建立目标函数：
g(t)＝w0*(u0-u)2+w1*(u1-u)2
g(t)为分割阈值t的类间方差表达式，OTSU算法使g(t)取全局最大值，当g(t)为最大时所对应的t就是最佳阈值。
S504：对二值化的图片使用MSER算法抠出连通域，得到单个分割的数字：
1)MSER基于分水岭的概念，对图像进行二值化，二值化阈值取(0，255)，让二值化图像经历一个从全黑到全白的过程；
2)在过程中，有些连通区域面积随阈值上升的变化很小，这些区域就叫MSER：
Figure BDA0004101399650000071
其中Qi表示第i个连通区域的面积，Δ表示微小的阈值变化，当vi小于给定阈值时认为该区域为MSER。
S505：利用KNN算法实现数字识别，定位最小数字的区域和值；
1)常见的KNN算法是利用欧氏距离计算来度量空间中点的距离，在高维空间中，计算点x和y的距离公式为：
Figure BDA0004101399650000072
2)通过将预测点与所有点距离进行计算，然后保存并排序，根据它距离最近的K个点是什么类别来判断预测点属于哪个类别。
S506：由分割的水位标签区域，得到左右边缘像素位置，将边缘像素位置以坐标(x，y)进行表示，求出左右边缘像素点对应相同y值时，x的均值：
Figure BDA0004101399650000073
假设得到的点(x，y)满足：
f中(x)＝ax+b
再利用最小二乘法求出误差最小时的a值，由此拟合出标签区域中线；
S507：联合区域底部曲线和中线：
Figure BDA0004101399650000074
计算出曲线中点位置(x，y)，进而最小数字底部到水位曲线中心的垂直像素距离；
S508：令最小完整数字的值为N(单位：dm)，最小数字底部到水位曲线中心的垂直像素距离为T个像素，刻度和数值的对应关系为D，则当前水位值W(单位：m)计算公式如下：
W＝N*0.1-D*T
优选地，所述步骤S6为：考虑水波干扰，使用视频方式测量，采集到实时水位监测视频后，并逐帧处理成图像，再使用上述S2-S5中的方法得到每帧图像的水位数值。
优选地，所述步骤S7具体包括：
S701：假定预测时间为t时的水位值，则取S6中该时间点前2s内所有水位预测数据；
S702：在这组数据中，x1、x2...xn分别代表各个时间点数据，将其平均值设为未知参数x，并且将计算所得方差作为目标值y，由此可得以下函数关系：
Figure BDA0004101399650000081
S703：求方差取最小值时x的值，得到这组数据离散程度最小时的均值为x，最后将x的值作为最终预测的时间为t时的水位值。
为了便于本领域普通技术人员的理解，进一步提供以下实施例：
在S4：视觉定标，计算图像像素和实际尺寸的数值对应关系中，具体步骤为：
S401：利用边缘检测的LoG算子检测S3中分割的水位标签区域，获取水位标签上的刻度边缘和数字边缘；
S402：利用边缘信息得到水尺右半部分距离顶端最近的前数个完整的‘E’区域坐标；
S403：计算前数个中最后一个‘E’区域底端垂直到顶部的像素高度为100px，已知前数个‘E’区域底端到顶部的实际尺寸为0.1m，计算其比例就得到了图像像素和实际尺寸的数值对应关系为：
D＝0.1/100＝1×10-3m/px
优选地，所述步骤S5具体包括：
S501：将S3中分割的水位标签区域，输入到做自然场景文本检测的EAST文本检测器中，框选出完整数字的位置；
S502：将框选出的数字图像区域转化为灰度图，然后使用OTSU方法对图片进行二值化；
S503：对二值化的图片使用MSER算法，有效地抠出连通域，得到单个分割的数字；
S504：利用KNN算法实现数字识别，定位最小数字的区域和值；
S505：由分割的水位标签区域左右边缘像素位置，拟合出区域内的中线，联合区域底部曲线和中线，可以计算出曲线中点位置，进而得到最小数字底部到水位曲线中心的垂直像素距离
S506：令最小完整数字的值为5(单位：dm)，最小数字底部到水位曲线中心的垂直像素距离为200px，刻度和数值的对应关系为D，则当前水位值W(单位：m)计算公式如下：
W＝5×0.1-1×10-3×200＝0.3m
优选地，所述步骤S6为：考虑水波干扰，使用视频方式测量，采集到实时水位监测视频后，并逐帧处理成图像，再使用上述S2-S5中的方法得到每帧图像的水位数值。
优选地，所述步骤S7具体包括：
S701：假定预测时间为t时的水位值，则取S6中该时间点前2s内所有水位预测数据；
S702：在这组数据中，假设0.2、0.3、0.2、0.5、0.3分别代表各个时间点数据，将其平均值设为未知参数x，并且将计算所得方差作为目标值y，由此可得以下函数关系：
Figure BDA0004101399650000082
S703：求得当x＝0.3时，目标值方差取得最小值，得到这组数据离散程度最小时的均值为0.3，
最后将0.3的值作为最终预测的时间为t时的水位值。
本发明采用的一种基于计算机视觉的水位实时监测方法，可以极大提高水位监测的速度和准确度，并且具有长期稳定工作的优势，不用担心后期的设备维修问题。

Claims (7)

1.一种基于计算机视觉的水位实时监测方法，其特征在于，它包括以下步骤：
步骤S1：采集若干水位标签的图像，制作水位标签数据集；
步骤S2：对图像数据集进行预处理，得到畸变矫正后数据增强的数据集；
步骤S3：建立U-net卷积神经网络模型分割场景，将标签和水面进行分割，寻找标签与水面的相邻边界；
步骤S4：视觉定标，计算图像像素和实际尺寸的数值对应关系；
步骤S5：计算步骤S3中标签与水位边界对应的水位数值；
步骤S6：考虑水波干扰，使用视频方式检测每帧视频对应的水位；
步骤S7：使用步骤S6中得到的数据，使用最小方差法估计出最终预测水位。
2.根据权利要求1所述的方法，其特征在于，在步骤S2中，包括以下子步骤：
步骤S201：由通过步骤S1采集数据集图像逐张制作成一定规格的高清照片；
步骤S202：对图像中水位标签进行畸变矫正处理；
步骤S203：将矫正处理后的数据集按一定的比例划分为训练集和测试集，利用python中的labelme工具对训练集中的图像进行标签集制作，在图像上标记处相应的标签和背景区域，将背景区域的RGB像素值设置为指定值，水位标签区域设置为指定值；
步骤S204：通过对图像进行旋转变换、透视变换和缩放裁剪的图像变形方式做数据增广，扩大训练集样本量。
3.根据权利要求1所述的方法，其特征在于，在步骤S3中，包括以下子步骤：
步骤S301：建立U-net卷积神经网络模型分割场景，将步骤S2中的数据集输入到U-net模型中进行训练，区分出图像中水位标签的区域；
步骤S302：建立由图像中分割的水位标签区域，得到其底部像素位置分别为(x1，y1)、(x2，y2)...(xn，yn)，假设底部曲线为：
f曲(x)＝ax2+bx+c
利用最小二乘法算出误差最小时a、b、c的值，由此拟合出标签与水位的相邻边界曲线；
步骤S303：建立U-net卷积神经网络模型；
步骤S304：利用建立的U-net卷积神经网络模型获得分割输出结果。
4.根据权利要求3所述的方法，其特征在于，在步骤S303中，所建立的U-net卷积神经网络模型为：
对图像进行编码，即进行下采样操作：利用两次same卷积进行图像的特征提取以获取特征提取层→每次卷积后通过ReLU激活函数进行激活→进行最大池化操作压缩特征提取层以扩大全局感受视野，使特征通道数量加倍，特征提取层尺寸减小到之前的一半→重复前面操作进行四次下采样；
对编码后的特征提取层进行解码，即进行上采样操作：对特征提取层进行两次same卷积→每次卷积后通过ReLU激活函数进行激活→进行反卷积操作扩展特征提取层使特征通道数量减少到之前的一半，特征提取层尺寸变为之前的2倍→重复前面操作进行四次上采样→进行两次same卷积→每次卷积后通过ReLU激活函数进行激活→得到特征提取层→使用1个指定大小的卷积核降低特征通道的数量→利用sigmoid激活函数进行预测分类→得到输入输出图像大小相同的高质量无缝分割输出结果。
5.根据权利要求1所述的方法，其特征在于，在步骤4中，包括以下子步骤：
步骤S401：利用边缘检测的LoG算子检测步骤S3中分割的水位标签区域，获取水位标签上的刻度边缘和数字边缘；
步骤S402：利用边缘信息得到水尺右半部分距离顶端最近的前数个完整的‘E’区域坐标；
步骤S403：计算前数个中最后一个‘E’区域底端垂直到顶部的像素高度为H，已知前数个‘E’区域底端到顶部的实际尺寸为h，计算其比例就得到了图像像素和实际尺寸的数值对应关系为：
D＝h/H。
6.根据权利要求1所述的方法，其特征在于，在步骤5中，包括以下子步骤：
步骤S501：将步骤S3中分割的水位标签区域，输入到做自然场景文本检测的EAST文本检测器中，框选出完整数字的位置；
步骤S502：将框选出的数字图像区域转化为灰度图：
gray＝r*0.3+g*0.59+b*0.11
式中r、g、b分别代表图像中三个通道对应像素点的值，gray代表灰度图片中对应像素点的灰度值；
步骤S503：使用OTSU方法对图片进行二值化：
1)假设图像的前景与背景的分割阈值为t，前景点占图像比例为w0，均值为u0，背景点占图像比例为w1，均值为u1，则整个图像的均值为：
u＝w0*u0+w1*u1
2)建立目标函数：
g(t)＝w0*(u0-u)2+w1*(u1-u)2
g(t)为分割阈值t的类间方差表达式，OTSU算法使g(t)取全局最大值，当g(t)为最大时所对应的t就是最佳阈值；
步骤S504：对二值化的图片使用MSER算法抠出连通域，得到单个分割的数字：
1)MSER基于分水岭的概念，对图像进行二值化，让二值化图像经历一个从全黑到全白的过程；
2)在过程中，有些连通区域面积随阈值上升的变化很小，这些区域就叫MSER：
Figure FDA0004101399640000031
其中Qi表示第i个连通区域的面积，Δ表示微小的阈值变化，当vi小于给定阈值时认为该区域为MSER；
步骤S505：利用KNN算法实现数字识别，定位最小数字的区域和值；
1)在高维空间中，计算点x和y的距离公式为：
Figure FDA0004101399640000032
2)通过将预测点与所有点距离进行计算，然后保存并排序，根据它距离最近的K个点是什么类别来判断预测点属于哪个类别；
步骤S506：由分割的水位标签区域，得到左右边缘像素位置，将边缘像素位置以坐标(x，y)进行表示，求出左右边缘像素点对应相同y值时，x的均值：
Figure FDA0004101399640000033
假设得到的点
Figure FDA0004101399640000034
满足：
f中(x)＝ax+b
再利用最小二乘法求出误差最小时的a值，由此拟合出标签区域中线；
步骤S507：联合区域底部曲线和中线：
Figure FDA0004101399640000035
计算出曲线中点位置(x，y)，进而最小数字底部到水位曲线中心的垂直像素距离；
步骤S508：令最小完整数字的值为N，最小数字底部到水位曲线中心的垂直像素距离为T个像素，刻度和数值的对应关系为D，则当前水位值W计算公式如下：
W＝N*0.1-D*T。
7.根据权利要求1至6其中之一所述的方法，其特征在于，在步骤7中，包括以下子步骤：
步骤S701：假定预测时间为t时的水位值，则取步骤S6中该时间点前一段时间内所有水位预测数据；
步骤S702：在获得的数据中，x1、x2...xn分别代表各个时间点数据，将其平均值设为未知参数x，并且将计算所得方差作为目标值y，由此可得以下函数关系：
Figure FDA0004101399640000036
S703：求方差取最小值时x的值，得到这组数据离散程度最小时的均值为x，最后将x的值作为最终预测的时间为t时的水位值。
CN202310177500.1A 2023-02-28 2023-02-28 一种基于计算机视觉的水位实时监测方法 Pending CN116259008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310177500.1A CN116259008A (zh) 2023-02-28 2023-02-28 一种基于计算机视觉的水位实时监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310177500.1A CN116259008A (zh) 2023-02-28 2023-02-28 一种基于计算机视觉的水位实时监测方法

Publications (1)

Publication Number Publication Date
CN116259008A true CN116259008A (zh) 2023-06-13

Family

ID=86678989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310177500.1A Pending CN116259008A (zh) 2023-02-28 2023-02-28 一种基于计算机视觉的水位实时监测方法

Country Status (1)

Country Link
CN (1) CN116259008A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994797A (zh) * 2024-04-02 2024-05-07 杭州海康威视数字技术股份有限公司 一种水尺读数方法、装置、存储介质和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994797A (zh) * 2024-04-02 2024-05-07 杭州海康威视数字技术股份有限公司 一种水尺读数方法、装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
WO2021238030A1 (zh) 基于聚类分区进行刻度识别的水位监测方法
US20210374466A1 (en) Water level monitoring method based on cluster partition and scale recognition
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN110287963B (zh) 用于综合性能试验的ocr识别方法
CN106529537A (zh) 一种数字仪表读数图像识别方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN109858480A (zh) 一种数字式仪表识别方法
CN114155527A (zh) 一种场景文本识别方法和装置
CN112991269A (zh) 一种肺部ct图像的识别分类方法
CN112381788A (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN117253024B (zh) 一种基于机器视觉的工业盐质检管控方法及***
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN116433668A (zh) 一种智能液压油管漏油检测方法
CN116453104B (zh) 液位识别方法、装置、电子设备及计算机可读存储介质
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
CN112132131A (zh) 量筒液位识别方法和装置
CN116259008A (zh) 一种基于计算机视觉的水位实时监测方法
CN117037132A (zh) 一种基于机器视觉的船舶水尺读数检测和识别方法
CN115880571A (zh) 一种基于语义分割的水位尺读数识别方法
CN116188756A (zh) 一种基于深度学习的仪表角度校正与示数识别方法
CN117315670B (zh) 一种基于计算机视觉的水表读数区域检测方法
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
CN117787690A (zh) 吊装作业安全风险识别方法及识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination