CN115797411B - 一种利用机器视觉在线识别水电站电缆桥架形变的方法 - Google Patents

一种利用机器视觉在线识别水电站电缆桥架形变的方法 Download PDF

Info

Publication number
CN115797411B
CN115797411B CN202310063284.8A CN202310063284A CN115797411B CN 115797411 B CN115797411 B CN 115797411B CN 202310063284 A CN202310063284 A CN 202310063284A CN 115797411 B CN115797411 B CN 115797411B
Authority
CN
China
Prior art keywords
frame
cable bridge
video image
hydropower station
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310063284.8A
Other languages
English (en)
Other versions
CN115797411A (zh
Inventor
朱钊
梁波
乐零陵
熊曼妮
谌睿
崔磊
刘亚青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang Institute of Survey Planning Design and Research Co Ltd
Original Assignee
Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang Institute of Survey Planning Design and Research Co Ltd filed Critical Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority to CN202310063284.8A priority Critical patent/CN115797411B/zh
Publication of CN115797411A publication Critical patent/CN115797411A/zh
Application granted granted Critical
Publication of CN115797411B publication Critical patent/CN115797411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/20—Hydro energy

Landscapes

  • Image Analysis (AREA)

Abstract

本发明采用的技术方案是：一种利用机器视觉在线识别水电站电缆桥架形变的方法，包括以下步骤：连续获取待测水电站电缆桥架指定位置的视频图像；对视频图像的视频帧进行滤波处理；采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域;根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标，基于每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量。本发明能够实现无传感器、无接触、实时在线的电缆桥架形变状态监测。

Description

一种利用机器视觉在线识别水电站电缆桥架形变的方法
技术领域
本发明属于水利水电及人工智能技术领域，具体涉及一种利用机器视觉在线识别水电站电缆桥架形变的方法。
背景技术
在水电站中，电缆桥架是电缆敷设的载体，是各***间电缆联系通道的重要组成部分。电缆桥架由于布置在水电站大坝、发电机机坑的特定区域，距离震源近，或者电缆敷设工艺不到位造成局部电缆堆积引起桥架荷载不均，以及早期电缆桥架材质上刚度、强度以及稳定性不足，特别是焊接固定部位，在长期运行过程中产生严重锈蚀，这些极易引起电缆桥架局部形变严重，进而折断，最终导致电缆坠落、甚至整体垮塌，必将引起***瘫痪、机组停机等重大事故。
电缆桥架的这些变化具有一定的隐蔽性和趋势性，在实际的日常运行中很难被运行人员发现，很多重点部位电缆桥架布置在很高的楼板下方，或者高且狭小的电缆竖井内，由于运行空间的限制而无法有效巡视，因此成为电站、电厂日常运行维护工作的难点，这些变化通过日积月累容易导致各种隐患产生。
水电站内，多层电缆桥架其他***管线一同布置在楼板下方、机坑内，或者布置到独立电缆空间，如电缆夹层、电缆竖井内，布置空间拥挤、狭小，同时，考虑到整体美观，使电缆桥架的布置具有一定隐蔽性，巡检难度大，在复杂工况下桥架变形难以发现和识别，目前没有行之有效的监测手段，往往是对于有缺陷的部件定期修复或者整体更换，对于变形趋势没有有效预测手段。
发明内容
本发明的目的就是为了解决上述背景技术存在的不足，提供一种利用机器视觉在线识别水电站电缆桥架形变的方法，可对水电站重点部位电缆桥架进行识别和测量，对电缆桥架形变趋势分析，从而实现无传感器、无接触、实时在线的电缆桥架形变状态监测，能有效地获得电缆桥架的运行状态，避免形变变化量突破承受限值的危险情况发生，***装置简洁、成本低，具有十分显著的社会效益和经济效益。
本发明采用的技术方案是：一种利用机器视觉在线识别水电站电缆桥架形变的方法，包括以下步骤：
连续获取待测水电站电缆桥架指定位置的视频图像；
对视频图像的视频帧进行滤波处理；
采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域;
根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标，基于每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量。
上述技术方案中，还包括以下步骤：基于获得的不同帧所对应帧的水电站电缆桥架的形变量，采用自适应动量估计方法训练神经网络，提取水电站电缆桥架当前形变量的变化趋势。
上述技术方案中，还包括以下步骤：实时计算每帧图像对应帧的水电站电缆桥架的形变量，并与设定阈值进行比较；基于比较结果选择是否发出预警信号。
上述技术方案中，对视频图像的视频帧进行滤波处理的过程包括：采用线性Kalman滤波器对视频图像的视频帧进行运动补偿，对采集的水电站电缆桥架指定位置的图像基于Kalman滤波进行时间更新和测量更新，得到稳定的帧位置信号，从而实现滤波处理。
上述技术方案中，采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域的过程包括：
选择近似阈值
Figure SMS_1
作为阈值初值，对图像上所有位置的灰度值取加权平均；
基于阈值初值将图像分割为两部分，图像中像素灰度值大于阈值初值
Figure SMS_3
的部分记为/>
Figure SMS_6
，小于阈值初值/>
Figure SMS_9
的部分记为/>
Figure SMS_4
，然后分别对两个区域/>
Figure SMS_7
和/>
Figure SMS_8
的灰度值取加权平均，得到其灰度均值/>
Figure SMS_10
和/>
Figure SMS_2
后，对其取平均作为新的分割阈值/>
Figure SMS_5
；
基于分割阈值
Figure SMS_12
将前述图像再次分割为两部分，图像中像素灰度值大于阈值初值
Figure SMS_17
的部分记为/>
Figure SMS_22
，小于阈值初值/>
Figure SMS_14
的部分记为/>
Figure SMS_16
，重新计算两个区域/>
Figure SMS_19
和/>
Figure SMS_21
的灰度均值/>
Figure SMS_11
和/>
Figure SMS_15
，将其与/>
Figure SMS_18
和/>
Figure SMS_20
进行比较，若值分别相同，则阈值为/>
Figure SMS_13
，若不相同重复此步骤;
依此循环反复，直至两个区域的灰度均值不再因为分割阈值取值的不同而发生变化，则该分割阈值为计算得到二值图像的分割阈值；
利用分割阈值获取所述水电站电缆桥架及其室外环境背景图像的二值图像；室外环境背景的图像为白色，水电站电缆桥架的颜色为黑色；判定黑色区域为水电站电缆桥架，将其用矩形框标出，得到目标区域。
上述技术方案中，根据每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量的过程包括：
连续的不同帧视频图像中目标区域不同顶点坐标为
Figure SMS_23
；其中，n表示顶点的个数，i表示视频图像帧数索引；
水电站电缆桥架在第i个帧数对应帧的中心形变量
Figure SMS_24
和总体形变量/>
Figure SMS_25
采用下式计算：
Figure SMS_26
。
上述技术方案中，根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标的过程包括：定义核函数为空间中任一点到某一中心之间欧氏距离的单调函数；将前一帧的视频图像的目标区域的大小设置为核函数的带宽；将每个帧视频图像中所有像素值平均分为若干个区间，形成每个帧视频图像相应的若干个特征值；计算每个区间根据值域的大小分别对应的特征值；计算每个特征值的概率；在下一帧视频图像中寻找可能包含待测量对象的候选目标区域，并将候选目标区域质心坐标作为核函数的中心坐标，对该候选目标区域计算特征概率密度分布；根据候选目标区域的特征概率密度分布，计算候选目标区域与前一帧目标区域的相似度，得到候选目标区域的Meanshift向量；将前一帧中目标区域的中心位置作为搜索窗口的中心，不断迭代所述Meanshift向量，找到相似度最大的候选目标区域，作为下一帧的目标区域。
本发明的有益效果是：本发明针对水电站电缆桥架的某些重点的一段或者多段桥架形变现象提出的一种基于机器视觉和人工智能算法的高精度、在线识别其状态的方法。通过机器视觉的图像滤波技术、图像二值化方法和Meanshift目标追踪方法高精度识别两个方向上的位移，从而识别电缆桥架的形变状态，当发生超过安全系数范围内最小限值（预警阙值）的位移发生时，发出预警。进一步地，还可以基于输出的电缆桥架在不同时刻的形变值构成历史数据库，采用自适应动量估计方法训练神经网络，挖掘海量数据中蕴含的有效信息，对电缆桥架的形变状态趋势进行预测，发出相关的预警、预报或检修提示。本发明可对水电站重点部位电缆桥架进行识别和测量，对电缆桥架形变趋势分析，从而实现无传感器、无接触、实时在线的电缆桥架形变状态监测，能有效地获得电缆桥架的运行状态，避免形变变化量突破承受限值的危险情况发生，***装置简洁、成本低，具有十分显著的社会效益和经济效益。
附图说明
图1为本发明的流程示意图；
图2为本发明的***模块连接示意图；
图3为本发明的应用场景示意图。
其中，1-电缆桥架，2-工业相机，3-参照标尺。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。
如图1所示，本发明提供了一种利用机器视觉在线识别水电站电缆桥架形变的方法，包括以下步骤：
连续获取待测水电站电缆桥架指定位置的视频图像；
对视频图像的视频帧进行滤波处理；
采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域;
根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标，基于每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量。
基于获得的不同帧所对应帧的水电站电缆桥架的形变量，采用自适应动量估计方法训练神经网络，提取水电站电缆桥架当前形变量的变化趋势；
实时计算每帧图像对应帧的水电站电缆桥架的形变量，并与设定阈值进行比较；基于比较结果选择是否发出预警信号。
本发明提出的一种利用机器视觉在线识别水电站电缆桥架形变的方法，如图2所示，实现***主要有光学***、图像采集模块、图像处理***、预警等状态输出交互界面，以水电站电缆桥架形变的机器视觉及AI识别为例，本发明的***主要分解及设备功能介绍如下：
（1）工业级相机（单目或多目）
可选择面阵相机或线阵相机，对本具体实施例多段电缆桥架、需要全局图像进行分布和趋势分析时，选用面阵相机。在识别特定水电站电缆桥架变化的情景下，可选用黑白相机，当需要用颜色辅助识别时，选用彩色相机。相机分辨率根据实际图像幅宽与精度要求计算，本具体实施例要求高精度识别水电站电缆桥架各个边界点的坐标变化，因此选择较高分辨率1920像素×1080像素。本具体实施例为长期状态监测，帧率可选用低帧率如1fps。由于本具体实施例相机一般位置固定，因此镜头采用定焦、固定光圈。本具体实施例中在的电缆桥架的端部外侧固定设置X方向和Y方向分布标尺。相机在拍摄电缆桥架的端部的同时，同步获取标尺的图像，标尺用于实现电缆桥架位移的参照作用。
（2）专用光源
专用光源是考虑识别水电站电缆桥架对象所在环境光线不足时的必要补充光源。光源配置照明控制器，根据现场环境调节光源亮度。
（3）图像采集卡
用于上述工业级相机镜头获取的图像采集和预处理，数据接口根据分辨率和帧率决定传输带宽，结合传输距离可选择USB3.0、Camera Link或GigE接口。本具体实施例选择USB3.0接口。
（4）机器识别及AI算法处理单元
用于执行利用机器视觉在线识别水电站电缆桥架形变的方法程序。对于水电站电缆桥架的外形轮廓进行高精度识别，在图像滤波技术、图像二值化方法应用后，可识别电缆桥架的形状变化及幅值，包括水平、垂直两个方向上的位移。通过相机帧率及时间间隔，获得电缆桥架变形、位移等状态趋势。
（5）预警装置
用于当发生超过安全系数范围内电缆桥架形变最小限值（预警阙值）的位移或变化量时，发出预警信号。预警信号包括指示灯信号以及图像信号，根据形变位移量情况分3级报警，分别为轻度位移，中度位移以及重度位移。轻度位移情况蓝色指示灯亮并在识别出的形变位置显示蓝色区域；中度位移情况黄色指示灯亮并在识别出的形变位置显示黄色区域；重度泄露情况红色指示灯亮并在识别出的形变位置显示红色区域。
预警装置设置远程数据采集终端，将测量的形变报警信息以及状态趋势信息传送至远方计算机监控***。
（6）趋势状态输出显示装置
用于输出上述在特征标记点识别和时间参数分析下的水电站电缆桥架形变、位移等状态趋势。
（7）网络传输装置
用于将本地图像处理***内的图形和视频信息以及报警预警信息通过有线网络传输或者无线网络传输的方式传输至远方计算机监控***。
（8）电源及控制电缆
用于连接上述设备的动力电缆接入和控制电缆连接。
以布置在大坝、出线电缆井道中的水电站电缆桥架新形变状态的机器视觉及AI识别为例（其他场景电缆桥架形变状态机器视觉识别方法同理类推），本发明专利的主要原理及流程如下：
本例三峡电站大坝电缆竖井垂直高差达100米，桥架层数多，局部达到6层以上，大坝、电站廊道内电缆桥架长度也超过200米，局部达到8层，部分电缆长度近200~300米，如果出现局部电缆桥架变形，引起电缆坠落，或者桥架、电缆整体垮塌，必将造成重大安全事故。
对于水平电缆桥架直线段标准长度一般为2000mm，电缆桥架支、吊架跨距为1500mm，桥架边高通常60~100mm，电缆桥架内设置有横担，横担间距一般230~300mm，电缆水平铺设在桥架内，在拐弯、衔接处进行固定，在此条件下，钢制电缆桥架能承受的额定均布荷载不小于1500N/m(不包括电缆桥架及附件自重)，其挠度值不大于4.5mm，电缆桥架能承受短暂上人时900N的附加集中荷载，其挠度值不大于7.1mm。支、吊架的单侧或双侧托臂在水平、垂直、倾斜承受额定负载时的最大挠度值与其支吊架本身长度之比不大于1/100。通过机器视觉，对于水平布置电缆桥架，最大形变量5mm左右均可以精准识别，精确度满足电缆桥架的形变识别要求。
具体实施实例如下：
如图3所示，首先在布置在大坝、出线电缆井道中的水电站电缆桥架处设置机器视觉光学***，使其在X轴和Y轴两个方向上的图像在标定相机视域范围内。对应相机镜头图像范围，设置LED光源补光，满足现场高清晰成像的照度要求。相机为工业级，1920像素×1080像素，选用1fps帧率。采用图像采集卡用于上述工业级相机镜头获取的图像采集和预处理，数据接口根据上述分辨率和帧率所决定传输带宽选择USB3.0接口。
采用相机***对电缆桥架进行高质量成像后，需要进行图像滤波技术、图像二值化方法应用后，识别并测量布置在大坝、出线电缆井道中的水电站电缆桥架的变化及幅值，包括水平、垂直两个方向上的位移或形变，通过相机帧率及时间间隔，以△X,x/week、△Y,y/week或△X,y/month、△Y,y/month输出。
最后基于输出的电缆桥架在不同时刻的形变值构成历史数据库，采用自适应动量估计方法训练神经网络，挖掘海量数据中蕴含的有效信息，对电缆桥架的形变状态趋势进行预测和趋势分析，发出相关的预警、预报或检修提示。
对视频图像的视频帧进行滤波处理的过程包括：采用线性Kalman滤波器对视频图像的视频帧进行运动补偿，对采集的水电站电缆桥架指定位置的图像基于Kalman滤波进行时间更新和测量更新，得到稳定的帧位置信号，从而实现滤波处理。
首先负责及时向前推算当前视频帧状态变量和误差协方差估计的值，以便为当前时间状态构造先验估计，后者负责反馈，进而将视频帧的先验估计和新的实际测量值结合以而构造改进的后验估计。
此过程亦可成为预估和校正过程，数学原理表示如下：
Figure SMS_27
（1）/>
Figure SMS_28
（2）
Figure SMS_29
（3）
Figure SMS_30
（4）
Figure SMS_31
（5）
式（1）表示Kalman滤波的状态预测方程，式（2）表示Kalman滤波在预测状态下的协方差方程，式（3）表示Kalman滤波的滤波增益方程，式（4）表示Kalman滤波的状态最优化估计方程，式（5）表示Kalman滤波状态最优化估计的协方差方程。利用Kalman滤波首先对采集的电缆桥架的平滑时，其主要步骤是：首先根据公式（3）计算测量更新的Kalman增益
Figure SMS_32
，然后假定初值/>
Figure SMS_33
和/>
Figure SMS_34
，并结合在k时刻的实际测量值/>
Figure SMS_35
和公式（4），对于k时刻估计状态的后验估计/>
Figure SMS_36
进行递推计算，最后根据式（5）对估计状态的后验协方差/>
Figure SMS_37
进行计算。
由于图像中主要包含水电站电缆桥架及其室外环境背景两种颜色类型的图形，因此可以采用将获取的非二值图像转化为二值图像的方法提取电缆桥架的外轮廓。迭代阈值选择算法的具体实施步骤为：
1）先选择近似阈值
Figure SMS_38
作为初值，其计算方式为对前述紧固螺栓及固定部位图像上所有位置的灰度值取加权平均/>
Figure SMS_39
，/>
Figure SMS_40
表示图像上的所有像素点，/>
Figure SMS_41
表示第n个像素点上的灰度值，/>
Figure SMS_42
表示像素点在图像上的位置。
2）基于阈值初值将前述图像分割为两部分，图像中像素灰度值大于阈值初值
Figure SMS_45
的部分记为/>
Figure SMS_46
，小于阈值初值/>
Figure SMS_49
的部分记为/>
Figure SMS_44
，然后分别对两个区域/>
Figure SMS_47
和/>
Figure SMS_50
的灰度值取加权平均，得到其灰度均值/>
Figure SMS_51
和/>
Figure SMS_43
后，对其次取平均作为新的分割阈值/>
Figure SMS_48
，其中：
Figure SMS_52
。
3）基于分割阈值
Figure SMS_54
将前述图像再次分割为两部分，图像中像素灰度值大于阈值初值/>
Figure SMS_59
的部分记为/>
Figure SMS_61
，小于阈值初值/>
Figure SMS_56
的部分记为/>
Figure SMS_58
，根据上式重新计算两个区域/>
Figure SMS_60
和/>
Figure SMS_62
的灰度均值/>
Figure SMS_53
和/>
Figure SMS_57
，将其与/>
Figure SMS_63
和/>
Figure SMS_64
进行比较，若值分别相同，则阈值为/>
Figure SMS_55
，若不相同重复此步骤。
4）依此类推，循环反复，直至两个区域的灰度均值不再因为分割阈值取值的不同而发生变化，则该分割阈值为计算得到二值图像的分割阈值。即若
Figure SMS_65
，则
Figure SMS_66
。r表示迭代次数。
利用分割阈值获取所述水电站电缆桥架及其室外环境背景图像的二值图像；室外环境背景的图像为白色，水电站电缆桥架的颜色为黑色；判定黑色区域为水电站电缆桥架，将其用矩形框标出，得到目标区域。
然后结合Meanshift目标追踪方法对水电站电缆桥架的变化状态进行检测。首先，将核函数（一般意义上为某种沿径向对称的标量函数）作用于该区域。本发明采用的方法将核函数
Figure SMS_67
定义为空间中任一点/>
Figure SMS_68
到某一中心/>
Figure SMS_69
之间欧氏距离的单调函数，可记作
Figure SMS_70
。进一步地，将目标区域（目标框）的大小设置为核函数的带宽/>
Figure SMS_71
。同时，将视频帧中所有像素值平均分为n个区间，此时该视频帧中特征值的总数/>
Figure SMS_72
。由于每个区间根据值域的大小可分别对应其中一个特征值，因为需要计算每个特征值u的概率，计算方法如式（6）所示：
Figure SMS_73
（6）
式中，C表示目标模型的归一化常数，δ（） 为kronecker data函数，用于判断该区域内的像素值是否与该特征值相等。xi表示每个区间任一像素，u表示特征值；b(xi)函数的作用是判断目标区域中像素xi处的像素值是否属于第u个单元 。然后，在后一帧中寻找可能包含视觉特征标志物（电缆桥架）的目标框，并将其目标框质心坐标作为核函数的中心坐标，基于此对该目标框计算特征概率密度分布。
若候选目标框区域的中心坐标为y，则候选区域的概率分布可根据（7）进行计算：
Figure SMS_74
（7）
式中，
Figure SMS_75
表示候选区域的归一化常数。基于目标框和候选区域，选取巴氏系数（Bhattacharyya)作为相似性函数，以度量目标与候选目标直方图之间的相似性，具体表示为：
Figure SMS_76
（8）
根据上式可判断候选区域与目标区域的相似度，
Figure SMS_77
的数值越大，表明目标模型和候选模型越相似。进一步地，可得出目标区域的Meanshift向量如式（9）所示：
Figure SMS_78
（9）。
最后，将前一帧中目标框的中心位置作为搜索窗口的中心，不断迭代 Meanshift向量，进而找到使得相似函数最大的候选区域，即为当前帧中目标框的位置，计算存储该次目标像素坐标。
基于上述方法，首先根据检测到的前景目标图像，采用前述基于迭代阈值选择算法的图像二值化方法对得到水电站电缆桥架不同顶点的坐标
Figure SMS_79
，然后基于Meanshift目标追踪方法获取发生变化后的对应顶点的坐标/>
Figure SMS_80
,k=1,2,...,n，其中，n表示顶点的个数，i表示摄像头拍摄的图像帧数索引。桥架中心点的偏移，以及其边界任意一个点位置的变化都可以被判定为桥架的形变，因此本发明定义了水电站电缆桥架的中心形变量/>
Figure SMS_81
和总体形变量/>
Figure SMS_82
作为发出预警信号的判别依据，具体可根据公式（10）分别进行计算：
Figure SMS_83
（10）。
本申请还可以通过识别不同帧视频图像中目标区域在水平、垂直两个方向上的位移或形变，进行等比换算得到电缆桥架实际的形变和位移大小。
若在前后两帧视频图像中目标区域的4个顶点位移的方向和大小相同，则判定电缆桥架只发生了位移，电缆桥架的位移量为4个顶点的位移量。
若前后两帧视频图像中目标区域的4个顶点位移的的方向和大小不同，则判定电缆桥架发生了形变和位移，4个顶点位移量的平均值即为母线的位移量。
进一步地，基于获得的水电站电缆桥架的形变大小历史数据，采用自适应动量估计方法训练神经网络，进而根据不算实时跟新的水电站电缆桥架的形变数据提取水电站电缆桥架当前形变量的变化趋势。
传统的深度学***均，采用稍大的学***均计算梯度和平方梯度，并调整移动平均值的更新步伐大小，在实际中的效果优于其他方法。其计算过程如下：
步骤1:初始化参数，一阶矩估计值
Figure SMS_84
和二阶矩估计值/>
Figure SMS_85
。
步骤2:在第t次迭代中，计算目标函数的梯度
Figure SMS_86
，/>
Figure SMS_87
表示待更新的参数，/>
Figure SMS_88
表示函数梯度。
步骤3:计算Momentum指数加权平均数
Figure SMS_89
，/>
Figure SMS_90
表示一阶矩估计的指数衰减率。
步骤4:用RMSprop更新参数
Figure SMS_91
，/>
Figure SMS_92
表示二阶矩估计的指数衰减率。
步骤5:计算修正偏差
Figure SMS_93
：/>
Figure SMS_94
。
步骤6:更新权重
Figure SMS_95
，α为学习率，需要手动调整。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (4)

1.一种利用机器视觉在线识别水电站电缆桥架形变的方法，其特征在于：包括以下步骤：
连续获取待测水电站电缆桥架指定位置的视频图像；
对视频图像的视频帧进行滤波处理；
采用基于迭代阈值选择算法将滤波后的视频图像二值化，并针对第一帧视频图像将其中水电站电缆桥架作为目标标志物采用矩形框标出，作为目标区域：
选择近似阈值T0作为初值，对图像上所有位置的灰度值取加权平均；
基于阈值初值将图像分割为两部分，图像中像素灰度值大于阈值初值T0的部分记为P1 1，小于阈值初值T0的部分记为
Figure FDA0004153994980000011
然后分别对两个区域P1 1和/>
Figure FDA0004153994980000012
的灰度值取加权平均，得到其灰度均值/>
Figure FDA0004153994980000013
和/>
Figure FDA0004153994980000014
后，对其次取平均作为新的分割阈值T1；
基于分割阈值T1将前述图像再次分割为两部分，图像中像素灰度值大于阈值初值T1的部分记为P1 2，小于阈值初值T1的部分记为
Figure FDA0004153994980000015
根据上式重新计算两个区域P1 2和/>
Figure FDA0004153994980000016
的灰度均值/>
Figure FDA0004153994980000017
和/>
Figure FDA0004153994980000018
将其与/>
Figure FDA0004153994980000019
和/>
Figure FDA00041539949800000110
进行比较，若值分别相同，则阈值为T1，若不相同重复此步骤；
依此循环反复，直至两个区域的灰度均值不再因为分割阈值取值的不同而发生变化，则该分割阈值为计算得到二值图像的分割阈值；
利用分割阈值获取所述水电站电缆桥架及其室外环境背景图像的二值图像；室外环境背景的图像为白色，水电站电缆桥架的颜色为黑色；判定黑色区域为水电站电缆桥架，将其用矩形框标出，得到目标区域；
根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标，基于每帧视频图像中目标区域的顶点坐标计算得到水电站电缆桥架的形变量：
连续的不同帧视频图像中目标区域不同顶点坐标为
Figure FDA00041539949800000111
其中，n表示顶点的个数，i表示视频图像帧数索引；
水电站电缆桥架在第i个帧数对应帧的中心形变量Doi和总体形变量Dai采用下式计算：
Figure FDA0004153994980000021
Figure FDA0004153994980000022
基于获得的不同帧所对应帧的水电站电缆桥架的形变量，采用自适应动量估计方法训练神经网络，提取水电站电缆桥架当前形变量的变化趋势。
2.根据权利要求1所述的一种方法，其特征在于：还包括以下步骤：实时计算每帧图像对应帧的水电站电缆桥架的形变量，并与设定阈值进行比较；基于比较结果选择是否发出预警信号。
3.根据权利要求1所述的一种方法，其特征在于：对视频图像的视频帧进行滤波处理的过程包括：采用线性Kalman滤波器对视频图像的视频帧进行运动补偿，对采集的水电站电缆桥架指定位置的图像基于Kalman滤波进行时间更新和测量更新，得到稳定的帧位置信号，从而实现滤波处理。
4.根据权利要求1所述的一种方法，其特征在于：根据第一帧视频图像中目标区域的顶点坐标和后续帧数的视频图像，采用Meanshift目标追踪方法计算得到后续帧视频图像中目标区域的顶点坐标的过程包括：定义核函数为空间中任一点到某一中心之间欧氏距离的单调函数；将前一帧的视频图像的目标区域的大小设置为核函数的带宽；将每个帧视频图像中所有像素值平均分为若干个区间，形成每个帧视频图像相应的若干个特征值；计算每个区间根据值域的大小分别对应的特征值；计算每个特征值的概率；在下一帧视频图像中寻找可能包含待测量对象的候选目标区域，并将候选目标区域质心坐标作为核函数的中心坐标，对该候选目标区域计算特征概率密度分布；根据候选目标区域的特征概率密度分布，计算候选目标区域与前一帧目标区域的相似度，得到候选目标区域的Meanshift向量；将前一帧中目标区域的中心位置作为搜索窗口的中心，不断迭代所述Meanshift向量，找到相似度最大的候选目标区域，作为下一帧的目标区域。
CN202310063284.8A 2023-01-17 2023-01-17 一种利用机器视觉在线识别水电站电缆桥架形变的方法 Active CN115797411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310063284.8A CN115797411B (zh) 2023-01-17 2023-01-17 一种利用机器视觉在线识别水电站电缆桥架形变的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310063284.8A CN115797411B (zh) 2023-01-17 2023-01-17 一种利用机器视觉在线识别水电站电缆桥架形变的方法

Publications (2)

Publication Number Publication Date
CN115797411A CN115797411A (zh) 2023-03-14
CN115797411B true CN115797411B (zh) 2023-05-26

Family

ID=85429819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310063284.8A Active CN115797411B (zh) 2023-01-17 2023-01-17 一种利用机器视觉在线识别水电站电缆桥架形变的方法

Country Status (1)

Country Link
CN (1) CN115797411B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309672B (zh) * 2023-05-23 2023-08-01 武汉地震工程研究院有限公司 一种基于led标靶的夜间桥梁动挠度测量方法与装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818571B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 基于深度学习网络和均值漂移的船只自动跟踪方法及***
CN108596129B (zh) * 2018-04-28 2022-05-06 武汉盛信鸿通科技有限公司 一种基于智能视频分析技术的车辆越线检测方法
CN109919053A (zh) * 2019-02-24 2019-06-21 太原理工大学 一种基于监控视频的深度学习车辆停车检测方法
CN110211160B (zh) * 2019-05-30 2022-03-25 华南理工大学 一种基于改进Camshift算法的人脸跟踪方法
WO2022040846A1 (zh) * 2020-08-24 2022-03-03 华为技术有限公司 一种优化运动矢量的方法及其相关设备
CN113034397B (zh) * 2021-03-30 2024-03-12 北京中科通量科技有限公司 一种实时多环境自适应轨迹自动溯源的高空抛物检测方法
CN114862904B (zh) * 2022-03-21 2023-12-12 哈尔滨工程大学 一种水下机器人的孪生网络目标连续跟踪方法
CN115471501B (zh) * 2022-10-31 2023-10-13 长江勘测规划设计研究有限责任公司 利用机器视觉在线识别发电机气隙分布状态的方法及***
CN115511880A (zh) * 2022-11-07 2022-12-23 长江勘测规划设计研究有限责任公司 一种利用机器视觉识别测量两轴振动幅值和频率的方法

Also Published As

Publication number Publication date
CN115797411A (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
KR102129893B1 (ko) 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템
CN110310255B (zh) 基于目标检测和图像处理的转辙机缺口检测方法
CN113744270A (zh) 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN110458157B (zh) 一种电力电缆生产过程智能监控***
CN113052876B (zh) 一种基于深度学习的视频接力跟踪方法及***
CN111781113B (zh) 一种粉尘网格化定位方法及粉尘网格化监测方法
CN115333678B (zh) 一种无人船水质监测数据传输方法及***
CN113345019A (zh) 一种输电线路通道隐患目标测距方法、设备及介质
CN107292879B (zh) 一种基于图像分析的金属板材表面异常检测方法
CN111626169B (zh) 一种基于图像的铁路危险落石尺寸判断方法
CN115797411B (zh) 一种利用机器视觉在线识别水电站电缆桥架形变的方法
CN115035182B (zh) 一种山区滑坡灾害预警方法及***
CN114898319B (zh) 基于多传感器决策级信息融合的车型识别方法及***
CN111967323B (zh) 一种基于深度学习算法的电力带电作业安全检测方法
CN114812403A (zh) 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法
CN114549440A (zh) 接触网动态几何参数检测方法、装置及电子设备
CN114049320A (zh) 一种基于图片相似度的器件缺失ai质检方法与装置
CN115808129B (zh) 一种机器视觉识别发电机母线位移和形变的方法
CN104751487A (zh) 一种基于彩色rgb三平面色变帧差的运动目标检测方法
CN116110006B (zh) 一种用于智慧旅游***的景区游客异常行为识别方法
CN103729644B (zh) 地基光测设备克服恒星穿越探测窗口干扰的卫星跟踪方法
CN109285187A (zh) 一种基于道路监控视频图像的最远可见点检测方法
CN115984360B (zh) 一种基于图像处理的计算干滩长度的方法及***
CN115240394B (zh) 一种变电站事故油池水位监测预警方法及***
CN115493740B (zh) 利用机器视觉测量水轮机内部流道压力脉动的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant