CN112727705A - 风力发电机组桨叶监测探伤方法 - Google Patents
风力发电机组桨叶监测探伤方法 Download PDFInfo
- Publication number
- CN112727705A CN112727705A CN202011544911.2A CN202011544911A CN112727705A CN 112727705 A CN112727705 A CN 112727705A CN 202011544911 A CN202011544911 A CN 202011544911A CN 112727705 A CN112727705 A CN 112727705A
- Authority
- CN
- China
- Prior art keywords
- image
- blade
- point
- camera
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 230000007547 defect Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 239000004576 sand Substances 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 24
- 230000007797 corrosion Effects 0.000 claims description 16
- 238000005260 corrosion Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 241000226585 Antennaria plantaginifolia Species 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000003071 parasitic effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004804 winding Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003365 glass fiber Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 208000025274 Lightning injury Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Development (AREA)
- Sustainable Energy (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种风力发电机组桨叶监测探伤方法,针对无人机对风机桨叶采集图像的特点,使用了无人机相机标定方法、快速自适应加权中值滤波算法、图像增强算法、桨叶表面故障特征提取与选择、桨叶表面故障分类监测与识别,并将其嵌入到人机交互平台中。该平台经过在线及离线测试,可以实现砂眼,裂纹和剥皮等缺陷的自动识别与监测,且准确率可以达到90%以上,相对于传统监测手段和其他监测算法具有较高的准确率与较好的算法稳定性,为风力发电机桨叶的无损监测提供了新的途径。
Description
技术领域
本发明涉及图像处理技术领域,具体是一种风力发电机组桨叶监测探伤方法。
背景技术
风力发电机中桨叶是风机捕捉风能的关键部件,桨叶的故障排除时间在整个风机故障排除时间中占比最高。由于风场主要分布在城市的远郊、近海以及戈壁等地理环境和气候环境十分复杂的风能储备地,因此风力发电机桨叶也不可避免受到飓风、盐雾等各种灾害天气的冲击;桨叶表面不可避免的受到各种媒介的伤害而形成各种缺陷损伤。如果这些小的缺陷损伤不被及时关注和处理,经过不断积累就会形成大的故障,最终演变成严重的事故。
通过对桨叶定期常规监测的结果统计发现,桨叶表面缺陷主要有:风机安装前期出现的斑点和擦痕,风机安装中、后期出现的砂眼、裂纹、边缘腐蚀和开裂、表面涂层脱落以及恶劣天气下的雷击损伤和桨叶结冰;一般情况下,斑点、擦痕、砂眼和裂纹是风机桨叶普遍存在的缺陷,大面积的斑点和砂眼聚集就会形成危害性大大增加的麻面。这类麻面如遇雷雨天气,由于静电灰多、湿度大造成导电性增强,极易引来雷击;如遇高温、大风等天气,麻面处凹陷部分的玻璃纤维就会迅速风化形成脆裂层。两种情况都会造成桨叶的严重损坏,甚至出现风机停机检修的情况。
使用基于振动传感器、声发射传感器、应变传感器和超声传感器的风机桨叶表面监测和缺陷识别***,结合到桨叶上的压电陶瓷传感器片来激励桨叶的振动响应,并通过透射函数、谐振比较、操作失真形状和波传播等多种方法来对桨叶的损伤进行监测,上述监测探伤的精度、速度和安全性等方面受到限制,且监测探伤存在效率低下、结果不够可靠、危险性高和成本高等技术问题。
发明内容
本发明要解决的技术问题是提供一种风力发电机组桨叶监测探伤方法,使用无人机相机标定方法、快速自适应加权中值滤波处理图像和动态阈值分割叶片图像缺陷特征方法,实现对区域处理识别裂纹和砂眼等缺陷的探测,并对缺陷进行分类与测量以及输出对叶片质量的分析报告,实现风力发电机桨叶表面缺陷的自动检测功能。
本发明的技术方案为:
风力发电机组桨叶监测探伤方法,首先采用无人机上搭载的相机采集风电机组桨叶表面图像,然后通过无线网络将采集的桨叶缺陷图像实时传送到地面计算机,地面计算机使用视觉集成平台对采集的图像进行处理和缺陷识别;
所述的视觉集成平台进行图像处理和缺陷识别的具体步骤为:
(1)、采用无人机相机标定方法实现采集图像在二维图像坐标中位置和形态的标定;由空间点PW变换到图像平面上的投影点P,要经过如下步骤:
a、通过相对位置变换关系式PC=RPW+T来把采集图像中的实物点PW转换成摄像机坐标系下的点PC,其中R=(α,β,γ)是旋转矩阵,T=(tx,ty,tz)是平移向量,α,β,γ分别为绕xw,yw,zw三个坐标轴旋转的角度,tx,ty,tz分别为绕xw,yw,zw三个坐标轴平移的数值,R和T中的参数即为相机的外部参数;
b、通过相机坐标系与图像的像元坐标系之间的投影关系式:
把点PC从相机坐标系转换到图像的像元坐标系,其中m,n为图像的像元坐标系,xc,yc,zc为相机坐标系,f为相机的主距;
c、实物点PW位于世界坐标系和一投影点P位于成像平面两者中的连线会穿越成像设备的中心光学位置,使用径向失真公式来进行相像比较,即:
d、当公式(2)中的参数k为负数则扭曲为桶形失真,k为正数则扭曲是枕形失真;该失真用下式(3)进行矫正:
e、最后,将失真点转换到图像的物理模型坐标系中:
式(4)中:p,d为图像的物理模型坐标系,cx和cy为投影中心在成像平面的垂直投影;sx和sy为图像感光元件中的像素在相间的横向与径向相距的长度,则(f,k,cx,cy,sx,sy)就是相机内部参数,并决定了点在相机内部的转换关系;
(2)、桨叶表面故障图像预处理:
不间断的图像信息会有寄生效应和干扰噪声,图片质量会因此而降低,无人机搭载相机采集图像时会有抖动性,因此需要对桨叶图像去噪;基于无人机搭载相机在进行图像采集时的噪声因素以及在飞行过程中快速处理图像的实时性需求,采用快速自适应加权中值滤波的方法进行图像去噪:
定义S(i,j)为原始图像,为脉冲噪声污染的图像,其中y(i,j)∈Ω={1,…M}×{1,…N},M和N分别为图像的宽度和高度,图像的灰度范围为[smin,smax],则观测图像由下式给出:
当r(i,j)取值为smin或smax时,则形成脉冲噪声;当r(i,j)∈[smin,smax]时,则形成随机噪声;
定义sw(i,j)是以点(i,j)为中心,大小为w×w的方形窗口,可表示为:
sw i,j={(k,l)│|k-i|<w,|i-j|<w} (6);
具体方法如下:
设最大窗口为wmax×wmax,输出图像为u(i,j),自适应中值滤波算法的基本思想是通过判断窗口中心点是否为噪声来调节窗口的大小,以克服中值滤波对细节的破坏;
具体算法如下:
a、初始化窗口大小,令w=3;
b、计算窗口sw i,j中像素的最小值smin,w i,j,最大值smax,w i,j及中值smed,w i,j;
c、如果smin,w i,j<smed,w i,j<smax,w i,j,跳转到步骤e;否则增大窗口为w=w+2;
d、如果w<wmax返回步骤b;否则用中值smed,w i,j替换当前点y(i,j);
e、如果smin,w i,j<y(i,j)<smax,w i,j,则说明该点不是噪声,输出保持不变;否则,说明该点为噪声,用中值smed,w i,j来替换当前点y(i,j);
(3)、去噪后的桨叶图进行图像增强和动态阈值分割:
采用多方位多结构元的处理方法让结构元覆盖图像的各个方向,达到较好地保持图像细节信息的目的;图像的动态阈值分割的目的是依据图像的不同特征,将图像划分为若干个统计均匀的互不相交的子区域或划分集合,该集合可以作为一个目标区域并可以从图像背景或其他目标区域分离开来;所述的多方位多结构元的处理方法的具体步骤为:
a、腐蚀运算:
对于Zn上元素的集合A与B,则B对A进行腐蚀运算,记作AΘB={z|(B)Z∈A};让处于原点的结构元素B在整个Zn平面移动;若B的原点平移至Z点时,B能够完全包含于A中,则所有这样的Z点构成的集合即为B对A的腐蚀图像;
b、膨胀运算:
对于Zn上元素的集合A与B,则B对A进行膨胀运算,记作以B相对于自身的原点映像并且以z对映像进行平移为基础,B对A进行的膨胀理解为和A中至少有一个元素重叠,则这样的位移Z点构成的集合即为B对A的膨胀图像;
c、开、闭运算:
集合B对集合A的开运算就是B对A的腐蚀,然后用集合B对结果进行膨胀;
集合B对集合A的闭运算就是B对A的膨胀,然后集合B对结果腐蚀;
在形态学图像增强算法中开、闭运算都使图像轮廓变得平滑;但是开运算主要是断开狭窄的连接和消除“细毛刺”,去除伪边缘和伪细节;闭运算通常能弥合狭窄的间断,填充小的孔洞;
(4)、增强后的桨叶图进行桨叶表面故障特征提取与选择:
建立了一个包含图像几何特征、纹理特征和灰度特征的12特征值特征池,根据特征维度灾难和分类器具体要求选择了一个6特征值的分类器输入,从而突出桨叶图中的边缘信息;
(5)、根据突出桨叶图中的边缘信息进行桨叶表面故障分类检测与识别:
风力发电机桨叶表面故障主要分为裂纹和腐蚀面,对图像进行联合与膨胀处理,先使用union1(Selected Regions,Region Union)算子用来包含所有区域的待计算区域的图片并返回包含所有区域的集合,然后使用dilation_circle(Region,Region Dilation,Radius)对一个非方形状态单元的区域以圆形为模板,进行膨胀处理;
对叶片上的裂纹特征的核心线路进行提取,先使用skeleton Region Dilation,Skele(ton))算子来提取裂纹主线路的骨架,然后使用connection(Skeleton,Errors)算子对裂纹的相接区进行互连处理,之后即可对重点目标做进一步的处理;
对裂纹,砂眼缺陷的纹路进行尺寸的测量和类别的确定,先使用select_shape(Regions:SelectedRegions:Fres,Operation,Min,Max:)算子根据特定选择值进行缺陷区的选取,选择area作为特征,即为像素的个数,此处定义砂眼缺陷为20-100像素,裂纹缺陷为300-9000像素;由于该区域是一个非方型环状区,所以要运行骨架算子skeleton得到非方型环状区的骨架,然后用gen_contours_skeleton_xld算子生成骨架的边缘核心,最后使用length_xld(Contours,ContLength)算子来求取裂纹的长度相关数据,从而使桨叶图中的缺陷得以标记。
所述的地面计算机将采集的桨叶缺陷图像发送至存储器的数据库中进行存储,视觉集成平台处理和识别后的桨叶缺陷信息同样存储于存储器的数据库中,然后从数据库中提取桨叶缺陷图像和桨叶缺陷信息进行缺陷回放并制得桨叶质量分析报告输出。
所述的步骤(4)中,所述的12特征值为面积、周长、矩形度、欧拉数、平均灰度、灰度方差、灰度熵、能量、熵、相关、对比度和反差;6特征值作为输入后,分类器输出的结果是预测准确率。
所述的无人机上搭载的相机为远程变焦云台相机。
本发明的优点:
本发明针对无人机对风机桨叶采集图像的特点,使用了无人机相机标定方法、快速自适应加权中值滤波算法、图像增强算法、桨叶表面故障特征提取与选择、桨叶表面故障分类监测与识别,并将其嵌入到人机交互平台中。该平台经过在线及离线测试,可以实现砂眼,裂纹和剥皮等缺陷的自动识别与监测,且准确率可以达到90%以上,相对于传统监测手段和其他监测算法具有较高的准确率与较好的算法稳定性,为风力发电机桨叶的无损监测提供了新的途径。
附图说明
图1是风力发电机桨叶图像采集与处理过程。
图2是视觉集成平台进行图像处理和缺陷识别的流程图。
图3基于针孔成像原理建立的相机成像模型。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
见图1,风力发电机组桨叶监测探伤方法,首先采用无人机上搭载的远程变焦云台相机采集风电机组桨叶表面图像,然后通过无线网络将采集的桨叶缺陷图像实时传送到地面计算机,地面计算机使用视觉集成平台对采集的图像进行处理和缺陷识别,地面计算机将采集的桨叶缺陷图像发送至存储器的数据库中进行存储,视觉集成平台处理和识别后的桨叶缺陷信息同样存储于存储器的数据库中,然后从数据库中提取桨叶缺陷图像和桨叶缺陷信息进行缺陷回放并制得桨叶质量分析报告输出;
见图2,视觉集成平台进行图像处理和缺陷识别的具体步骤为:
(1)、采用无人机相机标定方法实现采集图像在二维图像坐标中位置和形态的标定;基于针孔成像原理建立的相机成像模型如图3所示;由空间点PW变换到图像平面上的投影点P,要经过如下步骤:
a、通过相对位置变换关系式PC=RPW+T来把采集图像中的实物点PW转换成摄像机坐标系下的点PC,其中R=(α,β,γ)是旋转矩阵,T=(tx,ty,tz)是平移向量,α,β,γ分别为绕xw,yw,zw三个坐标轴旋转的角度,tx,ty,tz分别为绕xw,yw,zw三个坐标轴平移的数值,R和T中的参数即为相机的外部参数;
b、通过相机坐标系与图像的像元坐标系之间的投影关系式:
把点PC从相机坐标系转换到图像的像元坐标系,其中m,n为图像的像元坐标系,xc,yc,zc为相机坐标系,f为相机的主距;
c、实物点PW位于世界坐标系和一投影点P位于成像平面两者中的连线会穿越成像设备的中心光学位置,使用径向失真公式来进行相像比较,即:
d、当公式(2)中的参数k为负数则扭曲为桶形失真,k为正数则扭曲是枕形失真;该失真用下式(3)进行矫正:
e、最后,将失真点转换到图像的物理模型坐标系中:
式(4)中:p,d为图像的物理模型坐标系,cx和cy为投影中心在成像平面的垂直投影;sx和sy为图像感光元件中的像素在相间的横向与径向相距的长度,则(f,k,cx,cy,sx,sy)就是相机内部参数,并决定了点在相机内部的转换关系;
(2)、桨叶表面故障图像预处理:
不间断的图像信息会有寄生效应和干扰噪声,图片质量会因此而降低,无人机搭载相机采集图像时会有抖动性,因此需要对桨叶图像去噪;基于无人机搭载相机在进行图像采集时的噪声因素以及在飞行过程中快速处理图像的实时性需求,采用快速自适应加权中值滤波的方法进行图像去噪:
定义S(i,j)为原始图像,为脉冲噪声污染的图像,其中y(i,j)∈Ω={1,…M}×{1,…N},M和N分别为图像的宽度和高度,图像的灰度范围为[smin,smax],则观测图像由下式给出:
当r(i,j)取值为smin或smax时,则形成脉冲噪声;当r(i,j)∈[smin,smax]时,则形成随机噪声;
定义sw(i,j)是以点(i,j)为中心,大小为w×w的方形窗口,可表示为:
sw i,j={(k,l)│|k-i|<w,|i-j|<w} (6);
具体方法如下:
设最大窗口为wmax×wmax,输出图像为u(i,j),自适应中值滤波算法的基本思想是通过判断窗口中心点是否为噪声来调节窗口的大小,以克服中值滤波对细节的破坏;
具体算法如下:
a、初始化窗口大小,令w=3;
b、计算窗口sw i,j中像素的最小值smin,w i,j,最大值smax,w i,j及中值smed,w i,j;
c、如果smin,w i,j<smed,w i,j<smax,w i,j,跳转到步骤e;否则增大窗口为w=w+2;
d、如果w<wmax返回步骤b;否则用中值smed,w i,j替换当前点y(i,j);
e、如果smin,w i,j<y(i,j)<smax,w i,j,则说明该点不是噪声,输出保持不变;否则,说明该点为噪声,用中值smed,w i,j来替换当前点y(i,j);
(3)、去噪后的桨叶图进行图像增强和动态阈值分割:
采用多方位多结构元的处理方法让结构元覆盖图像的各个方向,达到较好地保持图像细节信息的目的;图像的动态阈值分割的目的是依据图像的不同特征,将图像划分为若干个统计均匀的互不相交的子区域或划分集合,该集合可以作为一个目标区域并可以从图像背景或其他目标区域分离开来;多方位多结构元的处理方法的具体步骤为:
a、腐蚀运算:
对于Zn上元素的集合A与B,则B对A进行腐蚀运算,记作AΘB={z|(B)Z∈A};让处于原点的结构元素B在整个Zn平面移动;若B的原点平移至Z点时,B能够完全包含于A中,则所有这样的Z点构成的集合即为B对A的腐蚀图像;
b、膨胀运算:
对于Zn上元素的集合A与B,则B对A进行膨胀运算,记作以B相对于自身的原点映像并且以z对映像进行平移为基础,B对A进行的膨胀理解为和A中至少有一个元素重叠,则这样的位移Z点构成的集合即为B对A的膨胀图像;
c、开、闭运算:
集合B对集合A的开运算就是B对A的腐蚀,然后用集合B对结果进行膨胀;
集合B对集合A的闭运算就是B对A的膨胀,然后集合B对结果腐蚀;
在形态学图像增强算法中开、闭运算都使图像轮廓变得平滑;但是开运算主要是断开狭窄的连接和消除“细毛刺”,去除伪边缘和伪细节;闭运算通常能弥合狭窄的间断,填充小的孔洞;
(4)、增强后的桨叶图进行桨叶表面故障特征提取与选择:
建立了一个包含图像几何特征、纹理特征和灰度特征的12特征值特征池,根据特征维度灾难和分类器具体要求选择了一个6特征值的分类器输入,从而突出桨叶图中的边缘信息;上述12特征值为面积、周长、矩形度、欧拉数、平均灰度、灰度方差、灰度熵、能量、熵、相关、对比度和反差;6特征值作为输入后,分类器输出的结果是预测准确率;
(5)、根据突出桨叶图中的边缘信息进行桨叶表面故障分类检测与识别:
风力发电机桨叶表面故障主要分为裂纹和腐蚀面,对图像进行联合与膨胀处理,先使用union1(Selected Regions,Region Union)算子用来包含所有区域的待计算区域的图片并返回包含所有区域的集合,然后使用dilation_circle(Region,Region Dilation,Radius)对一个非方形状态单元的区域以圆形为模板,进行膨胀处理;
对叶片上的裂纹特征的核心线路进行提取,先使用skeleton Region Dilation,Skele(ton))算子来提取裂纹主线路的骨架,然后使用connection(Skeleton,Errors)算子对裂纹的相接区进行互连处理,之后即可对重点目标做进一步的处理;
对裂纹,砂眼缺陷的纹路进行尺寸的测量和类别的确定,先使用select_shape(Regions:SelectedRegions:Fres,Operation,Min,Max:)算子根据特定选择值进行缺陷区的选取,选择area作为特征,即为像素的个数,此处定义砂眼缺陷为20-100像素,裂纹缺陷为300-9000像素;由于该区域是一个非方型环状区,所以要运行骨架算子skeleton得到非方型环状区的骨架,然后用gen_contours_skeleton_xld算子生成骨架的边缘核心,最后使用length_xld(Contours,ContLength)算子来求取裂纹的长度相关数据,从而使桨叶图中的缺陷得以标记。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.风力发电机组桨叶监测探伤方法,其特征在于:首先采用无人机上搭载的相机采集风电机组桨叶表面图像,然后通过无线网络将采集的桨叶缺陷图像实时传送到地面计算机,地面计算机使用视觉集成平台对采集的图像进行处理和缺陷识别;
所述的视觉集成平台进行图像处理和缺陷识别的具体步骤为:
(1)、采用无人机相机标定方法实现采集图像在二维图像坐标中位置和形态的标定;由空间点PW变换到图像平面上的投影点P,要经过如下步骤:
a、通过相对位置变换关系式PC=RPW+T来把采集图像中的实物点PW转换成摄像机坐标系下的点PC,其中R=(α,β,γ)是旋转矩阵,T=(tx,ty,tz)是平移向量,α,β,γ分别为绕xw,yw,zw三个坐标轴旋转的角度,tx,ty,tz分别为绕xw,yw,zw三个坐标轴平移的数值,R和T中的参数即为相机的外部参数;
b、通过相机坐标系与图像的像元坐标系之间的投影关系式:
把点PC从相机坐标系转换到图像的像元坐标系,其中m,n为图像的像元坐标系,xc,yc,zc为相机坐标系,f为相机的主距;
c、实物点PW位于世界坐标系和一投影点P位于成像平面两者中的连线会穿越成像设备的中心光学位置,使用径向失真公式来进行相像比较,即:
d、当公式(2)中的参数k为负数则扭曲为桶形失真,k为正数则扭曲是枕形失真;该失真用下式(3)进行矫正:
e、最后,将失真点转换到图像的物理模型坐标系中:
式(4)中:p,d为图像的物理模型坐标系,cx和cy为投影中心在成像平面的垂直投影;sx和sy为图像感光元件中的像素在相间的横向与径向相距的长度,则(f,k,cx,cy,sx,sy)就是相机内部参数,并决定了点在相机内部的转换关系;
(2)、桨叶表面故障图像预处理:
不间断的图像信息会有寄生效应和干扰噪声,图片质量会因此而降低,无人机搭载相机采集图像时会有抖动性,因此需要对桨叶图像去噪;基于无人机搭载相机在进行图像采集时的噪声因素以及在飞行过程中快速处理图像的实时性需求,采用快速自适应加权中值滤波的方法进行图像去噪:
定义S(i,j)为原始图像,为脉冲噪声污染的图像,其中y(i,j)∈Ω={1,…M}×{1,…N},M和N分别为图像的宽度和高度,图像的灰度范围为[smin,smax],则观测图像由下式给出:
当r(i,j)取值为smin或smax时,则形成脉冲噪声;当r(i,j)∈[smin,smax]时,则形成随机噪声;
定义sw(i,j)是以点(i,j)为中心,大小为w×w的方形窗口,可表示为:
sw i,j={(k,l)│|k-i|<w,|i-j|<w} (6);
具体方法如下:
设最大窗口为wmax×wmax,输出图像为u(i,j),自适应中值滤波算法的基本思想是通过判断窗口中心点是否为噪声来调节窗口的大小,以克服中值滤波对细节的破坏;
具体算法如下:
a、初始化窗口大小,令w=3;
b、计算窗口sw i,j中像素的最小值smin,w i,j,最大值smax,w i,j及中值smed,w i,j;
c、如果smin,w i,j<smed,w i,j<smax,w i,j,跳转到步骤e;否则增大窗口为w=w+2;
d、如果w<wmax返回步骤b;否则用中值smed,w i,j替换当前点y(i,j);
e、如果smin,w i,j<y(i,j)<smax,w i,j,则说明该点不是噪声,输出保持不变;否则,说明该点为噪声,用中值smed,w i,j来替换当前点y(i,j);
(3)、去噪后的桨叶图进行图像增强和动态阈值分割:
采用多方位多结构元的处理方法让结构元覆盖图像的各个方向,达到较好地保持图像细节信息的目的;图像的动态阈值分割的目的是依据图像的不同特征,将图像划分为若干个统计均匀的互不相交的子区域或划分集合,该集合可以作为一个目标区域并可以从图像背景或其他目标区域分离开来;所述的多方位多结构元的处理方法的具体步骤为:
a、腐蚀运算:
对于Zn上元素的集合A与B,则B对A进行腐蚀运算,记作AΘB={z|(B)Z∈A};让处于原点的结构元素B在整个Zn平面移动;若B的原点平移至Z点时,B能够完全包含于A中,则所有这样的Z点构成的集合即为B对A的腐蚀图像;
b、膨胀运算:
对于Zn上元素的集合A与B,则B对A进行膨胀运算,记作以B相对于自身的原点映像并且以z对映像进行平移为基础,B对A进行的膨胀理解为和A中至少有一个元素重叠,则这样的位移Z点构成的集合即为B对A的膨胀图像;
c、开、闭运算:
集合B对集合A的开运算就是B对A的腐蚀,然后用集合B对结果进行膨胀;
集合B对集合A的闭运算就是B对A的膨胀,然后集合B对结果腐蚀;
在形态学图像增强算法中开、闭运算都使图像轮廓变得平滑;但是开运算主要是断开狭窄的连接和消除“细毛刺”,去除伪边缘和伪细节;闭运算通常能弥合狭窄的间断,填充小的孔洞;
(4)、增强后的桨叶图进行桨叶表面故障特征提取与选择:
建立了一个包含图像几何特征、纹理特征和灰度特征的12特征值特征池,根据特征维度灾难和分类器具体要求选择了一个6特征值的分类器输入,从而突出桨叶图中的边缘信息;
(5)、根据突出桨叶图中的边缘信息进行桨叶表面故障分类检测与识别:
风力发电机桨叶表面故障主要分为裂纹和腐蚀面,对图像进行联合与膨胀处理,先使用union1(Selected Regions,Region Union)算子用来包含所有区域的待计算区域的图片并返回包含所有区域的集合,然后使用dilation_circle(Region,Region Dilation,Radius)对一个非方形状态单元的区域以圆形为模板,进行膨胀处理;
对叶片上的裂纹特征的核心线路进行提取,先使用skeleton Region Dilation,Skele(ton))算子来提取裂纹主线路的骨架,然后使用connection(Skeleton,Errors)算子对裂纹的相接区进行互连处理,之后即可对重点目标做进一步的处理;
对裂纹,砂眼缺陷的纹路进行尺寸的测量和类别的确定,先使用select_shape(Regions:SelectedRegions:Fres,Operation,Min,Max:)算子根据特定选择值进行缺陷区的选取,选择area作为特征,即为像素的个数,此处定义砂眼缺陷为20-100像素,裂纹缺陷为300-9000像素;由于该区域是一个非方型环状区,所以要运行骨架算子skeleton得到非方型环状区的骨架,然后用gen_contours_skeleton_xld算子生成骨架的边缘核心,最后使用length_xld(Contours,ContLength)算子来求取裂纹的长度相关数据,从而使桨叶图中的缺陷得以标记。
2.根据权利要求1所述的风力发电机组桨叶监测探伤方法,其特征在于:所述的地面计算机将采集的桨叶缺陷图像发送至存储器的数据库中进行存储,视觉集成平台处理和识别后的桨叶缺陷信息同样存储于存储器的数据库中,然后从数据库中提取桨叶缺陷图像和桨叶缺陷信息进行缺陷回放并制得桨叶质量分析报告输出。
3.根据权利要求1所述的风力发电机组桨叶监测探伤方法,其特征在于:所述的步骤(4)中,所述的12特征值为面积、周长、矩形度、欧拉数、平均灰度、灰度方差、灰度熵、能量、熵、相关、对比度和反差;6特征值作为输入后,分类器输出的结果是预测准确率。
4.根据权利要求1所述的风力发电机组桨叶监测探伤方法,其特征在于:所述的无人机上搭载的相机为远程变焦云台相机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011544911.2A CN112727705A (zh) | 2020-12-23 | 2020-12-23 | 风力发电机组桨叶监测探伤方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011544911.2A CN112727705A (zh) | 2020-12-23 | 2020-12-23 | 风力发电机组桨叶监测探伤方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112727705A true CN112727705A (zh) | 2021-04-30 |
Family
ID=75605233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011544911.2A Pending CN112727705A (zh) | 2020-12-23 | 2020-12-23 | 风力发电机组桨叶监测探伤方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112727705A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113284134A (zh) * | 2021-06-17 | 2021-08-20 | 张清坡 | 一种地质勘测用无人机飞行平台 |
CN114412729A (zh) * | 2022-01-30 | 2022-04-29 | 西安翔迅科技有限责任公司 | 一种风机叶片损伤监测装置及其监测方法 |
CN114719749A (zh) * | 2022-04-06 | 2022-07-08 | 重庆大学 | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及*** |
CN115875008A (zh) * | 2023-01-06 | 2023-03-31 | 四川省川建勘察设计院有限公司 | 一种地质钻机智能钻探数据采集方法、***和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011017564A1 (de) * | 2011-04-26 | 2012-10-31 | Aerospy Sense & Avoid Technology Gmbh | Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler |
EP3543522A1 (en) * | 2018-03-22 | 2019-09-25 | Siemens Gamesa Renewable Energy A/S | Rotor blade monitoring system |
CN111336073A (zh) * | 2020-03-04 | 2020-06-26 | 南京航空航天大学 | 一种风力发电机塔架净空视觉监测装置及方法 |
CN111400961A (zh) * | 2020-02-17 | 2020-07-10 | 通标标准技术服务有限公司 | 风力发电机组叶片故障判断方法及装置 |
CN111852792A (zh) * | 2020-09-10 | 2020-10-30 | 东华理工大学 | 一种基于机器视觉的风机叶片缺陷自诊断定位方法 |
-
2020
- 2020-12-23 CN CN202011544911.2A patent/CN112727705A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011017564A1 (de) * | 2011-04-26 | 2012-10-31 | Aerospy Sense & Avoid Technology Gmbh | Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler |
EP3543522A1 (en) * | 2018-03-22 | 2019-09-25 | Siemens Gamesa Renewable Energy A/S | Rotor blade monitoring system |
CN111400961A (zh) * | 2020-02-17 | 2020-07-10 | 通标标准技术服务有限公司 | 风力发电机组叶片故障判断方法及装置 |
CN111336073A (zh) * | 2020-03-04 | 2020-06-26 | 南京航空航天大学 | 一种风力发电机塔架净空视觉监测装置及方法 |
CN111852792A (zh) * | 2020-09-10 | 2020-10-30 | 东华理工大学 | 一种基于机器视觉的风机叶片缺陷自诊断定位方法 |
Non-Patent Citations (4)
Title |
---|
仇梓峰等: "基于无人机图像的风力发电机叶片缺陷识别", 《发电技术》 * |
王艳春等: "基于数学形态滤波算子的黄顶菊种子图像边缘检测", 《农机化研究》 * |
许国根等: "《模式识别与智能计算的MATLAB实现》", 31 August 2017, 北京航空航天大学出版社 * |
钱伟新等: "闪光照相CCD图像的自适应中值滤波方法", 《光学与光电技术》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113284134A (zh) * | 2021-06-17 | 2021-08-20 | 张清坡 | 一种地质勘测用无人机飞行平台 |
CN113284134B (zh) * | 2021-06-17 | 2023-09-26 | 张清坡 | 一种地质勘测用无人机飞行平台 |
CN114412729A (zh) * | 2022-01-30 | 2022-04-29 | 西安翔迅科技有限责任公司 | 一种风机叶片损伤监测装置及其监测方法 |
CN114719749A (zh) * | 2022-04-06 | 2022-07-08 | 重庆大学 | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及*** |
CN114719749B (zh) * | 2022-04-06 | 2023-07-14 | 重庆大学 | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及*** |
CN115875008A (zh) * | 2023-01-06 | 2023-03-31 | 四川省川建勘察设计院有限公司 | 一种地质钻机智能钻探数据采集方法、***和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112727705A (zh) | 风力发电机组桨叶监测探伤方法 | |
CN111339882B (zh) | 基于实例分割的输电线路隐患检测方法 | |
WO2018028103A1 (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
CN113469177A (zh) | 基于深度学习的排水管道缺陷检测方法及*** | |
CN113125458A (zh) | 钢结构涂层状态的检查与评估方法及*** | |
US20220128358A1 (en) | Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction | |
Chen et al. | Automated bridge deck evaluation through UAV derived point cloud | |
CN112750104B (zh) | 一种多相机监控船舶自动匹配最优相机的方法及装置 | |
CN112101138A (zh) | 基于深度学习的桥梁拉索表面缺陷实时识别***及方法 | |
CN113822844A (zh) | 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质 | |
CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及*** | |
CN115497015A (zh) | 一种基于卷积神经网络的河流漂浮污染物识别方法 | |
CN115639248A (zh) | 一种用于建筑外墙质量检测的***及方法 | |
CN113962973A (zh) | 一种基于卫星技术的输电线路无人机智能巡检***及方法 | |
CN109684914A (zh) | 基于无人机影像智能识别方法 | |
CN113313107A (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
Lee et al. | A new image-quality evaluating and enhancing methodology for bridge inspection using an unmanned aerial vehicle | |
Siegel et al. | Remote enhanced visual inspection of aircraft by a mobile robot | |
CN114359149A (zh) | 基于实时图像边缘增强的坝岸险***检测方法及*** | |
CN113160209A (zh) | 用于建筑外立面损伤检测的目标标注方法及目标识别方法 | |
CN117067226A (zh) | 钢桥锈蚀检测机器人及锈蚀检测方法 | |
CN116342693A (zh) | 一种基于点云和卷积神经网络的桥梁缆索表面损伤快速定位方法 | |
CN114764802A (zh) | 一种设备缺陷检测重复图像剔除方法 | |
CN114612420A (zh) | 一种基于yolo算法的输电线路可见光缺陷识别方法 | |
Harshini et al. | Sewage Pipeline Fault Detection using Image Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |