CN113205487A - 一种基于残差网络融合异构数据的电缆状态检测方法 - Google Patents
一种基于残差网络融合异构数据的电缆状态检测方法 Download PDFInfo
- Publication number
- CN113205487A CN113205487A CN202110388673.9A CN202110388673A CN113205487A CN 113205487 A CN113205487 A CN 113205487A CN 202110388673 A CN202110388673 A CN 202110388673A CN 113205487 A CN113205487 A CN 113205487A
- Authority
- CN
- China
- Prior art keywords
- cable
- monitoring image
- image
- detected
- insulator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 230000004927 fusion Effects 0.000 title claims abstract description 58
- 238000012544 monitoring process Methods 0.000 claims abstract description 359
- 239000012212 insulator Substances 0.000 claims abstract description 301
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 238000009413 insulation Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 4
- 238000013058 risk prediction model Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 31
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Laying Of Electric Cables Or Lines Outside (AREA)
- Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
Abstract
本发明是一种基于残差网络融合异构数据的电缆状态检测方法。首先对监控图像进行裁剪和缩放,并利用预处理后的图像对Faster‑RCNN检测模型进行Fine‑tune训练后并用于检测;利用检测得到的电缆绝缘子位置对原始图像进行剪裁变换和标注,得到只包含电缆绝缘子的图像;对湿度、温度、瞬时风速、最大拉力等电缆结构化数据进行归一化处理;并利用处理后的绝缘子图像和归一化处理后的结构化数据训练基于ResNet‑18融合异构数据的高压电缆状态检测模型;模型训练优化完成后,用于对待识别数据进行处理,得到高压电缆状态检测结果。本发明显著提高了高压电缆状态感知的准确率和稳定性。
Description
技术领域
本发明属于计算机视觉中的图像检测领域,是一种基于残差网络融合异构数据的电缆状态检测方法。
背景技术
随着现代工业的发展和城市化水平的提高,人们的日常生活已经离不开电能。电力电缆作为传输电能的重要工具,越来越得到人们的重视,其运行的可靠性直接影响电力***的正常运行,因而对高压电力电缆进行故障监测显得尤为重要。电力电缆故障与其绝缘状况密切相关,其关键部件为电缆绝缘子。而电缆绝缘子在冰雪天气由于气温低、天气恶劣等因素容易出现覆冰情况,极大影响其正常工作,严重时会导致绝缘子损坏或漏电,因此对电缆绝缘子进行定期的检测非常必要。高压电缆绝缘子分布广泛,数据来源多样,现有的电缆检测技术因使用单一类型的数据,预测高压电缆绝缘子的覆冰等级的准确率较低,容易出现绝缘子覆冰过多而未及时干预的情况,导致运行故障频繁出现。因此提出一种更加准确的预测高压电缆绝缘子危险程度的方法对于电力电缆故障的判断具有重要的实际意义和经济价值。
发明内容
本发明的目的在于提供一种基于残差网络融合异构数据的高压电缆状态检测技术,提高高压电缆状态绝缘子覆冰风险等级预测的准确率。
本发明将相关技术应用于高压电缆状态检测,利用基于ResNet-18的残差网络对监控图像进行特征提取,并将提取的特征进行降维,然后与电缆的湿度、温度、瞬时风速、最大拉力等结构化数据进行拼接融合,最终根据融合后的特征进行高压电缆绝缘子的危险等级预测。
一种基于残差网络融合异构数据的电缆状态检测方法,其特征在于,包括以下步骤:
步骤1、采集连续时刻的多张电缆绝缘子的监控图像作为训练集,对采集的电缆绝缘子的原始监控图像进行预处理操作得到预处理后的监控图像,并通过人工标记的方式在预处理后的监控图像中标记电缆绝缘子的位置和类别;
步骤2、构建基于Resnet-50的Faster-RCNN网络模型,并定义Faster-RCNN网络的损失函数,将步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至Faster-RCNN网络模型进行微调训练,当训练迭代次数达到限定的最大次数或Faster-RCNN网络损失函数的Loss值小于阈值时停止迭代训练,选取过程中保存的最优的参数,即得到优化后Faster-RCNN网络;
步骤3、采集连续的多张将待检测的高压电缆监控图像,使用优化后Faster-RCNN网络来预测得到待检测的高压电缆监控图像中电缆绝缘子的位置,根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁,得到裁剪后的电缆绝缘子的图像,并通过相应的缩放等操作变换为相同尺寸大小的图片;通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记,同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致;电缆绝缘子的风险等级一共分为d个等级,用数字1、2、…、d标识,数字越大,代表实际的风险越高,反之代表的风险越低。
步骤4、分别对待检测的高压电缆监控图像中的电缆绝缘子的湿度、电缆绝缘子的温度、电缆绝缘子的瞬时风速、电缆绝缘子的最大拉力、电缆绝缘子的最大拉力时风偏角进行归一化处理,依次得到预处理后的电缆绝缘子的湿度、预处理后的电缆绝缘子的温度、预处理后的电缆绝缘子的瞬时风速、预处理后的电缆绝缘子的最大拉力、预处理后的电缆绝缘子的最大拉力时风偏角;
步骤5、构建基于ResNet-18融合异构数据的高压电缆状态检测模型;将步骤3得到的裁剪后的电缆绝缘子图像、风险等级标签和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等结构化数据输入基于ResNet-18融合异构数据的高压电缆检测模型,模型最终输出为预测的电缆绝缘子的危险程度;采用随机梯度下降优化方法进行迭代训练,提高基于ResNet-18融合异构数据的高压电缆检测模型的检测性能,得到优化后的基于ResNet-18融合异构数据的高压电缆绝缘子风险预测模型;
步骤6、采集连续时刻的待识别的高压电缆的监控图像和电缆的湿度、温度、最大拉力,瞬时风速等数据,进行预处理后,利用步骤5得到的优化后的基于ResNet-18融合异构数据的高压电缆检测模型对待识别数据进行处理,得到高压电缆状态的风险等级;结合优化后的Faster-RCNN检测模型输出的电缆绝缘子的位置,整个模型最终得到的输出为电缆的位置和危险程度其中(x,y)为待识别数据中的电缆绝缘子预测框的中心点坐标,w、h分别为待识别数据中的电缆绝缘子预测框的宽度和高度,分别代表待识别数据中的电缆绝缘子的d个危险等级1~d的归一化后的概率预测值,其中的最大值即为最终预测的电缆绝缘子的危险程度。
作为优选,步骤1所述预处理操作为将大小不一致的原始的监控图像进行统一剪裁和缩放变换;
步骤1所述预处理后的监控图像为:
Imagei(m,n),m∈[1,M],n∈[1,N],i∈[1,I]
其中,Imagei(m,n)为时刻i采集的预处理后的监控图像中第m行、第n列的像素,M为预处理后的监控图像的行数,N为预处理后的监控图像的列数,I为采集的原始监控图像的数量,即预处理后的监控图像的数量;
步骤1所述预处理后的监控图像中电缆绝缘子标记框的位置和类别为:
步骤1所述预处理后的监控图像中电缆绝缘子标记框的类别为:
步骤1所述预处理后的监控图像中锚框的位置为:
[x′i,j,y′i,j,w′ij,h′i,j],i∈[1,I],j∈[1,J]
其中x′i,j,y′i,j,w′i,j,h′i,j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。I为采集的原始监控图像的数量,J为单张监控图像中锚框的最大个数。
步骤1所述预处理后的监控图像中锚框的类别为:
[p′i,j],i∈[1,j],j∈[1,J]
其中p′i,j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时,p′i,j的值为1,否则p′i,j的值为0;I为采集的原始监控图像的数量,J为单张监控图像中锚框的最大个数。
作为优选,步骤2中所述构建Faster-RCNN网络模型,具体为:
由ResNet-50特征提取网络、区域推荐网络和ROI Pooling模块级联构成;
所述Faster-RCNN网络模型包括:ResNet-50为主干的特征提取网络、根据深度特征进行前景和背景分类的区域推荐网络和精修分类和回归结果的ROI Pooling模块;
所述Faster-RCNN网络模型的作用为根据监控图像推理出电缆绝缘子的位置以及类别,网络的输入为预处理后的监控图像,网络的输出为电缆绝缘子的位置和类别,这里的类别只有两类,分别是前景类和背景类,前景类为电缆绝缘子,背景类为非电缆绝缘子的背景;
步骤2所述Faster-RCNN网络对于预测框的类别,采用1个概率变量表示:
[pi,j],i∈[1,I],j∈[1,J]
其中pi,j代表根据采集时刻i获取的监控图像得到的预测框j为前景类的概率。当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的IOU即交并比大于阈值α时,则判定预测框为前景类,即pi,j的值为1,当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的IOU小于阈值β时,则判定预测框为背景类,即pi,j的值为0;I为采集时刻的数量即预处理后的监控图像的数量;J为单张监控图像中预测框的最大个数。
步骤2所述Faster-RCNN网络对于目标预测框的位置,采用多个参数化的变量表示:
其中,xi,j,yi,j,wi,j,hi,j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标预测框的中心点坐标、宽和高;xi,j,yi,j,wi,j,hi,j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标锚框的中心点坐标、宽和高;分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标标记框的中心点坐标、宽和高。
ti,j={ti,x,j,ti,y,j,ti,w,j,ti,h,j}是时刻i采集的预处理后的监控图像中锚框j对应的预测框的参数化坐标向量。是时刻i采集的预处理后的监控图像中锚框j对应的标记框的参数化坐标向量。
上述步骤2所述的预测得到的电缆绝缘子的参数化坐标为:
ti,j={tx,i,j,ty,i,j,tw,i,j,th,i,j}
根据使用上面的ti,j的参数化方法做相应的逆变换,上述步骤2得到电缆绝缘子的预测框坐标为:
(xi,j,yi,j,wi,j,hi,j)
上述步骤2中构建Faster-RCNN网络模型之后,需要进一步定义Faster-RCNN网络的损失函数;
步骤2所述Faster-RCNN网络的损失函数为:
上式中的R是smoothL1函数,smoothL1函数的基本公式如下:
步骤2中将上述步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至Faster-RCNN网络模型进行Fine-tune训练,训练时采用momentum优化方法,当训练迭代次数达到限定的最大次数N或Faster-RCNN网络损失函数的Loss值小于阈值时停止迭代训练,选取过程中保存的最优的参数,即最小的Loss值对应的参数,得到优化后Faster-RCNN网络;
作为优选,步骤3所述采集连续的多张将待检测的高压电缆监控图像为:
Imagei(m,n),m∈[1,M],n∈[1,N],i∈[1,I]
其中,Imagei(m,n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素,M为监控图像的行数,N为监控图像的行数,I为采集的待检测的监控图像的数量;
步骤3所述预处理后的监控图像中锚框的位置为:
[x′i,j,y′i,j,w′i,j,h′i,j],i∈[1,I],j∈[1,J]
其中x′i,j,y′i,j,w′i,j,h′i,j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数。
步骤3所述预处理后的监控图像中锚框的类别为:
[p′i,j],i∈[1,I],j∈[1,J]
其中p′i,j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时,p′i,j的值为1,否则p′i,j的值为0;I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数。
将预处理后的待检测的高压电缆监控图像输入通过Fine-tune训练优化后得到的Faster-RCNN网络模型,将得到的初步的预测结果进行NMS(非极大值抑制)处理,最后得到待检测的高压电缆监控图像中电缆绝缘子的位置;
步骤3通过优化后的Faster-RCNN模型得到的待检测的高压电缆绝缘子的预测框坐标为:
(xi,k,yi,k,wi,k,hi,k),i∈[1,I],k∈[1,K]
其中,(xi,k,yi,k,wi,k,hi,k)表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预测框坐标;I为采集的将待检测的监控图像的数量即采集时刻的梳理,K为单张监控图像中预测框的最大个数。
根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁,得到裁剪后的电缆绝缘子的图像,并通过相应的缩放等操作变换为相同尺寸大小的图片;
步骤3所述裁剪后的电缆绝缘子图像为:
其中,为时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像中第s行、第t列的像素,S为裁剪后的电缆绝缘子图像的最大行数,T为裁剪后的电缆绝缘子图像的最大列数,I为采集时刻的数量;K为单张待检测的监控图像中绝缘子的最大个数。
通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记,同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致;电缆绝缘子的风险等级一共分为d个等级,用数字1、2、…、d标识,数字越大,代表实际的风险越高,反之代表的风险越低。
步骤3所述电缆绝缘子图像的风险等级表示为:
其中,分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像被预测为风险等级1、风险等级2、……、风险等级d的概率值,中的最大值作为最终的风险等级预测结果;I为裁剪后的电缆绝缘子图像最大数量;K为单张待检测的监控图像中绝缘子的最大个数;d为不小于5的正整数。
作为优选,步骤4所述预处理后的电缆绝缘子的湿度为:
其中,Hi,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的湿度,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的湿度,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxH为H1,k......HI,k中最大值的一定比例,minF为H1,k.....HI,k中最小值的一定比例
步骤4所述预处理后的电缆绝缘子的温度为:
其中,Ti,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的温度,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的温度,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxT为T1,k.....TI,k中最大值的一定比例,minT为T1,k......TI,k中最小值的一定比例;
步骤4所述预处理后的电缆绝缘子的瞬时风速为:
其中,Wi,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的瞬时风速,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的瞬时风速,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxw为W1,k......WI,k中最大值的一定比例,minw为W1,k......WI,k中最小值的一定比例;
步骤4所述预处理后的电缆绝缘子的最大拉力为:
其中,Fi,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的最大拉力,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的最大拉力,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxF为F1,k......FI,k中最大值的一定比例,minF为F1,k......FI,k中最小值的一定比例。
步骤4所述预处理后的电缆绝缘子的最大拉力时风偏角为:
其中,Ai,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的最大拉力时风偏角,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的最大拉力时风偏角,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxA为A1,k......AI,k中最大值的一定比例,minA为A1,k......AI,k中最小值的一定比例。
作为优选,步骤5中所述构建基于ResNet-18融合异构数据的高压电缆状态检测模型,具体为:
由Faster-RCNN图像检测模型、ResNet-18特征提取网络、一个特征拼接层和一个全连接层以及Softmax层构成;
Faster-RCNN图像检测模型,由ResNet-50特征提取网络、区域推荐网络和ROIPooling模块级联构成,用于获取原始监控图像中的高压电缆绝缘子的实际位置;
一个特征拼接层的作用是将后非结构化的电缆图像数据的低维特征与结构化的电缆的湿度、温度、最大拉力、瞬时风速等数据进行拼接,同时输入到后续的全连接层中;
一个全连接层以及Softmax层的作用是对特征拼接层的输入做分类,并通过Softmax函数将结果归一化为概率预测值;
所述基于ResNet-18融合异构数据的高压电缆状态检测模型包括:用于获取监控图像中电缆绝缘子位置的由Faster-RCNN图像检测模型、对非结构化的图像数据进行特征提取的ResResNet-18网络、一个特征拼接层和一个全连接层以及Softmax层。
上述步骤5中构建好基于ResNet-18融合异构数据的高压电缆检测模型后,输入步骤3得到的裁剪后的电缆绝缘子图像和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等数据,对基于ResNet-18融合异构数据的高压电缆检测模型进行训练;
上述步骤5中输入的步骤3得到的裁剪后的电缆绝缘子图像为:
其中,为时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像中第s行、第t列的像素,S为裁剪后的电缆绝缘子图像的最大行数,这里S为224,T为裁剪后的电缆绝缘子图像的最大列数,这里T为224,I为采集时刻的数量;K为单张待检测的监控图像中绝缘子的最大个数。
上述步骤5中输入的步骤4所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为:
其中,i∈[1,I],k∈[1,K],I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的最大个数;分别表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的归一化处理后的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据。
上述步骤5中输入的步骤3得到的电缆绝缘子图像的风险等级(标签)为:
其中,分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像被预测为风险等级1、风险等级2、……、风险等级d的概率值,中的最大值作为最终的风险等级预测结果;I为裁剪后的电缆绝缘子图像最大数量;K为单张待检测的监控图像中绝缘子的最大个数;d为不小于5的正整数。
在上述步骤5的模型训练过程中,需要衡量价格预测值与真实值之间的误差。对于分类问题,选取交叉熵函数作为损失函数,并配合Softmax函数将预测结果进行归一化,将输出结果转变成值为正且和为1的概率分布。
上述步骤5中的ResNet-18模型的损失函数为交叉熵函数:
其中,Lz为指示变量即0或1,如果该类别和样本z的类别相同就是1,否则是0;Pzc为对于输入样本z属于类别c的预测概率,这里一共有d个类别a1,a2...,ad,一一对应于电缆绝缘子的d个风险等级的概率预测值;Z为所有输入样本的总数,C为分类的类别数,此处C的值等于d,d为不小于5的正整数;
Softmax函数的具体公式为:
其中
是分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像属于风险等级1、风险等级2、……、风险等级d的预测值;分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像属于风险等级1、风险等级2、……、风险等级d的预测的概率值,Softmax函数将预测的输出结果转变成值为正且和为1的概率分布。
在上述步骤5的模型训练过程中,采用SGD随机梯度下降法优化方法,当训练迭代次数达到限定的最大次数N或基于ResNet-18融合异构数据的高压电缆检测模型的损失函数的Loss值小于设定的阈值时,停止迭代训练,选取过程中保存的最优的参数,即最小的Loss值对应的参数,得到优化后的基于ResNet-18融合异构数据的高压电缆检测模型;
作为优选,上述步骤6采集连续时刻的待识别的高压电缆的监控图像和电缆的湿度、温度、最大拉力,瞬时风速等数据,进行预处理操作;
步骤6所述预处理后的待检测的高压电缆监控图像为:
Imagei(m,n),m∈[1,M],n∈[1,N],i∈[1,I]
其中,Imagei(m,n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素,M为监控图像的行数,N为监控图像的行数,I为采集的待检测的监控图像的数量;
步骤6所述预处理后的监控图像中锚框的位置为:
[x′i,j,y′i,j,w′i,j,h′i,j],i∈[1,I],j∈[1,J]
其中x′i,j,y′i,j,w′i,j,h′i,j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数。
步骤6所述预处理后的监控图像中锚框的类别为:
[p′i,j],i∈[1,j],j∈[1,J]
其中p′i,j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时,p′i,j的值为1,否则p′i,j的值为0;I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数。
将上述步骤6采集的预处理后的待检测的高压电缆监控图像输入Fine-tune训练得到的优化后的Faster-RCNN检测模型,获得待检测的高压电缆监控图像中的电缆绝缘子的预测位置,根据电缆绝缘子的预测位置对待检测的高压电缆监控图像进行裁剪,并缩放到统一的尺度大小,作为整个模型后续部分的新的输入;
步骤6所述裁剪后的电缆绝缘子图像为:
其中,为时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像中第s行、第t列的像素,S为裁剪后的电缆绝缘子图像的最大行数,这里S为224,T为裁剪后的电缆绝缘子图像的最大列数,这里T为224,I为采集时刻的数量;K为单张待检测的监控图像中绝缘子的最大个数。
将上述步骤6采集的待识别的电缆的湿度、温度、最大拉力,瞬时风速等数据进行归一化处理,输入到基于ResNet-18融合异构数据的高压电缆检测模型中进行预测;
步骤6所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为:
其中,i∈[1,I],k∈[1,K],I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的最大个数;分别表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的归一化处理后的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据。
将步骤6采集的预处理好的待识别的裁剪后的电缆绝缘子图片和归一化处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据一起输入到优化后的基于ResNet-18融合异构数据的高压电缆状态检测模型中进行检测识别,得到高压电缆状态的风险等级;
再结合过程中Faster-RCNN模型输出的电缆绝缘子的位置信息,整个基于ResNet-18融合异构数据的高压电缆状态检测模型的最终输出为电缆的位置和危险程度 其中(x,y)为电缆绝缘子预测框的中心点坐标,w、h分别为电缆绝缘子预测框的宽度和高度,分别代表电缆危险等级1~d的归一化后的概率预测值,其中的最大值即为最终预测的电缆绝缘子的危险程度。例如时,即预测的电缆绝缘子的危险等级为1。输出结果的数字越大,表明电缆危险程度越高,数字1代表最低风险等级,数字d代表最高风险等级,d为不小于5的正整数。
本发明的有益效果是:本发明构建了基于ResNet-18融合异构数据的高压电缆状态检测模型,前期通过Faster-RCNN模型获取电缆监控图像中电缆绝缘子的位置,对原始监控图像裁剪得到仅包含电缆绝缘子的新图像集,后期通过残差网络对图像类的非结构化数据进行降维,然后与结构化数据进行拼接融合,一同输入模型用于训练和检测。本发明融合使用了结构化数据和非结构化数据,显著提高了高压电缆状态检测的准确率和稳定性。
附图说明
图1:基于残差网络融合异构数据的电缆状态检测方法的流程图。
图2:基于ResNet-50的Faster-RCNN的网络结构及算法流程示意图。
图3:基于ResNet-18融合异构数据的高压电缆检测模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,为本发明的基于ResNet-18融合异构数据的高压电缆检测方法的流程示意图。包括以下步骤:
步骤1、采集连续时刻的多张电缆绝缘子的监控图像作为训练集,对采集的电缆绝缘子的原始监控图像进行预处理操作得到预处理后的监控图像,并通过人工标记的方式在预处理后的监控图像中标记电缆绝缘子的位置和类别;
步骤1所述预处理操作为将大小不一致的原始的监控图像进行统一剪裁和缩放变换;
步骤1所述预处理后的监控图像为:
Imagei(m,n),m∈[1,M],n∈[1,N],i∈[1,I]
其中,Imagei(m,n)为时刻i采集的预处理后的监控图像中第m行、第n列的像素,M为预处理后的监控图像的行数,N为预处理后的监控图像的列数,I为采集的原始监控图像的数量,即预处理后的监控图像的数量;
步骤1所述预处理后的监控图像中电缆绝缘子标记框的位置和类别为:
步骤1所述预处理后的监控图像中电缆绝缘子标记框的类别为:
步骤1所述预处理后的监控图像中锚框的位置为:
[x′i,j,y′i,j,w′i,j,h′i,j],i∈[1,I],j∈[1,J]
其中x′i,j,y′i,j,w′i,j,h′i,j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。I为采集的原始监控图像的数量,J为单张监控图像中锚框的最大个数。
步骤1所述预处理后的监控图像中锚框的类别为:
[p′i,j],i∈[1,I],j∈[1,J]
其中p′i,j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时,p′i,j的值为1,否则p′i,j的值为0;I为采集的原始监控图像的数量,J为单张监控图像中锚框的最大个数。
步骤2、如图2所示,构建基于Resnet-50的Faster-RCNN网络模型,并定义Faster-RCNN网络的损失函数,将步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至Faster-RCNN网络模型进行微调训练,当训练迭代次数达到限定的最大次数或Faster-RCNN网络损失函数的Loss值小于阈值时停止迭代训练,选取过程中保存的最优的参数,即得到优化后Faster-RCNN网络;
步骤2中所述构建Faster-RCNN网络模型,具体为:
由ResNet-50特征提取网络、区域推荐网络和ROI Pooling模块级联构成;
ResNet-50包含5个卷积块;C1卷积块只有一层,不包含残差模块,输入图像尺寸为224×224,卷积核大小为7×7,输出特征图尺寸为112×112;C2卷积块包括一个“最大池化层”和三个残差模块,共有九层卷积层,输入图像尺寸为112×112,卷积核大小为1×1和3×3,输出特征图尺寸为56×56;C3卷积块包括四个残差模块,共有十二层卷积层,输入图像尺寸为56×56,卷积核大小为1×1和3×3,输出特征图尺寸为28×28;C4卷积块包括六个残差模块,共有十八层卷积层,输入图像尺寸为28×28,卷积核大小为1×1和3×3,输出特征图尺寸为14×14;C5卷积块包括三个残差模块,共有九层卷积层,输入图像尺寸为14×14,卷积核大小为1×1和3×3,输出特征图尺寸为7×7;
区域推荐网络包括一个分类分支和一个回归分支,分类分支用于根据深度特征进行前景和背景的分类,回归分支用于生成推荐框,并进行非极大值抑制获得最终的结果;
ROI Pooling模块包括一个分类分支和一个回归分支,分类分支用于更加精确的分类,回归分支用于对区域推荐网络生成的推荐框精修,获得更精确的预测框位置;
所述Faster-RCNN网络模型包括:ResNet-50为主干的特征提取网络、根据深度特征进行前景和背景分类的区域推荐网络和精修分类和回归结果的ROI Pooling模块;
所述Faster-RCNN网络模型的作用为根据监控图像推理出电缆绝缘子的位置以及类别,网络的输入为预处理后的监控图像,网络的输出为电缆绝缘子的位置和类别,这里的类别只有两类,分别是前景类和背景类,前景类为电缆绝缘子,背景类为非电缆绝缘子的背景;
步骤2所述Faster-RCNN网络对于预测框的类别,采用1个概率变量表示:
[pi,j],i∈[1,I],j∈[1,J]
其中pi,j代表根据采集时刻i获取的监控图像得到的预测框j为前景类的概率。当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的IOU(交并比)大于阈值α(此处α取值为0.7)时,则判定预测框为前景类,即pi,j的值为1,当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的IOU小于阈值β(此处β取值为0.3)时,则判定预测框为背景类,即pi,j的值为0;I为采集时刻的数量即预处理后的监控图像的数量;J为单张监控图像中预测框的最大个数。
步骤2所述Faster-RCNN网络对于目标预测框的位置,采用4个参数化的变量表示:
其中,xi,j,yi,j,wi,j,hi,j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标预测框的中心点坐标、宽和高;xi,j,yi,j,wi,j,hi,j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标锚框的中心点坐标、宽和高;分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标标记框的中心点坐标、宽和高。
ti,j={ti,x,j,ti,y,j,ti,w,j,ti,h,j}是时刻i采集的预处理后的监控图像中锚框j对应的预测框的参数化坐标向量。是时刻i采集的预处理后的监控图像中锚框j对应的标记框的参数化坐标向量。
上述步骤2所述的预测得到的电缆绝缘子的参数化坐标为:
ti,j={tx,i,j,ty,i,j,tw,i,j,th,i,j}
根据使用上面的ti,j的参数化方法做相应的逆变换,上述步骤2得到电缆绝缘子的预测框坐标为:
(xi,j,yi,j,wi,j,hi,j)
上述步骤2中构建Faster-RCNN网络模型之后,需要进一步定义Faster-RCNN网络的损失函数;
步骤2所述Faster-RCNN网络的损失函数为:
上式中的R是smoothL1函数,smoothL1函数的基本公式如下:
步骤2中将上述步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至Faster-RCNN网络模型进行Fine-tune(微调)训练,训练时采用momentum优化方法,当训练迭代次数达到限定的最大次数N或Faster-RCNN网络损失函数的Loss值小于阈值时停止迭代训练,选取过程中保存的最优的参数,即最小的Loss值对应的参数,得到优化后Faster-RCNN网络;
步骤3、采集连续的多张将待检测的高压电缆监控图像,使用优化后Faster-RCNN网络来预测得到待检测的高压电缆监控图像中电缆绝缘子的位置,根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁,得到裁剪后的电缆绝缘子的图像,并通过相应的缩放等操作变换为相同尺寸大小的图片;通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记,同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致;电缆绝缘子的风险等级一共分为d个等级,用数字1、2、…、d标识,数字越大,代表实际的风险越高,反之代表的风险越低。
步骤3所述采集连续的多张将待检测的高压电缆监控图像为:
Imagei(m,n),m∈[1,M],n∈[1,N],i∈[1,I]
其中,Imagei(m,n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素,M为监控图像的行数,N为监控图像的行数,I为采集的待检测的监控图像的数量;
步骤3所述预处理后的监控图像中锚框的位置为:
[x′i,j,y′i,j,w′i,j,h′i,j],i∈[1,I],j∈[1,J]
其中x′i,j,y′i,j,w′i,j,h′i,j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数。
步骤3所述预处理后的监控图像中锚框的类别为:
[p′i,j],i∈[1,I],j∈[1,J]
其中p′i,j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时,p′i,j的值为1,否则p′i,j的值为0;I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数。
将预处理后的待检测的高压电缆监控图像输入通过Fine-tune训练优化后得到的Faster-RCNN网络模型,将得到的初步的预测结果进行NMS(非极大值抑制)处理,最后得到待检测的高压电缆监控图像中电缆绝缘子的位置;
步骤3通过优化后的Faster-RCNN模型得到的待检测的高压电缆绝缘子的预测框坐标为:
(xi,k,yi,k,wi,k,hi,k),i∈[1,I],k∈[1,K]
其中,(xi,k,yi,k,wi,k,hi,k)表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预测框坐标;I为采集的将待检测的监控图像的数量即采集时刻的梳理,K为单张监控图像中预测框的最大个数。
根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁,得到裁剪后的电缆绝缘子的图像,并通过相应的缩放等操作变换为相同尺寸大小的图片;
步骤3所述裁剪后的电缆绝缘子图像为:
其中,为时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像中第s行、第t列的像素,S为裁剪后的电缆绝缘子图像的最大行数,这里S为224,T为裁剪后的电缆绝缘子图像的最大列数,这里T为224,I为采集时刻的数量;K为单张待检测的监控图像中绝缘子的最大个数。
通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记,同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致;电缆绝缘子的风险等级一共分为d个等级,用数字1、2、…、d标识,数字越大,代表实际的风险越高,反之代表的风险越低。
步骤3所述电缆绝缘子图像的风险等级表示为:
其中,分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像被预测为风险等级1、风险等级2、……、风险等级d的概率值,中的最大值作为最终的风险等级预测结果;I为裁剪后的电缆绝缘子图像最大数量;K为单张待检测的监控图像中绝缘子的最大个数;d为不小于5的正整数。
步骤4、分别对待检测的高压电缆监控图像中的电缆绝缘子的湿度、电缆绝缘子的温度、电缆绝缘子的瞬时风速、电缆绝缘子的最大拉力、电缆绝缘子的最大拉力时风偏角进行归一化处理,依次得到预处理后的电缆绝缘子的湿度、预处理后的电缆绝缘子的温度、预处理后的电缆绝缘子的瞬时风速、预处理后的电缆绝缘子的最大拉力、预处理后的电缆绝缘子的最大拉力时风偏角;
步骤4所述预处理后的电缆绝缘子的湿度为:
其中,Hi,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的湿度,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的湿度,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxH为H1,k......HI,k中最大值的一定比例,minF为H1,k.....HI,k中最小值的一定比例
步骤4所述预处理后的电缆绝缘子的温度为:
其中,Ti,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的温度,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的温度,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxT为T1,k.....TI,k中最大值的一定比例,minT为T1,k.....TI,k中最小值的一定比例;
步骤4所述预处理后的电缆绝缘子的瞬时风速为:
其中,Wi,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的瞬时风速,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的瞬时风速,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxW为W1,k......WI,k中最大值的一定比例,minW为W1,k......WI,k中最小值的一定比例;
步骤4所述预处理后的电缆绝缘子的最大拉力为:
其中,Fi,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的最大拉力,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的最大拉力,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxF为F1,k......FI,k中最大值的一定比例,minF为F1,k......FI,k中最小值的一定比例。
步骤4所述预处理后的电缆绝缘子的最大拉力时风偏角为:
其中,Ai,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的最大拉力时风偏角,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的最大拉力时风偏角,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxA为A1,k......AI,k中最大值的一定比例,minA为A1,k......AI,k中最小值的一定比例。
步骤5、如图3所示,构建基于ResNet-18融合异构数据的高压电缆状态检测模型;将步骤3得到的裁剪后的电缆绝缘子图像、风险等级标签和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等结构化数据输入基于ResNet-18融合异构数据的高压电缆检测模型,模型最终输出为预测的电缆绝缘子的危险程度;采用随机梯度下降优化方法进行迭代训练,提高基于ResNet-18融合异构数据的高压电缆检测模型的检测性能,得到优化后的基于ResNet-18融合异构数据的高压电缆绝缘子风险预测模型;
步骤5中所述构建基于ResNet-18融合异构数据的高压电缆状态检测模型,具体为:
由Faster-RCNN图像检测模型、ResNet-18特征提取网络、一个特征拼接层和一个全连接层以及Softmax层构成;
Faster-RCNN图像检测模型,由ResNet-50特征提取网络、区域推荐网络和ROIPooling模块级联构成,用于获取原始监控图像中的高压电缆绝缘子的实际位置;
ResNet-18特征提取网络包含5个卷积块;C1卷积块只有一层,不包含残差模块,输入图像尺寸为224×224,卷积核大小为7×7,输出特征图尺寸为112×112;C2卷积块包括两个残差模块,共有四层卷积层,输入图像尺寸为112×112,卷积核大小为3×3,输出特征图尺寸为56×56;C3卷积块包括两个残差模块,共有四层卷积层,输入图像尺寸为56×56,卷积核大小为3×3,输出特征图尺寸为28×28;C4卷积块包括两个残差模块,共有四层卷积层,输入图像尺寸为28×28,卷积核大小为3×3,输出特征图尺寸为14×14;;C5卷积块包括两个残差模块,共有四层卷积层,输入图像尺寸为14×14,卷积核大小为3×3,输出特征图尺寸为7×7;最后还有一个“平均池化层”(average pooling);ResNet-18特征提取网络用于对非结构化的图像数据进行降维,最后将高维的图像数据转换为一位的特征数据;
一个特征拼接层的作用是将后非结构化的电缆图像数据的低维特征与结构化的电缆的湿度、温度、最大拉力、瞬时风速等数据进行拼接,同时输入到后续的全连接层中;
一个全连接层以及Softmax层的作用是对特征拼接层的输入做分类,并通过Softmax函数将结果归一化为概率预测值;
所述基于ResNet-18融合异构数据的高压电缆状态检测模型包括:用于获取监控图像中电缆绝缘子位置的由Faster-RCNN图像检测模型、对非结构化的图像数据进行特征提取的ResResNet-18网络、一个特征拼接层和一个全连接层以及Softmax层。
上述步骤5中构建好基于ResNet-18融合异构数据的高压电缆检测模型后,输入步骤3得到的裁剪后的电缆绝缘子图像和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等数据,对基于ResNet-18融合异构数据的高压电缆检测模型进行训练;
上述步骤5中输入的步骤3得到的裁剪后的电缆绝缘子图像为:
其中,为时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像中第s行、第t列的像素,S为裁剪后的电缆绝缘子图像的最大行数,这里S为224,T为裁剪后的电缆绝缘子图像的最大列数,这里T为224,I为采集时刻的数量;K为单张待检测的监控图像中绝缘子的最大个数。
上述步骤5中输入的步骤4所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为:
其中,i∈[1,I],k∈[1,K],I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的最大个数;分别表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的归一化处理后的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据。
上述步骤5中输入的步骤3得到的电缆绝缘子图像的风险等级(标签)为:
其中,分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像被预测为风险等级1、风险等级2、……、风险等级d的概率值,中的最大值作为最终的风险等级预测结果;I为裁剪后的电缆绝缘子图像最大数量;K为单张待检测的监控图像中绝缘子的最大个数;d为不小于5的正整数。
在上述步骤5的模型训练过程中,需要衡量价格预测值与真实值之间的误差。对于分类问题,选取交叉熵函数作为损失函数,并配合Softmax函数将预测结果进行归一化,将输出结果转变成值为正且和为1的概率分布。
上述步骤5中的ResNet-18模型的损失函数为交叉熵函数:
其中,Lz为指示变量(0或1),如果该类别和样本z的类别相同就是1,否则是0;Pzc为对于输入样本z属于类别c的预测概率,这里一共有d个类别a1,a2...,ad(为了简洁不考虑下标),一一对应于电缆绝缘子的d个风险等级的概率预测值;Z为所有输入样本的总数,C为分类的类别数,此处C的值等于d,d为不小于5的正整数;
Softmax函数的具体公式为:
其中
是分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像属于风险等级1、风险等级2、……、风险等级d的预测值;分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像属于风险等级1、风险等级2、……、风险等级d的预测的概率值,Softmax函数将预测的输出结果转变成值为正且和为1的概率分布。
在上述步骤5的模型训练过程中,采用SGD(随机梯度下降法)优化方法,当训练迭代次数达到限定的最大次数N或基于ResNet-18融合异构数据的高压电缆检测模型的损失函数的Loss值小于设定的阈值时,停止迭代训练,选取过程中保存的最优的参数,即最小的Loss值对应的参数,得到优化后的基于ResNet-18融合异构数据的高压电缆检测模型;
步骤6、采集连续时刻的待识别的高压电缆的监控图像和电缆的湿度、温度、最大拉力,瞬时风速等数据,进行预处理后,利用步骤5得到的优化后的基于ResNet-18融合异构数据的高压电缆检测模型对待识别数据进行处理,得到高压电缆状态的风险等级;结合优化后的Faster-RCNN检测模型输出的电缆绝缘子的位置,整个模型最终得到的输出为电缆的位置和危险程度其中(x,y)为待识别数据中的电缆绝缘子预测框的中心点坐标,w、h分别为待识别数据中的电缆绝缘子预测框的宽度和高度,分别代表待识别数据中的电缆绝缘子的d个危险等级1~d的归一化后的概率预测值,其中的最大值即为最终预测的电缆绝缘子的危险程度。
上述步骤6采集连续时刻的待识别的高压电缆的监控图像和电缆的湿度、温度、最大拉力,瞬时风速等数据,进行预处理操作;
步骤6所述预处理后的待检测的高压电缆监控图像为:
Imagei(m,n),m∈[1,M],n∈[1,N],i∈[1,I]
其中,Imagei(m,n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素,M为监控图像的行数,N为监控图像的行数,I为采集的待检测的监控图像的数量;
步骤6所述预处理后的监控图像中锚框的位置为:
[x′i,j,y′i,j,w′i,j,h′i,j],i∈[1,I],j∈[1,J]
其中x′i,j,y′i,j,w′i,,j,h′i,j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数。
步骤6所述预处理后的监控图像中锚框的类别为:
[p′i,j],i∈[1,I],j∈[1,J]
其中p′i,j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时,p′i,j的值为1,否则p′i,j的值为0;I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数。
将上述步骤6采集的预处理后的待检测的高压电缆监控图像输入Fine-tune训练得到的优化后的Faster-RCNN检测模型,获得待检测的高压电缆监控图像中的电缆绝缘子的预测位置,根据电缆绝缘子的预测位置对待检测的高压电缆监控图像进行裁剪,并缩放到统一的尺度大小,作为整个模型后续部分的新的输入;
步骤6所述裁剪后的电缆绝缘子图像为:
其中,为时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像中第s行、第t列的像素,S为裁剪后的电缆绝缘子图像的最大行数,这里S为224,T为裁剪后的电缆绝缘子图像的最大列数,这里T为224,I为采集时刻的数量;K为单张待检测的监控图像中绝缘子的最大个数。
将上述步骤6采集的待识别的电缆的湿度、温度、最大拉力,瞬时风速等数据进行归一化处理,输入到基于ResNet-18融合异构数据的高压电缆检测模型中进行预测;
步骤6所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为:
其中,i∈[1,I],k∈[1,K],I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的最大个数;分别表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的归一化处理后的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据。
将步骤6采集的预处理好的待识别的裁剪后的电缆绝缘子图片和归一化处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据一起输入到优化后的基于ResNet-18融合异构数据的高压电缆状态检测模型中进行检测识别,得到高压电缆状态的风险等级;
再结合过程中Faster-RCNN模型输出的电缆绝缘子的位置信息,整个基于ResNet-18融合异构数据的高压电缆状态检测模型的最终输出为电缆的位置和危险程度 其中(x,y)为电缆绝缘子预测框的中心点坐标,w、h分别为电缆绝缘子预测框的宽度和高度,分别代表电缆危险等级1~d的归一化后的概率预测值,其中的最大值即为最终预测的电缆绝缘子的危险程度。例如时,即预测的电缆绝缘子的危险等级为1。输出结果的数字越大,表明电缆危险程度越高,数字1代表最低风险等级,数字d代表最高风险等级,d为不小于5的正整数。
在本发明的一个可选实施例中,可选取d为10,即将电缆绝缘子的覆冰风险等级划分为10个等级,实际应用过程中,根据高压电缆绝缘子的覆冰等级的预测结果来采取相应的行动措施。当覆冰等级的预测结果小于等于4时,覆冰的危险等级较低,无需人工干预;当风险等级预测的数字达到5时,需要对相关的电缆绝缘子进行重点关注,频繁查看对应的监控摄像,必要时配合人工的巡视;当风险等级预测的数字达到8或超过8时,需要对这些高风险的电缆绝缘子进行人工干预,及时派遣工人去除电缆绝缘子上的覆冰,如果导致了电缆的损坏或漏电,则需要派遣更加专业的电力工人进行维修。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种基于残差网络融合异构数据的电缆状态检测方法,其特征在于,包括以下步骤:
步骤1、采集连续时刻的多张电缆绝缘子的监控图像作为训练集,对采集的电缆绝缘子的原始监控图像进行预处理操作得到预处理后的监控图像,并通过人工标记的方式在预处理后的监控图像中标记电缆绝缘子的位置和类别;
步骤2、构建基于Resnet-50的Faster-RCNN网络模型,并定义Faster-RCNN网络的损失函数,将步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至Faster-RCNN网络模型进行微调训练,当训练迭代次数达到限定的最大次数或Faster-RCNN网络损失函数的Loss值小于阈值时停止迭代训练,选取过程中保存的最优的参数,即得到优化后Faster-RCNN网络;
步骤3、采集连续的多张将待检测的高压电缆监控图像,使用优化后Faster-RCNN网络来预测得到待检测的高压电缆监控图像中电缆绝缘子的位置,根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁,得到裁剪后的电缆绝缘子的图像,并通过相应的缩放等操作变换为相同尺寸大小的图片;通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记,同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致;电缆绝缘子的风险等级一共分为d个等级,用数字1、2、…、d标识,数字越大,代表实际的风险越高,反之代表的风险越低;
步骤4、分别对待检测的高压电缆监控图像中的电缆绝缘子的湿度、电缆绝缘子的温度、电缆绝缘子的瞬时风速、电缆绝缘子的最大拉力、电缆绝缘子的最大拉力时风偏角进行归一化处理,依次得到预处理后的电缆绝缘子的湿度、预处理后的电缆绝缘子的温度、预处理后的电缆绝缘子的瞬时风速、预处理后的电缆绝缘子的最大拉力、预处理后的电缆绝缘子的最大拉力时风偏角;
步骤5、构建基于ResNet-18融合异构数据的高压电缆状态检测模型;将步骤3得到的裁剪后的电缆绝缘子图像、风险等级标签和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等结构化数据输入基于ResNet-18融合异构数据的高压电缆检测模型,模型最终输出为预测的电缆绝缘子的危险程度;采用随机梯度下降优化方法进行迭代训练,提高基于ResNet-18融合异构数据的高压电缆检测模型的检测性能,得到优化后的基于ResNet-18融合异构数据的高压电缆绝缘子风险预测模型;
2.根据权利要求1所述的基于残差网络融合异构数据的电缆状态检测方法,其特征在于,步骤1所述预处理操作为将大小不一致的原始的监控图像进行统一剪裁和缩放变换;
步骤1所述预处理后的监控图像为:
Imagei(m,n),m∈[1,M],n∈[1,N],i∈[1,I]
其中,Imagei(m,n)为时刻i采集的预处理后的监控图像中第m行、第n列的像素,M为预处理后的监控图像的行数,N为预处理后的监控图像的列数,I为采集的原始监控图像的数量,即预处理后的监控图像的数量;
步骤1所述预处理后的监控图像中电缆绝缘子标记框的位置和类别为:
步骤1所述预处理后的监控图像中电缆绝缘子标记框的类别为:
步骤1所述预处理后的监控图像中锚框的位置为:
[x′i,j,y′i,j,w′i,j,h′i,j],i∈[1,I],j∈[1,J]
其中x′i,j,y′i,j,w′i,j,h′i,j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高;I为采集的原始监控图像的数量,J为单张监控图像中锚框的最大个数;
步骤1所述预处理后的监控图像中锚框的类别为:
[p′i,j],i∈[1,I],j∈[1,J]
其中p′i,j代表采集时刻i获取的监控图像中锚框j为前景类的概率;当锚框为前景类时,p′i,j的值为1,否则p′i,j的值为0;I为采集的原始监控图像的数量,J为单张监控图像中锚框的最大个数。
3.根据权利要求1所述的基于残差网络融合异构数据的电缆状态检测方法,其特征在于,步骤2中所述构建Faster-RCNN网络模型,具体为:
由ResNet-50特征提取网络、区域推荐网络和ROI Pooling模块级联构成;
所述Faster-RCNN网络模型包括:ResNet-50为主干的特征提取网络、根据深度特征进行前景和背景分类的区域推荐网络和精修分类和回归结果的ROI Pooling模块;
所述Faster-RCNN网络模型的作用为根据监控图像推理出电缆绝缘子的位置以及类别,网络的输入为预处理后的监控图像,网络的输出为电缆绝缘子的位置和类别,这里的类别只有两类,分别是前景类和背景类,前景类为电缆绝缘子,背景类为非电缆绝缘子的背景;
步骤2所述Faster-RCNN网络对于预测框的类别,采用1个概率变量表示:
[pi,j],i∈[1,I],j∈[1,J]
其中pi,j代表根据采集时刻i获取的监控图像得到的预测框j为前景类的概率;当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的IOU即交并比大于阈值α时,则判定预测框为前景类,即pi,j的值为1,当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的IOU小于阈值β时,则判定预测框为背景类,即pi,j的值为0;I为采集时刻的数量即预处理后的监控图像的数量;J为单张监控图像中预测框的最大个数;
步骤2所述Faster-RCNN网络对于目标预测框的位置,采用多个参数化的变量表示:
其中,xi,j,yi,j,wi,j,hi,j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标预测框的中心点坐标、宽和高;x′i,j,y′i,j,w′i,j,h′i,j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标锚框的中心点坐标、宽和高;分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标标记框的中心点坐标、宽和高;
ti,j={ti,x,j,ti,y,j,ti,w,j,ti,h,j}是时刻i采集的预处理后的监控图像中锚框j对应的预测框的参数化坐标向量;是时刻i采集的预处理后的监控图像中锚框j对应的标记框的参数化坐标向量;
所述步骤2所述的预测得到的电缆绝缘子的参数化坐标为:
ti,j={tx,i,j,ty,i,j,tw,i,j,th,i,j}
根据使用上面的ti,j的参数化方法做相应的逆变换,所述步骤2得到电缆绝缘子的预测框坐标为:
(xi,j,yi,j,wi,j,hi,j)
所述步骤2中构建Faster-RCNN网络模型之后,需要进一步定义Faster-RCNN网络的损失函数;
步骤2所述Faster-RCNN网络的损失函数为:
上式中的R是smoothL1函数,smoothL1函数的基本公式如下:
步骤2中将所述步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至Faster-RCNN网络模型进行Fine-tune训练,训练时采用momentum优化方法,当训练迭代次数达到限定的最大次数N或Faster-RCNN网络损失函数的Loss值小于阈值时停止迭代训练,选取过程中保存的最优的参数,即最小的Loss值对应的参数,得到优化后Faster-RCNN网络。
4.根据权利要求1所述的基于残差网络融合异构数据的电缆状态检测方法,其特征在于,步骤3所述采集连续的多张将待检测的高压电缆监控图像为:
Imagei(m,n),m∈[1,M],n∈[1,N],i∈[1,I]
其中,Imagei(m,n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素,M为监控图像的行数,N为监控图像的行数,I为采集的待检测的监控图像的数量;
步骤3所述预处理后的监控图像中锚框的位置为:
[x′i,j,y′i,j,w′i,j,h′i,j],i∈[1,I],j∈[1,J]
其中x′i,j,y′i,j,w′i,j,h′i,j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高;I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数;
步骤3所述预处理后的监控图像中锚框的类别为:
[p′i,j],i∈[1,I],j∈[1,J]
其中p′i,j代表采集时刻i获取的监控图像中锚框j为前景类的概率;当锚框为前景类时,p′i,j的值为1,否则p′i,j的值为0;I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数;
将预处理后的待检测的高压电缆监控图像输入通过Fine-tune训练优化后得到的Faster-RCNN网络模型,将得到的初步的预测结果进行NMS(非极大值抑制)处理,最后得到待检测的高压电缆监控图像中电缆绝缘子的位置;
步骤3通过优化后的Faster-RCNN模型得到的待检测的高压电缆绝缘子的预测框坐标为:
(xi,k,yi,k,wi,k,hi,k),i∈[1,I],k∈[1,K]
其中,(xi,k,yi,k,wi,k,hi,k)表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预测框坐标;I为采集的将待检测的监控图像的数量即采集时刻的梳理,K为单张监控图像中预测框的最大个数;
根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁,得到裁剪后的电缆绝缘子的图像,并通过相应的缩放等操作变换为相同尺寸大小的图片;
步骤3所述裁剪后的电缆绝缘子图像为:
其中,为时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像中第s行、第t列的像素,S为裁剪后的电缆绝缘子图像的最大行数,T为裁剪后的电缆绝缘子图像的最大列数,I为采集时刻的数量;K为单张待检测的监控图像中绝缘子的最大个数;
通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记,同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致;电缆绝缘子的风险等级一共分为d个等级,用数字1、2、…、d标识,数字越大,代表实际的风险越高,反之代表的风险越低;
步骤3所述电缆绝缘子图像的风险等级表示为:
5.根据权利要求1所述的基于残差网络融合异构数据的电缆状态检测方法,其特征在于,步骤4所述预处理后的电缆绝缘子的湿度为:
其中,Hi,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的湿度,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的湿度,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxH为H1,k......HI,k中最大值的一定比例,minF为H1,k......HI,k中最小值的一定比例
步骤4所述预处理后的电缆绝缘子的温度为:
其中,Ti,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的温度,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的温度,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxT为T1,k......TI,k中最大值的一定比例,minT为T1,k......TI,k中最小值的一定比例;
步骤4所述预处理后的电缆绝缘子的瞬时风速为:
其中,Wi,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的瞬时风速,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的瞬时风速,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxw为W1,k......WI,k中最大值的一定比例,minw为W1,k......WI,k中最小值的一定比例;
步骤4所述预处理后的电缆绝缘子的最大拉力为:
其中,Fi,k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的最大拉力,为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预处理后的最大拉力,I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的个数,maxF为F1,k......FI,k中最大值的一定比例,minF为F1,k......FI,k中最小值的一定比例;
步骤4所述预处理后的电缆绝缘子的最大拉力时风偏角为:
6.根据权利要求1所述的基于残差网络融合异构数据的电缆状态检测方法,其特征在于,步骤5中所述构建基于ResNet-18融合异构数据的高压电缆状态检测模型,具体为:
由Faster-RCNN图像检测模型、ResNet-18特征提取网络、一个特征拼接层和一个全连接层以及Softmax层构成;
Faster-RCNN图像检测模型,由ResNet-50特征提取网络、区域推荐网络和ROIPooling模块级联构成,用于获取原始监控图像中的高压电缆绝缘子的实际位置;
一个特征拼接层的作用是将后非结构化的电缆图像数据的低维特征与结构化的电缆的湿度、温度、最大拉力、瞬时风速等数据进行拼接,同时输入到后续的全连接层中;
一个全连接层以及Softmax层的作用是对特征拼接层的输入做分类,并通过Softmax函数将结果归一化为概率预测值;
所述基于ResNet-18融合异构数据的高压电缆状态检测模型包括:用于获取监控图像中电缆绝缘子位置的由Faster-RCNN图像检测模型、对非结构化的图像数据进行特征提取的ResResNet-18网络、一个特征拼接层和一个全连接层以及Softmax层;
所述步骤5中构建好基于ResNet-18融合异构数据的高压电缆检测模型后,输入步骤3得到的裁剪后的电缆绝缘子图像和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等数据,对基于ResNet-18融合异构数据的高压电缆检测模型进行训练;
所述步骤5中输入的步骤3得到的裁剪后的电缆绝缘子图像为:
其中,为时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像中第s行、第t列的像素,S为裁剪后的电缆绝缘子图像的最大行数,这里S为224,T为裁剪后的电缆绝缘子图像的最大列数,这里T为224,I为采集时刻的数量;K为单张待检测的监控图像中绝缘子的最大个数;
所述步骤5中输入的步骤4所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为:
其中,i∈[1,I],k∈[1,K],I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的最大个数;分别表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的归一化处理后的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据;
所述步骤5中输入的步骤3得到的电缆绝缘子图像的风险等级(标签)为:
其中,分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像被预测为风险等级1、风险等级2、……、风险等级d的概率值,中的最大值作为最终的风险等级预测结果;I为裁剪后的电缆绝缘子图像最大数量;K为单张待检测的监控图像中绝缘子的最大个数;d为不小于5的正整数;
在所述步骤5的模型训练过程中,需要衡量价格预测值与真实值之间的误差;对于分类问题,选取交叉熵函数作为损失函数,并配合Softmax函数将预测结果进行归一化,将输出结果转变成值为正且和为1的概率分布;
所述步骤5中的ResNet-18模型的损失函数为交叉熵函数:
其中,Lz为指示变量即0或1,如果该类别和样本z的类别相同就是1,否则是0;Pzc为对于输入样本z属于类别c的预测概率,这里一共有d个类别a1,a2...,ad,一一对应于电缆绝缘子的d个风险等级的概率预测值;Z为所有输入样本的总数,C为分类的类别数,此处C的值等于d,d为不小于5的正整数;
Softmax函数的具体公式为:
其中
是分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像属于风险等级1、风险等级2、……、风险等级d的预测值;分别表示时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像属于风险等级1、风险等级2、……、风险等级d的预测的概率值,Softmax函数将预测的输出结果转变成值为正且和为1的概率分布;
在所述步骤5的模型训练过程中,采用SGD随机梯度下降法优化方法,当训练迭代次数达到限定的最大次数N或基于ResNet-18融合异构数据的高压电缆检测模型的损失函数的Loss值小于设定的阈值时,停止迭代训练,选取过程中保存的最优的参数,即最小的Loss值对应的参数,得到优化后的基于ResNet-18融合异构数据的高压电缆检测模型。
7.根据权利要求1所述的基于残差网络融合异构数据的电缆状态检测方法,其特征在于,所述步骤6采集连续时刻的待识别的高压电缆的监控图像和电缆的湿度、温度、最大拉力,瞬时风速等数据,进行预处理操作;
步骤6所述预处理后的待检测的高压电缆监控图像为:
Imagei(m,n),m∈[1,M],n∈[1,N],i∈[1,I]
其中,Imagei(m,n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素,M为监控图像的行数,N为监控图像的行数,I为采集的待检测的监控图像的数量;
步骤6所述预处理后的监控图像中锚框的位置为:
[x′i,j,y′i,j,w′i,j,h′i,j],i∈[1,I],j∈[1,J]
其中x′i,j,y′i,j,w′i,j,h′i,j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高;I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数;
步骤6所述预处理后的监控图像中锚框的类别为:
[p′i,j],i∈[1,I],j∈[1,J]
其中p′i,j代表采集时刻i获取的监控图像中锚框j为前景类的概率;当锚框为前景类时,p′i,j的值为1,否则p′i,j的值为0;I为采集的将待检测的监控图像的数量,J为单张监控图像中锚框的最大个数;
将所述步骤6采集的预处理后的待检测的高压电缆监控图像输入Fine-tune训练得到的优化后的Faster-RCNN检测模型,获得待检测的高压电缆监控图像中的电缆绝缘子的预测位置,根据电缆绝缘子的预测位置对待检测的高压电缆监控图像进行裁剪,并缩放到统一的尺度大小,作为整个模型后续部分的新的输入;
步骤6所述裁剪后的电缆绝缘子图像为:
其中,为时刻i采集的待检测的高压电缆监控图像裁剪后得到的第k个电缆绝缘子图像中第s行、第t列的像素,S为裁剪后的电缆绝缘子图像的最大行数,这里S为224,T为裁剪后的电缆绝缘子图像的最大列数,这里T为224,I为采集时刻的数量;K为单张待检测的监控图像中绝缘子的最大个数;
将所述步骤6采集的待识别的电缆的湿度、温度、最大拉力,瞬时风速等数据进行归一化处理,输入到基于ResNet-18融合异构数据的高压电缆检测模型中进行预测;
步骤6所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为:
其中,i∈[1,I],k∈[1,K],I为采集时刻的数量,K为单张待检测的监控图像中绝缘子的最大个数;分别表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的归一化处理后的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据;
将步骤6采集的预处理好的待识别的裁剪后的电缆绝缘子图片和归一化处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据一起输入到优化后的基于ResNet-18融合异构数据的高压电缆状态检测模型中进行检测识别,得到高压电缆状态的风险等级;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110388673.9A CN113205487B (zh) | 2021-04-12 | 2021-04-12 | 一种基于残差网络融合异构数据的电缆状态检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110388673.9A CN113205487B (zh) | 2021-04-12 | 2021-04-12 | 一种基于残差网络融合异构数据的电缆状态检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113205487A true CN113205487A (zh) | 2021-08-03 |
CN113205487B CN113205487B (zh) | 2022-09-13 |
Family
ID=77026661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110388673.9A Active CN113205487B (zh) | 2021-04-12 | 2021-04-12 | 一种基于残差网络融合异构数据的电缆状态检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113205487B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732249A (zh) * | 2015-03-25 | 2015-06-24 | 武汉大学 | 基于流行学习和混沌粒子群的深度学习图像分类方法 |
CN109166094A (zh) * | 2018-07-11 | 2019-01-08 | 华南理工大学 | 一种基于深度学习的绝缘子故障定位识别方法 |
CN110378265A (zh) * | 2019-07-08 | 2019-10-25 | 创新奇智(成都)科技有限公司 | 一种早期火灾检测方法、计算机可读介质及*** |
US10468142B1 (en) * | 2018-07-27 | 2019-11-05 | University Of Miami | Artificial intelligence-based system and methods for corneal diagnosis |
CN110533331A (zh) * | 2019-08-30 | 2019-12-03 | 广东电网有限责任公司江门供电局 | 一种基于输电线路数据挖掘的故障预警方法和*** |
CN111223071A (zh) * | 2019-11-20 | 2020-06-02 | 智洋创新科技股份有限公司 | 基于深度学习技术的输电线路场景语义理解方法 |
CN112257954A (zh) * | 2020-11-04 | 2021-01-22 | 北京世纪高通科技有限公司 | 预测分段道路风险等级的方法、装置、***及存储介质 |
-
2021
- 2021-04-12 CN CN202110388673.9A patent/CN113205487B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732249A (zh) * | 2015-03-25 | 2015-06-24 | 武汉大学 | 基于流行学习和混沌粒子群的深度学习图像分类方法 |
CN109166094A (zh) * | 2018-07-11 | 2019-01-08 | 华南理工大学 | 一种基于深度学习的绝缘子故障定位识别方法 |
US10468142B1 (en) * | 2018-07-27 | 2019-11-05 | University Of Miami | Artificial intelligence-based system and methods for corneal diagnosis |
CN110378265A (zh) * | 2019-07-08 | 2019-10-25 | 创新奇智(成都)科技有限公司 | 一种早期火灾检测方法、计算机可读介质及*** |
CN110533331A (zh) * | 2019-08-30 | 2019-12-03 | 广东电网有限责任公司江门供电局 | 一种基于输电线路数据挖掘的故障预警方法和*** |
CN111223071A (zh) * | 2019-11-20 | 2020-06-02 | 智洋创新科技股份有限公司 | 基于深度学习技术的输电线路场景语义理解方法 |
CN112257954A (zh) * | 2020-11-04 | 2021-01-22 | 北京世纪高通科技有限公司 | 预测分段道路风险等级的方法、装置、***及存储介质 |
Non-Patent Citations (3)
Title |
---|
YEONG-HYEON BYEON.ET AL: ""A Performance Comparison of Pedestrian Detection Using Faster RCNN and ACF"", 《IIAI INTERNATIONAL CONGRESS ON ADVANCED APPLIED INFORMATICS》 * |
刘召等: ""基于改进的Faster R-CNN高压线缆目标检测方法"", 《智能***学报》 * |
董文永等: ""基于深度学习策略的算法设计分析类课程线上线下混合教学设计 "", 《计算机教育》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113205487B (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
WO2022077605A1 (zh) | 一种风力机叶片图像损伤检测和定位方法 | |
CN106595551B (zh) | 基于深度学习的输电线路覆冰图像中覆冰厚度检测方法 | |
CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
CN110827251A (zh) | 一种基于航拍图像的输电线路锁紧销缺陷检测方法 | |
CN111027631B (zh) | 高压耐张线夹压接缺陷判别的x射线影像分类识别方法 | |
CN106198551A (zh) | 一种输电线路缺陷的检测方法及装置 | |
CN114821852B (zh) | 基于特征金字塔的电网缺陷深度识别巡查机器人控制*** | |
CN113807450A (zh) | 一种基于超高分辨率图片的无人机电力巡线故障检测方法 | |
CN115171045A (zh) | 一种基于yolo的电网作业现场违章识别方法及终端 | |
CN114842243A (zh) | 一种基于大跨度巡线机器人的故障检测方法、***及设备 | |
CN118038153A (zh) | 配电架空线路的防外破识别方法、装置、设备和介质 | |
CN114155468A (zh) | 一种变压器渗漏油检测方法、装置、设备及介质 | |
CN116612481B (zh) | 基于知识图谱和多元图像的电力设备缺陷识别方法及*** | |
CN113536944A (zh) | 基于图像识别的配电线路巡检数据识别及分析方法 | |
CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
CN112419243A (zh) | 一种基于红外图像分析的配电房设备故障识别方法 | |
CN113205487B (zh) | 一种基于残差网络融合异构数据的电缆状态检测方法 | |
CN112683916A (zh) | 集电线路杆塔小金具缺失或安装错误的识别方法及装置 | |
CN113689399B (zh) | 一种用于电网识别遥感图像处理方法及*** | |
CN115937492A (zh) | 一种基于特征识别的变电设备红外图像识别方法 | |
CN115147591A (zh) | 一种变电设备红外图像电压致热型缺陷诊断方法及*** | |
CN114418968A (zh) | 一种基于深度学习的输电线路小目标缺陷检测方法 | |
CN113989209A (zh) | 基于Faster R-CNN的电力线异物检测方法 | |
Wang et al. | Substation Equipment Defect Detection based on Temporal-spatial Similarity Calculation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |