发明内容
鉴于以上问题,本发明提出一种基于DBSCAN算法的在运电力通信光缆应变解调方法及***,用以解决现有技术对于测量的布里渊频移数据中温度和应变的变化难以自动区分导致不能有效快速地获得OPGW光缆应变量的问题。
根据本发明一方面,提出一种基于DBSCAN算法的在运电力通信光缆应变解调方法,该方法包括以下步骤:
步骤一、利用分布式布里渊光纤应变监测仪测量光缆纤芯的布里渊频移曲线数据;所述光缆包括多个接续点;
步骤二、对所述布里渊频移曲线数据进行预处理;
步骤三、利用聚类分析算法对经过预处理的布里渊频移曲线数据进行聚类,获得聚类结果;所述聚类结果包括多个分类簇和多个噪声点;
步骤四、根据所述聚类结果对光缆进行分段,以相邻分类簇之间有无噪声点确定光缆所有接续点,按照接续点位置对光缆进行分段;
步骤五、在分段后的每段光缆中选取多个非噪声点,计算多个非噪声点布里渊频移值的均值作为该段光缆对应的参考布里渊频移值;
步骤六、根据所述参考布里渊频移值,对每段光缆计算其应变量,实现应变和温度的分离。
进一步地,步骤二中所述预处理包括有效数据截取、数据平滑和降采样。
进一步地,步骤二中所述有效数据截取为将所述布里渊频移曲线数据的前后端数据去除,获得中间段的有效数据;所述数据平滑为采用鲁棒局部加权回归算法对有效数据进行平滑处理。
进一步地,步骤三中利用基于密度的DBSCAN聚类算法进行聚类,包括:
首先定义经过预处理的布里渊频移曲线数据为下述数据集D:
D={BFS1,BFS2,BFS3,…,BFSi,…,BFSN}
其中,数据对象点BFSi(i=1,…,N)表示第i个采样点的布里渊频移值,N表示采样点总数;
然后,对于给定的邻域半径和邻域中数据对象数目阈值,判断数据集D中每个数据对象点是核心点、边界点还是噪声点;所述核心点定义为邻域样本集中样本个数大于等于所述邻域中数据对象数目阈值的数据对象点;所述边界点定义为邻域样本集中样本个数小于所述邻域中数据对象数目阈值且在核心点邻域内的数据对象点;所述噪声点定义为既不是核心点也不是边界点的数据对象点;
然后,对于数据集D中每一个核心点,找出所有从该核心点出发的密度可达的其他数据对象点,从而形成多个簇。
进一步地,步骤四中以相邻分类簇之间有无噪声点确定光缆所有接续点的具体过程包括:
若两个相邻分类簇之间无噪声点,则簇的分类发生变化的数据对象点即为接续点;
若两个相邻分类簇之间有噪声点,则首先判断由多个噪声点组成的噪声区域是由于布里渊频移变化产生还是由于应力产生;若是由于布里渊频移变化产生则噪声区域的中间点即为接续点;
若是由于应力产生,则继续判断该噪声区域后面的数据对象点的分类是否与其前面的数据对象点的分类相同,若相同则忽略该噪声区域;若不同则将该噪声区域内所有噪声点布里渊频移值的均值分别与前面多个数据对象点、后面多个数据对象点布里渊频移值的均值进行作差比较:若与前面多个数据对象点对应的差值小,则噪声区域的最后一个噪声点即为接续点;若与后面多个数据对象点对应的差值小,则噪声区域的第一个噪声点即为接续点;利用上述方法找到光缆所有接续点。
进一步地,步骤四中判断噪声区域是由于布里渊频移变化产生还是由于应力产生的方法为:判断噪声区域内所有噪声点布里渊频移值曲线是单调还是非单调,若是单调则判断是由于布里渊频移变化产生;若是非单调则判断是由于应力产生。
进一步地,步骤六中根据所述参考布里渊频移值,对每段光缆计算其应变量的计算公式如下:
式中,Δε
i表示应变量;BFS
REF表示每段光缆的参考布里渊频移值;
表示布里渊频移的应变系数。
根据本发明另一方面,提出一种基于DBSCAN算法的在运电力通信光缆应变解调***,该***包括:
数据获取模块,用于利用分布式布里渊光纤应变监测仪测量光缆纤芯的布里渊频移曲线数据;所述光缆包括多个接续点;
预处理模块,用于对所述布里渊频移曲线数据进行预处理;所述预处理包括有效数据截取、数据平滑和降采样;所述有效数据截取为将所述布里渊频移曲线数据的前后端数据去除,获得中间段的有效数据;所述数据平滑为采用鲁棒局部加权回归算法对有效数据进行平滑处理;
聚类模块,用于利用聚类分析算法对经过预处理的布里渊频移曲线数据进行聚类,获得聚类结果;所述聚类结果包括多个分类簇和多个噪声点;
分段模块,用于根据所述聚类结果对光缆进行分段,以相邻分类簇之间有无噪声点确定光缆所有接续点,按照接续点位置对光缆进行分段;
参考值获取模块,用于在分段后的每段光缆中选取多个非噪声点,计算多个非噪声点布里渊频移值的均值作为该段光缆对应的参考布里渊频移值;
应变解调模块,用于根据所述参考布里渊频移值,对每段光缆计算其应变量,实现应变和温度的分离;对每段光缆计算其应变量的计算公式如下:
式中,Δε
i表示应变量;BFS
REF表示每段光缆的参考布里渊频移值;
表示布里渊频移的应变系数。
进一步地,所述聚类模块中利用基于密度的DBSCAN聚类算法进行聚类,具体包括:首先定义经过预处理的布里渊频移曲线数据为下述数据集D:
D={BFS1,BFS2,BFS3,…,BFSi,…,BFSN}
其中,数据对象点BFSi(i=1,…,N)表示第i个采样点的布里渊频移值,N表示采样点总数;
然后,对于给定的邻域半径和邻域中数据对象数目阈值,判断数据集D中每个数据对象点是核心点、边界点还是噪声点;所述核心点定义为邻域样本集中样本个数大于等于所述邻域中数据对象数目阈值的数据对象点;所述边界点定义为邻域样本集中样本个数小于所述邻域中数据对象数目阈值且在核心点邻域内的数据对象点;所述噪声点定义为既不是核心点也不是边界点的数据对象点;
然后,对于数据集D中每一个核心点,找出所有从该核心点出发的密度可达的其他数据对象点,从而形成多个簇。
进一步地,所述分段模块中以相邻分类簇之间有无噪声点确定光缆所有接续点的具体过程包括:
若两个相邻分类簇之间无噪声点,则簇的分类发生变化的数据对象点即为接续点;
若两个相邻分类簇之间有噪声点,则首先判断由多个噪声点组成的噪声区域是由于布里渊频移变化产生还是由于应力产生:判断噪声区域内所有噪声点布里渊频移值曲线是单调还是非单调,若是单调则判断是由于布里渊频移变化产生;若是非单调则判断是由于应力产生;若是由于布里渊频移变化产生则噪声区域的中间点即为接续点;若是由于应力产生,则继续判断该噪声区域后面的数据对象点的分类是否与其前面的数据对象点的分类相同,若相同则忽略该噪声点区域;若不同则将该噪声区域内所有噪声点布里渊频移值的均值分别与前面多个数据对象点、后面多个数据对象点布里渊频移值的均值进行作差比较:若与前面多个数据对象点对应的差值小,则噪声区域的最后一个噪声点即为接续点;若与后面多个数据对象点对应的差值小,则噪声区域的第一个噪声点即为接续点;利用上述方法找到光缆所有接续点。
本发明的有益技术效果是:
本发明提出一种基于DBSCAN算法的在运电力通信光缆自动化应变解调方法及***,可行性强,识别准确率高,一次数据采集即可完成对不同段光缆熔接的光纤链路应变解调。本发明不需要事先设定聚类数目,可以实现任意形状的簇类分辨,并且能够识别出噪声点,可以识别不同光缆的分段接续点,同时不受应变异常值的影响。
利用本发明可以识别OPGW光缆的接续点位置,可以寻找零应变参考点,实现OPGW光缆全线的应力数据解调;可以有效识别布里渊信号突变区域,寻找应变异常点,实现故障的预警。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然,所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例,而不是全部的。基于本发明中的实施方式或实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例,都应当属于本发明保护的范围。
本发明实施例提供了一种基于DBSCAN算法的在运电力通信光缆应变解调方法,如图1所示,该方法包括以下步骤:
步骤1、选取电力通信光缆的空余纤芯,也可以是在运电力通信光缆的纤芯,利用分布式布里渊光纤应变监测仪测试空余纤芯的布里渊频移数据;由于电力通信光缆通常是由一段段光缆接续而成,一条完整线路的采样结果通常是一段段相对平坦的频移值拼接起来的,光缆包含多个接续点;
步骤2、基于空余纤芯的布里渊频移数据,进行数据预处理,包括有效数据截取、数据平滑和降采样,提高算法的准确性及运行效率;
根据本发明实施例,无效数据是数据前后端的无效数据,数据预处理过程中首先需要去除前后端无效数据,前端通常与***相关,可采用固定值,尾端数据利用均方差,从数据起始端开始遍历,遇到连续几个数据点的均方差超过阈值点时,删除该数据点及之后的所有数据点,去除均方差过大的无效数据;优选地平滑方法可采用鲁棒局部加权回归算法(rlowess);将平滑后的数据进行降采样,由于DBSCAN算法的数据复杂度是O(N2),数据长度对算法的执行效率影响较大。因此,对于数据点较多的数据应降采样处理,去掉冗余信息,形成样本数据集:D={BFS1,BFS2,BFS3,…,BFSi,…,BFSN};
步骤3、基于预处理后的数据,利用聚类分析算法进行聚类,将布里渊频移曲线分为多个簇;
根据本发明实施例,基于聚类分析算法的光缆分段点识别方法采用一种基于密度的聚类分析方法—DBSCAN算法,如图2所示,利用DBSCAN算法进行聚类处理,将不同段的光缆进行聚类处理,对于给定的邻域半径和邻域中数据对象数目阈值,判断数据集中每个数据对象点是核心点、边界点还是噪声点;对于数据集中每一个核心点,找出所有从该核心点出发的密度可达的其他数据对象点,从而形成多个簇。
该算法的输入输出参数如下:
输入参数一:分布式光纤应变监测仪采集的布里渊频移连续数据组成输入样本数据集D={BFS1,BFS2,BFS3,…,BFSi,…,BFSN},其中BFSi(i=1,…,N)代表第i个采样点的布里渊频移值,共有N个采样点。
输入参数二:邻域参数(ε,MinPst),其中ε是定义密度时的邻域半径,MinPst是邻域中数据对象数目阈值。
输出:聚类分析结果与噪声数据。
该算法的相关定义如下:
(1)ε-邻域,对于BFSj∈D,其ε-邻域包含样本集D中与BFSj的距离不大于ε的子样本集,即Nε(BFSj)={BFSi∈D|distance(BFSi,BFSj)≤ε},这个子样本集的个数记为|Nε(BFSj)|。
(2)核心点:对于任一样本BFSj∈D,如果其ε-邻域对应的Nε(BFSj)至少包含MinPst个样本,即如果|Nε(BFSj)|≥MinPst,即BFSj是核心点。
(3)边界点:对于任一样本BFSj∈D,如果其ε-邻域对应的Nε(BFSj)小于MinPst个样本,但是它在核心点的邻域内,则BFSj是边界点。
(4)噪声点:既不是核心点也不是边界点的点。
(5)密度直达:如果BFSi位于BFSj的ε-邻域中,且BFSj是核心点,则称BFSi由BFSj密度直达。
(6)密度可达:对于BFSi和BFSj,如果存在样本序列p1,p2,…,pT,满足p1=BFSi,pT=BFSj,且pt+1由pt密度直达,则称BFSj由BFSi密度可达。此时,序列中的传递样本p1,p2,…,pT-1均为核心点,因为只有核心点才能使其他样本密度直达。
(7)密度相连:对于BFSi和BFSj,如果存在核心点样本BFSk,使BFSi和BFSj均由BFSk密度可达,则称BFSi和BFSj密度相连。
算法的具体步骤如下:
步骤31,输入样本数据集D={BFS1,BFS2,BFS3,…,BFSi,…,BFSN}及邻域参数ε、MinPst,样本集D中的点均标记为未访问点;
步骤32,从数据集中选取一个未访问的数据对象点BFSi,计算BFSi的ε邻域集N;
步骤33,判断BFSi是否为核心点,若邻域集N的对象个数是否大于等于MinPst,则BFSi为核心点,转至步骤35,若小于MinPst,则BFSi为噪声点,转至步骤34;
步骤34,标记BFSi为噪声点,返回至步骤32;
步骤35,将BFSi加入新簇C;
步骤36,在BFSi的ε邻域集N中选取一个未分类的对象点BFSj;
步骤37,判断BFSj是否被访问过,若被该对象点未被访问过则进入步骤38,被访问过则进入步骤39;
步骤38,计算BFSj的ε邻域集M;
步骤39,判断BFSj是否有类别;
步骤310,根据BFSj的ε邻域集M对象数量判断是否大于等于MinPst,判断BFSj是否为核心点,若为核心点则进入步骤311,若不是核心点,则进入步骤39;
步骤311,如果判断BFSj为核心点,则将BFSj的ε邻域集M加入N,并将BFSj加入簇C;
步骤312,若步骤39判断BFSj无类别,则BFSj为边界点,加入簇C;
步骤313,判断N中是否还有未分类的点,如果有,则转至步骤36,直至N中对象点均被分类,若无未分类的点,则进入步骤314;
步骤314,判断样本集D是否有未访问的点,如果有则转至步骤32,直至所有的点被访问,进入步骤315;
步骤315,输出聚类结果,包括各个点的聚类值,以及噪声点值。
聚类分析输入的参数值ε,MinPst可以根据布里渊频移进行设置,典型的,参数值ε可取0.06,MinPst值可取20。
图3是对布里渊频移数据进行聚类的分析结果示意图;图中横轴为距离,纵轴为各个布里渊频移点对应的聚类结果,分为1-19类,其中噪声点类别为0;图4是对布里渊频移数据进行聚类的另一种表达形式的分析结果示意图;图中横轴为距离,纵轴为各点的布里渊频移值,利用图形颜色区分各个布里渊频移点所属的分类,更直观的显示聚类结果的准确度,图中1-代表为类别相同的一段光缆,2-代表由于空间分辨率所形成的噪声点,3-代表由于受应变产生的噪声点。
需要说明的是,聚类结果中对于两侧都是噪声点,中间出现的几个与噪音点之前或之后分类相同的点,将其视为噪声点处理。
步骤4、根据识别的簇从起始点对光纤进行分段,若两个相邻簇之间无噪音点则将簇类变化的点定位分段点(即熔接点),若两个相邻簇之间含有噪声点,则判断噪声点的产生原因,是由于熔接点处布里渊频移变化或者是应力引起。如果噪声区域的布里渊频移值是单调的,则该处噪声区域为熔接点的布里渊频移变化引起,则将噪声点的中间点定义为分段点(即熔接点),如果噪声区域的布里渊频移值是非单调的则为应力数据,则忽略该处噪声区域,向后继续寻找该段光缆的截止熔接点,直至所有的分段点(熔接点)被找到;
根据本发明实施例,基于聚类分析的结果,可以得到分类的簇以及噪声点,根据该结果计算光纤的分段,如果两个分类之间无噪声点,则分类变化的点为分段点,如果两个分类之间有噪声点,则需判断该噪声点是由于空间分辨率所致的熔接点处布里渊频移跳变阶跃引起,还是由于应变引起的噪声点,如果判断其为空间分辨率所导致的噪声点,则将噪声点的中间点作为分段点,如果是由于应变引起的噪声点则忽略该噪声点,然后判断噪声点后面的分类是否与其前面的分类相同,若相同则忽略该噪声区域;若不同则将该噪声区域内所有噪声点布里渊频移值的均值分别与前面多个数据对象点、后面多个数据对象点布里渊频移值的均值进行作差比较:若与前面多个数据对象点对应的差值小,则噪声区域的最后一个噪声点即为接续点;若与后面多个数据对象点对应的差值小,则噪声区域的第一个噪声点即为接续点;向后继续判断,直至新的分类出现。
步骤5、基于分段结果,分别选取各个簇的100个非噪声点作为参考光纤,计算其布里渊频移均值作为每段光纤的参考布里渊频移值;
步骤6、基于光纤分段结果以及参考布里渊频移值,计算电力通信光缆的应变值,实现应变和温度的分离。
根据本发明实施例,根据连续的同一分类(包括分类中间包含由应变引起的噪声点)的光纤作为一个处理单元,选取一段光纤求布里渊频移的均值作为该分段光纤的参考布里渊频移值BFSREF,根据布里渊频移与温度和应变成线性关系,通过式(1)将布里渊频移转换为应变数据:
式中,Δε
i为应力的变化量(应变量),BFS
i为各点的布里渊频移值,BFS
REF为各段光纤的参考布里渊频移值,
为布里渊频移的应变系数,典型值为0.0482MHz/με,实现应变数据的解调,完成应变与温度的分离。图5是电力通信光缆应变解调结果图,图中横坐标为距离(单位m),纵坐标为应变量值(单位%)。
本发明中利用布里渊分布式光纤传感技术实现电力通信光缆的布里渊频移的测量,利用DBSCAN算法寻找熔接点,实现光缆的分段,寻找参考光纤,从而实现全线应变量的自动化解调。
本发明另一实施例提供了一种基于DBSCAN算法的在运电力通信光缆应变解调***,该***包括:
数据获取模块,用于利用分布式布里渊光纤应变监测仪测量光缆纤芯的布里渊频移曲线数据;其中,光缆包括多个接续点;
预处理模块,用于对布里渊频移曲线数据进行预处理,预处理包括有效数据截取、数据平滑和降采样;其中,有效数据截取为将布里渊频移曲线数据的前后端数据去除,获得中间段的有效数据;数据平滑为采用鲁棒局部加权回归算法对有效数据进行平滑处理;
聚类模块,用于利用聚类分析算法对经过预处理的布里渊频移曲线数据进行聚类,获得聚类结果;其中,聚类结果包括多个分类簇和多个噪声点;
分段模块,用于根据聚类结果对光缆进行分段,以相邻分类簇之间有无噪声点确定光缆所有接续点,按照接续点位置对光缆进行分段;
参考值获取模块,用于对分段结果中每段光缆选取多个非噪声点,计算多个非噪声点的布里渊频移值的均值作为每段光缆对应的参考布里渊频移值;
应变解调模块,用于根据参考布里渊频移值,对每段光缆计算其应变量,实现应变和温度的分离;对每段光缆计算其应变量的计算公式如下:
式中,Δε
i表示应变量;BFS
REF表示每段光缆的参考布里渊频移值;
表示布里渊频移的应变系数。
其中,聚类模块中利用基于密度的DBSCAN聚类算法进行聚类,具体包括:首先定义经过预处理的布里渊频移曲线数据为下述数据集D:
D={BFS1,BFS2,BFS3,…,BFSi,…,BFSN}
其中,数据对象点BFSi(i=1,…,N)表示第i个采样点的布里渊频移值,N表示采样点总数;
然后,对于给定的邻域半径和邻域中数据对象数目阈值,判断数据集D中每个数据对象点是核心点、边界点还是噪声点;核心点定义为邻域样本集中样本个数大于等于邻域中数据对象数目阈值的数据对象点;边界点定义为邻域样本集中样本个数小于邻域中数据对象数目阈值且在核心点邻域内的数据对象点;噪声点定义为既不是核心点也不是边界点的数据对象点;
然后,对于数据集D中每一个核心点,找出所有从该核心点出发的密度可达的其他数据对象点,从而形成多个簇。
其中,分段模块中以相邻分类簇之间有无噪声点确定光缆所有接续点的具体过程包括:
若两个相邻分类簇之间无噪声点,则簇的分类发生变化的数据对象点即为接续点;
若两个相邻分类簇之间有噪声点,则首先判断由多个噪声点组成的噪声区域是由于布里渊频移变化产生还是由于应力产生:判断噪声区域内所有噪声点布里渊频移值曲线是单调还是非单调,若是单调则判断是由于布里渊频移变化产生;若是非单调则判断是由于应力产生;若是由于布里渊频移变化产生则噪声区域的中间点即为接续点;若是由于应力产生,则继续判断该噪声区域后面的数据对象点的分类是否与其前面的数据对象点的分类相同,若相同则忽略该噪声区域;若不同则将该噪声区域内所有噪声点布里渊频移值的均值分别与前面多个数据对象点、后面多个数据对象点布里渊频移值的均值进行作差比较:若与前面多个数据对象点对应的差值小,则噪声区域的最后一个噪声点即为接续点;若与后面多个数据对象点对应的差值小,则噪声区域的第一个噪声点即为接续点;利用上述方法找到光缆所有接续点。
本发明实施例所述一种基于DBSCAN算法的在运电力通信光缆应变解调***的功能可以由前述一种基于DBSCAN算法的在运电力通信光缆应变解调方法说明,因此本实施例未详述部分,可参见以上方法实施例,在此不再赘述。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。