CN106933977A - 一种基于大数据挖掘分类剔除飞行参数野值的方法 - Google Patents

Abstract

本发明提供了一种基于大数据挖掘分类剔除飞行参数野值的方法。飞行器在飞行过程中，会在飞行记录仪中记录下飞行参数，数据中包含不合常理的野值，需要剔除才能满足事后分析的要求。采用数据分段方法将飞行数据有规律的分解，利用曲线拟合的特点可快速匹配相关数据点，并得到有关统计信息，将不同飞行参数的统计信息组合成方差组，利用径向基神经网络分类特点，可快速识别包含野值的飞行参数段，随后对病态数据段根据最大最小值以及均值的特点快速识别野值的位置，依次类推，得到不同飞行参数全数据段的野值点。此方法采用大数据挖掘的思想，不同于普通多点滤波发掘野值的方法，尤其是对海量含野点的数据具有较好的快速性与准确性。

Description

一种基于大数据挖掘分类剔除飞行参数野值的方法

技术领域

本发明提供了一种基于大数据挖掘分类剔除飞行参数野值的方法，属于飞行控制***中数据处理领域,主要应用于无人机飞行数据野值处理。

背景技术

在无人机飞行试验中，需要测量无人机飞行中的各种飞行参数，并将其保存在数据记录仪中供事后分析。但测量中由于设备或信号的问题，记录的数据含有野值，这种野值如果不剔除的话，会为飞机性能事后分析带来较大影响，因此在数据分析前有必要采取一定的方法来剔除野值，保证数据的完备性和可靠性。

在已有的剔野值方法中，一般采用多点平滑滤波计算先验均值，然后采用当前值与先验均值比较的方法来判断是否当前值为野值；或者采用kalman滤波的方法，估计先验值的统计信息，计算kalman方程来预测，判断当前值是否为野值。但上述方法均有计算量大，处理时间长或计算方法较为复杂的缺点，当飞行数据较大时，会花费较多的时间。

如何采用数据挖掘的思想来处理飞行数据的野值问题，是本领域亟待解决的技术问题。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供了一种基于大数据挖掘分类剔除飞行参数野值的方法，实现了对无人机海量飞行数据快速提取野值。

本发明的技术解决方案是：

提供一种基于大数据挖掘分类剔除飞行参数野值的方法，步骤如下：

(1)设置输入矩阵P∈R^3×4，其中列向量为飞行参数，包括经度、纬度、高度的拟合方差，行向量代表四类门限，分别为每个飞行参数不含野值，只有经度含野值，只有纬度含野值和只有高度含野值含野值情况下的门限；采用径向基神经网络(RBN)训练矩阵P∈R^3×4；

(2)读入经度，纬度和高度飞行数据，每个飞行参数数据量为N，将每个飞行参数分为M个一段，共分为N/M段；采用多项式拟合方法对每个飞行参数每段数据进行拟合，得到拟合统计均方差矩阵Cov_∈R^3×(N/M)；

(3)将步骤(2)得到的拟合统计均方差矩阵Cov_∈R^3×(N/M)用矩阵P∈R^3×4进行门限检验，共产生N/M个分类量，将它们放置到分类向量组里Class_seri_∈R^(N/M)×1，实现数据段的粗分检；

(4)对步骤(3)中产生的分类向量组Class_seri_∈R^(N/M)×1进行识别，当分辨出Class_seri_含有不为第一类门限的分类时，说明该数据段含有野值；对经度、纬度、高度分别将含野值的数据段抽取最大值、最小值和均值max(i),min(i),mean(i),i∈[1,N/M]；计算判断所处范围，当时，将第i段中的数据中的最大值max(i)替换为均值mean(i)；当时，将第i段中的数据中的最小值min(i)替换为均值mean(i)；当时，不进行处理；对所有数据段处理完成后，获得剔除飞行参数野值后的正常数据。

优选的，步骤(4)中还包括当时，将最大值max(i)的位置记入野值记录向量WILD_POINT中，当时，将最小值min(i)记入野值记录向量WILD_POINT中。

优选的，将WILD_POINT中的位置数据按冒泡排序的方法按照从小到大排列，并将同位置进行删除，得到按位置从小到大排列的数组WILD_POINT。

优选的，步骤(2)中还包括对每段数据进行归一化处理，归一化处理后再采用多项式拟合方法对每个飞行参数每段数据进行拟合。

优选的，当时，将第i段中的数据中的最大值max(i)替换为卡尔曼滤波估计出来的当前值；当时，将第i段中的数据中的最小值min(i)替换为卡尔曼滤波估计出来的当前值。

优选的，产生N/M个分类量的方法为：将某一向量第一个拟合方差与只有经度含野值门限对比，如果大于等于该门限值，则该向量为第二类；如果小于该门限值，则将第二个拟合方差与只有纬度含野值门限对比，如果大于等于该门限值，则该向量为第三类；如果小于该门限值，则将第三个拟合方差与只有高度含野值含野值门限对比，如果大于等于该门限值，则该向量为第四类；如果小于该门限值，则该向量为第一类。

本发明与现有技术相比的有益效果是：

(1)本发明采用大数据挖掘的思想来处理飞行数据的野值问题，当数据量巨大时尤其合适。它摈弃了现有技术需要逐点分析花费时间较多的缺点，采用曲线拟合统计和神经网络分类的方法实现了对大数据中野值点的快速分类和提取，通过野值的特征来发掘野值符合大数据挖掘的思想，满足对飞行数据野值预处理的要求。

(2)本发明首先采用神经网络进行原始数据粗分类，再采用门限比较进行野值点提取，既兼顾了数据处理效率，又保证了野值提取的准确性。

(3)本发明对原始数据进行分段处理，每段计算方差，采用方差与神经网络对比的方式，进一步提升了对大数据的处理能力。

(4)本发明提供了包含原始数据中所有野值位置点的数据集合，满足后续故障检测和正常处理数据的需求。

附图说明

图1为本发明流程图；

图2为飞行数据经度、纬度和高度野值分布情况；

图3为选取500点数据段无野值经度、纬度和高度多项式拟合的曲线(上图：经度；中图：纬度；下图：高度)；

图4为选取500点数据段含野值经度、纬度和高度多项式拟合的曲线(上图：经度；中图：纬度；下图：高度)；

图5为选取500点数据段野值分类图；

图6为选取500点数据段经过排序和合并处理后最终野值分布图。

具体实施方式

本发明中无人机采用GPS实现导航定位，在飞行过程中数据记录仪将GPS信号和其他传感器信号记录下来，待到无人机停飞时，将数据记录仪中记录的GPS数据读取出来，供事后处理和分析。但在GPS信号中，经常会遇到不合常理的野值，它们的存在导致飞机飞行性能分析处于不利的影响，干扰人们对飞机性能的认识，因此，在对GPS数据处理前，需要先一步对野值进行处理，满足后续分析需求。

如图1所示，本发明提供的一种基于大数据挖掘分类剔除飞行参数野值的方法，步骤如下：

(1)本发明首先需要训练RBN神经网络作为经纬高数据点拟合曲线方差的检测门限。设置输入矩阵P∈R^3×4，其中列向量代表经度、纬度、高度三个拟合方差组合，行向量代表每个飞参含野值的门限，共四组。设置输出向量T＝[1,2,3,4]∈R^1×4对应列向量不同飞参出现不同野值的类型。训练RBN成为飞参方差检验的门限。

采用不同的特征数据检验RBN检验门限的可靠性，输入矩阵P阵中的方差门限需要经过大量飞行参数检验才行，它需要有效识别经纬高三个参数中不含野值情况，只有经度含野值，只有纬度含野值和只有高度含野值四种类型，为各类型设置的门限应能在大概率范围内识别该野值属于那种类型，当满足上述要求时，才认为RBN训练完毕，可以用于下一步检测。

(2)从数据记录仪上下载的飞行数据文献中读入经度，纬度和高度飞行参数数据DATA，假设每个参数数据量为N，分别表示为LON∈R^N×1,LAT∈R^N×1,HIG∈R^N×1，将每个飞行参数按M个数据点取一段，共可分为N/M段,每段可表示为LON(i)∈R^M×1,LAT(i)∈R^M×1,HIG(i)∈R^M×1,(i＝1...N/M)。采用2阶多项式按照最小二乘算法对每段数据M个数据点进行拟合，将每段获得的方差，按行列排列，得到拟合统计均方差向量Cov_＝[Cov_LON,Cov_LAT,Cov_HIG]∈R^3×(N/M)，Cov_列包含经、纬、高三个参数对相同位置处M个数据点拟合方差，行代表处理了N/M次。

(3)将(2)中拟合的均方差向量组Cov_∈R^3×(N/M)用(1)中训练的RBN检验门限逐行对比，分别确定每行的分类，共可产生N/M个分类量，将它们放置到分类向量组里Class_seri_∈R^(N/M)×1，实现数据段的粗分检，在粗分检中，分类1代表三个飞参在相同位置数据段产生的拟合方差在RBN检验门限范围内，即数据段中不含野值，而2，3，4三种分类分别代表了经度，纬度和高度三种参数各自数据段出现野值的情况，在本方法中，如果这三种参数在相同位置数据段同时出现野值，则按照序号序号最小的原则标出分类。

(4)将(3)中产生的分类向量组Class_seri_∈R^(N/M)×1进行识别，当分辨出Class_seri_含有不为1类型的单元时，说明该数据段含有野值。将含野值相关的第i段数据段抽取最大值、最小值和均值max(i),min(i),mean(i),i∈[1,N/M]，然后判断它们之间的关系是否满足公式(1)，其中为判断野值是否存在的门限：

当满足公式(1)中第1式时，说明野值在均值上方，将最大点对应位置记录在野值数组WILD_POINT中，同时将此野值点对应的数据采用均值替换，获得了剔除飞行参数野值的数据；当满足公式(1)中第3式时，说明野值在均值下方，将最小点对应位置记录在野值数组WILD_POINT中，同时将此野值点对应的数据采用均值替换；若不满足上述两式，则说明数据段i中所有值在均值所在的上下门限内散布，不存在野值，不对此数据段做处理。本发明采用均值替换野值，也可以采用卡尔曼滤波的方式估计当前值的方式，替换野值。

此方法针对经度，纬度和高度三个飞参各执行一次，共执行三次数据段识别，生成野值记录向量WILD_POINT∈R^k×1，其中共包含k个野值位置。

(5)由于在产生野值记录向量WILD_POINT过程中，是按照最大最小值位置方法记录的，因此WILD_POINT中的位置数据不是按照由小到大的顺序设置，而且三个飞参各执行一次此过程，将所有野值位置都记录在同一个数组中，也可能会出现有相同位置的野值记录，因此需要将WILD_POINT产生的野值记录向量WILD_POINT用冒泡法排序，并将同位置记录合并删除，最终生成实际的野值位置记录点WILD_POINT∈R^(k-p)×1，这其中会删除p个相同的位置点，而且按照从小到大排列。

其中冒泡法是指将数组中的当前点放置在第1点上，并与其后的数据一次进行比较，当发现后面第i点数据比第1点小时，则将两个数据互换，这样将后续数据遍历后，最小点则放置到第一点上，然后将当前点放置在第2点上，依上法同样遍历一遍，找到第2最小点放在位置2上，当前点依此法持续进行到数组末尾，则此数组会按照从小到大顺序排列。

但冒泡法会将两个相同位置点也摆放在一起，这样需要再将数组遍历一遍，找到紧挨在一起的数据点，将其合并为一个，并将数组相应的减小大小，直到数组中无相同位置数，程序结束。

(6)最终生成的WILD_POINT的数组就是包含原始数据中所有野值位置点的数据集合。进而获得最终野值分布图，为后续设备故障检测或者数据处理，提供依据。

使用本发明的飞行控制方法进行飞行参数野值剔除计算，初始条件为飞行参数记录共53040个点，其中野值点共21个，初始野值分布如图2所示。

本发明首先需要训练作为野值分类门限的径向基神经网络(RBN)，设置分类如表1RBN神经网络门限参数P阵与分类T设置参数对应关系所示，其中正常门限经度/纬度/高度分别对应1/1/3，其分类标志为1类；当只出现经度野值时，它们门限分别对应1.1/1/3，其分类标志为2类；当只出现纬度野值时，它们门限分别对应1/1.1/3，其分类标志为3类；当只出现纬度野值时，它们门限分别对应1/1/3.1，其分类标志为4类。这样通过训练RBN神经网络，可以将拟合后的方差门限做到精确分类。

表1 RBN神经网络门限参数P阵与分类T设置参数对应关系

P阵	正常	经度野值	纬度野值	高度野值
					经度	1	1.1	1	1
纬度	1	1	1.1	1
					高度	3	3	3	3.1
T分类	1	2	3	4

设置数据段为500个一组，进行多项式数据拟合，寻找对应于经度/纬度/高度的方差Cov_＝[Cov_LON,Cov_LAT,Cov_HIG]∈R^3×106。无野值情况的500点数据拟合如图3所示，含野值情况的500点数据拟合如图4所示。

经过RBN对Cov_进行分类，可找到分类向量组Class_seri_∈R^106×1，其分布情况如图5所示，图中分类1代表相关500数据点中不含野值分布。

将Class_seri中含野值的500数据点进行最大、最小和均值识别，确定的野值数据保存在野值数组WILD_POINT∈R^25×1中，随后进行排序和合并最终生成按照顺序排列的野值数组WILD_POINT∈R^21×1，其位置分布如图6所示。

这样，经过本发明处理，含野值的大数据可快速定位野值位置，满足飞行数据事后处理的需要。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (6)

1.一种基于大数据挖掘分类剔除飞行参数野值的方法，其特征在于，步骤如下：

(1)设置输入矩阵P∈R^3×4，其中列向量为飞行参数，包括经度、纬度、高度的拟合方差，行向量代表四类门限，分别为每个飞行参数不含野值，只有经度含野值，只有纬度含野值和只有高度含野值含野值情况下的门限；采用径向基神经网络(RBN)训练矩阵P∈R^3×4；

(2)读入经度，纬度和高度飞行数据，每个飞行参数数据量为N，将每个飞行参数分为M个一段，共分为N/M段；采用多项式拟合方法对每个飞行参数每段数据进行拟合，得到拟合统计均方差矩阵Cov_∈R^3×(N/M)；

(3)将步骤(2)得到的拟合统计均方差矩阵Cov_∈R^3×(N/M)用矩阵P∈R^3×4进行门限检验，共产生N/M个分类量，将它们放置到分类向量组Class_seri_∈R^(N/M)×1里，实现数据段的粗分检；

(4)对步骤(3)中产生的分类向量组Class_seri_∈R^(N/M)×1进行识别，当分辨出Class_seri_含有不为第一类门限的分类时，说明该数据段含有野值；对经度、纬度、高度分别将含野值的数据段抽取最大值、最小值和均值max(i),min(i),mean(i),i∈[1,N/M]；计算判断所处范围，当时，将第i段中的数据中的最大值max(i)替换为均值mean(i)；当时，将第i段中的数据中的最小值min(i)替换为均值mean(i)；当时，不进行处理；对所有数据段处理完成后，获得剔除飞行参数野值后的正常数据，为阈值。

2.如权利要求1所述的基于大数据挖掘分类剔除飞行参数野值的方法，其特征在于，步骤(4)中还包括当时，将最大值max(i)的位置记入野值记录向量WILD_POINT中，当时，将最小值min(i)记入野值记录向量WILD_POINT中。

3.如权利要求2所述的基于大数据挖掘分类剔除飞行参数野值的方法，其特征在于，将WILD_POINT中的位置数据按冒泡排序的方法按照从小到大排列，并将同位置进行删除，得到按位置从小到大排列的数组WILD_POINT。

4.如权利要求1所述的基于大数据挖掘分类剔除飞行参数野值的方法，其特征在于，步骤(2)中还包括对每段数据进行归一化处理，归一化处理后再采用多项式拟合方法对每个飞行参数每段数据进行拟合。

5.如权利要求1所述的基于大数据挖掘分类剔除飞行参数野值的方法，其特征在于，步骤(4)中，当时，将第i段中的数据中的最大值max(i)替换为卡尔曼滤波估计出来的当前值；当时，将第i段中的数据中的最小值min(i)替换为卡尔曼滤波估计出来的当前值。

6.如权利要求1所述的基于大数据挖掘分类剔除飞行参数野值的方法，其特征在于，产生N/M个分类量的方法为：将某一向量第一个拟合方差与只有经度含野值门限对比，如果大于等于该门限值，则该向量为第二类；如果小于该门限值，则将第二个拟合方差与只有纬度含野值门限对比，如果大于等于该门限值，则该向量为第三类；如果小于该门限值，则将第三个拟合方差与只有高度含野值含野值门限对比，如果大于等于该门限值，则该向量为第四类；如果小于该门限值，则该向量为第一类。