CN107644069B - 高密度监测数据的抽稀方法 - Google Patents

Abstract

本发明公开高密度监测数据的抽稀方法。该方法利用增加了预剪枝条件的道格拉斯‑普克算法从高密度监测数据中求得所需要的数据点集合。本方法能够用尽可能少的点较好的描述数据波动的趋势，采用预剪枝的道格拉斯算法，还可以有效的降低抽稀方法的计算复杂度，高效的抽取出感兴趣的数据点。

Description

高密度监测数据的抽稀方法

技术领域

本发明涉及数据的抽稀方法，尤其涉及高密度监测数据的抽稀方法，还涉及用于卫星导 航地基增强差分基站的高密度监测数据的抽稀方法。

背景技术

随着卫星导航、互联网技术和共享经济的快速发展，高精度定位需求愈发强烈。为了满 足高精度定位需求，可以使用地基增强技术对卫星数据进行差分纠正。稳定的基站服务是保 障最终服务质量的重要环节。在基站运维保障过程中，需要观测基站的(centralprocessing unit，CPU)、内存等其他设备的使用率的情况，而数据的采样频率通常是秒甚至是毫秒，如 此高的频率造成数据量非常庞大，因此，通常该类数据具有高密度的特性。同时，监测过程 的超高采样频率决定了将产生大量的时域冗余数据。如果要完成提取某一较长时间段的数据 在浏览器页面上观察数据点的变化的数据可视化操作，将很难在页面加载大量的数据，并且 不能满足低延迟查询的需求。例如，如果要观测一天的CPU使用率变化情况，采样频率为秒， 那么数据点的个数将是86400个。如果要在浏览器页面绘制所有的数据点，会导致浏览器页 面加载缓慢甚至不能加载等问题。而其实数据中存在大量的时间段的数据波动十分微小，仅 用少量的数据点即可表示。所以为了满足这个需求，需要对数据进行抽稀，用尽可能少的点 较好的描述数据波动的趋势。

发明内容

本发明解决的问题是高密度监测数据需要对数据进行抽稀，用尽可能少的点较好的描述 数据波动的趋势的问题。

本发明解决的另一问题是如何降低抽稀方法的计算复杂度的问题。

为解决上述问题，本发明提供一种高密度监测数据的抽稀方法。该方法利用增加了预剪 枝条件的道格拉斯-普克算法从高密度监测数据中求得所需要的数据点集合。

与现有技术相比，本发明至少具有以下优点：

1、本发明通过利用增加预剪枝的道格拉斯算法从监测数据中获得所需的数据点集合，这 样，满足对数据进行抽稀，用尽可能少的点较好的描述数据波动的趋势，采用预剪枝的道格 拉斯算法，还可以有效的降低抽稀方法的计算复杂度，高效的抽取出感兴趣的数据点。

2、本方法会预先设置所需的最大可取数据点数量，本方法所得出的数据点集合不会超过 所设置的最大数据点个数，避免了繁琐的后处理过程。

3、考虑到基站高密度数据的波动不会长时间十分剧烈的波动，所以对于波动较小的数据 分段，可以取较少的数据点，甚至只取首尾两个端点，从而将更多的数据点分配给波动较大 的数据分段。

4、采用分段处理的策略，根据差分标准差，有效的将更多的数据点分配给波动较大并且 频繁的数据分段，并且差分标准差可以有效的预估各个数据分段波动的剧烈程度，。同时，分 段策略也使得并行处理或是分布式处理成为可能。

具体实施方式

为详细说明本发明的技术内容、构造特征、所达成目的及功效，下面将结合实施例予以 详细说明。

本发明的目的是从基站的高密度监测数据抽取出感兴趣的数据点，这样的数据点的连线 将很好的反应数据的波动变化。本方法通过等数据量的分段方法切分数据，并计算各个数据 分段的差分标准差来反应变化的剧烈程度。按照标准差的大小和事先设定好的最大可取数据 点数量来分配各个数据段的最大可取数据点个数。在各个数据分段内使用改进的道格拉斯- 普克算法进行取点。方法的具体过程如下：

1.设置最大可取数据点个数n，数据段复杂度阈值ε₀，最终取点集合S并初始 化为空集。

2.计算数据分段个数

并对数据进行分段，每个分段的数据点个数为

其中N表示所有数据点的个数。

3.计算数据分段i的差分结果，差分即是用第k+1个数据点P_k+1减去第k个数据 点P_k。

4.计算数据分段i的差分结果的标准差σ_i，如果σ_i小于数据段复杂度阈值ε₀，则 将该数据段的差分标准差σ_i设置为0，其中σ_i的计算公式如下：

5.计算每个分段可取的数据点个数，分段i分配的最大可取数据点个数为记为n_i，

6.在各个数据分段使用改进的道格拉斯-普克算法，具体过程如下描述：

●初始化道格拉斯-普克算法的最大距离阈值ε₁，当前递归深度d为1，每个分 段所含最少的数据点个数n_min。

●计算分段内各数据点到分段两端数据点P_S和P_E的连线的欧氏距离并将P_S和 P_E加入到集合S中。这里需要注意的是，数据点的横坐标为时间，纵坐标为数据点 的大小。设取得最大距离的数据点为P_max，并且其到连线的距离为d_max。如果 d_max＜ε₁，递归终止。否则计算当前深度的最多可取数据点个数n_max，即2^d-1+1。 如果n_max≤n_i，递归终止。否则假设当前分段的数据点个数为n_i′，如果n_i′≤n_min， 递归终止。否则将P_max加入到S中，并对新的分段(P_S，P_max)和(P_max，P_E)重复上述 递归过程，并且深度加1。

本发明实施方式与现有技术相比，至少具有以下区别和效果：

首先，本方法会预先设置所需的最大可取数据点数量，本方法所得出的数据点集合不会 超过所设置的最大数据点个数，避免了繁琐的后处理过程。其次，考虑到基站高密度数据的 波动不会长时间十分剧烈的波动，所以对于波动较小的分段，可以取较少的数据点，甚至只 取首尾两个端点，从而将更多的数据点分配给波动较大的分段。再次，采用分段处理的策略， 根据差分标准差可以有效的预估各个数据分段波动的剧烈程度。最后，对于传统的道格拉斯 算法，增加了预剪枝的功能：1)考虑到基站的应用场景，相邻的数据点不会有突然较大的波 动，所以当分段的数据点个数较少时，可以停止递归。2)考虑到预先设置的最大可取数据点 个数，按照假设每一分段都向下递归的情况，求出递归到当前层时所取的数据点个数，即2 的幂次加1。如果假设所取的数据点的个数大于或等于最大可取数据点的数量，则停止递归， 这样，可以用较低的计算复杂度代价，高效的抽取出感兴趣的数据点，即变化较大的极值点。

Claims (4)

1.用于导航卫星地基增强差分基站的高密度监测数据的抽稀方法，其特征在于：该方法利用增加了预剪枝条件的道格拉斯-普克算法从高密度监测数据中求得所需要的数据点集合；

包括如下步骤：

初始化道格拉斯-普克算法的最大距离阈值ε₁，当前递归深度d为1，每个数据分段所含最少的数据点个数n_min；

计算数据分段内各数据点到数据分段两端数据点P_S和P_E的连线的欧氏距离并将P_S和P_E加入到集合S中，设取得最大距离的数据点为P_max，并且其到连线的距离为d_max，如果d_max＜ε₁，递归终止，否则计算当前深度的最多可取数据点个数n_max，即2^d-1+1，如果n_max≤n_i，递归终止，否则假设当前数据分段的数据点个数为n_i′，如果n_i′≤n_min，递归终止，否则将P_max加入到S中，并对新的数据分段(P_S，P_max)和(P_max，P_E)重复上述递归过程，并且深度加1；

n为分段i分配的最大可取数据点个数；

所述方法还包括如下步骤：

(1)参数初始化，包括最大可取数据点数量n，数据分段复杂度阈值ε₀和最终取点集合S并初始化为空集；

(2)计算数据分段个数，并进行数据分段；

(3)计算每个数据分段的差分结果及该数据分段的差分结果的差分标准差，并计算每个数据分段可取的数据点个数。

2.如权利要求1所述的用于导航卫星地基增强差分基站的高密度监测数据的抽稀方法，其特征在于：每个所述数据分段的数据量相等。

3.高密度监测数据的抽稀方法，其特征在于：该方法利用增加了预剪枝条件的道格拉斯-普克算法从高密度监测数据中求得所需数据点集合；

初始化道格拉斯-普克算法的最大距离阈值ε₁，当前递归深度d为1，每个分段所含最少的数据点个数n_min；

计算数据分段内各数据点到数据分段两端数据点P_S和P_E的连线的欧氏距离并将P_S和P_E加入到集合S中，设取得最大距离的数据点为P_max，并且其到连线的距离为d_max，如果d_max＜ε₁，递归终止，否则计算当前深度的最多可取数据点个数n_max，即2^d-1+1，如果n_max≤n_i，递归终止，否则假设当前数据分段的数据点个数为n_i′，如果n_i′≤n_min，递归终止，否则将P_max加入到S中，并对新的数据分段(P_S，P_max)和(P_max，P_E)重复上述递归过程，并且深度加1；

n_i为分段i分配的最大可取数据点个数；

所述方法还包括如下步骤：

(1)参数初始化，包括最大可取数据点数量n，数据分段复杂度阈值ε₀和最终取点集合S并初始化为空集；

(2)计算数据分段个数，并进行数据分段；

(3)计算每个数据分段的差分结果及该数据分段的差分结果的差分标准差，并计算每个数据分段可取的数据点个数。

4.如权利要求3所述的高密度监测数据的抽稀方法，其特征在于：每个所述数据分段的数据量相等。