CN107644069A - 高密度监测数据的抽稀方法 - Google Patents

高密度监测数据的抽稀方法 Download PDF

Info

Publication number
CN107644069A
CN107644069A CN201710815056.6A CN201710815056A CN107644069A CN 107644069 A CN107644069 A CN 107644069A CN 201710815056 A CN201710815056 A CN 201710815056A CN 107644069 A CN107644069 A CN 107644069A
Authority
CN
China
Prior art keywords
data
sectional
max
high density
density monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710815056.6A
Other languages
English (en)
Other versions
CN107644069B (zh
Inventor
陈有为
万景琨
曲洋
高山岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxun Position Network Co Ltd
Original Assignee
Qianxun Position Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianxun Position Network Co Ltd filed Critical Qianxun Position Network Co Ltd
Priority to CN201710815056.6A priority Critical patent/CN107644069B/zh
Publication of CN107644069A publication Critical patent/CN107644069A/zh
Application granted granted Critical
Publication of CN107644069B publication Critical patent/CN107644069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开高密度监测数据的抽稀方法。该方法利用增加了预剪枝条件的道格拉斯‑普克算法从高密度监测数据中求得所需要的数据点集合。本方法能够用尽可能少的点较好的描述数据波动的趋势，采用预剪枝的道格拉斯算法，还可以有效的降低抽稀方法的计算复杂度，高效的抽取出感兴趣的数据点。

Description

高密度监测数据的抽稀方法
技术领域
本发明涉及数据的抽稀方法，尤其涉及高密度监测数据的抽稀方法，还涉及用于卫星导 航地基增强差分基站的高密度监测数据的抽稀方法。
背景技术
随着卫星导航、互联网技术和共享经济的快速发展，高精度定位需求愈发强烈。为了满 足高精度定位需求，可以使用地基增强技术对卫星数据进行差分纠正。稳定的基站服务是保 障最终服务质量的重要环节。在基站运维保障过程中，需要观测基站的(centralprocessing unit，CPU)、内存等其他设备的使用率的情况，而数据的采样频率通常是秒甚至是毫秒，如 此高的频率造成数据量非常庞大，因此，通常该类数据具有高密度的特性。同时，监测过程 的超高采样频率决定了将产生大量的时域冗余数据。如果要完成提取某一较长时间段的数据 在浏览器页面上观察数据点的变化的数据可视化操作，将很难在页面加载大量的数据，并且 不能满足低延迟查询的需求。例如，如果要观测一天的CPU使用率变化情况，采样频率为秒， 那么数据点的个数将是86400个。如果要在浏览器页面绘制所有的数据点，会导致浏览器页 面加载缓慢甚至不能加载等问题。而其实数据中存在大量的时间段的数据波动十分微小，仅 用少量的数据点即可表示。所以为了满足这个需求，需要对数据进行抽稀，用尽可能少的点 较好的描述数据波动的趋势。
发明内容
本发明解决的问题是高密度监测数据需要对数据进行抽稀，用尽可能少的点较好的描述 数据波动的趋势的问题。
本发明解决的另一问题是如何降低抽稀方法的计算复杂度的问题。
为解决上述问题，本发明提供一种高密度监测数据的抽稀方法。该方法利用增加了预剪 枝条件的道格拉斯-普克算法从高密度监测数据中求得所需要的数据点集合。
与现有技术相比，本发明至少具有以下优点：
1、本发明通过利用增加预剪枝的道格拉斯算法从监测数据中获得所需的数据点集合，这 样，满足对数据进行抽稀，用尽可能少的点较好的描述数据波动的趋势，采用预剪枝的道格 拉斯算法，还可以有效的降低抽稀方法的计算复杂度，高效的抽取出感兴趣的数据点。
2、本方法会预先设置所需的最大可取数据点数量，本方法所得出的数据点集合不会超过 所设置的最大数据点个数，避免了繁琐的后处理过程。
3、考虑到基站高密度数据的波动不会长时间十分剧烈的波动，所以对于波动较小的数据 分段，可以取较少的数据点，甚至只取首尾两个端点，从而将更多的数据点分配给波动较大 的数据分段。
4、采用分段处理的策略，根据差分标准差，有效的将更多的数据点分配给波动较大并且 频繁的数据分段，并且差分标准差可以有效的预估各个数据分段波动的剧烈程度，。同时，分 段策略也使得并行处理或是分布式处理成为可能。
具体实施方式
为详细说明本发明的技术内容、构造特征、所达成目的及功效，下面将结合实施例予以 详细说明。
本发明的目的是从基站的高密度监测数据抽取出感兴趣的数据点，这样的数据点的连线 将很好的反应数据的波动变化。本方法通过等数据量的分段方法切分数据，并计算各个数据 分段的差分标准差来反应变化的剧烈程度。按照标准差的大小和事先设定好的最大可取数据 点数量来分配各个数据段的最大可取数据点个数。在各个数据分段内使用改进的道格拉斯- 普克算法进行取点。方法的具体过程如下：
1.设置最大可取数据点个数n，数据段复杂度阈值ε0，最终取点集合S并初始 化为空集。
2.计算数据分段个数并对数据进行分段，每个分段的数据点个数为 其中N表示所有数据点的个数。
3.计算数据分段i的差分结果，差分即是用第k+1个数据点Pk+1减去第k个数据 点Pk。
4.计算数据分段i的差分结果的标准差σi，如果σi小于数据段复杂度阈值ε0，则 将该数据段的差分标准差σi设置为0，其中σi的计算公式如下：
5.计算每个分段可取的数据点个数，分段i分配的最大可取数据点个数为记为ni，
6.在各个数据分段使用改进的道格拉斯-普克算法，具体过程如下描述：
●初始化道格拉斯-普克算法的最大距离阈值ε1，当前递归深度d为1，每个分 段所含最少的数据点个数nmin。
●计算分段内各数据点到分段两端数据点PS和PE的连线的欧氏距离并将PS和 PE加入到集合S中。这里需要注意的是，数据点的横坐标为时间，纵坐标为数据点 的大小。设取得最大距离的数据点为Pmax，并且其到连线的距离为dmax。如果 dmax＜ε1，递归终止。否则计算当前深度的最多可取数据点个数nmax，即2d-1+1。 如果nmax≤ni，递归终止。否则假设当前分段的数据点个数为ni′，如果ni′≤nmin， 递归终止。否则将Pmax加入到S中，并对新的分段(PS，Pmax)和(Pmax，PE)重复上述 递归过程，并且深度加1。
本发明实施方式与现有技术相比，至少具有以下区别和效果：
首先，本方法会预先设置所需的最大可取数据点数量，本方法所得出的数据点集合不会 超过所设置的最大数据点个数，避免了繁琐的后处理过程。其次，考虑到基站高密度数据的 波动不会长时间十分剧烈的波动，所以对于波动较小的分段，可以取较少的数据点，甚至只 取首尾两个端点，从而将更多的数据点分配给波动较大的分段。再次，采用分段处理的策略， 根据差分标准差可以有效的预估各个数据分段波动的剧烈程度。最后，对于传统的道格拉斯 算法，增加了预剪枝的功能：1)考虑到基站的应用场景，相邻的数据点不会有突然较大的波 动，所以当分段的数据点个数较少时，可以停止递归。2)考虑到预先设置的最大可取数据点 个数，按照假设每一分段都向下递归的情况，求出递归到当前层时所取的数据点个数，即2 的幂次加1。如果假设所取的数据点的个数大于或等于最大可取数据点的数量，则停止递归， 这样，可以用较低的计算复杂度代价，高效的抽取出感兴趣的数据点，即变化较大的极值点。

Claims (8)

1.用于导航卫星地基增强差分基站的高密度监测数据的抽稀方法，其特征在于：该方法利用增加了预剪枝条件的道格拉斯-普克算法从高密度监测数据中求得所需要的数据点集合。
2.如权利要求1所述的导航卫星地基增强差分基站的高密度监测数据的抽稀方法，其特征在于：所述方法还包括如下步骤：
(1)参数初始化，包括最大可取数据点数量n，数据分段复杂度阈值ε0和最终取点集合S并初始化为空集。
(2)计算数据分段个数，并进行数据分段。
(3)计算每个数据分段的差分结果及该数据分段的差分结果的差分标准差，并计算每个数据分段可取的数据点个数，分段i分配的最大可取数据点个数为记为ni。
(4)利用增加了预剪枝条件的道格拉斯-普克算法对各个数据分段的数据进行取点以形成需要的数据点集合。
3.如权利要求2所述的用于导航卫星地基增强差分基站的高密度监测数据的抽稀方法，其特征在于：每个所述数据分段的数据量相等。
4.如权利要求2所述的用于卫星导航地基增强差分基站的高密度监测数据的抽稀方法，其特征在于：所述步骤(4)包括如下步骤：
初始化道格拉斯-普克算法的最大距离阈值ε1，当前递归深度d为1，每个数据分段所含最少的数据点个数nmin。
计算数据分段内各数据点到数据分段两端数据点PS和PE的连线的欧氏距离并将PS和PE加入到集合S中，设取得最大距离的数据点为Pmax，并且其到连线的距离为dmax，如果dmax＜ε1，递归终止，否则计算当前深度的最多可取数据点个数nmax，如果nmax≤ni，递归终止，否则假设当前数据分段的数据点个数为ni′，如果ni′≤nmin，递归终止，否则将Pmax加入到S中，并对新的数据分段(PS，Pmax)和(Pmax，PE)重复上述递归过程，并且深度加1。
5.高密度监测数据的抽稀方法，其特征在于：该方法利用增加了预剪枝条件的道格拉斯-普克算法从高密度监测数据中求得所需数据点集合。
6.如权利要求5所述的高密度监测数据的抽稀方法，其特征在于：所述方法还包括如下步骤：
(1)参数初始化，包括最大可取数据点数量n，数据分段复杂度阈值ε0和最终取点集合S并初始化为空集。
(2)计算数据分段个数，并进行数据分段。
(3)计算每个数据分段的差分结果及该数据分段的差分结果的差分标准差，并计算每个数据分段可取的数据点个数，分段i分配的最大可取数据点个数为记为n_i。
(4)利用增加了剪枝条件的的道格拉斯-普克算法对各个数据分段的数据进行取点以形成需要的数据点集合。
7.如权利要求6所述的用于导航卫星地基增强差分基站的高密度监测数据的抽稀方法，其特征在于：每个所述数据分段的数据量相等。
8.如权利要求6所述的用于卫星导航地基增强差分基站的高密度监测数据的抽稀方法，其特征在于：所述步骤(4)包括如下步骤：
初始化道格拉斯-普克算法的最大距离阈值ε1，当前递归深度d为1，每个分段所含最少的数据点个数nmin。
计算数据分段内各数据点到数据分段两端数据点PS和PE的连线的欧氏距离并将PS和PE加入到集合S中，设取得最大距离的数据点为Pmax，并且其到连线的距离为dmax，如果dmax＜ε1，递归终止，否则计算当前深度的最多可取数据点个数nmax，如果nmax≤ni，递归终止，否则假设当前数据分段的数据点个数为ni′，如果ni′≤nmin，递归终止，否则将Pmax加入到S中，并对新的数据分段(PS，Pmax)和(Pmax，PE)重复上述递归过程，并且深度加1。
CN201710815056.6A 2017-09-11 2017-09-11 高密度监测数据的抽稀方法 Active CN107644069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710815056.6A CN107644069B (zh) 2017-09-11 2017-09-11 高密度监测数据的抽稀方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710815056.6A CN107644069B (zh) 2017-09-11 2017-09-11 高密度监测数据的抽稀方法

Publications (2)

Publication Number Publication Date
CN107644069A true CN107644069A (zh) 2018-01-30
CN107644069B CN107644069B (zh) 2021-03-19

Family

ID=61111391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710815056.6A Active CN107644069B (zh) 2017-09-11 2017-09-11 高密度监测数据的抽稀方法

Country Status (1)

Country Link
CN (1) CN107644069B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159498A (zh) * 2019-12-31 2020-05-15 北京蛙鸣华清环保科技有限公司 一种数据点抽稀方法、装置及电子设备
CN117150217A (zh) * 2023-11-01 2023-12-01 苏州爱雄斯通信技术有限公司 一种基于大数据的数据压缩处理方法
CN117560015A (zh) * 2024-01-12 2024-02-13 山东易方云冷热工程技术有限公司 一种空调安装工程数据高效处理***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606621B2 (en) * 2001-05-30 2003-08-12 Oracle International Corp. Methods and apparatus for aggregating sparse data
CN102568009A (zh) * 2010-12-17 2012-07-11 上海博泰悦臻电子设备制造有限公司 用于电子地图的线段抽稀装置及其方法
CN104766081A (zh) * 2015-03-19 2015-07-08 南京大学 基于自然岸线数据提取领海基线的方法
CN105205288A (zh) * 2015-10-28 2015-12-30 中国人民解放军国防科学技术大学 基于模式演化的卫星长期在轨运行状态的预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606621B2 (en) * 2001-05-30 2003-08-12 Oracle International Corp. Methods and apparatus for aggregating sparse data
CN102568009A (zh) * 2010-12-17 2012-07-11 上海博泰悦臻电子设备制造有限公司 用于电子地图的线段抽稀装置及其方法
CN104766081A (zh) * 2015-03-19 2015-07-08 南京大学 基于自然岸线数据提取领海基线的方法
CN105205288A (zh) * 2015-10-28 2015-12-30 中国人民解放军国防科学技术大学 基于模式演化的卫星长期在轨运行状态的预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡新玲等: ""管线设计中断面数据的压缩算法"", 《地理空间信息》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159498A (zh) * 2019-12-31 2020-05-15 北京蛙鸣华清环保科技有限公司 一种数据点抽稀方法、装置及电子设备
CN117150217A (zh) * 2023-11-01 2023-12-01 苏州爱雄斯通信技术有限公司 一种基于大数据的数据压缩处理方法
CN117150217B (zh) * 2023-11-01 2024-01-26 苏州爱雄斯通信技术有限公司 一种基于大数据的数据压缩处理方法
CN117560015A (zh) * 2024-01-12 2024-02-13 山东易方云冷热工程技术有限公司 一种空调安装工程数据高效处理***
CN117560015B (zh) * 2024-01-12 2024-03-22 山东易方云冷热工程技术有限公司 一种空调安装工程数据高效处理***

Also Published As

Publication number Publication date
CN107644069B (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN111242282B (zh) 基于端边云协同的深度学习模型训练加速方法
CN107644069A (zh) 高密度监测数据的抽稀方法
Kumar et al. Technological change, technological catch-up, and capital deepening: relative contributions to growth and convergence
WO2017185412A1 (zh) 一种支持较少位数定点数的神经网络运算的装置和方法
CN107273917A (zh) 一种基于并行化主成分分析算法的数据降维方法
CN114265631B (zh) 一种基于联邦元学习的移动边缘计算智能卸载方法及装置
CN104199942B (zh) 一种Hadoop平台时序数据增量计算方法及***
CN113392919A (zh) 基于客户端选择的联邦注意力dbn协同检测***
Wen et al. Probabilistic wind power forecasting via Bayesian deep learning based prediction intervals
CN112966807A (zh) 基于存储资源受限fpga的卷积神经网络实现方法
CN108920273B (zh) 一种边缘云的计算卸载激励方法
CN107240100A (zh) 一种基于遗传算法的图像分割方法和***
CN105393518A (zh) 分布式缓存控制方法及装置
CN106990913A (zh) 一种大规模流式集合数据的分布式处理方法
CN112712164B (zh) 一种神经网络的非均匀量化方法
Tie et al. To accurately and lightly downscale the temperature field by deep learning
CN105630999A (zh) 服务器压缩数据的方法和装置
CN113434209B (zh) 一种端边二层协同计算卸载方法、装置、终端及存储介质
CN108123893A (zh) 一种实时虚拟机迁移的多目标带宽分配方法
CN111538560B (zh) 一种虚拟机部署方法、装置、电子设备及其存储介质
CN103514589A (zh) 图像恢复中的滤波方法
CN113420831A (zh) 热带气旋分析方法、装置、设备及存储介质
CN104683817B (zh) 基于avs的并行变换和反变换方法
Li et al. Adaptive Binary Whale Optimization Algorithm for Computation Offloading Optimization in Mobile Edge Computing
CN111159902A (zh) 光伏场站功率的确定方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant