CN107644069B - 高密度监测数据的抽稀方法 - Google Patents
高密度监测数据的抽稀方法 Download PDFInfo
- Publication number
- CN107644069B CN107644069B CN201710815056.6A CN201710815056A CN107644069B CN 107644069 B CN107644069 B CN 107644069B CN 201710815056 A CN201710815056 A CN 201710815056A CN 107644069 B CN107644069 B CN 107644069B
- Authority
- CN
- China
- Prior art keywords
- data
- max
- segment
- data points
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Mobile Radio Communication Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开高密度监测数据的抽稀方法。该方法利用增加了预剪枝条件的道格拉斯‑普克算法从高密度监测数据中求得所需要的数据点集合。本方法能够用尽可能少的点较好的描述数据波动的趋势,采用预剪枝的道格拉斯算法,还可以有效的降低抽稀方法的计算复杂度,高效的抽取出感兴趣的数据点。
Description
技术领域
本发明涉及数据的抽稀方法,尤其涉及高密度监测数据的抽稀方法,还涉及用于卫星导 航地基增强差分基站的高密度监测数据的抽稀方法。
背景技术
随着卫星导航、互联网技术和共享经济的快速发展,高精度定位需求愈发强烈。为了满 足高精度定位需求,可以使用地基增强技术对卫星数据进行差分纠正。稳定的基站服务是保 障最终服务质量的重要环节。在基站运维保障过程中,需要观测基站的(centralprocessing unit,CPU)、内存等其他设备的使用率的情况,而数据的采样频率通常是秒甚至是毫秒,如 此高的频率造成数据量非常庞大,因此,通常该类数据具有高密度的特性。同时,监测过程 的超高采样频率决定了将产生大量的时域冗余数据。如果要完成提取某一较长时间段的数据 在浏览器页面上观察数据点的变化的数据可视化操作,将很难在页面加载大量的数据,并且 不能满足低延迟查询的需求。例如,如果要观测一天的CPU使用率变化情况,采样频率为秒, 那么数据点的个数将是86400个。如果要在浏览器页面绘制所有的数据点,会导致浏览器页 面加载缓慢甚至不能加载等问题。而其实数据中存在大量的时间段的数据波动十分微小,仅 用少量的数据点即可表示。所以为了满足这个需求,需要对数据进行抽稀,用尽可能少的点 较好的描述数据波动的趋势。
发明内容
本发明解决的问题是高密度监测数据需要对数据进行抽稀,用尽可能少的点较好的描述 数据波动的趋势的问题。
本发明解决的另一问题是如何降低抽稀方法的计算复杂度的问题。
为解决上述问题,本发明提供一种高密度监测数据的抽稀方法。该方法利用增加了预剪 枝条件的道格拉斯-普克算法从高密度监测数据中求得所需要的数据点集合。
与现有技术相比,本发明至少具有以下优点:
1、本发明通过利用增加预剪枝的道格拉斯算法从监测数据中获得所需的数据点集合,这 样,满足对数据进行抽稀,用尽可能少的点较好的描述数据波动的趋势,采用预剪枝的道格 拉斯算法,还可以有效的降低抽稀方法的计算复杂度,高效的抽取出感兴趣的数据点。
2、本方法会预先设置所需的最大可取数据点数量,本方法所得出的数据点集合不会超过 所设置的最大数据点个数,避免了繁琐的后处理过程。
3、考虑到基站高密度数据的波动不会长时间十分剧烈的波动,所以对于波动较小的数据 分段,可以取较少的数据点,甚至只取首尾两个端点,从而将更多的数据点分配给波动较大 的数据分段。
4、采用分段处理的策略,根据差分标准差,有效的将更多的数据点分配给波动较大并且 频繁的数据分段,并且差分标准差可以有效的预估各个数据分段波动的剧烈程度,。同时,分 段策略也使得并行处理或是分布式处理成为可能。
具体实施方式
为详细说明本发明的技术内容、构造特征、所达成目的及功效,下面将结合实施例予以 详细说明。
本发明的目的是从基站的高密度监测数据抽取出感兴趣的数据点,这样的数据点的连线 将很好的反应数据的波动变化。本方法通过等数据量的分段方法切分数据,并计算各个数据 分段的差分标准差来反应变化的剧烈程度。按照标准差的大小和事先设定好的最大可取数据 点数量来分配各个数据段的最大可取数据点个数。在各个数据分段内使用改进的道格拉斯- 普克算法进行取点。方法的具体过程如下:
1.设置最大可取数据点个数n,数据段复杂度阈值ε0,最终取点集合S并初始 化为空集。
3.计算数据分段i的差分结果,差分即是用第k+1个数据点Pk+1减去第k个数据 点Pk。
4.计算数据分段i的差分结果的标准差σi,如果σi小于数据段复杂度阈值ε0,则 将该数据段的差分标准差σi设置为0,其中σi的计算公式如下:
5.计算每个分段可取的数据点个数,分段i分配的最大可取数据点个数为记为ni,
6.在各个数据分段使用改进的道格拉斯-普克算法,具体过程如下描述:
●初始化道格拉斯-普克算法的最大距离阈值ε1,当前递归深度d为1,每个分 段所含最少的数据点个数nmin。
●计算分段内各数据点到分段两端数据点PS和PE的连线的欧氏距离并将PS和 PE加入到集合S中。这里需要注意的是,数据点的横坐标为时间,纵坐标为数据点 的大小。设取得最大距离的数据点为Pmax,并且其到连线的距离为dmax。如果 dmax<ε1,递归终止。否则计算当前深度的最多可取数据点个数nmax,即2d-1+1。 如果nmax≤ni,递归终止。否则假设当前分段的数据点个数为ni′,如果ni′≤nmin, 递归终止。否则将Pmax加入到S中,并对新的分段(PS,Pmax)和(Pmax,PE)重复上述 递归过程,并且深度加1。
本发明实施方式与现有技术相比,至少具有以下区别和效果:
首先,本方法会预先设置所需的最大可取数据点数量,本方法所得出的数据点集合不会 超过所设置的最大数据点个数,避免了繁琐的后处理过程。其次,考虑到基站高密度数据的 波动不会长时间十分剧烈的波动,所以对于波动较小的分段,可以取较少的数据点,甚至只 取首尾两个端点,从而将更多的数据点分配给波动较大的分段。再次,采用分段处理的策略, 根据差分标准差可以有效的预估各个数据分段波动的剧烈程度。最后,对于传统的道格拉斯 算法,增加了预剪枝的功能:1)考虑到基站的应用场景,相邻的数据点不会有突然较大的波 动,所以当分段的数据点个数较少时,可以停止递归。2)考虑到预先设置的最大可取数据点 个数,按照假设每一分段都向下递归的情况,求出递归到当前层时所取的数据点个数,即2 的幂次加1。如果假设所取的数据点的个数大于或等于最大可取数据点的数量,则停止递归, 这样,可以用较低的计算复杂度代价,高效的抽取出感兴趣的数据点,即变化较大的极值点。
Claims (4)
1.用于导航卫星地基增强差分基站的高密度监测数据的抽稀方法,其特征在于:该方法利用增加了预剪枝条件的道格拉斯-普克算法从高密度监测数据中求得所需要的数据点集合;
包括如下步骤:
初始化道格拉斯-普克算法的最大距离阈值ε1,当前递归深度d为1,每个数据分段所含最少的数据点个数nmin;
计算数据分段内各数据点到数据分段两端数据点PS和PE的连线的欧氏距离并将PS和PE加入到集合S中,设取得最大距离的数据点为Pmax,并且其到连线的距离为dmax,如果dmax<ε1,递归终止,否则计算当前深度的最多可取数据点个数nmax,即2d-1+1,如果nmax≤ni,递归终止,否则假设当前数据分段的数据点个数为ni′,如果ni′≤nmin,递归终止,否则将Pmax加入到S中,并对新的数据分段(PS,Pmax)和(Pmax,PE)重复上述递归过程,并且深度加1;
n为分段i分配的最大可取数据点个数;
所述方法还包括如下步骤:
(1)参数初始化,包括最大可取数据点数量n,数据分段复杂度阈值ε0和最终取点集合S并初始化为空集;
(2)计算数据分段个数,并进行数据分段;
(3)计算每个数据分段的差分结果及该数据分段的差分结果的差分标准差,并计算每个数据分段可取的数据点个数。
2.如权利要求1所述的用于导航卫星地基增强差分基站的高密度监测数据的抽稀方法,其特征在于:每个所述数据分段的数据量相等。
3.高密度监测数据的抽稀方法,其特征在于:该方法利用增加了预剪枝条件的道格拉斯-普克算法从高密度监测数据中求得所需数据点集合;
初始化道格拉斯-普克算法的最大距离阈值ε1,当前递归深度d为1,每个分段所含最少的数据点个数nmin;
计算数据分段内各数据点到数据分段两端数据点PS和PE的连线的欧氏距离并将PS和PE加入到集合S中,设取得最大距离的数据点为Pmax,并且其到连线的距离为dmax,如果dmax<ε1,递归终止,否则计算当前深度的最多可取数据点个数nmax,即2d-1+1,如果nmax≤ni,递归终止,否则假设当前数据分段的数据点个数为ni′,如果ni′≤nmin,递归终止,否则将Pmax加入到S中,并对新的数据分段(PS,Pmax)和(Pmax,PE)重复上述递归过程,并且深度加1;
ni为分段i分配的最大可取数据点个数;
所述方法还包括如下步骤:
(1)参数初始化,包括最大可取数据点数量n,数据分段复杂度阈值ε0和最终取点集合S并初始化为空集;
(2)计算数据分段个数,并进行数据分段;
(3)计算每个数据分段的差分结果及该数据分段的差分结果的差分标准差,并计算每个数据分段可取的数据点个数。
4.如权利要求3所述的高密度监测数据的抽稀方法,其特征在于:每个所述数据分段的数据量相等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710815056.6A CN107644069B (zh) | 2017-09-11 | 2017-09-11 | 高密度监测数据的抽稀方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710815056.6A CN107644069B (zh) | 2017-09-11 | 2017-09-11 | 高密度监测数据的抽稀方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107644069A CN107644069A (zh) | 2018-01-30 |
CN107644069B true CN107644069B (zh) | 2021-03-19 |
Family
ID=61111391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710815056.6A Active CN107644069B (zh) | 2017-09-11 | 2017-09-11 | 高密度监测数据的抽稀方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107644069B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111159498A (zh) * | 2019-12-31 | 2020-05-15 | 北京蛙鸣华清环保科技有限公司 | 一种数据点抽稀方法、装置及电子设备 |
CN117150217B (zh) * | 2023-11-01 | 2024-01-26 | 苏州爱雄斯通信技术有限公司 | 一种基于大数据的数据压缩处理方法 |
CN117560015B (zh) * | 2024-01-12 | 2024-03-22 | 山东易方云冷热工程技术有限公司 | 一种空调安装工程数据高效处理*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6606621B2 (en) * | 2001-05-30 | 2003-08-12 | Oracle International Corp. | Methods and apparatus for aggregating sparse data |
CN102568009A (zh) * | 2010-12-17 | 2012-07-11 | 上海博泰悦臻电子设备制造有限公司 | 用于电子地图的线段抽稀装置及其方法 |
CN104766081A (zh) * | 2015-03-19 | 2015-07-08 | 南京大学 | 基于自然岸线数据提取领海基线的方法 |
CN105205288A (zh) * | 2015-10-28 | 2015-12-30 | 中国人民解放军国防科学技术大学 | 基于模式演化的卫星长期在轨运行状态的预测方法 |
-
2017
- 2017-09-11 CN CN201710815056.6A patent/CN107644069B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6606621B2 (en) * | 2001-05-30 | 2003-08-12 | Oracle International Corp. | Methods and apparatus for aggregating sparse data |
CN102568009A (zh) * | 2010-12-17 | 2012-07-11 | 上海博泰悦臻电子设备制造有限公司 | 用于电子地图的线段抽稀装置及其方法 |
CN104766081A (zh) * | 2015-03-19 | 2015-07-08 | 南京大学 | 基于自然岸线数据提取领海基线的方法 |
CN105205288A (zh) * | 2015-10-28 | 2015-12-30 | 中国人民解放军国防科学技术大学 | 基于模式演化的卫星长期在轨运行状态的预测方法 |
Non-Patent Citations (1)
Title |
---|
"管线设计中断面数据的压缩算法";胡新玲等;《地理空间信息》;20070831;第5卷(第4期);第38-40页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107644069A (zh) | 2018-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107644069B (zh) | 高密度监测数据的抽稀方法 | |
US20180122048A1 (en) | Generative methods of super resolution | |
WO2016106960A1 (zh) | 一种对地建筑群遥感图像频谱特性约束的去噪方法 | |
CN110751612A (zh) | 多通道多尺度卷积神经网络的单幅图像去雨方法 | |
CN105468596A (zh) | 图片检索方法和装置 | |
CN112967177B (zh) | 图像生成方法、装置、设备、存储介质以及程序产品 | |
CN107301631B (zh) | 一种基于非凸加权稀疏约束的sar图像降斑方法 | |
CN104537624B (zh) | 基于ssim校正聚类稀疏表示的sar图像降斑方法 | |
CN113642710B (zh) | 一种网络模型的量化方法、装置、设备和存储介质 | |
CN104657944A (zh) | 基于参考影像纹理约束的压缩感知遥感图像重建方法 | |
CN110136164B (zh) | 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法 | |
CN107944362A (zh) | 一种基于ica降低误码率的盲源分离方法 | |
CN102663453B (zh) | 基于第二代条带波变换和极速学习机的人体运动跟踪方法 | |
CN117115588A (zh) | 一种基于扩散模型的3d预训练方法与*** | |
Ketsoi et al. | SREFBN: Enhanced feature block network for single‐image super‐resolution | |
CN114239757B (zh) | 一种电磁时间序列数据的去噪方法及*** | |
CN114564587A (zh) | 文本分类场景下基于对抗训练的数据增强方法 | |
CN114022357A (zh) | 图像重建方法、图像重建模型的训练方法、装置和设备 | |
CN111316326A (zh) | 图像编码方法、设备及计算机可读存储介质 | |
Zhang et al. | Fractional Calculus Numerical Algorithm based on Artificial Intelligence | |
Chiu et al. | Line search-based feature transformation for fast, stable, and tunable content-style control in photorealistic style transfer | |
CN103489207B (zh) | 一种渐进式正则化自适应匹配追踪方法 | |
CN112634454B (zh) | 基于oldl_dwt的点云古典建筑曲面重建方法 | |
Sun et al. | A study of extended sample entropy based on the correlation integral | |
Zheng et al. | A novel NAM‐based image segmentation using hierarchical density‐based spatial clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |