CN107436924A - 一种基于海量大数据平台的实时数据接入质量监测方法 - Google Patents
一种基于海量大数据平台的实时数据接入质量监测方法 Download PDFInfo
- Publication number
- CN107436924A CN107436924A CN201710549733.4A CN201710549733A CN107436924A CN 107436924 A CN107436924 A CN 107436924A CN 201710549733 A CN201710549733 A CN 201710549733A CN 107436924 A CN107436924 A CN 107436924A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- platform
- leak source
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明旨在提供一种基于海量大数据平台的实时数据接入质量监测方法，以解决现有技术方案中没有检测方法可以对数据接入质量进行检测。包括：实时监控大数据平台与数据源端，当数据源端发送数据给大数据平台时，进行如下步骤：根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量；获取由数据源端统计的发送数据的数据条数作为对比量；根据接收量与对比量计算获得实际数据漏点率；根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。有益效果：根据数据源端统计的数据条数与大数据平台获取的数据条数进行比较，进而得出实际数据漏点率，并根据实际数据漏点率进行预警，进而实现对数据接入质量的监测。
Description
技术领域
本发明涉及一种数据接入质量监测方法，具体涉及一种基于海量大数据平台的实时数据接入质量监测方法。
背景技术
伴随着能源互联网、互联网+行动计划、电力市场改革等业务形态的发展，要求企业信息技术支撑具有弹性高可用、快速迭代、数据深度分析挖掘及多渠道可视化展现的特征。国网浙江电力基于阿里私有云环境，构建可柔性扩展新一代基础架构平台，提升大数据计算分析能力和公共技术服务能力，提供一个的统一基础技术支撑平台。同时，对企业统一数据模型的梳理，建设企业级统一大数据库，汇集包含业务数据、量测数据及外部数据等数据，实现数据充分共享，为大数据分析应用提供统一数据支撑。
阿里云是一个具有大数据处理能力的云平台，基于这个平台将存量业务应用的数据同步到大数据平台中做数据的全量汇集，利用大数据的海量数据存储能力存储和管理这些数据，基于这些数据，按照我们设计的企业统一模型，进行数据仓库建设。通过数仓建设解决数据质量，数据同源，数据编码统一等数据问题，利用这些数据支撑上层大数据应用。
随着项目开展，大量的实时数据测点接入到了阿里云大数据平台HBASE组件中，业务应用对数据质量要求越来越高，需要一种方法能够对数据接入的质量进行实时监控，并在出现问题时能够向维护人员发出告警信息。
发明内容
本发明旨在提供一种基于海量大数据平台的实时数据接入质量监测方法，以解决现有技术方案中没有检测方法可以对数据接入质量进行检测。
为了实现所述目的，本发明一种基于海量大数据平台的实时数据接入质量监测方法，包括：
实时监控大数据平台与数据源端，当数据源端发送数据给大数据平台时，进行如下步骤：
根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量；
获取由数据源端统计的发送数据的数据条数作为对比量；
根据接收量与对比量计算获得实际数据漏点率；
根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。
优选的，所述根据接收量与对比量计算获得实际数据漏点率包括：通过如下公式计算实际数据漏点率：实际数据漏点率＝(接收量-对比量)÷对比量。
优选的，所述根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：比较实际数据漏点率与预设的数据漏点率阈值之间的大小，如果实际数据漏点率小于预设的数据漏点率阈值，则报警。
优选的，所述根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：获取第一设定时间段内的所有实际数据漏点率，计算该第一设定时间内的所有实际数据漏点率的平均值，如果该平均值小于预设的数据漏点率阈值，则报警。
优选的，所述第一设定时间段的终点为当前时间，所述第一设定时段的起点为当前时间的24小时前。
优选的，获取由数据源端统计的发送数据的数据条数作为对比量包括：当由数据源端统计的发送数据的数据条数未获取到时，将对应的接收量作为对比量，并对该接收量进行标记；计算出第一设定时间内的所有实际数据漏点率的平均值后，如果当前数据的对比量为标记后的对比量，则将第一设定时间内的所有实际数据漏点率的平均值作为当前数据的对比量以供后续使用。
优选的，获取大数据平台在第二设定时间段内的设定数据更新次数和大数据平台在第二设定时间段内的实际数据更新次数，根据实际数据更新次数和设定数据更新次数计算获得中断率，根据中断率和预设的中断率阈值判断是否进行报警。
优选的，所述中断率阈值为20％
优选的，所述获取大数据平台在第二设定时间段内的设定数据更新次数包括：获取设定数据更新频率，通过如下公式获取大数据平台在第二设定时间段内的设定数据更新次数：大数据平台在第二设定时间段内的设定数据更新次数＝(第二设定时间段的终点-第二设定时间段的起点)÷设定数据更新频率。
优选的，所述根据实际数据更新次数和设定数据更新次数计算获得中断率包括：通过如下公式计算中断率：中断率＝(设定数据更新次数-实际数据更新次数)÷设定数据更新次数。
通过实施本发明可以取得以下有益技术效果：根据数据源端统计的数据条数与大数据平台获取的数据条数进行比较，进而得出实际数据漏点率，并根据实际数据漏点率进行预警，进而实现对数据接入质量的监测。
具体实施方式
为了便于本领域技术人员的理解，下面结合具体实施例对本发明作进一步的说明：
实施例1：
本发明提供了一种基于海量大数据平台的实时数据接入质量监测方法，包括：
实时监控大数据平台与数据源端，当数据源端发送数据给大数据平台时，进行如下步骤：
根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量；
获取由数据源端统计的发送数据的数据条数作为对比量；
根据接收量与对比量计算获得实际数据漏点率；
根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。
根据数据源端统计的数据条数与大数据平台获取的数据条数进行比较，进而得出实际数据漏点率，并根据实际数据漏点率进行预警，进而实现对数据接入质量的监测；其中。
具体的，根据接收量与对比量计算获得实际数据漏点率包括：通过如下公式计算实际数据漏点率：实际数据漏点率＝(接收量-对比量)÷对比量。
具体的，根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：比较实际数据漏点率与预设的数据漏点率阈值之间的大小，如果实际数据漏点率小于预设的数据漏点率阈值，则报警。
实施例2：
与实施例1的区别在于：根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：获取第一设定时间段内的所有实际数据漏点率，计算该第一设定时间内的所有实际数据漏点率的平均值，如果该平均值小于预设的数据漏点率阈值，则报警。
第一设定时间段的终点为当前时间，第一设定时段的起点为当前时间的24小时前。可以知道的，第一设定时间段也可以根据需要设定。
获取由数据源端统计的发送数据的数据条数时，数据条数有可能因为各种原因而出现有几次获取不到的情况，为了降低这种情况对本方法的影响，获取由数据源端统计的发送数据的数据条数作为对比量包括：当由数据源端统计的发送数据的数据条数未获取到时，将对应的接收量作为对比量，并对该接收量进行标记；计算出第一设定时间内的所有实际数据漏点率的平均值后，如果当前数据的对比量为标记后的对比量，则将第一设定时间内的所有实际数据漏点率的平均值作为当前数据的对比量以供后续使用。其优点在于：首先将获取不到的对比量由接收量代替，进而消除当前次因获取不到由数据源端统计的发送数据的数据条数而实际数据漏点率计算的邮箱，同时由于第一设定时间段的终点为当前时间，第二设定时段的起点为当前时间的24小时前，所以本发明通过在计算出第一设定时间内的所有实际数据漏点率的平均值后，将第一设定时间内的所有实际数据漏点率的平均值作为当前数据的对比量以供后续使用，使得后续计算第一设定时间内的所有实际数据漏点率的平均值时，更接近实际的平均值，进而降低误报警的概率。
实施例三：
与实施例1或实施例2的区别在于：本实施例在实施例1或实施例2的基础上做了进一步改进，一种基于海量大数据平台的实时数据接入质量监测方法还包括获取大数据平台在第二设定时间段内的设定数据更新次数和大数据平台在第二设定时间段内的实际数据更新次数，根据实际数据更新次数和设定数据更新次数计算获得中断率，根据中断率和预设的中断率阈值判断是否进行报警。第二设定时间段的终点为当前时间，第二设定时段的起点为当前时间的24小时前，可以知道的，第二设定时间段也可以根据需要设定，作为优选第二设定时间段与第一设定时间段相同。
具体的，获取大数据平台在第二设定时间段内的设定数据更新次数包括：获取设定数据更新频率，通过如下公式获取大数据平台在第二设定时间段内的设定数据更新次数：大数据平台在第二设定时间段内的设定数据更新次数＝(第二设定时间段的终点-第二设定时间段的起点)÷设定数据更新频率。
具体的，根据实际数据更新次数和设定数据更新次数计算获得中断率包括：通过如下公式计算中断率：中断率＝(设定数据更新次数-实际数据更新次数)÷设定数据更新次数。
根据数据更新次数，计算出数据中断率，根据数据中断率进行报警，其中中断率阈值可以根据需要进行设置，可以设置为20％。通过对中断率和漏点率实时监测，并根据中断率和漏点率进行报警，进而实现数据接入的质量监测。
以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。
Claims (10)
1.一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，包括：
实时监控大数据平台与数据源端，当数据源端发送数据给大数据平台时，进行如下步骤：
根据大数据平台从数据源端接收的数据计算获得大数据平台接收数据的数据条数作为接收量；
获取由数据源端统计的发送数据的数据条数作为对比量；
根据接收量与对比量计算获得实际数据漏点率；
根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警。
2.如权利要求1所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述根据接收量与对比量计算获得实际数据漏点率包括：通过如下公式计算实际数据漏点率：实际数据漏点率＝(接收量-对比量)÷对比量。
3.如权利要求1所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：比较实际数据漏点率与预设的数据漏点率阈值之间的大小，如果实际数据漏点率小于预设的数据漏点率阈值，则报警。
4.如权利要求1所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述根据实际数据漏点率与预设的数据漏点率阈值判断是否进行报警包括：获取第一设定时间段内的所有实际数据漏点率，计算该第一设定时间内的所有实际数据漏点率的平均值，如果该平均值小于预设的数据漏点率阈值，则报警。
5.如权利要求4所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述第一设定时间段的终点为当前时间，所述第一设定时段的起点为当前时间的24小时前。
6.如权利要求4所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，获取由数据源端统计的发送数据的数据条数作为对比量包括：当由数据源端统计的发送数据的数据条数未获取到时，将对应的接收量作为对比量，并对该接收量进行标记；计算出第一设定时间内的所有实际数据漏点率的平均值后，如果当前数据的对比量为标记后的对比量，则将第一设定时间内的所有实际数据漏点率的平均值作为当前数据的对比量以供后续使用。
7.如权利要求1～6中任意一项所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，获取大数据平台在第二设定时间段内的设定数据更新次数和大数据平台在第二设定时间段内的实际数据更新次数，根据实际数据更新次数和设定数据更新次数计算获得中断率，根据中断率和预设的中断率阈值判断是否进行报警。
8.如权利要求7所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述中断率阈值为20％。
9.如权利要求7所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述获取大数据平台在第二设定时间段内的设定数据更新次数包括：获取设定数据更新频率，通过如下公式获取大数据平台在第二设定时间段内的设定数据更新次数：大数据平台在第二设定时间段内的设定数据更新次数＝(第二设定时间段的终点-第二设定时间段的起点)÷设定数据更新频率。
10.如权利要求7所述的一种基于海量大数据平台的实时数据接入质量监测方法，其特征在于，所述根据实际数据更新次数和设定数据更新次数计算获得中断率包括：通过如下公式计算中断率：中断率＝(设定数据更新次数-实际数据更新次数)÷设定数据更新次数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710549733.4A CN107436924A (zh) | 2017-07-07 | 2017-07-07 | 一种基于海量大数据平台的实时数据接入质量监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710549733.4A CN107436924A (zh) | 2017-07-07 | 2017-07-07 | 一种基于海量大数据平台的实时数据接入质量监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107436924A true CN107436924A (zh) | 2017-12-05 |
Family
ID=60459943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710549733.4A Pending CN107436924A (zh) | 2017-07-07 | 2017-07-07 | 一种基于海量大数据平台的实时数据接入质量监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107436924A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536777A (zh) * | 2018-03-28 | 2018-09-14 | 联想(北京)有限公司 | 一种数据处理方法、服务器集群及数据处理装置 |
| CN108614454A (zh) * | 2018-05-23 | 2018-10-02 | 无锡市清新智控自动化技术有限公司 | 一种水情报汛数据质量实时控制*** |
| US11816031B2 (en) | 2021-06-16 | 2023-11-14 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Method and apparatus for ingesting data, device and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102098719A (zh) * | 2011-01-11 | 2011-06-15 | 大唐移动通信设备有限公司 | 一种网络质量确定方法及装置 |
| CN103873298A (zh) * | 2014-03-14 | 2014-06-18 | 浪潮通信信息***有限公司 | 一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法 |
| CN105574065A (zh) * | 2015-09-25 | 2016-05-11 | 国网浙江省电力公司 | 一种对实时数据漏点率统计的方法 |
| CN105577467A (zh) * | 2015-09-25 | 2016-05-11 | 国网浙江省电力公司 | 一种对实时数据中断率统计的方法 |
-
2017
- 2017-07-07 CN CN201710549733.4A patent/CN107436924A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102098719A (zh) * | 2011-01-11 | 2011-06-15 | 大唐移动通信设备有限公司 | 一种网络质量确定方法及装置 |
| CN103873298A (zh) * | 2014-03-14 | 2014-06-18 | 浪潮通信信息***有限公司 | 一种可以配置的维护中心操作维护中心北向接口的数据质量自动监测的方法 |
| CN105574065A (zh) * | 2015-09-25 | 2016-05-11 | 国网浙江省电力公司 | 一种对实时数据漏点率统计的方法 |
| CN105577467A (zh) * | 2015-09-25 | 2016-05-11 | 国网浙江省电力公司 | 一种对实时数据中断率统计的方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536777A (zh) * | 2018-03-28 | 2018-09-14 | 联想(北京)有限公司 | 一种数据处理方法、服务器集群及数据处理装置 |
| CN108536777B (zh) * | 2018-03-28 | 2022-03-25 | 联想(北京)有限公司 | 一种数据处理方法、服务器集群及数据处理装置 |
| CN108614454A (zh) * | 2018-05-23 | 2018-10-02 | 无锡市清新智控自动化技术有限公司 | 一种水情报汛数据质量实时控制*** |
| US11816031B2 (en) | 2021-06-16 | 2023-11-14 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Method and apparatus for ingesting data, device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | An earthquake early warning system in Fujian, China | |
| CN107436924A (zh) | 一种基于海量大数据平台的实时数据接入质量监测方法 | |
| Wong et al. | PFC emissions from detected versus nondetected anode effects in the aluminum industry | |
| Devi et al. | Hybrid of Genetic Algorithm and Minimum Spanning Tree method for optimal PMU placements | |
| CN103775129B (zh) | 一种煤矿危险源预警的方法 | |
| CN107122483A (zh) | 基础地理信息数据质检方法、装置及*** | |
| CN113111595B (zh) | 一种边坡智能预警方法和装置 | |
| GB2497774A (en) | Categorizing users based on network usage records | |
| RU2015132097A (ru) | Способы и системы для динамического обнаружения потребителей, случайно зашедших на площадку | |
| CN108205874A (zh) | 基于多参数联动的地质灾害预警方法、现场主控站及*** | |
| JP6761683B2 (ja) | 柱状構造物の傾斜監視システムおよび方法 | |
| CN105307262A (zh) | 一种伪基站的定位方法及装置 | |
| CN104636859A (zh) | 巡检管理*** | |
| CN204046720U (zh) | 一种安全监控*** | |
| US20220201694A1 (en) | External interference radar | |
| CN105406491A (zh) | 一种面向次同步谐振或振荡的远程监控*** | |
| CN103180745A (zh) | 一种电性参数测量、记录的方法及装置 | |
| CN110764043B (zh) | 一种适用于连续型测量结果的设备质量状况评价方法 | |
| CN202042036U (zh) | 一种放射源监管*** | |
| JP5809105B2 (ja) | メンテナンス手法選択装置、メンテナンス手法選択方法およびプログラム | |
| CN115497270B (zh) | 一种基于大数据动态联动的应急广播预警***及终端 | |
| Benavides et al. | 3G smartphone technologies for generating personal social network contact distributions and graphs | |
| CN105092469B (zh) | 基于在线监测技术获得绝缘子盐密饱和系数的方法及*** | |
| CN107765123A (zh) | 检测规则更新方法及用电安全监测*** | |
| CN104657583B (zh) | 用于黑启动的区域电网多断面动态可靠性评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171205 |
|
| RJ01 | Rejection of invention patent application after publication |