CN109165212A - 一种大数据实时监控与稽核的方法 - Google Patents
一种大数据实时监控与稽核的方法 Download PDFInfo
- Publication number
- CN109165212A CN109165212A CN201811007432.XA CN201811007432A CN109165212A CN 109165212 A CN109165212 A CN 109165212A CN 201811007432 A CN201811007432 A CN 201811007432A CN 109165212 A CN109165212 A CN 109165212A
- Authority
- CN
- China
- Prior art keywords
- data
- rule
- scrubbing
- checked
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000012544 monitoring process Methods 0.000 title claims abstract description 12
- 238000012550 audit Methods 0.000 claims abstract description 4
- 238000005201 scrubbing Methods 0.000 claims description 16
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种大数据实时监控与稽核的方法,属于大数据处理技术领域,本发明通过界面可以简单的配置稽核规则,在数据清理环节记录稽核的结果,将稽核结果存储到数据库中,根据稽核结果触发告警。解决在现有的数据监控稽核复杂、繁琐的问题。
Description
技术领域
本发明涉及大数据处理技术,尤其涉及一种大数据实时监控与稽核的方法。
背景技术
数据监控和稽核是所有数据处理分析的重要任务,通过数据监控和稽核可以及时发现数据的真实情况,数据内容是否合理,大小是否异常等。现有的数据稽核均是针对某个具体的业务制定相应的规则,需要修改或增加一个稽核规则时,都要经过开发测试的过程,耗时耗力,灵活性差,维护成本高。而且随着业务数据量越来越大,现有的数据稽核过程也需要消耗过多的***资源以及时间。
发明内容
为了解决以上技术问题,本发明提出了一种大数据实时监控与稽核的方法,旨在解决在现有的数据监控稽核复杂、繁琐的问题,以利于现场维护人员维护和使用,且在数据量越来越大的情况下仍然可以高效实时的监控数据质量。
本发明的技术方案是:
一种大数据实时监控与稽核的方法,
通过界面可以简单的配置稽核规则,在数据清理环节记录稽核的结果,将稽核结果存储到数据库中,根据稽核结果触发告警。
数据清理服务器作为一个集群,可以根据数据量增加而扩展。
数据稽核规则可以在界面配置,不需要修改代码,其规则包含数据总体核查规则以及单个字段稽核规则。
在数据清理时同时完成数据稽核。
数据清理完成即可根据稽核结果触发告警。
具体实施步骤如下:
S1,根据接口获取需要采集的数据信息,通过数据分发(manager)节点下发给数据清理服务器。
S2,通过界面配置数据稽核规则。
S3,在数据清理时记录文件总行数以及不符合各个稽核规则的行数,并记录到关系型数据库中。
S4,环比同时间段数据总行数,设定阀值触发环比波动告警。
S5,获取不符合各个稽核规则的数据比例,设定阀值分别触发数据质量告警。
本发明的有益效果是
1)通过界面配置稽核规则,只需简单的选择字段是否可为空、设定取值范围、是否满足正则表达式,不需要修改代码,利于现场维护人员使用。
2)数据清理服务器作为一个集群,可以轻易扩展,适应大数据的环境,避免由于数据量的逐渐增大而***资源不足的情况。
3)数据清理时即记录文件具体情况,不需要去集群或者数据库中查询数据稽核,即可以更实时的监控数据质量,也可以节省查询数据带来的资源消耗。
附图说明
图1是本发明的工作流程示意图。
具体实施方式
下面对本发明的内容进行更加详细的阐述:
本发明的一种大数据实时监控与稽核的方法,通过界面可以简单的配置稽核规则,在数据清理环节记录稽核的结果,将稽核结果存储到数据库中,根据稽核结果触发告警。
如图所示,具体实施步骤如下:
S1,根据接口获取需要采集的数据信息,通过数据分发(manager)节点下发给数据清理服务器。
S2,通过界面配置数据稽核规则。
S3,在数据清理时记录文件总行数以及不符合各个稽核规则的行数,并记录到关系型数据库中。
S4,环比同时间段数据总行数,设定阀值触发环比波动告警。
S5,获取不符合各个稽核规则的数据比例,设定阀值分别触发数据质量告警。
Claims (6)
1.一种大数据实时监控与稽核的方法,其特征在于,
通过界面配置稽核规则,在数据清理环节记录稽核的结果,将稽核结果存储到数据库中,根据稽核结果触发告警。
2.根据权利要求1所述的方法,其特征在于,
数据清理服务器作为一个集群,可以根据数据量增加而扩展。
3.根据权利要求1或2所述的方法,其特征在于,
数据稽核规则可以在界面配置,不需要修改代码,其规则包含数据总体核查规则以及单个字段稽核规则。
4.根据权利要求3所述的方法,其特征在于,
在数据清理时同时完成数据稽核。
5.如权利要求4所述,其特征在于,
数据清理完成即可根据稽核结果触发告警。
6.如权利要求5所述,其特征在于,
具体实施步骤如下:
S1,根据接口获取需要采集的数据信息,通过数据分发节点下发给数据清理服务器;
S2,通过界面配置数据稽核规则;
S3,在数据清理时记录文件总行数以及不符合各个稽核规则的行数,并记录到关系型数据库中;
S4,环比同时间段数据总行数,设定阀值触发环比波动告警;
S5,获取不符合各个稽核规则的数据比例,设定阀值分别触发数据质量告警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811007432.XA CN109165212A (zh) | 2018-08-31 | 2018-08-31 | 一种大数据实时监控与稽核的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811007432.XA CN109165212A (zh) | 2018-08-31 | 2018-08-31 | 一种大数据实时监控与稽核的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109165212A true CN109165212A (zh) | 2019-01-08 |
Family
ID=64893556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811007432.XA Pending CN109165212A (zh) | 2018-08-31 | 2018-08-31 | 一种大数据实时监控与稽核的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109165212A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543483A (zh) * | 2019-08-30 | 2019-12-06 | 北京百分点信息科技有限公司 | 一种数据稽核方法、装置及电子设备 |
CN113392099A (zh) * | 2021-07-01 | 2021-09-14 | 苏州维众数据技术有限公司 | 一种自动化的数据清洗方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030110172A1 (en) * | 2001-10-24 | 2003-06-12 | Daniel Selman | Data synchronization |
US7272613B2 (en) * | 2000-10-26 | 2007-09-18 | Intel Corporation | Method and system for managing distributed content and related metadata |
CN104915756A (zh) * | 2015-05-22 | 2015-09-16 | 电信科学技术第五研究所 | 数据一致性云稽核***及实现方法 |
CN106407216A (zh) * | 2015-07-31 | 2017-02-15 | 国网能源研究院 | 基于语义网构建路径开发的线索追溯稽核***及其构建方法 |
US20170046217A1 (en) * | 2015-08-12 | 2017-02-16 | Avekshaa Technologies Private Ltd | System and method for batch monitoring of performance data |
CN108268549A (zh) * | 2016-12-31 | 2018-07-10 | ***通信集团湖北有限公司 | 数据稽核***和方法 |
-
2018
- 2018-08-31 CN CN201811007432.XA patent/CN109165212A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7272613B2 (en) * | 2000-10-26 | 2007-09-18 | Intel Corporation | Method and system for managing distributed content and related metadata |
US20030110172A1 (en) * | 2001-10-24 | 2003-06-12 | Daniel Selman | Data synchronization |
CN104915756A (zh) * | 2015-05-22 | 2015-09-16 | 电信科学技术第五研究所 | 数据一致性云稽核***及实现方法 |
CN106407216A (zh) * | 2015-07-31 | 2017-02-15 | 国网能源研究院 | 基于语义网构建路径开发的线索追溯稽核***及其构建方法 |
US20170046217A1 (en) * | 2015-08-12 | 2017-02-16 | Avekshaa Technologies Private Ltd | System and method for batch monitoring of performance data |
CN108268549A (zh) * | 2016-12-31 | 2018-07-10 | ***通信集团湖北有限公司 | 数据稽核***和方法 |
Non-Patent Citations (2)
Title |
---|
宋雨等: "基于大数据平台的通信设备故障预警***研究与实现", 《网络安全技术与应用》 * |
谌迅: "大数据资产管理***的设计与实现", 《软件》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543483A (zh) * | 2019-08-30 | 2019-12-06 | 北京百分点信息科技有限公司 | 一种数据稽核方法、装置及电子设备 |
CN113392099A (zh) * | 2021-07-01 | 2021-09-14 | 苏州维众数据技术有限公司 | 一种自动化的数据清洗方法 |
CN113392099B (zh) * | 2021-07-01 | 2024-06-21 | 苏州维众数据技术有限公司 | 一种自动化的数据清洗方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106886485B (zh) | ***容量分析预测方法及装置 | |
CN107810500A (zh) | 数据质量分析 | |
CN112001586B (zh) | 基于区块链共识机制的企业联网大数据审计风险控制架构 | |
CN105868373B (zh) | 电力业务信息***关键数据处理方法及装置 | |
CN110471821B (zh) | 异常变更检测方法、服务器及计算机可读存储介质 | |
JP2017536604A (ja) | ノンテクニカルロスを同定するための機械学習の利用 | |
CN111222955A (zh) | 一种基于区块链的供应商监管方法及*** | |
CN106022617A (zh) | 一种基于营销多***数据中心的稽查管控*** | |
CN104991939A (zh) | 业务数据监控方法和*** | |
CN105872061A (zh) | 一种服务器集群管理方法、装置及*** | |
CN105302697A (zh) | 一种密集数据模型数据库的运行状态监控方法及*** | |
CN109165212A (zh) | 一种大数据实时监控与稽核的方法 | |
CN109214649A (zh) | 一种基于大数据的经济指标分析*** | |
CN113434575A (zh) | 基于数据仓库的数据归因处理方法、装置及存储介质 | |
CN114186855A (zh) | 监控预警方法、装置、计算机设备、存储介质和程序产品 | |
CN107277143A (zh) | 一种资源匹配管理方法及装置 | |
CN104484277B (zh) | 基于监控点的过程数据动态分析装置及其使用方法 | |
CN110827172A (zh) | 一种智慧水务云服务平台 | |
CN115689713A (zh) | 异常风险数据处理方法、装置、计算机设备和存储介质 | |
CN106651145A (zh) | 备件管理***及方法 | |
CN103218255A (zh) | 一种服务器组件信息管理方法和*** | |
CN111222928A (zh) | 一种用于监控企业规范开具***的方法及*** | |
CN112765553A (zh) | 一种基于大数据的工程项目管理*** | |
CN112783637A (zh) | 一种资源调控方法和装置 | |
CN106570625A (zh) | 服务缺陷管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190108 |