CN105183911A - 一种基于数据来源二叉树的电力***异常数据溯源方法 - Google Patents
一种基于数据来源二叉树的电力***异常数据溯源方法 Download PDFInfo
- Publication number
- CN105183911A CN105183911A CN201510656171.4A CN201510656171A CN105183911A CN 105183911 A CN105183911 A CN 105183911A CN 201510656171 A CN201510656171 A CN 201510656171A CN 105183911 A CN105183911 A CN 105183911A
- Authority
- CN
- China
- Prior art keywords
- data
- binary tree
- node
- source
- tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种基于数据来源二叉树的电力***异常数据溯源方法,该方法包括以下步骤:首先实时获取电力数据,对数据进行标注;然后构建数据来源二叉树,并将二叉树转换成平衡二叉树,以创建节点;接着对构建的二叉树建立线索,方便进行数据的逆查询;最后完成对电力***异常数据的反馈与整改。本发明实现了对数据质量生命周期的各阶段数据异常进行有效的跟踪和管理,将异常数据反馈给相应的业务部门、业务***以完成异常数据反馈和修正,保证了企业实时数据的可靠性。
Description
技术领域
本发明属于计算机技术领域,涉及一种数据异常溯源方法,特别是一种基于数据来源二叉树的数据异常溯源方法。
背景技术
以博客、社会网络、基于位置的服务为代表的新型信息发布方式的不断涌现,以及云计算、物联网、移动互联网等现代信息技术的迅猛发展,迅速增长的数据逐渐成为企业的核心资产。企业所需处理的数据大致来源于三个方面:(1)企业运营***积累的数据;(2)Web2.0带来的用户原创数据;(3)由感知式***获得的监控数据。企业无不希望通过这些海量多源异构数据的聚合发现知识,构建企业级智能化应用,以便更加贴近消费者最真实的需求,从而创造更多的商机,提升企业的竞争力。
数据作为企业运营管理的灵魂,其质量问题日益显现并逐渐突出,这些数据质量问题主要表现为数据不正确、不一致、不完整等方面,亟需一套方案对电力***数据质量进行全程有效管理。
发明内容
鉴于数据质量问题日益突出得不到有效解决的问题,本发明的目的是提供一种基于数据来源二叉树的电力***异常数据溯源方法,通过基于数据来源树的数据异常溯源方法来检测数据异常,实现对电力行业运行监控的数据质量生命周期的各阶段数据异常进行有效的跟踪和管理,将异常数据反馈给业务部门、业务***以完成异常数据反馈和修正。
本发明的目的通过以下技术方案实现:
一种基于数据来源二叉树的电力***异常数据溯源方法,该方法首先实时获取电力数据,对数据进行标注;然后构建数据来源二叉树,并将二叉树转换成平衡二叉树;接着对构建的二叉树建立线索,方便进行数据的逆查询;最后完成对电力异常数据的反馈与整改;包括以下步骤:
1)实时获取电力数据,对数据进行标注;
2)构建数据来源二叉树,并将二叉树转换成平衡二叉树,以创建数结点;
3)对构建的二叉树建立线索,方便进行数据的逆查询;
4)完成对电力***异常数据的反馈与整改。
本发明步骤2)中,采用二叉树转平衡二叉树的算法,将数据来源二叉树转为平衡二叉树,该树满足任何一个节点的左右子树高度差的绝对值小于等于1。
步骤3)中,对二叉树添加线索,是针对每一个节点添加前驱和后继,当平台数据或目标数据被修改后,逆向快速地找到修改数据的原始来源表以及原始数据。
步骤4)中,对电力***异常数据的反馈与整改过程如下:匹配二叉树顶点的有效数据和最底层的原始数据;如果不一致,则用顶点的数据对最底层的原始数据进行反馈和整改,并在展示层进行展示;如果最底层异常数据来源于源数据层***,则将该整改需求分发给该异常数据源数据层***进行修改,如果最底层异常数据来源于数据仓库的ETL处理异常,则将该错误发给数据仓库ETL编写人员。
本发明主要针对企业异常数据进行追溯,从数据写入、数据抽取、数据清洗、数据转换、数据装载到数据整改再到应用展示,形成整个数据异常闭环监测管理。在上述过程中主要通过基于数据来源树的数据异常溯源方法来检测数据异常,实现对电力行业运行监控的数据质量生命周期的各阶段数据异常进行有效的跟踪和管理,将异常数据反馈给业务部门、业务***以完成异常数据反馈和修正。
本发明的有有益效果在于:通过对数据的来源追踪,在数据共享时解决数据的可信度、质量、版本信息等问题。在更新数据过程中,根据数据异常溯源过程能清楚的反应出原始数据库中数据的变化。本发明实现了对数据质量生命周期的各阶段数据异常进行有效的跟踪和管理,将异常数据反馈给相应的业务部门、业务***以完成异常数据反馈和修正,保证了企业实时数据的可靠性。
附图说明
图1为本发明的流程框架图。
具体实施方式
下面结合附图和具体实施方式对本发明所属方法进一步说明。
一种基于数据来源二叉树的电力***异常数据溯源方法,包括:首先实时获取电力数据,对数据进行标注;然后构建数据来源二叉树,以创建叶节点;接着对构建的二叉树建立线索,方便进行数据的逆查询;最后完成对电力异常数据的反馈与整改。具体实施步骤如下:
1)实时获取电力数据,对数据进行标注。
2)构建数据来源二叉树,并将二叉树转换成平衡二叉树,以创建数结点。
21)、在临时存储区中添加标注列,将底层电力***抽取的数据临时存储在此列,作为树的最底层节点;
22)、当进入数据转换过程产生新的数据时,记录该新数据是由哪些叶节点产生,并将该数据视为节点保存在叶节点的上一层中;
23)、当数据进行增量更新时,若有效存储区的数据有变化,则将新的数据继续视为上一层节点保存在树中;
24)、当数据被平台或应用程序调用,将平台此数据作为树的上一层节点保存在树中;
25)、重复步骤22)、23)、24),直至数据不再被更新或调用,结束对树节点的建立,认为此数据来源树建立完成。
26)、在所有兄弟节点之间加一条连接线,只保留节点与其长子的连线,去掉该节点与其它孩子的连线,将树转化成二叉树。
3)对构建的二叉树建立线索,方便进行数据的逆查询。
31)、输入当前需要添加线索的节点;
32)、访问该节点,并判断该节点的左孩子是否为空;若不为空,则访问左孩子,并为当前节点添加线索,获取其左孩子节点,并压入栈;
33)、若该节点的左孩子为空,则继续判断其右孩子是否为空;若不为空,则访问右孩子,并为当前节点添加线索,获取其右孩子节点,并压入栈;
34)、若该节点左右孩子均为空,则判断栈是否为空,若栈不为空,则栈顶元素出栈,获取其右孩子节点,判断其右孩子是否为空,若为空,则访问右孩子,并为当前节点添加线索,获取其右孩子节点,并压栈;;
35)、若其右孩子不为空,重复执行步骤34)。
4)完成对电力***异常数据的反馈与整改。
对电力***异常数据的反馈与整改过程如下:匹配二叉树顶点的有效数据和最底层的原始数据;如果不一致,则用顶点的数据对最底层的原始数据进行反馈和整改,并在展示层进行展示;如果最底层异常数据来源于源数据层***,则将该整改需求分发给该异常数据源数据层***进行修改,如果最底层异常数据来源于数据仓库的ETL处理异常,则将该错误发给数据仓库ETL编写人员。
Claims (4)
1.一种基于数据来源二叉树的电力***异常数据溯源算法,其特征在于该方法包括以下步骤:
1)实时获取电力数据,对数据进行标注;
2)构建数据来源二叉树,并将二叉树转换成平衡二叉树,以创建数结点;
3)对构建的二叉树建立线索,方便进行数据的逆查询;
4)完成对电力***异常数据的反馈与整改。
2.根据权利要求1中所述的基于数据来源二叉树的电力***异常数据溯源方法,其特征在于:所述的步骤2)中,采用二叉树转平衡二叉树的算法,将数据来源二叉树转为平衡二叉树,该树满足任何一个节点的左右子树高度差的绝对值小于等于1;具体如下:
21)在临时存储区中添加标注列,将底层电力***抽取的数据临时存储在此列,作为树的最底层节点;
22)当进入数据转换过程产生新的数据时,记录该新数据是由哪些叶节点产生,并将该数据视为节点保存在叶节点的上一层中;
23)当数据进行增量更新时,若有效存储区的数据有变化,则将新的数据继续视为上一层节点保存在树中;
24)当数据被平台或应用程序调用,将平台此数据作为树的上一层节点保存在树中;
25)重复步骤22)、23)、24),直至数据不再被更新或调用,结束对树节点的建立,认为此数据来源树建立完成;
26)在所有兄弟节点之间加一条连接线,只保留节点与其长子的连线,去掉该节点与其它孩子的连线,将树转化成二叉树。
3.根据权利要求1中所述的基于数据来源二叉树的电力***异常数据溯源方法,其特征在于:所述步骤3)中,对二叉树添加线索,是针对每一个节点添加前驱和后继,当平台数据或目标数据被修改后,逆向快速地找到修改数据的原始来源表以及原始数据;具体如下:
31)输入当前需要添加线索的节点;
32)访问该节点,并判断该节点的左孩子是否为空;若不为空,则访问左孩子,并为当前节点添加线索,获取其左孩子节点,并压入栈;
33)若该节点的左孩子为空,则继续判断其右孩子是否为空;若不为空,则访问右孩子,并为当前节点添加线索,获取其右孩子节点,并压入栈;
34)若该节点左右孩子均为空,则判断栈是否为空,若栈不为空,则栈顶元素出栈,获取其右孩子节点,判断其右孩子是否为空,若为空,则访问右孩子,并为当前节点添加线索,获取其右孩子节点,并压栈;;
35)若其右孩子不为空,重复执行步骤34)。
4.根据权利要求1中所述的基于数据来源二叉树的电力***异常数据溯源方法,其特征在于:所述步骤4)中,对电力***异常数据的反馈与整改过程如下:匹配二叉树顶点的有效数据和最底层的原始数据;如果不一致,则用顶点的数据对最底层的原始数据进行反馈和整改,并在展示层进行展示;如果最底层异常数据来源于源数据层***,则将该整改需求分发给该异常数据源数据层***进行修改,如果最底层异常数据来源于数据仓库的ETL处理异常,则将该错误发给数据仓库ETL编写人员。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510656171.4A CN105183911A (zh) | 2015-10-12 | 2015-10-12 | 一种基于数据来源二叉树的电力***异常数据溯源方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510656171.4A CN105183911A (zh) | 2015-10-12 | 2015-10-12 | 一种基于数据来源二叉树的电力***异常数据溯源方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105183911A true CN105183911A (zh) | 2015-12-23 |
Family
ID=54905992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510656171.4A Pending CN105183911A (zh) | 2015-10-12 | 2015-10-12 | 一种基于数据来源二叉树的电力***异常数据溯源方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105183911A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106407429A (zh) * | 2016-09-27 | 2017-02-15 | 国家电网公司 | 文件追踪方法、装置及*** |
CN106546875A (zh) * | 2016-10-13 | 2017-03-29 | 华北科技学院 | 电力线路报警方法 |
CN106646108A (zh) * | 2016-10-14 | 2017-05-10 | 北京鼎科远图科技有限公司 | 电力架空线路报警方法 |
CN111553806A (zh) * | 2020-05-08 | 2020-08-18 | 中国科学院合肥物质科学研究院 | 基于低功耗传感器和Boost模型的自适应作物管理***及方法 |
CN111625694A (zh) * | 2020-06-05 | 2020-09-04 | 中国银行股份有限公司 | 多级标签处理方法、装置及计算机设备 |
CN112100181A (zh) * | 2020-09-22 | 2020-12-18 | 国网辽宁省电力有限公司电力科学研究院 | 一种基于沙盘的数据资源管理方法 |
CN112473129A (zh) * | 2020-11-24 | 2021-03-12 | 杭州电魂网络科技股份有限公司 | 增量数据获取的方法、***、电子装置和存储介质 |
CN113109642A (zh) * | 2021-03-10 | 2021-07-13 | 中国电力科学研究院有限公司 | 一种用于对电能质量信号数据处理的方法及*** |
CN114626532A (zh) * | 2020-12-10 | 2022-06-14 | 合肥本源量子计算科技有限责任公司 | 基于地址读取数据的方法、装置、存储介质及电子装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722582A (zh) * | 2012-06-07 | 2012-10-10 | 陈浩 | 基于逆向清理的数据整合***及方法 |
CN103066689A (zh) * | 2012-12-21 | 2013-04-24 | 上海市电力公司 | 一种10kV馈线负荷转供路径在线选择*** |
CN103607291A (zh) * | 2013-10-25 | 2014-02-26 | 北京科东电力控制***有限责任公司 | 用于电力二次***内网安全监视平台的告警解析归并方法 |
CN104601361A (zh) * | 2014-09-30 | 2015-05-06 | 北京科东电力控制***有限责任公司 | 用于不符合策略访问的电力二次***安全事件分析方法 |
US9063976B1 (en) * | 2008-08-28 | 2015-06-23 | Amazon Technologies, Inc. | Dynamic tree determination for data processing |
-
2015
- 2015-10-12 CN CN201510656171.4A patent/CN105183911A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9063976B1 (en) * | 2008-08-28 | 2015-06-23 | Amazon Technologies, Inc. | Dynamic tree determination for data processing |
CN102722582A (zh) * | 2012-06-07 | 2012-10-10 | 陈浩 | 基于逆向清理的数据整合***及方法 |
CN103066689A (zh) * | 2012-12-21 | 2013-04-24 | 上海市电力公司 | 一种10kV馈线负荷转供路径在线选择*** |
CN103607291A (zh) * | 2013-10-25 | 2014-02-26 | 北京科东电力控制***有限责任公司 | 用于电力二次***内网安全监视平台的告警解析归并方法 |
CN104601361A (zh) * | 2014-09-30 | 2015-05-06 | 北京科东电力控制***有限责任公司 | 用于不符合策略访问的电力二次***安全事件分析方法 |
Non-Patent Citations (3)
Title |
---|
唐钰: "基于逆向清理的实时数据整合及数据准确度评估", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
龚利: "基于数据血统追踪的物化视图更新技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
龚利等: "基于数据血统标注的物化视图精确更新技术", 《计算机研究与发展》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106407429A (zh) * | 2016-09-27 | 2017-02-15 | 国家电网公司 | 文件追踪方法、装置及*** |
CN106546875A (zh) * | 2016-10-13 | 2017-03-29 | 华北科技学院 | 电力线路报警方法 |
CN106546875B (zh) * | 2016-10-13 | 2020-09-22 | 华北科技学院 | 电力线路报警方法 |
CN106646108A (zh) * | 2016-10-14 | 2017-05-10 | 北京鼎科远图科技有限公司 | 电力架空线路报警方法 |
CN111553806A (zh) * | 2020-05-08 | 2020-08-18 | 中国科学院合肥物质科学研究院 | 基于低功耗传感器和Boost模型的自适应作物管理***及方法 |
CN111553806B (zh) * | 2020-05-08 | 2022-08-16 | 中国科学院合肥物质科学研究院 | 基于低功耗传感器和Boost模型的自适应作物管理***及方法 |
CN111625694A (zh) * | 2020-06-05 | 2020-09-04 | 中国银行股份有限公司 | 多级标签处理方法、装置及计算机设备 |
CN111625694B (zh) * | 2020-06-05 | 2023-04-07 | 中国银行股份有限公司 | 多级标签处理方法、装置及计算机设备 |
CN112100181A (zh) * | 2020-09-22 | 2020-12-18 | 国网辽宁省电力有限公司电力科学研究院 | 一种基于沙盘的数据资源管理方法 |
CN112100181B (zh) * | 2020-09-22 | 2024-06-11 | 国网辽宁省电力有限公司电力科学研究院 | 一种基于沙盘的数据资源管理方法 |
CN112473129A (zh) * | 2020-11-24 | 2021-03-12 | 杭州电魂网络科技股份有限公司 | 增量数据获取的方法、***、电子装置和存储介质 |
CN112473129B (zh) * | 2020-11-24 | 2024-03-26 | 杭州电魂网络科技股份有限公司 | 增量数据获取的方法、***、电子装置和存储介质 |
CN114626532B (zh) * | 2020-12-10 | 2023-11-03 | 本源量子计算科技(合肥)股份有限公司 | 基于地址读取数据的方法、装置、存储介质及电子装置 |
CN114626532A (zh) * | 2020-12-10 | 2022-06-14 | 合肥本源量子计算科技有限责任公司 | 基于地址读取数据的方法、装置、存储介质及电子装置 |
CN113109642B (zh) * | 2021-03-10 | 2023-12-05 | 中国电力科学研究院有限公司 | 一种用于对电能质量信号数据处理的方法及*** |
CN113109642A (zh) * | 2021-03-10 | 2021-07-13 | 中国电力科学研究院有限公司 | 一种用于对电能质量信号数据处理的方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105183911A (zh) | 一种基于数据来源二叉树的电力***异常数据溯源方法 | |
CN102722582B (zh) | 基于逆向清理的数据整合***及方法 | |
CN111177400B (zh) | 基于知识图谱的设备、业务及数据的关联显示方法和装置 | |
US9411867B2 (en) | Method and apparatus for processing database data in distributed database system | |
CN103955510A (zh) | 基于etl云平台上传的海量电力营销数据整合方法 | |
CN106909372B (zh) | 一种移动端用户购买路径计算方法及*** | |
CN102750406A (zh) | 一种基于模型集和差异模型的电网模型多版本管理方法 | |
CN104216961A (zh) | 一种数据处理方法和装置 | |
CN111708531A (zh) | 数据处理方法和装置 | |
CN114416855A (zh) | 一种基于电力大数据的可视化平台及方法 | |
CN104657387A (zh) | 一种数据查询方法及装置 | |
CN103914307A (zh) | 一种基于可复用库的交互界面快速实现方法 | |
CN111666456B (zh) | 一种基于多源配网网络的网架拓扑自动构建方法 | |
CN105868196A (zh) | 一种服务器端工业数据报表生成方法 | |
CN105573774A (zh) | 应用程序参数管理及配置方法 | |
CN105574032A (zh) | 规则匹配运算方法及装置 | |
CN104699857A (zh) | 基于知识工程的大数据存储方法 | |
CN106294805A (zh) | 数据处理方法及装置 | |
CN115408546A (zh) | 一种时序数据管理方法、装置、设备及存储介质 | |
CN103606032A (zh) | 一种二维电网gis数据集中的方法 | |
CN104268709A (zh) | 一种采用分布式lsm树的rfid***设计方法 | |
CN112035466B (zh) | 一种区块链查询外置索引开发框架 | |
CN104636397A (zh) | 用于分布式计算的资源分配方法、计算加速方法以及装置 | |
Lee et al. | A big data management system for energy consumption prediction models | |
CN112559514B (zh) | 一种信息处理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20151223 |
|
WD01 | Invention patent application deemed withdrawn after publication |