CN107562768A - 一种数据处理过程动态回溯追踪方法 - Google Patents
一种数据处理过程动态回溯追踪方法 Download PDFInfo
- Publication number
- CN107562768A CN107562768A CN201610821905.4A CN201610821905A CN107562768A CN 107562768 A CN107562768 A CN 107562768A CN 201610821905 A CN201610821905 A CN 201610821905A CN 107562768 A CN107562768 A CN 107562768A
- Authority
- CN
- China
- Prior art keywords
- data
- back jump
- processing
- record
- static
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于动态回溯追踪的数据处理方法,包括步骤:A)采用基于多目标多特征信息融合数据关联;B)进行日志关联分析排序处理;C)对静态数据与日志动态关联与呈现。本发明通过一种在数据处理中的回溯追踪技术,能动态展现数据在数据处理中生命周期变化,追踪数据的所有操作处理,并且能给往下回顾历史数据,往上预测数据走向以及预定数据信息展现服务。当展现数据缺乏合理性时,可以回溯追踪整个数据处理过程。
Description
技术领域
本发明涉及一种数据处理方法,尤其是指一种基于动态回溯追踪的数据处理方法。
背景技术
随着云计算、大数据技术的兴起,数据处理技术变得越发重要。如何在数据中获取有价值的信息,指导商业决策和管理,是目前热门的研究课题,而数据处理得到结果的正确性和合理性如何评判,则是目前考虑较少的。在数据处理过程中,传统的数据查询是通过数据库工具或者是数据分析工具作静态呈现,存在不能跟踪数据采集来源信息,呈现单一等问题。而信息状态查询,则是通过各个数据处理部件的工作日志做零散的记录和输出,存在着信息孤岛以及查看繁琐等问题。总而言之,传统的数据与信息呈现是静态和单一的,不能满足用户对数据***实时查看信息状态,追踪信息来源的需求。
发明内容
本发明的目的在于提供一种基于动态回溯追踪的数据处理方法,解决现有技术的缺陷。
一种基于动态回溯追踪的数据处理方法,包括步骤:
A)采用基于多目标多特征信息融合数据关联,通过接收数据采集、数据存储、数据计算、数据呈现四个数据处理的模块提交的数据状态信息;并按照数据逻辑相关性进行过滤、去重、变更、生成关联键值、组内关联、组间关联处理;关联后的数据呈现出数据上下文的分组;
B)进行日志关联分析排序处理:首先,从各个数据处理部件收集日志,并进行汇总;其次,形成统一格式的日志事件:提取日志数据的特征数据,根据提取到的特征数据构建统一格式的日志事件;最后,通过数据查询策略,按照时间和操作事件的维度,将日志进行排序,得到数据的行为和流向记录;
C)对静态数据与日志动态关联与呈现:将静态数据处理单元得到的静态关联数据以及日志处理单元得到的数据行为和流向记录进行关联和统计处理,动态展现数据全生命周期流向和操作处理过程,满足任何时间点的数据回溯追踪,向下查看历史记录,追踪数据来源,数据操作事件,向上测数据走向以及预定数据信息展现服务。
所述A)步骤的数据状态信息包括数据来源、元数据、处理操作。
所述B)步骤的提取日志数据的特征数据为通过预设的条件或者动态配置。
所述B)步骤的数据查询策略为对事件进行交叉关联分析和事件流逻辑关联分析。
本发明通过一种在数据处理中的回溯追踪技术,能动态展现数据在数据处理中生命周期变化,追踪数据的所有操作处理,并且能给往下回顾历史数据,往上预测数据走向以及预定数据信息展现服务。当展现数据缺乏合理性时,可以回溯追踪整个数据处理过程。
数据处理过程中的回溯追踪技术,则是在传统方法的基础上,将静态数据展现与日志记录动态结合,实现动态数据和信息状态呈现。一方面,对目前的静态数据呈现作优化,优化点如下:
1、增加采集数据和存储数据之间的数据关联处理;
2、增加存储数据与处理数据流水号的关联处理;
3、增加处理数据与展现数据流水号的关联处理。
通过以上的优化,达到数据全处理过程的索引关联。
另一方面,对目前数据处理部件的日志作优化,优化点如下:
1、通过数据处理部件实行socket端口的动态监控,将各个数据处理部件的日志进行汇总;
2、建立统一日志格式;
3、对日志作关键事件、关键操作排序。
通过以上的优化,日志呈现统一、有序的组合。
在以上两方面的优化后,将静态数据和动态数据作关联处理,实现如下的功能:
1、数据按时间维度作历史时刻的动态展现。
2、数据按时间维度作预测或者定制时刻的动态展现。
3、数据按事件维度作历史时刻的动态展现。
4、数据按事件维度作预测或者定制时刻的动态展现。
展现的维度和内容可以作定制选择,内容包含而不限于:每笔处理的数据采集来源信息,数据处理事件记录(包含有具体操作、操作部件等)。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
如图1所示,本发明涉及一种数据处理过程中的动态回溯跟踪方法,它包括步骤:
1、基于多目标多特征信息融合数据关联技术:接收数据采集、数据存储、数据计算、数据呈现四个数据处理的模块提交的数据状态信息,其中数据状态信息包括有数据来源、元数据、处理操作等。并按照一定的数据逻辑相关性进行过滤、去重、变更、生成关联键值、组内关联、组间关联等一系列处理。关联后的数据呈现出数据上下文的分组,可以满足如流程回溯、数据动态追踪、告警判断、趋势分析、状态监控等需求。
2、日志关联分析排序处理技术:首先,从各个数据处理部件收集日志,并进行汇总;其次,形成统一格式的日志事件:提取日志数据的特征数据(通过预设的条件或者动态配置的方式),根据提取到的特征数据构建统一格式的日志事件;最后,通过数据查询策略(数据查询策略指示对事件进行交叉关联分析和事件流逻辑关联分析),目前是按照时间和操作事件的维度,将日志进行排序,得到数据的行为和流向记录。
3、静态数据与日志动态关联与呈现技术:将静态数据处理单元得到的静态关联数据以及日志处理单元得到的数据行为和流向记录进行关联和统计处理,动态展现数据全生命周期流向和操作处理过程,满足任何时间点的数据回溯追踪,向下查看历史记录,追踪数据来源,数据操作事件,向上预测数据走向以及预定数据信息展现服务。
下面以某电网项目为例,说明本专利中数据处理动态回溯的处理过程;
1、数据处理***处理过程:
1)数据采集过程:数据采集模块定时将数据信息,包括电网数据来源地点,采集时间,采集内容,采集时做的变换信息,传递给静态数据处理单元。静态数据处理单元接到数据后,对数据流分配流水号,并将流水号返回给数据采集,数据采集模块将流水号纪录,并带到数据存储模块,流水号将用于静态数据与日志信息的关联。采集模块收到静态数据处理单元分配的流水号后,将在这个定时时间片段中的日志信息增加流水号,将日志信息以及相关的流水号传递给日志处理单元。日志处理单元记录数据,并增加时间戳信息,用于后续静态数据与日志融合时,进行校验。
2)数据存储过程:数据存储模块定时将数据存储的元数据信息,存储时间戳等信息传递给静态数据处理单元,静态数据单元将数据纪录,并将之前分配过的流水号与元数据进行关联处理。同时,数据存储模块将日志信息以及相关的流水号传递给日志处理单元。日志处理单元记录数据。
3)数据计算过程:数据计算模块定时将数据计算处理过程的操作进行记录,并将流水号以及数据操作记录传递给静态数据处理单元。静态数据单元将数据记录,根据流水号,将数据计算操作记录与元数据进行关联处理。同时,数据计算模块将日志信息以及相关的流水号传递给日志处理单元。日志处理单元记录数据。
4) 数据展现过程:数据展现模块定时将数据查询展现过程的操作进行记录,并将流水号以及数据查询展现过程的操作记录传递给静态数据处理单元。静态数据单元将数据记录,根据流水号,将数据查询展现过程的操作记录与元数据、数据计算操作记录进行关联处理。同时,数据展现模块将日志信息以及相关的流水号传递给日志处理单元。日志处理单元记录数据。
2、回溯追踪***处理过程:
1) 静态数据处理单元:将数据处理***四个模块(采集、存储、计算、展现)传递过来的数据,按照流水号,进行关联,达到数据全处理过程的索引关联。
2)日志处理单元:将数据处理***四个模块(采集、存储、计算、展现)传递过来的日志,按照流水号,进行关联。同时,对日志对格式进行规则,建立统一日志格式;另外,对规整后的日志,提取关键事件、关键操作,并按照时间排序。
3)静态数据与日志融合处理单元:将静态处理数据与日志信息按照流水号进行关联。为了保证关联的正确性,将根据日志数据中以及静态数据的时间戳进行对比校验。静态处理数据与日志信息关联后,将数据作按照时间和事件两个维度排序,对历史情况、预测或者定制时刻的数据动态展现。对于预测的场景,则是按照历史数据,通过预测算法进行趋势分析实现。
在某电网***中,之前采用的是传统日志以及数据记录工具,数据是分散,单一的,数据详细来源无法获取,当最终处理结果出现问题,很难定位是哪里来的数据,哪一步的操作引入问题,***管理员以及运维人员解决问题的效率低下。通过了引入本专利中的数据处理回溯***后,实现了数据的全生命周期处理过程的展现,一方面,满足了电网管理员稽查数据的要求,另一方面也满足了电网运维人员查看***运行状态,根据详细统一的数据处理以及日志信息,快速定位问题,解决日常维护的问题。满足任何时间点的数据回溯追踪,向下查看历史记录,追踪数据来源,数据操作事件,向上预测数据走向以及预定数据信息展现服务,回溯***体现出的高效、便捷,获得了某电网客户的好评。
Claims (4)
1.一种基于动态回溯追踪的数据处理方法,包括步骤:
A)采用基于多目标多特征信息融合数据关联,通过接收数据采集、数据存储、数据计算、数据呈现四个数据处理的模块提交的数据状态信息;并按照数据逻辑相关性进行过滤、去重、变更、生成关联键值、组内关联、组间关联处理;关联后的数据呈现出数据上下文的分组;
B)进行日志关联分析排序处理:首先,从各个数据处理部件收集日志,并进行汇总;其次,形成统一格式的日志事件:提取日志数据的特征数据,根据提取到的特征数据构建统一格式的日志事件;最后,通过数据查询策略,按照时间和操作事件的维度,将日志进行排序,得到数据的行为和流向记录;
C)对静态数据与日志动态关联与呈现:将静态数据处理单元得到的静态关联数据以及日志处理单元得到的数据行为和流向记录进行关联和统计处理,动态展现数据全生命周期流向和操作处理过程,满足任何时间点的数据回溯追踪,向下查看历史记录,追踪数据来源,数据操作事件,向上测数据走向以及预定数据信息展现服务。
2.如权利要求1所述的基于动态回溯追踪的数据处理方法,其特征是:所述A)步骤的数据状态信息包括数据来源、元数据、处理操作。
3.如权利要求1所述的基于动态回溯追踪的数据处理方法,其特征是:所述B)步骤的提取日志数据的特征数据为通过预设的条件或者动态配置。
4.如权利要求1所述的基于动态回溯追踪的数据处理方法,其特征是:所述B)步骤的数据查询策略为对事件进行交叉关联分析和事件流逻辑关联。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610821905.4A CN107562768A (zh) | 2016-09-14 | 2016-09-14 | 一种数据处理过程动态回溯追踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610821905.4A CN107562768A (zh) | 2016-09-14 | 2016-09-14 | 一种数据处理过程动态回溯追踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107562768A true CN107562768A (zh) | 2018-01-09 |
Family
ID=60973451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610821905.4A Pending CN107562768A (zh) | 2016-09-14 | 2016-09-14 | 一种数据处理过程动态回溯追踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107562768A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815378A (zh) * | 2019-01-31 | 2019-05-28 | 三盟科技股份有限公司 | 一种基于元数据链路的数据追踪方法及*** |
CN113256081A (zh) * | 2021-05-07 | 2021-08-13 | 北京福通互联科技集团有限公司 | 基于工业互联网标识的肉食屠宰流程内部追溯方法及装置 |
CN116108091A (zh) * | 2022-12-26 | 2023-05-12 | 小米汽车科技有限公司 | 数据处理方法、事件追踪分析方法、装置、设备及介质 |
CN117520313A (zh) * | 2024-01-02 | 2024-02-06 | 北京淇瑀信息科技有限公司 | 基于多维关联数据仓库切片表的数据回溯方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析***与方法 |
CN105488610A (zh) * | 2015-11-23 | 2016-04-13 | 国网山东省电力公司信息通信公司 | 一种电力应用***故障实时分析诊断***及方法 |
CN105721193A (zh) * | 2014-12-05 | 2016-06-29 | 方正国际软件(北京)有限公司 | 一种***信息监控的方法和设备 |
CN105843803A (zh) * | 2015-01-12 | 2016-08-10 | 上海悦程信息技术有限公司 | 大数据安全可视化交互分析***及方法 |
-
2016
- 2016-09-14 CN CN201610821905.4A patent/CN107562768A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析***与方法 |
CN105721193A (zh) * | 2014-12-05 | 2016-06-29 | 方正国际软件(北京)有限公司 | 一种***信息监控的方法和设备 |
CN105843803A (zh) * | 2015-01-12 | 2016-08-10 | 上海悦程信息技术有限公司 | 大数据安全可视化交互分析***及方法 |
CN105488610A (zh) * | 2015-11-23 | 2016-04-13 | 国网山东省电力公司信息通信公司 | 一种电力应用***故障实时分析诊断***及方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815378A (zh) * | 2019-01-31 | 2019-05-28 | 三盟科技股份有限公司 | 一种基于元数据链路的数据追踪方法及*** |
CN113256081A (zh) * | 2021-05-07 | 2021-08-13 | 北京福通互联科技集团有限公司 | 基于工业互联网标识的肉食屠宰流程内部追溯方法及装置 |
CN113256081B (zh) * | 2021-05-07 | 2022-03-08 | 北京福通互联科技集团有限公司 | 基于工业互联网标识的肉食屠宰流程内部追溯方法及装置 |
CN116108091A (zh) * | 2022-12-26 | 2023-05-12 | 小米汽车科技有限公司 | 数据处理方法、事件追踪分析方法、装置、设备及介质 |
CN116108091B (zh) * | 2022-12-26 | 2024-01-23 | 小米汽车科技有限公司 | 数据处理方法、事件追踪分析方法、装置、设备及介质 |
CN117520313A (zh) * | 2024-01-02 | 2024-02-06 | 北京淇瑀信息科技有限公司 | 基于多维关联数据仓库切片表的数据回溯方法及装置 |
CN117520313B (zh) * | 2024-01-02 | 2024-03-26 | 北京淇瑀信息科技有限公司 | 基于多维关联数据仓库切片表的数据回溯方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104616205B (zh) | 一种基于分布式日志分析的电力***运行状态监视方法 | |
CN105765906B (zh) | 用于网络功能虚拟化信息集中器的方法、***和计算机可读介质 | |
CN103532940B (zh) | 网络安全检测方法及装置 | |
CN106790718A (zh) | 服务调用链路分析方法及*** | |
CN107562768A (zh) | 一种数据处理过程动态回溯追踪方法 | |
CN109710731A (zh) | 一种基于Flink的数据流多向处理*** | |
CN109961204A (zh) | 一种微服务架构下业务质量分析方法和*** | |
CN105868075A (zh) | 一种实时监控分析大量日志的***及方法 | |
CN104616092A (zh) | 一种基于分布式日志分析的行为模式处理方法 | |
CN109993189A (zh) | 一种网络故障预警方法、装置和介质 | |
CN105790990B (zh) | 一种监管配用电通信业务的方法及其*** | |
CN106709069A (zh) | 高可靠性的大数据日志采集与传输方法 | |
CN107800565A (zh) | 巡检方法、装置、***、计算机设备和存储介质 | |
CN112130999A (zh) | 一种基于边缘计算的电力异构数据处理方法 | |
CN111586091A (zh) | 一种实现算力组配的边缘计算网关*** | |
CN109088747A (zh) | 云计算***中资源的管理方法和装置 | |
CN110378585A (zh) | 电网故障处置计算任务编排调用方法、***及存储介质 | |
CN118017509B (zh) | 基于数字孪生空间的大规模配电网并行优化方法 | |
CN116703024A (zh) | 基于电力大数据的煤炭行业企业生产情况分析*** | |
CN111339050B (zh) | 一种基于大数据平台集中安全审计的方法及*** | |
CN111382213A (zh) | 一种结合物联网及云计算技术的数据分析*** | |
CN102984013A (zh) | 一种用于通信传输网的告警分析方法 | |
Pasias et al. | Cyber-Resilience Enhancement Framework in Smart Grids | |
CN116232695A (zh) | 一种网络安全运维关联分析*** | |
CN203261124U (zh) | 一种智能电网用户侧响应*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |