CN104881427A - 一种面向电网调控运行的数据血统分析方法 - Google Patents
一种面向电网调控运行的数据血统分析方法 Download PDFInfo
- Publication number
- CN104881427A CN104881427A CN201510152697.9A CN201510152697A CN104881427A CN 104881427 A CN104881427 A CN 104881427A CN 201510152697 A CN201510152697 A CN 201510152697A CN 104881427 A CN104881427 A CN 104881427A
- Authority
- CN
- China
- Prior art keywords
- data
- lineage
- power grid
- queue
- grid regulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种面向电网调控运行的数据血统分析方法,包括如下步骤:S1,为电网调控运行数据建立数据血统结构,组成哈希表;S2,发现数据异常时,在数据血统结构中定位目标数据的节点;S3,基于数据血统结构和目标数据的节点,遍历搜索数据队列,查询所述搜索数据队列的队头元素的数据血统信息,将数据血统信息中的基因信息以及遗传运算符加入源数据队列末尾,将最终的源数据队列作为所述目标数据的来源的追踪结果。本发明可以快速地找到数据异常的相关数据以及数据之间的相互关系,及时有效地对其进行处理,提高了调度生产辅助决策能力,进而提高了电网运行安全稳定性。
Description
技术领域
本发明涉及一种电网调控运行数据分析方法,尤其涉及一种面向电网调控运行的数据血统分析方法,属于电力***调度自动化技术领域。
背景技术
随着智能电网调度技术支持***(SG-OSS)的持续建设,电力调度数据中心所存储的数据越来越多。这些数据主要包含电网运行类、生产管理类和市场运营类等方面的数据。智能电网在运行过程中,数据不可避免地会发生跳变、不刷新等异常错误,由于数据的存储方式和数据的分散性,让用户很难直接找到异常错误的相关数据并进行分析,进而找到异常发生的原因。随着智能电网的发展,电网生产运行和管理对数据准确性提出更高要求,调度数据必须具有可靠性和完整性,才能准确反映电网运行情况。
在信息化时代,对于调度所有办公自动化业务,应用与数据是密不可分的。目前,数据使用者对电力数据有异常疑问时无法智能追踪数据来源,更多是通过咨询厂家或者根据自己的工作经验来分析数据来源,在工作中大大降低了工作效率和数据处理的准确度。随着电网业务需求逐步增多,电网数据质量要求越来越高,在电网实际应用业务中难免存在异常数据,仅仅通过智能电网调度数据模型,对于异常数据透明化查找的支持非常欠缺,不能很快的找到异常数据的关联数据,进而对异常进行分析、处理。例如调度上报业务,需要统计全网日电量,各个地区上报给省调,省调汇总再上报国调,当省调对各个地方的日电量进行汇总发现数据异常时,通常需要人工判断查找各地区上报分量,不能很快的找到异常数据的关联数据,大大浪费调度员的上报时间,而且,在异常数据处理上人工干预太多,主观性过强,准确度不高,缺少对数据透明化的追踪查找,不能满足智能电网调度管理的实际应用要求。
在公开号为CN104424269A的中国专利申请中,公开了一种数据血统分析方法与装置,包括基于模式配置对查询语句进行分析,以识别其中的目标表、目标字段、源表与源字段;获取各类数据库***定义的或用户自定义的元数据并利用元数据对查询语句的模糊字段进行精确匹配;根据识别出的目标字段与源字段的字段追溯顺序生成查询语句的数据血统关系;通过多层语句解析分析出多条查询语句之间的数据血统关系。该方案能够实现对查询语句中脚本数据的追踪。但是,现有技术并没有将其应用在智能电网调度技术支持***中,用以分析整合电网调控运行数据。
发明内容
针对现有技术的不足,本发明所要解决的技术问题在于提供一种面向电网调控运行的数据血统分析方法。
为实现上述发明目的,本发明采用下述的技术方案:
一种面向电网调控运行的数据血统分析方法,包括如下步骤:
S1,为电网调控运行数据建立数据血统结构,组成哈希表;
S2,发现数据异常时,在数据血统结构中定位目标数据的节点;
S3,基于数据血统结构和目标数据的节点,遍历搜索数据队列,查询所述搜索数据队列的队头元素的数据血统信息,将数据血统信息中的基因信息以及遗传运算符加入源数据队列末尾,将最终的源数据队列作为所述目标数据的来源的追踪结果;
S4,将追踪结果进行可视化呈现,供调度员分析、决策。
其中较优地,在步骤S1中,对电网调控运行数据进行分析,以生成识别源数据、中间数据和目标数据的业务数据。
其中较优地,所述哈希表包含业务数据和数据血统信息;
所述数据血统信息包含数据基因标识和遗传因子两部分。
其中较优地,所述数据基因标识包括数据所在数据库表、字段以及行键值;
所述行键值为任意值或空值。
其中较优地,根据基因标识的所述数据库表、所述字段以及所述行键值,通过哈希函数为所述基因标识生成一个唯一标识。
其中较优地,所述中间数据不在所述追踪结果中进行存储。
其中较优地,在步骤S3中,对目标数据的来源进行追踪具体包括如下步骤:
S31,获取目标数据的基因标识的唯一标识,并将所述唯一标识放入搜索数据队列;
S32,遍历搜索数据队列,若搜索数据队列为空,则跳转到步骤S34;否则,取出队头元素,以所述队头元素为键在所述哈希表中查询所述队头元素的数据血统信息;
S33,若数据血统信息中的遗传因子项为空,将数据血统信息中的基因信息放入源数据队列末尾,转向步骤S32;否则取出遗传因子中遗传运算符,加入源数据队列末尾,同时取出遗传因子中双亲的唯一标识,并加入搜索数据队列末尾,转向步骤S32;
S34,将源数据队列作为追踪结果提取出来。
其中较优地,在步骤S31中,所述获取目标数据的基因标识的唯一标识,并将所述唯一标识放入搜索数据队列具体包括如下步骤:
首先,取出目标数据的基因标识,包括:数据库表名、字段名以及数据行键值;
然后,初始化搜索数据队列;
最后,使用哈希函数算出目标数据的唯一标识,将所述唯一标识放入所述搜索数据队列中。
本发明所提供的面向电网调控运行的数据血统分析方法,为电网调控运行数据建立数据血统结构,当发生数据异常时,通过采用基于宽度优先遍历的数据血统追踪算法对目标数据的来源进行追踪,将追踪结果可视化呈现给调度员,供调度员分析、决策。该方法可以快速地找到数据异常的相关数据以及数据之间的相互关系,在电网调度应用中便于业务数据来源的追踪,更好的满足调度数据业务的需求,为调度业务数据提供满足安全性、可靠性、一致性要求的有效数据,有效地提高了调度生产辅助决策能力。
附图说明
图1为本发明所提供的面向电网调控运行的数据血统分析方法的流程图;
图2为本发明所提供的数据血统分析方法中,单一电网调控运行数据的数据血统结构示意图;
图3为本发明所提供的数据血统分析方法中,电网调控运行数据建立的数据血统结构的整体结构示意图;
图4为本发明所提供的数据血统分析方法中,采用数据血统追踪算法对目标数据的来源进行追踪的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行进一步的详细说明。
本发明针对数据异常难以追踪分析这一问题,提供一种面向电网调控运行的数据血统分析方法。该方法将采集的电网调控运行数据进行分析,以识别源数据、中间数据和目标数据。其中,源数据是电力调度***直接采集来的原始数据;中间数据和目标数据是在其他数据(源数据或中间数据)的基础上通过计算得到的数据,且中间数据只是在计算的过程中出现,并没有保存在数据库(追踪结果)中,能最大限度地简化追踪结果,使追踪结果中只显示与异常数据相关联的数据以及运算关系,使追踪结果一目了然,提高了异常数据的处理效率。为上述三类数据添加数据血统信息,包含数据基因标识和遗传因子两部分,最终生成哈希表HTLine。基因标识由数据所在数据库表、字段、行键值(可以为空)以及数据唯一标识组成。而遗传因子由双亲数据标识以及遗传运算符号组成,用以描述数据的转换过程。建立数据血统结构的电网调控运行数据被持久化在数据库血统信息表中,并在***运行过程中被加载入内存以加快查找。当调度员发现数据异常时,启动对应数据的血统追踪分析过程,逐层查找数据的祖先,并将与该数据有血缘关系的所有祖先返回,供调度员分析、决策。
其中,数据血统是近几年随着数据库和网络的发展而发展起来的一个研究领域,其内容主要包括数据血统的计算、存储、传播和查询等。数据血统记载了对数据处理的整个历史,包括数据的起源和处理这些数据的所有后继过程(数据产生、并随着时间推移而演变的整个过程)。数据血统的相关研究近几年吸引了数据集成、Web搜索、语义标注、海量存储等领域学者的广泛关注。
数据血统关系是指数据之间的上下文关系,数据的血统分析是对数据库***追溯查询结果的来源,以衡量数据的可信度、数据的质量。通过数据血统追踪,在分布数据共享时可以解决数据的可信度、质量、版本信息等,对于各种导出数据集也能解决这些问题。通过数据血统追踪,可以获得数据在数据流的演化过程。
如图1所示,在本发明所提供的面向电网调控运行的数据血统分析方法中,首先,为电网调控运行数据建立数据血统结构。然后,基于数据血统结构和目标数据的节点,设计基于宽度优先遍历的数据血统追踪算法对目标数据的来源进行追踪,找到与异常数据相关联的数据以及运算关系,组成追踪结果。最后,将追踪结果可视化呈现,供调度员分析、决策。下面对这一过程做详细具体的说明。
S1,为电网调控运行数据建立数据血统结构,组成哈希表。
数据血统分析包括对数据的血统结构定义,血统追踪算法以及追踪结果可视化呈现三部分。在本发明所提供的实施例中,数据血统结构设计主要包含两方面:业务数据和数据血统信息。业务数据是对前文中定义的源数据、中间数据及目标数据的统称。在对电网调控运行数据进行抽取时,将其转化为业务数据,然后分别为源数据、中间数据和目标数据定义数据血统信息,包括数据基因标识和遗传因子两部分。数据基因标识由数据所在数据库表、字段以及可以为空的行键值组成,并通过哈希函数,根据基因标识为数据生成一个唯一标识,即:
gene=(table,column,rowkey,id)
其中,Id=hash(table,column,rowkey)。对于中间数据,由于其没有基因标识数据,则为其随机生成一个与上述哈希函数生成结果不同的唯一标识。而遗传因子由双亲数据标识以及遗传运算符号组成,用以描述数据的转换过程,即:
inherit=(id1,id2,op)
其中,中间数据和目标数据都有遗传因子信息,源数据没有遗传因子信息,可以据此对其进行区分。建立数据血统结构的电网调控运行数据被持久化在数据库血统信息表中,并在***运行过程中被加载入内存,形成一个以数据id为键,数据基因及遗传因子为值的哈希表HTLine,即构建为数据血统结构。其中,哈希表HTLine表示为:
HTLine={id,(gene,inherit)}
在本发明所提供的实施例中,以省调调度上报应用为例进行说明。省调调度上报过程需要统计上报各个地调的日电量和各个电厂发电量,在省调汇总后上报国调。省调汇总中发现全网日电量有异常,这时将启动数据来源追踪过程来查找异常数据来源。所以,在进行统计以前,会为电网调控运行数据建立数据血统结构。
如图2所示,为电网调控运行数据建立数据血统结构当业务数据附加了数据血统信息后,通过数据基因标识可以定位数据血统信息,并反向追踪查找到数据的双亲,便于追溯数据来源。在本发明所提供的实施例中,以省调上报全网总加数据为例,辽宁省日电量=大连日电量+鞍山日电量+阜新日电量+……,上述公式中所包含的电网调控运行数据可以建立如图3所示的数据血统结构。
S2,发现数据异常时,在数据血统结构中定位目标数据的节点。
当调度员发现数据异常时,在数据血统结构中定位目标数据的节点。在本发明所提供的实施例中,在数据血统结构中定位的目标数据的节点的id为006,将其放入搜索数据队列(QSearch队列)中,通过数据血统结构向前追踪。
S3,基于数据血统结构和目标数据的节点,采用基于宽度优先遍历的数据血统追踪算法对目标数据的来源进行追踪。
当在数据血统结构中定位目标数据的节点后,将其放入QSearch队列中,启动对应的数据血统追踪分析过程,如图4所示,具体包括如下步骤:
S31,取出目标数据的基因标识,初始化待搜索数据队列、源数据队列,并用哈希函数算出目标数据的唯一标识,将此唯一标识放入QSearch队列。
启动对应的数据血统追踪分析过程,首先取出目标数据的基因标识,包括:数据库表名、字段名以及数据行键值。其中,数据行键值可以为空。然后,初始化搜索数据队列(QSearch队列)、源数据队列(QSource队列)。最后,使用哈希函数算出目标数据的唯一标识。其中,目标数据的唯一标识id=hash(table,column,rowkey)将id放入QSearch队列。
S32,遍历QSearch队列,若QSearch队列为空,则跳转到步骤S34;否则,取出队头元素,以此元素为键在哈希表HTLine中查询得到该队头元素的数据血统信息<gene,inherit>。
S33,若数据血统信息中的遗传因子项(inherit)为空,将该数据的基因信息放入QSource队列末尾,转向步骤S32;否则取出遗传因子中遗传运算符op,加入QSource队列末尾,同时取出遗传因子中的双亲id值并加入到QSearch队列末尾,转向步骤S32。
若数据血统信息中的遗传因子项(inherit)为空,说明该数据为源数据,不存在亲子数据,则将该数据的基因信息放入QSource队列末尾,转向步骤S32;否则,取出遗传因子中遗传运算符op,加入QSource队列末尾,同时取出遗传因子中的双亲id值并加入到QSearch队列末尾,转向步骤S32。
在本发明所提供的实施例中,首先将006节点的遗传运算符“+”放入输出结果QSource队列末尾。然后通过006节点存储的遗传因子信息(<004,005,+>)找到ID为004和005的两个节点,分别进行处理。其中,004节点是中间数据的节点,将其遗传运算符“+”放入QSource队列末尾,并取出遗传因子中的两个双亲节点:001和002,放入QSearch队列。005是源数据的节点,将其放入QSource队列。
继续取出QSearch队列的队头元素:001和002,001和002均为源数据的节点,将其信息直接放入QSource队列。
S34,将QSource队列作为追踪结果提取出来,算法结束。
在本发明所提供的实施例中,基于宽度优先遍历的数据血统追踪算法对目标数据的来源进行追踪,输出结果QSource队列为:
<+,+,005,001,002>
这一队列可以非常简单的使用前缀表达式解析方法转换为数学算式。进而找到目标数据的相关数据,以及目标数据和该相关数据的运算关系。
通过数据血统追踪算法找到源数据,根据源数据基因标识信息可以精确的找到对应的数据表、字段以及数据的具***置。
S4,将追踪结果进行可视化呈现,供调度员分析、决策。
在步骤S3中的基于宽度优先遍历的数据血统追踪算法中,对数据血统信息采用了宽度优先遍历的搜索策略,因此数据血统追踪算法的执行结果中的遗传运算符、数据遗传信息是按照“波兰表示法”(也称前缀表示法)的顺序出现在QSource队列中的。在对追踪结果进行可视化呈现的过程中,在没有括号的情况下,仍然可以无歧义地对源数据之间的运算关系进行正确的解析。将追踪结果可视化呈现后,供调度员分析、决策。在电网调度应用中便于业务数据来源的追踪,更好的满足调度数据业务的需求,为调度业务数据提供满足安全性、可靠性、一致性要求的有效数据。
综上所述,本发明所提供的面向电网调控运行的数据血统分析方法,为电网调控运行数据建立数据血统结构,当发生数据异常时,通过采用基于宽度优先遍历的数据血统追踪算法对目标数据的来源进行追踪,将追踪结果可视化呈现给调度员,供调度员分析、决策。该方法可以快速地找到数据异常的相关数据以及数据之间的相互关系,及时有效地对其进行处理,提高了调度生产辅助决策能力,进而提高了电网运行安全稳定性。
上面对本发明所提供的面向电网调控运行的数据血统分析方法进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质精神的前提下对它所做的任何显而易见的改动,都将构成对本发明专利权的侵犯,将承担相应的法律责任。
Claims (8)
1.一种面向电网调控运行的数据血统分析方法,其特征在于包括如下步骤:
S1,为电网调控运行数据建立数据血统结构,组成哈希表;
S2,发现数据异常时,在数据血统结构中定位目标数据的节点;
S3,基于数据血统结构和目标数据的节点,遍历搜索数据队列,查询所述搜索数据队列的队头元素的数据血统信息,将数据血统信息中的基因信息以及遗传运算符加入源数据队列末尾,将最终的源数据队列作为所述目标数据的来源的追踪结果。
2.如权利要求1所述的面向电网调控运行的数据血统分析方法,其特征在于:
在步骤S1中,对电网调控运行数据进行分析,以生成识别源数据、中间数据和目标数据的业务数据。
3.如权利要求1所述的面向电网调控运行的数据血统分析方法,其特征在于:
所述哈希表,包含业务数据和数据血统信息;
所述数据血统信息包含数据基因标识和遗传因子两部分。
4.如权利要求3所述的面向电网调控运行的数据血统分析方法,其特征在于:
所述数据基因标识包括数据所在数据库表、字段以及行键值;
所述行键值为任意值或空值。
5.如权利要求4所述的面向电网调控运行的数据血统分析方法,其特征在于:
根据基因标识的所述数据库表、所述字段以及所述行键值,通过哈希函数为所述基因标识生成一个唯一标识。
6.如权利要求1或2所述的面向电网调控运行的数据血统分析方法,其特征在于:
所述中间数据不在所述追踪结果中进行存储。
7.如权利要求1所述的面向电网调控运行的数据血统分析方法,其特征在于在步骤S3中,对目标数据的来源进行追踪具体包括如下步骤:
S31,获取目标数据的基因标识的唯一标识,并将所述唯一标识放入搜索数据队列;
S32,遍历搜索数据队列,若搜索数据队列为空,则跳转到步骤S34;否则,取出队头元素,以所述队头元素为键在所述哈希表中查询所述队头元素的数据血统信息;
S33,若数据血统信息中的遗传因子项为空,将数据血统信息中的基因信息放入源数据队列末尾,转向步骤S32;否则取出遗传因子中遗传运算符,加入源数据队列末尾,同时取出遗传因子中双亲的唯一标识,并加入搜索数据队列末尾,转向步骤S32;
S34,将源数据队列作为追踪结果提取出来。
8.如权利要求7所述的面向电网调控运行的数据血统分析方法,其特征在于在步骤S31中,所述获取目标数据的基因标识的唯一标识,并将所述唯一标识放入搜索数据队列具体包括如下步骤:
首先,取出目标数据的基因标识,包括:数据库表名、字段名以及数据行键值;
然后,初始化搜索数据队列;
最后,使用哈希函数算出目标数据的唯一标识,将所述唯一标识放入所述搜索数据队列中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510152697.9A CN104881427A (zh) | 2015-04-01 | 2015-04-01 | 一种面向电网调控运行的数据血统分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510152697.9A CN104881427A (zh) | 2015-04-01 | 2015-04-01 | 一种面向电网调控运行的数据血统分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104881427A true CN104881427A (zh) | 2015-09-02 |
Family
ID=53948921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510152697.9A Pending CN104881427A (zh) | 2015-04-01 | 2015-04-01 | 一种面向电网调控运行的数据血统分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104881427A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844390A (zh) * | 2016-03-21 | 2016-08-10 | 乐视网信息技术(北京)股份有限公司 | 一种数据质量追溯的方法及其装置以及硬件处理器 |
WO2017101301A1 (zh) * | 2015-12-14 | 2017-06-22 | 乐视控股(北京)有限公司 | 数据信息处理方法及装置 |
CN108228747A (zh) * | 2017-12-20 | 2018-06-29 | 江苏数加数据科技有限责任公司 | 数据治理中的数据血缘关系可视化图形*** |
CN108846039A (zh) * | 2018-05-29 | 2018-11-20 | 新华三大数据技术有限公司 | 数据流向确定方法及装置 |
CN109976929A (zh) * | 2017-12-28 | 2019-07-05 | 中国电信股份有限公司 | 数据生产过程的故障定位方法、装置 |
CN110457405A (zh) * | 2019-08-20 | 2019-11-15 | 上海观安信息技术股份有限公司 | 一种基于血缘关系的数据库审计方法 |
CN111552686A (zh) * | 2020-05-08 | 2020-08-18 | 国网四川省电力公司信息通信公司 | 一种电力数据质量评估方法及其装置 |
CN112182116A (zh) * | 2020-09-17 | 2021-01-05 | 支付宝(杭州)信息技术有限公司 | 数据探查方法及装置 |
CN112800121A (zh) * | 2021-01-29 | 2021-05-14 | 上海易校信息科技有限公司 | 一种***主动周期性获取外部数据的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101615789A (zh) * | 2008-06-23 | 2009-12-30 | 上海申瑞电力科技股份有限公司 | 广域量测***追踪状态估计方法 |
CN102375827A (zh) * | 2010-08-16 | 2012-03-14 | 北京国科恒通电气自动化科技有限公司 | 一种对版本化的电网模型数据库进行快速加载的方法 |
US8468120B2 (en) * | 2010-08-24 | 2013-06-18 | International Business Machines Corporation | Systems and methods for tracking and reporting provenance of data used in a massively distributed analytics cloud |
CN103646355A (zh) * | 2013-12-06 | 2014-03-19 | 广东电网公司电力科学研究院 | 一种电网拓扑关系快速构建与分析方法 |
CN104239581A (zh) * | 2014-10-13 | 2014-12-24 | 河海大学 | 一种面向数据库***的复制数据起源追踪方法 |
CN104424269A (zh) * | 2013-08-30 | 2015-03-18 | 中国电信股份有限公司 | 数据血统分析方法与装置 |
-
2015
- 2015-04-01 CN CN201510152697.9A patent/CN104881427A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101615789A (zh) * | 2008-06-23 | 2009-12-30 | 上海申瑞电力科技股份有限公司 | 广域量测***追踪状态估计方法 |
CN102375827A (zh) * | 2010-08-16 | 2012-03-14 | 北京国科恒通电气自动化科技有限公司 | 一种对版本化的电网模型数据库进行快速加载的方法 |
US8468120B2 (en) * | 2010-08-24 | 2013-06-18 | International Business Machines Corporation | Systems and methods for tracking and reporting provenance of data used in a massively distributed analytics cloud |
CN104424269A (zh) * | 2013-08-30 | 2015-03-18 | 中国电信股份有限公司 | 数据血统分析方法与装置 |
CN103646355A (zh) * | 2013-12-06 | 2014-03-19 | 广东电网公司电力科学研究院 | 一种电网拓扑关系快速构建与分析方法 |
CN104239581A (zh) * | 2014-10-13 | 2014-12-24 | 河海大学 | 一种面向数据库***的复制数据起源追踪方法 |
Non-Patent Citations (1)
Title |
---|
龚利: ""基于数据血统追踪的物化视图更新技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017101301A1 (zh) * | 2015-12-14 | 2017-06-22 | 乐视控股(北京)有限公司 | 数据信息处理方法及装置 |
EP3206146A4 (en) * | 2015-12-14 | 2017-08-16 | LE Holdings (Beijing) Co., Ltd. | Data information processing method and device |
CN105844390A (zh) * | 2016-03-21 | 2016-08-10 | 乐视网信息技术(北京)股份有限公司 | 一种数据质量追溯的方法及其装置以及硬件处理器 |
CN108228747A (zh) * | 2017-12-20 | 2018-06-29 | 江苏数加数据科技有限责任公司 | 数据治理中的数据血缘关系可视化图形*** |
CN109976929A (zh) * | 2017-12-28 | 2019-07-05 | 中国电信股份有限公司 | 数据生产过程的故障定位方法、装置 |
CN108846039B (zh) * | 2018-05-29 | 2020-12-01 | 新华三大数据技术有限公司 | 数据流向确定方法及装置 |
CN108846039A (zh) * | 2018-05-29 | 2018-11-20 | 新华三大数据技术有限公司 | 数据流向确定方法及装置 |
CN110457405A (zh) * | 2019-08-20 | 2019-11-15 | 上海观安信息技术股份有限公司 | 一种基于血缘关系的数据库审计方法 |
CN110457405B (zh) * | 2019-08-20 | 2021-09-21 | 上海观安信息技术股份有限公司 | 一种基于血缘关系的数据库审计方法 |
CN111552686A (zh) * | 2020-05-08 | 2020-08-18 | 国网四川省电力公司信息通信公司 | 一种电力数据质量评估方法及其装置 |
CN111552686B (zh) * | 2020-05-08 | 2023-05-16 | 国网四川省电力公司信息通信公司 | 一种电力数据质量评估方法及其装置 |
CN112182116A (zh) * | 2020-09-17 | 2021-01-05 | 支付宝(杭州)信息技术有限公司 | 数据探查方法及装置 |
CN112182116B (zh) * | 2020-09-17 | 2024-07-19 | 支付宝(杭州)信息技术有限公司 | 数据探查方法及装置 |
CN112800121A (zh) * | 2021-01-29 | 2021-05-14 | 上海易校信息科技有限公司 | 一种***主动周期性获取外部数据的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104881427A (zh) | 一种面向电网调控运行的数据血统分析方法 | |
Zhou et al. | Adaptive processing for distributed skyline queries over uncertain data | |
CN107291807B (zh) | 一种基于图遍历的sparql查询优化方法 | |
CN105357311B (zh) | 一种云计算技术的二次设备大数据存储与处理方法 | |
CN102662974B (zh) | 一种基于邻接节点树的网络图索引方法 | |
CN102685221A (zh) | 一种状态监测数据的分布式存储与并行挖掘方法 | |
CN104899314A (zh) | 一种数据仓库的血统分析方法和装置 | |
CN104573024B (zh) | 一种复杂网络体系下异构安全日志信息的自适应提取方法及*** | |
CN103678671A (zh) | 一种社交网络中的动态社区检测方法 | |
CN103729478A (zh) | 基于MapReduce的LBS兴趣点发现方法 | |
CN105488048A (zh) | 一种数据查询的方法及装置 | |
CN105515997B (zh) | 基于bf_tcam实现零范围扩张的高效范围匹配方法 | |
CN105335479A (zh) | 一种基于sql的文本数据统计实现方法 | |
CN104298669A (zh) | 一种基于社交网络的人员地理信息挖掘模型 | |
CN106407429A (zh) | 文件追踪方法、装置及*** | |
CN104486116A (zh) | 多维度查询流量数据的方法及*** | |
CN113535788A (zh) | 一种面向海洋环境数据的检索方法、***、设备及介质 | |
CN106599190A (zh) | 基于云计算的动态Skyline查询方法 | |
CN109977125A (zh) | 一种基于网络安全的大数据安全分析平台*** | |
CN104699857A (zh) | 基于知识工程的大数据存储方法 | |
CN105550332A (zh) | 一种基于双层索引结构的起源图查询方法 | |
CN106599189A (zh) | 基于云计算的动态Skyline查询装置 | |
CN104462095B (zh) | 一种查询语句公共部分的提取方法及装置 | |
CN110287237B (zh) | 一种基于社会网络结构分析社团数据挖掘方法 | |
CN111125450A (zh) | 一种多层拓扑网络资源对象的管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150902 |