CN112100227A - 一种基于多级异构数据存储的大数据处理方法 - Google Patents

一种基于多级异构数据存储的大数据处理方法 Download PDF

Info

Publication number
CN112100227A
CN112100227A CN202011000582.5A CN202011000582A CN112100227A CN 112100227 A CN112100227 A CN 112100227A CN 202011000582 A CN202011000582 A CN 202011000582A CN 112100227 A CN112100227 A CN 112100227A
Authority
CN
China
Prior art keywords
data
source
primary key
target
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011000582.5A
Other languages
English (en)
Inventor
胡博
雷振江
王丽霞
李伟
王大维
李钊
刘晓强
胡畔
冉冉
胡楠
顾海林
关宇
靳光辉
潘邈
梁明
曹国强
伏广东
唐立合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd
Nari Information and Communication Technology Co
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd
Nari Information and Communication Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Liaoning Electric Power Co Ltd, Nari Information and Communication Technology Co filed Critical State Grid Corp of China SGCC
Priority to CN202011000582.5A priority Critical patent/CN112100227A/zh
Publication of CN112100227A publication Critical patent/CN112100227A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Water Supply & Treatment (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于多级异构数据存储的大数据处理方法属于数据处理技术领域，尤其涉及一种基于多级异构数据存储的大数据处理方法。本发明提供一种基于多级异构数据存储的大数据处理方法，该方法克服了现有方法跨专业、跨部门数据标准不统一，各业务***相对独立，存在数据存储应用标准不一致、信息资源难以跨专业贯通、业务集成难度大等问题，解决了数据类型繁多、体量大难以汇聚，数据类型繁多缺少有效的处理方法等问题。构建分级数据集成架构，完成电力行业全过程多级异构数据的高效汇聚，实现数据的横向共享、纵向贯通，消除企业信息分散的壁垒。

Description

一种基于多级异构数据存储的大数据处理方法
技术领域
本发明属于数据处理技术领域，尤其涉及一种基于多级异构数据存储的大数据处理方法。
背景技术
目前，电力***仍然存在数据难以有效汇聚、质量低下、标准不统一等问题，大数据处理是一项技术难度大、复杂性高的***工程。以大数据处理为抓手，以信息化手段为支撑，推进源端数据处理和后端数据融合，提升数据全寿命质量，挖掘数据价值，促进“全业务融合、全流程贯通”。提出的各项数据处理方法论加快了电网数据资源处理和整改，全面提升公司数据质量，实现跨业务、跨***间数据高效贯通、高效共享。实现了电网企业数据的高效整合、跨专业集成共享、多业务有效融合。
发明内容
针对现有技术的不足，本发明的目的是提供一种基于多级异构数据存储的大数据处理方法，该方法克服了现有方法跨专业、跨部门数据标准不统一，各业务***相对独立，存在数据存储应用标准不一致、信息资源难以跨专业贯通、业务集成难度大等问题，解决了数据类型繁多、体量大难以汇聚，数据类型繁多缺少有效的处理方法等问题。构建分级数据集成架构，完成电力行业全过程多级异构数据的高效汇聚，实现数据的横向共享、纵向贯通，消除企业信息分散的壁垒。
为实现上述目的，本发明采用如下技术方案，本发明包括包括下述步骤：
(1)数据接入：根据采集数据的时效性、数据类型等要求，将数据接入分为结构化数据接入、非结构化数据接入和实时数据接入三个部分。具体接入过程如下：
1)结构化数据接入方面，分为存量数据初始化接入、增量数据接入和数据同步复制三种方式。
存量数据以及实时性不高的增量数据，采用ETL(Informatica)数据抽取工具。对于存量数据采用全量导入方式将数据存储到指定目的地，以供数据处理、数据装载进数据库、数据核查、数据重用、数据备份等目的。该方式在将存量数据初始化时，可以选择***闲时的时间窗口，将历史数据全量导入到落地文件。优点是可以重复进行数据加载，无需重复访问业务***。对于增量数据根据时间戳进行增量抽取，抽取进程通过比较***时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，***中更新修改表数据的时候，同时修改时间戳字段的值，采用时间戳方式实现数据增量捕捉机制对源***性能影响很小，从而保护了源端***的正常运行。
数据同步复制方面采用OGG软件进行。OGG是一种基于数据库在线日志(Redolog)分析技术的结构化数据复制工具，利用数据库日志在线跟踪、分析技术，将源数据库的交易信息以事务为单位，传递和装载到目标数据库中，以达到源端数据与目标端复制数据保持同步的目的。
2)非结构化数据接入方面，采用分布式任务架构工具，使工具能轻松的进行横向扩展，根据***数据量大小决定用于迁移的服务器数量，提高迁移速度，同时底层采用开源组件zookeeper做了相应的负载均衡处理，使每台迁移服务器都能在更高效进行历史数据迁移，完成增量数据同步备份功能模块开发，由于数据要在两个数据平台之间传出底层采用异步解耦的方式，不仅使数据能完整的进行备份，还可有效的避开***忙时进行备份操作，保证了***的稳定性，采用webservice/http接口方式进行平台间的数据通信。基于大数据平台分布式文件***与分布式列式数据库分别基于Hadoop HDFS、Hbase优化封装。
3)采集量测数据接入方面，采用E文件解析技术，解析E文件并添加相应的元数据信息后发送到Kafka集群，入库服务器接收Kafka集群发送过来的消息队列并存储到HBase数据库中。
(2)数据对比：首先获取数据库源和目标表，分别对源和目标表的数据进行排序；
取得源表中最小主键字段W和最大主键字段X，获取目标表中最小主键字段Y和最大主键字段Z；
根据W、X、Y、Z的大小，定义若干个区间，根据各条数据主键字段的大小，对源表和目标表中的数据进行区间划分；
比较同一区间内源和目标表中的所有数据。
区间的划分如下，
当W≤Y、X≤Z，则定义的区间为[W，Y]、[Y，X]、[X，Z]；根据各条数据主键字段的大小，源表中的数据被划分成[W，Y]和[Y，X]两个区间，目标表中的数据被划分成[X，Z]和[Y，X]两个区间；
当W≤Y、X≥Z，则定义的区间为[W，Y]、[Y，Z]、[Z，X]；根据各条数据主键字段的大小，源表中的数据被划分成[W，Y]、[Y，Z]和[Z，X]三个区间，目标表中的数据被划分成[Y，Z]一个区间；
当W≥Y、X≤Z，则定义的区间为[Y，W]、[W，X]、[X，Z]；根据各条数据主键字段的大小，源表中的数据被划分成[W，X]一个区间，目标表中的数据被划分成[Y，W]、[W，X]和[X，Z]三个区间；
当W≥Y、X≥Z，则定义的区间为[Y，W]、[W，Z]、[Z，X]；根据各条数据主键字段的大小，源表中的数据被划分成[W，Z]和[Z，X]二个区间，目标表中的数据被划分成[Y，W]和[W，Z]二个区间。
比较同一区间内源表和目标表中数据的过程为，
S1，分别获取源表和目标表中的一条数据；
S2，判断两条数据是否全部为空，如果是，则结束；如果不是则转至S3；
S3，判断两条数据是否全部不为空，如果是，则依次进行主键字段比较和非主键字段比较，如果从源表获取的数据为空，则判定目标表数据大于源表数据，分别获取源表和目标表中的下一条数据，转至步骤S2，如果从目标表获取的数据为空，则判定源表数据大于目标表数据，分别获取源表和目标表中的下一条数据，转至步骤S2。
本发明有益效果。
本发明利用大数据处理技术，建设电力大数据处理管理模块，对电力数据类型繁多、体量大难以汇聚提供了有效的处理方法。
(1)利用大数据技术，建立电力数据处理管理方法，对电力数据类型繁多、体量大难以汇聚提供了有效的处理方法。
(2)该方法投入使用后不仅能够提高电力行业数据质量，而且提高了数据安全性和可靠性，进一步为各业务***提供优质的数据。
附图说明
下面结合附图和具体实施方式对本发明做进一步说明。本发明保护范围不仅局限于以下内容的表述。
图1是本发明ETL(Informatica)数据抽取图。
图2是本发明OGG数据同步复制图。
图3是本发明非结构化数据接入图。
图4是本发明采集量测数据接入图。
具体实施方式
如图所示，本发明包括包括下述步骤：
(1)数据接入：根据采集数据的时效性、数据类型等要求，将数据接入分为结构化数据接入、非结构化数据接入和实时数据接入三个部分。具体接入过程如下：
1)结构化数据接入方面，分为存量数据初始化接入、增量数据接入和数据同步复制三种方式。
存量数据以及实时性不高的增量数据，采用ETL(Informatica)数据抽取工具。对于存量数据采用全量导入方式将数据存储到指定目的地，以供数据处理、数据装载进数据库、数据核查、数据重用、数据备份等目的。该方式在将存量数据初始化时，可以选择***闲时的时间窗口，将历史数据全量导入到落地文件。优点是可以重复进行数据加载，无需重复访问业务***。对于增量数据根据时间戳进行增量抽取，抽取进程通过比较***时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，***中更新修改表数据的时候，同时修改时间戳字段的值，采用时间戳方式实现数据增量捕捉机制对源***性能影响很小，从而保护了源端***的正常运行。
数据同步复制方面采用OGG软件进行。OGG是一种基于数据库在线日志(Redolog)分析技术的结构化数据复制工具，利用数据库日志在线跟踪、分析技术，将源数据库的交易信息以事务为单位，传递和装载到目标数据库中，以达到源端数据与目标端复制数据保持同步的目的。
2)非结构化数据接入方面，采用分布式任务架构工具，使工具能轻松的进行横向扩展，根据***数据量大小决定用于迁移的服务器数量，提高迁移速度，同时底层采用开源组件zookeeper做了相应的负载均衡处理，使每台迁移服务器都能在更高效进行历史数据迁移，完成增量数据同步备份功能模块开发，由于数据要在两个数据平台之间传出底层采用异步解耦的方式，不仅使数据能完整的进行备份，还可有效的避开***忙时进行备份操作，保证了***的稳定性，采用webservice/http接口方式进行平台间的数据通信。基于大数据平台分布式文件***与分布式列式数据库分别基于Hadoop HDFS、Hbase优化封装。
3)采集量测数据接入方面，采用E文件解析技术，解析E文件并添加相应的元数据信息后发送到Kafka集群，入库服务器接收Kafka集群发送过来的消息队列并存储到HBase数据库中。
(2)数据对比：首先获取数据库源和目标表，分别对源和目标表的数据进行排序；
取得源表中最小主键字段W和最大主键字段X，获取目标表中最小主键字段Y和最大主键字段Z；
根据W、X、Y、Z的大小，定义若干个区间，根据各条数据主键字段的大小，对源表和目标表中的数据进行区间划分；
比较同一区间内源和目标表中的所有数据。
区间的划分如下，
当W≤Y、X≤Z，则定义的区间为[W，Y]、[Y，X]、[X，Z]；根据各条数据主键字段的大小，源表中的数据被划分成[W，Y]和[Y，X]两个区间，目标表中的数据被划分成[X，Z]和[Y，X]两个区间；
当W≤Y、X≥Z，则定义的区间为[W，Y]、[Y，Z]、[Z，X]；根据各条数据主键字段的大小，源表中的数据被划分成[W，Y]、[Y，Z]和[Z，X]三个区间，目标表中的数据被划分成[Y，Z]一个区间；
当W≥Y、X≤Z，则定义的区间为[Y，W]、[W，X]、[X，Z]；根据各条数据主键字段的大小，源表中的数据被划分成[W，X]一个区间，目标表中的数据被划分成[Y，W]、[W，X]和[X，Z]三个区间；
当W≥Y、X≥Z，则定义的区间为[Y，W]、[W，Z]、[Z，X]；根据各条数据主键字段的大小，源表中的数据被划分成[W，Z]和[Z，X]二个区间，目标表中的数据被划分成[Y，W]和[W，Z]二个区间。
比较同一区间内源表和目标表中数据的过程为，
S1，分别获取源表和目标表中的一条数据；
S2，判断两条数据是否全部为空，如果是，则结束；如果不是则转至S3；
S3，判断两条数据是否全部不为空，如果是，则依次进行主键字段比较和非主键字段比较，如果从源表获取的数据为空，则判定目标表数据大于源表数据，分别获取源表和目标表中的下一条数据，转至步骤S2，如果从目标表获取的数据为空，则判定源表数据大于目标表数据，分别获取源表和目标表中的下一条数据，转至步骤S2。
本发明所用到的大数据处理工具：
1.Informatica是一款提供一套无缝集成的工具，建立在基于面向服务体系机构的统一数据集成平台。
2.OGG是一种基于日志的结构化数据复制备份软件，通过解析源数据库在线日志或归档日志获取数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。
3.Oracle是一款关系型数据库，拥有可移植性好、使用方便、适应高吞吐量是数据库解决方案。
通过基于多级异构数据存储的大数据处理方法，采用对纵向和横向的参数组合矩阵技术消除多级电网的数据参数差异，克服传统采用参数辨别与估计方法的缺陷,构建面向不同文件大小、不同数据热度、不同访问延时的异构数据存储策略。
可以理解的是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。

Claims (1)

1.一种基于多级异构数据存储的大数据处理方法，其特征在于包括下述步骤：
(1)数据接入：根据采集数据的时效性、数据类型等要求，将数据接入分为结构化数据接入、非结构化数据接入和实时数据接入三个部分。具体接入过程如下：
1)结构化数据接入方面，分为存量数据初始化接入、增量数据接入和数据同步复制三种方式。
存量数据以及实时性不高的增量数据，采用ETL(Informatica)数据抽取工具。对于存量数据采用全量导入方式将数据存储到指定目的地，以供数据处理、数据装载进数据库、数据核查、数据重用、数据备份等目的。该方式在将存量数据初始化时，可以选择***闲时的时间窗口，将历史数据全量导入到落地文件。优点是可以重复进行数据加载，无需重复访问业务***。对于增量数据根据时间戳进行增量抽取，抽取进程通过比较***时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，***中更新修改表数据的时候，同时修改时间戳字段的值，采用时间戳方式实现数据增量捕捉机制对源***性能影响很小，从而保护了源端***的正常运行。
数据同步复制方面采用OGG软件进行。OGG是一种基于数据库在线日志(Redolog)分析技术的结构化数据复制工具，利用数据库日志在线跟踪、分析技术，将源数据库的交易信息以事务为单位，传递和装载到目标数据库中，以达到源端数据与目标端复制数据保持同步的目的。
2)非结构化数据接入方面，采用分布式任务架构工具，使工具能轻松的进行横向扩展，根据***数据量大小决定用于迁移的服务器数量，提高迁移速度，同时底层采用开源组件zookeeper做了相应的负载均衡处理，使每台迁移服务器都能在更高效进行历史数据迁移，完成增量数据同步备份功能模块开发，由于数据要在两个数据平台之间传出底层采用异步解耦的方式，不仅使数据能完整的进行备份，还可有效的避开***忙时进行备份操作，保证了***的稳定性，采用webservice/http接口方式进行平台间的数据通信。基于大数据平台分布式文件***与分布式列式数据库分别基于Hadoop HDFS、Hbase优化封装。
3)采集量测数据接入方面，采用E文件解析技术，解析E文件并添加相应的元数据信息后发送到Kafka集群，入库服务器接收Kafka集群发送过来的消息队列并存储到HBase数据库中。
(2)数据对比：首先获取数据库源和目标表，分别对源和目标表的数据进行排序；
取得源表中最小主键字段W和最大主键字段X，获取目标表中最小主键字段Y和最大主键字段Z；
根据W、X、Y、Z的大小，定义若干个区间，根据各条数据主键字段的大小，对源表和目标表中的数据进行区间划分；
比较同一区间内源和目标表中的所有数据。
区间的划分如下，
当W≤Y、X≤Z，则定义的区间为[W，Y]、[Y，X]、[X，Z]；根据各条数据主键字段的大小，源表中的数据被划分成[W，Y]和[Y，X]两个区间，目标表中的数据被划分成[X，Z]和[Y，X]两个区间；
当W≤Y、X≥Z，则定义的区间为[W，Y]、[Y，Z]、[Z，X]；根据各条数据主键字段的大小，源表中的数据被划分成[W，Y]、[Y，Z]和[Z，X]三个区间，目标表中的数据被划分成[Y，Z]一个区间；
当W≥Y、X≤Z，则定义的区间为[Y，W]、[W，X]、[X，Z]；根据各条数据主键字段的大小，源表中的数据被划分成[W，X]一个区间，目标表中的数据被划分成[Y，W]、[W，X]和[X，Z]三个区间；
当W≥Y、X≥Z，则定义的区间为[Y，W]、[W，Z]、[Z，X]；根据各条数据主键字段的大小，源表中的数据被划分成[W，Z]和[Z，X]二个区间，目标表中的数据被划分成[Y，W]和[W，Z]二个区间。
比较同一区间内源表和目标表中数据的过程为，
S1，分别获取源表和目标表中的一条数据；
S2，判断两条数据是否全部为空，如果是，则结束；如果不是则转至S3；
S3，判断两条数据是否全部不为空，如果是，则依次进行主键字段比较和非主键字段比较，如果从源表获取的数据为空，则判定目标表数据大于源表数据，分别获取源表和目标表中的下一条数据，转至步骤S2，如果从目标表获取的数据为空，则判定源表数据大于目标表数据，分别获取源表和目标表中的下一条数据，转至步骤S2。
CN202011000582.5A 2020-09-22 2020-09-22 一种基于多级异构数据存储的大数据处理方法 Pending CN112100227A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011000582.5A CN112100227A (zh) 2020-09-22 2020-09-22 一种基于多级异构数据存储的大数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011000582.5A CN112100227A (zh) 2020-09-22 2020-09-22 一种基于多级异构数据存储的大数据处理方法

Publications (1)

Publication Number Publication Date
CN112100227A true CN112100227A (zh) 2020-12-18

Family

ID=73754834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011000582.5A Pending CN112100227A (zh) 2020-09-22 2020-09-22 一种基于多级异构数据存储的大数据处理方法

Country Status (1)

Country Link
CN (1) CN112100227A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220156683A1 (en) * 2020-11-18 2022-05-19 Target Brands, Inc. Supply chain monitoring
CN114969083A (zh) * 2022-06-24 2022-08-30 在线途游（北京）科技有限公司 一种实时数据分析方法及***
CN117591497A (zh) * 2024-01-18 2024-02-23 中核武汉核电运行技术股份有限公司 一种核电历史数据跨***迁移方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853499A (zh) * 2012-11-30 2014-06-11 上海可鲁***软件有限公司 一种多源数据存储和读取方法
CN104318481A (zh) * 2014-05-04 2015-01-28 国家电网公司 一种面向电网运行的全息时标量测数据萃取转换方法
CN107145522A (zh) * 2017-04-11 2017-09-08 南京南瑞集团公司 一种数据库数据内容高速比对方法
CN107402976A (zh) * 2017-07-03 2017-11-28 国网山东省电力公司经济技术研究院 一种基于多元异构模型的电网多源数据融合方法及***
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及***
CN108846072A (zh) * 2018-06-08 2018-11-20 国网山东省电力公司临沂供电公司 一种基于可视化分析的数据实现封装技术

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853499A (zh) * 2012-11-30 2014-06-11 上海可鲁***软件有限公司 一种多源数据存储和读取方法
CN104318481A (zh) * 2014-05-04 2015-01-28 国家电网公司 一种面向电网运行的全息时标量测数据萃取转换方法
CN107145522A (zh) * 2017-04-11 2017-09-08 南京南瑞集团公司 一种数据库数据内容高速比对方法
CN107402976A (zh) * 2017-07-03 2017-11-28 国网山东省电力公司经济技术研究院 一种基于多元异构模型的电网多源数据融合方法及***
CN108846076A (zh) * 2018-06-08 2018-11-20 山大地纬软件股份有限公司 支持接口适配的海量多源异构数据etl方法及***
CN108846072A (zh) * 2018-06-08 2018-11-20 国网山东省电力公司临沂供电公司 一种基于可视化分析的数据实现封装技术

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220156683A1 (en) * 2020-11-18 2022-05-19 Target Brands, Inc. Supply chain monitoring
CN114969083A (zh) * 2022-06-24 2022-08-30 在线途游（北京）科技有限公司 一种实时数据分析方法及***
CN117591497A (zh) * 2024-01-18 2024-02-23 中核武汉核电运行技术股份有限公司 一种核电历史数据跨***迁移方法
CN117591497B (zh) * 2024-01-18 2024-05-03 中核武汉核电运行技术股份有限公司 一种核电历史数据跨***迁移方法

Similar Documents

Publication Publication Date Title
CN110022226B (zh) 一种基于面向对象的数据采集***及采集方法
CN112100227A (zh) 一种基于多级异构数据存储的大数据处理方法
CN111327681A (zh) 一种基于Kubernetes的云计算数据平台构建方法
CN106126601A (zh) 一种社保大数据分布式预处理方法及***
CN106294757B (zh) 一种基于超图划分的分布式数据库及其集群分区方法
CN109739919B (zh) 一种用于电力***的前置机和采集***
CN103593422A (zh) 一种异构数据库的虚拟访问管理方法
TW200931285A (en) Method, system and apparatus for combining distributed computational data
CN111460024A (zh) 基于Elasticsearch的实时业务***
CN111190580B (zh) 一种基于微服务架构的菠菜云技术平台
CN112163039A (zh) 基于企业级数据中台分析域的数据资源标准化管理***
CN108763234A (zh) 一种数据实时同步方法及***
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN114328688A (zh) 一种针对电力能源大数据的管控平台
CN102761602A (zh) 一种基于Hadoop的海量数据实时分析处理方法
CN114647716B (zh) 一种适用于泛化数据仓库的***
CN110569142A (zh) 一种oracle数据增量同步***及方法
EP4044031A1 (en) Cloud orchestration system and method based on read-write separation and auto-scaling
CN103117878A (zh) 一种基于Nagios的分布式监控***的设计方法
CN109818805A (zh) 一种服务网关日志记录及检索方法
CN113378219B (zh) 一种非结构化数据的处理方法和***
CN112000703B (zh) 数据入库处理方法、装置、计算机设备和存储介质
CN109522292B (zh) 基于电网标准统一信息模型的数据处理装置和方法
CN116644136A (zh) 一种增量和全量数据的数据采集方法、装置、设备及介质
CN115391429A (zh) 基于大数据云计算的时序数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination