CN112256796B - 异构数据实时同步***及装置 - Google Patents

异构数据实时同步***及装置 Download PDF

Info

Publication number
CN112256796B
CN112256796B CN202011154725.8A CN202011154725A CN112256796B CN 112256796 B CN112256796 B CN 112256796B CN 202011154725 A CN202011154725 A CN 202011154725A CN 112256796 B CN112256796 B CN 112256796B
Authority
CN
China
Prior art keywords
data
real
time
monitoring
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011154725.8A
Other languages
English (en)
Other versions
CN112256796A (zh
Inventor
万聪
马明铭
董利钢
聂欣慧
刘丽娟
谢肖伊
刘恒良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capinfo Co ltd
Original Assignee
Capinfo Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capinfo Co ltd filed Critical Capinfo Co ltd
Priority to CN202011154725.8A priority Critical patent/CN112256796B/zh
Publication of CN112256796A publication Critical patent/CN112256796A/zh
Application granted granted Critical
Publication of CN112256796B publication Critical patent/CN112256796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2393—Updating materialised views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异构数据实时同步***及装置，所述***包括：批处理引擎，用于将存量数据批量导入大数据平台的分布式数据库；实时同步计算引擎，用于实时增量数据进行非侵入式的数据采集、数据转化，将增量数据实时同步到分布式数据库中；数据完整性保障***，用于通过可视化技术在监控界面展示批处理引擎和实时同步引擎的实时数据同步处理情况，根据实时数据同步处理情况计算监测数据，根据监测数据判断数据同步是否出现异常，在出现异常的情况下执行数据的修复，进行完整性保障。本发明既能实现高可靠的数据同步，又能定期验证数据完整性，并保障TB级的数据稳定的落入分布式数据库中。

Description

异构数据实时同步***及装置
技术领域
本发明涉及数据同步技术领域，尤其是涉及一种异构数据实时同步***及装置。
背景技术
传统的数据同步是由数据库自身同构复制技术实现的，当源表发生变化时，由数据库引擎引发同步事件，把源表中变化的数据同步更新到目标数据库中，但是这种复制技术只能在同构数据库之间使用。目前，数据库的同步工具，均是利用数据库本身支持的主从机制，模拟成一个从主库导出binlog/类binlog。
异构数据库表向大数据平台实时同步，面临了一些挑战：数据完整性问题、难以灵活应对数据源变化、缺少数据同步的监控预警。因此，目前急需一种异构数据库的大数据平台实时同步的技术方案。
发明内容
本发明的目的在于提供一种异构数据实时同步***及装置，旨在解决现有技术中存在的上述问题。
本发明提供一种异构数据实时同步***，包括：
批处理引擎，用于将存量数据批量导入大数据平台的分布式数据库；
实时同步计算引擎，用于实时增量数据进行非侵入式的数据采集、数据转化，将增量数据实时同步到分布式数据库中；
数据完整性保障***，用于通过可视化技术在监控界面展示批处理引擎和实时同步引擎的实时数据同步处理情况，根据实时数据同步处理情况计算监测数据，根据监测数据判断数据同步是否出现异常，在出现异常的情况下执行数据的修复，进行完整性保障。
本发明提供一种异构数据实时同步装置，与源数据库服务器和数据推送服务器连接，其中，据推送服务器与源数据库服务器连接，所述装置具体包括：
文件服务器，用于从源数据库服务器采集存量数据和结构化数据，将结构化数据切割成可计算的矩阵数据，再将矩阵数据批量分发到各个计算存储节点；
实时采集服务器，用于从数据推送服务器中获取实时增量数据，进行转化，将转换后的实时增量数据发送到各个计算存储节点；
多个计算存储节点，用于并行对存量数据进行校验和计算，最终将结果存储到分布式数据库，并将转换后的实时增量数据实时的同步到分布式数据库中；根据实时数据同步处理情况计算监测数据；
应用服务器，用于部署实时同步数据监控***，通过可视化技术在监控界面展示实时数据同步处理情况；
多个管理服务器，用于根据实时数据同步处理情况计算监测数据，根据监测数据判断数据同步是否出现异常，在出现异常的情况下执行数据的修复，进行完整性保障；
关系型数据库服务器，用于保存监测数据。
采用本发明实施例，既能实现高可靠的数据同步，又能定期验证数据完整性，并保障TB级的数据稳定的落入分布式数据库中。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的异构数据实时同步***的示意图；
图2是本发明实施例的异构数据实时同步装置的示意图；
图3是本发明实施例的监控界面的示意图。
具体实施方式
本发明实施例提供了一种能够将传统的异构数据库的数据向大数据平台中的分布式数据库迁移、实时同步的服务装置，为使用大数据技术分析处理数据做好数据准备。本发明实施例的采集端(数据输入端)通过与数据源(传统数据库如：mysql、oracle等)连接，实时采集数据库中的数据，在存储端连接分布式数据库(hbase)存储所采集到的数据。
本发明实施例将批量迁移、实时同步、集成在一起，并引入了数据监控、数据完整性保障机制；本发明实施例可以向用户展示数据同步落地的监控信息，还配有异常情况下的数据修复功能；保障了数据同步过程中的可靠性和安全性，能够灵活应对多源异构数据库的采集。
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
***实施例
根据本发明实施例，提供了一种异构数据实时同步***，图1是本发明实施例的异构数据实时同步***的示意图，如图1所示，根据本发明实施例的异构数据实时同步***具体包括：
批处理引擎10，用于将存量数据批量导入大数据平台的分布式数据库；在实际应用中，还可以通过传统数据库的备份库，采用同步工具NiFi进行采集数据，直接落入分布式数据库(hive)中，来实现存量数据采集。
批处理引擎10具体用于：基于Spark技术，对存量数据进行数据清洗，并基于BulkLoad技术，将清洗后的存量数据导入分布式数据库中。
具体地，批处理引擎10从源数据库服务器将存量数据通过FTP的方式采集到文件服务器中，通过文件共享协议获取上传的结构化数据，通过预设行分隔符和列分隔符的方式将结构化数据切割成可计算的矩阵数据，再将矩阵数据批量分发到各个计算存储节点，通过所述计算存储节点进行平行处理，对存量数据进行校验和计算，最终将结果存储到分布式数据库。
实时同步计算引擎12，用于实时增量数据进行非侵入式的数据采集、数据转化，将增量数据实时同步到分布式数据库中；
实时同步计算引擎12具体用于：基于OGG技术和Spark Streaming技术，对于实时增量数据，将从Kafka接收的数据按照Json格式进行转化，并将格式化后的数据保存至分布式数据库。
具体地，实时同步计算引擎12通过实时采集服务器从数据推送服务器中获取实时增量数据，将从Kafka接收的数据按照Json格式进行转化，将转换后的实时增量数据通过各个计算存储节点实时的同步到分布式数据库中，其中，数据推送服务器与源数据库服务器连接。
数据完整性保障***14，用于通过可视化技术在监控界面展示批处理引擎和实时同步引擎的实时数据同步处理情况，根据实时数据同步处理情况计算监测数据，根据监测数据判断数据同步是否出现异常，在出现异常的情况下执行数据的修复，进行完整性保障。
数据完整性保障***14包括：
实时同步数据监控***，设置应用服务器，用于定时刷新数据，通过时间、总体数据同步情况、业务表名维度、Kafka接收的数据、已同步数据、已踢回数据、以及异常条数指标实时监控数据同步情况并在监控界面进行可视化显示；
异常数据修复模块，用于通过计算存储节点，根据实时数据同步处理情况计算监测数据，根据监测数据判断数据同步是否出现异常，对处理过程中出现的解析异常被保存在异常存储库中的数据进行数据修复并同步到分布式数据库中，将监测数据保存到关系型数据库服务器。
从上述描述可以看出，本发明实施例的异构数据实时同步***，由批处理引擎、实时同步计算引擎、数据完整性保障***(实时同步数据监控***+异常数据修复模块)组成。批处理引擎基于Spark技术研发，利用Bulk Load技术实现快速的大数据量批量导入大数据平台的数据库(Hbase)的功能；实时同步引擎结合OGG技术(oracle GoldenGate)等，同时基于Spark Streaming实时流技术，实现了非侵入式的数据采集、数据落地和实时同步功能；数据完整性保障***，利用可视化技术在监控界面展示实时数据同步落地的情况；通过监测数据，如若发现数据异常，则利用恢复数据模块修复数据，实现数据的保障功能。
其中，批量处理引擎10对于存量数据，由于数据体量庞大批处理引擎模块基于Spark技术研发，包括数据清洗功能，对存量数据进行祛除换行符、非法字符等带来的格式问题；存量数据落地功能，基于Bulk Load技术，快速的将海量数据导入分布式数据库(Hbase)中。
实时同步计算引擎12对于实时增量数据，实时同步计算引擎模块基于SparkStreaming技术研发，包括业务数据格式化功能，将从Kafka接收的数据按照Json格式进行转化；将格式化后的数据保存至Hbase中。
数据完整性保障***13包括：可视化数据监控***+数据修复模块，实时同步数据监控***：每5分钟刷新一次数据，通过时间、总体落地情况和业务表名维度和Kafka接收的数据、已落地数据、已踢回数据、异常条数指标实时监控数据落地情况。异常数据修复模块：异常数据恢复，即针对程序处理过程中，出现解析异常被保存在异常存储库中的数据，将这部分数据进行修复并落地到正式数据平台中。由于其他原因造成的***崩溃，则通过修复工具指定Kafka的Offset，从该Offset对业务数据进行恢复，保证数据的完整性和一致性。
综上所述，本发明实施例的技术方案具有以下有益效果：
1)提供了多源异构数据库的批量数据迁移功能。
2)适用于海量数据(TB级)实时落地的可靠性和采集性能。
3)提供可视化的数据实时落地监控模块，能够实时监控数据同步情况。
4)提供数据落地端的实时数据核对功能，建立数据落地异常预警机制。
5)针对数据实时同步异常，提供快速修复异常数据功能。
6)提供定期与源数据核对数据的功能，保障数据的完整性。
7)在数据存储的输入输出性能上有优势，具备不同数据库的适应性。
装置实施例
根据本发明实施例，提供了一种异构数据实时同步装置，图2是本发明实施例的异构数据实时同步装置的示意图，如图2所示，根据本发明实施例的异构数据实时同步装置与源数据库服务器和数据推送服务器连接，其中，据推送服务器与源数据库服务器连接，具体包括：
文件服务器20，用于从源数据库服务器采集存量数据和结构化数据，将结构化数据切割成可计算的矩阵数据，再将矩阵数据批量分发到各个计算存储节点；所述文件服务器20具体用于，通过FTP的方式从源数据库服务器采集存量数据，通过文件共享协议获取上传的结构化数据，通过预设行分隔符和列分隔符的方式将结构化数据切割成可计算的矩阵数据，再将矩阵数据批量分发到各个计算存储节点；
实时采集服务器21(图2中所述的实时采集节点)，用于从数据推送服务器中获取实时增量数据，进行转化，将转换后的实时增量数据发送到各个计算存储节点；所述实时采集服务器21具体用于，从数据推送服务器中获取实时增量数据，将从Kafka接收的数据按照Json格式进行转化，将转换后的实时增量数据发送到各个计算存储节点。
多个计算存储节点22，用于并行对存量数据进行校验和计算，最终将结果存储到分布式数据库，并将转换后的实时增量数据实时的同步到分布式数据库中；根据实时数据同步处理情况计算监测数据；
应用服务器23，用于部署实时同步数据监控***，通过可视化技术在监控界面展示实时数据同步处理情况；所述应用服务器23具体用于，部署实时同步数据监控***，定时刷新数据，通过时间、总体数据同步情况、业务表名维度、Kafka接收的数据、已同步数据、已踢回数据、以及异常条数指标实时监控数据同步情况并在监控界面进行可视化显示。
多个管理服务器24(图2中的管理节点1和管理节点2)，用于根据实时数据同步处理情况计算监测数据，根据监测数据判断数据同步是否出现异常，在出现异常的情况下执行数据的修复，进行完整性保障；所述多个管理服务器24为2个，所述理服务器为具体用于，根据计算存储节点计算的监测数据判断数据同步是否出现异常，对处理过程中出现的解析异常被保存在异常存储库中的数据进行数据修复并同步到分布式数据库中，将监测数据保存到关系型数据库服务器。
关系型数据库服务器25，用于保存监测数据。
在本发明实施例中，将该装置应用在300TB某业务数据的迁移同步工作上，数据采集过程中数据一直稳定采集。
1)实时性：每5分钟处理30W条数据
2)装置的可扩展性：已根据采集数据的存储量级横向扩展采集的存储装置。
3)数据完整性验证:通过验证推送服务器中的数据和在存储落地在分布式数据库中的数据进行自动验证，可通过监控界面显示数据验证的各项指标。具体数据监控界面如图3所示。
采用本发明实施例的技术方案，既能实现高可靠的数据同步，又能定期验证数据完整性，并能保障TB级的数据稳定的落入分布式数据库中。本发明实施例通过提供数据落地端的实时数据核对功能，提供定期与源数据核对数据的功能，能够较好的保障数据完整性。在数据出现异常的情况时，本发明实施例能够最小化的降低损失，提供快速修复异常数据功能，快速恢复数据，这是集成起来的一整套的数据采集的解决方案。本发明实施例无需要感知采集端数据表结构的变化，减少了采集过程中人工参与。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种异构数据实时同步***，其特征在于，包括：
批处理引擎，用于将存量数据批量导入大数据平台的分布式数据库；所述批处理引擎具体用于：从源数据库服务器将存量数据通过FTP的方式采集到文件服务器中，通过文件共享协议获取上传的结构化数据，通过预设行分隔符和列分隔符的方式将结构化数据切割成可计算的矩阵数据，再将矩阵数据批量分发到各个计算存储节点，通过所述计算存储节点进行平行处理，对存量数据进行校验和计算，最终将结果存储到分布式数据库；
实时同步计算引擎，用于实时增量数据进行非侵入式的数据采集、数据转化，将增量数据实时同步到分布式数据库中；所述实时同步计算引擎具体用于：通过实时采集服务器从数据推送服务器中获取实时增量数据，将从Kafka接收的数据按照Json格式进行转化，将转换后的实时增量数据通过各个计算存储节点实时的同步到分布式数据库中，其中，数据推送服务器与源数据库服务器连接；
数据完整性保障***，用于通过可视化技术在监控界面展示批处理引擎和实时同步引擎的实时数据同步处理情况，根据实时数据同步处理情况计算监测数据，根据监测数据判断数据同步是否出现异常，在出现异常的情况下执行数据的修复，进行完整性保障，数据完整性保障***具体包括：
实时同步数据监控***，设置应用服务器，用于定时刷新数据，通过时间、总体数据同步情况、业务表名维度、Kafka接收的数据、已同步数据、已踢回数据、以及异常条数指标实时监控数据同步情况并在监控界面进行可视化显示；
异常数据修复模块，用于通过计算存储节点，根据实时数据同步处理情况计算监测数据，根据监测数据判断数据同步是否出现异常，对处理过程中出现的解析异常被保存在异常存储库中的数据进行数据修复并同步到分布式数据库中，将监测数据保存到关系型数据库服务器。
2.根据权利要求1所述的***，其特征在于，所述批处理引擎具体用于：
基于Spark技术，对存量数据进行数据清洗，并基于Bulk Load技术，将清洗后的存量数据导入分布式数据库中。
3.根据权利要求1所述的***，其特征在于，所述实时同步计算引擎具体用于：
基于OGG技术和Spark Streaming技术，对于实时增量数据，将从Kafka接收的数据按照Json格式进行转化，并将格式化后的数据保存至分布式数据库。
4.一种异构数据实时同步装置，其特征在于，与源数据库服务器和数据推送服务器连接，其中，据推送服务器与源数据库服务器连接，所述装置具体包括：
文件服务器，用于从源数据库服务器采集存量数据和结构化数据，将结构化数据切割成可计算的矩阵数据，再将矩阵数据批量分发到各个计算存储节点；所述文件服务器具体用于，通过FTP的方式从源数据库服务器采集存量数据，通过文件共享协议获取上传的结构化数据，通过预设行分隔符和列分隔符的方式将结构化数据切割成可计算的矩阵数据，再将矩阵数据批量分发到各个计算存储节点；
实时采集服务器，用于从数据推送服务器中获取实时增量数据，进行转化，将转换后的实时增量数据发送到各个计算存储节点；所述实时采集服务器具体用于，从数据推送服务器中获取实时增量数据，将从Kafka接收的数据按照Json格式进行转化，将转换后的实时增量数据发送到各个计算存储节点；
多个计算存储节点，用于并行对存量数据进行校验和计算，最终将结果存储到分布式数据库，并将转换后的实时增量数据实时的同步到分布式数据库中；根据实时数据同步处理情况计算监测数据；
应用服务器，用于部署实时同步数据监控***，通过可视化技术在监控界面展示实时数据同步处理情况；
多个管理服务器，用于根据实时数据同步处理情况计算监测数据，根据监测数据判断数据同步是否出现异常，在出现异常的情况下执行数据的修复，进行完整性保障；所述多个管理服务器为2个，所述管理服务器具体用于，根据计算存储节点计算的监测数据判断数据同步是否出现异常，对处理过程中出现的解析异常被保存在异常存储库中的数据进行数据修复并同步到分布式数据库中，将监测数据保存到关系型数据库服务器；
关系型数据库服务器，用于保存监测数据；
所述应用服务器具体用于，部署实时同步数据监控***，定时刷新数据，通过时间、总体数据同步情况、业务表名维度、Kafka接收的数据、已同步数据、已踢回数据、以及异常条数指标实时监控数据同步情况并在监控界面进行可视化显示。
CN202011154725.8A 2020-10-26 2020-10-26 异构数据实时同步***及装置 Active CN112256796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011154725.8A CN112256796B (zh) 2020-10-26 2020-10-26 异构数据实时同步***及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011154725.8A CN112256796B (zh) 2020-10-26 2020-10-26 异构数据实时同步***及装置

Publications (2)

Publication Number Publication Date
CN112256796A CN112256796A (zh) 2021-01-22
CN112256796B true CN112256796B (zh) 2024-03-26

Family

ID=74262978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011154725.8A Active CN112256796B (zh) 2020-10-26 2020-10-26 异构数据实时同步***及装置

Country Status (1)

Country Link
CN (1) CN112256796B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760962B (zh) * 2021-09-01 2024-06-18 中国人民银行清算总中心 单领域至跨领域数据集数据处理方法及装置
CN114817410B (zh) * 2022-06-23 2022-09-13 心鉴智控(深圳)科技有限公司 业务数据处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651633A (zh) * 2016-10-09 2017-05-10 国网浙江省电力公司信息通信分公司 一种基于大数据技术的用电信息采集***及其采集方法
CN109829009A (zh) * 2018-12-28 2019-05-31 北京邮电大学 可配置的异构数据实时同步并可视化的***及方法
CN110750562A (zh) * 2018-07-20 2020-02-04 武汉烽火众智智慧之星科技有限公司 基于Storm的实时数据比对预警方法及***
WO2020173248A1 (zh) * 2019-02-27 2020-09-03 北京字节跳动网络技术有限公司 数据同步方法、装置、终端及存储介质
CN111723160A (zh) * 2020-08-24 2020-09-29 国网浙江省电力有限公司 一种多源异构增量数据同步方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651633A (zh) * 2016-10-09 2017-05-10 国网浙江省电力公司信息通信分公司 一种基于大数据技术的用电信息采集***及其采集方法
CN110750562A (zh) * 2018-07-20 2020-02-04 武汉烽火众智智慧之星科技有限公司 基于Storm的实时数据比对预警方法及***
CN109829009A (zh) * 2018-12-28 2019-05-31 北京邮电大学 可配置的异构数据实时同步并可视化的***及方法
WO2020173248A1 (zh) * 2019-02-27 2020-09-03 北京字节跳动网络技术有限公司 数据同步方法、装置、终端及存储介质
CN111723160A (zh) * 2020-08-24 2020-09-29 国网浙江省电力有限公司 一种多源异构增量数据同步方法及***

Also Published As

Publication number Publication date
CN112256796A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112256796B (zh) 异构数据实时同步***及装置
CN106403168B (zh) 用于空调***的故障诊断***和方法
CN110414871A (zh) 基于边缘计算的变电站二次设备故障监测***及监测方法
CN105187554A (zh) 服务器性能监控方法及***
CN106650964A (zh) 一种充电设备的故障分析***、方法和装置
CN112269673A (zh) 一种数据中心智能运维管理***及方法
CN111581056A (zh) 基于人工智能的软件工程数据库维护与预警***
CN104601374A (zh) 用于数控机床的网络故障处理方法和装置
CN109389524B (zh) 基于电网数据的一体化运维协同管理方法、存储设备、终端
CN113395295A (zh) 一种基于区块链的数据传输安全检测***
CN110389892A (zh) 一种基于云平台历史故障数据的故障注入方法
CN106874525B (zh) 一种风电机组设备故障筛查、统计的方法与装置
CN113157521A (zh) 用于区块链全生命周期的监控方法和监控***
CN202172419U (zh) 一种故障分析处理***
CN110224882B (zh) 一种储能电站遥控时延测试方法和装置
CN102289452B (zh) 一种电信网管性能数据输出的方法及装置
CN106293975B (zh) 信息处理方法、信息处理装置和信息处理***
CN117112656A (zh) 一种科技志愿服务管理的一体化信息智能管理***及方法
US20120296996A1 (en) Method and system for analysis of message transactions in a distributed system
CN201298172Y (zh) 一种集控站数据同步故障诊断装置
CN104104292B (zh) 一种发电机励磁***状态广域实时获取***
CN105629107B (zh) 一种厂站时钟同步故障在线监测方法
CN112986884A (zh) 用户计量倍率档案校验方法及***
CN115498639B (zh) 一种基于多数据融合的配电网管理***
CN117477765B (zh) 一种基于大数据的电力数据传输***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant