CN113297034A - 基于TeleDB和MySQL数据库的分布式数据集成***及方法 - Google Patents
基于TeleDB和MySQL数据库的分布式数据集成***及方法 Download PDFInfo
- Publication number
- CN113297034A CN113297034A CN202110601919.6A CN202110601919A CN113297034A CN 113297034 A CN113297034 A CN 113297034A CN 202110601919 A CN202110601919 A CN 202110601919A CN 113297034 A CN113297034 A CN 113297034A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- service module
- teledb
- responsible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000010354 integration Effects 0.000 title claims abstract description 20
- 238000007726 management method Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 230000001360 synchronised effect Effects 0.000 claims abstract description 22
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 238000013508 migration Methods 0.000 claims abstract description 12
- 230000005012 migration Effects 0.000 claims abstract description 12
- 230000008439 repair process Effects 0.000 claims abstract description 10
- 238000012550 audit Methods 0.000 claims abstract description 7
- 230000010076 replication Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims abstract description 4
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开基于TeleDB和MySQL数据库的分布式数据集成***及方法，***包括设于管理平台上的数据同步服务模块、数据修复模块、数据稽核模块、数据迁移模块和监控告警服务模块，数据同步服务模块负责实施的增量数据复制；数据修复模块负责同步过程异常数据的修复和稽核数据的修复；数据稽核模块负责检查并保证数据的一致性；数据迁移模块用于数据初始化和全量数据迁移以保证一致性；监控告警服务模块负责监控***的运行告警。本发明将分散、零乱、标准不统一的数据整合到一起进行集中管理和使用，具有资源集中管理，规范流程，统一操作，完善的监控体系，减少在这方面的人力投入和资源的投入，具体很好的经济效应。
Description
技术领域
本发明涉及分布式数据处理技术领域，尤其涉及基于TeleDB和MySQL数据库的分布式数据集成***及方法。
背景技术
目前同类的技术或者产品在底层的数据库日志解析上技术上共通外，当涉及到业务方面，就不太适用于复杂的电信业务的分布式业务，数据库集群多，数据量大，稳定性和实时性要求高，需适配电信集团自研组件，同时也存在监控运维等生产问题，这个在同类的技术或者产品上都不具备。
发明内容
本发明的目的在于提供基于TeleDB和MySQL数据库的分布式数据集成***及方法，用于解决TeleDB和MySQL的分布式数据库集群，在多个应用中心间的复杂的数据交互和分享的问题。
本发明采用的技术方案是：
基于TeleDB和MySQL数据库的分布式数据集成***，***包括设于管理平台上的数据同步服务模块、数据修复模块、数据稽核模块、数据迁移模块和监控告警服务模块，数据同步服务模块负责实施的增量数据复制；数据修复模块负责同步过程异常数据的修复和稽核数据的修复；数据稽核模块负责检查并保证数据的一致性；数据迁移模块用于数据初始化和全量数据迁移以保证一致性；监控告警服务模块负责监控***的运行告警。
基于TeleDB和MySQL数据库的分布式数据集成***的控制方法，其包括以下步骤：
步骤1，管理平台查询应用数据库的数据，并配置同步任务数据；
步骤2，管理平台下发同步任务数据至数据同步服务模块，并发起数据同步请求；
步骤3，数据同步服务模块解析同步任务数据开始执行数据实时同步；
步骤4，判断同步任务执行是否发生异常；是则，记录异常数据，当触发熔断条件时下发任务熔断指令并执行步骤5；否则，执行步骤6；
步骤5，监控告警服务模块监控到同步异常数据，根据告警策略发出同步异常告警；
步骤6，通过数据稽核模块进行稽核数据判断同步数据是否发现数据差异；是则，向数据修复模块发起数据修复并执行步骤7；否则，执行步骤8
步骤7，数据修复模块收到修复任务后执行数据修复任务，完成数据修复后执行步骤6；
步骤8，结束完成数据集成应用。
进一步地，作为一种较优实施方式，步骤1中管理平台通过主从切换变更对应的监控数据库。
进一步地，作为一种较优实施方式，步骤1中管理平台监控发现同步数据异常时，则通知监控告警服务模块发出异常告警。
进一步地，作为一种较优实施方式，步骤5中通过短信通知服务发出短信告警。
本发明采用以上技术方案，通过Binlog应用,整合数据仓库ETL思路，将分散、零乱、标准不统一的数据整合到一起进行集中管理和使用，具有资源集中管理，规范流程，统一操作，完善的监控体系，减少在这方面的人力投入和资源的投入，具有很好的经济效应，并且支撑集成电信应用的特性，集成了中国电信集群研发组件等现有技术不具备的特性，能够很好支撑电信应用***。高可靠，高性能特性满足了大批量亿级别数据的应用，除了能支撑除了电信应用外的***支撑，涵盖和超越了现有技术的应用，是现有技术不具备有的能力。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明基于TeleDB和MySQL数据库的分布式数据集成***原理架构示意图；
图2为本发明基于TeleDB和MySQL数据库的分布式数据集成***的控制方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
本发明基于MySQL的主从复制原理，从MySQL中源源不断的抽取操作的数据，向******传送数据，支持多种数据源加载，包括MySQL,Oracle,DB2,postgresql，可以方便的集成主流的数据源。为了减少对生产库的数据复制压力，引入了消息中间件，使用电信集团的CTGMQ作为数据流管道进行数据分发。能够保障电信***的出账等的大数据量处理场景，高可靠，高可用，稳定运行，提供了监控告警服务，提前发现问题和解决问题。
如图1或图2所示，本发明公开了基于TeleDB和MySQL数据库的分布式数据集成***，***包括设于管理平台上的数据同步服务模块、数据修复模块、数据稽核模块、数据迁移模块和监控告警服务模块，数据同步服务模块负责实施的增量数据复制；数据修复模块负责同步过程异常数据的修复和稽核数据的修复；数据稽核模块负责检查并保证数据的一致性；数据迁移模块用于数据初始化和全量数据迁移以保证一致性；监控告警服务模块负责监控***的运行告警。为数据的应用提供实时，可靠的数据应用保证。
如图2所示，本发明还公开了基于TeleDB和MySQL数据库的分布式数据集成***的控制方法，其包括以下步骤：
步骤1，管理平台查询监控数据库的数据，并配置同步任务数据；
步骤2，管理平台下发同步任务数据至数据同步服务模块，并发起数据同步请求；
步骤3，数据同步服务模块解析同步任务数据开始执行数据实时同步；
步骤4，判断同步任务执行是否发生异常；是则，记录异常数据，触发熔断条件时下发任务熔断指令并执行步骤5；否则，执行步骤6；
步骤5，监控告警服务模块监控到同步异常数据，根据告警策略发出同步异常告警；
步骤6，通过数据稽核模块进行稽核数据判断同步数据是否发现数据差异；是则，向数据修复模块发起数据修复并执行步骤7；否则，执行步骤8
步骤7，数据修复模块收到修复任务后执行数据修复任务，完成数据修复后执行步骤6；
步骤8，结束完成数据集成应用。
进一步地，作为一种较优实施方式，步骤1中管理平台通过主从切换变更对应的TeleDB和MySQL数据库。
进一步地，作为一种较优实施方式，步骤1中管理平台发现同步数据异常时，则通知监控告警服务模块发出异常告警。
进一步地，作为一种较优实施方式，步骤5中短信通知服务发出短信告警。
本发明采用以上技术方案，通过Binlog应用,整合数据仓库ETL思路，将分散、零乱、标准不统一的数据整合到一起进行集中管理和使用，具有资源集中管理，规范流程，统一操作，完善的监控体系，减少在这方面的人力投入和资源的投入，具有很好的经济效应，并且支撑集成电信应用的特性，集成了中国电信集群研发组件等现有技术不具备的特性，能够很好支撑电信应用***。高可靠，高性能特性满足了大批量,亿级别数据的应用，除了能支撑除了电信应用外的***支撑，同时也涵盖和超越了现有技术的应用,是现有技术不具备有的能力。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
Claims (5)
1.基于TeleDB和MySQL数据库的分布式数据集成***，其特征在于：包括设于管理平台上的数据同步服务模块、数据修复模块、数据稽核模块、数据迁移模块和监控告警服务模块，数据同步服务模块负责实施的增量数据复制；数据修复模块负责通同步过程异常数据的修复和稽核数据的修复；数据稽核模块负责检查并保证数据的一致性；数据迁移模块用于数据初始化和全量数据迁移以保证一致性；监控告警服务模块负责监控***的运行告警。
2.基于TeleDB和MySQL数据库的分布式数据集成***的控制方法，采用了权利要求1所述的基于TeleDB和MySQL数据库的分布式数据集成***；其特征在于：方法包括以下步骤：
步骤1，管理平台查询应用数据库的数据，并配置同步任务数据；
步骤2，管理平台下发同步任务数据至数据同步服务模块，并发起数据同步请求；
步骤3，数据同步服务模块解析同步任务数据开始执行数据实时同步；
步骤4，判断同步任务执行是否发生异常；是则，记录异常数据，在触发熔断条件时下发任务熔断指令并执行步骤5；否则，执行步骤6；
步骤5，监控告警服务模块监控到同步异常数据根据告警策略发出告警；
步骤6，通过数据稽核模块进行稽核数据判断同步数据是否发现数据差异；是则，向数据修复模块发起数据修复并执行步骤7；否则，执行步骤8；
步骤7，数据修复模块收到修复任务后执行数据修复任务，完成数据修复后执行步骤6；
步骤8，结束完成数据集成应用。
3.根据权利要求2所述的基于TeleDB和MySQL数据库的分布式数据集成***的控制方法，其特征在于：步骤1中管理平台通过主从切换变更对应的应用数据库。
4.根据权利要求2所述的基于TeleDB和MySQL数据库的分布式数据集成***的控制方法，其特征在于：步骤1中管理平台监控发现同步数据异常时，则通知监控告警服务模块发出异常告警。
5.根据权利要求2所述的基于TeleDB和MySQL数据库的分布式数据集成***的控制方法，其特征在于：步骤5中通过短信通知服务发出短信告警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110601919.6A CN113297034A (zh) | 2021-05-31 | 2021-05-31 | 基于TeleDB和MySQL数据库的分布式数据集成***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110601919.6A CN113297034A (zh) | 2021-05-31 | 2021-05-31 | 基于TeleDB和MySQL数据库的分布式数据集成***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113297034A true CN113297034A (zh) | 2021-08-24 |
Family
ID=77326397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110601919.6A Pending CN113297034A (zh) | 2021-05-31 | 2021-05-31 | 基于TeleDB和MySQL数据库的分布式数据集成***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113297034A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915756A (zh) * | 2015-05-22 | 2015-09-16 | 电信科学技术第五研究所 | 数据一致性云稽核***及实现方法 |
| CN107423436A (zh) * | 2017-08-04 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种用于不同类型数据库间在线数据迁移的方法 |
| US20200026710A1 (en) * | 2018-07-19 | 2020-01-23 | Bank Of Montreal | Systems and methods for data storage and processing |
| CN112231402A (zh) * | 2020-10-14 | 2021-01-15 | 广东亿迅科技有限公司 | 一种异构数据实时同步方法、装置、设备和存储介质 |
| CN112508733A (zh) * | 2020-11-24 | 2021-03-16 | 国网思极神往位置服务（北京）有限公司 | 一种基于北斗的电网时空大数据智能服务*** |
-
2021
- 2021-05-31 CN CN202110601919.6A patent/CN113297034A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104915756A (zh) * | 2015-05-22 | 2015-09-16 | 电信科学技术第五研究所 | 数据一致性云稽核***及实现方法 |
| CN107423436A (zh) * | 2017-08-04 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种用于不同类型数据库间在线数据迁移的方法 |
| US20200026710A1 (en) * | 2018-07-19 | 2020-01-23 | Bank Of Montreal | Systems and methods for data storage and processing |
| CN112231402A (zh) * | 2020-10-14 | 2021-01-15 | 广东亿迅科技有限公司 | 一种异构数据实时同步方法、装置、设备和存储介质 |
| CN112508733A (zh) * | 2020-11-24 | 2021-03-16 | 国网思极神往位置服务（北京）有限公司 | 一种基于北斗的电网时空大数据智能服务*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020211222A1 (zh) | 基于数据服务平台提供微服务的方法、装置、存储介质 | |
| CN113515499B (zh) | 一种数据库服务方法及*** | |
| CN106713487B (zh) | 数据的同步方法和装置 | |
| US9729615B2 (en) | System and method for collaborative designing, development, deployment, execution, monitoring and maintenance of enterprise applications | |
| CN102664747B (zh) | 一种云计算平台*** | |
| CN103514514A (zh) | 电力营销业务数据在线监测方法 | |
| CN104463492A (zh) | 一种电力***云仿真平台的运营管理方法 | |
| CN110851278A (zh) | 一种基于微服务架构的配网自动化主站移动应用服务管理方法和*** | |
| CN104506625A (zh) | 一种提升云数据库元数据节点可靠性的方法 | |
| CN102135929A (zh) | 一种分布式容错服务*** | |
| CN113254279A (zh) | 一种智能灾备管理平台*** | |
| CN102868744A (zh) | 一种实现SaaS与IaaS自动化集成管理的方法 | |
| CN113867965A (zh) | 分布式云管理***、管理方法、计算机可读存储介质及应用 | |
| CN107506381A (zh) | 一种大数据分布式调度分析方法、***装置及存储介质 | |
| CN109361777A (zh) | 分布式集群节点状态的同步方法、同步***及相关装置 | |
| CN113297034A (zh) | 基于TeleDB和MySQL数据库的分布式数据集成***及方法 | |
| CN113157701A (zh) | 一种oracle数据库的双活机制部署方法及装置 | |
| CN111984301A (zh) | 一种基于spring cloud和kubernetes的微服务数据治理架构 | |
| CN117201278A (zh) | 一种实现信创环境云原生应用主备容灾高可用场景的方法 | |
| CN116302716A (zh) | 一种集群部署方法、装置、电子设备及计算机可读介质 | |
| CN103118121B (zh) | 一种高可用集群在虚拟化技术中的应用方法 | |
| CN109492045A (zh) | 一种日志信息处理方法及*** | |
| CN106789941B (zh) | 一种数据库及***应用心跳统一管理的实现方法 | |
| CN104144070A (zh) | 云呼叫中心***及其动态容灾方法、核心调度设备 | |
| Wibowo et al. | Building scalable and resilient database system to mitigate disaster and performance risks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210824 |