CN105426440B - 一种基于数据库的异构型数据批量同步方法 - Google Patents
一种基于数据库的异构型数据批量同步方法 Download PDFInfo
- Publication number
- CN105426440B CN105426440B CN201510749519.4A CN201510749519A CN105426440B CN 105426440 B CN105426440 B CN 105426440B CN 201510749519 A CN201510749519 A CN 201510749519A CN 105426440 B CN105426440 B CN 105426440B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- sub
- job
- synchronizing process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于数据库的异构型数据批量同步方法,其特征在于,在***计算资源有限的情况下,充分利用数据库管理软件的自身技术与接口,原子化实现异构类型数据同步单元,借助操作先来先服务调度算法(FCFS)执行批量并行同步,本发明的有益效果是:本发明是在信息***计算资源有限的情况下,充分利用数据库管理软件的自身技术,利用操作***先来先服务调度算法(FCFS),实现异构类型数据的批量并行同步方式。本发明是利用数据库自身的Database link机制,升级JOB作业管理机制,实现动态批量的管理元子级的异构类型的数据同步过程执行数据同步,保证整个异构数据类型***的数据一致性和完整性。
Description
技术领域
本发明属信息***构建方法,尤其是一种基于数据库的异构型数据批量同步方法。
技术背景
随着信息化建设程度不断提升,各业务领域***之间要求实现数据共享,消除信息孤单,以到达信息数据的最大化应用,统一构成分布式部署的综合***,不同子***之间数据结构各异,要保证子***间数据的一致性和正确性,实现同构数据的批量同步成为了综合***建设的技术。
成熟的ETL工具,更多的关注与数据同步过程,能够快速有效的实现数据同步的图形定制化配置,多线程同步的管理机制,但是不能嵌入数据所在的平台本身,通过分析***前后台任务执行所需的资源利用率,实现***自身资源利用率的平衡,而本发明正好是这一缺陷的补充。
在综合***计算资源投入有限的情况下,充分的利用数据库管理软件自身技术机制,实现异构数据大批量的高效同步,满足综合***应用的需求,能有效减少***技术的复杂度,同时也具有非常良好的经济效益。
发明内容
本发明的目的正是为了克服上述现有技术存在的缺陷而提供一种基于数据库的异构型数据批量同步方法,本发明方法是在信息***计算资源有限的情况下,充分利用数据库管理软件的自身技术,利用操作***先来先服务调度算法(FCFS),实现异构类型数据的批量并行同步方式。
本发明方法是通过如下技术方案来实现的:
一种基于数据库的异构型数据批量同步方法,其特征在于,在***计算资源有限的情况下,充分利用数据库管理软件的自身技术与接口,原子化实现异构类型数据同步单元,借助操作先来先服务调度算法(FCFS)执行批量并行同步,主要采用以下步骤和技术、算法实现:
(1)、建立子***底层数据库之间的连接
建立网络链路,实现子***数据库服务器之间的通信链路;利用数据库Databaselink技术,实现数据库之间相互访问连接;在此通过数据库权限的授予和限制,实现子***内私有数据和公有数据的安全保护。
(2)、封装元子级的数据转换同步过程
结合子***间异构数据同步的需求,按照数据转换同步的业务逻辑,封装出用于异构数据转换同步的最小元子级(Metadata)的同步存储过程;最小元子级同步过程需要充分的考虑异构数据对应的差异,利用数据库自身的临时表与缓存机制,降低内存的压力;按照数据库数据存储的原理,设计最小步骤的转换过程与转化的算法,提高数据同步过程中增、删、改、查等操作的性能,从而达到整体提高同步性能的目的。
(3)、建立作业任务调度控制过程
基于数据库自身的JOB任务管理机制,和数据库运行状态监控技术,采用先进先出的作业调度算法,建立同步作业调度控制过程;实现调度过程能够实时的根据数据库运行的状态和资源利用率,动态的设置负责执行元子同步过程的JOB数量,从而保证***前端应用的应用性能,亦保证异构数据批量高效的同步,达到重复利用数据库硬件资源的目的;异构数据批量同步的控制流程:
步骤一:创建用于任务调度分配的主JOB,采用蚁群研究中“秩序即是高效”规律设计JOB的控制机制,通过分析***的资源的利用率,达到控制子JOB数量和执行频率的目的,从而充分提高同步作业的整体效率;此步骤中为了能够在后面的执行过程中有限的监管数据同步过程,在此处还需加入数据同步监督管理逻辑,用于监控数据库软硬件负载情况,及元子的同步过程运行的详细信息。
步骤二:按照异构数据同步需求及数据规模设计元子同步过程,元子同步过程之间要消除前后的依赖,保证能够并发运行而不影响数据同步的目标。并将元子同步过程,注册进入调度列表中;
步骤三:主JOB按照设计好的调度机制,启动创建子JOB,执行最小元子同步过程。按照同步频率的需求,调整循环同步的周期,从而实现异构型数据的高效同步;
(4)注册元子同步过程进入调度控制过程
完成以上三个步骤,将元子同步过程注册进入调度控制过程,完成调度控制过程对元子同步过程的动态管理和执行。元子同步过程的执行,并不一定完全按照既定的逻辑执行,而是由主JOB根据当前的***资源利用率相关信息动态分配,达到控制子JOB数量和执行频率的目的,从而充分提高同步作业的整体效率。
(5)监管异构数据同步过程
本阶段加入独立于同步过程的分析控制逻辑,通过分析“作业任务调度控制过程”记录***运行数据、及元子的同步过程运行的详细数据,明确的指导调整数据库***配置参数,结合***服务应用的时间周期规律,及时的调整子过程调度的频率、数量、资源配额等参数,实现同步过程最高效的同步,同时不影响***前端服务运用的效率与并发量。
本发明的有益效果是:本发明是在信息***计算资源有限的情况下,充分利用数据库管理软件的自身技术,利用操作***先来先服务调度算法(FCFS),实现异构类型数据的批量并行同步方式。本发明是利用数据库自身的Databaselink机制,升级JOB作业管理机制,实现动态批量的管理元子级的异构类型的数据同步过程执行数据同步,保证整个异构数据类型***的数据一致性和完整性。
附图说明
图1为本发明异构数据批量同步的控制流程图;
图2为JOB控制调度作业执行效果图。
具体实施方式
见图1,图2,一种基于数据库的异构型数据批量同步方法,本发明特征在于,通过采用以下技术和算法实现:
(1)、建立子***底层数据库之间的连接
建立网络链路,实现子***数据库服务器之间的通信链路;利用数据库Databaselink技术,实现数据库之间相互访问连接;在此通过数据库权限的授予和限制,实现子***内私有数据和公有数据的安全保护;
(2)、封装元子级的数据转换同步过程
结合子***间异构数据同步的需求,按照数据转换同步的业务逻辑,封装出用于异构数据转换同步的最小单元的存储过程;元子级同步过程需要充分的考虑异构数据对应的差异,和转化的算法优化,提高数据同步过程中增删改查等操作的性能;
(3)、建立作业任务调度控制过程
基于数据库自身的JOB任务管理机制,和数据库运行状态监控技术,采用先进先出的作业调度算法,建立同步作业调度控制过程;实现调度过程能够实时的根据数据库运行的状态和资源利用率,动态的设置负责执行元子同步过程的JOB数量,从而保证***前端应用的应用性能,亦保证异构数据批量高效的同步,达到重复利用数据库硬件资源的目的;异构数据批量同步的控制流程:
步骤一:创建用于任务调度分配的主JOB,采用蚁群研究中“秩序即是高效”规律设计JOB的控制机制,通过分析***的资源的利用率,达到控制子JOB数量和执行频率的目的,从而充分提高同步作业的整体效率;
步骤二:按照异构数据同步需求及数据规模设计元子同步过程,元子同步过程之间要消除前后的依赖,保证能够并发运行而不影响数据同步的目标。并将元子同步过程,注册进入调度列表中;
步骤三:主JOB按照设计好的调度机制,启动创建子job,执行元子同步过程。按照同步频率的需求,调整循环同步的周期,从而实现异构型数据的高效同步;
(4)注册元子同步过程进入调度控制过程
完成以上三个步骤,将元子同步过程注册进入调度控制过程,完成调度控制过程对元子同步过程的动态管理和执行。元子同步过程的执行,并不一定完全按照既定的逻辑执行,而是由主JOB根据当前的***资源利用率相关信息动态分配,达到控制子JOB数量和执行频率的目的,从而充分提高同步作业的整体效率。
Claims (1)
1.一种基于数据库的异构型数据批量同步方法,其特征在于,在***计算资源有限的情况下,充分利用数据库管理软件的自身技术与接口,原子化实现异构类型数据同步单元,借助操作先来先服务调度算法执行批量并行同步,采用以下步骤和技术、算法实现:
(1)、建立子***底层数据库之间的连接
建立网络链路,实现子***数据库服务器之间的通信链路;利用数据库Database link技术,实现数据库之间相互访问连接;在此通过数据库权限的授予和限制,实现子***内私有数据和公有数据的安全保护;
(2)、封装元子级的数据转换同步过程
结合子***间异构数据同步的需求,按照数据转换同步的业务逻辑,封装出用于异构数据转换同步的最小元子级的同步存储过程;最小元子级同步过程需要充分的考虑异构数据对应的差异,利用数据库自身的临时表与缓存机制,降低内存的压力;按照数据库数据存储的原理,设计最小步骤的转换过程与转化的算法,提高数据同步过程中增、删、改、查操作的性能,从而达到整体提高同步性能的目的;
(3)、建立作业任务调度控制过程
基于数据库自身的JOB任务管理机制,和数据库运行状态监控技术,采用先进先出的作业调度算法,建立同步作业调度控制过程;实现调度过程能够实时的根据数据库运行的状态和资源利用率,动态的设置负责执行元子同步过程的JOB数量,从而保证***前端应用的应用性能,亦保证异构数据批量高效的同步,达到重复利用数据库硬件资源的目的;异构数据批量同步的控制流程:
步骤一:创建用于任务调度分配的主JOB,采用蚁群研究中“秩序即是高效”规律设计JOB的控制机制,通过分析***的资源的利用率,达到控制子JOB数量和执行频率的目的,从而充分提高同步作业的整体效率;此步骤中为了能够在后面的执行过程中有限的监管数据同步过程,在此处还需加入数据同步监督管理逻辑,用于监控数据库软硬件负载情况,及元子的同步过程运行的详细信息;
步骤二:按照异构数据同步需求及数据规模设计元子同步过程,元子同步过程之间要消除前后的依赖,保证能够并发运行而不影响数据同步的目标,并将元子同步过程,注册进入调度列表中;
步骤三:主JOB按照设计好的调度机制,启动创建子JOB,执行最小元子同步过程,按照同步频率的需求,调整循环同步的周期,从而实现异构型数据的高效同步;
(4)注册元子同步过程进入调度控制过程
完成以上三个步骤,将元子同步过程注册进入调度控制过程,完成调度控制过程对元子同步过程的动态管理和执行,元子同步过程的执行,并不一定完全按照既定的逻辑执行,而是由主JOB根据当前的***资源利用率相关信息动态分配,达到控制子JOB数量和执行频率的目的,从而充分提高同步作业的整体效率;
(5)监管异构数据同步过程
本阶段加入独立于同步过程的分析控制逻辑,通过分析“作业任务调度控制过程”记录***运行数据、及元子的同步过程运行的详细数据,明确的指导调整数据库***配置参数,结合***服务应用的时间周期规律,及时的调整元子过程调度的频率、资源配额参数,实现同步过程最高效的同步,同时不影响***前端服务运用的效率与并发量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510749519.4A CN105426440B (zh) | 2015-11-06 | 2015-11-06 | 一种基于数据库的异构型数据批量同步方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510749519.4A CN105426440B (zh) | 2015-11-06 | 2015-11-06 | 一种基于数据库的异构型数据批量同步方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105426440A CN105426440A (zh) | 2016-03-23 |
CN105426440B true CN105426440B (zh) | 2018-07-27 |
Family
ID=55504652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510749519.4A Active CN105426440B (zh) | 2015-11-06 | 2015-11-06 | 一种基于数据库的异构型数据批量同步方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105426440B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107770038B (zh) * | 2016-08-22 | 2020-01-21 | 平安科技(深圳)有限公司 | 消息发送方法和装置 |
CN110187869B (zh) * | 2019-05-14 | 2020-09-01 | 上海直真君智科技有限公司 | 一种大数据异构存储计算模型间的统一互操作***及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1878166A (zh) * | 2005-06-07 | 2006-12-13 | 联想(北京)有限公司 | 异构数据源同步方法及其设备 |
CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库*** |
CN103617176A (zh) * | 2013-11-04 | 2014-03-05 | 广东电子工业研究院有限公司 | 一种实现多源异构数据资源自动同步的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7610317B2 (en) * | 2005-02-22 | 2009-10-27 | Microsoft Corporation | Synchronization with derived metadata |
-
2015
- 2015-11-06 CN CN201510749519.4A patent/CN105426440B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1878166A (zh) * | 2005-06-07 | 2006-12-13 | 联想(北京)有限公司 | 异构数据源同步方法及其设备 |
CN103617176A (zh) * | 2013-11-04 | 2014-03-05 | 广东电子工业研究院有限公司 | 一种实现多源异构数据资源自动同步的方法 |
CN103605698A (zh) * | 2013-11-06 | 2014-02-26 | 广东电子工业研究院有限公司 | 一种用于分布异构数据资源整合的云数据库*** |
Also Published As
Publication number | Publication date |
---|---|
CN105426440A (zh) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guan et al. | Application oriented dynamic resource allocation for data centers using docker containers | |
CN105376083B (zh) | 节能控制方法、管理服务器和网络设备 | |
CN102004671B (zh) | 一种云计算环境下数据中心基于统计模型的资源管理方法 | |
EP3229150B1 (en) | Streaming graph optimization method and apparatus | |
CN104079657B (zh) | 基于模板的可配置的集群部署装置及方法 | |
CN102546796B (zh) | 业务服务器数据更新处理***及方法 | |
US20070011331A1 (en) | Autonomous control apparatus, autonomous control method, and autonomous control program | |
CN109670199B (zh) | 一种高效的电网拓扑分析方法及装置 | |
CN109325008A (zh) | 面向消息中间件的跨域数据同步方法与*** | |
CN103944769A (zh) | 基于rpc协议的集群资源统一管理*** | |
CN102622303A (zh) | 一种内存过载控制的方法及装置 | |
CN102759984A (zh) | 虚拟化服务器集群的电源和性能管理*** | |
CN104572307A (zh) | 一种对虚拟资源进行弹性调度的方法 | |
CN102982197A (zh) | 一种多领域协同分布式仿真*** | |
CN104639594A (zh) | 分配物理资源和虚拟资源的***和方法 | |
CN111858027B (zh) | 一种软件机器人协同处理方法及*** | |
CN102262567A (zh) | 虚拟机调度决策的***、平台及方法 | |
CN106021411A (zh) | 一种具有集群自适应性的Storm任务部署与配置平台 | |
CN104050042A (zh) | Etl作业的资源分配方法及装置 | |
CN111459641B (zh) | 一种跨机房的任务调度和任务处理的方法及装置 | |
CN102594919A (zh) | It资源支撑*** | |
CN103336722A (zh) | 一种虚拟机cpu资源监控和动态分配方法 | |
CN110502349A (zh) | 一种构建云端容器应用的编排方法 | |
CN104468212A (zh) | 一种云计算数据中心网络智能联动配置方法及*** | |
US11169495B2 (en) | Methods for provisioning an industrial internet-of-things control framework of dynamic multi-cloud events and devices thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |