CN103034703A - 基于规则配置的多***间数据交换的方法 - Google Patents

基于规则配置的多***间数据交换的方法 Download PDF

Info

Publication number
CN103034703A
CN103034703A CN2012105244380A CN201210524438A CN103034703A CN 103034703 A CN103034703 A CN 103034703A CN 2012105244380 A CN2012105244380 A CN 2012105244380A CN 201210524438 A CN201210524438 A CN 201210524438A CN 103034703 A CN103034703 A CN 103034703A
Authority
CN
China
Prior art keywords
data
exchanges data
rule
exchange
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012105244380A
Other languages
English (en)
Inventor
李敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INFORMATION COMMUNICATION BRANCH JIANGXI ELECTRIC POWER CO Ltd
State Grid Corp of China SGCC
Original Assignee
INFORMATION COMMUNICATION BRANCH JIANGXI ELECTRIC POWER CO Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INFORMATION COMMUNICATION BRANCH JIANGXI ELECTRIC POWER CO Ltd, State Grid Corp of China SGCC filed Critical INFORMATION COMMUNICATION BRANCH JIANGXI ELECTRIC POWER CO Ltd
Priority to CN2012105244380A priority Critical patent/CN103034703A/zh
Publication of CN103034703A publication Critical patent/CN103034703A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于规则配置的多***间数据交换的方法，依照日常各***的数据交换要求与数据逻辑转换处理的需要，建立一种满足各***间的数据交换的规则模型，根据此规则模型，而实现一种轻便的基于规则配置的多***间数据交换的方法，它能满足不同的业务***间的数据交换的业务应用，实现通过设定的交换规则进行相应的数据转换处理。

Description

基于规则配置的多***间数据交换的方法
技术领域
本发明涉及一种基于规则配置的多***间数据交换的方法。
背景技术
数据交换是企业一体化平台的重要组成部分，是各类业务数据采集工具之一，能够实现上下级业务数据之间的纵向数据交换，实现同级之间的统一的横向数据交换渠道，满足各种数据的交换要求。使各部门各***之间的基础数据得以共享,让基础数据发挥更大的社会价值,帮助客户从宏观上把握业务***运行的整体情况。
目前，商用化的数据交换平台存在诸多问题，比如：操作繁琐、配置麻烦、提供的二次开发接口专业性过强，需要具备开发经验的开发人员才能进行交换平台的客户化开发；同时，由于各个厂商开发的数据交换平台的规范各不相同，难以进行统一；更重要的是，商用化的数据交换平台难以快速响应信息***的实际数据交换的需求变化，多数数据交换平台基本都需要开发人员进行配置和二次开发才能满足此方面需求。
发明内容
本发明的目的在于提供一种易维护的交换规则配置，能满足多***间的数据交换处理要求的基于规则配置的多***间数据交换的方法。
本发明的基于规则配置的多***间数据交换的方法，依照日常各***的数据交换要求与数据逻辑转换处理的需要，建立一种能满足各***间的数据交换的规则模型，根据此规则模型，实现一种基于规则配置的多***间数据交换的方法，满足不同的业务***间的数据交换的业务应用。
本发明的基于规则配置的多***间数据交换的方法，包括以下步骤：
1、创建数据库适配器，首先创建数据库适配器实例，通过创建适配器信息，对需要交换的数据库进行访问连接配置，授权能够访问的业务数据库。 
2、定义数据交换对象，在数据库适配器基础上，进行各数据交换对象的信息配置，标识交换数据表从源数据到目的数据的交换变化规则。
3、配置数据交换规则，针对数据交换的具体要求，配置交换数据的基本转换与处理规则，通过配置该交换规则进行数据字段信息的抽取语转换处理。
4、设置数据交换时间戳，数据交换时间戳在数据交换表中进行配置，配置时间戳字段，***自动记录每次抽取的最后时间戳，并记录下次需要抽取的时间戳，通过该时间戳进行增量数据的自动抽取。
5、定义数据交换间隔，定义数据交换处理的时间间隔。
6、处理数据交换规则，数据交换应用服务程序自动加载数据交换配置信息，结合时间戳信息，组合各项交换规则，并加以解析与转换，将配置的数据交换规则解析为目标数据库能够识别的语句，通过数据交换服务程序加以执行，进行数据的抽取、转换与传输。其中，数据交换的规则处理过程包括：获取数据交换规则、解析交换规则、验证交换规则、执行数据转换与处理、进行数据交换。
本发明的基于规则配置的多***间数据交换的方法，具有以下效果：
（1）高效、易用、可扩展的数据交换规则，通过引入时间戳策略来进行数据交换的配置、交换规则的配置、转换规则的配置、传输规则的配置以及***配置,为应用集成提供了良好的灵活性和扩展能力。在***建设过程中通过简单配置,就可以实现各应用***之间的数据交换、数据共享和数据同步,快速构建数据交换应用。所有的数据交换整合过程可以在配置表中完成,不需要用户编写代码,既快速又简单方便。 
（2）安全、可靠的数据交换应用，各业务***数据通过交换数据中心以及数据交换服务程序进行数据的传输,各业务***与数据交换服务程序相对独立的,可以最大限度地保护原有业务***的安全。在***各个层面上的数据访问、数据转换和数据传输,都由数据交换程序统一处理,既可以防止不相关的数据在数据交换服务程序上的传输，造成***负担,影响***效率和安全,又能保证目标只接收自己关心的数据,保证数据的安全与可靠。 
（3）支持多数据库之间数据交换，在数据交换服务程序中可以预先定义一系列的“数据交换规则”集，一次数据交换由控制两个或多个端点间进行数据交换的规则集组成；支持多个***数据间的数据交换。
（4）支持文件传输，支持物理文件以及文件类型的字段数据（如：BLOB字段）的配置与传输。
附图说明
图1为基于规则配置的多***间数据交换的规则处理过程图；
图2为本发明的总体架构结构图。
具体实施方式
一种基于规则配置的多***间数据交换的方法，具体实施过程分成如下步骤：
步骤1：创建数据库适配器，首先创建数据库适配器实例，通过创建适配器信息，对需要交换的数据库进行访问连接配置（数据库适配器），授权能够访问的业务数据库。支持不同数据库适配器的配置，主要包括业界流行的ORACE、SQL SERVER数据库。 
步骤2：定义数据交换对象，在数据库适配器基础上，进行各数据交换对象的信息配置，标识交换数据表从源数据到目的数据的交换变化规则。其基本配置信息包括：规则编号、源数据库实例名、数据更新时间标识、目的数据库实例名、全表传输标识、交换的先后顺序、数据检索语句等。
步骤3：配置数据交换规则，针对数据交换的具体要求，配置交换数据的基本转换与处理规则，通过配置该交换规则进行数据字段信息的抽取语转换处理，基本规则的数据结构配置信息如下：
一般交换规则结构：用于目的表与源表数据均存在的字段的规则转换配置；包括：源表字段、目的表字段、目的表字段产生规则、需要转换的数据与数据格式、是否blob数据、是否物理文件、文件来源路径、文件目的路径等；
特殊交换规则结构：考虑到目的表中可能存在部分字段在源表中没有，不能完整对应到目的表中的一些必填字段，如序列字段或一些默认值字段等。
步骤4：设置数据交换时间戳，数据交换时间戳在数据交换表中进行配置，配置时间戳字段，***自动记录每次抽取的最后时间戳，并记录下次需要抽取的时间戳，通过该时间戳进行增量数据的自动抽取。
步骤5：定义数据交换间隔，定义数据交换处理的时间间隔。以秒为最小时间单位进行设置，根据具体的数据交换要求进行配置，也可以通过手动编辑配置文件来进行自定义。
步骤6：处理数据交换规则，数据交换应用服务程序自动加载数据交换配置信息，结合时间戳信息，组合各项交换规则，并加以解析与转换，将配置的数据交换规则解析为目标数据库能够识别的语句，通过数据交换服务程序加以执行，进行数据的抽取、转换与传输。数据交换的规则处理过程包括：获取数据交换规则、解析交换规则、验证交换规则、执行数据转换与处理、进行数据交换。该步骤描述如下：
步骤a:获取数据交换规则，根据数据交换对象信息，提取配置的数据交换规则，并根据规则进行数据交换信息的组合；
步骤b:解析交换规则，对提取并组合后的数据交换信息进行可执行语句的生成与转换处理，将整理后的各种配置的交换规则集合解析为符合SQL规范的、目的数据库能够识别的可执行语句；
步骤c:验证交换规则，对步骤b中的解析后得到的语句进行正确性验证，验证通过的则提交给步骤d执行；
步骤d:执行数据转换与处理，执行验证通过后的数据交换语句，通过数据交换服务程序进行数据对象的填充、转换与处理，完成数据交换。

Claims (2)

1.一种基于规则配置的多***间数据交换的方法，其特征在于，它包括以下步骤：
（1）、创建数据库适配器，首先创建数据库适配器实例，通过创建适配器信息，对需要交换的数据库进行访问连接配置，授权能够访问的业务数据库； 
（2）、定义数据交换对象，在数据库适配器基础上，进行各数据交换对象的信息配置，标识交换数据表从源数据到目的数据的交换变化规则；
（3）、配置数据交换规则，针对数据交换的具体要求，配置交换数据的基本转换与处理规则，通过配置该交换规则进行数据字段信息的抽取语转换处理；
（4）、设置数据交换时间戳，数据交换时间戳在数据交换表中进行配置，配置时间戳字段，***自动记录每次抽取的最后时间戳，并记录下次需要抽取的时间戳，通过该时间戳进行增量数据的自动抽取；
（5）、定义数据交换间隔，定义数据交换处理的时间间隔；
（6）、处理数据交换规则，数据交换应用服务程序自动加载数据交换配置信息，结合时间戳信息，组合各项交换规则，并加以解析与转换，将配置的数据交换规则解析为目标数据库能够识别的语句，通过数据交换服务程序加以执行，进行数据的抽取、转换与传输，其中，数据交换的规则处理过程包括：获取数据交换规则、解析交换规则、验证交换规则、执行数据转换与处理、进行数据交换。
2.根据权利要求1所述的基于规则配置的多***间数据交换的方法，其特征在于：所述的获取数据交换规则，是根据数据交换对象信息，提取配置的数据交换规则，并根据规则进行数据交换信息的组合；所述的解析交换规则，是对提取并组合后的数据交换信息进行可执行语句的生成与转换处理，将整理后的各种配置的交换规则集合解析为符合SQL规范的、目的数据库能够识别的可执行语句；所述的验证交换规则，是对解析后得到的语句进行正确性验证，验证通过的则提交给下一过程执行；所述的执行数据转换与处理，是执行验证通过后的数据交换语句，通过数据交换服务程序进行数据对象的填充、转换与处理，完成数据交换。
CN2012105244380A 2012-12-10 2012-12-10 基于规则配置的多***间数据交换的方法 Pending CN103034703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012105244380A CN103034703A (zh) 2012-12-10 2012-12-10 基于规则配置的多***间数据交换的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012105244380A CN103034703A (zh) 2012-12-10 2012-12-10 基于规则配置的多***间数据交换的方法

Publications (1)

Publication Number Publication Date
CN103034703A true CN103034703A (zh) 2013-04-10

Family

ID=48021597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012105244380A Pending CN103034703A (zh) 2012-12-10 2012-12-10 基于规则配置的多***间数据交换的方法

Country Status (1)

Country Link
CN (1) CN103034703A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593586A (zh) * 2013-12-03 2014-02-19 国家电网公司 一种对数据质量进行评价的方法
CN104008172A (zh) * 2014-06-04 2014-08-27 浪潮软件集团有限公司 一种数据交换方法
CN104836756A (zh) * 2015-04-09 2015-08-12 成都卡莱博尔信息技术有限公司 一种被动式主数据交换方法
CN105404527A (zh) * 2015-09-24 2016-03-16 国网山东省电力公司 基于sap平台的接口配置方法及***
CN108933828A (zh) * 2018-07-04 2018-12-04 中国银行股份有限公司 一种数据同步设备及方法
CN109635583A (zh) * 2018-12-27 2019-04-16 中国电子科技集团公司第三十研究所 一种基于数据安全标签的信息安全共享交换方法及***
CN112492000A (zh) * 2020-11-18 2021-03-12 中盈优创资讯科技有限公司 一种物联网访问网络规则的加载方法及装置
CN112486869A (zh) * 2020-11-12 2021-03-12 北京壹体体育产业发展有限公司 一种用于多***间数据交换的装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1904885A (zh) * 2005-07-29 2007-01-31 北京航空航天大学 数据库适配器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1904885A (zh) * 2005-07-29 2007-01-31 北京航空航天大学 数据库适配器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨丽等: "基于SOA的数据交换平台设计", 《计算机***应用》 *
王淑营: "面向制造业产业链协同商务***的数据交换适配器研究", 《计算机应用研究》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593586A (zh) * 2013-12-03 2014-02-19 国家电网公司 一种对数据质量进行评价的方法
CN104008172A (zh) * 2014-06-04 2014-08-27 浪潮软件集团有限公司 一种数据交换方法
CN104836756A (zh) * 2015-04-09 2015-08-12 成都卡莱博尔信息技术有限公司 一种被动式主数据交换方法
CN105404527A (zh) * 2015-09-24 2016-03-16 国网山东省电力公司 基于sap平台的接口配置方法及***
CN105404527B (zh) * 2015-09-24 2019-05-28 国网山东省电力公司 基于sap平台的接口配置方法及***
CN108933828A (zh) * 2018-07-04 2018-12-04 中国银行股份有限公司 一种数据同步设备及方法
CN109635583A (zh) * 2018-12-27 2019-04-16 中国电子科技集团公司第三十研究所 一种基于数据安全标签的信息安全共享交换方法及***
CN112486869A (zh) * 2020-11-12 2021-03-12 北京壹体体育产业发展有限公司 一种用于多***间数据交换的装置及方法
CN112492000A (zh) * 2020-11-18 2021-03-12 中盈优创资讯科技有限公司 一种物联网访问网络规则的加载方法及装置

Similar Documents

Publication Publication Date Title
CN103034703A (zh) 基于规则配置的多***间数据交换的方法
CN107038200A (zh) 业务数据处理方法及***
CN105528418B (zh) 一种设计文档生成方法及装置
CN101739436B (zh) 基于xml的柔性数据迁移方法
CN103853734A (zh) 图纸内容差异比对方法及***
CN104160381A (zh) 多租户环境中租户特定数据集的管理
US20140310233A1 (en) Tracing data through a transformation process using tracer codes
CN101504672A (zh) 一种动态配置实体数据表的方法和***
CN105354267A (zh) 实现多类型规划方案“多规合一”电子报批的方法
KR20210150838A (ko) 가상공간 아카이브를 이용한 가상공간 임대차 서비스 제공 시스템
CN108520019A (zh) 数据管理方法、装置、设备及计算机可读存储介质
CN109902114A (zh) Es集群数据复用方法、***、计算机装置及存储介质
CN103473332A (zh) 一种虚拟试验体系结构的数据档案库
CN104748757B (zh) 一种导航电子地图数据更新方法及装置
CN104298761A (zh) 一种异构软件***间主数据匹配的实现方法
CN102073702A (zh) 一种人力资源管理信息***的人员信息动态扩展的实现方法
CN114218291A (zh) 基于目标对象的画像生成方法、装置、设备及存储介质
CN102999488B (zh) 翻译平台***及其实现方法
CN107748748A (zh) 水利水电技术标准全文检索***
CN102915368A (zh) 一种基于云计算的知识服务装置
CN105654401A (zh) 酒店报价自动化***及其实现方法
CN105574209A (zh) 一种基于规则定制的多***间数据交换装置及方法
CN103473306A (zh) 一种采用sql标记替换法实现数据自取的方法及***
US20150154567A1 (en) Facility management system using perspective definition metadata and method therefor
CN104391892A (zh) 一种基于元数据驱动的地产信息访问***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130410