CN103902671B - 一种异构多源数据的动态集成方法及*** - Google Patents
一种异构多源数据的动态集成方法及*** Download PDFInfo
- Publication number
- CN103902671B CN103902671B CN201410102827.3A CN201410102827A CN103902671B CN 103902671 B CN103902671 B CN 103902671B CN 201410102827 A CN201410102827 A CN 201410102827A CN 103902671 B CN103902671 B CN 103902671B
- Authority
- CN
- China
- Prior art keywords
- data
- source
- dynamic
- module
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003860 storage Methods 0.000 claims abstract description 49
- 230000002688 persistence Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 7
- 238000007405 data analysis Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 5
- 229910000831 Steel Inorganic materials 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 239000010959 steel Substances 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000705930 Broussonetia papyrifera Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种异构多源数据的动态集成方法及***,包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块。数据采集模块用于定义数据源、提供数据源特征、定制采集方法;动态建库模块根据数据结构定制元数据库和业务数据库;入库加载模块用于数据结构再定义和加载入库;数据持久层模块用于元数据库管理。本发明提供的集成***具有灵活的可扩展性和通用性,处理用户在数据结构不明确时对复杂多源数据的集成问题,为数据决策分析提供可靠的数据集保障。
Description
技术领域
本发明属于数据处理领域,尤其是涉及一种异构多源数据的动态集成方法及***,。
背景技术
随着当今社会数据的日益膨胀,生产、通信、医疗等行业产生了大量非结构化的实时或滞后数据,这些数据呈现出结构相异、来源渠道多样、数据冗余程度高等特点,不仅在数据采集角度的用户增加了不断重复的工作量,不同数据源的入库加载也是极其繁琐的,数据集成入库的过程中增加了失误的概率。
目前典型的数据集成过程是抽取、转换、降维、集成,但是这四个过程却忽略了动态性,其必须要有针对性的设计一套方案进行源数据的集成工作,缺乏灵活性和通用性,传统的异构多源数据集成,不同的数据源必须有不同的数据集成方法,这有一个弊端,就是一旦某一环节出现问题(比如数据采集时出现数据结构解析错误),未来的数据集成和数据仓库的构建将毫无意义。
比如在重钢集团热连轧工艺生产流程中,针对某一生产线产生的实时数据,当生产流程或采集点样本数据结构发生变化时,企业只能重新设计一套新方案来采集新数据源,这无疑为企业增加了繁琐的工作量,而且在采集方案的设计过程中增加了人工失误率。
因此,异构多源数据集成工作的通用性愈发重要。
发明内容
针对现有技术中存在的问题,本发明的目的在于提供一种异构多源数据的动态集成方法及***,它的特点是在数据采集过程中提供一种动态定制异构多源数据采集方法的机制,在整个***中定义了一种多数据源的层次化管理模式,在数据入库加载模块实现了一种灵活的业务数据再定义方法,另外提供了一种元数据管理机制和动态数据集成方法。
为了实现本发明的目的,采用以下技术方案:
一种异构多源数据的动态集成***,该***适用于开放生产环境中多源、异构数据的集成,支持数据源动态变化和数据采集方式相对灵活多变的情况,所述***包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块;
所述数据采集模块动态为各数据源量身定做采集方法并发送至数据持久层模块,采集数据至***缓存库,完成数据源的定义,提取数据源特征并发送至动态建库模块;
所述动态建库模块接收数据采集模块发送的数据源特征,用于为异构多源数据动态定制业务数据库和元数据库,生成元表记录并更新元数据库数据;
所述入库加载模块接收数据采集模块缓存库的转换后的数据,并做再定义处理,实现数据结构统一性,并引导多源数据进入相应业务数据库;
所述数据持久层模块存储异构多源业务数据、异构多源元数据和数据采集模块定制的采集方法,提供元数据库管理机制,并实现元数据库与业务数据的两库联动。
所述数据采集模块包括:
数据源定义单元,用于在数据持久层定义数据源基本信息;
采集方法动态定制单元,用于管理多源数据相应的数据采集方法,并将采集方法发送给采集方法库;
特征提取单元,用于提取数据源的属性、数据结构等信息,并将其发送给动态建库模块。
所述动态建库模块包括:
元数据库动态定制单元,用于为各数据源动态定制元数据库表结构,接收数据采集模块的数据源特征信息,并依此作为元表记录更新元数据库;
业务数据库动态定制单元,为各数据源动态定制业务数据库。
所述入库加载模块包括:
数据源再定义单元,用于接收数据采集模块缓存库中的数据,通过分析元数据库属性间关系对数据结构再定义;
入库加载单元,用于根据各数据源特征定制入库引导程序,并完成数据入库加载工作。
本发明还提出一种异构多源数据的动态集成方法,该集成方法包括以下步骤:
步骤1、采集源数据并向***提供数据源特征、定制采集方法;
步骤2、动态定制元数据库和业务数据库;
步骤3、对业务数据结构再定义,生成入库引导程序并完成业务数据入库。
所述步骤1还包括以下具体步骤:
步骤1.1,所述数据采集模块在数据持久层定义数据源;
步骤1.2,所述数据采集模块动态定制各数据源的采集方法,并发送至采集方法库;
步骤1.3,所述数据采集模块提取各数据源的特征信息并发送至动态建库模块。
所述步骤2还包括以下具体步骤:
步骤2.1,所述动态建库模块定制表元表和属性元表;
步骤2.2,所述动态建库模块定制业务数据库结构。
步骤3包括以下具体步骤:
步骤3.1,所述入库加载模块动态定制各数据源的入库引导程序;
步骤3.2,所述入库加载模块接收数据采集模块的数据,进行数据结构再定义;
步骤3.3,所述入库引导程序将再定义后的数据加载至业务数据库中。
本发明的优点在于,它使用区别于传统异构多源数据集成的动态集成方法,利用源数据特征定制数据采集方法和元数据库,再通过元数据库进行业务数据库结构的定制和数据结构再定义,引导入库方法也实现了其动态定制,为异构多源数据的集成带来了机动性,其中采集方法和数据库的定制也更加通用,元数据库管理机制更提供了一种灵活的数据库管理模式。
附图说明
图1是本发明的***流程图;
图2是本发明的***结构示意图;
图3是本发明的异构多源数据的采集示意图;
图4是本发明的多元化业务层次管理模型图;
图5是本发明的多源数据的特征提取示意图;
图6是本发明的动态数据入库加载示意图;
图7是本发明的元数据管理机制图;
图8是本发明的数据库***层次图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合附图和具体实施例,对本发明进一步详细说明。
本发明提供一种异构多源数据的动态集成方法与***,该***尤其适用于开放生产环境中多源、异构数据的集成,并且支持数据源动态变化和数据采集方式相对灵活多变的情况。
该提供了一种动态定制异构多源数据采集方法的机制,可对不同结构的数据源进行采集方法的定制和管理,并在数据接入到***时对不同来源的数据调用相应的方法进行格式转换、整理等采集工作,最终统一在相同的数据格式下;定义了一种多数据源的层次化管理模式,将所有数据源统一在一个包括数据源层次、特征层次、业务层次三层逻辑的多层逻辑管理模式下,从而适应数据源的动态变化,实现数据特征的统一管理;提供了一种元数据管理机制,元数据库与业务数据库之间可以动态联动,是真正意义上的“库管理库”;实现了一种灵活的业务数据再定义方法,针对各异构数据源的特征,将各数据源的业务数据进行重组,形成新的再定义元表;提供了一种动态数据集成方法,通过数据源动态入库引导,实现了数据批量高效加载入库。
***是一个层次管理模型,如图4所示的三层结构,第一层是数据源层次,负责管理各生产工厂数据基本信息(如北海钢铁的处理钢种号、首次接入时间、数据源种类和种数等);第二层是特征层次,统一管理各工厂元数据数据,例如表元表和属性元表均由特征层次管理;业务层次便是具体业务数据表,例如北海钢铁的BH_RM_SET表保存了轧钢过程中的粗轧设定数据,又如重庆钢铁的CQ_FM_COMCON_DATA表保存了轧钢过程的公共常量。
如图2所示,异构多源数据的动态集成***包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块,完成从数据的采集、采集方法的定制、数据源特征提取、数据结构再定义到最终完成数据加载的操作。***通过数据采集模块定制采集方法并提供数据源特征;动态建库模块完成元数据库和业务数据库的定制;入库加载模块将数据加载到数据库中;数据持久层模块通过元数据库管理机制使业务数据库的管理更加效率。
其中,数据采集模块由定义数据源,动态定制采集方法,特征提取三部分功能构成。
数据采集模块通过用户判断数据库中是否为数据源已备案定义数据源,当数据源首次接入时,用户要定义数据源。例如数据源为首次接入的某工厂生产线数据,用户要定义工厂数据的路径、工厂状态、采集方法的路径等信息;如果数据源不是首次接入,则跳过此步骤。
在数据源定义之后可根据数据源附带的表头文件定制数据采集方法,每个数据源接入时都有数据相关头文件用于描述结构信息(多为C语言编写的头文件),数据采集模块负责将这些头文件按标识(比如struct关键字)提取出数据结构,根据数据结构定制采集程序进行数据先读后写,输出文本数据到数据缓存库中。定制采集程序中,数据结构的提取过程是一个递归的过程,例如在轧钢生产流程中产生的数据多为product.dat形式,给出的头文件也是C语言编写的头文件,可以扫描所有头文件,通过关键字struct截取出数据结构体,作为业务数据基本表;通过关键字起始的分号,截取出结构体的成员(结构体和成员等信息被称为数据特征),因为不同采集方法的不同之处一般都是各数据源数据结构树和头文件中定义的宏不同,其他的文本处理过程和读写机制都是相同的,所以可将各源数据结构树融合到读写数据文件的方法中,便形成了异构多源数据采集方法的定制,如图3所示,将采集方法保存到数据库的采集方法库中以供后期调用。
数据源的数据结构是一个树状结构,从头文件中可提取出关于结构信息的结构体,进一步提取可得到表和属性,如图5所示,通过扫描各数据源提供的头文件可根据关键字struct和C语言数据类型保留字(如int,float)提取出多个结构体和成员,进一步形成生成元表和业务数据库结构的sql创建和***脚本(在动态建库模块中会执行建库),特征提取单元将这些数据特征信息发送给动态建库模块。
动态建库模块主要包括元数据库的定制和业务数据库的定制两部分功能。
动态建库模块,通过数据的特征(结构体和成员)生成属性元表和表元表创建代码(即表创建sql语句),根据数据源特征定制数据库。根据属性(结构体)名称、类型、长度等信息生成元表***语句,将数据特征***上述创建的元数据库中,完成元数据库定制工作。
依据元数据库中表元表和属性元表,定制数据库,此时业务数据库中便创建了相应源的业务表。
入库加载模块主要由数据结构再定义和入库加载两部分构成。
入库加载模块先进行数据结构再定义,数据缓存库中的数据(此时数据已经过初步转换,可读性更高)与数据持久层中其他源的数据可能存在类似同名异义、异名同义、同名同义等现象,为实现数据库中数据组织形式的统一,通过元数据表将数据结构进行再定义,解决了这些冲突。下表1便是一种再定义形式,如果源1中表A与源2中表x为异名同义表,因此将其抽取出来再定义为表M,表示源1A或源2x。如果源1表B部分属性与源2表y部分属性同义,那么可将两表部分共同属性提取出来进行重组,表N便为重组后的表。
表1
数据源1 | 源1表A | 源1表B | 源1表C | 源1表D |
数据源2 | 源2表x | 源2表y | 源2表z | … |
再定义后的组织形式 | 表M(A或x) | 表N(B+y) | … | … |
引导入库方法的定制也是一个动态过程,如图6所示,通过元数据库中的元数据为每个数据源定制一系列引导文件,如果目的数据库是Oracle,则通过列举缓存库中文件名称再结合表元表和属性元表生成对应数据源的控制文件(*.ctl文件),通过java程序定制各数据源的入库引导程序,执行入库程序便使用SQL loader工具将数据批量加载入库,完成对应数据的批量入库工作。
数据持久层模块主要由元数据库管理和数据存储两个功能组成。
数据持久层根据自身特点,实现元数据库和业务数据两库联动,如图7所示,元数据库可以动态定制业务数据库,属性元表实现业务库的属性修改、增加、删除等管理,表元表对业务数据库的表进行修改、增加、删除等管理。元数据管理机制是本***的一个重要特性,当数据加载入库之后,***把对应数据源的记录数、最后使用时间、调用频次、表的增删情况等重要数据反馈给元数据库;同样地,当元数据库对表或属性进行更新操作时,业务数据库会响应(如在表元表中删除一个业务表,则此业务表将被销毁)。元数据库与业务数据库的联动机制真正实现了“库管理库”。
元数据库中保存的是业务表的组织形式信息,真正的业务数据存放在了业务数据库中,数据采集模块中定制的采集方法保存在了采集方法库中,用于将来相同结构数据采集时直接调用,省去了定制过程。
附图8展示了本***的数据库***层次,元数据库包括表元表和属性元表,表元表中包括了业务表表名、使用频次、表中属性数量、记录数据、最后更新时间等信息,属性元表中包括了属性名称、隶属表等信息;业务数据库中包括了根据各数据源特征创建的业务表;采集方法库中则包括了数据采集模块中为各数据源定制的采集方法,包括方法参数、返回值、路径等信息。
基于上述异构多源数据的动态集成***,对异构多源数据进行动态采集、建库、再定义,进而达到加载入库,其中具体流程如下:
步骤一、数据采集模块通过异构多源数据进行特征提取,将特征信息发送给动态建库模块和入库加载模块,并定义数据源和动态定制采集方法,将定制的采集方法发送至数据持久层模块。
步骤1.1,数据采集模块在数据持久层定义数据源;
步骤1.2,数据采集模块动态定制各数据源的采集方法,并发送至采集方法库;
步骤1.3,数据采集模块提取各数据源的特征信息并发送至动态建库模块。
步骤二、动态建库模块根据接收的数据源特征定制相应元数据库的属性元表和表元表,并参照属性元表和表元表定制相应业务数据库。
步骤2.1,动态建库模块定制表元表和属性元表;
步骤2.2,动态建库模块定制业务数据库结构。
步骤三、入库加载模块根据接收的异构多源数据的属性、结构等特征定制入库引导程序,并将数据采集模块发送的数据再定义,加载至相应业务数据库中。
步骤3.1,入库加载模块动态定制各数据源的入库引导程序;
步骤3.2,入库加载模块接收数据采集模块的数据,进行数据结构再定义;
步骤3.3,入库引导程序将再定义后的数据加载至业务数据库中。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种异构多源数据的动态集成***,该***适用于开放生产环境中多源、异构数据的集成,支持数据源动态变化和数据采集方式相对灵活多变的情况,其特征在于,所述***包括数据采集模块、动态建库模块、入库加载模块、数据持久层模块;
所述数据采集模块动态为各数据源量身定做采集方法并发送至数据持久层模块,采集数据至***缓存库,完成数据源的定义,提取数据源特征并发送至动态建库模块;
所述动态建库模块接收数据采集模块发送的数据源特征,用于为异构多源数据动态定制业务数据库和元数据库,生成元表记录并更新元数据库数据;
所述入库加载模块接收数据采集模块缓存库的转换后的数据,并做再定义处理,实现数据结构统一性,并引导多源数据进入相应业务数据库;
所述数据持久层模块存储异构多源业务数据、异构多源元数据和数据采集模块定制的采集方法,提供元数据库管理机制,并实现元数据库与业务数据的两库联动;
所述数据采集模块包括:
数据源定义单元,用于在数据持久层定义数据源基本信息;
采集方法动态定制单元,用于管理多源数据相应的数据采集方法,并将采集方法发送给采集方法库;
特征提取单元,用于提取数据源的属性、数据结构信息,并将其发送给动态建库模块;
所述入库加载模块包括:
数据源再定义单元,用于接收数据采集模块缓存库中的数据,通过分析元数据库属性间关系对数据结构再定义;
入库加载单元,用于根据各数据源特征定制入库引导程序,并完成数据入库加载工作。
2.如权利要求1所述的异构多源数据的动态集成***,其特征在于,所述动态建库模块包括:
元数据库动态定制单元,用于为各数据源动态定制元数据库表结构,接收数据采集模块的数据源特征信息,并依此作为元表记录更新元数据库;
业务数据库动态定制单元,为各数据源动态定制业务数据库。
3.一种异构多源数据的动态集成方法,其特征在于,该集成方法包括以下步骤:
步骤1、采集源数据并向***提供数据源特征、定制采集方法;
步骤2、动态定制元数据库和业务数据库;
步骤3、对业务数据结构再定义,生成入库引导程序并完成业务数据入库;
所述步骤1还包括以下具体步骤:
步骤1.1,数据采集模块在数据持久层定义数据源;
步骤1.2,所述数据采集模块动态定制各数据源的采集方法,并发送至采集方法库;
步骤1.3,所述数据采集模块提取各数据源的特征信息并发送至动态建库模块;
所述步骤2还包括以下具体步骤:
步骤2.1,动态建库模块定制表元表和属性元表;
步骤2.2,所述动态建库模块定制业务数据库结构;
步骤3包括以下具体步骤:
步骤3.1,入库加载模块动态定制各数据源的入库引导程序;
步骤3.2,所述入库加载模块接收数据采集模块的数据,进行数据结构再定义;
步骤3.3,所述入库引导程序将再定义后的数据加载至业务数据库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410102827.3A CN103902671B (zh) | 2014-03-19 | 2014-03-19 | 一种异构多源数据的动态集成方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410102827.3A CN103902671B (zh) | 2014-03-19 | 2014-03-19 | 一种异构多源数据的动态集成方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103902671A CN103902671A (zh) | 2014-07-02 |
CN103902671B true CN103902671B (zh) | 2018-04-13 |
Family
ID=50993993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410102827.3A Expired - Fee Related CN103902671B (zh) | 2014-03-19 | 2014-03-19 | 一种异构多源数据的动态集成方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103902671B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104156395A (zh) * | 2014-07-14 | 2014-11-19 | 上海东方延华节能技术服务股份有限公司 | 数据存储*** |
CN104166704A (zh) * | 2014-08-05 | 2014-11-26 | 华为技术有限公司 | 一种屏蔽异构数据源的方法及装置 |
CN104200402A (zh) * | 2014-09-11 | 2014-12-10 | 国家电网公司 | 一种电网多个数据源的源数据发布方法及*** |
CN105117470B (zh) * | 2015-08-28 | 2019-11-22 | 广州酷狗计算机科技有限公司 | 数据存储方法和装置 |
CN105701177B (zh) * | 2016-01-05 | 2019-05-31 | 卡斯柯信号有限公司 | 用于异构非标***的数据采集过程统一方法 |
CN105809577B (zh) * | 2016-04-25 | 2020-04-07 | 吉林大学 | 一种基于规则和组件的电厂信息化数据的分类处理方法 |
CN106126513A (zh) * | 2016-05-03 | 2016-11-16 | 成都市公安局 | 超维度时空刻画方法 |
CN106126554A (zh) * | 2016-06-16 | 2016-11-16 | 西安科技大市场有限公司 | 一种基于科技资源大数据的采集方法 |
CN107590158B (zh) * | 2016-07-08 | 2020-12-22 | 北京京东尚科信息技术有限公司 | 一种获取数据源变更信息的方法和装置 |
US11379537B2 (en) * | 2016-11-18 | 2022-07-05 | Accenture Global Solutions Limited | Closed-loop unified metadata architecture with universal metadata repository |
CN106844485A (zh) * | 2016-12-23 | 2017-06-13 | 航天星图科技(北京)有限公司 | 一种企业异构数据库智能集成的***及方法 |
CN108733727B (zh) | 2017-04-25 | 2021-11-30 | 华为技术有限公司 | 一种查询处理方法、数据源注册方法及查询引擎 |
CN107491515B (zh) * | 2017-08-11 | 2020-10-16 | 国电南瑞科技股份有限公司 | 基于大数据平台的智能配用电数据转换方法 |
CN110019440B (zh) * | 2017-08-30 | 2021-06-08 | 北京国双科技有限公司 | 数据的处理方法及装置 |
CN107798137B (zh) * | 2017-11-23 | 2018-12-18 | 霍尔果斯智融未来信息科技有限公司 | 一种基于可加模型的多源异构数据融合架构*** |
CN107909300A (zh) * | 2017-12-12 | 2018-04-13 | 北京可视化智能科技股份有限公司 | 智能工厂管理平台和方法 |
CN107943765A (zh) * | 2017-12-15 | 2018-04-20 | 航天恒星科技有限公司 | 基于多源异构遥感数据自动存档控制***及其控制方法 |
CN108170824A (zh) * | 2018-01-05 | 2018-06-15 | 马上消费金融股份有限公司 | 一种基于sql的数据存储方法、装置、设备及存储介质 |
CN111126963A (zh) * | 2019-12-24 | 2020-05-08 | 微创(上海)网络技术股份有限公司 | 一种异构多源数据的动态集成方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008097727A1 (en) * | 2007-02-05 | 2008-08-14 | Microsoft Corporation | Techniques to manage a taxonomy system for heterogeneous resource domains |
CN102081661A (zh) * | 2011-01-19 | 2011-06-01 | 吉林大学 | 基于xml的异构关系型数据库的数据集成方法和*** |
CN102236672A (zh) * | 2010-05-06 | 2011-11-09 | 深圳市腾讯计算机***有限公司 | 一种数据导入方法及装置 |
-
2014
- 2014-03-19 CN CN201410102827.3A patent/CN103902671B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008097727A1 (en) * | 2007-02-05 | 2008-08-14 | Microsoft Corporation | Techniques to manage a taxonomy system for heterogeneous resource domains |
CN102236672A (zh) * | 2010-05-06 | 2011-11-09 | 深圳市腾讯计算机***有限公司 | 一种数据导入方法及装置 |
CN102081661A (zh) * | 2011-01-19 | 2011-06-01 | 吉林大学 | 基于xml的异构关系型数据库的数据集成方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN103902671A (zh) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103902671B (zh) | 一种异构多源数据的动态集成方法及*** | |
CN110347662B (zh) | 一种基于通用数据模型的多中心医疗数据结构标准化*** | |
US7761411B2 (en) | Delta operations on a large object in a database | |
Sorenson et al. | The Metaview system for many specification environments | |
CN107038222B (zh) | 数据库缓存实现方法及其*** | |
CN110168518A (zh) | 准备和整理用于后续分析的数据的用户界面 | |
US8291310B2 (en) | Delta-saving in XML-based documents | |
AU2009258015B2 (en) | Paging hierarchical data | |
CN112286941B (zh) | 一种基于Binlog+HBase+Hive的大数据同步方法和装置 | |
CN103530407B (zh) | 一种富文本文档的生成方法与装置 | |
CN101706815B (zh) | 数据库设备和*** | |
CN113918663A (zh) | 一种基于命名规则和缓存机制的知识图谱构的操作方法 | |
CN115840589A (zh) | 一种支持异构分布式数据库的发布方法 | |
US20070220420A1 (en) | System and method for efficient maintenance of indexes for XML files | |
CN104636265B (zh) | 一种cimxml文档的高效内存模型组织的访问方法 | |
CN106802928B (zh) | 电网历史数据管理方法及其*** | |
CN114115837A (zh) | 一种基于对象信息的mis自适应生成器以及使用方法 | |
CN113254725A (zh) | 一种面向图数据库的数据管理与检索增强的方法 | |
CN109902085B (zh) | 一种配置存储结构优化方法及*** | |
CN104714956A (zh) | 一种异构记录集对比方法及装置 | |
CN116955393A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN102289448A (zh) | 访问数据访问层的实体 | |
CN115757358A (zh) | 一种基于数据集成的多源主数据建模维护分发方法及*** | |
CN114519071A (zh) | 规则匹配模型的生成方法、匹配方法、***、设备和介质 | |
CN114356945A (zh) | 数据处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180413 |
|
CF01 | Termination of patent right due to non-payment of annual fee |