CN102508908A - 一种下级财政业务数据的采集方法和*** - Google Patents
一种下级财政业务数据的采集方法和*** Download PDFInfo
- Publication number
- CN102508908A CN102508908A CN2011103569576A CN201110356957A CN102508908A CN 102508908 A CN102508908 A CN 102508908A CN 2011103569576 A CN2011103569576 A CN 2011103569576A CN 201110356957 A CN201110356957 A CN 201110356957A CN 102508908 A CN102508908 A CN 102508908A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- financial operation
- subordinate
- financial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种下级财政业务数据的采集方法和***，涉及数据仓库的ETL领域。该方法及***基于SOA架构和消息中间件实现了下级财政业务数据的自动采集，首先根据抽取配置对需要上传的财政业务数据的进行抽取，然后通过消息中间件将抽取的数据上传到上级财政业务数据中心，作为综合查询的基本数据源。该方法在抽取配置中提供了全量抽取和增量抽取两种数据的采集方式，通过增量抽取的采集方式，用户在不需要改动原有业务数据表的前提下对数据表中有变化的数据进行提取，提高了数据抽取的效率，并可以通过设置取数条件只对满足要求的数据进行采集，避免了不必要数据的采集上传。
Description
技术领域
本发明涉及数据仓库技术的ETL(Extraction-Transformation-Loading，数据提取、转换和加载)领域，具体涉及一种基于SOA和消息中间件的在分布式***之间用于采集下级财政业务数据的方法和***。
背景技术
为了支撑财政业务管理的需要，财政部和各地财政部门都不同程度地开展了一些统计分析工作。随着金财工程(政府财政管理信息***，简称GFMIS)应用支撑平台的深入推广，各地逐步统一了财政业务基础数据，实现财政业务数据的集中存储和统一管理，为财政业务数据的自动采集打下了坚实的基础。但是在现有的数据采集主要采用上报报表的方式，由于各级财政的业务***无法直接联通，不能实现业务数据逐级财政(县、市、省和中央)自动上传，数据采集过程中需要人工干预的环节较多，采集周期非常长，采集数据的时效性和准确性也难以保证。此外，由于业务数据表在设计之初不能实现真正的增量上传，往往采用将所有数据定期上传方式，只有结果没有过程，数据没有可比性。
发明内容
针对现有技术中存在的缺陷以及实际应用中的需要，本发明的目的在于提供一种下级财政业务数据的采集方法和***，提高数据采集的效率，实现财政业务数据的层层自动采集，为财政的综合查询和决策支持提供依据。
为实现上述目的，本发明采用的技术方案如下：
一种下级财政业务数据的采集方法，包括以下步骤：
(1)启动数据抽取装置，根据抽取配置从下级财政业务数据中心抽取需要上传的财政业务数据并打包成XML数据包；抽取配置包括对所要抽取的财政业务数据库、财政业务数据表、财政业务数据以及数据抽取方式的配置；下级财政业务数据中心是指存储业务应用***运行过程中产生的各类业务数据的数据中心；
(2)将XML数据包转换成消息格式，通过消息中间件将消息存储并转发；
(3)数据接收装置接收消息中间件转发的消息，并将消息转换成XML数据包；
(4)对XML数据包进行解析，并将解析后的财政业务数据存储到上级财政业务数据中心的财政业务数据表中；上级财政业务数据中心是指存储综合查询***基本数据源的数据中心。
进一步，如上所述的一种下级财政业务数据的采集方法，步骤(1)中，所述数据抽取方式包括全量抽取和增量抽取；
所述全量抽取是指一次性将数据表中所有记录抽取出来；所述增量抽取是指对数据表中有变化的数据记录进行抽取，所述变化包括数据记录的增加、修改和删除。
进一步，如上所述的一种下级财政业务数据的采集方法，抽取配置时，如果财政业务数据表中配置有提取增量抽取完成后的最后抽取时间的时间戳字段，将时间戳字段所提取的每次增量抽取完成后的最后抽取时间记录在财政业务数据表的增量抽取记录表中。
进一步，如上所述的一种下级财政业务数据的采集方法，如果财政业务数据表中不存在时间戳字段的配置，通过设置增量抽取时间戳标识表来记录增量抽取后财政业务数据表的每条数据的最后操作类型和操作时间；操作类型包括数据的增加、修改和删除。
进一步，如上所述的一种下级财政业务数据的采集方法，在财政业务数据表的抽取配置中通过配置取数条件来抽取相应的财政数据；取数条件指的是数据的过滤条件。
再进一步，如上所述的一种下级财政业务数据的采集方法，对于一条财政业务数据，如果财政业务数据表中存在该条数据，而增量抽取时间戳标识表中不存在，则该条数据的操作类型为增加操作；
如果增量抽取时间戳标识表中存在该条数据，而财政业务数据表中不存在，则该条数据的操作类型为删除操作；
通过为财政业务数据表设置修改触发器记录操作类型为修改操作的数据。
更进一步，如上所述的一种下级财政业务数据的采集方法，增量抽取时根据每次抽取数据的数量的设定值进行数据的多次抽取。
基于上述下级财政业务数据采集方法的一种下级财政业务数据的采集***，包括：
财政业务数据中心：用于存储财政业务数据，包括用于存储业务应用***运行过程中产生的各类业务数据的下级财政业务数据中心，和用于存储综合查询***基本数据源的上级财政业务数据中心；
数据抽取装置：用于根据抽取配置从下级财政业务数据中心抽取需要上传的财政业务数据并打包成XML数据包；抽取配置包括对所要抽取的财政业务数据库、财政业务数据表、财政业务数据以及数据抽取方式的配置；
数据发送装置：用于将转化成消息格式的XML数据包发送到消息中间件；
消息中间件装置：用于存储并转发数据发送装置发送来的消息；
数据接收装置：用于接收消息中间件转发的消息；
数据解析装置：用于解析转化成XML数据包的消息，并将解析后的财政业务数据存储到上级财政业务数据中心；
SOA财政总线装置：用于管理各种应用装置和数据格式的转化；应用装置的管理包括数据抽取装置、数据发送装置、数据接收装置和数据解析装置的注册、编排和调度；数据格式的转化包括将XML数据包转化成消息格式和将消息转化成XML数据包。
进一步，如上所述的一种下级财政业务数据的采集***，所述消息中间件装置通过中间件队列的形式存储消息；中间件队列包括下级消息中间件队列和上级消息中间件队列，消息中间装置件在转发消息时将消息从下级消息中间件队列转发到上级消息中间件队列。
再进一步，如上所述的一种下级财政业务数据的采集***，数据抽取装置按照设定算法将财政业务数据打包成XML数据包，数据解析装置按照与设定算法的对应算法将XML数据包解析。
本发明的效果在于：
1)支持增量传输。提供一套通用的方案标识每条数据记录的增删改，不需要改动原有业务数据表。
本发明所述的方法提供了全量抽取和增量抽取两种数据采集的方式，通过增量抽取的方式，仅对有变化的数据的抽取，无需将所有数据上传，提高了数据采集的效率。
2)支持部分业务数据采集。数据提取时提供条件过滤，通过配置项“取数条件”，避免上传不必要的临时数据或过程数据。
对于只需要抽取某种特定状态的数据时，本发明所述的方法及***通过设置“取数条件”配置项，仅对满足条件的数据进行采集，避免了不必要数据的采集。
附图说明
图1为本发明一种下级财政业务数据的采集***的框架图；
图2为本发明一种下级财政业务数据的采集方法的流程图；
图3为本发明具体实施方式中的抽取配置列表；
图4为具体实施方式中详细的抽取配置界面图。
具体实施方式
下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。
为了更好理解本发明所述的方法及***，下面首先对本发明所涉及到的相关技术进行简单的介绍：
本发明所述的方法及***主要是基于SOA架构(Service-OrientedArchitecture，面向服务的体系结构)和消息中间件MOM(Message-OrientedMiddleware)实现下级财政业务数据的自动采集。面向服务的体系结构是一个组件模型，它将应用程序的不同功能单元(称为服务)通过定义良好的接口和契约联系起来，接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作***和编程语言。这使得构建在各种这样的***中的服务装置可以一种统一和通用的方式进行交互。通过SOA消除不同应用之间的技术差异，让不同的应用服务器协调运作，实现了不同服务装置之间的通信与整合。
消息中间件提供了以松散耦合的、灵活集成应用程序的一种机制。消息中间件利用高效可靠的消息传递机制进行平台无关的数据交换，并基于数据通信来进行分布式***的集成。利用消息中间件用于存储和转发消息，它能够保障数据在复杂的网络中高效、稳定、安全、可靠的传输，并确保传输的数据不错、不重、不漏、不丢，本发明支持主流的消息中间件，流行的商用和开源消息中间件包括IBM MQ、BEA MessageQ、东方通TLQ和Active MQ等。
可扩展标记语言(XML，Extensible Markup Language)一种简单的数据存储语言，使用一系列简单的标记描述数据，XML是跨平台依赖于内容的技术，是当前处理结构化文档信息的有力工具。
图1示出了本发明一种下级财政业务数据的采集***的框架图，该***主要包括以下几个部分：
财政业务数据中心1：用于存储财政业务数据；
财政业务数据中心1包括下级财政业务数据中心和上级财政业务数据中心。下级财政业务数据中心存储的是等待上传发送的数据，是存储业务应用***(生产***)在日常运行过程中产生的各类业务数据，上级财政业务数据中心是接收存储下级财政业务数据中心发送来的数据，作为综合查询***(分析***)的基本数据源。
数据抽取装置2：用于根据抽取配置从下级财政业务数据中心抽取需要上传的财政业务数据，并将抽取的财政业务数据按照设定的算法规则自动打包成XML数据包；抽取配置包括对所要抽取的财政业务数据库、财政业务数据表、财政业务数据以及数据抽取方式等参数的配置；
数据发送装置3：用于将转化成消息格式的XML数据包发送到消息中间件；
消息中间件装置4：用于存储并转发数据发送装置3发送来的消息；
数据接收装置5：用于接收消息中间件装置4转发的消息；
数据解析装置6：用于解析转化成XML数据包的消息，并将解析后的财政业务数据存储到上级财政业务数据中心；在XML数据包解析时采用与数据抽取装置中所采用的设定算法的对应算法将XML数据包解析；
SOA财政总线装置7：用于管理各种应用装置和数据格式的转化；
本发明是基于SOA架构和消息中间件来实现下级财政业务数据的自动采集，数据抽取装置2、数据发送装置3、数据接收装置5和数据接收装置6都是基于SOA财政总线开发的一系列装置，通过SOA财政总线来调度和管理各种应用装置，它提供的基本功能包括了各种装置的注册、编排和调度，以及数据格式的转换等，包括本***中将XML数据转化成消息格式和将消息转化成XML数据包。消息中间件装置3通过中间件队列的形式存储数据发送装置发送的消息；中间件队列包括下级消息中间件队列和上级消息中间件队列，消息中间件装置在转发消息时将消息从下级消息中间件队列转发到上级消息中间件队列，数据接收装置5从上级消息中间件队列中获取转发来的消息。本实施例中的采集***，与财政业务数据中心(数据库)分离，与具体采集的数据表结构无关，只需要将需要采集的数据表注册到***中，由数据采集***自动完成一系列的操作
图2示出了基于图1中采集***的一种下级财政业务数据的采集方法的流程图，主要包括以下步骤：
步骤S21：根据抽取配置抽取下级财政业务数据中心的财政数据并打包成XML数据包；
SOA财政总线定时启动数据抽取装置2，数据抽取装置2根据抽取配置从下级财政业务数据中心抽取需要上传的财政业务数据并根据设定的算法将财政业务数据打包成XML数据包。数据抽取装置2是一个注册到SOA总线上的装置，为确保抽取的可扩展性，通过抽取配置来描述从哪个数据库的什么表中抽取、抽取哪些数据、如何来抽取(抽取的方式)等参数，具体的抽取配置如下图3所示：包括所要抽取的数据库、数据库中的数据表名称、以及抽取方式(取数类型)等。在实际应用过程中，考虑到消息中间件所支持的消息大小有限，如IBM MQ默认的消息大小限制是4M，本发明对数据的抽取方式提供了全量抽取和增量抽取两种方式。全量抽取是一次性将数据表中所有记录提取出来，这种方式适用于数据量比较小的数据表，如1000条记录以内基础数据表；增量提取是只将数据表中有变化的数据记录提取出来，包括上一次抽取后增加、修改或删除的数据记录，由于中间件支持的消息大小有限，所以增量抽取时也根据每次抽取数据的数量的设定值(上限值)进行数据的多次抽取，例如增量抽取每次提取记录的数量上限默认为1000条，确保增量提取的数据包大小在4M以内。
采用增量抽取方式时，每次增量抽取完需要对最后抽取时间作记录，作为下一次增量抽取的依据，将每次增量抽取完成后的最后抽取时间记录在财政业务数据表的增量抽取记录表FP_EXC_EXPORT_SYNVERSION(表1)中。
表1
为每次增删改打上时间戳是标识每条数据记录最后操作时间的最有效方式，但在业务数据表的设计之初不一定都有时间戳字段，如果财政业务数据表中存在时间戳字段(如图4所示)，则直接对每条数据的最后操作时间进行记录，如果财政业务数据表中不存在时间戳字段，本发明的数据抽取装置提供了一种通用的机制(增量抽取时间戳标识表FP_EXC_EXPORT_SYNLOG)来标识每条数据记录的增删改，通过该标识表来记录增量抽取后财政业务数据表的每条数据的最后操作类型(增加、修改和删除)和最后操作时间，如表2所示。
表2
在增量抽取时对于每个数据表的每个数据记录的最后操作类型的识别方式如下：对于一条财政业务数据，如果财政业务数据表中存在该条数据，而增量抽取时间戳标识表中不存在，则该条数据的操作类型为增加操作，则增量抽取时间戳标识表中生成操作类型为增加(***)的记录，并记录当前装置器的时间(操作时间)；如果增量抽取时间戳标识表中存在该条数据，而财政业务数据表中不存在，则该条数据的操作类型为删除操作。对于修改类型的操作可以通过两种方法来识别，一种方式是采用触发器，为每个数据表编写修改触发器，对数据表记录进行修改时，更新FP_EXC_EXPORT_SYNLOG记录的时间戳，操作时间更新为当前装置器时间，该方法对原有***存在一定风险，另一种方法是通过设定取数条件只抽取特定状态的财政业务数据，例如抽取应用上不再修改的业务数据，如：只抽取终审数据，这时可以通过设置上传数据表的过滤条件(配置项“取数条件”)来规避修改操作的识别，只上传不再修改的业务数据，避免了上传不必要的临时数据或过程数据，提高了效率。如图4中的取数条件check_flag＝1(0为在途审核数据，1为终审数据)表示为仅抽取终审的财政业务数据。
步骤S22：将XML数据包转换为消息格式并通过消息中间件存储和转发；
本发明通过消息中间件实现消息的存储与转发，数据抽取装置2完成财政业务数据的抽取并打包成XML数据包后，SOA财政总线将XML数据包转换成消息格式，收据发送装置3将消息发送到消息中间件中指定的队列中，消息中间件采用中间件队列的形式存储消息，包括下级消息中间件队列和上级消息中间件队列，数据发送装置将消息发送到消息中间件的下级消息中间件队列中，消息中间件在转发消息时将消息从下级消息中间件队列转发到上级消息中间件队列。
步骤S23：数据接收装置接收消息中间件转发的消息并将消息装换成XML数据包；
数据接收装置5接收消息中间件转发的消息，从消息中间件的上级消息中间件队列中获取消息，SOA财政总线将消息转换为XML数据包。
步骤S24：解析XML数据包并将解析的财政数据存储到上级财政业务数据中心。
数据解析装置6根据数据抽取装置将财政业务数据打包成XML数据包时采用的算法的对应算法对XML数据包进行解析，并将解析后的财政业务数据存储到上级财政业务数据中心的财政业务数据表中，作为存储综合查询***基本数据源的数据中心。
本发明实施例是为解决自动采集下级财政业务数据而产生，但是本发明也需要结合不同业务数据表的特点采用不同的抽取配置，对于各级财政部门目前而言，提供了通用的财政业务数据采集工具，可靠地实现财政业务层层自动采集，为财政的综合查询和决策支持打下基础。该***目前已经在中央、吉林、广西、深圳和青海等多个省市财政成功应用。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种下级财政业务数据的采集方法，包括以下步骤：
(1)启动数据抽取装置，根据抽取配置从下级财政业务数据中心抽取需要上传的财政业务数据并打包成XML数据包；抽取配置包括对所要抽取的财政业务数据库、财政业务数据表、财政业务数据以及数据抽取方式的配置；下级财政业务数据中心是指存储业务应用***运行过程中产生的各类业务数据的数据中心；
(2)将XML数据包转换成消息格式，通过消息中间件将消息存储并转发；
(3)数据接收装置接收消息中间件转发的消息，并将消息转换成XML数据包；
(4)对XML数据包进行解析，并将解析后的财政业务数据存储到上级财政业务数据中心的财政业务数据表中；上级财政业务数据中心是指存储综合查询***基本数据源的数据中心。
2.如权利要求1所述的一种下级财政业务数据的采集方法，其特征在于：步骤(1)中，所述数据抽取方式包括全量抽取和增量抽取；
所述全量抽取是指一次性将数据表中所有记录抽取出来；所述增量抽取是指对数据表中有变化的数据记录进行抽取，所述变化包括数据记录的增加、修改和删除。
3.如权利要求2所述的一种下级财政业务数据的采集方法，其特征在于：抽取配置时，如果财政业务数据表中配置有提取增量抽取完成后的最后抽取时间的时间戳字段，将时间戳字段所提取的每次增量抽取完成后的最后抽取时间记录在财政业务数据表的增量抽取记录表中。
4.如权利要求2所述的一种下级财政业务数据的采集方法，其特征在于：如果财政业务数据表中不存在时间戳字段的配置，通过设置增量抽取时间戳标识表来记录增量抽取后财政业务数据表的每条数据的最后操作类型和操作时间；操作类型包括数据的增加、修改和删除。
5.如权利要求3或4所述的一种下级财政业务数据的采集方法，其特征在于：在财政业务数据表的抽取配置中通过配置取数条件来抽取相应的财政数据；取数条件指的是数据的过滤条件。
6.如权利要求4所述的一种下级财政业务数据的采集方法，其特征在于：对于一条财政业务数据，如果财政业务数据表中存在该条数据，而增量抽取时间戳标识表中不存在，则该条数据的操作类型为增加操作；
如果增量抽取时间戳标识表中存在该条数据，而财政业务数据表中不存在，则该条数据的操作类型为删除操作；
通过为财政业务数据表设置修改触发器记录操作类型为修改操作的数据。
7.如权利要求2所述的一种下级财政业务数据的采集方法，其特征在于：增量抽取时根据每次抽取数据的数量的设定值进行数据的多次抽取。
8.一种下级财政业务数据的采集***，包括：
财政业务数据中心：用于存储财政业务数据，包括用于存储业务应用***运行过程中产生的各类业务数据的下级财政业务数据中心，和用于存储综合查询***基本数据源的上级财政业务数据中心；
数据抽取装置：用于根据抽取配置从下级财政业务数据中心抽取需要上传的财政业务数据并打包成XML数据包；抽取配置包括对所要抽取的财政业务数据库、财政业务数据表、财政业务数据以及数据抽取方式的配置；
数据发送装置：用于将转化成消息格式的XML数据包发送到消息中间件；
消息中间件装置：用于存储并转发数据发送装置发送来的消息；
数据接收装置：用于接收消息中间件转发的消息；
数据解析装置：用于解析转化成XML数据包的消息，并将解析后的财政业务数据存储到上级财政业务数据中心；
SOA财政总线装置：用于管理各种应用装置和数据格式的转化；应用装置的管理包括数据抽取装置、数据发送装置、数据接收装置和数据解析装置的注册、编排和调度；数据格式的转化包括将XML数据包转化成消息格式和将消息转化成XML数据包。
9.如权利要求8所述的一种下级财政业务数据的采集***，其特征在于：所述消息中间件装置通过中间件队列的形式存储消息；中间件队列包括下级消息中间件队列和上级消息中间件队列，消息中间件装置在转发消息时将消息从下级消息中间件队列转发到上级消息中间件队列。
10.如权利要求8所述的一种下级财政业务数据的采集***，其特征在于：数据抽取装置按照设定算法将财政业务数据打包成XML数据包，数据解析装置按照与设定算法的对应算法将XML数据包解析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110356957.6A CN102508908B (zh) | 2011-11-11 | 2011-11-11 | 一种下级财政业务数据的采集方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110356957.6A CN102508908B (zh) | 2011-11-11 | 2011-11-11 | 一种下级财政业务数据的采集方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102508908A true CN102508908A (zh) | 2012-06-20 |
| CN102508908B CN102508908B (zh) | 2015-04-08 |
Family
ID=46220994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110356957.6A Active CN102508908B (zh) | 2011-11-11 | 2011-11-11 | 一种下级财政业务数据的采集方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102508908B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855277A (zh) * | 2012-07-23 | 2013-01-02 | 中国联合网络通信集团有限公司 | 数据中心***及数据处理方法 |
| CN103593422A (zh) * | 2013-11-01 | 2014-02-19 | 国云科技股份有限公司 | 一种异构数据库的虚拟访问管理方法 |
| CN104102737A (zh) * | 2014-07-28 | 2014-10-15 | 中国农业银行股份有限公司 | 一种历史数据存储方法和*** |
| CN104361133A (zh) * | 2014-12-10 | 2015-02-18 | 用友软件股份有限公司 | 数据抽取装置和方法 |
| CN104504010A (zh) * | 2014-12-11 | 2015-04-08 | 国云科技股份有限公司 | 一种多对多的数据采集***及其采集方法 |
| CN104809110A (zh) * | 2014-01-23 | 2015-07-29 | 安徽海汇金融投资集团有限公司 | 一种大数据*** |
| CN105630934A (zh) * | 2015-12-23 | 2016-06-01 | 浪潮电子信息产业股份有限公司 | 一种数据统计方法及*** |
| CN105701094A (zh) * | 2014-11-24 | 2016-06-22 | 北京航管科技有限公司 | 一种etl数据采集方法和装置 |
| CN106910122A (zh) * | 2016-12-02 | 2017-06-30 | 四川弘智远大科技有限公司 | 一种政府财政指标管理*** |
| CN107194853A (zh) * | 2017-04-26 | 2017-09-22 | 北京零科技有限公司 | 一种公安业务数据的整合方法和*** |
| CN108255988A (zh) * | 2017-12-28 | 2018-07-06 | 新智数字科技有限公司 | 数据的处理方法和处理*** |
| CN108388615A (zh) * | 2018-02-09 | 2018-08-10 | 杭州数梦工场科技有限公司 | 一种数据交换方法、***以及电子设备 |
| CN109325030A (zh) * | 2018-09-03 | 2019-02-12 | 平安国际融资租赁有限公司 | 报文处理方法、装置、计算机设备和存储介质 |
| CN110134851A (zh) * | 2019-05-05 | 2019-08-16 | 北京科技大学 | 一种基于领域内网的搜索引擎***及构建方法 |
| CN110430200A (zh) * | 2019-08-09 | 2019-11-08 | 甘肃万华金慧科技股份有限公司 | 停车场道闸***数据接入平台*** |
| CN112788074A (zh) * | 2019-11-07 | 2021-05-11 | 中兴通讯股份有限公司 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630247A (zh) * | 2009-08-11 | 2010-01-20 | 东软集团股份有限公司 | 基于bpel数据交换的过程处理方法及处理*** |
| CN102117303A (zh) * | 2009-12-31 | 2011-07-06 | 潘晓梅 | 一种专利数据分析方法和*** |
-
2011
- 2011-11-11 CN CN201110356957.6A patent/CN102508908B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630247A (zh) * | 2009-08-11 | 2010-01-20 | 东软集团股份有限公司 | 基于bpel数据交换的过程处理方法及处理*** |
| CN102117303A (zh) * | 2009-12-31 | 2011-07-06 | 潘晓梅 | 一种专利数据分析方法和*** |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855277A (zh) * | 2012-07-23 | 2013-01-02 | 中国联合网络通信集团有限公司 | 数据中心***及数据处理方法 |
| CN103593422A (zh) * | 2013-11-01 | 2014-02-19 | 国云科技股份有限公司 | 一种异构数据库的虚拟访问管理方法 |
| CN103593422B (zh) * | 2013-11-01 | 2017-02-15 | 国云科技股份有限公司 | 一种异构数据库的虚拟访问管理方法 |
| CN104809110A (zh) * | 2014-01-23 | 2015-07-29 | 安徽海汇金融投资集团有限公司 | 一种大数据*** |
| CN104102737B (zh) * | 2014-07-28 | 2018-01-30 | 中国农业银行股份有限公司 | 一种历史数据存储方法和*** |
| CN104102737A (zh) * | 2014-07-28 | 2014-10-15 | 中国农业银行股份有限公司 | 一种历史数据存储方法和*** |
| CN105701094A (zh) * | 2014-11-24 | 2016-06-22 | 北京航管科技有限公司 | 一种etl数据采集方法和装置 |
| CN105701094B (zh) * | 2014-11-24 | 2019-03-19 | 北京航管科技有限公司 | 一种etl数据采集方法和装置 |
| CN104361133A (zh) * | 2014-12-10 | 2015-02-18 | 用友软件股份有限公司 | 数据抽取装置和方法 |
| CN104361133B (zh) * | 2014-12-10 | 2019-06-21 | 用友网络科技股份有限公司 | 数据抽取装置和方法 |
| CN104504010A (zh) * | 2014-12-11 | 2015-04-08 | 国云科技股份有限公司 | 一种多对多的数据采集***及其采集方法 |
| CN104504010B (zh) * | 2014-12-11 | 2017-08-01 | 国云科技股份有限公司 | 一种多对多的数据采集***及其采集方法 |
| CN105630934A (zh) * | 2015-12-23 | 2016-06-01 | 浪潮电子信息产业股份有限公司 | 一种数据统计方法及*** |
| CN106910122A (zh) * | 2016-12-02 | 2017-06-30 | 四川弘智远大科技有限公司 | 一种政府财政指标管理*** |
| CN107194853A (zh) * | 2017-04-26 | 2017-09-22 | 北京零科技有限公司 | 一种公安业务数据的整合方法和*** |
| CN108255988A (zh) * | 2017-12-28 | 2018-07-06 | 新智数字科技有限公司 | 数据的处理方法和处理*** |
| CN110309218B (zh) * | 2018-02-09 | 2021-07-30 | 杭州数梦工场科技有限公司 | 一种数据交换***和数据写入方法 |
| CN108388615A (zh) * | 2018-02-09 | 2018-08-10 | 杭州数梦工场科技有限公司 | 一种数据交换方法、***以及电子设备 |
| CN108388615B (zh) * | 2018-02-09 | 2019-07-23 | 杭州数梦工场科技有限公司 | 一种数据交换方法、***以及电子设备 |
| CN110309218A (zh) * | 2018-02-09 | 2019-10-08 | 杭州数梦工场科技有限公司 | 一种数据交换***和数据写入方法 |
| CN109325030A (zh) * | 2018-09-03 | 2019-02-12 | 平安国际融资租赁有限公司 | 报文处理方法、装置、计算机设备和存储介质 |
| CN109325030B (zh) * | 2018-09-03 | 2023-08-18 | 平安国际融资租赁有限公司 | 报文处理方法、装置、计算机设备和存储介质 |
| CN110134851A (zh) * | 2019-05-05 | 2019-08-16 | 北京科技大学 | 一种基于领域内网的搜索引擎***及构建方法 |
| CN110134851B (zh) * | 2019-05-05 | 2021-10-15 | 北京科技大学 | 一种基于领域内网的搜索引擎***及构建方法 |
| CN110430200A (zh) * | 2019-08-09 | 2019-11-08 | 甘肃万华金慧科技股份有限公司 | 停车场道闸***数据接入平台*** |
| CN112788074A (zh) * | 2019-11-07 | 2021-05-11 | 中兴通讯股份有限公司 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
| CN112788074B (zh) * | 2019-11-07 | 2024-05-31 | 中兴通讯股份有限公司 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102508908B (zh) | 2015-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102508908A (zh) | 一种下级财政业务数据的采集方法和*** | |
| CN101609610B (zh) | 一种航班信息数据采集器及其处理方法 | |
| CN104104738B (zh) | 一种基于ftp的数据交换*** | |
| CN102693324B (zh) | 一种分布式数据库同步***、同步方法和节点管理方法 | |
| CN102970158B (zh) | 日志存储与处理的方法及日志服务器 | |
| CN103559217B (zh) | 一种面向异构数据库的海量组播数据入库实现方法 | |
| CN102508886B (zh) | 一种基于xml的空间数据增量同步更新方法 | |
| CN103235820B (zh) | 一种集群***中数据存储方法与装置 | |
| CN107945086A (zh) | 一种应用于智慧城市的大数据资源管理*** | |
| CN106599104A (zh) | 一种基于redis集群的海量数据关联方法 | |
| CN206249316U (zh) | 一种基于云端的医院数据中心平台*** | |
| CN104111996A (zh) | 基于hadoop平台的医保门诊大数据抽取***及方法 | |
| CN104156832A (zh) | ***间数据核对方法及装置 | |
| CN105512201A (zh) | 数据收集和加工方法及装置 | |
| CN101436207A (zh) | 一种基于日志快照的数据恢复和同步方法 | |
| CN104298760A (zh) | 一种应用于数据仓库的数据处理方法和数据处理装置 | |
| CN108228755A (zh) | 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法 | |
| CN103516802A (zh) | 一种实现跨异构虚拟交换机无缝迁移的方法和装置 | |
| CN102841927A (zh) | 多数据库之间数据交互的方法装置及分布式数据交互*** | |
| CN104268143A (zh) | Xml数据的处理方法和装置 | |
| CN103379140A (zh) | 一种日志处理规则同步方法及相关设备和*** | |
| CN102521232A (zh) | 一种互联网元数据的分布式采集处理***及方法 | |
| CN103825918B (zh) | 数据同步方法、终端设备、服务器和*** | |
| CN107302569A (zh) | 一种面向云平台的安全监控数据采集与存储方法 | |
| CN102480489A (zh) | 一种用于分布式环境下的日志记录方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100094 2F, building 11, UFIDA Software Park, 68 Beiqing Road, Haidian District, Beijing Patentee after: Beijing UYU Government Software Co.,Ltd. Address before: 100094 2F, building 11, UFIDA Software Park, 68 Beiqing Road, Haidian District, Beijing Patentee before: YONYOU GOVERNMENT AFFAIRS SOFTWARE Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |