CN106250444A - 一种异构数据源的实时入库***及方法 - Google Patents
一种异构数据源的实时入库***及方法 Download PDFInfo
- Publication number
- CN106250444A CN106250444A CN201610600065.9A CN201610600065A CN106250444A CN 106250444 A CN106250444 A CN 106250444A CN 201610600065 A CN201610600065 A CN 201610600065A CN 106250444 A CN106250444 A CN 106250444A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- data source
- heterogeneous
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
公开一种异构数据源的实时入库***，其能够实现异构数据源的热插拔，可以任意添加或者减少数据源的配置，根据配置数据自动实时入库，并且在分布式***的基础上实现了异构***之间的数据同步过程。该***包括：数据采集模块，其配置来对于每个经过AES加密的数据源批次，启动多个子任务并行采集；并配置来使数据接入层支持任务的停启、以及回溯和断点续传；数据传输模块，其配置为一个基于分布式架构的定制化数据通道；数据解析模块，其配置为一个基于分布式架构的流式计算集群，以便完成实时抽取、转换、加载ETL过程；数据存储模块，其配置为根据数据源名称和时间标识，生成数据分区，选择存储介质的流向。还有方法。
Description
技术领域
本发明属于大数据处理的技术领域，具体地涉及一种异构数据源的实时入库***及方法。
背景技术
现有技术中，例如，中国专利“一种异构数据源高效数据同步方法”(专利申请号2015108101397)，中国专利“异构数据源实时同步***及方法”(专利申请号2015102411686)，均给出了两个异构的数据源之间相互同步数据的技术方案。
但是，现有技术方案只解决了数据库***两两之间相互交换数据的问题，没有解决异构***之间的数据交换；数据同步都是单机***行为，不是分布式***，无法支持海量数据同步。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种异构数据源的实时入库***，其能够实现异构数据源的热插拔，可以任意添加或者减少数据源的配置，根据配置数据自动实时入库，并且在分布式***的基础上实现了异构***之间的数据同步过程。
本发明的技术解决方案是：这种异构数据源的实时入库***，该***包括：
数据采集模块，其配置来对于每个经过AES加密的数据源批次，启动多个子任务并行采集；并配置来使数据接入层支持任务的停启、以及回溯和断点续传；
数据传输模块，其配置为一个基于分布式架构的定制化数据通道；
数据解析模块，其配置为一个基于分布式架构的流式计算集群，以便完成实时抽取、转换、加载ETL过程；
数据存储模块，其配置为根据数据源名称和时间标识，生成数据分区，选择存储介质的流向。
本发明通过数据采集模块拉取数据，通过数据传输模块透传数据，并记录数据量，通过数据解析模块根据配置文件中的内容来解析数据源，通过数据存储模块把解析后的数据存储到存储介质中，因此能够实现异构数据源的热插拔，可以任意添加或者减少数据源的配置，根据配置数据自动实时入库，并且在分布式***的基础上实现了异构***之间的数据同步过程。
还提供了一种异构数据源的实时入库方法，该方法包括以下步骤：
(1)对于每个经过AES加密的数据源批次，启动多个子任务并行采集；并配置来使数据接入层支持任务的停启、以及回溯和断点续传；
(2)通过一个基于分布式架构的定制化数据通道进行数据传输；
(3)通过一个基于分布式架构的流式计算集群进行数据的实时抽取、转换、加载；
(4)根据数据源名称和时间标识，生成数据分区，选择存储介质的流向。
附图说明
图1示出了根据本发明的异构数据源的实时入库***的结构示意图。
具体实施方式
如图1所示，这种异构数据源的实时入库***，该***包括：
数据采集模块，其配置来对于每个经过AES(Advanced Encryption Standard，高级加密标准，在密码学中又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准)加密的数据源批次，启动多个子任务并行采集；并配置来使数据接入层支持任务的停启、以及回溯和断点续传；
数据传输模块，其配置为一个基于分布式架构的定制化数据通道；
数据解析模块，其配置为一个基于分布式架构的流式计算集群，以便完成实时抽取、转换、加载ETL过程；ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程；
ETL 一词较常用在数据仓库，但其对象并不限于数据仓库；
数据存储模块，其配置为根据数据源名称和时间标识，生成数据分区，选择存储介质的流向。
本发明通过数据采集模块拉取数据，通过数据传输模块透传数据，并记录数据量，通过数据解析模块根据配置文件中的内容来解析数据源，通过数据存储模块把解析后的数据存储到存储介质中，因此能够实现异构数据源的热插拔，可以任意添加或者减少数据源的配置，根据配置数据自动实时入库，并且在分布式***的基础上实现了异构***之间的数据同步过程。
另外，所述数据传输模块，其还配置来把数据接入层与数据解析模块解耦，提供数据缓冲和数据归档。
另外，所述数据传输模块的数据缓冲时间为一周，数据归档为永久存储，当然也可以设置为其它时间。
另外，所述数据解析模块，首先完成对数据的高级加密标准AES的解密；其次进行与异构数据源相匹配的解析算法，对数据做结构化和归一化处理，并清洗出异常数据。
另外，所述数据存储模块，其还配置为根据数据总量和延迟时间来判定分区数据是否结束，数据入库之后对外提供在线分析和离线交互式查询服务。
另外，所述存储介质为Hadoop分布式文件***HDFS、开源数据库HBASE或事务数据库ES。
还提供了一种异构数据源的实时入库方法，该方法包括以下步骤：
(1)对于每个经过AES加密的数据源批次，启动多个子任务并行采集；并配置来使数据接入层支持任务的停启、以及回溯和断点续传；
(2)通过一个基于分布式架构的定制化数据通道进行数据传输；
(3)通过一个基于分布式架构的流式计算集群进行数据的实时抽取、转换、加载；
(4)根据数据源名称和时间标识，生成数据分区，选择存储介质的流向。
当然，在步骤(1)之前，还需要配置数据源节点，包括数据源的IP，端口，存储结构，以及最大访问速度。
另外，所述步骤(2)中，把数据接入层与数据解析模块解耦，提供数据缓冲和数据归档。
另外，所述步骤(3)中，首先完成对数据的高级加密标准AES的解密；其次进行与异构数据源相匹配的解析算法，对数据做结构化和归一化处理，并清洗出异常数据。
另外，所述步骤(4)中，根据数据总量和延迟时间来判定分区数据是否结束，数据入库之后对外提供在线分析和离线交互式查询服务。
本发明的有益效果如下：
1.数据源的增减可配置化；
2.基于分布式的数据同步，效率更高；
3.异构的数据***之间数据同步，更具有数据交换的普遍意义；
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (10)
1.一种异构数据源的实时入库***，其特征在于：该***包括：
数据采集模块，其配置来对于每个经过AES加密的数据源批次，启动多个子任务并行采集；并配置来使数据接入层支持任务的停启、以及回溯和断点续传；
数据传输模块，其配置为一个基于分布式架构的定制化数据通道；
数据解析模块，其配置为一个基于分布式架构的流式计算集群，以便完成实时抽取、转换、加载ETL过程；
数据存储模块，其配置为根据数据源名称和时间标识，生成数据分区，选择存储介质的流向。
2.根据权利要求1所述的异构数据源的实时入库***，其特征在于：所述数据传输模块，其还配置来把数据接入层与数据解析模块解耦，提供数据缓冲和数据归档。
3.根据权利要求2所述的异构数据源的实时入库***，其特征在于：所述数据传输模块的数据缓冲时间为一周，数据归档为永久存储。
4.根据权利要求2或3所述的异构数据源的实时入库***，其特征在于：所述数据解析模块，首先完成对数据的高级加密标准AES的解密；其次进行与异构数据源相匹配的解析算法，对数据做结构化和归一化处理，并清洗出异常数据。
5.根据权利要求4所述的异构数据源的实时入库***，其特征在于：所述数据存储模块，其还配置为根据数据总量和延迟时间来判定分区数据是否结束，数据入库之后对外提供在线分析和离线交互式查询服务。
6.根据权利要求5所述的异构数据源的实时入库***，其特征在于：所述存储介质为Hadoop分布式文件***HDFS、开源数据库HBASE或事务数据库ES。
7.一种异构数据源的实时入库方法，其特征在于：该方法包括以下步骤：
(1)对于每个经过AES加密的数据源批次，启动多个子任务并行采集；并配置来使数据接入层支持任务的停启、以及回溯和断点续传；
(2)通过一个基于分布式架构的定制化数据通道进行数据传输；
(3)通过一个基于分布式架构的流式计算集群进行数据的实时抽取、转换、加载；
(4)根据数据源名称和时间标识，生成数据分区，选择存储介质的流向。
8.根据权利要求7所述的异构数据源的实时入库方法，其特征在于：所述步骤(2)中，把数据接入层与数据解析模块解耦，提供数据缓冲和数据归档。
9.根据权利要求8所述的异构数据源的实时入库方法，其特征在于：所述步骤(3)中，首先完成对数据的高级加密标准AES的解密；其次进行与异构数据源相匹配的解析算法，对数据做结构化和归一化处理，并清洗出异常数据。
10.根据权利要求9所述的异构数据源的实时入库方法，其特征在于：所述步骤(4)中，根据数据总量和延迟时间来判定分区数据是否结束，数据入库之后对外提供在线分析和离线交互式查询服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610600065.9A CN106250444A (zh) | 2016-07-27 | 2016-07-27 | 一种异构数据源的实时入库***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610600065.9A CN106250444A (zh) | 2016-07-27 | 2016-07-27 | 一种异构数据源的实时入库***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106250444A true CN106250444A (zh) | 2016-12-21 |
Family
ID=57604294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610600065.9A Pending CN106250444A (zh) | 2016-07-27 | 2016-07-27 | 一种异构数据源的实时入库***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106250444A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108459919A (zh) * | 2018-03-29 | 2018-08-28 | 中信百信银行股份有限公司 | 一种分布式事务处理方法及装置 |
| CN108804533A (zh) * | 2018-05-04 | 2018-11-13 | 佛山科学技术学院 | 一种异构大数据信息的过滤方法及装置 |
| CN109246073A (zh) * | 2018-07-04 | 2019-01-18 | 杭州数云信息技术有限公司 | 一种数据流处理***及其方法 |
| CN109271435A (zh) * | 2018-09-14 | 2019-01-25 | 南威软件股份有限公司 | 一种支持断点续传的数据抽取方法及*** |
| CN109815292A (zh) * | 2019-01-03 | 2019-05-28 | 广州中软信息技术有限公司 | 一种基于异步消息机制的涉税数据采集*** |
| CN110309108A (zh) * | 2019-05-08 | 2019-10-08 | 江苏满运软件科技有限公司 | 数据采集及储存方法、装置、电子设备、存储介质 |
| CN111026535A (zh) * | 2019-12-12 | 2020-04-17 | 成都九洲电子信息***股份有限公司 | 一种非标准化的热插拔式数据批量处理方法 |
| WO2020215532A1 (zh) * | 2019-04-26 | 2020-10-29 | 厦门市美亚柏科信息股份有限公司 | 一种异构数据库之间数据同步的***、方法、存储介质 |
| CN112015799A (zh) * | 2020-10-20 | 2020-12-01 | 平安国际智慧城市科技股份有限公司 | Etl任务执行方法、装置、计算机设备及存储介质 |
| CN113239081A (zh) * | 2021-05-21 | 2021-08-10 | 瀚云科技有限公司 | 一种流式数据计算方法 |
| CN113377863A (zh) * | 2020-03-10 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN113688116A (zh) * | 2020-05-19 | 2021-11-23 | 长鑫存储技术有限公司 | 数据展示***、方法、设备及计算机可读存储介质 |
| CN115186020A (zh) * | 2022-07-15 | 2022-10-14 | 深圳安巽科技有限公司 | 一种数据接入存储处理方法、***及存储介质 |
| US11983224B2 (en) | 2020-05-19 | 2024-05-14 | Changxin Memory Technologies, Inc. | Data presentation system, method and device, and computer-readable storage medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090063453A1 (en) * | 2007-08-29 | 2009-03-05 | International Business Machines Corporation | Apparatus, system, and method for executing a distributed spatial data query |
| CN101957865A (zh) * | 2010-10-27 | 2011-01-26 | 杭州新中大软件股份有限公司 | 一种异构***间数据交换与共享技术 |
| CN102938731A (zh) * | 2012-11-22 | 2013-02-20 | 北京锐易特软件技术有限公司 | 一种基于代理缓存适配模型的交换集成装置及方法 |
| CN104699723A (zh) * | 2013-12-10 | 2015-06-10 | 北京神州泰岳软件股份有限公司 | 数据交换适配器、异构***之间数据同步***和方法 |
| CN105243155A (zh) * | 2015-10-29 | 2016-01-13 | 贵州电网有限责任公司电力调度控制中心 | 一种大数据抽取和交换*** |
| CN105677836A (zh) * | 2016-01-05 | 2016-06-15 | 北京汇商融通信息技术有限公司 | 一种同时支持离线数据和实时在线数据的大数据处理解决*** |
-
2016
- 2016-07-27 CN CN201610600065.9A patent/CN106250444A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090063453A1 (en) * | 2007-08-29 | 2009-03-05 | International Business Machines Corporation | Apparatus, system, and method for executing a distributed spatial data query |
| CN101957865A (zh) * | 2010-10-27 | 2011-01-26 | 杭州新中大软件股份有限公司 | 一种异构***间数据交换与共享技术 |
| CN102938731A (zh) * | 2012-11-22 | 2013-02-20 | 北京锐易特软件技术有限公司 | 一种基于代理缓存适配模型的交换集成装置及方法 |
| CN104699723A (zh) * | 2013-12-10 | 2015-06-10 | 北京神州泰岳软件股份有限公司 | 数据交换适配器、异构***之间数据同步***和方法 |
| CN105243155A (zh) * | 2015-10-29 | 2016-01-13 | 贵州电网有限责任公司电力调度控制中心 | 一种大数据抽取和交换*** |
| CN105677836A (zh) * | 2016-01-05 | 2016-06-15 | 北京汇商融通信息技术有限公司 | 一种同时支持离线数据和实时在线数据的大数据处理解决*** |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108459919A (zh) * | 2018-03-29 | 2018-08-28 | 中信百信银行股份有限公司 | 一种分布式事务处理方法及装置 |
| CN108459919B (zh) * | 2018-03-29 | 2022-04-15 | 中信百信银行股份有限公司 | 一种分布式事务处理方法及装置 |
| CN108804533B (zh) * | 2018-05-04 | 2021-11-30 | 佛山科学技术学院 | 一种异构大数据信息的过滤方法及装置 |
| CN108804533A (zh) * | 2018-05-04 | 2018-11-13 | 佛山科学技术学院 | 一种异构大数据信息的过滤方法及装置 |
| CN109246073A (zh) * | 2018-07-04 | 2019-01-18 | 杭州数云信息技术有限公司 | 一种数据流处理***及其方法 |
| CN109271435A (zh) * | 2018-09-14 | 2019-01-25 | 南威软件股份有限公司 | 一种支持断点续传的数据抽取方法及*** |
| CN109271435B (zh) * | 2018-09-14 | 2022-03-04 | 南威软件股份有限公司 | 一种支持断点续传的数据抽取方法及*** |
| CN109815292A (zh) * | 2019-01-03 | 2019-05-28 | 广州中软信息技术有限公司 | 一种基于异步消息机制的涉税数据采集*** |
| WO2020215532A1 (zh) * | 2019-04-26 | 2020-10-29 | 厦门市美亚柏科信息股份有限公司 | 一种异构数据库之间数据同步的***、方法、存储介质 |
| CN110309108A (zh) * | 2019-05-08 | 2019-10-08 | 江苏满运软件科技有限公司 | 数据采集及储存方法、装置、电子设备、存储介质 |
| CN111026535A (zh) * | 2019-12-12 | 2020-04-17 | 成都九洲电子信息***股份有限公司 | 一种非标准化的热插拔式数据批量处理方法 |
| CN111026535B (zh) * | 2019-12-12 | 2023-03-21 | 成都九洲电子信息***股份有限公司 | 一种非标准化的热插拔式数据批量处理方法 |
| CN113377863A (zh) * | 2020-03-10 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN113377863B (zh) * | 2020-03-10 | 2022-04-29 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
| CN113688116A (zh) * | 2020-05-19 | 2021-11-23 | 长鑫存储技术有限公司 | 数据展示***、方法、设备及计算机可读存储介质 |
| US11983224B2 (en) | 2020-05-19 | 2024-05-14 | Changxin Memory Technologies, Inc. | Data presentation system, method and device, and computer-readable storage medium |
| CN112015799A (zh) * | 2020-10-20 | 2020-12-01 | 平安国际智慧城市科技股份有限公司 | Etl任务执行方法、装置、计算机设备及存储介质 |
| CN113239081A (zh) * | 2021-05-21 | 2021-08-10 | 瀚云科技有限公司 | 一种流式数据计算方法 |
| CN115186020A (zh) * | 2022-07-15 | 2022-10-14 | 深圳安巽科技有限公司 | 一种数据接入存储处理方法、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106250444A (zh) | 一种异构数据源的实时入库***及方法 | |
| US10949447B2 (en) | Blockchain-based data synchronizing and data block parsing method and device | |
| JP6716727B2 (ja) | ストリーミングデータ分散処理方法及び装置 | |
| CN110674154B (zh) | 一种基于Spark的对Hive中数据进行***、更新和删除的方法 | |
| WO2016022492A1 (en) | Account processing method and apparatus | |
| EP3321821B1 (en) | Big data exchange method and device | |
| CN103984745A (zh) | 分布式视频垂直搜索方法及*** | |
| CN105045856A (zh) | 一种基于Hadoop的大数据遥感卫星数据处理*** | |
| CN103516802A (zh) | 一种实现跨异构虚拟交换机无缝迁移的方法和装置 | |
| CN108235069A (zh) | 网络电视日志的处理方法及装置 | |
| CN106375360B (zh) | 一种图数据更新方法、装置及*** | |
| CN103618733A (zh) | 一种应用于移动互联网的数据过滤***及方法 | |
| CN102609464A (zh) | Mongodb分片联表查询方法及装置 | |
| CN104572505A (zh) | 一种保证海量数据缓存最终一致性的***及方法 | |
| CN113900810A (zh) | 分布式图处理方法、***及存储介质 | |
| WO2017173978A1 (zh) | 一种大数据交换方法及装置、*** | |
| CN116467081A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
| US10853367B1 (en) | Dynamic prioritization of attributes to determine search space size of each term, then index on those sizes as attributes | |
| CN105681199A (zh) | 一种车载总线中报文数据的处理方法及装置 | |
| CN105337850A (zh) | 一种物联网数据处理方法及物联网网关 | |
| CN111538772A (zh) | 数据的交换处理方法、装置、电子设备及存储介质 | |
| CN106161056B (zh) | 周期型数据的分布式缓存运维方法及装置 | |
| Chen et al. | Big data generation and acquisition | |
| CN116186053A (zh) | 一种数据处理方法、装置及存储介质 | |
| CN102427405A (zh) | 话单关联方法、***以及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161221 |