CN106227862A - 基于分布式的电商数据整合方法 - Google Patents
基于分布式的电商数据整合方法 Download PDFInfo
- Publication number
- CN106227862A CN106227862A CN201610610369.3A CN201610610369A CN106227862A CN 106227862 A CN106227862 A CN 106227862A CN 201610610369 A CN201610610369 A CN 201610610369A CN 106227862 A CN106227862 A CN 106227862A
- Authority
- CN
- China
- Prior art keywords
- data
- extraction
- electricity
- configuration
- electricity quotient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000010354 integration Effects 0.000 title claims abstract description 13
- 238000009826 distribution Methods 0.000 title claims description 3
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000013075 data extraction Methods 0.000 claims abstract description 3
- 238000003860 storage Methods 0.000 claims abstract description 3
- 230000005611 electricity Effects 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 14
- 230000005012 migration Effects 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 241001269238 Data Species 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000005194 fractionation Methods 0.000 claims description 2
- 230000008676 import Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000010977 unit operation Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于分布式的电商数据整合方法，属于数据整合、数据分布式存储领域，步骤1：配置数据抽取过程，步骤2：配置任务流程的过程，步骤3：配置数据转换，步骤4：配置装载数据，按计划增量或者全部导入数据仓库。步骤5：设定日志输出路径。本发明解决了大数据量、意同形不同、字段转换、任务执行流程等整合的问题。
Description
技术领域
本发明涉及数据整合、数据分布式存储技术，尤其涉及一种基于分布式的电商数据整合方法。
背景技术
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用***的规模迅速扩大，行业应用所产生的数据呈***性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息***的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。IDC发布的报告预测，中国大数据技术与服务市场规模将从2011年的7760万美元增长到2016年的6.17亿美元，5年的复合增长率达51.4%。目前数据的作用已经越来越重要了，数据的重要程度已经高于物质资产和人力资本。而如今，企业每天都在生产海量的数据，其中非结构化的数据信息达到85%左右，传统的信息资源管理技术只能应对结构化数据，通过大数据技术，可以将原本毫无头绪的信息数据编织在一起。
发明内容
为了解决以上问题，本发明提出了一种基于分布式的电商数据整合方法，解决了大数据量、意同形不同、字段转换、任务执行流程等整合的问题。
本发明的技术方案是：
一种基于分布式的电商数据整合方法，
具体步骤如下：
步骤1：配置数据抽取过程，包括抽取方式（增量、全量），选择抽取任务，配置抽取规则，配置存储路径等。
步骤2：配置任务流程的过程，包括执行时间，是否重复，判断条件，执行脚本，执行文件，过程加密等。
步骤3：配置数据转换，包括数据库连接，节点连接，数据分区，子服务器，hadoop配置。
步骤4：配置装载数据，按计划增量或者全部导入数据仓库。
步骤5：设定日志输出路径。
步骤6：设置事件提醒。
电商数据整合是数据抽取、转换、装载的过程，将电商数据规整，清洗去重，迁移等，具体包括：
1）、电商数据的抽取；先将采集电商的非结构化数据保存到kafka，然后通过flumn聚合到hdfs里，最后根据采集电商的任务ID，进行规则配置，方法有：正则法则、xpath、自定义插件，将抽取的数据保存到hbase中，并优化key键；
2）、电商数据的转换；将抽取的电商数据，通过hive进行外部关联，进行字段的重整，表关联；将不同电商平台的数据，通过定义好的规则，进行数据拆分，合并；
3）、电商数据的装载；将转换好的数据选择好增量还是全量进行迁移到数据仓库中，并设置好工作流程，将结果保存到日志，将异常抛给管理员。
将电商数据在不同库中进行迁移，就是将这些历史数据进行清洗、转换，并装载到新库中的过程；不同库之间的数据迁移不同于从生产***OLTP到数据仓库DW的数据抽取。后者主要将生产***在上次抽取后所发生的数据变化同步到数据仓库，这种同步在每个抽取周期都进行，一般以天为单位。而数据迁移是将需要的历史数据一次或几次转换到新的生产***，其最主要的特点是需要在短时间内完成大批量数据的抽取、清洗和装载。
将电商数据进行结构化抽取。
将电商数据整合作为一个工作流，进行步骤化操作。
将转化好的数据保存到数据仓库中。
数据迁移后校验。在数据迁移完成后，需要对迁移后的数据进行校验，也是对迁移质量的检查。
可以单机运行，也可以放在服务器分布式执行。
数据过程中的日志、异常提醒等。主要目的是将采集下来的非结构化的电商数据抽取、整合成有价值的结构化数据。
本发明的有益效果是：
1.在理解源数据的基础上实现数据表属性一致化，对不同表的属性名根据其含义重新定义其在数据库中的名字，并转换规则的形式存放在元数据库中。
2.通过数据缩减，大幅度缩小数据量。
3.通过预先设定数据处理的可视化功能节点，达到可视化的进行数据清洗和数据转换。
4.方便维护历史的数据整合语句。
附图说明
图1是本发明的流程结构图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
由于以分布式的方式进行数据抽取、转换，要进行以下几步部署：
第一步，配置结构化数据库连接。
第二步，配置hadoop clusters。
第三步，配置子服务器，并在子服务器安装数据整合软件。
第四步，配置日志输出路径。
第五步，配置预警通知。
Claims (3)
1.基于分布式的电商数据整合方法，其特征在于
具体步骤如下：
步骤1：配置数据抽取过程，包括抽取方式，选择抽取任务，配置抽取规则，配置存储路径；
步骤2：配置任务流程的过程，包括执行时间，是否重复，判断条件，执行脚本，执行文件，过程加密；
步骤3：配置数据转换，包括数据库连接，节点连接，数据分区，子服务器，hadoop配置；
步骤4：配置装载数据，按计划增量或者全部导入数据仓库；
步骤5：设定日志输出路径；
步骤6：设置事件提醒。
2.根据权利要求1所述的方法，其特征在于，
将电商数据规整，清洗去重，迁移，包括
1）、电商数据的抽取；先将采集电商的非结构化数据保存到kafka，然后通过flumn聚合到hdfs里，最后根据采集电商的任务ID，进行规则配置，方法有：正则法则、xpath、自定义插件，将抽取的数据保存到hbase中，并优化key键；
2）、电商数据的转换；将抽取的电商数据，通过hive进行外部关联，进行字段的重整，表关联；将不同电商平台的数据，通过定义好的规则，进行数据拆分，合并；
3）、电商数据的装载；将转换好的数据选择好增量还是全量进行迁移到数据仓库中，并设置好工作流程，将结果保存到日志，将异常抛给管理员。
3.根据权利要求2所述的方法，其特征在于，
将电商数据在不同库中进行迁移，就是将这些历史数据进行清洗、转换，并装载到新库中的过程；不同库之间的数据迁移不同于从生产***OLTP到数据仓库DW的数据抽取；后者主要将生产***在上次抽取后所发生的数据变化同步到数据仓库，这种同步在每个抽取周期都进行，一般以天为单位；
将电商数据进行结构化抽取；
将电商数据整合作为一个工作流，进行步骤化操作；
将转化好的数据保存到数据仓库中；
数据迁移后校验，在数据迁移完成后，需要对迁移后的数据进行校验，也是对迁移质量的检查；
可以单机运行，也可以放在服务器分布式执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610610369.3A CN106227862A (zh) | 2016-07-29 | 2016-07-29 | 基于分布式的电商数据整合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610610369.3A CN106227862A (zh) | 2016-07-29 | 2016-07-29 | 基于分布式的电商数据整合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106227862A true CN106227862A (zh) | 2016-12-14 |
Family
ID=57536639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610610369.3A Pending CN106227862A (zh) | 2016-07-29 | 2016-07-29 | 基于分布式的电商数据整合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106227862A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599244A (zh) * | 2016-12-20 | 2017-04-26 | 飞狐信息技术（天津）有限公司 | 通用的原始日志清洗装置及方法 |
| CN107301214A (zh) * | 2017-06-09 | 2017-10-27 | 广州虎牙信息科技有限公司 | 在hive中数据迁移方法、装置及终端设备 |
| CN107463664A (zh) * | 2017-08-01 | 2017-12-12 | 山东浪潮云服务信息科技有限公司 | 一种基于政务数据采集的etl处理方法及装置 |
| CN107657049A (zh) * | 2017-09-30 | 2018-02-02 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理方法 |
| CN108038201A (zh) * | 2017-12-12 | 2018-05-15 | 无锡华云数据技术服务有限公司 | 一种数据整合***及其分布式数据整合*** |
| CN108038140A (zh) * | 2017-11-23 | 2018-05-15 | 广东岭南通股份有限公司 | 交通一卡通交易数据全量查重方法及*** |
| CN108205531A (zh) * | 2016-12-16 | 2018-06-26 | 北京京东尚科信息技术有限公司 | 数据抽取方法和数据抽取*** |
| CN108563665A (zh) * | 2018-01-05 | 2018-09-21 | 成都兴政电子政务运营服务有限公司 | 一种基于大数据技术的数据处理***及方法 |
| CN111428132A (zh) * | 2020-03-18 | 2020-07-17 | 腾讯科技（深圳）有限公司 | 数据的校验方法及装置、计算机存储介质、电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521246A (zh) * | 2011-11-11 | 2012-06-27 | 国网信息通信有限公司 | 一种云数据仓库*** |
| US20130013552A1 (en) * | 2011-07-07 | 2013-01-10 | Platfora, Inc. | Interest-Driven Business Intelligence Systems and Methods of Data Analysis Using Interest-Driven Data Pipelines |
| CN104317928A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于分布式数据库的业务etl方法及*** |
| CN104572895A (zh) * | 2014-12-24 | 2015-04-29 | 天津南大通用数据技术股份有限公司 | MPP数据库与Hadoop集群数据互通方法、工具及实现方法 |
| CN104933112A (zh) * | 2015-06-04 | 2015-09-23 | 浙江力石科技股份有限公司 | 分布式互联网交易信息存储处理方法 |
| CN105512201A (zh) * | 2015-11-26 | 2016-04-20 | 晶赞广告（上海）有限公司 | 数据收集和加工方法及装置 |
| CN105760505A (zh) * | 2016-02-23 | 2016-07-13 | 浪潮软件集团有限公司 | 基于hive的历史数据分析及存档方法 |
-
2016
- 2016-07-29 CN CN201610610369.3A patent/CN106227862A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130013552A1 (en) * | 2011-07-07 | 2013-01-10 | Platfora, Inc. | Interest-Driven Business Intelligence Systems and Methods of Data Analysis Using Interest-Driven Data Pipelines |
| CN102521246A (zh) * | 2011-11-11 | 2012-06-27 | 国网信息通信有限公司 | 一种云数据仓库*** |
| CN104317928A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于分布式数据库的业务etl方法及*** |
| CN104572895A (zh) * | 2014-12-24 | 2015-04-29 | 天津南大通用数据技术股份有限公司 | MPP数据库与Hadoop集群数据互通方法、工具及实现方法 |
| CN104933112A (zh) * | 2015-06-04 | 2015-09-23 | 浙江力石科技股份有限公司 | 分布式互联网交易信息存储处理方法 |
| CN105512201A (zh) * | 2015-11-26 | 2016-04-20 | 晶赞广告（上海）有限公司 | 数据收集和加工方法及装置 |
| CN105760505A (zh) * | 2016-02-23 | 2016-07-13 | 浪潮软件集团有限公司 | 基于hive的历史数据分析及存档方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205531A (zh) * | 2016-12-16 | 2018-06-26 | 北京京东尚科信息技术有限公司 | 数据抽取方法和数据抽取*** |
| CN106599244A (zh) * | 2016-12-20 | 2017-04-26 | 飞狐信息技术（天津）有限公司 | 通用的原始日志清洗装置及方法 |
| CN106599244B (zh) * | 2016-12-20 | 2024-01-05 | 飞狐信息技术（天津）有限公司 | 通用的原始日志清洗装置及方法 |
| CN107301214A (zh) * | 2017-06-09 | 2017-10-27 | 广州虎牙信息科技有限公司 | 在hive中数据迁移方法、装置及终端设备 |
| CN107301214B (zh) * | 2017-06-09 | 2020-08-28 | 广州虎牙信息科技有限公司 | 在hive中数据迁移方法、装置及终端设备 |
| CN107463664A (zh) * | 2017-08-01 | 2017-12-12 | 山东浪潮云服务信息科技有限公司 | 一种基于政务数据采集的etl处理方法及装置 |
| CN107657049A (zh) * | 2017-09-30 | 2018-02-02 | 深圳市华傲数据技术有限公司 | 一种基于数据仓库的数据处理方法 |
| CN108038140A (zh) * | 2017-11-23 | 2018-05-15 | 广东岭南通股份有限公司 | 交通一卡通交易数据全量查重方法及*** |
| CN108038201A (zh) * | 2017-12-12 | 2018-05-15 | 无锡华云数据技术服务有限公司 | 一种数据整合***及其分布式数据整合*** |
| CN108563665A (zh) * | 2018-01-05 | 2018-09-21 | 成都兴政电子政务运营服务有限公司 | 一种基于大数据技术的数据处理***及方法 |
| CN111428132A (zh) * | 2020-03-18 | 2020-07-17 | 腾讯科技（深圳）有限公司 | 数据的校验方法及装置、计算机存储介质、电子设备 |
| CN111428132B (zh) * | 2020-03-18 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 数据的校验方法及装置、计算机存储介质、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106227862A (zh) | 基于分布式的电商数据整合方法 | |
| CN104102737B (zh) | 一种历史数据存储方法和*** | |
| CN104820670B (zh) | 一种电力信息大数据的采集和存储方法 | |
| Aly et al. | M3: Stream processing on main-memory mapreduce | |
| CN108280084A (zh) | 一种数据仓库的构建方法、***及服务器 | |
| CN105139281A (zh) | 一种电力营销大数据的处理方法及*** | |
| CN104102702A (zh) | 一种实现软硬件结合的面向应用的大数据***及方法 | |
| CN103399887A (zh) | 一种海量日志的查询与统计分析*** | |
| CN109800262A (zh) | 数据共享交换方法及*** | |
| CN103425762A (zh) | 基于Hadoop平台的电信运营商海量数据处理方法 | |
| CN109271382A (zh) | 一种面向全数据形态开放共享的数据湖*** | |
| CN105930479A (zh) | 一种数据倾斜处理方法及装置 | |
| CN104077402A (zh) | 数据处理方法和数据处理*** | |
| CN103514205A (zh) | 海量数据处理方法和*** | |
| Asaad et al. | A review: big data technologies with hadoop distributed filesystem and implementing M/R | |
| CN103455896A (zh) | 基于物联网的无纸化装配质量控制方法 | |
| CN107644050A (zh) | 一种基于solr的Hbase的查询方法及装置 | |
| CN104598536A (zh) | 一种分布式网络信息结构化处理方法 | |
| Sinaeepourfard et al. | A comprehensive scenario agnostic Data LifeCycle model for an efficient data complexity management | |
| Saranya et al. | Data migration using etl workflow | |
| CN112214453A (zh) | 大规模工业数据压缩存储方法、***及介质 | |
| CN107491558A (zh) | 元数据更新方法及装置 | |
| CN106780157A (zh) | 基于Ceph的电网多时态模型存储与管理***及方法 | |
| CN104714983B (zh) | 分布式索引的生成方法及装置 | |
| CN112925767A (zh) | 基于互联网监管的多数据源动态数据同步治理方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161214 |