CN113421131B - 基于大数据内容智能营销*** - Google Patents
基于大数据内容智能营销*** Download PDFInfo
- Publication number
- CN113421131B CN113421131B CN202110822601.0A CN202110822601A CN113421131B CN 113421131 B CN113421131 B CN 113421131B CN 202110822601 A CN202110822601 A CN 202110822601A CN 113421131 B CN113421131 B CN 113421131B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- real
- calculation
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000007405 data analysis Methods 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000007547 defect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000010223 real-time analysis Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于大数据内容智能营销***，包括引入了Event Time与WaterMark；通过Flink引擎做数据处理与预计算，整合多个应用平台的底层自有数据资产；根据业务场景自定义数据处理实际延迟时间、数据解析失败量、外部服务调用耗时等指标；进行资源的调优，对实时数据流中的数据的元数据化；搭建中间件关联多个数据源进行实时数据混算。本发明属于计算引擎技术领域，具体是提供了一种基于常见的实时计算引擎，为解决计算数据的分布异构问题，搭建中间件，它位于平台(硬件和操作***)和应用之间，为双方或者多方提供通用服务，具有标准的程序接口和协议的基于大数据内容智能营销***。
Description
技术领域
本发明属于计算引擎技术领域，具体是指一种基于大数据内容智能营销***。
背景技术
现有技术基于用户画像识别的智能营销计算，包括数据清洗、数据计算、IDMapping、数据查询引擎；具体技术采用分析指标计算、数据聚合和输出数据、数据分析、标签管理，主要功能基于多来源与多格式数据下基于用户画像识别的智能营销计算；基于实时计算引擎解决数据处理，包括：检测是否有新的数据处理规则输入；通过实时计算引擎获取最新数据处理规则并对其进行解析；根据解析后的所述最新数据处理规则进行数据处理得到结果数据。
现有基于大数据内容智能营销***的缺点，如下所示：
1)基于规则创建计算标签体系，数据量级较大时无法实时进行数据处理、计算引擎需耗费极高的物理资源；
2)传统的中间件设计都把注意力集中在中间件透明性上，而不用去关心分布性等问题，只是适用于特定种类的上层应用，没有与营销技术相结合，无法适应当前的移动计算环境；
3)需要有完善的数据中心，底座***复杂且功能较重，适用的企业或客户寥寥，无法轻量级满足大部分中小型企业。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于常见的Spark、Flink实时计算引擎，流数据源主要都是用Kafka，计算平台底层集群使用YARN做资源调度，流计算的输出要覆盖线上业务所有需要的存储分析引擎，比如Elastic Search、Kafka、Hbase等等，为解决计算数据的分布异构问题，搭建中间件，它位于平台(硬件和操作***)和应用之间，为双方或者多方提供通用服务，具有标准的程序接口和协议的基于大数据内容智能营销***。
本发明采取的技术方案如下：本发明一种基于大数据内容智能营销***，包括计算引擎，所述计算引擎的营销计算包括以下步骤：
步骤一：所述计算引擎包括基础中间件；
步骤二：Flink提供了Exactly-Once一致性语义，并且具有非常完善的多种窗口机制，引入了Event Time与WaterMark，提供丰富状态的状态访问；
步骤三：实时计算的能力其实可以把它总结成一个数据通道的能力，实时计算可能不会完全满足我们的实时分析的需求，可以通过Flink引擎做数据处理与预计算，最终都会落到一个对应存储分析引擎，整合多个应用平台的底层自有数据资产，或实时采集的日志、行为数据等；
步骤四：在Flink的metrics基础上，根据业务场景自定义数据处理实际延迟时间、数据解析失败量、外部服务调用耗时等指标；所有的指标通过自定义的Reporter上报到Kafka，再通过一个实时的ETL，把指标结构化后输出到ES和Druid里，避免出现数据丢失或延迟产生，进行实时告警和预处理；
步骤五：在这些底层基础之上，首要是实时任务的管理管控，包括平台上所有Flink或者Spark任务，进行资源的调优，对实时数据流中的数据的元数据化；
步骤六：搭建中间件关联多个数据源进行实时数据混算，提供跨源T+0查询，完成报表数据计算引擎，弥补报表工具本身计算能力不足，开放的计算能力分布在涉及计算的各个阶段。
进一步地，所述计算引擎可对有限数据流和无限数据流进行有状态计算，可部署在各种集群环境，对各种大小的数据规模进行快速计算，可同时进行批处理、交互式计算、流式计算。
进一步地，在所述计算引擎之上的应用包括指标分析、实时特征、安全风控、ETL、实时推荐等等。
进一步地，所述基础中间件包括路由与web服务器、RPC框架、消息中间件、缓存服务、配置中心、分布式事务、任务调度和数据库层，所述路由与web服务器用于处理和转发其他服务器通信数据的服务器，所述RPC框架为微服务时代的远程服务调用框架；所述消息中间件支持在分布式***之间发送和接收消息的软件，所述缓存服务用于分布式的高速数据存储层，一般是内存存储，所述配置中心为用来统一管理各个项目中所有配置的***，所述分布式事务包括事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式***的不同节点之上，用于数据库扩展性，所述任务调度：分布式环境下提供定时、任务编排、分布式跑批等功能的***；所述数据库层用于支持弹性扩容和分库分表的TDDL，数据库连接池Driud，Binlog同步的Canal等。
采用上述方案一种基于大数据内容智能营销***，取得的有益效果如下：
1、Flink计算引擎基于流计算来模拟批计算，在技术上有更好的扩展性，从长远来看计算效率会更高更快、所耗费资源相对会降低；
2、提高计算引擎的简易性和灵活性，满足多个应用需要进行数据整合的需求；
3、解决业务层的逻辑与数据耦合过紧问题，轻量级中间件技能，可脱离底层服务逻辑的具体实现方法，只需用中简介结果进行对接多个应用。
附图说明
图1为本发明一种基于大数据内容智能营销***的数据通道图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一种基于大数据内容智能营销***，包括计算引擎，所述计算引擎的营销计算包括以下步骤：
步骤一：所述计算引擎包括基础中间件；
步骤二：Flink提供了Exactly-Once一致性语义，并且具有非常完善的多种窗口机制，引入了Event Time与WaterMark，提供丰富状态的状态访问；
步骤三：实时计算的能力其实可以把它总结成一个数据通道的能力，实时计算可能不会完全满足我们的实时分析的需求，可以通过Flink引擎做数据处理与预计算，最终都会落到一个对应存储分析引擎，整合多个应用平台的底层自有数据资产，或实时采集的日志、行为数据等；
步骤四：在Flink的metrics基础上，根据业务场景自定义数据处理实际延迟时间、数据解析失败量、外部服务调用耗时等指标；所有的指标通过自定义的Reporter上报到Kafka，再通过一个实时的ETL，把指标结构化后输出到ES和Druid里，避免出现数据丢失或延迟产生，进行实时告警和预处理；
步骤五：在这些底层基础之上，首要是实时任务的管理管控，包括平台上所有Flink或者Spark任务，进行资源的调优，对实时数据流中的数据的元数据化；
步骤六：搭建中间件关联多个数据源进行实时数据混算，提供跨源T+0查询，完成报表数据计算引擎，弥补报表工具本身计算能力不足，开放的计算能力分布在涉及计算的各个阶段。
所述计算引擎可对有限数据流和无限数据流进行有状态计算，可部署在各种集群环境，对各种大小的数据规模进行快速计算，可同时进行批处理、交互式计算、流式计算。
在所述计算引擎之上的应用包括指标分析、实时特征、安全风控、ETL、实时推荐等等。
所述基础中间件包括路由与web服务器、RPC框架、消息中间件、缓存服务、配置中心、分布式事务、任务调度和数据库层，所述路由与web服务器用于处理和转发其他服务器通信数据的服务器，所述RPC框架为微服务时代的远程服务调用框架；所述消息中间件支持在分布式***之间发送和接收消息的软件，所述缓存服务用于分布式的高速数据存储层，一般是内存存储，所述配置中心为用来统一管理各个项目中所有配置的***，所述分布式事务包括事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式***的不同节点之上，用于数据库扩展性，所述任务调度为分布式环境下提供定时、任务编排、分布式跑批等功能的***；所述数据库层用于支持弹性扩容和分库分表的TDDL，数据库连接池Driud，Binlog同步的Canal等。
普通的规则画像或实时计算技术可能不会完全满足我们的实时分析的需求，比如通常的需求都是一个多维分析、即席查询的需求，我们的技术通过Flink引擎去帮做数据处理与预计算，数据最终存入对应的存储分析引擎中进行实时的调用存取；
中间件位于数据源和上层应用之间提供通用计算服务的计算，不依赖数据库的计算能力并且可灵活插拔嵌入应用中进行使用，支持分布式计算，在实际的应用环境面对不同数据量的场景，并且在数据量不断增长时，保证自身提供的各种数据服务持续可用；
企业存在大量异构***时无需跨***跨平台操作，从不同的数据源的数据放在一起计算；而是采用数据计算中间件打通链接壁垒，起到连通的作用，将不同异构平台中的数据进行集成。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (2)
1.基于大数据内容智能营销***，其特征在于，包括计算引擎，所述计算引擎的营销计算包括以下步骤：
步骤一：所述计算引擎包括基础中间件；
步骤二：Flink 提供了 Exactly-Once一致性语义，并且具有非常完善的多种窗口机制，引入了 Event Time 与 WaterMark，提供丰富状态的状态访问；
步骤三：以通过 Flink引擎做数据处理与预计算，实时计算的能力是一个数据通道的能力，整合多个应用平台的底层自有数据资产，或实时采集的日志、行为数据；
步骤四：在 Flink的metrics 基础上，根据业务场景自定义数据处理实际延迟时间、数据解析失败量、外部服务调用耗时指标；所有的指标通过自定义的 Reporter 上报到Kafka，再通过一个实时的 ETL，把指标结构化后输出到 ES 和 Druid 里，避免出现数据丢失或延迟产生，进行实时告警和预处理；
步骤五：在这些底层基础之上，首要是实时任务的管理管控，包括平台上所有 Flink或者 Spark 任务，进行资源的调优，对实时数据流中的数据的元数据化；
步骤六：搭建中间件关联多个数据源进行实时数据混算，提供跨源T+0查询，完成报表数据计算引擎，弥补报表工具本身计算能力不足，开放的计算能力分布在涉及计算的各个阶段；
所述计算引擎可对有限数据流和无限数据流进行有状态计算，可部署在各种集群环境，对各种大小的数据规模进行快速计算，可同时进行批处理、交互式计算、流式计算；
所述基础中间件包括路由与web服务器、RPC框架、消息中间件、缓存服务、配置中心、分布式事务、任务调度和数据库层，所述路由与web服务器用于处理和转发其他服务器通信数据的服务器，所述RPC框架为微服务时代的远程服务调用框架；所述消息中间件支持在分布式***之间发送和接收消息的软件，所述缓存服务用于分布式的内存存储，所述配置中心为用来统一管理各个项目中所有配置的***，所述分布式事务包括事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式***的不同节点之上，用于数据库扩展性，所述任务调度为分布式环境下提供定时、任务编排、分布式跑批功能的***；所述数据库层用于支持弹性扩容和分库分表的 TDDL，数据库连接池Driud，Binlog同步的Canal。
2.根据权利要求1所述的基于大数据内容智能营销***，其特征在于：在所述计算引擎之上的应用包括指标分析、实时特征、安全风控、ETL、实时推荐。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110822601.0A CN113421131B (zh) | 2021-07-21 | 2021-07-21 | 基于大数据内容智能营销*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110822601.0A CN113421131B (zh) | 2021-07-21 | 2021-07-21 | 基于大数据内容智能营销*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421131A CN113421131A (zh) | 2021-09-21 |
| CN113421131B true CN113421131B (zh) | 2023-11-28 |
Family
ID=77721424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110822601.0A Active CN113421131B (zh) | 2021-07-21 | 2021-07-21 | 基于大数据内容智能营销*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421131B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880475A (zh) * | 2012-10-23 | 2013-01-16 | 上海普元信息技术股份有限公司 | 计算机软件***中基于云计算的实时事件处理***及方法 |
| CN106100902A (zh) * | 2016-08-04 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 云端指标监控方法和装置 |
| CN112000636A (zh) * | 2020-08-31 | 2020-11-27 | 民生科技有限责任公司 | 基于Flink流式处理的用户行为统计分析方法 |
| CN112116463A (zh) * | 2020-05-20 | 2020-12-22 | 上海金融期货信息技术有限公司 | 一种基于Spark引擎的智能分析*** |
-
2021
- 2021-07-21 CN CN202110822601.0A patent/CN113421131B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880475A (zh) * | 2012-10-23 | 2013-01-16 | 上海普元信息技术股份有限公司 | 计算机软件***中基于云计算的实时事件处理***及方法 |
| CN106100902A (zh) * | 2016-08-04 | 2016-11-09 | 腾讯科技（深圳）有限公司 | 云端指标监控方法和装置 |
| CN112116463A (zh) * | 2020-05-20 | 2020-12-22 | 上海金融期货信息技术有限公司 | 一种基于Spark引擎的智能分析*** |
| CN112000636A (zh) * | 2020-08-31 | 2020-11-27 | 民生科技有限责任公司 | 基于Flink流式处理的用户行为统计分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421131A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492040B (zh) | 一种适用于数据中心海量短报文数据处理的*** | |
| US11182098B2 (en) | Optimization for real-time, parallel execution of models for extracting high-value information from data streams | |
| CN109240821B (zh) | 一种基于边缘计算的分布式跨域协同计算与服务***及方法 | |
| US12008027B2 (en) | Optimization for real-time, parallel execution of models for extracting high-value information from data streams | |
| Isah et al. | A scalable and robust framework for data stream ingestion | |
| CN107895046B (zh) | 一种异构数据集成平台 | |
| CN111885439B (zh) | 一种光网络综合管理和值勤管理*** | |
| CN113568938B (zh) | 数据流处理方法、装置、电子设备及存储介质 | |
| CN106777142A (zh) | 基于移动互联网海量数据的服务层***及其方法 | |
| CN112367354B (zh) | 一种云边资源图智能调度***及其调度方法 | |
| CN111126852A (zh) | 一种基于大数据建模的bi应用*** | |
| Cao et al. | Analytics everywhere for streaming iot data | |
| Theeten et al. | Chive: Bandwidth optimized continuous querying in distributed clouds | |
| CN103412883A (zh) | 基于p2p技术的语义智能信息发布订阅方法 | |
| CN114706994A (zh) | 一种基于知识库的运维管理***和方法 | |
| CN113421131B (zh) | 基于大数据内容智能营销*** | |
| CN107679097A (zh) | 一种分布式数据处理方法、***和存储介质 | |
| Vanhove et al. | Managing the synchronization in the lambda architecture for optimized big data analysis | |
| CN112506960B (zh) | 基于ArangoDB引擎的多模型数据存储方法及*** | |
| CN114596046A (zh) | 一种基于业务中台及数据中台的统一数字模型的集成平台 | |
| CN102298648A (zh) | 开放式实时数据库跨进程访问方法 | |
| Arora et al. | Big data technologies: brief overview | |
| Pellegrino | Pushing dynamic and ubiquitous event-based interactions in the Internet of services: a middleware for event clouds | |
| CN117033033B (zh) | 服务总线中公共服务高效配置和交互的方法 | |
| CN114844957B (zh) | 链路报文转换方法、装置、设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |