CN112418941A - 一种基于实时流的资源人气计算方法、***及存储介质 - Google Patents

Abstract

本发明涉及一种基于实时流的资源人气计算方法、***及存储介质，方法包括行为数据采集步骤：通过服务端埋点方式采集各客户端和服务端之前具有交互事件的用户行为数据至消息中间件；交易数据采集步骤：通过日志同步方式实时同步交易信息至消息中间件；数据分层处理步骤：采用数据分层法，在消息中间件构建源数据层、公共数据层、应用数据层，通过实时计算引擎进行聚合计算，获取资源人气指标值。与现有技术相比，本发明具有避免信息丢失的情况、保证数据实时性、可靠性高等优点。

Description

一种基于实时流的资源人气计算方法、***及存储介质

技术领域

本发明涉及大数据处理技术领域，尤其是涉及一种基于实时流的资源人气计算方法、***及存储介质。

背景技术

目前，随着网络通信技术的进步和宽带网络的提速，网络零售平台得到了越来越多的发展和应用。对于网络零售平台卖家来说，及时了解店铺资源的被访问情况非常重要。然而随着网络买家用户的不断增加，原有通过离线获取搜索、交易等信息来分析店铺资源人气的方式已无法满足卖家对店铺资源的及时调整；同时，由于用户行为数据的采集采用了前端代码埋点的方式，该方式只能够获取PC端的用户行为，无法覆盖复杂的移动端APP、小程序等渠道，且存在信息丢失的情况，该方式对采集后的信息也只是通过离线批处理计算资源的人气指数，使得信息不全面、处理不实时，进而导致商家掌握的信息滞后，商家无法及时动态的调整经营策略，影响店铺在平台的成交率。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种适用于网络零售平台的，可避免信息丢失、保证数据实时性、提高数据处理可靠性的基于实时流的资源人气计算方法、***及存储介质。

本发明的目的可以通过以下技术方案来实现：

一种基于实时流的资源人气计算方法，该方法依据前端的展现维度，对网络零售平台的用户交易数据和用户行为数据进行计算，具体包括如下步骤：

行为数据采集步骤：

通过服务端埋点方式采集网络零售平台的各客户端和服务端之间具有交互事件的用户行为数据至消息中间件。

交易数据采集步骤：

通过日志同步方式实时同步交易信息至消息中间件。所述交易信息包括订单数据和资源号信息。

数据分层处理步骤：

采用数据分层法，在消息中间件构建源数据层、公共数据层、应用数据层，通过实时计算引擎进行聚合计算，获取资源人气指标值。所述源数据层包括点击行为单元、浏览详情行为单元、查看质保书行为单元、出价行为单元和加车行为单元。

所述数据分层步骤中，将服务端埋点推送采集的用户行为数据分别存储至消息中间件的源数据层的点击行为单元、浏览详情行为单元、查看质保书行为单元、出价行为单元和加车行为单元中。

进一步地，所述消息中间件采用分布式发布订阅消息***kafka。

所述数据分层步骤中，采用流处理解析源数据层日志信息，过滤用户行为数据中资源号为空的数据，生成与前端的展现维度相适应的交易宽表和用户行为宽表，作为公共数据层数据。具体地，通过实时计算引擎解析用户行为数据及订单数据，判断用户行为数据中资源号是否为空，若为空，则不计入统计计算，否则，按照交易和行为两个数据域，分别在交易域和行为域构建消息中间件的交易宽表和用户行为宽表。

构建交易宽表的具体内容为：

通过实时计算引擎首先将订单主表和订单子表的记录按照订单ID进行关联，按照前端的展现维度进行数据统计，标记来源，并对相应的资源人气标记分值，并生成公共数据层数据表。

构建用户行为宽表的具体内容为：

采用实时计算引擎解析点击行为、浏览详情行为、查看质保书行为、出价行为和加车行为的各行为明细数据，并按照前端的展现维度进行分组，聚合计算资源人气。聚合计算资源人气的具体内容为：

根据行为的深度设定打分规则，对用户的不同行为进行资源人气打分，直至用户的加车行为记分最高，将所列用户行为的各资源人气分值按照同一纬度合并计算资源人气，生成行为宽表。

进一步地，所述实时计算引擎采用开源流处理框架Flink。

所述数据分层处理步骤后还包括计算结果输出步骤，该步骤按照不同维度进行实时聚合计算，将结果输出至分布式存储***HBase，由查询HBase提供数据服务至前端。聚合计算的中间结果存储至分布式存储***HBase或者采用消息中间件进行存储，最终的计算结果通过生成数据服务API提供至前端进行展示。

进一步地，所述客户端包括但不限于PC端、移动端及小程序。

本发明另一方面提供一种基于实时流的资源人气计算***，包括：

数据采集模块，通过服务端埋点方法采集客户端和服务端之间具有交互事件的用户行为数据；

数据分层建设模块，采用数据分层法，对采集到的不同属性来源的数据进行分类分层处理，分层处理包括源数据层、公共数据层和应用数据层；

数据处理模块，通过流处理解析源数层日志，过滤资源号为空的数据，生成相应维度的交易宽表和用户行为宽表；

资源人气计算模块，通过实时计算引擎解析源数据层的各行为明细数据，对解析的数据计算资源人气值；

分布式存储***HBase，对数据处理结果进行存储，并提供数据查询服务；

前端，设定资源人气展现维度，并对分布式存储***HBase提供的数据服务进行展现。

进一步地，所述分布式存储***HBase提供用以前端展现的数据服务API。

本发明另一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现如上所述的基于实时流的资源人气计算方法的步骤。

本发明提供的基于实时流的资源人气计算方法、***及存储介质，相较于现有技术至少包括如下有益效果：

1)本发明将网络零售平台的用户行为数据的采集由原来的前端埋点改为服务端埋点，数据准确性提高，同时对于复杂的移动端的行为数据都能进行采集，避免了信息丢失的情况。

2)采用消息中间件存储数据构建了实时数仓，消息中间件采用稳定的消息队列kafka，具有高吞吐、低延迟、高并发、容错性高、可扩展性高的特点。

3)采用实时计算引擎处理，实时计算引擎采用Flink，Flink为自身具有高吞吐、低延迟、高度灵活流式窗口以及轻量级容错机制的流批统一引擎，可保证数据的实时性。

4)采用数据分层建设方法，对不同属性来源的数据进行分类分层处理，提高了数据复用度同时具有良好的扩展性，若新增行为及交易类分析，可复用原有公共数据层数据，若有新增行为及维度只需重构公共层数据计算任务，无需新增任务，降低了计算资源开销。

5)采用面向列存储的分布式存储***HBase进行结果数据的存储，提供查询服务能够支撑海量数据、高并发的场景，使得数据服务的延迟更低、可靠性更高。

附图说明

图1为实施例中基于实时流的资源人气计算方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明涉及一种基于实时流的资源人气计算方法，该方法利用实时采集来自网络零售平台的多个用户行为及交易数据，通过在消息中间件进行实时统计处理，计算出资源人气值，最后以提供实时数据服务的方式提供到平台。如图1所示，该方法具体包括如下步骤：

步骤一、数据采集：

行为数据采集：

通过服务端埋点的方式采集包括与网络零售平台关联的PC端、移动端及小程序的客户端和服务端有交互事件的用户行为数据到消息中间件。用户行为数据包括点击行为数据、浏览详情行为数据、查看质保书行为数据、出价行为数据和加车行为(加入购物车行为)数据，

交易数据采集：

通过日志同步的方式实时同步交易信息到消息中间件。交易信息中包括订单数据、资源号等信息。

采用消息中间件存储数据构建了实时数仓，消息中间件采用稳定的消息队列kafka，具有高吞吐、低延迟、高并发、容错性高、可扩展性高的特点。

步骤二、数据分层处理：

数据采集后采用数据分层法，在消息中间件构建源数据层、公共数据层、应用数据层，然后通过实时计算引擎进行聚合计算，得到资源人气指标值。即整体上将实时数据仓库分为三层，源数据层、公共层(DWD和DWS层)、应用层。

计算引擎采用Flink，Flink作为流式计算引擎的主要因素是：高吞吐，低延迟，高性能；高度灵活的流式窗口；状态计算的Exactly-once语义；轻量级的容错机制；支持EventTime及乱序事件；流批统一引擎。线上业务数据直接到Kafka或者其他的消息存储***，使用Flink实时消费数据计算。

具体地：

2.1)源数据层：

将埋点推送用户行为数据分别存储到消息中间件的源数据层的TPXHB01(点击行为)、TPXHB02(浏览详情行为)、TPXHB03(查看质保书行为)、TPXHB04(出价行为)、TPXHB05(加车行为)中，同时采用日志同步的方式将交易中的订单主表数据TPXH_ORDER_M，订单子表TPXH_ORDER_D，竞价过程表TPXH_BID_RECORD同步到消息中间件源数据层。

2.2)公共数据层划分数据域：

通过流处理解析源数层日志，过滤资源号为空的脏数据，生成相应维度的交易宽表和用户行为宽表作为公共数据层数据。具体地，通过实时计算引擎解析行为数据及订单数据，因交易信息和行为数据都包括资源号，但行为数据资源号可能存在为空的情况，因此首先判断行为数据中资源号是否为空，若为空，则不计入统计计算，否则，按照交易和行为两个数据域，分别在交易域和行为域构建消息中间件公共层交易宽表和用户行为宽表。具体地：

2.3)构建交易宽表：

通过实时计算引擎首先将订单主表TPXH_ORDER_M和订单子表TPXH_ORDER_D的记录按照订单ID进行关联，本实施例采用现有技术中的Flink流数据join技术进行关联，进行流数据join后直接得到明细，按照一定维度进行数据统计，标记来源，并给标记相应的分值。例如，得到的明细中，以“成交时间+卖家+买家+资源号+捆包号+品种+牌号+规格+质量等级+区域+来源”(备注：来源为订单成交)的规则统计成交量、成交金额、资源人气，(备注：每条成交资源人气值记分6分)，生成公共层成交数据表DW_JY_ORDER。

2.4)构建行为宽表：

通过实时计算引擎解析TPXHB01，TPXHB02、TPXHB03、TPXHB04、TPXHB05行为明细数据，本实施例采用现有技术中Flink引擎直接解析json格式的文件获取json中所需要的关键信息的方法进行解析，并按照实际交易规则的一定维度进行分组，如采用“行为时间+卖家+买家+资源号+捆包号+品种+牌号+规格+质量等级+区域+行为名称”的维度进行分组，聚合计算资源人气。

因每个行为都代表用户想了解产品的深度，本发明按照行为的深度定义打分规则，对不同行为进行打分，直到用户加车行为记分最高。例如，按照行为的深度，将TPXHB01(点击行为)资源人气记1分，将TPXHB02(浏览详情行为)资源人气记2分，将TPXHB03(查看质保书行为)资源人气记3分，将TPXHB04(出价行为)资源人气记4分，将TPXHB05(加车行为)资源人气记5分，按此规则将所列用户行为的资源按照同一纬度合并计算资源人气，统计生成行为宽表DW_XW_BEHAVIOR。

2.5)合并生成应用数据层资源人气表：

利用流处理，按照资源人气明细的维度“时间+卖家+买家+资源号+捆包号+品种+牌号+规格+质量等级+区域+来源(行为名称)”合并成交宽表DW_JY_ORDER和行为宽表DW_XW_BEHAVIOR生成应用层资源人气表：DM_ZY_POP。

步骤三、计算结果输出：

本发明根据前端展现的维度进行计算，例如如果前端是“品种+牌号”的维度，则按照品种牌号的维度聚合，本实施例当前是按照明细维度，即“日期+卖家+买家+资源号+捆包号+品种+牌号+规格+质量等级+区域”的维度进行聚合统计出资源人气；按照不同的维度进行实时聚合计算后，将应用层资源人气表结果输出到面向列存储的、可伸缩的分布式存储***HBase，最后由查询HBase提供数据服务到前端进行展现。

在本实施例中，作为优选方案，计算的结果存储到HBase，最后生成数据服务API提供给前端展现。即使用统一的接口服务层(例如OneService)为业务使用方提供Dubbo接口获取指标数据，前段再进行展示。

此外，本发明另一方面提供一种基于实时流的资源人气计算***，该***包括数据采集模块、数据分层建设模块、数据处理模块，其中：

数据采集模块，用于通过服务端埋点的方法采集客户端和服务端有交互事件的用户行为数据，并通过日志同步方式实时同步交易信息到消息中间件。

数据分层建设模块，用于采用数据分层法，对采集到的不同属性来源的数据进行分类分层处理，具体分为源数据层、公共数据层、应用数据层。

数据处理模块，用于通过流处理解析源数层日志，过滤资源号为空的脏数据，生成相应维度的交易宽表和用户行为宽表。交易宽表通过实时计算引擎首先将订单主表和订单子表的记录按照订单ID进行关联，按照前端的展现维度进行数据统计，标记来源，并对相应的资源人气标记分值；用户行为宽表是根据行为的深度设定打分规则，对用户的不同行为进行资源人气打分，将所列用户行为的各资源人气分值按照同一纬度合并计算资源人气。

资源人气计算模块，用于通过实时计算引擎解析源数据层的的各行为明细数据，对解析的数据计算资源人气值。

分布式存储***HBase，用于对数据处理结果进行存储，并提供数据查询服务。

前端，用于设定资源人气展现维度，并对分布式存储***HBase提供的数据服务进行展现。

再次，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现上述基于实时流的资源人气计算方法或***的操作。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种基于实时流的资源人气计算方法，其特征在于，该方法依据前端的展现维度，对网络零售平台的用户交易数据和用户行为数据进行计算，包括下列步骤：

行为数据采集步骤：通过服务端埋点方式采集网络零售平台的各客户端和服务端之间具有交互事件的用户行为数据至消息中间件；

交易数据采集步骤：通过日志同步方式实时同步交易信息至消息中间件；

数据分层处理步骤：采用数据分层法，在消息中间件构建源数据层、公共数据层、应用数据层，通过实时计算引擎进行聚合计算，获取资源人气指标值。

2.根据权利要求1所述的基于实时流的资源人气计算方法，其特征在于，所述交易信息包括订单数据和资源号信息。

3.根据权利要求1所述的基于实时流的资源人气计算方法，其特征在于，所述源数据层包括点击行为单元、浏览详情行为单元、查看质保书行为单元、出价行为单元和加车行为单元。

4.根据权利要求3所述的基于实时流的资源人气计算方法，其特征在于，所述数据分层步骤中，将服务端埋点推送采集的用户行为数据分别存储至消息中间件的源数据层的点击行为单元、浏览详情行为单元、查看质保书行为单元、出价行为单元和加车行为单元中。

5.根据权利要求4所述的基于实时流的资源人气计算方法，其特征在于，所述消息中间件采用分布式发布订阅消息***kafka。

6.根据权利要求1所述的基于实时流的资源人气计算方法，其特征在于，所述数据分层步骤中，采用流处理解析源数据层日志信息，过滤用户行为数据中资源号为空的数据，生成与前端的展现维度相适应的交易宽表和用户行为宽表，作为公共数据层数据。

7.根据权利要求6所述的基于实时流的资源人气计算方法，其特征在于，通过实时计算引擎解析用户行为数据及订单数据，判断用户行为数据中资源号是否为空，若为空，则不计入统计计算，否则，按照交易和行为两个数据域，分别在交易域和行为域构建消息中间件的交易宽表和用户行为宽表。

8.根据权利要求7所述的基于实时流的资源人气计算方法，其特征在于，构建交易宽表的具体内容为：

通过实时计算引擎首先将订单主表和订单子表的记录按照订单ID进行关联，按照前端的展现维度进行数据统计，标记来源，并对相应的资源人气标记分值，并生成公共数据层数据表。

9.根据权利要求6所述的基于实时流的资源人气计算方法，其特征在于，构建用户行为宽表的具体内容为：

采用实时计算引擎解析点击行为、浏览详情行为、查看质保书行为、出价行为和加车行为的各行为明细数据，并按照前端的展现维度进行分组，聚合计算资源人气。

10.根据权利要求9所述的基于实时流的资源人气计算方法，其特征在于，聚合计算资源人气的具体内容为：

根据行为的深度设定打分规则，对用户的不同行为进行资源人气打分，直至用户的加车行为记分最高，将所列用户行为的各资源人气分值按照同一纬度合并计算资源人气，生成行为宽表。

11.根据权利要求8或10所述的基于实时流的资源人气计算方法，其特征在于，所述实时计算引擎采用开源流处理框架Flink。

12.根据权利要求1所述的基于实时流的资源人气计算方法，其特征在于，所述数据分层处理步骤后还包括计算结果输出步骤，该步骤按照不同维度进行实时聚合计算，将结果输出至分布式存储***HBase，由查询HBase提供数据服务至前端。

13.根据权利要求12所述的基于实时流的资源人气计算方法，其特征在于，聚合计算的中间结果存储至分布式存储***HBase或者采用消息中间件进行存储，最终的计算结果通过生成数据服务API提供至前端进行展示。

14.根据权利要求1所述的基于实时流的资源人气计算方法，其特征在于，所述客户端包括PC端、移动端及小程序。

15.一种基于实时流的资源人气计算***，其特征在于，该***包括：

数据采集模块，通过服务端埋点方法采集客户端和服务端之间具有交互事件的用户行为数据；

数据分层建设模块，采用数据分层法，对采集到的不同属性来源的数据进行分类分层处理，分层处理包括源数据层、公共数据层和应用数据层；

数据处理模块，通过流处理解析源数层日志，过滤资源号为空的数据，生成相应维度的交易宽表和用户行为宽表；

资源人气计算模块，通过实时计算引擎解析源数据层的各行为明细数据，对解析的数据计算资源人气值；

分布式存储***HBase，对数据处理结果进行存储，并提供数据查询服务；

前端，设定资源人气展现维度，并对分布式存储***HBase提供的数据服务进行展现。

16.根据权利要求15所述的基于实时流的资源人气计算***，其特征在于，所述分布式存储***HBase提供用以前端展现的数据服务API。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以实现如权利要求1-14中任一项所述的基于实时流的资源人气计算方法的步骤。

Images