CN107506476A - 用户行为数据收集分析***及分析方法 - Google Patents

用户行为数据收集分析***及分析方法 Download PDF

Info

Publication number
CN107506476A
CN107506476A CN201710805224.3A CN201710805224A CN107506476A CN 107506476 A CN107506476 A CN 107506476A CN 201710805224 A CN201710805224 A CN 201710805224A CN 107506476 A CN107506476 A CN 107506476A
Authority
CN
China
Prior art keywords
user behavior
data
analysis
processing
behavior data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710805224.3A
Other languages
English (en)
Inventor
吕骏
张睿青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hyun Meng Network Technology Co Ltd
Original Assignee
Shanghai Hyun Meng Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hyun Meng Network Technology Co Ltd filed Critical Shanghai Hyun Meng Network Technology Co Ltd
Priority to CN201710805224.3A priority Critical patent/CN107506476A/zh
Publication of CN107506476A publication Critical patent/CN107506476A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了用户行为数据收集分析***及分析方法，其中***包括：业务端埋点，所述业务端埋点包括后端接口，所述后端接口接收各种用户行为数据，以及还包括Redis缓存队列，所述Redis缓存队列用于保存各种用户行为数据及缓存用户行为数据；中间层数据收集预处理***，所述中间层数据收集预处理***用于从Redis缓存队列抽取用户行为数据，并进行预处理之后保存到用户行为分析数据库；后端业务数据分析处理***，所述后端业务数据分析处理***用于定期或/和定时针对用户行为分析数据库中的数据进行深度加工分析和处理，可以实现无论业务***是通过什么平台和语言搭建，都可以通过本发明的方法进行数据收集、处理和分析。

Description

用户行为数据收集分析***及分析方法
技术领域
本发明涉及数据处理领域，具体涉及用户行为数据收集分析***及分析方法。
背景技术
目前，通常的业务***(比如电商网站或者社区网站)，用户行为数据的收集和分析，都是基于业务***保存的数据，直接进行分析处理。长期运行过程中，随着数据积累量的增加，会存在处理效率降低，处理数据范围无法满足需求，处理过程中对现有业务***出现资源争抢等情况。
场景1：业务***经过长时间运行，已经累积大量数据，针对这些数据进行多维度处理分析，例如：按日/周/月/季/年进行统计分析处理，各个时间维度的同比/环比分析处理。直接在业务数据库中进行上述处理，对业务***并发处理产生很大影响，会让业务***出现卡顿，处理缓慢等现象。使业务***无法满足高并发处理需求。
场景2：业务***的任何更新升级，都会对数据分析处理功能产生较大影响。例如：增加新功能、增加新流程或者删除某些不用的功能后，数据保存方式、字段、更新频率发生很大影响，数据分析处理程序不得不相应做较大改动，影响了***的延续性和稳定性。
场景3：按照不同的业务场景，有不同的业务***独立运行。而实际的数据分析时，需要综合处理不同业务***的数据。目前的业务数据分析处理，只能各自为阵，无法综合各个业务数据，做全面的分析处理。如之后又有新增的业务***，还要进行二次开发，才能实现相应的用户行为分析功能，功能实现效率低，开发成本高，风险也会增大。
发明内容
为了解决上述不足的缺陷，本发明提供了用户行为数据收集分析***及分析方法，可以实现无论业务***是通过什么平台和语言搭建，都可以通过本发明的方法进行数据收集、处理和分析。同时在多业务***同时接入，且有高并发数据产生时也能稳定和快速的进行处理，不会因为数据的分析处理影响业务***，提高整体***的稳定性。多业务***的多维度用户行为信息也能整合在一起进行分析处理，增加结果信息量，提高业务准确度，降低运营成本。
本发明提供了用户行为数据收集分析***，包括：
业务端埋点，所述业务端埋点包括后端接口，所述后端接口接收各种用户行为数据，以及还包括Redis缓存队列，所述Redis缓存队列用于保存各种用户行为数据及缓存用户行为数据；
中间层数据收集预处理***，所述中间层数据收集预处理***用于从Redis缓存队列抽取用户行为数据，并进行预处理之后保存到用户行为分析数据库；
后端业务数据分析处理***，所述后端业务数据分析处理***用于定期或/和定时针对用户行为分析数据库中的数据进行深度加工分析和处理。
上述的***，其中，所述中间层数据收集预处理***中的用户行为分析数据库的保存方式为单独保存。
上述的***，其中，所述后端业务数据分析处理***还用于将进行深度加工分析和处理的用户行为分析数据库中的数据与上述中单独保存的用户行为分析数据库进行定期定时交互。
上述的***，其中，所述Redis缓存队列可扩展。
上述的***，其中定期或/和定时的方式为定期定时的方式，以及定期定时的方式为按年、月、周、日进行累积，可以避免数据反复处理。
本发明的另一面，还提供了用户行为数据收集分析的方法，包括以下步骤：
步骤(1)：业务埋点的处理；
步骤(2)：基于上述中业务埋点的处理对中间层数据收集预处理；
步骤(3)：定期或/和定时针对中间层预处理的数据进行深度加工分析和处理。
上述的方法，其中，所述步骤(1)具体包括以下步骤：
定义用户行为类别；
业务层增加埋点处理，根据用户行为类别设定参数传递给后端接口；
所述后端接口检查传入参数，参数正确时把数据保存到Redis缓存队列；
通知业务端保存完毕。
上述的方法，其中，所述步骤(2)具体包括以下步骤：
从Redis缓存队列抽取用户行为数据；
对获取到的用户行为数据进行预处理，并作统一化的格式转换；
把预处理完毕的数据，保存到用户行为数据库。
上述的方法，其中，所述从Redis缓存队列抽取用户行为数据的步骤中：若没有数据直接结束处理，如有用户行为数据，进入下一步处理操作。
上述的方法，其中，所述步骤(3)具体包括以下步骤：
定期定时针对用户行为数据库中的数据进行深度加工分析和处理。
本发明具有以下优点：1、无论业务***是通过什么平台和语言搭建，都可以通过本发明的方法进行数据收集、处理和分析；2、同时在多业务***同时接入，且有高并发数据产生时也能稳定和快速的进行处理，不会因为数据的分析处理影响业务***，提高整体***的稳定性；3、多业务***的多维度用户行为信息也能整合在一起进行分析处理，增加结果信息量，提高业务准确度，降低运营成本。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本发明的主旨。
图1为本发明***的架构图。
图2为本发明方法的流程示意图。
图3a、图3b、图3c分别为本发明中业务端埋点、中间层数据收集预处理和后端业务分析处理的具体流程示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
参照图1-图3c所示，本发明提供了用户行为数据收集分析***，包括：
业务端埋点，其中业务端埋点包括后端接口，后端接口接收各种用户行为数据，以及还包括Redis缓存队列，其中Redis缓存队列用于保存各种用户行为数据及缓存用户行为数据，进一步，具体为后端接口把用户行为数据保存到Redis缓存队列，缓存用户行为数据，以此支持多个业务***同时抛转埋点数据。Redis缓存队列可扩展，可以根据实际负荷动态扩大规模；参照图1所示，业务端可以包括图1中所示的电商***、社区***或者其他业务***，解决了按照不同的业务场景，有不同的业务***独立运行。可以方便综合处理不同业务***的数据。可以新增的业务***，不需要进行二次开发，就可以实现相应的用户行为分析功能，功能实现效率高，开发成本低。
中间层数据收集预处理***，中间层数据收集预处理***用于从Redis缓存队列抽取用户行为数据，并进行预处理之后保存到用户行为分析数据库，其中，中间层数据收集预处理***中的用户行为分析数据库的保存方式为单独保存；在多业务***同时接入时，有高并发数据产生时也能稳定和快速的进行处理，不会因为数据的分析处理影响业务***，提高整体***的稳定性，在业务***的任何更新升级，不会对数据分析处理功能产生较大影响。例如：增加新功能、增加新流程或者删除某些不用的功能后，数据保存方式、字段、更新频率不变，数据分析处理程序没有改动，提高了***的延续性和稳定性。
后端业务数据分析处理***，后端业务数据分析处理***用于定期或/和定时针对用户行为分析数据库中的数据进行深度加工分析和处理，优选为定期定时针对用户行为分析数据库中的数据进行深度加工分析和处理。当业务***经过长时间运行，已经累积大量数据，可以针对这些数据进行多维度处理分析，例如：按日/周/月/季/年进行统计分析处理，各个时间维度的同比/环比分析处理。直接在业务数据库中进行上述处理，可以提高业务准确度，降低运营成本，本发明的***可以实现无论业务***是通过什么平台和语言搭建，都可以通过本发明的方法进行数据收集、处理和分析，进一步，通过与常规的***对比，本发明的数据收集、处理和分析的效率可以提高35％；同时在多业务***同时接入，且有高并发数据产生时也能稳定和快速的进行处理，不会因为数据的分析处理影响业务***，提高整体***的稳定性，进一步，与常规的***相比，整体***的稳定性可以提高50％；以及多业务***的多维度用户行为信息也能整合在一起进行分析处理，增加结果信息量，提高业务准确度，降低运营成本，进一步，与常规的***相比，业务准确度可以提高44.5％，运营成本可以降低25％。
综上，本发明的整体的***，相对于常规的***，由于现有的业务***经过长时间运行，已经累积大量数据，在数据收集、处理和分析方面的效率大大降低，而本发明改进的***在数据收集、处理和分析的效率可以提高35％；由于现有的业务***在任何更新升级时，都会对数据分析处理功能产生较大影响，从而大大降低了***的稳定性能，经过改进之后，本发明在整体***的稳定性方面可以提高50％；由于现有的***业务数据分析处理，只能各自为阵，无法综合各个业务数据，做全面的分析处理，如之后又有新增的业务***，还要进行二次开发，才能实现相应的用户行为分析功能，功能实现效率低，开发成本高，风险也会增大，经过改进之后，本发明的整体的***在业务准确度方面可以提高44.5％，在运营成本方面可以降低25％。
本发明一优选而非限制性的实施例中，后端业务数据分析处理***定期定时针对用户数据进行深度加工分析和处理，优选为按年、月、周、日进行累积，同样避免数据反复处理，提高处理效率。
本发明的另一面，参照图2-图3c所示，用户行为数据收集分析的方法，包括以下步骤：
步骤(1)：业务埋点的处理，具体为：参照图3a所示，对用户行为进行分类和编码，根据分别编码识别用户行为类型：在业务***中每个产生用户行为的功能点，加入收集用户行为信息的代码(简称埋点)，埋点代码会收集用户行为类别、行为对象等参数，传递给后端接口做进一步处理。参照图1所示，例如：用户发帖行为，需要传递行为类别编码、用户识别id、发帖id、发帖时间、发帖前进入***的入口点等信息。埋点代码通过异步进行处理，不会阻塞当前用户操作。后端接口检查传入参数是否符合规则要求，如果不符合返回错误代码后结束；如果符合，把用户行为数据保存到Redis缓存队列。后端接口使用微服务方式实现，可以进行集群部署，支持同一时间大量用户行为数据并发收集。Redis缓存队列是基于内存的NoSQL数据库，能承受大量高并发的用户行为数据存储请求；以及可以方便新增业务***，不需要进行二次开发，就可以实现相应的用户行为分析功能，功能实现效率高，开发成本低。
步骤(2)：基于上述中业务埋点的处理对中间层数据收集预处理，具体为：中间层数据收集处理程序从Redis缓存队列读取用户行为数据。若没有数据直接结束处理。如有用户行为数据，进入下一步处理操作。中间层数据收集处理程序由微服务实现，支持集群部署，高并发处理，快速消耗Redis缓存队列数据。对获取到的用户行为数据进行预处理，并作统一化的格式转换，以满足后续处理要求。把预处理完毕的数据，保存到用户行为数据库。该数据库包含基础数据和统计数据。保存用户行为基础数据的同时，针对行为类别进行分周期统计，使后续的分析处理更简便快速。然后继续获取和处理下一条数据。用户行为数据库独立于业务数据库，可以单独部署。分析处理时的高负荷计算不会影响业务***运行。并且可以根据负荷情况扩展到集群部署，以降低单点处理压力；特别是在多业务***同时接入时，有高并发数据产生时也能稳定和快速的进行处理，不会因为数据的分析处理影响业务***，提高整体***的稳定性，以及在业务***的任何更新升级时，也不会对数据分析处理功能产生较大影响。
步骤(3)：定期定时针对中间层预处理的数据进行深度加工分析和处理，具体为：后端业务分析处理为定时处理，每天夜间执行，启动时会判断当前时间是否到执行过时间，是则继续执行，否则直接结束。针对前一日和当日数据进行分析处理，并把处理结果保存到数据库。针对前一周和当周数据进行分析处理，并把处理结果保存到数据库。针对前一月和当月数据进行分析处理，并把处理结果保存到数据库。针对前一年和当年数据进行分析处理，并把处理结果保存到数据库，可以提高业务准确度，降低运营成本，以及可以避免数据反复处理，提高处理效率。
以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.用户行为数据收集分析***，其特征在于，包括：
业务端埋点，所述业务端埋点包括后端接口，所述后端接口接收各种用户行为数据，以及还包括Redis缓存队列，所述Redis缓存队列用于保存各种用户行为数据及缓存用户行为数据；
中间层数据收集预处理***，所述中间层数据收集预处理***用于从Redis缓存队列抽取用户行为数据，并进行预处理之后保存到用户行为分析数据库；
后端业务数据分析处理***，所述后端业务数据分析处理***用于定期或/和定时针对用户行为分析数据库中的数据进行深度加工分析和处理。
2.根据权利要求1所述的用户行为数据收集分析***，其特征在于，所述中间层数据收集预处理***中的用户行为分析数据库的保存方式为单独保存。
3.根据权利要求2所述的用户行为数据收集分析***，其特征在于，所述后端业务数据分析处理***还用于将进行深度加工分析和处理的用户行为分析数据库中的数据与上述中单独保存的用户行为分析数据库进行定期或/和定时交互。
4.根据权利要求1-3任一项所述的用户行为数据收集分析***，其特征在于，所述Redis缓存队列可扩展。
5.根据权利要求4所述的用户行为数据收集分析***，其特征在于，其中定期或/和定时的方式为定期定时的方式，以及定期定时的方式为按年、月、周、日进行累积，可以避免数据反复处理。
6.用户行为数据收集分析的方法，其特征在于，包括以下步骤：
步骤(1)：业务埋点的处理；
步骤(2)：基于上述中业务埋点的处理对中间层数据收集预处理；
步骤(3)：定期或/和定时针对中间层预处理的数据进行深度加工分析和处理。
7.根据权利要求6所述的用户行为数据收集分析的方法，其特征在于，所述步骤(1)具体包括以下步骤：
定义用户行为类别；
业务层增加埋点处理，根据用户行为类别设定参数传递给后端接口；
所述后端接口检查传入参数，参数正确时把数据保存到Redis缓存队列；
通知业务端保存完毕。
8.根据权利要求7所述的用户行为数据收集分析的方法，其特征在于，所述步骤(2)具体包括以下步骤：
从Redis缓存队列抽取用户行为数据；
对获取到的用户行为数据进行预处理，并作统一化的格式转换；
把预处理完毕的数据，保存到用户行为数据库。
9.根据权利要求8所述的用户行为数据收集分析的方法，其特征在于，所述从Redis缓存队列抽取用户行为数据的步骤中：若没有数据直接结束处理，如有用户行为数据，进入下一步处理操作。
10.根据权利要求9所述的用户行为数据收集分析的方法，其特征在于，所述步骤(3)具体包括以下步骤：
定期定时针对用户行为数据库中的数据进行深度加工分析和处理。
CN201710805224.3A 2017-09-08 2017-09-08 用户行为数据收集分析***及分析方法 Pending CN107506476A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710805224.3A CN107506476A (zh) 2017-09-08 2017-09-08 用户行为数据收集分析***及分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710805224.3A CN107506476A (zh) 2017-09-08 2017-09-08 用户行为数据收集分析***及分析方法

Publications (1)

Publication Number Publication Date
CN107506476A true CN107506476A (zh) 2017-12-22

Family

ID=60695514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710805224.3A Pending CN107506476A (zh) 2017-09-08 2017-09-08 用户行为数据收集分析***及分析方法

Country Status (1)

Country Link
CN (1) CN107506476A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562930A (zh) * 2017-09-15 2018-01-09 广东万丈金数信息技术股份有限公司 操作行为数据的处理方法及装置
CN108958899A (zh) * 2018-08-14 2018-12-07 安徽云才信息技术有限公司 一种微服务架构分布式事务的实现方法
CN113627963A (zh) * 2020-05-08 2021-11-09 浙江华云信息科技有限公司 一种电力精细化运营规则库创建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070232398A1 (en) * 2006-03-31 2007-10-04 Aikin Jeffrey C System and method for detecting collusion in online gaming via conditional behavior
CN102946319A (zh) * 2012-09-29 2013-02-27 焦点科技股份有限公司 网络用户行为信息分析***及其分析方法
CN103916293A (zh) * 2014-04-15 2014-07-09 浪潮软件股份有限公司 一种监控分析网站用户行为的方法
CN105512336A (zh) * 2015-12-29 2016-04-20 中国建设银行股份有限公司 一种基于Hadoop的海量数据处理方法和装置
CN106469185A (zh) * 2016-08-29 2017-03-01 浪潮电子信息产业股份有限公司 一种网站统计中进行数据收集的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070232398A1 (en) * 2006-03-31 2007-10-04 Aikin Jeffrey C System and method for detecting collusion in online gaming via conditional behavior
CN102946319A (zh) * 2012-09-29 2013-02-27 焦点科技股份有限公司 网络用户行为信息分析***及其分析方法
CN103916293A (zh) * 2014-04-15 2014-07-09 浪潮软件股份有限公司 一种监控分析网站用户行为的方法
CN105512336A (zh) * 2015-12-29 2016-04-20 中国建设银行股份有限公司 一种基于Hadoop的海量数据处理方法和装置
CN106469185A (zh) * 2016-08-29 2017-03-01 浪潮电子信息产业股份有限公司 一种网站统计中进行数据收集的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562930A (zh) * 2017-09-15 2018-01-09 广东万丈金数信息技术股份有限公司 操作行为数据的处理方法及装置
CN108958899A (zh) * 2018-08-14 2018-12-07 安徽云才信息技术有限公司 一种微服务架构分布式事务的实现方法
CN113627963A (zh) * 2020-05-08 2021-11-09 浙江华云信息科技有限公司 一种电力精细化运营规则库创建方法
CN113627963B (zh) * 2020-05-08 2024-02-02 浙江华云信息科技有限公司 一种电力精细化运营规则库创建方法

Similar Documents

Publication Publication Date Title
CN104424229B (zh) 一种多维度拆分的计算方法及***
CN101477542B (zh) 一种抽样分析方法、***和设备
CN102799682B (zh) 一种海量数据预处理方法及其***
CN107506476A (zh) 用户行为数据收集分析***及分析方法
US9223801B2 (en) Information management method and information management apparatus
CN108804602A (zh) 一种基于spark的分布式空间数据存储计算方法
CN103810198A (zh) 一种商品信息的搜索方法及装置
CN102426610A (zh) 微博搜索排名方法及微博搜索引擎
CN107404486B (zh) 解析Http数据的方法、装置、终端设备及存储介质
CN106802904A (zh) 日志处理方法、装置及***
CN113268641B (zh) 基于大数据的用户数据处理方法及大数据服务器
EP3537365A1 (en) Method, device, and system for increasing users
CN107688952A (zh) 一种云计算的电子商务用户行为数据分析技术
CN106156002A (zh) 分词词库的选择方法和***
CN106372213A (zh) 一种位置分析方法
CN106156122B (zh) 交易信息获取方法及装置
US9235578B2 (en) Data partitioning apparatus and data partitioning method
CN105320720A (zh) 相关规则分析装置以及相关规则分析方法
CN108280224B (zh) 万级维度数据生成方法、装置、设备以及存储介质
CN106599234A (zh) 基于多维标识的数据可视化处理方法和***
CN102184210A (zh) 一种层叠决策树构建方法
CN107544949B (zh) 模板合并方法及装置
CN105373583A (zh) 基于数据压缩的支撑向量机建模方法
CN112100165B (zh) 基于质量评估的交通数据处理方法、***、设备和介质
Marszałkowski et al. Analysis and solution of CSS-sprite packing problem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171222

WD01 Invention patent application deemed withdrawn after publication