CN103778244A

CN103778244A - 一种基于用户行为日志的自动化报表分析方法

Info

Publication number: CN103778244A
Application number: CN201410047702.5A
Authority: CN
Inventors: 王昌龙; 黄海斌; 马鑫
Original assignee: Beijing 58 Information Technology Co Ltd
Current assignee: Beijing 58 Information Technology Co Ltd
Priority date: 2014-02-11
Filing date: 2014-02-11
Publication date: 2014-05-07

Abstract

本发明提供了一种基于用户行为日志的自动化报表分析方法。利用所述方法的***包括用户行为报表***以及客户端，所述用户行为报表***包括日志接收模块、配置接口、输出接口，所述方法包括如下步骤：a)所述客户端保存并上传用户行为日志文件；b)配置报表统计规则;c)根据配置，处理并保存数据;d)展示报表结果。根据本发明的基于用户行为日志的自动化报表分析方法，能够以简便、高效的方式来自动化生成报表，为企业节省人员成本，增加企业效益。

Description

一种基于用户行为日志的自动化报表分析方法

技术领域

本发明涉及移动设备用户行为数据挖掘，特别是一种基于用户行为日志的自动化报表分析方法。

背景技术

报表是企业管理的基本措施和途径，是企业的基本业务要求。报表就是用表格、图表等格式来动态显示直观的数据，这些数据一般都反应了企业的用户最容易变化、最可能扩展的需求。报表中的这些数据能够帮助企业访问数据、格式化数据、基于数据进行企业经营策略的研究和改进等等，由此，企业能够根据报表中的各种直观数据深入洞察企业运营状况，成为企业发展的强大驱动力。

可是，报表看似简单，实际往往会占用开发者大量的精力与资源。例如，对于很多互联网科技公司来说，为了得到能够直观反映用户的产品使用情况的报表，总是需要花费一定的人力和时间成本，来根据需求，对大量的日志信息数据进行处理，得到符合报表使用者需要的报表。然而，各个产品的报表制作需求也越来越多，传统的报表制作方式显然已经不能适应日益增长的需求。

随着诸如手机、平板电脑等移动设备的日益普及，用户如何在移动设备上使用应用程序的行为方式越来越受到开发者的关注。因此，收集这些用户在移动设备上的使用行为从而进一步提升自己产品的质量、用户体验度等，成为了开发者日益关注的需求。如何能将这些用户行为数据有序合理地收集，并以报表的方式呈现给开发者，是一项亟待解决的问题。

因此，需要一种基于用户行为日志的自动化报表分析方法，以简便、高效的方式来自动化生成报表。

发明内容

本发明的目的是提供一种基于用户行为日志的自动化报表分析方法。

根据本发明的一个方面，提供了一种基于用户行为日志的自动化报表分析方法。利用所述方法的***包括用户行为报表***以及客户端，所述用户行为报表***包括日志接收模块、配置接口、输出接口，所述方法包括如下步骤：a)所述客户端保存并上传用户行为日志文件；b)配置报表统计规则;c)根据配置，处理并保存数据;d)展示报表结果。

优选地，在步骤a中，当用户进入所述客户端的应用程序时，所述客户端自动向所述用户行为报表***的所述日志接收模块上传前一次使用应用程序时的所述用户行为日志。

优选地，在步骤b中，配置报表统计规则的步骤为：b1)定义埋点组;b2)定义埋点;b3)定义埋点参数;b4)定义参数值。

优选地，所述埋点为用于记录用户一个或一类行为的操作名称。

优选地，所述埋点组为所述埋点的集合。

优选地，步骤c中包括如下步骤：c1)对配置进行归集，建立用于存储报表数据的数据表；c2)读取所述用户行为日志文件，并对所述报表需要用到的文件数据进行转化；c3)将转化后的所述数据存入数据表。

优选地，在步骤d中，展示报表结果包括如下步骤：d1)获取基本值;d2)将所述基本值合并为报表，并通过所述输出接口向使用者展示。

优选地，所述基本值包括：埋点主体值、分组统计值、排重统计值。

优选地，所述使用者可以通过所述配置接口选择是否开启分组统计以及排重统计。

优选地，在步骤d2中，以纵向合并的方式合并所述报表。

根据本发明的基于用户行为日志的自动化报表分析方法，能够以简便、高效的方式来自动化生成报表，为企业节省人员成本，增加企业效益。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示意性示出了根据本发明的产品的***框图。

图2示意性示出了本发明的基于用户行为日志的自动化报表分析方法的流程图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

图1示意性示出了根据本发明的产品的***框图。

如图1所示，应用本发明的基于用户行为日志的自动化报表分析方法的***100包括客户端110、网络120以及用户行为报表***130。用户行为报表***130至少包括日志接收模块131、配置接口132、输出接口133。客户端110和用户行为报表***130之间通过网络120连接。出于示意性的目的，图1仅示出了一个客户端110，然而，可以理解的是在其他实施方式中，***100可以包括更多的客户端110。

所述网络120例如包括诸如内联网之类的局域网(“LAN”)和诸如互联网之类的广域网(“WAN”)。网络120可被配置为支持利用多种协议设置格式的信息的传输。另外，网络120可以是公共网络、专用网络或其组合。网络120还可以利用任何一种或多种类型的物理介质来实现，其中包括与多个服务提供商相关联的有线通信路径和无线通信路径。无线通信方式例如WiFi或WLAN、GPRS、蜂窝网络，例如GSM网络、3G网络、LTE网络或CDMA网络等等。

客户端110可以是台式计算机、膝上型计算机、智能电话、个人数字助理(PDA)、平板电脑、游戏机、多功能移动终端或者包括计算功能和数据通信能力的任何其他设备。优选地，客户端110以移动终端应用程序的形式来实现。客户端110可以通过例如web浏览器或定制应用（app）的接口方式与服务器***130进行交互和双向通信。用户可以通过从服务器***130下载并安装来实现客户端110的各种功能。移动终端可以是台式计算机、膝上型计算机、智能电话、个人数字助理(PDA)、平板电脑、游戏机、多功能移动终端或者包括计算功能和数据通信能力的任何其他设备。

客户端110能够通过网络向用户行为报表***130上传用户行为记录。优选地，在用户使用客户端110的应用程序时，上传前一次使用该应用程序时的用户行为记录。

用户行为报表***130根据从客户端110收集到的用户行为日志，以及用户行为报表***130的使用者（图1中示例性地示出了三个使用者）的对报表内容的配置，自动化地生成使用者需要的报表。

在用户行为报表***130中，日志接收模块131用于接收来自客户端110的用户行为日志。

配置接口132，使用者通过其进行对埋点组的定义，以及对报表展示方式进行配置。其中，定义埋点组时需要选择使用者希望了解的埋点，并定义埋点的参数。

输出接口133，其用于向用户展示报表结果。

图2示意性示出了根据本发明应用如图1所示的用户行为报表***的基于用户行为日志的自动化报表分析方法的流程图。用户行为报表***130根据从客户端110收集到的用户行为日志，以及用户行为报表***130的使用者的对报表内容的配置，自动化地生成使用者需要的报表。

如图2所示：

步骤210，客户端110保存并上传用户行为日志文件。

具体地，客户端110的应用程序记录用户在使用应用程序时的用户行为日志，并以文件的形式保存在客户端110中。记录用户行为日志的格式例如：“设备号产品渠道手机机型手机品牌城市id产品版本******版本ipapn上传时间维度经度定位地址设备分辨率用户所有埋点数据”。其中，埋点用于收集记录用户一个或一类行为操作名称。埋点数据包括埋点点击总数、用户总数、设备总数，埋点参数值、基于参数值粒度的点击数等。例如，游戏的埋点数据记录了用户玩的游戏的种类、时间等数据，菜品点评埋点数据记录了用户点评的菜品名、点评内容等数据。

客户端110的应用程序上传本地日志文件至用户行为报表***130的日志接收模块131，用户行为报表***130优选以日期为文件单位合并整理。优选地，当用户进入客户端110的应用程序时，客户端110会自动向用户行为报表***130的日志接收模块131上传前一次使用应用程序时的用户行为日志。

客户端记录埋点数据时，如果是有返回值的埋点数据，一次操作会记录两次：首先记录一次点击时间点的数据状况；等状态返回（得到返回值），再次记录此刻时间点的数据状况，

步骤220，用户行为报表***130的使用者（以下，简称为使用者）通过配置接口132配置报表的统计规则。具体地，按照如下顺序配置报表的统计规则：

步骤2201，定义埋点组，统计报表大部分情况下需要由多个埋点组成，埋点组负责汇集多个埋点至一张报表。一般情况下，将相同业务的埋点数据定义进一个埋点组中。

步骤2202，定义埋点，每一个定义点称作为埋点，用于表示每一个单独的操作记录。例如，若使用者选择了游戏埋点，则在后述的步骤240中会展示关于游戏的数据报表。这里，如果没有定义参数，且对该埋点选择了开启统计，则会统计该埋点各维度的记录次数。

步骤2203，定义埋点参数，有些埋点需要进行额外信息区分记录，例如，餐厅标识；又例如，对于某个通过网络获取数据的行为埋点来说，该埋点的埋点参数可以包括网络获取的成功与否。这里，网络获取失败的原因一般是网络信号差、中断、超时等。

步骤2204，定义参数值，有些埋点参数值需要特殊指定并赋予含义，例如对于网络获取的成功与否的埋点参数，可以定义1代表网络获取成功、2代表获取失败。

步骤230，根据使用者的配置，处理并保存数据。具体地，包括如下子步骤：

步骤2301，根据在步骤220中配置的报表统计规则，对配置进行归集，建立用于存储报表数据的数据表。

关于对配置的归集：埋点数据记录并不能直接适用于统计，统计需要基于以埋点名称为最基本单位，如有返回值类型的埋点，需要转化名称格式为"埋点名称"+"_in"：1)以埋点为基本单位，获取埋点名称并引入包含需要进行排重运算的参数、需要进行分组统计运算的参数；2)有返回值埋点，作为单独埋点+"_in"体现。关于有返回值的类型，例如，在获取短信验证时，点击后会有获取成功和失败的区分，成功和失败属于点击后等待获取返回值类型。

步骤2302，读取用户行为日志文件，并对报表需要用到的文件数据进行转化。具体地，

读取用户行为日志文件，其中包含文本的基本数据读取，如城市、用户、平台等；

数据转化：分为转化结果结构设计、文本截取赋值：

1)结果结构设计，将用户行为日志文件中的数据哈希map的形式存入数据表。其中，数据表中的数据格式可以由统计最小维度（即最具体划分的统计）组成，例如:埋点标识+"_"+埋点名称+"_"+城市标识+"_"+平台标识，如统计北京的ios用户量。这里，下划线的使用是文本中便于截取，数据表中的记录方式是截取后的，每个下划线分割的数据记录在单独字段中，但是同一行下划线分割的数据在数据中也是存入同一样（数据库中就是一行有很多列和excel类似）。

值设计为埋点总数记录、已读取此埋点用户标识集合、设备标识集合、排重运算的参数(key为第几个参数，value为多少不同值)键值、分组统计运算的参数(key为第几个参数，value为不同值和所对应数量)。优点在于哈希能快速高效获取已有统计值；

2)文本截取赋值，以步骤2301为条件，判断获取参数与参与值对应统计是否开启。获取结果集合已有对应维度数据：为空，存入新对应键值；不为空，在已有数据基础上累加。由于，用户行为日志是以文本的形式记录，所以程序需要区分截取各参数，并赋值给对应维度集合。

步骤2303，将转化后的数据存入数据表。具体包括：

数据合并，其合并条件为：判断结果名称是否包含in，包含踢出结果集合；遍历结果集合匹配踢出数据，得到各维度标识、埋点定义标识相同数据，合并踢出数据分组统计和排重统计集合。数据合并的具体步骤如下：

步骤1：踢出结果集（结果集中包括：关于使用者定义的所有数据）中的"_in"的数据，即做一次踢出去重，踢出"_in"的数据，统计除返回状态维度的各维度值（如城市、平台）。

步骤2：提取"_in"的数据中的具体返回值数据，将其与对应的非"_in"的数据进行合并。"_in"的数据中剩余的数据即为与非"_in"的数据的重复数据，这些数据会被删除。即，进行合并关系操作，把"_in"包含返回类型维度下的数值和非"_in"的总维度数值做上对应关系入库（便于合并展示在一张报表中）。

这里，每个"_in"的数据都对应一个非"_in"的数据；而每个非"_in"的数据不一定有与其对应的"_in"的数据。特别地，没有与其对应的"_in"的数据的情况为：非"_in"的数据为不需要返回值的埋点统计。

因为在客户端中，对于带返回值的埋点数据的记录有两次（即非"_in"的数据以及"_in"的数据），所以“数据合并”的目的是为了将日志中的关于同一埋点的记录进行合并及去重，来作为数据存储及展示的基础。

保存数据：首先保存主统计，此埋点的点击数、用户数、设备数等。后遍历保存分组统计值和排重统计值，并维护主统计对应关系。

步骤240，根据埋点组定义把多个埋点的数据归集成一张报表进行展示。特别地，用户可以通过配置接口选择展示报表的方式，灵活地查询各个维度的数据，例如，可合并统计时间、城市、平台等维度综合数据，也可分开统计所有维度单独数据值。具体地，包括如下子步骤：

步骤2401，获取基本值。基本值包括三部分：埋点主体值获取、分组统计值获取、排重统计值获取。其中，埋点主体值用于需要区分查询条件展示所选埋点组、查询维度，灵活拼写SQL，组合条件范围和分组范围；分组统计值，因为分组统计值保存了主体值的对应关系，所以不需再次判断维度，只需获取主体标识对应的所有分组统计值即可；排重统计值同分组统计值获取策略。

这里进一步对埋点主体值、分组统计值、以及排重统计值进行解释。例如在步骤220中定义了餐馆优惠券点击埋点，主体值为维度下所有点击总和，分组统计为维度下每个餐馆的点击次数，排重统计为维度下有多少不同餐馆被点击。

优选地，使用者可以通过配置接口132选择是否开启分组统计以及排重统计。

步骤2402，将获取的基本值合并为一张报表，通过输出接口133向使用者展示。

优选地，获取基本值为横向数据，每一个埋点或参数值获取都是单独数据行，以纵向合并的方式，将各个埋点的数据合并为一张报表。算法核心为，获取所有统计点集合，并以map形式对应，key为位置索引。将结果值也以map形式保存，key为对应统计点位置索引。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims

1.一种基于用户行为日志的自动化报表分析方法，利用所述方法的***包括用户行为报表***以及客户端，所述用户行为报表***包括日志接收模块、配置接口、输出接口，所述方法包括如下步骤：

a)所述客户端保存并上传用户行为日志文件；

b)配置报表统计规则;

c)根据配置，处理并保存数据;

d)展示报表结果。

2.根据权利要求1所述的方法，其特征在于，在步骤a中，当用户进入所述客户端的应用程序时，所述客户端自动向所述用户行为报表***的所述日志接收模块上传前一次使用应用程序时的所述用户行为日志。

3.根据权利要求1所述的方法，其特征在于，在步骤b中，配置报表统计规则的步骤为：

b1)定义埋点组;

b2)定义埋点;

b3)定义埋点参数;

b4)定义参数值。

4.根据权利要求3所述的方法，其特征在于，所述埋点为用于记录用户一个或一类行为的操作名称。

5.根据权利要求3所述的方法，其特征在于，所述埋点组为所述埋点的集合。

6.根据权利要求1所述的方法，其特征在于，步骤c中包括如下步骤：

c1)对配置进行归集，建立用于存储报表数据的数据表；

c2)读取所述用户行为日志文件，并对所述报表需要用到的文件数据进行转化；

c3)将转化后的所述数据存入数据表。

7.根据权利要求1所述的方法，其特征在于，在步骤d中，展示报表结果包括如下步骤：

d1)获取基本值;

d2)将所述基本值合并为报表，并通过所述输出接口向使用者展示。

8.根据权利要求7所述的方法，其特征在于，所述基本值包括：埋点主体值、分组统计值、排重统计值。

9.根据权利要求8所述的方法，其特征在于，所述使用者可以通过所述配置接口选择是否开启分组统计以及排重统计。

10.根据权利要求7所述的方法，其特征在于，在步骤d2中，以纵向合并的方式合并所述报表。