CN104252458B - 数据分析方法和装置 - Google Patents

Abstract

本发明公开了一种数据分析方法和装置，所述方法包括：接收应用程序推送的数据；根据预设的统计目标，对所述数据采用流式计算获得统计结果。所述装置包括：数据接收模块，用于接收应用程序推送的数据；统计模块，用于根据预设的统计目标，对所述数据采用流式计算获得统计结果。采用本发明技术方案，能够快速、及时地获得统计结果，满足实时性要求比较高的在线互联网应用。

Description

数据分析方法和装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据分析方法和装置。

背景技术

数据分析是指用适当的统计方法对大量数据进行分类、汇总，以求能够最大化地开发数据资料的功能。数据分析广泛应用于计算机***中，例如在游戏运营领域，通过对游戏数据进行数据分析，能够掌握整个游戏玩家的状态信息，如登录、在线量和流失情况等，从而根据玩家的状态信息，能够对游戏的规划和管理提供参考意见。

现有的数据分析方法是先将需要分析的大量数据全部存储到数据库，然后再根据统计需求对已存储的数据采用统计方法获得统计结果。因此现有的数据分析方法不能实时获得统计结果，不适用于提供在线服务的互联网应用。

发明内容

基于此，有必要针对上述技术问题，提供一种数据分析方法和装置，能够快速、及时地获得统计结果，满足实时性要求比较高的在线互联网应用。

一种数据分析方法，所述方法包括：

接收应用程序推送的数据；

根据预设的统计目标，对所述数据采用流式计算获得统计结果。

一种数据分析装置，包括：

数据接收模块，用于接收应用程序推送的数据；

统计模块，用于根据预设的统计目标，对所述数据采用流式计算获得统计结果。

上述数据分析方法和装置，接收应用程序推送的数据，并根据预设的统计目标，对数据采用流式计算获得统计结果，相比与现有技术先存储再统计的技术方案，由于采用流式计算来进行统计，能够快速、及时地获得统计结果，满足实时性要求较高的在线互联网应用。

附图说明

图1为一个实施例中的数据分析方法的流程示意图；

图2为另一个实施例中的数据分析方法的流程示意图；

图3为一个实施例中的数据分析方法的应用场景图；

图4为又一个实施例中的数据分析方法的流程示意图；

图5为一个实施例中的数据分析装置的结构框图；

图6为一个实施例中的数据分析装置的结构框图和应用场景图；

图7为另一个实施例中的数据分析装置的结构框图和应用场景图；

图8为一个实施例中的实时统计模块的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，在一个实施例中，提供了一种数据分析方法，本方法可以但不限于应用于游戏数据分析，也可以应用于其它计算机智能分析领域。本方法包括：

步骤102，接收应用程序推送的数据。

本实施例中，所要分析的数据由应用程序推送。应用程序可以是游戏运行相关程序或其它软件程序。为便于本方法进行数据分析处理，可以预先对应用程序推送的数据定义好数据格式。接收应用程序推送的数据后，可以将数据进行缓存或存储到数据库中。

步骤104，根据预设的统计目标，对数据采用流式计算获得统计结果。

本实施例中，提取已经缓存或存储在数据库中的数据，根据数据预先定义的数据格式进行分析，按照预设的统计目标进行分类和汇总，采用流式计算方式以累加的形式得到最终的统计结果。其中预设的统计目标，以游戏数据分析举例来说，可以包括日活跃用户、活跃用户IP（IP，Internet Protocol，网络协议）地区分布、活跃用户游戏等级分布等统计目标。采用流式计算方式可以是接收应用程序推送的数据并同时进行累加统计的方式，也可以预先将需要分析的数据分成多个部分，每次接收其中的一个部分并根据统计目标进行统计得到一个中间结果，最后将中间结果进行累加得到统计结果。本实施例得到的最终的统计结果，可以后续提供给其它分析软件进行应用，也可以固化更新到数据库中，以供查询或调用。

本实施例中，接收应用程序推送的数据，并根据预设的统计目标，对数据采用流式计算获得统计结果，相比与现有技术先存储再统计的技术方案，由于采用流式计算来进行统计，能够快速、及时地获得统计结果，满足实时性要求较高的在线互联网应用。

参见图2，在另一个实施例中，一种数据分析方法，其流程包括：

步骤202，实时接收应用程序推送的数据，并把数据缓存在Redis先进先出队列中。

实时接收应用程序推送的数据，其中的数据已预先定义了数据格式。例如在本实施例中，以游戏数据分析为例，数据的格式为JSON数据格式（JSON，Java Script ObjectNotation，Java脚本目标格式，一种轻量级的数据交换格式），其包含的字段如表1所示：

表1

lmode	整形	游戏数据类型，如登录数据、注册数据、流水数据等
			uid	整形	数据所有者ID
ltime	整形	数据产生时间、时间戳
			luip	字符串	数据所有者的IP地址
ldata	数组	详细游戏数据内容，根据游戏数据类型来定

例如，以一条数据举例说明，该数据为：

{“lmode”:1,“uid”:1,“ltime”:1368784546,“luip”:“192.168.100.146”,“ldata”:{“level”:10,“money”:3000,“uplogin”:1368764546,“login”:1368784546}}。

则“lmode”:1字段表示该数据的游戏数据类型为1，对应于登录数据。“uid”:1字段表示游戏数据所有者的用户ID（ID，Identity，身份标识）为1。“ltime”:1368784546字段表示该数据产生的时间戳为1368784546。“luip”:“192.168.100.146”字段代表数据所有者的IP地址为192.168.100.146。ldata字段根据不同的游戏数据类型有不同的定义，例如在登录数据类型中定义了登录等级、登录游戏币、上次登录时间戳以及本次登录时间戳，因此本例中，“ldata”:{“level”:10,“money”:3000,“uplogin”:1368764546,“login”:1368784546}字段，代表了登录等级为10级、登录游戏币为3000、上次登录时间戳为1368764546，以及本次登录时间戳为1368784546。

本实施例中，通过接口函数接收JSON格式的数据，该接口函数的参数为JSON数据格式中的各字段（如lmode字段、uid字段等），接收到各字段后，再将各字段组装为JSON数据格式。

接收到应用程序推送的数据后，将数据缓存在Redis先进先出队列中。其中Redis是一个高性能的key-value存储***，它支持的value类型相对更多，包括字符串（string）、列表（list）、集合（set）、有序集合（zset）和哈希（hashs）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，并且这些操作都是原子性的。Redis的数据都是缓存在内存中，效率很高。

数据存储到Redis先进先出队列中，可以通过接口函数将数据提出，以供后续的统计分析。

步骤204，从Redis先进先出队列中提取数据。

步骤206，对提取的数据进行合法性验证，判断数据是否合法，若合法，执行步骤208，否则丢弃该数据，返回步骤204，重新提取数据。

根据数据预先定义的数据格式对提取的数据进行合法性验证。例如，应用本方法进行游戏数据分析时，数据采用表1的数据格式时，合法性验证可以包括对lmode、uid、ltime、luip、ldata字段的数据类型进行验证，例如判断lmode字段是不是整形，当游戏数据类型为登录数据时，判断ldata中的等级（level）是不是整形等。当提取的数据通过合法性验证，执行步骤208，否则丢弃该数据，重新提取数据，并记录错误日志。

步骤208，根据预设的统计目标，对数据进行去重。

在本实施中，如果数据合法，根据预设的统计目标判断数据是否需要去重，若需要去重，调用Redis接口进行去重。

以数据采用表1中的数据格式为例，例如统计目标包括游戏的日活跃用户量，而该统计目标预先设置为需要进行去重，则根据数据的uid字段和ltime字段生成Redis的key，调用SETNX（SETNX，Redis提供的应用程序接口，用于将key值设为value，在内存中检索key，当key不存在时返回值为true）判断该数据是否存在过Redis缓存队列中，若没有存在过则是有效的数据，需要进行相关统计目标的累加统计，否则对该数据不做统计。

步骤210，调用Redis累加函数对预设的统计目标进行累加计数，得到统计结果。

本实施例中，根据数据的数据格式和预设的统计目标，对数据进行分类汇总，采用Redis累加函数进行累加计数得到最终的统计结果。

以数据采用表1的数据格式为例，预设的统计目标包括日活跃用户量和日活跃IP地区分布。设数据为：

{“lmode”:1,“uid”:1,“ltime”:1368784546,“luip”:“192.168.100.146”,“ldata”:{“level”:10,“money”:3000,“uplogin”:1368764546,“login”:1368784546}}。

则统计时，根据uid字段、登录时段（对应于该统计日的时间戳范围）生成Redis的缓存key，对提取的数据进行监控，调用Redis累加函数对日活跃用户量进行累加计数；相应的，根据luip字段和登录时段（对应于该统计日的时间戳范围）生成Redis的缓存key，对提取的数据进行监控，调用Redis累加函数对日活跃IP地址进行累加计数。

本实施例得到的统计结果，可以缓存在Redis缓存中，以供后续提供给用户端查询、或提供给应用程序应用或固化在数据库中。

步骤212，提取统计结果，并更新到统计结果数据库中。

在本实施中，定时调用接口函数，按照预设的统计目标依次提取出统计结果，并把结果更新到统计结果数据库中。

参见图3，提供了一种数据分析方法的应用场景。由应用程序302向队列***304推送数据。应用程序302推送的数据已预先定义好数据了格式，例如JSON数据格式。队列***304可以但不限于是采用包含FIFO（FIFO，First Input and First Output，先进先出）存储芯片的硬件***。队列***304接收推送的数据并进行格式化，例如为JSON格式，并添加到Redis队列服务器310的先进先出队列中，并按照先进先出的次序将数据提出给统计***306。统计运算***306可以但不限于是采用具有统计计算功能的芯片来实现，统计运算***306对提取的数据进行合法性验证，再经过去重处理，按照预设的统计目标进行累加得到统计结果，并把统计结果缓存在Redis缓存服务器312中。统计运算***306还提供了查询功能。存储***308提取统计结果存入统计结果数据库314中，存储***308也提供了查询功能。

参见图4，在又一个实施例中，提供了一种数据分析方法，其流程包括：

步骤402，定时接收应用程序推送的数据，并把数据更新到推送数据数据库中。

本实施例中，定时（例如可以设置为每隔一小时）接收应用程序推送的数据，把数据存储到推送数据数据库中，该推送数据数据库可以是分布式数据库或关系型数据库。

步骤404，每次推送数据数据库更新后，根据预设的统计目标，调用推送数据数据库统计函数对存储在推送数据数据库中的数据进行统计，得到临时统计结果，并将每次得到的临时统计结果进行累加得到统计结果。

数据存储到推送数据数据库之后，根据预设的统计目标，调用推送数据数据库统计函数，如COUNT函数（计数函数）、SUM函数（求和函数）等对当前存储在推送数据数据库中的数据进行统计，得到临时统计结果。之后，清除推送数据数据库中的数据并再次接收应用程序推送的数据，进行统计，将每次得到的临时统计结果进行累加得到最终的统计结果。

步骤406，将最终的统计结果保存至统计结果数据库中。

在本实施例中，每次推送数据数据库更新后，调用推送数据数据库统计函数进行统计，得到临时统计结果，并将临时统计结果进行累加得到的最终的统计结果更新到统计结果数据库中。

参见图5，在一个实施例中，提供了一种数据分析装置，包括：

数据接收模块502，用于接收应用程序推送的数据。

统计模块504，用于根据预设的统计目标，对数据采用流式计算获得统计结果。

参见图6，在一个实施例中，一种数据分析装置，其中，数据接收模块502包括实时接收模块602，统计模块504包括实时统计模块604。

实时接收模块602，用于实时接收应用程序600推送的数据，并把数据缓存在Redis先进先出队列608中。

参见图8，在本实施例中，实时统计模块604包括：数据提取单元6042，用于从Redis先进先出队列608中提取数据。验证单元6044，用于对提取的数据进行合法性验证。去重单元6046，用于根据预设的统计目标，对数据进行去重。累加单元6048，用于调用Redis累加函数对预设的统计目标进行累加计数，得到统计结果，并把统计结果缓存在Redis缓存610中。

在本实施例中，该数据分析装置还包括统计结果提取模块506，统计结果提取模块506包括第一提取模块606，用于提取实时统计模块604进行统计得到的统计结果，并更新到第一统计结果数据库612中。

参见图7，在一个实施例中，一种数据分析装置，其中数据接收模块502包括实时接收模块602和定时接收模块702，统计模块504包括实时统计模块604和定时统计模块704。统计结果提取模块506包括第一提取模块606和第二提取模块706。

实时接收模块602，用于实时接收应用程序700推送的数据，并把数据缓存在Redis先进先出队列608中。

参见图8，在本实施例中，实时统计模块604包括：数据提取单元6042，用于从Redis先进先出队列608中提取数据。验证单元6044，用于对提取的数据进行合法性验证。去重单元6046，用于根据预设的统计目标，对数据进行去重。累加单元6048，用于调用Redis累加函数对预设的统计目标进行累加计数，得到统计结果，并把统计结果缓存在Redis缓存610中。

第一提取模块606，用于提取实时统计模块604进行统计得到的统计结果，并更新到第一统计结果数据库612中。

本实施中，定时接收模块702，用于定时接收应用程序700推送的数据，并把数据更新到推送数据数据库708中。

定时统计模块704，用于每次推送数据数据库708更新后，根据预设的统计目标，调用推送数据数据库统计函数对存储在推送数据数据库708中的数据进行统计，得到临时统计结果，并将每次得到的临时统计结果进行累加得到统计结果。

第二提取模块706，用于提取定时统计模块704进行统计得到的临时统计结果和最终的统计结果，并更新到第二统计结果数据库712中。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种数据分析方法，所述方法包括：

接收应用程序推送的数据，包括：实时接收应用程序推送的数据，所述数据的格式为JSON格式，所述JSON格式的字段包含数据类型、数据所有者ID、数据产生时间、时间戳、数据所有者的IP地址和详细数据内容，并把所述数据缓存在Redis先进先出队列中；

根据预设的统计目标，对所述数据采用流式计算获得统计结果，包括：从所述Redis先进先出队列中提取数据，并对所述数据进行合法性验证，若未通过验证，则重新提取数据，若通过验证，则调用Redi s累加函数对预设的统计目标进行累加计数，得到所述统计结果，其中，流式计算还包括预先将需要分析的数据分成多个部分，每次接收其中的一个部分数据并根据统计目标进行统计得到中间结果，将所述中间结果进行累加得到统计结果。

2.根据权利要求1所述的方法，其特征在于，在所述调用Redis累加函数对预设的统计目标进行累加计数前，还包括：

根据预设的统计目标，对所述数据进行去重。

3.根据权利要求1至2任一项所述的方法，其特征在于，所述接收应用程序推送的数据还包括:

定时接收应用程序推送的数据，并把所述数据更新到推送数据数据库中；

所述根据预设的统计目标，对所述数据采用流式计算获得统计结果还包括：

每次所述推送数据数据库更新后，根据预设的统计目标，调用推送数据数据库统计函数对存储在推送数据数据库中的数据进行统计，得到临时统计结果，并将每次得到的临时统计结果进行累加得到所述统计结果。

4.根据权利要求1所述的方法，其特征在于，在所述根据预设的统计目标，对所述数据采用流式计算获得统计结果的步骤之后，还包括：

提取所述统计结果，并更新到统计结果数据库中。

5.一种数据分析装置，其特征在于，包括：

数据接收模块，用于接收应用程序推送的数据，所述数据接收模块包括实时接收模块，用于实时接收应用程序推送的数据，所述数据的格式为JSON格式，所述JSON格式的字段包含数据类型、数据所有者ID、数据产生时间、时间戳、数据所有者的IP地址和详细数据内容，并把所述数据缓存在Redis先进先出队列中；

统计模块，用于根据预设的统计目标，对所述数据采用流式计算获得统计结果，所述统计模块包括实时统计模块，所述实时统计模块包括数据提取单元，用于从所述Redis先进先出队列中提取数据；验证单元，用于对所述数据进行合法性验证；累加单元，用于调用Redis累加函数对预设的统计目标进行累加计数，得到所述统计结果,其中，流式计算还包括预先将需要分析的数据分成多个部分，每次接收其中的一个部分数据并根据统计目标进行统计得到中间结果，将所述中间结果进行累加得到统计结果。

6.根据权利要求5所述的装置，其特征在于，所述实时统计模块还包括去重单元，用于根据预设的统计目标，对所述数据进行去重。

7.根据权利要求5至6任一项所述的装置，其特征在于，所述数据接收模块进一步包括定时接收模块，用于定时接收应用程序推送的数据，并把所述数据更新到推送数据数据库中；

所述统计模块进一步包括定时统计模块，用于每次所述推送数据数据库更新后，根据预设的统计目标，调用数据库统计函数对存储在推送数据数据库中的数据进行统计，得到临时统计结果，并将每次得到的临时统计结果进行累加得到所述统计结果。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括统计结果提取模块，用于提取所述统计结果，并更新到统计结果数据库中。