CN112685456A - 一种用户访问数据的处理方法、装置及计算机*** - Google Patents

Abstract

本申请公开了一种用户访问数据的处理方法、装置及计算机***，所述方法包括获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录，本申请将用户的访问数据根据访问日期及目标维度值进行合并，将多条原始的第一访问数据合并生成了访问记录，大大减小了历史用户数据的数据量，提升了数据的分析效率，且后续产生新的访问数据时可以通过更新日期编码的方式将新的访问数据更新到访问记录中，保证了后续的维护效率。

Description

一种用户访问数据的处理方法、装置及计算机***

技术领域

本发明涉及数据处理领域，尤其涉及一种用户访问数据的处理方法、装置及计算机***。

背景技术

随着数据分析技术的发展，用户行为数据指标可以对企业的决策、运营起到关键性作用。而为了采集用户行为数据指标并分析，需要将增量数据与历史关联数据进行比较。然而，历史用户行为数据常常未经处理，并存储在不同的分区中。所以当每次需要进行历史关联数据提取时，需要从每一分区中提取相应的用户行为数据，然后处理生成历史关联数据。而分区中日志域明细数量庞大，导致读取时需要消耗大量IO资源；且数据处理过程也需要消耗大量CPU计算资源，耗时很长。

发明内容

为了解决现有技术的不足，本发明的主要目的在于提供一种用户访问数据的处理方法、装置及计算机***，以解决现有技术的上述问题。

为了达到上述目的，第一方面本发明提供了一种用户访问数据的处理方法，所述方法包括：

获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；

根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；

根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录。

在一些实施例中，所述根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码包括：

生成初始编码，所述初始编码包括用于记录编码值的编码位；

获取用户编码与目标维度值都相同的第一访问数据对应的访问日期并排序，确定每一获取的访问日期对应的排序；

根据获取的访问日期对应的排序，确定每一获取的访问日期对应的编码位；

将所述初始编码包括的所述对应的编码位的编码值设置为第二编码值，除所述对应的编码位外的每一编码位对应的编码值设置为第一编码值；

确定设置后的所述初始编码为对应的日期编码。

在一些实施例中，所述方法包括：

获取第二访问数据；

确定包含了所述第二访问数据包括的目标维度值及用户编码的目标访问记录为所述第二访问数据对应的目标访问记录；

根据所述第二访问数据对应的访问日期及所述对应的目标访问记录对应的日期编码，生成更新的日期编码；

将所述对应的目标访问记录对应的日期编码更新为所述更新的日期编码。

在一些实施例中，所述获取第一访问数据包括：

从待处理数据表中获取用户原始访问数据；

根据所述用户原始访问数据包括的用户编码、访问日期以及目标维度对应的目标维度值，生成第一访问数据。

在一些实施例中，所述日期编码为二进制编码。

在一些实施例中，所述方法包括：

统计每一所述日期编码中包含的第二编码值的数量，生成第一统计值；

统计每一所述日期编码中包含的连续的第二编码值的数量，生成第二统计值；

可视化显示所述第一统计值及所述第二统计值。

第二方面，本申请提供了一种用户访问数据的处理装置，所述装置包括：

获取模块，用于获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；

编码模块，用于根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；

生成模块，用于根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录。

在一些实施例中，所述编码模块还可用于生成初始编码，所述初始编码包括用于记录编码值的编码位；获取用户编码与目标维度值都相同的第一访问数据对应的访问日期并排序，确定每一获取的访问日期对应的排序；根据每一访问日期对应的排序，确定每一获取的访问日期对应的编码位；将所述初始编码包括的每一所述对应的编码位的编码值设置为第二编码值，除所述对应的编码位外的每一编码位对应的编码值设置为第一编码值；确定设置后的所述初始编码为对应的日期编码。

在一些实施例中，所述装置还包括统计模块及显示模块，所述统计模块用于统计每一所述日期编码中包含的第二编码值的数量，生成第一统计值；统计每一所述日期编码中包含的连续的第二编码值的数量，生成第二统计值；所述显示模块用于可视化显示所述第一统计值及所述第二统计值。

第三方面，本申请提供了一种计算机***，所述***包括：

一个或多个处理器；

以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；

根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；

根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录。

本发明实现的有益效果为：

本申请提出了一种用户访问数据的处理方法，包括获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录，本申请将用户的访问数据根据访问日期及目标维度值进行合并，将多条原始的第一访问数据合并生成了访问记录，大大减小了历史用户数据的数据量，提升了数据的分析效率，且后续产生新的访问数据时可以通过更新日期编码的方式将新的访问数据更新到访问记录中，保证了后续的维护效率；

进一步地，本申请还提出了获取第一访问数据包括：从待处理数据表中获取用户原始访问数据；根据所述用户原始访问数据包括的用户编码、访问日期及目标维度对应的目标维度值，生成第一访问数据，本申请通过预先对原始的访问数据中提取了目标维度值等数据并根据提取的数据生成了目标访问记录，避免了每次数据分析时需要从各个分区提取原始数据进行处理，提高了数据的读写效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的数据处理流程示意图；

图2是本申请实施例提供的方法流程图；

图3是本申请实施例提供的装置结构图；

图4是本申请实施例提供的计算机***结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如背景技术所述，现有技术中用户的历史行为数据常常未经处理地存储在数据分区中，当读取时需要从每一分区中提取相应的原始用户行为数据并进行处理，不但耗费读写资源，而且需要消耗大量CPU计算资源。

为解决上述技术问题，本申请提出了一种用户访问数据的处理方法，将用户的访问数据根据访问日期及目标维度值进行合并，将多条原始的第一访问数据合并生成了访问记录，大大减小了历史用户数据的数据量，提升了数据的分析效率。

实施例一

具体的，如图1所示，使用上述方法进行数据处理的过程包括：

步骤一、按照预设的筛选规则，从待处理数据表中筛选获取相应的访问数据。

表1示出了示例性待处理数据表，包括维度A-E分别对应的维度值、会员编码及浏览日期。示例性地，当筛选规则中规定需要获取维度A、B、C分别对应的维度值和会员编码及浏览日期时，获得的访问数据即为表2所示。所述筛选规则可以根据具体的业务需求确定。

表1

维度A

维度B

维度C

维度D

维度E

会员编码

浏览日期

A01

B001

C000001

DMM

ERP

100001

20190701

A01

B001

C000001

DMM

ERP

100001

20190702

A01

B001

C000001

DMM

ERP

100001

20190703

A02

B001

C000001

DMM

ERP

100001

20190701

A01

B002

C000001

DMM

ELL

100001

20190702

A01

B002

C000003

DNN

ELL

100002

20190701

A01

B002

C000003

DNN

ELL

100002

20190704

AA01

B002

C000003

DNN

ELL

100002

20190707

A01

B002

C000003

DNN

EPP

100002

20190705

A01

B002

C000001

DQQ

ECB

100001

20190702

A01

B001

C000001

D00

EQA

100001

20190702

表2

维度A	维度B	维度C	会员编码	浏览日期
					A01	B001	C000001	100001	20190701
A01	B001	C000001	100001	20190702
					A01	B001	C000001	100001	20190703
A02	B001	C000001	100001	20190701
					A01	B002	C000001	100001	20190702
A01	B002	C000003	100002	20190701
					A01	B002	C000003	100002	20190704
A01	B002	C000003	100002	20190707
					A01	B002	C000003	100002	20190705

步骤二、对用户编码相同、每一维度的目标维度值相同的访问数据进行合并；表3示出了合并后的中间表，合并后每一数据行中浏览日期字段以ARRAY<string>数组的形式生成，目标维度值和会员编码为主键，对应的浏览日期为数组元素。具体的，可以将数组中每一浏览日期字段通过对应的数组排序函数处理成有序的列表的形式。

表3

维度A	维度B	维度C	会员编码	浏览日期
					A01	B001	C000001	100001	20190701，20190702，20190703
A02	B001	C000001	100001	20190701
					A01	B002	C000001	100001	20190702
A01	B002	C000003	100002	20190701，20190704，20190705，20190707

步骤三、根据预设的转换逻辑，将每一数据行包含的浏览日期转换为编码值；

具体的，编码值可以是二进制的。可以根据排序后有序的浏览日期，确定其中最晚的日期和最早的日期，根据最早的日期和最晚的间隔的天数，确定编码值需要包含的位数。然后根据需要包含的位数及每一浏览日期对应的排序，确定每一浏览日期对应的编码位。当编码位存在对应的浏览日期时，相应的编码位的值设置为1，当不存在时，相应编码位的值设置为0，如表4的浏览记录列所示。

根据生成的编码值、维度值和会员编码，可以生成目标访问记录。如表4所示，所有的目标访问记录组成了访问记录表。

表4

维度A	维度B	维度C	会员编码	浏览记录
					A01	B001	C000001	100001	1110000
A02	B001	C000001	100001	1000000
					A01	B002	C000001	100001	1000000
A01	B002	C000003	100002	1001101

具体的，为了进一步降低数据量、提升数据的读写效率，可以将每一维度值分别转换为二进制编码，或者将每一行目标访问记录包含的所有维度值作为一个维度组合，将维度组合转换为一个对应的二进制编码并存储每一维度组合与二进制编码的对应关系。

步骤五、当产生了新增的访问数据时，根据新增的访问数据包含的会员编码及维度值，确定对应的目标访问记录。

步骤六、根据目标访问记录包含的编码值及新增的访问记录包含的浏览日期，生成更新的编码值并将更新的编码值存储到目标访问记录中；

具体的，根据新增的浏览日期与编码值中最晚的一天相差的天数，可以确定需要编码值需要移动的位数。例如，浏览记录中1110000代表20190701到20190707的访问记录，而新增的浏览日期为20190801时，新增的浏览日期与浏览记录对应的最晚的一天间隔的天数超过了浏览记录的位数，则直接将目标访问记录的编码值更新为0000001；当新增的浏览日期为20190709时，则将编码值向前移位2位，更新的编码值为1000001。

步骤七、根据目标访问记录，生成统计值；

具体的，可以统计编码值中包含的1的数量、连续的1的数量及发生连续的次数等统计值并可视化显示，以便分析人员进行相应的分析。

实施例二

对应上述实施例，本申请提供了一种用户访问数据的处理方法，如图2所示，所述方法包括：

210、获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；

优选的，所述获取第一访问数据包括：

211、从待处理数据表中获取用户原始访问数据；

212、根据所述用户原始访问数据包括的用户编码、访问日期以及目标维度对应的目标维度值，生成第一访问数据。

220、根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；

优选的，所述根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码包括：

221、生成初始编码，所述初始编码包括用于记录编码值的编码位；

222、获取用户编码与目标维度值都相同的第一访问数据对应的访问日期并排序，确定每一获取的访问日期对应的排序；

223、根据获取的访问日期对应的排序，确定每一获取的访问日期对应的编码位；

224、将所述初始编码包括的所述对应的编码位的编码值设置为第二编码值，除所述对应的编码位外的每一编码位对应的编码值设置为第一编码值；

225、确定设置后的所述初始编码为对应的日期编码。

230、根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录。

优选的，所述方法包括：

240、获取第二访问数据；

241、确定包含了所述第二访问数据包括的目标维度值及用户编码的目标访问记录为所述第二访问数据对应的目标访问记录；

242、根据所述第二访问数据对应的访问日期及所述对应的目标访问记录对应的日期编码，生成更新的日期编码；

243、将所述对应的目标访问记录对应的日期编码更新为所述更新的日期编码。

优选的，所述日期编码为二进制编码。

优选的，所述方法包括：

250、统计每一所述日期编码中包含的第二编码值的数量，生成第一统计值；

251、统计每一所述日期编码中包含的连续的第二编码值的数量，生成第二统计值；

253、可视化显示所述第一统计值及所述第二统计值。

实施例三

对应上述实施例，本申请提供了一种用户访问数据的处理装置，如图3所示，所述装置包括：

获取模块310，用于获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；

编码模块320，用于根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；

生成模块330，用于根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录。

优选的，所述编码模块320还可用于生成初始编码，所述初始编码包括用于记录编码值的编码位；获取用户编码与目标维度值都相同的第一访问数据对应的访问日期并排序，确定每一获取的访问日期对应的排序；根据每一访问日期对应的排序，确定每一获取的访问日期对应的编码位；将所述初始编码包括的每一所述对应的编码位的编码值设置为第二编码值，除所述对应的编码位外的每一编码位对应的编码值设置为第一编码值；确定设置后的所述初始编码为对应的日期编码。

优选的，所述装置还包括统计模块及显示模块，所述统计模块用于统计每一所述日期编码中包含的第二编码值的数量，生成第一统计值；统计每一所述日期编码中包含的连续的第二编码值的数量，生成第二统计值；所述显示模块用于可视化显示所述第一统计值及所述第二统计值。

优选的，所述获取模块310还可用于获取第二访问数据；所述编码模块320还可用于确定包含了所述第二访问数据包括的目标维度值及用户编码的目标访问记录为所述第二访问数据对应的目标访问记录；根据所述第二访问数据对应的访问日期及所述对应的目标访问记录对应的日期编码，生成更新的日期编码；将所述对应的目标访问记录对应的日期编码更新为所述更新的日期编码。

优选的，所述获取模块310还可用于从待处理数据表中获取用户原始访问数据；根据所述用户原始访问数据包括的用户编码、访问日期以及目标维度对应的目标维度值，生成第一访问数据。

实施例四

对应上述方法、设备及***，本申请实施例提供一种计算机***，包括：一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；

根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；

根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录。

其中，图4示例性的展示出了计算机***的架构，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。

其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制计算机***1500运行的操作***1521，用于控制计算机***1500的低级别操作的基本输入输出***(BIOS)1522。另外，还可以存储网页浏览器1523，数据存储管理1524，以及图标字体处理***1525等等。上述图标字体处理***1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1530包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。

另外，该计算机***1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线1530等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，云服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用户访问数据的处理方法，其特征在于，所述方法包括：

获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；

根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；

根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录。

2.根据权利要求1所述的方法，其特征在于，所述根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码包括：

生成初始编码，所述初始编码包括用于记录编码值的编码位；

获取用户编码与目标维度值都相同的第一访问数据对应的访问日期并排序，确定每一获取的访问日期对应的排序；

根据获取的访问日期对应的排序，确定每一获取的访问日期对应的编码位；

将所述初始编码包括的所述对应的编码位的编码值设置为第二编码值，除所述对应的编码位外的每一编码位对应的编码值设置为第一编码值；

确定设置后的所述初始编码为对应的日期编码。

3.根据权利要求2所述的方法，其特征在于，所述方法包括：

获取第二访问数据；

确定包含了所述第二访问数据包括的目标维度值及用户编码的目标访问记录为所述第二访问数据对应的目标访问记录；

根据所述第二访问数据对应的访问日期及所述对应的目标访问记录对应的日期编码，生成更新的日期编码；

将所述对应的目标访问记录对应的日期编码更新为所述更新的日期编码。

4.根据权利要求1-3任一所述的方法，其特征在于，所述获取第一访问数据包括：

从待处理数据表中获取用户原始访问数据；

根据所述用户原始访问数据包括的用户编码、访问日期以及目标维度对应的目标维度值，生成第一访问数据。

5.根据权利要求1-3任一所述的方法，其特征在于，所述日期编码为二进制编码。

6.根据权利要求2或3所述的方法，其特征在于，所述方法包括：

统计每一所述日期编码中包含的第二编码值的数量，生成第一统计值；

统计每一所述日期编码中包含的连续的第二编码值的数量，生成第二统计值；

可视化显示所述第一统计值及所述第二统计值。

7.一种用户访问数据的处理装置，其特征在于，所述装置包括：

获取模块，用于获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；

编码模块，用于根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；

生成模块，用于根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录。

8.根据权利要求7所述的装置，其特征在于，所述编码模块还可用于生成初始编码，所述初始编码包括用于记录编码值的编码位；获取用户编码与目标维度值都相同的第一访问数据对应的访问日期并排序，确定每一获取的访问日期对应的排序；根据每一访问日期对应的排序，确定每一获取的访问日期对应的编码位；将所述初始编码包括的每一所述对应的编码位的编码值设置为第二编码值，除所述对应的编码位外的每一编码位对应的编码值设置为第一编码值；确定设置后的所述初始编码为对应的日期编码。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括统计模块及显示模块，所述统计模块用于统计每一所述日期编码中包含的第二编码值的数量，生成第一统计值；统计每一所述日期编码中包含的连续的第二编码值的数量，生成第二统计值；所述显示模块用于可视化显示所述第一统计值及所述第二统计值。

10.一种计算机***，其特征在于，所述***包括：

一个或多个处理器；

以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

获取第一访问数据，所述访问数据包括用户编码、访问日期及目标维度值；

根据用户编码与目标维度值都相同的第一访问数据对应的访问日期，生成对应的日期编码；

根据所述日期编码、所述日期编码对应的目标维度值及用户编码，生成目标访问记录。

Images