CN104199879A - 一种数据处理方法和数据处理装置 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法，包括：从预设的指定表中获取二进制数据；所述指定表中存储的二进制数据为通过protobuf库将采集的原始数据进行序列化而得到的二进制数据；通过protobuf的语言库中提供的应用程序编程接口对所述二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构；输出所述数据结构本发明还公开了数据处理方法终端，采用本发明，解决了现有技术中统计字段不够结构化，可读性不强的技术问题，更加有利于技术人员分析用户的使用数据，能满足快速发布产品的需求。

Description

一种数据处理方法和数据处理装置

技术领域

本发明涉及计算机领域，尤其涉及一种数据处理方法和数据处理装置。

背景技术

随着电子科技以及互联网的发展，电子终端的功能越来越强大，比如只要用户按照自身的需求在电子终端上安装各种客户端产品(例如在智能移动终端上安装移动app)，便可以得到很多咨询信息，甚至可以足不出户地完成很多事情，人们的生活越来越离不开电子终端。

随着客户端产品的体验和功能不断增加，到底哪些是用户真正关心的，哪些是用户更加想要的，需要技术开发人员和产品设计人员在研发出各种客户端产品后，通过采集得到用户使用产品的习惯，或者用户使用产品的条件(如硬件配置)等等数据，去改善产品，使产品更加完善；然而，在采集分析数据的过程中，往往以传统的超文本传输协议(HTTP-Hypertext transfer protocol，HTTP)来上报数据，统计字段不够结构化，可读性不强，不利于技术开发人员和产品设计人员去分析用户使用产品的习惯。

发明内容

本发明实施例所要解决的技术问题在于，提供数据处理方法以及数据处理装置，解决了现有技术中统计字段不够结构化，可读性不强的技术问题，更加有利于技术人员分析用户的使用数据。

为了解决上述技术问题，本发明实施例第一方面公开了一种数据处理方法，包括

从预设的指定表中获取二进制数据；所述指定表中存储的二进制数据为通过protobuf库将采集的原始数据进行序列化而得到的二进制数据；

通过protobuf的语言库中提供的应用程序编程接口对所述二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构；

输出所述数据结构。

结合第一方面，在第一种可能的实现方式中，所述将所述二进制数据反序列化为对应的proto文件中的数据结构包括：

根据protobuf的语言库中提供的应用程序编程接口，将预定好的数据结构解析成语言能够解析的数据结构，以递归地读取到所述二进制数据对应的proto文件中的原始数据。

结合第一方面，在第二种可能的实现方式中所述输出所述数据结构包括：

将所述数据结构存储到指定的数据库表中；或者

将所述数据结构生成指定的图表格式的数据，并进行输出。

结合第一方面，或者第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述从预设的指定表中获取二进制数据之前，还包括：

确定需要采集的数据结构，根据所述确定的数据结构采集得到原始数据；

通过protobuf库将采集的原始数据进行序列化得到二进制数据；

将所述二进制数据上报到预设的指定表中。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述确定需要采集的数据结构之后，还包括对所述确定的数据结构进行以下至少一项处理：

添加上报的数据结构；或者

删除上报的数据结构；或者

修改上报的数据结构。

本发明实施例第二方面公开了一种数据处理装置，包括：

数据获取模块，用于从预设的指定表中获取二进制数据；所述指定表中存储的二进制数据为通过protobuf库将采集的原始数据进行序列化而得到的二进制数据；

数据解析模块，用于通过protobuf的语言库中提供的应用程序编程接口对所述二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构；

数据输出模块，用于输出所述数据结构。

结合第二方面，在第一种可能的实现方式中，所述数据解析模块包括：

递归读取单元，用于根据protobuf的语言库中提供的应用程序编程接口，将预定好的数据结构解析成语言能够解析的数据结构，以递归地读取到所述二进制数据对应的proto文件中的原始数据。

结合第二方面，在第二种可能的实现方式中，所述数据输出模块包括：

数据存储单元，用于将所述数据结构存储到指定的数据库表中；或者

生成输出单元，用于将所述数据结构生成指定的图表格式的数据，并进行输出。

结合第二方面，或者第二方面的第一种可能的实现方式，或者第二方面的第二种可能的实现方式，在第三种可能的实现方式中，还包括：

确定采集模块，用于在所述数据获取模块从预设的指定表中获取二进制数据之前，确定需要采集的数据结构，根据所述确定的数据结构采集得到原始数据；

数据序列化模块，用于通过protobuf库将采集的原始数据进行序列化得到二进制数据；

数据上报模块，用于将所述二进制数据上报到预设的指定表中。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，还包括：

数据结构处理模块，用于在所述确定采集模块确定需要采集的数据结构之后，对所述确定的数据结构进行以下至少一项处理：

添加上报的数据结构；或者

删除上报的数据结构；或者

修改上报的数据结构。

本发明实施例第三方面公开了一种计算机存储介质，所述计算机存储介质存储有程序，所述程序执行时包括本发明实施例第一方面，或者第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，或者第一方面的第三种可能的实现方式，或者第一方面的第四种可能的实现方式中公开的数据处理方法的全部步骤。

实施本发明实施例，具有如下有益效果：

通过实施本发明实施例，通过protobuf的语言库中提供的应用程序编程接口对采集得到的二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构，实现了动态地转换数据结构，解决了现有技术中统计字段不够结构化，可读性不强的技术问题，更加有利于技术人员分析用户的使用数据，在需要统计分析用户的指定数据时，当需要添加上报数据时，无需在解析端对应地添加解析字段，实现了同步快速地进行数据结构的解析，能更加灵活地解析数据，能满足快速发布产品的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的数据处理方法的流程示意图；

图2是本发明提供的指定的图表格式的示意图；

图3是本发明提供的数据处理方法的另一实施例的流程示意图；

图4是本发明提供的数据处理装置的结构示意图；

图5是本发明提供的数据输出模块的结构示意图；

图6是本发明提供的数据处理装置的另一实施例的结构示意图；

图7是本发明数据处理装置的另一实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的数据处理方法的流程示意图，该方法包括：

步骤S100：从预设的指定表中获取二进制数据；所述指定表中存储的二进制数据为通过protobuf库将采集的原始数据进行序列化而得到的二进制数据；

具体地，数据处理装置可以定时地从指定表中获取二进制数据，比如以天为单位，可以预设地在每天的凌晨1点(不限于该指定时间，还可以为2点、3点等其他时间)从预设的指定表中获取或拉取前一天上报的二进制数据。

步骤S102：通过protobuf的语言库中提供的应用程序编程接口对所述二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构；

具体地，protobuf是一个开源项目，是用于结构化数据串行化的灵活、高效、自动的方法；本发明实施例中的protobuf的语言库包括但不限于C、C++、python等语言的语言库；该数据处理装置通过protobuf的语言库(比如python库)中提供的相应的应用程序编程接口(Application Programming Interface，API)对该二进制数据进行解析，将该二进制数据反序列化为对应的proto文件中的数据结构；本发明实施例中的proto文件是通过protobuf语言来定义消息类型生成的文件，proto文件可以定义多个消息类型。

进一步地，根据protobuf的语言库中提供的应用程序编程接口，可以将预定好的数据结构解析成语言能够解析的数据结构，以递归地读取到所述二进制数据对应的proto文件中的原始数据，实现了动态地转换数据结构，当后续需要添加上报数据时，无需在解析端对应地添加解析字段，特别是需要添加或修改大量上报数据时，避免了现有技术中需要大量人力来修改解析字段的问题，实现了同步快速地进行数据结构的解析，能更加灵活地解析数据。

步骤S104：输出所述数据结构。

具体地，该数据处理装置可以将所述数据结构存储到指定的数据库表中；或者将所述数据结构生成指定的图表格式的数据，并进行输出，例如生成指定的超文本标记语言(HyperText Mark-up Language，HTML)图表格式，例如图2示出的本发明提供的指定的图表格式的示意图，通过发送邮件或其它方式输出给相关技术人员。

再进一步地，如图3示出的本发明提供的数据处理方法的另一实施例的流程示意图，该方法包括：

步骤S300：确定需要采集的数据结构，根据所述确定的数据结构采集得到原始数据；

具体地，可以针对不同的客户端产品确定需要采集的数据结构，比如针对某产品确定了采集用户的机器配置，包括***类型、CPU核心数、物理内存等数据结构，或者用户单击、双击或者右键单击某个区域时，采集相关被单击、双击或右键单击的区域信息，那么在用户启动该产品时，即采集上述确定的数据结构，得到原始数据；确定需要采集的数据结构可以通过下面字段来实现：

可理解的是，进行数据采集的时可以预先设置采集的时间段，比如用户启动操作某产品的整个过程，或者用户启动某产品的前5分钟内等等，在该预设的时间段内来采集原始数据。

步骤S302：通过protobuf库将采集的原始数据进行序列化得到二进制数据；

步骤S304：将所述二进制数据上报到预设的指定表中；

步骤S306：从预设的指定表中获取二进制数据；

步骤S308：通过protobuf的语言库中提供的应用程序编程接口对所述二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构；

步骤S310：输出所述数据结构。

具体地，步骤S306至步骤S310可以参考上述实施例中的步骤S100至步骤S104，这里不再赘述。

需要说明的是，本发明实施例在步骤S300之后，还可以包括对所述确定的数据结构进行以下至少一项处理：

添加上报的数据结构；或者

删除上报的数据结构；或者

修改上报的数据结构。

具体地，例如以上述确定采集的message为例，当技术人员需要增加一个上报数据，比如添加一个用户分辨率时，只需要添加一个字段“optional stringstr_resolution＝8”即可，增加后的messagePerfProcessInfo可以如下：

可理解的是，本发明实施例中确定需要采集的数据结构不限定于上述实施例中messagePerfProcessInfo的表现形式，只要能表明确定需要采集的数据结构即可；上述实施例中每一个message可以对应一个proto文件。

通过实施本发明实施例，通过protobuf的语言库中提供的应用程序编程接口对采集得到的二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构，实现了动态地转换数据结构，解决了现有技术中统计字段不够结构化，可读性不强的技术问题，更加有利于技术人员分析用户的使用数据，在需要统计分析用户的指定数据时，当需要添加上报数据时，无需在解析端对应地添加解析字段，实现了同步快速地进行数据结构的解析，能更加灵活地解析数据，能满足快速发布产品的需求。

为了便于更好地实施本发明实施例的上述方案，本发明还对应提供了一种数据处理装置，如图4示出的本发明提供的数据处理装置的结构示意图，数据处理装置40可以包括：数据获取模块400、数据解析模块402和数据输出模块404，其中，

数据获取模块400用于从预设的指定表中获取二进制数据；所述指定表中存储的二进制数据为通过protobuf库将采集的原始数据进行序列化而得到的二进制数据；

数据解析模块402用于通过protobuf的语言库中提供的应用程序编程接口对所述二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构；

具体地，数据输出模块402可以包括递归读取单元，用于根据protobuf的语言库中提供的应用程序编程接口，将预定好的数据结构解析成语言能够解析的数据结构，以递归地读取到所述二进制数据对应的proto文件中的原始数据。

数据输出模块404用于输出所述数据结构。

进一步地，如图5示出的本发明提供的数据输出模块的结构示意图，数据输出模块404可以包括数据存储单元4040或者生成输出单元4042，图5中以都包括数据存储单元4040或者生成输出单元4042为例进行说明，其中

数据存储单元4040用于将所述数据结构存储到指定的数据库表中；或者

生成输出单元4042用于将所述数据结构生成指定的图表格式的数据，并进行输出。

再进一步地，如图6示出的本发明提供的数据处理装置的另一实施例的结构示意图，数据处理装置40包括数据获取模块400、数据解析模块402和数据输出模块404外，还可以包括确定采集模块406、数据序列化模块408和数据上报模块4010，其中

确定采集模块406用于在所述数据获取模块从预设的指定表中获取二进制数据之前，确定需要采集的数据结构，根据所述确定的数据结构采集得到原始数据；

数据序列化模块408用于通过protobuf库将采集的原始数据进行序列化得到二进制数据；

数据上报模块4010用于将所述二进制数据上报到预设的指定表中。

具体地，数据处理装置40还可以包括数据结构处理模块4012，用于在所述确定采集模块确定需要采集的数据结构之后，对所述确定的数据结构进行以下至少一项处理：

添加上报的数据结构；或者

删除上报的数据结构；或者

修改上报的数据结构。

需要说明的是，本发明实施例中的数据处理装置40可以为后台服务器、也可以为客户端，本发明实施例中的客户端可以为个人计算机、平板电脑、个人数码助理、智能移动终端或其它电子设备等；

可理解的是，本发明实施例中的数据处理装置40的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

请参阅图7，图7是本发明数据处理装置的另一实施例的结构示意图。其中，如图7所示，该数据处理装置70可以包括：至少一个处理器701，例如CPU，至少一个网络接口704，用户接口703，存储器705，至少一个通信总线702以及显示屏706。其中，通信总线702用于实现这些组件之间的连接通信。其中，用户接口703可以包括显示屏(Display)7，可选用户接口703还可以包括标准的有线接口、无线接口。网络接口704可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器705可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器705可选的还可以是至少一个位于远离前述处理器701的存储装置。如图7所示，作为一种计算机存储介质的存储器705中可以包括操作***、网络通信模块、用户接口模块以及数据处理程序。

在图7所示的数据处理装置70中，当数据处理装置70为客户端时，该网络接口704主要用于连接服务器，与服务器进行数据通信；当数据处理装置70为服务器时，该网络接口704主要用于连接客户端，与客户端进行数据通信；而处理器701可以用于调用存储器705中存储的信息显示处理程序，并执行以下操作：

从预设的指定表中获取二进制数据；所述指定表中存储的二进制数据为通过protobuf库将采集的原始数据进行序列化而得到的二进制数据；

通过protobuf的语言库中提供的应用程序编程接口对所述二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构；

输出所述数据结构。

具体地，处理器701将所述二进制数据反序列化为对应的proto文件中的数据结构可以包括：

根据protobuf的语言库中提供的应用程序编程接口，将预定好的数据结构解析成语言能够解析的数据结构，以递归地读取到所述二进制数据对应的proto文件中的原始数据。

具体地，处理器701执行输出所述数据结构可以包括：

将所述数据结构存储到指定的数据库表中；或者

将所述数据结构生成指定的图表格式的数据，并进行输出。

具体地，处理器701从预设的指定表中获取二进制数据之前，还可以执行：

确定需要采集的数据结构，根据所述确定的数据结构采集得到原始数据；

通过protobuf库将采集的原始数据进行序列化得到二进制数据；

将所述二进制数据上报到预设的指定表中。

具体地，处理器701在确定需要采集的数据结构之后，还可以对所述确定的数据结构进行以下至少一项处理：

添加上报的数据结构；或者

删除上报的数据结构；或者

修改上报的数据结构。

可理解的是，本发明实施例中的数据处理装置70的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

综上所述，实施本发明实施例，通过protobuf的语言库中提供的应用程序编程接口对采集得到的二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构，实现了动态地转换数据结构，解决了现有技术中统计字段不够结构化，可读性不强的技术问题，更加有利于技术人员分析用户的使用数据，在需要统计分析用户的指定数据时，当需要添加上报数据时，无需在解析端对应地添加解析字段，实现了同步快速地进行数据结构的解析，能更加灵活地解析数据，能满足快速发布产品的需求。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

从预设的指定表中获取二进制数据；所述指定表中存储的二进制数据为通过protobuf库将采集的原始数据进行序列化而得到的二进制数据；

通过protobuf的语言库中提供的应用程序编程接口对所述二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构；

输出所述数据结构。

2.如权利要求1所述的方法，其特征在于，所述将所述二进制数据反序列化为对应的proto文件中的数据结构包括：

根据protobuf的语言库中提供的应用程序编程接口，将预定好的数据结构解析成语言能够解析的数据结构，以递归地读取到所述二进制数据对应的proto文件中的原始数据。

3.如权利要求1所述的方法，其特征在于，所述输出所述数据结构包括：

将所述数据结构存储到指定的数据库表中；或者

将所述数据结构生成指定的图表格式的数据，并进行输出。

4.如权利要求1-3任一项所述的方法，其特征在于，所述从预设的指定表中获取二进制数据之前，还包括：

确定需要采集的数据结构，根据所述确定的数据结构采集得到原始数据；

通过protobuf库将采集的原始数据进行序列化得到二进制数据；

将所述二进制数据上报到预设的指定表中。

5.如权利要求4所述的方法，其特征在于，所述确定需要采集的数据结构之后，还包括对所述确定的数据结构进行以下至少一项处理：

添加上报的数据结构；或者

删除上报的数据结构；或者

修改上报的数据结构。

6.一种数据处理装置，其特征在于，包括：

数据获取模块，用于从预设的指定表中获取二进制数据；所述指定表中存储的二进制数据为通过protobuf库将采集的原始数据进行序列化而得到的二进制数据；

数据解析模块，用于通过protobuf的语言库中提供的应用程序编程接口对所述二进制数据进行解析，将所述二进制数据反序列化为对应的proto文件中的数据结构；

数据输出模块，用于输出所述数据结构。

7.如权利要求6所述的装置，其特征在于，所述数据解析模块包括：

递归读取单元，用于根据protobuf的语言库中提供的应用程序编程接口，将预定好的数据结构解析成语言能够解析的数据结构，以递归地读取到所述二进制数据对应的proto文件中的原始数据。

8.如权利要求6所述的装置，其特征在于，所述数据输出模块包括：

数据存储单元，用于将所述数据结构存储到指定的数据库表中；或者

生成输出单元，用于将所述数据结构生成指定的图表格式的数据，并进行输出。

9.如权利要求6-8任一项所述的装置，其特征在于，还包括：

确定采集模块，用于在所述数据获取模块从预设的指定表中获取二进制数据之前，确定需要采集的数据结构，根据所述确定的数据结构采集得到原始数据；

数据序列化模块，用于通过protobuf库将采集的原始数据进行序列化得到二进制数据；

数据上报模块，用于将所述二进制数据上报到预设的指定表中。

10.如权利要求9所述的装置，其特征在于，还包括：

数据结构处理模块，用于在所述确定采集模块确定需要采集的数据结构之后，对所述确定的数据结构进行以下至少一项处理：

添加上报的数据结构；或者

删除上报的数据结构；或者

修改上报的数据结构。