CN107133329B - 数据处理方法、数据处理装置及存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、数据处理装置及存储介质，所述处理方法首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，当存储值不为空时，进行数据去重；当存储值为空时，对协议号对应的存储值进行更新；更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

Description

数据处理方法、数据处理装置及存储介质

技术领域

本发明属于数据处理领域，尤其涉及一种数据处理方法、数据处理装置及存储介质。

背景技术

随着大数据时代的来临，各类型的数据呈井喷式增长，这为数据分析行业带来了前所未有的机遇和挑战。其中，交集的去重计数，属于大数据统计中最基础、且频繁使用的运算方法之一。

现有的交集去重计数方法，其操作步骤概述如下：首先，建立N个集合，所述集合中缓存所有用于去重的主键(Key)，以下以对协议进行统计为例，其中N个集合可以理解为对应N个协议；然后，将接收的每条数据存储为存储值(Value)，根据协议号找到本协议对应的集合，判断其主键是否存在于第N集合；如果不存在，再遍历其它N-1个集合，查看主键是否在N-1个集合中都存在，如果都存在，则统计计数加1。

现有的交集去重计数方法具有如下缺陷：需要缓存大量的主键，进而消耗大量内存；需要将多个集合进行互相参照，计算效率低下。

发明内容

本发明的目的在于提供一种数据处理方法、数据处理装置及存储介质，旨在提高减少对内存的消耗、并提高计算效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种数据处理方法，包括：

接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据；

根据解析数据中的全局唯一标识符查询所述协议号对应的存储值；

当所述存储值不为空时，将进行数据去重；

当所述存储值为空时，对所述协议号对应的存储值进行更新；以及

更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。

为解决上述技术问题，本发明实施例还提供以下技术方案：

一种数据处理装置，包括：

解析模块，用于接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据；

查询模块，用于根据解析数据中的全局唯一标识符查询协议号对应的存储值；

去重模块，用于当存储值不为空时，进行数据去重；

更新模块，用于当存储值为空时，对缓所述协议号对应的存储值进行更新；以及

统计模块，用于更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。

为解决上述技术问题，本发明实施例还提供以下技术方案：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述数据处理方法。

本发明实施例提供的数据处理方法、数据处理装置及存储介质，首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，并根据查询结果去重或对存储值进行更新。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。

图1为本发明实施例提供的数据处理方法的流程示意图；

图2为本发明实施例提供的数据处理方法的另一流程示意图；

图3为本发明实施例提供的数据处理方法的工作原理示意图；

图4为本发明实施例提供的数据处理方法的又一流程示意图；

图5为本发明实施例提供的数据处理方法的工作原理示意图；

图6为本发明实施例提供的数据处理装置的模块示意图；

图7为本发明实施例提供的数据处理装置的另一模块示意图；

图8为本发明实施例提供的数据处理方法及数据处理装置的应用示意图；

图9是本发明实施例提供的通信设备的结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存***中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实***置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本文所使用的术语「模块」、「单元」可看做为在该运算***上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算***上的实施对象。而本文所述的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本发明保护范围之内。

请参阅图1，所示为本发明实施例提供的数据处理方法的流程示意图。

所述数据处理方法，应用于实时数据的处理平台上，用于对包含交集操作的数据进行实时处理。

在步骤S101中，接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据。

可以理解的是，预先定义客户端上报的协议数据格式。所述协议数据格式，为：协议号|用户的全局唯一标识符|协议内容。

其中，所述协议号，用于指定当前实时数据对应的协议规范，为整数，可以用1组数字表示。比如：客户端启动时上报第一信息，所述第一信息包含了用户环境数据。启动协议8000可用于定义第一数据的组织方式。后台接收到所述第一信息后，根据协议号8000对应的启动协议规范，对第一信息进行解析，进而得到用户的环境数据。又如：客户端关闭时上报第二信息，所述第二信息包含了用户使用数据。退出协议号8001可用于定义第二数据的组织方式。后台接到所述第二信息后，根据协议号是8001对应的退出协议规范，对第二信息进行解析，进而得到用户的使用数据。

所述全局唯一标识符(Globally Unique Identifier，GUID)，一般是32位的字符串，用于确定唯一的用户。所述协议内容，为自定义字符串。

在步骤S102中，根据解析数据中的全局唯一标识符查询所述协议号对应的存储值。

其中，定义缓存格式：{全局唯一标识符，存储值}，即：所述全局唯一标识符为所述新的存储值对应的主键(Key)，并在缓存中与存储值(Value)进行映射，进而形成键值对，用于辅助计算交集。

所述存储值，在存储器中采用比特数组(Bitmap)的结构。其中，1个字节占8个比特，1个比特为1个二进制，即非0即1。比特数组包含若干个比特位，可以通过位运算来获取指定位置是0还是1。

所述比特数组是一个二进制的比特序列。可以理解的是，使用比特数组非常节省内存空间。举例而言，1个整数(int)占用4个字节，1个字节包含8个比特。用比特位存储协议上报标识，0表示未上报，1表示已经上报，这样1个字节就可以存储8个状态，可以用来计算8个协议的交集。如果使用存储协议号集合的方式，1个协议号，1个整数位，8个协议则仅占用32个字节的空间，极大的节省了内存资源和处理资源。

比如，统计3个协议，协议号分别为：8000、8100、和8102，则比特数组分配1个字节即可。其中，初始状态为[00000000]，上报8000协议后[00000001]，上报8102协议后[0000101]，其中8100未上报，故，其对应的协议位为0。

在步骤S103中，判断所述存储值是否为空。

可以理解的是，本步骤即为判断所述协议号对应的协议位是否为0。

其中，若所述存储值不为空，则执行步骤S104；若所述存储值为空，则步骤S105。

在步骤S104中，将所述解析数据丢弃，以进行数据去重。

在步骤S105中，对缓存中所述协议号对应的存储值进行更新。

在步骤S106中，对统计指令中交集对应的多个协议号的所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。

基于上述比特数组的存储方式，只需一个集合即可完成双协议的交集，节省了内存的消耗。每次数据更新通过简单的位运算即可完成，更加高效。

本发明实施例提供的数据处理方法，首先对实时数据进行解析，以获取解析数据。然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，并根据查询结果去重或对存储值进行更新。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

请参阅图2，所示为本发明实施例提供的数据处理方法的另一流程示意图。

所述数据处理方法，应用于实时数据的处理平台上，用于对包含交集操作的数据进行实时处理。

在步骤S201中，定义实时数据的协议数据格式。

其中，本步骤可具体执行为：

(1)获取协议号、全局唯一标识符、和协议内容，并通过所述协议号、所述全局唯一标识符、和所述协议内容设置协议数据格式。

可以理解的是，所述协议数据格式，是客户端上报的实时数据的格式。所述协议数据格式，可表达为：协议号|用户的全局唯一标识符|协议内容。所述协议号，用于指定当前实时数据对应的协议规范，为整数，可以用1组数字表示。所述全局唯一标识符(GUID)，一般是32位的字符串，用于确定唯一的用户。协议内容，为自定义字符串。

(2)在所述协议数据格式中，设置协议号所在的协议标识位。

其中，所述设置协议号所在的协议标识位，包括：在所述比特数组中定义多个协议号所占的比特位，每个协议对应M比特，M为正整数，其中若所述协议号对应的比特位的值为第一值，则表示所述协议号对应的存储值为空；若所述协议号对应的比特位为第二值，则表示所述协议号对应的存储值不为空。

举例而言，在所述比特数组中定义多个协议号所占的比特位，每个协议对应1比特，其中若所述协议号对应的比特位的值为0，则表示所述协议号对应的存储值为空；若所述协议号对应的比特位为1，则表示所述协议号对应的存储值不为空。

步骤S202中，定义存储器中的缓存格式。

其中，本步骤可具体执行为：

(1)在缓存中，将所述全局唯一标识符设置为主键(Key)；

(2)将所述协议号、和所述协议内容设置为存储值(Value)，所述存储值是比特数组的结构。

可以理解的是，所述缓存格式可表达为：{全局唯一标识符，存储值}，即二者映射(map)后形成键值对，用于辅助计算交集。

所述存储值，在存储器中采用比特数组(Bitmap)的结构。其中，1个字节占8个比特，1个比特为1个二进制，即非0即1。比特数组包含若干个比特位，可以通过位运算来获取指定位置是0还是1。

比特数组是一个二进制的比特序列。可以理解的是，使用比特数组非常节省内存空间。举例而言，1个整数(int)占用4个字节，1个字节包含8个比特。用比特位存储协议上报标识，0表示未上报，1表示已经上报，这样1个字节就可以存储8个状态，可以用来计算8个协议的交集。如果使用存储协议号集合的方式，1个协议号，1个整数位，8个协议则仅占用32个字节的空间，极大的节省了内存资源和处理资源。

在步骤S203中，接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据。

具体而言，本步骤可执行为：

(1)从所述实时数据中读取协议号；从所述实时数据的协议标识位中读取所述协议号；

(2)根据所述协议号匹配对应的协议规范；以及

(3)按照所述协议规范，对所述实时数据进行解析，并生成符合协议数据格式的解析数据。

在步骤S204中，根据解析数据中的全局唯一标识符查询所述协议号对应的存储值。

比如，统计3个协议，协议号分别为：8000、8100、和8102，则比特数组分配1个字节即可。其中，初始状态为[00000000]，上报8000协议后[00000001]，上报8102协议后[0000101]，其中8100未上报，故，其对应的协议位为0。

在步骤S205中，判断所述协议号对应的存储值是否为空。

可以理解的是，本步骤即为判断所述协议号对应的协议位是否为0。

其中，若所述存储值不为空，则执行步骤S206；若所述存储值为空，则步骤S207。

在步骤S206中，将所述解析数据丢弃，以进行数据去重。

其中，当所述存储值为不为空时，即：当前协议号对应的解析数据已经被统计过，因此，应进行丢弃，避免重复统计。

在步骤S207中，对缓存中所述协议号对应的存储值进行更新。

其中，本步骤可具体执行为：

(1)创建一个新的存储值，所述存储值包括所述实时数据中的协议号和协议内容；以及

(2)将所述全局唯一标识符设置为所述新的存储值对应的主键，并在缓存中形成键值对，进而对当前解析数据进行统计。

在步骤S208中，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。

可以理解的是，基于上述比特数组的存储方式，只需一个集合即可完成双协议的交集，节省了内存的消耗。每次数据更新通过简单的位运算即可完成，更加高效。

本发明实施例提供的数据处理方法，首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，并根据查询结果去重或对存储值进行更新。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

请参阅图3，所示为本发明实施例提供的数据处理方法的工作原理示意图。

其中以两个协议的交集(协议1∩协议2)为例，展示本发明对于交集的运算过程。

2个协议参与交集运算，当一个全局唯一标识符(GUID)对应的所有协议的数据都上报之后，完成一次统计计数的增加。具体流程如下：

I：定义参与运算的协议在比特数组(bitmap)中占用的比特(bit)位，1个协议对应1个bit位，N个协议需要占用N个bit(N/8字节)的空间。

II：初始化空的缓存结构，定义计算结果：JOIN_UV＝0。

III:接收未知协议P的数据时，根据协议P在第I步中定义的对应关系查询到的该协议的标识位x，根据用户的GUID在缓存中查询对应的bitmap。

IV：若第III步查询的bitmap结果不存在，创建一个新的bitmap，标记为nv，所有bit位初始都是0；将nv的第x位设定为1；在缓存中添加一个键值对{guid：nv}。

V：若第III步查询的bitmap结果存在，标记为ov，获取ov的第x位bit值(b)；

VI：若第V步中的b＝1，一切保持不变。

VII：若第V步中的b＝0，遍历其他N个协议对应的bit位数值是否都是1；如果是，JOIN_UV加1，如果不是，计算结果不变；然后，将ov的第x位设定为1。

VIII：不断接收数据，重复第III步操作，实时输出JOIN_UV，便得到交集的实时统计结果。

本发明实施例提供的数据处理方法，首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，并根据查询结果去重或对存储值进行更新。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

请参阅图4，所示为本发明实施例提供的数据处理方法的流程示意图。

所述数据处理方法，应用于实时数据的处理平台上，用于对包含交集操作的数据进行实时处理。

在步骤S401中，从统计指令中获取参与交集运算的协议个数N，所述N为正整数。

在步骤S402中，判断所述协议个数是否大于2。

其中，当所述协议个数N＝2时，执行步骤A，即：图1中的步骤S101或图2中的步骤S203；当所述协议个数N＞2时，执行步骤S403。

在步骤403中，将所述交集运算拆分成T个双协议的交集，作为T个统计指标，并记录对应的T个协议集合，所述协议集合用于存储参与交集运算的协议号，所述T为正整数。

在步骤S404中，接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据。

可以理解的是，可先定义客户端上报的协议数据格式。所述协议数据格式，为：协议号|用户的全局唯一标识符|协议内容。

其中，所述协议号，用于指定当前实时数据对应的协议规范，为整数，可以用1组数字表示。所述全局唯一标识符(Globally Unique Identifier，GUID)，一般是32位的字符串，用于确定唯一的用户。协议内容，为自定义字符串。

在步骤S405中，根据解析数据中的全局唯一标识符查询所述协议号对应的存储值。

其中，定义缓存格式：{全局唯一标识符，存储值}，即：所述全局唯一标识符为所述新的存储值对应的主键(Key)，并在缓存中与存储值(Value)进行映射，进而形成键值对，用于辅助计算交集。

所述存储值，在存储器中采用比特数组(Bitmap)的结构。其中，1个字节占8个比特，1个比特为1个二进制，即非0即1。比特数组包含若干个比特位，可以通过位运算来获取指定位置是0还是1。

比特数组是一个二进制的比特序列。可以理解的是，使用比特数组非常节省内存空间。举例而言，1个整数(int)占用4个字节，1个字节包含8个比特。用比特位存储协议上报标识，0表示未上报，1表示已经上报，这样1个字节就可以存储8个状态，可以用来计算8个协议的交集。如果使用存储协议号集合的方式，1个协议号，1个整数位，8个协议则仅占用32个字节的空间，极大的节省了内存资源和处理资源。

比如，统计3个协议，协议号分别为：8000、8100、和8102，则比特数组分配1个字节即可。其中，初始状态为[00000000]，上报8000协议后[00000001]，上报8102协议后[0000101]，其中8100未上报，故，其对应的协议位为0。

在步骤S406中，判断所述存储值是否为空。

可以理解的是，本步骤即为判断所述协议号对应的协议位是否为0。

其中，若所述存储值不为空，则执行步骤S104；若所述存储值为空，则步骤S105。

在步骤S407中，将所述解析数据丢弃，以进行数据去重。

在步骤S408中，对缓存中所述协议号对应的存储值进行更新。

在步骤S409中，更新后，遍历所述协议集合，过滤出包含所述协议号的若干子集合，当所述子集合对应的存储值皆不为空时，对所述交集中的统计指标进行计数。

在步骤S410中，判断是否是单统计指标。

所述单统计指标是指双协议交集的个数为1。

其中，若是单统计指标，则执行步骤S411；若不是单统计指标，则执行步骤S412。

在步骤S411中，根据所述交集对应的多个协议号所分别对应的存储值，实时输出统计数据。

在步骤S412中，根据所述多统计指标的计数值，实时输出统计数据。

在多组数据、多个交集运算时使用更少的内存资源和计算资源。实时统计中，存在多个交集运算使用一组公共数据。本发明把参照的公共数据设定为参照位，多个交集运算在一个统计方法中完成，公共数据流量公用，存储公用，从而节省了资源，提高了效率。

基于上述比特数组的存储方式，只需一个集合即可完成双协议的交集，节省了内存的消耗。每次数据更新通过简单的位运算即可完成，更加高效。

本发明实施例提供的数据处理方法，首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，并根据查询结果去重或对存储值进行更新。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

请参阅图5，为本发明实施例提供的数据处理方法的工作原理示意图。

其中，以3个协议交集运算(协议1∩协议2、和协议1∩协议3)为例，下图展示计算流程：

N(N＞2)个协议参与交集运算，统计计算多个统计指标；这多个统计指标中，有存在共同的协议数据。例如协议1，协议2，协议3参与交集运算，统计指标1为协议1和协议2的交集，统计指标2是协议1和协议3的交集。常规方法是两个统计指标分别运算，带来的问题1：两个统计指标分别运算，需要分配两片缓存区，消耗内存翻倍；问题2：协议1的数据流需要分发两次，参与两次运算，消耗两倍的网络带宽和CPU运算，协议1的数据流量越大，劣势越明显。

本发明实施例提供的数据处理方法，具体流程如下：

I:定义参与运算的协议在比特数组(bitmap)中占用的比特(bit)位，1个协议对应1个bit位，N个协议需要占用N个bit(N/8字节)的空间。

II：计算T个统计指标，定义计算结果数组[UV1,…,UVt]；记录T个集合，每个集合存储参与计算的协议号，[{P1,…,Px},…,{P1,…,Py}],记作P_Set。

III:接收未知协议P的数据时，根据协议P在第I步中定义的对应关系查询到的该协议的标识位x，根据用户的GUID在缓存中查询对应的bitmap。

IV:若第III步查询的bitmap结果不存在，创建一个新的bitmap，标记为nv，所有bit位初始都是0；将nv的第x位设定为1；在缓存中添加一个键值对{guid：nv}。

V：若第III步查询的bitmap结果存在，标记为ov，获取ov的第x位bit值(b)；

VI：若第V步中的b＝1，一切保持不变。

VII:若第V步中的b＝0，遍历P_Set，如果当前数据协议存在于指定集合S，则遍历S中所有的协议号，根据第I步中定义的协议号对应的bitmap中的存储位置获取bit值，若全部为1，此集合S对应的统计指标计算值加1。

VIII：不断接收数据，重复第III步操作，生成实时结果。

在多组数据、多个交集运算时使用更少的内存资源和计算资源。实时统计中，存在多个交集运算使用一组公共数据。本发明把参照的公共数据设定为参照位，多个交集运算在一个统计方法中完成，公共数据流量公用，存储公用，从而节省了资源，提高了效率。

基于上述比特数组的存储方式，只需一个集合即可完成双协议的交集，节省了内存的消耗。每次数据更新通过简单的位运算即可完成，更加高效。

本发明实施例提供的数据处理方法，首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，并根据查询结果去重或对存储值进行更新。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

请参阅图6，所示为本发明实施例提供的数据处理装置的模块示意图。

所述数据处理装置600，包括：解析模块61、查询模块62、去重模块63、更新模块64、和统计模块65。

解析模块61，用于接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据。

查询模块62，连接于解析模块61，用于根据解析数据中的全局唯一标识符查询所述协议号对应的存储值。

去重模块63，连接于查询模块62，用于当所述存储值不为空时，将所述解析数据丢弃，以进行数据去重。

更新模块64，连接于查询模块62，用于当所述存储值为空时，对缓存中所述协议号对应的存储值进行更新。

统计模块65，连接于更新模块64，用于更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。

本发明实施例提供的数据处理装置，首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，并根据查询结果去重或对存储值进行更新。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

请参阅图7，所示为本发明实施例提供的数据处理装置的另一模块示意图。

所述数据处理装置700，包括：格式模块71、存储模块72、数量模块73、解析模块74、拆分模块75、查询模块76、去重模块77、更新模块78、和统计模块79。

格式模块71，用于获取协议号、全局唯一标识符、和协议内容，并通过所述协议号、所述全局唯一标识符、和所述协议内容设置协议数据格式；并在所述协议数据格式中，设置协议号所在的协议标识位。

存储模块72，用于将所述全局唯一标识符设置为主键，将所述协议号、和所述协议内容设置为存储值，所述存储值是比特数组的结构。

数量模块73，用于从统计指令中获取参与交集运算的协议个数N，所述N为正整数。

解析模块74，连接于数量模块73，用于当所述协议个数N＝2时，接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据。

其中，所述解析模块74包括：号码单元741、规范单元742、和解析单元743。具体而言，所述号码单元741，用于从所述实时数据的协议标识位中读取所述协议号。所述规范单元742，用于根据所述协议号匹配对应的协议规范。所述解析单元743，用于按照所述协议规范，对所述实时数据进行解析，并生成符合协议数据格式的解析数据。

拆分模块75，连接于数量模块73，用于当所述协议个数N＞2时，将所述交集运算拆分成T个双协议的交集，作为T个统计指标，并记录对应的T个协议集合，所述协议集合用于存储参与交集运算的协议号，所述T为正整数。

查询模块76，连接于解析模块74和拆分模块75，用于根据解析数据中的全局唯一标识符查询所述协议号对应的存储值。

去重模块77，连接于查询模块76，用于当所述存储值不为空时，将所述解析数据丢弃，以进行数据去重。

更新模块78，连接于查询模块76，用于当所述存储值为空时，对缓存中所述协议号对应的存储值进行更新。

其中，所述更新模块78包括：存储值单元781、和主键单元782。具体而言，所述存储值单元781，用于创建一个新的存储值，所述存储值包括所述实时数据中的协议号和协议内容。主键单元782，用于将所述全局唯一标识符设置为所述新的存储值对应的主键，并在缓存中形成键值对。

统计模块79，连接于更新模块78，用于更新后，对统计指令中交集对应的多个协议号的存储值进行遍历，当所述多个协议号对应的存储值皆不为空时，对交集中的统计指标进行计数。

此外，所述统计模块79还用于更新后，遍历所述协议集合，过滤出包含所述协议号的若干子集合，当所述子集合对应的存储值皆不为空时，对所述交集中的统计指标进行计数。

其中，所述统计模块79包括：判断单元791、单指标单元792、和多指标单元793。具体而言，判断单元791，用于判断是否是单统计指标，所述单统计指标是指双协议交集的个数为1。单指标单元792，用于当是单统计指标时，根据所述交集对应的多个协议号的存储值，实时输出统计数据。多指标单元793，用于当不是单统计指标时，根据所述多统计指标的计数值，实时输出统计数据。

本发明实施例提供的数据处理装置，首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，并根据查询结果去重或对存储值进行更新。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

根据上述实施例所描述的方法和装置，以下将举例作进一步详细说明。

请参阅图8，所示为本发明实施例提供的数据处理方法及处理装置的具体应用示例图。

实际应用场景1：终端设备81可能在不同的时间点上报协议A和协议B；统计指标，既上报了协议A，又上报了协议B的用户有多少个。

实例：某产品提供了两个功能，用户使用第一个功能上报协议A，使用第二个功能上报协议B，用户使用这两个功能的时间点不同，使用顺序不固定；统计协议A∩协议B，即：当天两个功能都使用的用户数量，统计结果做到秒级更新。

实际应用场景2：终端设备81可能在不同的时间点上报协议A、协议B、协议C、和协议D；统计指标1，既上报了协议A，又上报了协议B的用户有多少个；统计指标2，既上报了协议A，又上报了协议C的用户有多少个。

实例：实时监控产品在不同安全环境下的日活。用户启动产品，上报协议A；产品守护进程判断到安全软件1启动，上报协议B；判断到安全软件2启动，上报协议C；分别统计协议A∩协议B、和协议A∩协议C，这两种环境下的日活情况，要求实时监控，以快速定位产品是否被对手攻击。

相应的，本发明实施例还提供一种服务器，如图9所示，所述数据处理方法及数据处理装置，应用于服务器900中。所述服务器900包括：一个或者一个以上处理核心的处理器901、一个或一个以上计算机可读存储介质的存储器902、射频(Radio Frequency，RF)电路903、短距离无线传输(WiFi)模块904、电源905、输入单元906、以及显示单元907等部件。

本领域技术人员可以理解，上述结构并不构成对服务器900的限定，可以包括比上述更多或更少的部件、组合某些部件、或不同的部件布置。其中：

具体在本实施例中，在服务器900中，处理器901会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中，并由处理器901来运行存储在存储器902中的应用程序，从而实现各种功能，如下：接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据；根据解析数据中的全局唯一标识符查询所述协议号对应的存储值；当所述存储值不为空时，将所述解析数据丢弃，以进行数据去重；当所述存储值为空时，对缓存中所述协议号对应的存储值进行更新；更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。

优选的，所述处理器901还可以用于：从所述实时数据中读取协议号；根据所述协议号匹配对应的协议规范；按照所述协议规范，对所述实时数据进行解析，并生成符合协议数据格式的解析数据。

优选的，所述处理器901还可以用于：获取协议号、全局唯一标识符、和协议内容，并通过所述协议号、所述全局唯一标识符、和所述协议内容设置协议数据格式；在所述协议数据格式中，设置协议号所在的协议标识位；所述从所述实时数据中读取协议号，具体执行为：从所述实时数据的协议标识位中读取所述协议号。

优选的，所述处理器901还可以用于：将所述全局唯一标识符设置为主键；将所述协议号、和所述协议内容设置为存储值，所述存储值是比特数组的结构；所述设置协议号所在的协议标识位，包括：在所述比特数组中定义多个协议号所占的比特位，每个协议对应M比特，M为正整数，其中若所述协议号对应的比特位的值为第一值，则表示所述协议号对应的存储值为空；若所述协议号对应的比特位为第二值，则表示所述协议号对应的存储值不为空。

优选的，所述处理器901还可以用于：创建一个新的存储值，所述存储值包括所述实时数据中的协议号和协议内容；将所述全局唯一标识符设置为所述新的存储值对应的主键，并在缓存中形成键值对。

优选的，所述处理器901还可以用于：获取统计指令中参与交集运算的协议个数N，所述N为正整数；当所述协议个数N＝2时，执行接收实时数据的步骤；当所述协议个数N＞2时，将所述交集运算拆分成T个双协议的交集，作为T个统计指标，并记录对应的T个协议集合，所述协议集合用于存储参与交集运算的协议号，所述T为正整数；更新后，遍历所述协议集合，过滤出包含所述协议号的若干子集合，当所述子集合对应的存储值皆不为空时，对所述交集中的统计指标进行计数。

优选的，所述处理器901还可以用于：判断是否是单统计指标，所述单统计指标是指双协议交集的个数为1；若是单统计指标，则根据所述交集对应的多个协议号的存储值，实时输出统计数据；若不是单统计指标，则根据所述多统计指标的计数值，实时输出统计数据。

本发明实施例提供的服务器，首先对实时数据进行解析，以获取解析数据；然后根据解析数据中的全局唯一标识符在缓存中查询对应的存储值是否为空，并根据查询结果去重或对存储值进行更新。其中，在缓存时采用交集中的全局唯一标识符作为主键，每条实时数据的特征值在解析后映射到主键对应的存储值中，再通过对存储值中指定比特位的变化来进行交集的去重计数，不仅具有占用的内存空间少，且可以提高计算效率。

本发明实施例提供的所述服务器，与上文实施例中的数据处理方法、数据处理装置属于同一构思。

需要说明的是，对本发明所述数据处理方法而言，本领域普通技术人员可以理解实现本发明实施例中的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在服务器的存储器中，并被该服务器内的至少一个处理器执行，在执行过程中可包括如所述信息分享方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本发明实施例的所述数据处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本发明实施例所提供的一种数据处理方法、数据处理装置及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种数据处理方法，其特征在于，包括：

定义实时数据的协议数据格式：获取协议号、全局唯一标识符、和协议内容，并通过所述协议号、所述全局唯一标识符、和所述协议内容设置协议数据格式；

将所述全局唯一标识符设置为主键；

在所述协议数据格式中，设置协议号所在的协议标识位，其中，所述设置协议号所在的协议标识位，包括：

在比特数组中定义多个协议号所占的比特位，每个协议对应M比特，M为正整数，其中若所述协议号对应的比特位的值为第一值，则表示所述协议号对应的存储值为空；若所述协议号对应的比特位为第二值，则表示所述协议号对应的存储值不为空；

接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据；

根据解析数据中的全局唯一标识符查询所述协议号对应的存储值；

当所述存储值不为空时，进行数据去重；

当所述存储值为空时，对所述协议号对应的存储值进行更新；以及

更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。

2.如权利要求1所述的数据处理方法，其特征在于，根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据，包括：

从所述实时数据中读取协议号；

根据所述协议号匹配对应的协议规范；

按照所述协议规范，对所述实时数据进行解析，并生成符合协议数据格式的解析数据。

3.如权利要求2所述的数据处理方法，其特征在于，接收实时数据，之前还包括：

所述从所述实时数据中读取协议号，具体执行为：从所述实时数据的协议标识位中读取所述协议号。

4.如权利要求1所述的数据处理方法，其特征在于，获取协议号、全局唯一标识符、和协议内容，用于定义协议数据格式，之后进一步还包括：

将所述协议号、和所述协议内容设置为存储值，所述存储值是比特数组的结构。

5.如权利要求1所述的数据处理方法，其特征在于，当所述存储值为空时，对所述协议号对应的存储值进行更新，包括：

创建一个新的存储值，所述存储值包括所述实时数据中的协议号和协议内容；

将所述全局唯一标识符设置为所述新的存储值对应的主键，并在缓存中形成键值对。

6.如权利要求1至5中任一项所述的数据处理方法，其特征在于，在接收实时数据，之前还包括：

获取统计指令中参与交集运算的协议个数N，所述N为正整数；

当所述协议个数N＝2时，执行接收实时数据的步骤；

当所述协议个数N＞2时，将所述交集运算拆分成T个双协议的交集，作为T个统计指标，并记录对应的T个协议集合，所述协议集合用于存储参与交集运算的协议号，所述T为正整数；

所述更新后，对统计指令中交集对应的多个协议号的存储值进行遍历，当所述多个协议号对应的存储值皆不为空时，对交集中的统计指标进行计数，包括：更新后，遍历所述协议集合，过滤出包含所述协议号的若干子集合，当所述子集合对应的存储值皆不为空时，对所述交集中的统计指标进行计数。

7.如权利要求6所述的数据处理方法，其特征在于，更新后，对统计指令中交集对应的多个协议号的存储值进行遍历，当所述多个协议号对应的存储值皆不为空时，对交集中的统计指标进行计数之后，还包括：

判断是否是单统计指标，所述单统计指标是指双协议交集的个数为1；

若是单统计指标，则根据所述交集对应的多个协议号的存储值，实时输出统计数据；

若不是单统计指标，则根据多统计指标的计数值，实时输出统计数据。

8.一种数据处理装置，其特征在于，包括：

定义实时数据的协议数据格式：获取协议号、全局唯一标识符、和协议内容，并通过所述协议号、所述全局唯一标识符、和所述协议内容设置协议数据格式；

将所述全局唯一标识符设置为主键；

在所述协议数据格式中，设置协议号所在的协议标识位，其中，所述设置协议号所在的协议标识位，包括：

在比特数组中定义多个协议号所占的比特位，每个协议对应M比特，M为正整数，其中若所述协议号对应的比特位的值为第一值，则表示所述协议号对应的存储值为空；若所述协议号对应的比特位为第二值，则表示所述协议号对应的存储值不为空；

解析模块，用于接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据；

查询模块，用于根据解析数据中的全局唯一标识符查询所述协议号对应的存储值；

去重模块，用于当所述存储值不为空时，进行数据去重；

更新模块，用于当所述存储值为空时，对所述协议号对应的存储值进行更新；以及

统计模块，用于更新后，对统计指令中交集对应的多个协议号所分别对应的存储值进行遍历，当所述多个协议号所分别对应的存储值皆不为空时，对交集中的统计指标进行计数。

9.如权利要求8所述的数据处理装置，其特征在于，所述解析模块包括：

号码单元，用于从所述实时数据中读取协议号；

规范单元，用于根据所述协议号匹配对应的协议规范；

解析单元，用于按照所述协议规范，对所述实时数据进行解析，并生成符合协议数据格式的解析数据。

10.如权利要求8所述的数据处理装置，其特征在于，所述更新模块包括：

存储值单元，用于创建一个新的存储值，所述存储值包括所述实时数据中的协议号和协议内容；

主键单元，用于将所述全局唯一标识符设置为所述新的存储值对应的主键，并在缓存中形成键值对。

11.如权利要求8至10中任一项所述的数据处理装置，其特征在于，还包括：

数量模块，用于获取统计指令中参与交集运算的协议个数N，所述N为正整数；

所述解析模块，用于当所述协议个数N＝2时，接收实时数据，并根据实时数据中包含的协议号对所述实时数据进行解析，以生成解析数据；

拆分模块，用于当所述协议个数N＞2时，将所述交集运算拆分成T个双协议的交集，作为T个统计指标，并记录对应的T个协议集合，所述协议集合用于存储参与交集运算的协议号，所述T为正整数；

所述统计模块，还用于更新后，遍历所述协议集合，过滤出包含所述协议号的若干子集合，当所述子集合对应的存储值皆不为空时，对所述交集中的统计指标进行计数。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中任一项所述的数据处理方法。

Images