CN106878029B - 一种网络数据审计***及方法 - Google Patents

Abstract

本发明提供了一种网络数据审计***，多个AP设备分别将待分析的网络数据进行浅解析形成浅解析数据；主管理单元将浅解析数据和深解析数据通过两种不同的传输通道分配到审计集群单元上；审计集群单元对所述浅解析数据和深解析数据进行深度还原分析，并生成审计日志及日志消息队列；存储集群单元将所述审计日志及日志消息队列进行存储；上报集群单元监听所述存储集群单元的日志消息队列，并在获取到待上报的所述审计日志的描述信息后，按照数据中心的上报格式将所述审计日志上报到所述数据中心。本发明还提供了对应的方法。本发明的网络数据审计***及方法通过三个层次来实现，层次与层次之间实现逻辑和物理上分离，具备高性能和高可扩展性的特点。

Description

一种网络数据审计***及方法

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种网络数据审计***及方法。

背景技术

WiFi无线网络已经成为许多公共场所标准配套设施，为公共场所客户提供免费的上网服务。传统基于单点场所进行数据镜像方式审计，不能很好解决审计日志和上网终端的关联关系，成本高，部署复杂；另外，基于审计场所原始数据包直接转发给审计服务器，虽然可以直接审计前端的原始数据，但是原始数据包增加了原有网络带宽，影响了正常上网。

发明内容

本发明要解决的技术问题在于，针对现有技术中的公开场所WLAN无线网络数据审计的上述缺陷，提供一种网络数据审计***及方法。

本发明解决上述问题的技术方案是提供了一种网络数据审计***，所述***包括：

多个AP设备，用于分别将待分析的网络数据进行浅解析形成浅解析数据，将所述浅解析数据和深解析数据传输给主管理单元；

主管理单元，与所述多个AP设备连接，用于将所述浅解析数据和深解析数据通过两种不同的传输通道分配到审计集群单元上；

所述审计集群单元，与所述主管理单元连接，用于分别对所述浅解析数据和所述深解析数据进行深度还原分析，并生成审计日志及日志消息队列；

存储集群单元，与所述审计集群单元连接，用于将所述审计日志及日志消息队列进行存储；

上报集群单元，与所述存储集群单元连接，用于监听所述存储集群单元的日志消息队列，并在获取到待上报的所述审计日志的描述信息后，按照数据中心的上报格式将所述审计日志上报到所述数据中心。

上述网络数据审计***中，所述主管理单元包括负载均衡器，所述负载均衡器用于根据负载均衡算法分别建立浅解析数据传输通道和深解析数据传输通道。

上述网络数据审计***中，所述审计集群单元包括多个审计主机，每个所述审计主机的节点功能完全相同，且每个所述审计主机包括浅解析数据处理模块和深解析数据处理模块，其中所述浅解析数据处理模块用于对所述浅解析数据进行还原分析，并生成审计日志及日志消息队列；所述深解析数据处理模块用于对所述深解析数据进行二次解析，并生成审计日志及日志消息队列。

上述网络数据审计***中，所述存储集群单元包括多个内存数据库，每个所述内存数据库是相同的，且每个所述内存数据库用于将所述审计日志及日志消息队列进行存储；

所述上报集群单元包括多个上报主机，所述多个上报主机分别与所述存储集群单元的所述多个内存数据库一一对应。

上述网络数据审计***中，主管理单元还包括审计集群管理模块、存储集群管理模块以及上报集群管理模块，所述审计主机与所述审计集群管理模块连接，所述内存数据库与所述存储集群管理模块连接，所述上报主机与所述上报集群管理模块连接，其中：所述审计集群管理模块用于登记审计主机节点；所述存储集群管理模块用于登记内存数据库节点；所述上报集群管理模块用于登记数据上报节点以及所述AP设备与所述数据中心之间的对应关系；

所述审计集群管理模块还用于执行扩展配置操作使得所述审计主机根据业务开展情况进行平滑扩展；所述存储集群管理模块还用于执行扩展配置操作使得所述内存数据库支持平滑扩展。

本发明还提供了一种网络数据审计方法，应用于网络数据审计***，所述***包括多个AP设备、主管理单元、审计集群单元、存储集群单元以及上报集群单元；所述方法包括：

S1、多个AP设备分别将待分析的网络数据进行浅解析形成浅解析数据，将所述浅解析数据和深解析数据传输给主管理单元；

S2、主管理单元将所述浅解析数据和所述深解析数据通过两种不同的传输通道分配到审计集群单元上；

S3、审计集群单元分别对所述浅解析数据和所述深解析数据进行深度还原分析，并生成审计日志及日志消息队列。

S4、存储集群单元将所述审计日志及日志消息队列进行存储；

S5、上报集群单元监听所述存储集群单元的日志消息队列，并在获取到待上报的所述审计日志的描述信息后，按照数据中心的上报格式将所述审计日志上报到所述数据中心。

上述网络数据审计方法中，所述步骤S2还包括：负载均衡器根据负载均衡算法分别建立浅解析数据传输通道和深解析数据传输通道。

上述网络数据审计方法中，在所述步骤S3中，所述审计集群单元包括多个审计主机，每个所述审计主机的节点功能完全相同，且每个所述审计主机包括浅解析数据处理模块和深解析数据处理模块，其中所述浅解析数据处理模块用于对所述浅解析数据进行还原分析，并生成审计日志；所述深解析数据处理模块用于对所述深解析数据进行二次解析，并生成审计日志。

上述网络数据审计方法中，在所述步骤S4中，所述存储集群单元包括多个内存数据库，每个所述内存数据库是相同的，且每个所述内存数据库用于所述审计日志及日志消息队列进行存储；

在所述步骤S5中，所述上报集群单元包括多个上报主机，所述多个上报主机分别与所述存储集群单元的所述多个内存数据库一一对应。

上述网络数据审计方法中，所述主管理单元还包括审计集群管理模块、存储集群管理模块以及上报集群管理模块，所述审计主机与所述审计集群管理模块连接，所述内存数据库与所述存储集群管理模块连接，所述上报主机与所述上报集群管理模块连接，其中：所述审计集群管理模块用于登记审计主机节点；所述存储集群管理模块用于登记内存数据库节点；所述上报集群管理模块用于登记数据上报节点以及所述AP设备与所述数据中心之间的对应关系；所述方法还包括：

所述审计集群管理模块执行扩展配置操作使得审计主机根据业务开展情况进行平滑扩展；

所述存储集群管理模块执行扩展配置操作使得内存数据库支持平滑扩展。

本发明的网络数据审计***及方法的有益效果有：

第一，通过浅解析数据传输通道进行基础行为日志数据的传输，并通过深解析数据传输通道实现需二次解析的数据的传输，传输方式明显优化，带宽占用小，保证了审计效果，也到达了节省带宽的目的；

第二，存储集群管理单元的多个内存数据库在物理上是相互独立的，在逻辑上组成了一个内存数据库存储集群，对外提供统一的内存数据库生产和消费接口，这样待审计数据经过审计主机的处理后可调用此统一的内存数据库生产和消费接口，此时，全部数据均是在内存中完成读写操作，读写效率高；

第三，审计主机可根据业务开展情况动态地实现平滑扩展，在主管理单元上完成相应的扩展配置操作，同时，支持内存数据库的平滑扩展，相应地，在主管理单元上完成相应的扩展配置操作；

第四，上报主机监听各自对应的内存数据库内的日志消息队列，通过日志消息队列获取需要上报的审计数据，每个上报主机相互之间是独立的，不会相互影响，保证了数据上报的稳定性和高效。

附图说明

图1是本发明的网络数据审计***实施例的结构示意图。

图2是本发明的网络数据审计方法实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，是本发明的网络数据审计***实施例的结构示意图。参考图1，该***包括多个AP设备，主管理单元、审计集群单元、存储集群单元以及上报集群单元，其中，多个AP设备分别与主管理单元连接，审计集群单元与主管理单元连接，存储集群单元与审计集群单元连接。

多个AP设备分别将待分析的网络数据进行浅解析形成浅解析数据，其中，浅解析数据为AP设备的基础行为日志，深解析数据为待解析的二次解析文件。之后AP设备将该浅解析数据和深解析数据传输给主管理单元。

主管理单元用于将浅解析数据和深解析数据通过两种不同的传输通道分配到审计集群单元上。其中，主管理单元包括负载均衡器，该负载均衡器用于根据负载均衡算法分别建立浅解析数据传输通道和深解析数据传输通道。

审计集群单元用于对浅解析数据和深解析数据进行深度还原分析，并生成审计日志。具体地，该审计集群单元包括多个审计主机，每个审计主机的节点功能完全相同，每个审计主机用于对浅解析数据进行还原分析，并对深解析数据进行二次解析，并生成审计日志。在本实施例中，主管理单元将浅解析数据和深解析数据分配到审计主机上。进一步地，每个审计主机包括浅解析数据处理模块和深解析数据处理模块，浅解析数据处理模块用于对浅解析数据进行还原分析，并生成审计日志及日志消息队列，深解析数据处理模块分别用于对深解析数据进行二次解析，并生成审计日志及日志消息队列。举例说明，浅解析数据处理模块先对浅解析数据进行解压缩；接着，按照预定格式提取该预定格式对应的审计字段；最后，根据AP设备的审计数据需上报的数据中心列表，将审计字段依次写入到审计日志中，进而生成了审计日志。

存储集群单元用于将审计日志和日志消息队列进行存储，具体地，该存储集群单元包括多个内存数据库，每个内存数据库是相同的，该多个内存数据库对外提供统一的数据生产和数据消费接口，每个内存数据库用于将审计日志和日志消息队列进行存储，其中，审计日志的存储位置采用Hash算法，因此，该多个内存数据库在物理上是相互独立的，在逻辑上组成了一个内存数据库存储集群。该Hash算法的表达式为：Hash(AP[MAC]+数据上报中心编码+日志类型)；日志消息队列的元素包含List(AP[MAC]+数据上报中心编码+日志类型|日志ID)。该存储集群单元还包括虚拟内存数据库访问接口，该虚拟内存数据库访问接口用于提供一个监听端口，并维护与多个内存数据库的实际连接和心跳检测。

上报集群单元用于监听存储集群单元，并在获取到待上报的审计日志的描述信息后，按照数据中心的上报格式将审计日志上报到数据中心。具体地，上报集群单元包括多个上报主机，多个上报主机分别与存储集群单元的多个内存数据库一一对应。在本实施例中，通过独立分开来获取描述信息和内存数据库中的审计日志，避免了描述信息中直接传递审计日志，提高了描述信息的传递效率，同时，通过多个上报主机，单个数据中心可实现审计日志的多进程、多线程的并行上报，而且，每个上报主机均是独立并行，相互之间没有影响，保证数据上报的稳定性和高效。

在本发明的实施例中，审计集群单元、存储集群单元以及上报集群单元还分别与主管理单元连接。主管理单元还用于登记审计主机节点、内存数据库节点、数据上报节点以及AP设备与数据中心之间的对应关系。进一步地，审计主机可以根据业务开展情况动态实现平滑扩展，对应地，主管理单元还用于执行扩展配置操作使得审计主机根据业务开展情况进行平滑扩展。主管理单元还用于执行扩展配置操作使得内存数据库支持平滑扩展。具体地，主管理单元还包括审计集群管理模块、存储集群管理模块以及上报集群管理模块，审计主机与审计集群管理模块连接，内存数据库与存储集群管理模块连接，上报主机与上报集群管理模块连接，其中，审计集群管理模块用于登记审计主机节点，存储集群管理模块用于登记内存数据库节点，上报集群管理模块用于登记数据上报节点以及AP设备与数据中心之间的对应关系。审计集群管理模块还用于执行扩展配置操作使得审计主机根据业务开展情况进行平滑扩展；存储集群管理模块还用于执行扩展配置操作使得内存数据库支持平滑扩展。

如图2所示，是本发明的网络数据审计方法实施例的流程图，该网络数据审计方法应用于上述的网络数据审计***中。参考图2，该方法包括以下步骤：

S10、多个AP设备分别将待分析的网络数据进行浅解析形成浅解析数据；

S20、主管理单元将所述浅解析数据和深解析数据通过两种不同的传输通道分配到审计集群单元上；

S30、审计集群单元分别对所述浅解析数据和所述深解析数据进行深度还原分析，并生成审计日志及日志消息队列；

S40、存储集群单元将所述审计日及日志消息队列志进行存储；

S50、上报集群单元监听所述存储集群单元的日志消息队列，并在获取到待上报的所述审计日志的描述信息后，按照数据中心的上报格式将所述审计日志上报到所述数据中心。

在上述步骤S20中，主管理单元包括负载均衡器，该负载均衡器用于根据负载均衡算法分别建立浅解析数据传输通道和深解析数据传输通道。

在上述步骤S30中，该审计集群单元包括多个审计主机，每个审计主机的节点功能完全相同，每个审计主机用于对浅解析数据进行还原分析，以及对深解析数据进行二次解析，并分别生成审计日志及日志消息队列。在本实施例中，主管理单元将浅解析数据和深解析数据分配到审计主机上。进一步地，每个审计主机包括浅解析数据处理模块和深解析数据处理模块，浅解析数据处理模块用于对浅解析数据进行还原分析，并生成审计日志及日志消息队列，深解析数据处理模块分别用于对深解析数据进行二次解析，并生成审计日志及日志消息队列。举例说明，浅解析数据处理模块先对浅解析数据进行解压缩；接着，按照预定格式提取该预定格式对应的审计字段；最后，根据AP设备的审计数据需上报的数据中心列表，将审计字段依次写入到审计日志中，进而生成了审计日志。

在上述步骤S40中，该存储集群单元包括多个内存数据库，每个内存数据库是相同的，该多个内存数据库对外提供统一的数据生产和数据消费接口，每个内存数据库用于将审计日志及日志消息队列进行存储，其中，审计日志的存储位置采用Hash算法，因此，该多个内存数据库在物理上是相互独立的，在逻辑上组成了一个内存数据库存储集群。该Hash算法的表达式为：Hash(AP[MAC]+数据上报中心编码+日志类型)；日志消息队列的元素包含List(AP[MAC]+数据上报中心编码+日志类型|日志ID)。该存储集群单元还包括虚拟内存数据库访问接口，该虚拟内存数据库访问接口用于提供一个监听端口，并维护与多个内存数据库的实际连接和心跳检测。

在上述步骤S50中，上报集群单元包括多个上报主机，多个上报主机分别与存储集群单元的多个内存数据库一一对应。在本实施例中，通过独立分开来获取描述信息和内存数据库中的审计日志，避免了描述信息中直接传递审计日志，提高了描述信息的传递效率，同时，通过多个上报主机，单个数据中心可实现审计日志的多进程、多线程的并行上报，而且，每个上报主机均是独立并行，相互之间没有影响，保证数据上报的稳定性和高效。

在本发明的实施例中，主管理单元还用于登记审计主机节点、内存存储节点、数据上报节点以及AP设备与数据中心之间的对应关系。进一步地，审计主机可以根据业务开展情况动态实现平滑扩展，对应地，主管理单元还用于执行扩展配置操作使得审计主机根据业务开展情况进行平滑扩展。主管理单元还用于执行扩展配置操作使得内存数据库支持平滑扩展。具体地，主管理单元还包括审计集群管理模块、存储集群管理模块以及上报集群管理模块，审计主机与审计集群管理模块连接，内存数据库与存储集群管理模块连接，上报主机与上报集群管理模块连接，其中，审计集群管理模块用于登记审计主机节点，存储集群管理模块用于登记内存数据库节点，上报集群管理模块用于登记数据上报节点以及AP设备与数据中心之间的对应关系。进一步，该方法还包括：

审计集群管理模块执行扩展配置操作使得审计主机根据业务开展情况进行平滑扩展；

存储集群管理模块执行扩展配置操作使得内存数据库支持平滑扩展。

综述，本发明的网络数据审计***及方法通过三个层次来实现，分别为审计、存储和上报，层次与层次之间实现逻辑和物理上分离，具备高性能和高可扩展性的特点，具体的有益效果有：

第一，通过浅解析数据传输通道进行基础行为日志数据的传输，并通过深解析数据传输通道实现需二次解析的数据的传输，传输方式明显优化，带宽占用小，保证了审计效果，也到达了节省带宽的目的；

第二，存储集群管理单元的多个内存数据库在物理上是相互独立的，在逻辑上组成了一个内存数据库存储集群，对外提供统一的内存数据库生产和消费接口，这样待审计数据经过审计主机的处理后可调用此统一的内存数据库生产和消费接口，此时，全部数据均是在内存中完成读写操作，读写效率高；

第三，审计主机可根据业务开展情况动态地实现平滑扩展，在主管理单元上完成相应的扩展配置操作，同时，支持内存数据库的平滑扩展，相应地，在主管理单元上完成相应的扩展配置操作；

第四，上报主机监听各自对应的内存数据库内的日志消息队列，通过日志消息队列获取需要上报的审计数据，每个上报主机相互之间是独立的，不会相互影响，保证了数据上报的稳定性和高效。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种网络数据审计***，其特征在于，所述***包括：

多个AP设备，用于分别将待分析的网络数据进行浅解析形成浅解析数据，并将所述浅解析数据和深解析数据传输给主管理单元，所述浅解析数据为AP设备的基础行为日志，所述深解析数据为待解析的二次解析文件；

所述主管理单元，与所述多个AP设备连接，用于将所述浅解析数据和所述深解析数据通过两种不同的传输通道分配到审计集群单元上；

所述审计集群单元，与所述主管理单元连接，用于分别对所述浅解析数据和所述深解析数据进行深度还原分析，并生成审计日志及日志消息队列；

存储集群单元，与所述审计集群单元连接，用于将所述审计日志及日志消息队列进行存储；

上报集群单元，与所述存储集群单元连接，用于监听所述存储集群单元的日志消息队列，并在获取到待上报的所述审计日志的描述信息后，按照数据中心的上报格式将所述审计日志上报到所述数据中心。

2.根据权利要求1中所述的网络数据审计***，其特征在于，所述主管理单元包括负载均衡器，所述负载均衡器用于根据负载均衡算法分别建立浅解析数据传输通道和深解析数据传输通道。

3.根据权利要求1中所述的网络数据审计***，其特征在于，所述审计集群单元包括多个审计主机，每个所述审计主机的节点功能完全相同，且每个所述审计主机包括浅解析数据处理模块和深解析数据处理模块，其中所述浅解析数据处理模块用于对所述浅解析数据进行还原分析，并生成审计日志及日志消息队列；所述深解析数据处理模块用于对所述深解析数据进行二次解析，并生成审计日志及日志消息队列。

4.根据权利要求1中所述的网络数据审计***，其特征在于，所述存储集群单元包括多个内存数据库，每个所述内存数据库是相同的，且每个所述内存数据库用于将所述审计日志及日志消息队列进行存储；

所述上报集群单元包括多个上报主机，所述多个上报主机分别与所述存储集群单元的所述多个内存数据库一一对应。

5.根据权利要求4所述的网络数据审计***，其特征在于， 主管理单元还包括审计集群管理模块、存储集群管理模块以及上报集群管理模块，所述审计主机与所述审计集群管理模块连接，所述内存数据库与所述存储集群管理模块连接，所述上报主机与所述上报集群管理模块连接，其中：所述审计集群管理模块用于登记审计主机节点；所述存储集群管理模块用于登记内存数据库节点；所述上报集群管理模块用于登记数据上报节点以及所述AP设备与所述数据中心之间的对应关系；

所述审计集群管理模块还用于执行扩展配置操作使得所述审计主机根据业务开展情况进行平滑扩展；所述存储集群管理模块还用于执行扩展配置操作使得所述内存数据库支持平滑扩展。

6.一种网络数据审计方法，应用于网络数据审计***，其特征在于，所述***包括多个AP设备、主管理单元、审计集群单元、存储集群单元以及上报集群单元；所述方法包括：

S1、多个AP设备分别将待分析的网络数据进行浅解析形成浅解析数据，将所述浅解析数据和深解析数据传输给所述主管理单元，所述浅解析数据为AP设备的基础行为日志，所述深解析数据为待解析的二次解析文件；

S2、所述主管理单元将所述浅解析数据和所述深解析数据通过两种不同的传输通道分配到审计集群单元上；

S3、审计集群单元分别对所述浅解析数据和所述深解析数据进行深度还原分析，并生成审计日志及日志消息队列；

S4、存储集群单元将所述审计日志及日志消息队列进行存储；

S5、上报集群单元监听所述存储集群单元的日志消息队列，并在获取到待上报的所述审计日志的描述信息后，按照数据中心的上报格式将所述审计日志上报到所述数据中心。

7.根据权利要求6中所述的网络数据审计方法，其特征在于，所述步骤S2还包括：负载均衡器根据负载均衡算法分别建立浅解析数据传输通道和深解析数据传输通道。

8.根据权利要求6中所述的网络数据审计方法，其特征在于，在所述步骤S3中，所述审计集群单元包括多个审计主机，每个所述审计主机的节点功能完全相同，且每个所述审计主机包括浅解析数据处理模块和深解析数据处理模块，其中所述浅解析数据处理模块用于对所述浅解析数据进行还原分析，并生成审计日志；所述深解析数据处理模块用于对所述深解析数据进行二次解析，并生成审计日志。

9.根据权利要求6中所述的网络数据审计方法，其特征在于，在所述步骤S4中，所述存储集群单元包括多个内存数据库，每个所述内存数据库是相同的，且每个所述内存数据库用于所述审计日志及日志消息队列进行存储；

在所述步骤S5中，所述上报集群单元包括多个上报主机，所述多个上报主机分别与所述存储集群单元的所述多个内存数据库一一对应。

10.根据权利要求9所述的网络数据审计方法，其特征在于，所述主管理单元还包括审计集群管理模块、存储集群管理模块以及上报集群管理模块，所述审计主机与所述审计集群管理模块连接，所述内存数据库与所述存储集群管理模块连接，所述上报主机与所述上报集群管理模块连接，其中：所述审计集群管理模块用于登记审计主机节点；所述存储集群管理模块用于登记内存数据库节点；所述上报集群管理模块用于登记数据上报节点以及所述AP设备与所述数据中心之间的对应关系；所述方法还包括：

所述审计集群管理模块执行扩展配置操作使得审计主机根据业务开展情况进行平滑扩展；

所述存储集群管理模块执行扩展配置操作使得内存数据库支持平滑扩展。