CN114741368A - 基于人工智能的日志数据统计方法及相关设备 - Google Patents

Abstract

本申请提出一种基于人工智能的日志数据统计方法、装置、电子设备及存储介质，基于人工智能的日志数据统计方法包括：依据搜索***接收日志数据统计请求，并对所述统计请求进行验证；若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；依据预设阈值划分所述第一目标数据集以获取第二目标数据集；依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；依据所述目标索引数据集进行数据统计以获取目标日志数据。本申请可以在节省日志数据的存储空间的基础上利用构建的索引值对日志数据进行快速统计，提高大规模日志数据的统计效率。

Description

基于人工智能的日志数据统计方法及相关设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的日志数据统计方法、装置、电子设备及存储介质。

背景技术

Elasticsearch(简称ES)是一种基于Lucene底层技术的分布式全文搜索服务器，通过提高数据入库与过滤性能的机制，能够在一定程度上实现快速查询。

日志的分析统计是日志***工作中的重要依据，业界许多日志***都把日志存储在Elasticsearch集群中。然而，当对大规模的日志数据进行统计分析时，Elasticsearch集群响应会很缓慢或者直接报错，从而大大降低对大规模日志数据的统计效率。

发明内容

鉴于以上内容，有必要提出一种基于人工智能的日志数据统计方法及相关设备，以解决如何提高大规模日志数据的统计效率这一技术问题，其中，相关设备包括基于人工智能的日志数据统计装置、电子设备及存储介质。

本申请提供一种基于人工智能的日志数据统计方法，所述方法包括：

依据搜索***接收日志数据统计请求，并对所述统计请求进行验证；

若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；

依据预设阈值划分所述第一目标数据集以获取第二目标数据集；

依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；

依据所述目标索引数据集进行数据统计以获取目标日志数据。

如此，通过对日志数据进行分类存储，然后依据预设逻辑对日志数据进行压缩后构建索引值，从而可以在节省日志数据的存储空间的基础上利用构建的索引值对日志数据进行快速统计，提高大规模日志数据的统计效率。

在一些实施例中，所述依据搜索***接收日志数据统计请求，并对所述统计请求进行验证包括：

依据预设方式对不同数据类型的日志数据设置编码标签；

基于所述编码标签判断所述统计请求中的数据类型是否含有对应的编码标签，从而确定所述统计请求是否合格，若合格，则验证通过。

如此，可通过设置的编码标签判断所述统计请求是否合格，从而保证用户的统计请求准确性，防止异常统计请求所造成的***资源浪费。

在一些实施例中，所述若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集包括：

所述搜索***基于所述日志数据的数据类型、时间范围和取值范围收集对应的日志数据，并将收集到的日志数据进行列式存储以作为所述第一目标数据集。

如此，所述搜索***可根据用户给定的统计请求从服务端快速获取对应的日志数据，为后续过程提供准确的数据支撑。

在一些实施例中，所述依据预设阈值划分所述第一目标数据集以获取第二目标数据集包括：

依据预设阈值判断所述第一目标数据集的数据量以获取判断结果；

基于所述判断结果对所述第一目标数据集进行分区以获取分区数据集；

对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集。

如此，通过对所述第一目标数据集中的数据进行进一步的划分，可以使后续过程中同时对分区数据集中的多条日志数据进行并发统计，从而提高日志数据的统计效率。

在一些实施例中，所述基于所述判断结果对所述第一目标数据集进行分区以获取分区数据集包括：

若所述第一目标数据集的数据量小于预设阈值，则将所述第一目标数据集作为所述分区数据集；

若所述第一目标数据集的数据量大于预设阈值，则以预设阈值为单位对所述第一目标数据集进行划分以获取所述分区数据集。

如此，在处理大批量的日志数据时，通过对所述第一目标数据集进行分区可以有效减少后续过程中日志数据的搜索范围，进一步提高统计效率。

在一些实施例中，所述对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集包括：

依据同一分区中各数据的数据量由大到小对所述分区数据进行排序以获取排序数据表；

依据余弦相似度算法计算所述排序数据表中各相邻数据之间的余弦相似度；

依据自定义聚类算法和所述排序数据表中各相邻数据之间的余弦相似度对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集。

如此，可以使相似度较高的数据排列在一起，便于后续过程中据此生成对应的索引值，并依据索引值快速统计出对应相关的日志数据，提高统计效率。

在一些实施例中，所述依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集包括：

依据预设逻辑压缩所述第二目标数据集中的数据以获取压缩数据集；

依据压缩算法转换所述压缩数据集中的数据以构建所述目标索引数据集。

如此，可以在对日志数据进行压缩，从而有效减少存储空间的基础上构建对应的目标索引数据集，实现利用索引对日志数据的快速统计。

本申请实施例还提供一种基于人工智能的日志数据统计装置，所述装置包括：

验证单元，用于依据搜索***接收日志数据统计请求，并对所述统计请求进行验证；

获取单元，用于若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；

划分单元，用于依据预设阈值划分所述第一目标数据集以获取第二目标数据集；

压缩单元，用于依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；

统计单元，用于依据所述目标索引数据集进行数据统计以获取目标日志数据。

本申请实施例还提供一种电子设备，所述电子设备包括：

存储器，存储至少一个指令；

处理器，执行所述存储器中存储的指令以实现所述的基于人工智能的日志数据统计方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于人工智能的日志数据统计方法。

附图说明

图1是本申请所涉及的基于人工智能的日志数据统计方法的较佳实施例的流程图。

图2是本申请所涉及的依据预设阈值划分所述第一目标数据集以获取第二目标数据集的较佳实施例的流程图。

图3是本申请所涉及的基于人工智能的日志数据统计装置的较佳实施例的功能模块图。

图4是本申请所涉及的基于人工智能的日志数据统计方法的较佳实施例的电子设备的结构示意图。

图5是本申请所涉及的全局字典表和分批字典表的结构示意图。

图6是本申请所涉及的B树索引的结构示意图。

具体实施方式

为了能够更清楚地理解本申请的目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所述描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本申请实施例提供一种基于人工智能的日志数据统计方法，可应用于一个或者多个电子设备中，电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

电子设备可以是任何一种可与客户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。

电子设备还可以包括网络设备和/或客户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。

电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

如图1所示，是本申请基于人工智能的日志数据统计方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S10，依据搜索***接收日志数据统计请求，并对所述统计请求进行验证。

在一个可选的实施例中，所述搜索***可使用ClickHouse***，所述ClickHouse***是一个可用于联机分析处理(OLAP)的列式数据库管理***。其中，OLAP是数据仓库***的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

该可选的实施例中，不同于联机事务处理OLTP(on-line transactionprocessing)的场景，如电商场景中加购物车、下单、支付等需要在原地进行大量insert、update、delete操作，数据分析(OLAP)场景通常是将数据批量导入后，进行任意维度的灵活探索、BI工具洞察、报表制作等。数据一次性写入后，需要尝试从各个角度对数据做挖掘、分析，直到发现其中的商业价值、业务变化趋势等信息。这是一个需要反复试错、不断调整、持续优化的过程，其中数据的读取次数远多于写入次数，这就要求底层数据库为这个特点做专门设计。

该可选的实施例中，由于ClickHouse是一种列式数据库，与线上和本地使用的MySQL数据库不同，它的查询速度非常快，存储数据量也非常大，面对数十亿条数据的查询，都能以秒级别返回查询结果，使用clickhouse体现了***的高效性。但clickhouse不支持修改数据，所以用来存储用户的日志信息非常合适，因为日志信息是不需要修改的增量数据。

在一个可选的实施例中，依据搜索***接收日志数据统计请求，并对所述统计请求进行验证包括：

S101，依据预设方式对不同数据类型的日志数据设置编码标签。

在一个可选的实施例中，可依据预设方式对不同数据类型的日志数据设置编码标签，所述编码标签可以是数字、符号或者字母，本方案对此不作要求。

S102，基于所述编码标签判断所述统计请求中的数据类型是否含有对应的编码标签，从而确定所述统计请求是否合格，若合格，则验证通过。

该可选的实施例中，对不同类型的日志数据设置完编码标签后，可基于所述编码标签判断所述统计请求中的数据类型是否含有对应的编码标签，从而确定当前的统计请求是否合格，若合格，则验证通过，所述搜索***接收所述统计请求，若不合格，则验证不通过，所述搜索***直接拒绝本次统计请求。

如此，可通过设置的编码标签判断所述统计请求是否合格，从而保证用户的统计请求准确性，防止异常统计请求所造成的***资源浪费。

S11，若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集。

该可选的实施例中，用户可通过所述搜索***的客户端指定需要统计的日志数据的数据类型、对应的时间范围和数据取值范围来生成所述统计请求后发送至所述搜索***的服务端，从而初步确定所要统计的日志数据的整体范围和对应的数据量。

该可选的实施例中，所述搜索***收到用户的统计请求后，可根据用户请求中指定的数据类型、时间范围和数据范围，通过ClickHouse的Kafka(开源流处理平台)，实时将服务端的日志数据从kafka接入ClickHouse进行列式存储以作为所述第一目标数据集。此外，ClickHouse也可以存储离线的日志数据，这部分日志数据流需以离线的方式接入，以保证Click House中存储有N天全量的日志数据，通常***内定期限为N＝15天。

该可选的实施例中，Kafka是一个分布式、支持分区的、多副本的分布式消息***，它的最大的特性就是可以实时的处理大量数据，具有高吞吐量、低延迟、可扩展性、持久性、可靠性、容错性、高并发的优点，以满足各种需求场景，如日志收集，用户活动跟踪，流式处理等。

该可选的实施例中，所述日志数据可以是由网络安全设备产生的不同类型的日志数据，如安全检测日志、网络流量日志、协议审计日志以及第三方设备输入日志。

该可选的实施例中，对获得的日志数据进行列式存储的原因在于：

在行存储模式下，数据按行连续存储，所有列的数据都存储在一个block中，不参与计算的列在IO时也要全部读出，读取操作被严重放大。而列存模式下，只需要读取参与计算的列即可，极大的减低了IO cost，加速了查询。

同一列中的数据属于同一类型，压缩效果显著。列存储往往有着高达十倍甚至更高的压缩比，节省了大量的存储空间，降低了存储成本；更高的压缩比意味着更小的datasize，从磁盘中读取相应数据耗时更短；高压缩比也意味着同等大小的内存能够存放更多数据，***缓存效果更好。因此，相比于行式存储，ClickHouse在提供数据查询服务时，受数据规模的影响较小，提供大数据量查询服务的性能较好，能够提高查询效率。

如此，所述搜索***可根据用户给定的统计请求从服务端快速获取对应的日志数据，为后续过程提供准确的数据支撑。

S12，依据预设阈值划分所述第一目标数据集以获取第二目标数据集。

请参见图2，在一个可选的实施例中，依据预设阈值划分所述第一目标数据集以获取第二目标数据集包括：

S121，依据预设阈值判断所述第一目标数据集的数据量以获取判断结果。

该可选的实施例中，预设阈值可设为1T，并通过比较预设阈值与所述第一目标数据集的数据量大小来获取所述判断结果，若所述第一目标数据集的数据量大于所述预设阈值，则判断结果为分区，若所述第一目标数据集的数据量小于所述预设阈值，则所述判断结果为不分区。

S122，基于所述判断结果对所述第一目标数据集进行分区以获取分区数据集。

该可选的实施例中，若所述第一目标数据集的数据量小于预设阈值，则将所述第一目标数据集作为所述分区数据集；若所述第一目标数据集的数据量大于预设阈值，则以预设阈值为单位对所述第一目标数据集进行划分以获取所述分区数据集。

S123，对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集。

该可选的实施例中，对所述分区数据集中的各分区数据进行批次划分的过程为：依据同一分区中各数据的数据量由大到小对所述分区数据进行排序以获取排序数据表，并依据余弦相似度算法计算所述排序数据表中各相邻数据之间的余弦相似度，然后依据自定义聚类算法和所述排序数据表中各相邻数据之间的余弦相似度对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集。其中，批次通常是用在数据库的批量操作里面，为了提高性能，比如：批次大小为1000，就是每次数据库交互处理1000条数据。

该可选的实施例中，依据自定义聚类算法和所述排序数据表中各相邻数据之间的余弦相似度对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集的主要过程为：

在同一分区内的日志数据中，依次以任何尚未访问过的日志数据为中心点，并依据预设的余弦相似度阈值对该中心点进行扩充，其中扩充的步长为1。即对一个日志数据，如果与其相邻的日志数据之间的余弦相似度大于预设的余弦相似度阈值，则以此日志数据点为中心开始聚类，如果附近的日志数据点小于预设的相似度阈值，则将其先标记为噪声日志数据点，预设的余弦相似度阈值可以为0.6；

聚类开始后，计算当前聚类中日志数据点的相邻日志数据点与当前聚类中所有日志数据点的余弦相似度的平均值，并计算判断该平均值是否大于预设的余弦相似度阈值，若大于，则继续按照同样的步长向周围进行聚类，并把不小于预设的余弦相似度阈值条件的日志数据点纳入这个聚类中；

重复上述步骤，直到所有的日志数据点均已被访问，此时每个日志数据点都被标记为属于一个聚类或者噪声日志数据点，将所有的噪声日志数据点作为一个聚类类别，同已经得到的其他聚类一起对分区数据进行批次划分，即每个聚类类别所对应的数据作为一个批次，将批次划分完成后的所有日志数据作为所述第二目标数据集。

示例性的，当前分区内共有100条日志数据，经过自定义聚类后，共获得5个聚类和10个噪声日志数据点，则此时将10个噪声日志数据点归于同一个类别中，加上获得的5个聚类共有6个聚类类别，因此当前分区共分为6个批次，并依据经过批次划分后的所有分区的批次构成所述第二目标数据集。

如此，通过对所述第一目标数据集中的数据进行进一步的划分，可以使后续过程中同时对分区数据集中的多条日志数据进行并发统计，从而提高日志数据的统计效率。

S13，依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集。

在一个可选的实施例中，依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集包括：

S131，依据预设逻辑压缩所述第二目标数据集中的数据以获取压缩数据集。

该可选的实施例中，由于所述第二目标数据集中的数据都是经过分批后的数据，因此每个批次中都可能存在重复的日志数据且每个日志数据对应的字符串都有相应的一个全局ID存储在全局字典表中，如图5所示为整个第二目标数据集所对应的全局字典以及每个批次所对应的分批字典。

该可选的实施例中，可在每个批次中创建一个分批字典表，该表中存储了批次中所有日志数据对应的全局ID，且每一个全局ID对应了一个分批ID，通过这种二级字典表的方式，一个日志数据对应的字符串就可以通过全局字典表映射到一个全局ID，再通过分批字典表映射到一个分批ID，所以，此时各批次中也不再存储真正的日志数据对应的字符串，而是存储日志数据的字符串对应的分批id，从而完成对所述第二目标数据集的压缩，并将压缩后的全局字典表作为所述压缩数据集。如此，一个存储了日志数据字符串的列就转化成了存储32位整型值的列，数据空间大大缩小。

示例性的，如要查询统计图5中分批字典0中第2个元素真正代表的值时，需要使用该元素的值2在分批字典表中查询得到它对应的全局ID为4，然后再使用4到全局字典表中查询得到4对应的字符串为“ij”，即可获知分批字典0中第2个元素对应的日志数据为“ij”。

S132，依据压缩算法转换所述压缩数据集中的数据以构建所述目标索引数据集。

该可选的实施例中，对得到的所述压缩数据集可利用压缩算法Bit-VectorEncoding进行转换，其核心思想是将一个列中所有相同列属性的值转化为二元组(列属性值，该列属性值出现在列中位置的Bitmap)，使用位图便可以表示出来，通过Bit-VectorEncoding，整个列使用两个简单的二元组就可以表示了，使用这种算法，一个列可以转化为多个二元组，通过在这些二元组上构建B树(B-Tree)索引就可以实现对该列的管理。

示例性的，批次1中存储的一列日志数据为(1000,2000,2000,1000,1000，2000,1000)，则经过压缩算法Bit-Vector Encoding进行转换后，得到的二元组为(1000，1001101)和(2000，0110010)。

该可选的实施例中，B-Tree索引是最常见的索引结构，所述搜索***默认创建的索引就是B-Tree索引。B-树索引是基于二叉树结构的，B-树索引结构有3个基本组成部分：根节点、分支节点和叶子节点。其中根节点位于索引结构的最顶端，而叶子节点位于索引结构的最底端，中间为分子节点。叶子节点(Leaf node)包含条目直接指向表里的数据行，分支节点(Branch node)包含的条目指向索引里其他的分支节点或者是叶子节点，而根节点(Branch node)则是在一个B树索引中只有一个，它实际就是位于树的最顶端的分支节点，B树索引的组织结构类似一颗树，主要数据集中在叶子节点上，叶子节点包含索引列的值和记录行对应的物理地址ROWID，如图6所示，通过物理地址ROWID可以获取经过压缩算法转换后的对应数据，并进一步获取所述压缩数据集中的对应数据本方案中将构建好的B树索引作为所述目标索引数据集。

如此，可以在对日志数据进行压缩，从而有效减少存储空间的基础上构建对应的目标索引数据集，实现利用索引对日志数据的快速统计。

S14，依据所述目标索引数据集进行数据统计以获取目标日志数据。

该可选的实施例中，可根据获得的目标索引数据集中的索引值对需要进行统计的日志数据进行快速查询，从而完成统计。

示例性的，如图6所示，当前需要统计的日志数据的索引值为1019，则在根节点分别比较1019与1001、1013值的大小，发现1019在1013的后面，由此确定1019在右子节点，接着分别比较1019和右子节点的1013、1017、1021，发现1019在1017和1021之间(中子节点)，然后通过比较1019和中子节点的1017、1018、1019找到叶节点1019，从而根据对应的物理地址ROWID获得实际的日志数据。

如此，能够在进行日志数据统计时，依据所述目标索引数据集中的索引对日志数据进行快速匹配查找，从而获取对应的日志数据。

请参见图3，图3是本申请基于人工智能的日志数据统计装置的较佳实施例的功能模块图。基于人工智能的日志数据统计装置11包括验证单元110、获取单元111、划分单元112、压缩单元113、统计单元114。本申请所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。

在一个可选的实施例中，验证单元110用于依据搜索***接收日志数据统计请求，并对所述统计请求进行验证。

在一个可选的实施例中，所述依据搜索***接收日志数据统计请求，并对所述统计请求进行验证包括：

依据预设方式对不同数据类型的日志数据设置编码标签；

基于所述编码标签判断所述统计请求中的数据类型是否含有对应的编码标签，从而确定所述统计请求是否合格，若合格，则验证通过。

在一个可选的实施例中，所述搜索***可使用ClickHouse***，所述ClickHouse***是一个可用于联机分析处理(OLAP)的列式数据库管理***。其中，OLAP是数据仓库***的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

该可选的实施例中，不同于联机事务处理OLTP(on-line transactionprocessing)的场景，如电商场景中加购物车、下单、支付等需要在原地进行大量insert、update、delete操作，数据分析(OLAP)场景通常是将数据批量导入后，进行任意维度的灵活探索、BI工具洞察、报表制作等。数据一次性写入后，需要尝试从各个角度对数据做挖掘、分析，直到发现其中的商业价值、业务变化趋势等信息。这是一个需要反复试错、不断调整、持续优化的过程，其中数据的读取次数远多于写入次数，这就要求底层数据库为这个特点做专门设计。

该可选的实施例中，由于ClickHouse是一种列式数据库，与线上和本地使用的MySQL数据库不同，它的查询速度非常快，存储数据量也非常大，面对数十亿条数据的查询，都能以秒级别返回查询结果，使用clickhouse体现了***的高效性。但clickhouse不支持修改数据，所以用来存储用户的日志信息非常合适，因为日志信息是不需要修改的增量数据。

在一个可选的实施例中，可依据预设方式对不同数据类型的日志数据设置编码标签，所述编码标签可以是数字、符号或者字母，本方案对此不作要求。

该可选的实施例中，对不同类型的日志数据设置完编码标签后，可基于所述编码标签判断所述统计请求中的数据类型是否含有对应的编码标签，从而确定当前的统计请求是否合格，若合格，则验证通过，所述搜索***接收所述统计请求，若不合格，则验证不通过，所述搜索***直接拒绝本次统计请求。

在一个可选的实施例中，获取单元111用于若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集。

该可选的实施例中，用户可通过所述搜索***的客户端指定需要统计的日志数据的数据类型、对应的时间范围和数据取值范围来生成所述统计请求后发送至所述搜索***的服务端，从而初步确定所要统计的日志数据的整体范围和对应的数据量。

该可选的实施例中，所述搜索***收到用户的统计请求后，可根据用户请求中指定的数据类型、时间范围和数据范围，通过ClickHouse的Kafka(开源流处理平台)，实时将服务端的日志数据从kafka接入ClickHouse进行列式存储以作为所述第一目标数据集。此外，ClickHouse也可以存储离线的日志数据，这部分日志数据流需以离线的方式接入，以保证Click House中存储有N天全量的日志数据，通常***内定期限为N＝15天。

该可选的实施例中，Kafka是一个分布式、支持分区的、多副本的分布式消息***，它的最大的特性就是可以实时的处理大量数据，具有高吞吐量、低延迟、可扩展性、持久性、可靠性、容错性、高并发的优点，以满足各种需求场景，如日志收集，用户活动跟踪，流式处理等。

该可选的实施例中，所述日志数据可以是由网络安全设备产生的不同类型的日志数据，如安全检测日志、网络流量日志、协议审计日志以及第三方设备输入日志。

该可选的实施例中，对获得的日志数据进行列式存储的原因在于：

在行存储模式下，数据按行连续存储，所有列的数据都存储在一个block中，不参与计算的列在IO时也要全部读出，读取操作被严重放大。而列存模式下，只需要读取参与计算的列即可，极大的减低了IO cost，加速了查询。

同一列中的数据属于同一类型，压缩效果显著。列存储往往有着高达十倍甚至更高的压缩比，节省了大量的存储空间，降低了存储成本；更高的压缩比意味着更小的datasize，从磁盘中读取相应数据耗时更短；高压缩比也意味着同等大小的内存能够存放更多数据，***缓存效果更好。因此，相比于行式存储，ClickHouse在提供数据查询服务时，受数据规模的影响较小，提供大数据量查询服务的性能较好，能够提高查询效率。

在一个可选的实施例中，划分单元112用于依据预设阈值划分所述第一目标数据集以获取第二目标数据集。

在一个可选的实施例中，所述依据预设阈值划分所述第一目标数据集以获取第二目标数据集包括：

依据预设阈值判断所述第一目标数据集的数据量以获取判断结果；

基于所述判断结果对所述第一目标数据集进行分区以获取分区数据集；

对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集。

该可选的实施例中，预设阈值可设为1T，并通过比较预设阈值与所述第一目标数据集的数据量大小来获取所述判断结果，若所述第一目标数据集的数据量大于所述预设阈值，则判断结果为分区，若所述第一目标数据集的数据量小于所述预设阈值，则所述判断结果为不分区。

该可选的实施例中，若所述第一目标数据集的数据量小于预设阈值，则将所述第一目标数据集作为所述分区数据集；若所述第一目标数据集的数据量大于预设阈值，则以预设阈值为单位对所述第一目标数据集进行划分以获取所述分区数据集。

该可选的实施例中，对所述分区数据集中的各分区数据进行批次划分的过程为：依据同一分区中各数据的数据量由大到小对所述分区数据进行排序以获取排序数据表，并依据余弦相似度算法计算所述排序数据表中各相邻数据之间的余弦相似度，然后依据自定义聚类算法和所述排序数据表中各相邻数据之间的余弦相似度对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集。其中，批次通常是用在数据库的批量操作里面，为了提高性能，比如：批次大小为1000，就是每次数据库交互处理1000条数据。

该可选的实施例中，依据自定义聚类算法和所述排序数据表中各相邻数据之间的余弦相似度对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集的主要过程为：

在同一分区内的日志数据中，依次以任何尚未访问过的日志数据为中心点，并依据预设的余弦相似度阈值对该中心点进行扩充，其中扩充的步长为1。即对一个日志数据，如果与其相邻的日志数据之间的余弦相似度大于预设的余弦相似度阈值，则以此日志数据点为中心开始聚类，如果附近的日志数据点小于预设的相似度阈值，则将其先标记为噪声日志数据点，预设的余弦相似度阈值可以为0.6；

聚类开始后，计算当前聚类中日志数据点的相邻日志数据点与当前聚类中所有日志数据点的余弦相似度的平均值，并计算判断该平均值是否大于预设的余弦相似度阈值，若大于，则继续按照同样的步长向周围进行聚类，并把不小于预设的余弦相似度阈值条件的日志数据点纳入这个聚类中；

重复上述步骤，直到所有的日志数据点均已被访问，此时每个日志数据点都被标记为属于一个聚类或者噪声日志数据点，将所有的噪声日志数据点作为一个聚类类别，同已经得到的其他聚类一起对分区数据进行批次划分，即每个聚类类别所对应的数据作为一个批次，将批次划分完成后的所有日志数据作为所述第二目标数据集。

示例性的，当前分区内共有100条日志数据，经过自定义聚类后，共获得5个聚类和10个噪声日志数据点，则此时将10个噪声日志数据点归于同一个类别中，加上获得的5个聚类共有6个聚类类别，因此当前分区共分为6个批次，并依据经过批次划分后的所有分区的批次构成所述第二目标数据集。

在一个可选的实施例中，压缩单元113用于依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集。

在一个可选的实施例中，所述依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集包括：

依据预设逻辑压缩所述第二目标数据集中的数据以获取压缩数据集；

依据压缩算法转换所述压缩数据集中的数据以构建所述目标索引数据集。

该可选的实施例中，由于所述第二目标数据集中的数据都是经过分批后的数据，因此每个批次中都可能存在重复的日志数据且每个日志数据对应的字符串都有相应的一个全局ID存储在全局字典表中，如图5所示为整个第二目标数据集所对应的全局字典以及每个批次所对应的分批字典。

该可选的实施例中，可在每个批次中创建一个分批字典表，该表中存储了批次中所有日志数据对应的全局ID，且每一个全局ID对应了一个分批ID，通过这种二级字典表的方式，一个日志数据对应的字符串就可以通过全局字典表映射到一个全局ID，再通过分批字典表映射到一个分批ID，所以，此时各批次中也不再存储真正的日志数据对应的字符串，而是存储日志数据的字符串对应的分批id，从而完成对所述第二目标数据集的压缩，并将压缩后的全局字典表作为所述压缩数据集。如此，一个存储了日志数据字符串的列就转化成了存储32位整型值的列，数据空间大大缩小。

示例性的，如要查询统计图5中分批字典0中第2个元素真正代表的值时，需要使用该元素的值2在分批字典表中查询得到它对应的全局ID为4，然后再使用4到全局字典表中查询得到4对应的字符串为“ij”，即可获知分批字典0中第2个元素对应的日志数据为“ij”。

该可选的实施例中，对得到的所述压缩数据集可利用压缩算法Bit-VectorEncoding进行转换，其核心思想是将一个列中所有相同列属性的值转化为二元组(列属性值，该列属性值出现在列中位置的Bitmap)，使用位图便可以表示出来，通过Bit-VectorEncoding，整个列使用两个简单的二元组就可以表示了，使用这种算法，一个列可以转化为多个二元组，通过在这些二元组上构建B树(B-Tree)索引就可以实现对该列的管理。

示例性的，批次1中存储的一列日志数据为(1000,2000,2000,1000,1000，2000,1000)，则经过压缩算法Bit-Vector Encoding进行转换后，得到的二元组为(1000，1001101)和(2000，0110010)。

该可选的实施例中，B-Tree索引是最常见的索引结构，所述搜索***默认创建的索引就是B-Tree索引。B-树索引是基于二叉树结构的，B-树索引结构有3个基本组成部分：根节点、分支节点和叶子节点。其中根节点位于索引结构的最顶端，而叶子节点位于索引结构的最底端，中间为分子节点。叶子节点(Leaf node)包含条目直接指向表里的数据行，分支节点(Branch node)包含的条目指向索引里其他的分支节点或者是叶子节点，而根节点(Branch node)则是在一个B树索引中只有一个，它实际就是位于树的最顶端的分支节点，B树索引的组织结构类似一颗树，主要数据集中在叶子节点上，叶子节点包含索引列的值和记录行对应的物理地址ROWID，如图6所示，通过物理地址ROWID可以获取经过压缩算法转换后的对应数据，并进一步获取所述压缩数据集中的对应数据本方案中将构建好的B树索引作为所述目标索引数据集。

在一个可选的实施例中，统计单元114用于依据所述目标索引数据集进行数据统计以获取目标日志数据。

该可选的实施例中，可根据获得的目标索引数据集中的索引值对需要进行统计的日志数据进行快速查询，从而完成统计。

示例性的，如图6所示，当前需要统计的日志数据的索引值为1019，则在根节点分别比较1019与1001、1013值的大小，发现1019在1013的后面，由此确定1019在右子节点，接着分别比较1019和右子节点的1013、1017、1021，发现1019在1017和1021之间(中子节点)，然后通过比较1019和中子节点的1017、1018、1019找到叶节点1019，从而根据对应的物理地址ROWID获得实际的日志数据。

由以上技术方案可以看出，本申请能够通过对日志数据进行分类存储，然后依据预设逻辑对日志数据进行压缩后构建索引值，从而可以在节省日志数据的存储空间的基础上利用构建的索引值对日志数据进行快速统计，提高大规模日志数据的统计效率。

请参见图4，是本申请实施例提供的一种电子设备的结构示意图。电子设备1包括存储器12和处理器13。存储器12用于存储计算机可读指令，处理器13用执行所述储器中存储的计算机可读指令以实现上述任一实施例所述的基于人工智能的日志数据统计方法。

在一个可选的实施例中，电子设备1还包括总线、存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于人工智能的日志数据统计程序。

图4仅示出了具有存储器12和处理器13的电子设备1，本领域技术人员可以理解的是，图4示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

结合图1，电子设备1中的所述存储器12存储多个计算机可读指令以实现一种基于人工智能的日志数据统计方法，所述处理器13可执行所述多个指令从而实现：

依据搜索***接收日志数据统计请求，并对所述统计请求进行验证；

若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；

依据预设阈值划分所述第一目标数据集以获取第二目标数据集；

依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；

依据所述目标索引数据集进行数据统计以获取目标日志数据。

具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，电子设备1可以是总线型结构，也可以是星形结构，电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如电子设备1还可以包括输入输出设备、网络接入设备等。

需要说明的是，电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。

其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质可以是非易失性的，也可以是易失性的。所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于人工智能的日志数据统计程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是电子设备1的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块(例如执行基于人工智能的日志数据统计程序等)，以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。

所述处理器13执行所述电子设备1的操作***以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于人工智能的日志数据统计方法实施例中的步骤，例如图1至图2所示的步骤。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在电子设备1中的执行过程。例如，所述计算机程序可以被分割成验证单元110、获取单元111、划分单元112、压缩单元113、统计单元114。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、计算机设备，或者网络设备等)或处理器(processor)执行本申请各个实施例所述的基于人工智能的日志数据统计方法的部分。

电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。

其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存储器及其他存储器等。

进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图4中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。

本申请实施例还提供一种计算机可读存储介质(图未示)，计算机可读存储介质中存储有计算机可读指令，计算机可读指令被电子设备中的处理器执行以实现上述任一实施例所述的基于人工智能的日志数据统计方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。说明书陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种基于人工智能的日志数据统计方法，其特征在于，所述方法包括：

依据搜索***接收日志数据统计请求，并对所述统计请求进行验证；

若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；

依据预设阈值划分所述第一目标数据集以获取第二目标数据集；

依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；

依据所述目标索引数据集进行数据统计以获取目标日志数据。

2.如权利要求1所述的基于人工智能的日志数据统计方法，其特征在于，所述依据搜索***接收日志数据统计请求，并对所述统计请求进行验证包括：

依据预设方式对不同数据类型的日志数据设置编码标签；

基于所述编码标签判断所述统计请求中的数据类型是否含有对应的编码标签，从而确定所述统计请求是否合格，若合格，则验证通过。

3.如权利要求1所述的基于人工智能的日志数据统计方法，其特征在于，所述若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集包括：

所述搜索***基于所述日志数据的数据类型、时间范围和取值范围收集对应的日志数据，并将收集到的日志数据进行列式存储以作为所述第一目标数据集。

4.如权利要求1所述的基于人工智能的日志数据统计方法，其特征在于，所述依据预设阈值划分所述第一目标数据集以获取第二目标数据集包括：

依据预设阈值判断所述第一目标数据集的数据量以获取判断结果；

基于所述判断结果对所述第一目标数据集进行分区以获取分区数据集；

对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集。

5.如权利要求4所述的基于人工智能的日志数据统计方法，其特征在于，所述基于所述判断结果对所述第一目标数据集进行分区以获取分区数据集包括：

若所述第一目标数据集的数据量小于预设阈值，则将所述第一目标数据集作为所述分区数据集；

若所述第一目标数据集的数据量大于预设阈值，则以预设阈值为单位对所述第一目标数据集进行划分以获取所述分区数据集。

6.如权利要求5所述的基于人工智能的日志数据统计方法，其特征在于，所述对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集包括：

依据同一分区中各数据的数据量由大到小对所述分区数据进行排序以获取排序数据表；

依据余弦相似度算法计算所述排序数据表中各相邻数据之间的余弦相似度；

依据自定义聚类算法和所述排序数据表中各相邻数据之间的余弦相似度对所述分区数据集中的各分区数据进行批次划分以获取所述第二目标数据集。

7.如权利要求1所述的基于人工智能的日志数据统计方法，其特征在于，所述依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集包括：

依据预设逻辑压缩所述第二目标数据集中的数据以获取压缩数据集；

依据压缩算法转换所述压缩数据集中的数据以构建所述目标索引数据集。

8.一种基于人工智能的日志数据统计装置，其特征在于，所述装置包括：

验证单元，用于依据搜索***接收日志数据统计请求，并对所述统计请求进行验证；

获取单元，用于若验证通过，则所述搜索***依据所述统计请求对从服务端获取的日志数据进行搜索以获取第一目标数据集；

划分单元，用于依据预设阈值划分所述第一目标数据集以获取第二目标数据集；

压缩单元，用于依据预设逻辑压缩所述第二目标数据集以获取目标索引数据集；

统计单元，用于依据所述目标索引数据集进行数据统计以获取目标日志数据。

9.一种电子设备，其特征在于，所述电子设备包括：

存储器，存储有计算机可读指令；及

处理器，执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的基于人工智能的日志数据统计方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于人工智能的日志数据统计方法。

Images