CN109831316A - 海量日志实时分析***、实时分析方法及可读存储介质 - Google Patents

Abstract

本发明公开了一种海量日志实时分析***、实时分析方法及可读存储介质，根据收集到的数据流量信息和处理速度信息确定每个工作模块的最佳执行单元数量；若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同，则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。由于本发明通过获取最优执行单元数量对工作模板中的执行单元数量进行实时调整，在计算能力有限的情况下能最大程度地提升日志实时计算的数据处理能力及资源利用率。

Description

海量日志实时分析***、实时分析方法及可读存储介质

技术领域

本发明涉及分布式数据处理领域，尤其涉及一种海量日志实时分析***、实时分析方法及计算机可读存储介质。

背景技术

当前，数据密集型业务已经得到了广泛的应用，典型的数据密集型业务包括金融服务、网络监控、电信数据管理、Web应用等等。对于电信行业来说，日志数据是非常重要的数据，日志是带有时间戳且基于时间序列的机器数据，由设备和***产生且种类不一，对于电信行业的信息***，主要包括操作行为日志、设备运行日志、网络访问日志、运行维护日志等。日志数据里记录了软、硬件和生产环境的关键信息，如主机设备、网络设备、业务***等的运行情况和业务人员的网络访问行为。可以通过日志数据的分析监控***运行状况，定位存在的故障，为运维人员带来非常大的便利。目前，电信行业的日志分析***每天采集日志超过10亿多条，高峰时期的日志采集量为每15分钟超过1亿条左右。

目前国内外常见的海量日志分析技术依靠Hadoop分布式计算平台进行工作，Hadoop主要核心有分布式文件***HDFS(Hadoop Distributed File System)和MapReduce(并行计算框架)，作为一个分布式的计算框架，请参考图1。在获得日志数据之后，分布式计算平台通过MapReduce进行日志解析过滤等处理，并将数据存储在HDFS中，等待每项MapReduce任务执行完毕后，本地服务器从HDFS上下载分析结果，并展现在Web交互界面。这种方法的优点在于海量数据处理能力优越，但是对日志采用的是离线批处理，实时性较差。

发明内容

本发明解决的问题是提供一种海量日志实时分析***、实时分析方法，对日志数据处理速度快，即使是高峰时间，也能及时的完成日志数据的处理。

为解决上述问题，本发明实施例提供了一种海量日志实时分析***，包括：日志采集单元、日志分拆和存储单元、实时计算统计单元，其中，

所述日志采集单元，对***日志进行采集和预处理；

所述日志分拆和存储单元，对采集到***日志进行分拆，并存储为日志数据；

所述实时计算统计单元，对接收到的日志数据进行实时计算，包括控制模块和若干工作模块，每一个工作模块根据自身的执行单元数量，调用对应数目的执行单元来对接收到的日志数据进行实时计算；所述控制模块，收集所述每个工作模块的处理速度信息，以及具有逻辑上下游关系的工作模块间的数据流量信息；根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的最佳执行单元数量；若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同，则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。

可选的，当一个工作模块的最佳执行单元数量小于对应工作模块的执行单元数量时，工作模块根据对应的最佳执行单元数量为对应工作模块删除至少一个执行单元，或者，当一个工作模块的最佳执行单元数量大于对应工作模块的执行单元数量时，对应的工作模块增加至少一个执行单元，使得对应工作模块的当前的执行单元数量与所述工作模块的最佳执行单元数量相同。

可选的，根据日志数据到达时间和日志数据平均处理时间来确定所述每个工作模块的最佳执行单元数量；其中，所述日志数据到达时间表示日志数据到达所述每个工作模块的时间，所述日志数据平均处理时间表示所述每个工作模块的执行单元处理所述日志数据的平均时间。

可选的，所述工作节点的最佳执行单元数量等于所述日志数据平均处理时间与所述日志数据到达时间的比值。

可选的，所述日志分拆和存储单元对采集到***日志进行分拆，包括：对采集到的***日志进行多维度拆分，每一个维度拆分后的日志数据对应后续的多个工作模块。

可选的，所述日志数据包括操作行为日志、设备运行日志、网络访问日志、运行维护日志其中的一种或多种。

可选的，还包括：数据展示单元，用于对实时计算统计后的结果进行展示。

本发明实施例还提供了一种海量日志实时分析方法，包括：

对***日志进行采集和预处理；

对采集到***日志进行分拆，并存储为日志数据；

对接收到的日志数据进行实时计算，其中，多个工作模块根据自身的执行单元数量，调用对应数目的执行单元来对接收到的日志数据进行实时计算；控制模块，收集所述每个工作模块的处理速度信息，以及逻辑上下游关系的工作模块间的数据流量信息；根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的优化执行单元数量；若确定所述每个工作模块的优化执行单元数量与所述每个工作模块的执行单元数量不相同，则按照所述每个工作模块的优化执行单元数量对所述每个工作模块的执行单元数量进行调整。

可选的，当所述每个工作模块的优化执行单元数量小于所述每个工作模块的执行单元数量时，工作模块根据所述每个工作模块的优化执行单元数量为所述每个工作模块删除至少一个执行单元，或者，当所述工作模块的优化执行单元数量大于该工作模块的执行单元数量时，工作模块增加至少一个执行单元，使得所述每个工作模块的当前的执行单元数量与所述每个工作模块的优化执行单元数量相同。

可选的，还包括：对实时计算统计后的结果进行展示。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的海量日志实时分析方法。

与现有技术相比，本技术方案具有以下优点：

由于本发明通过获取最优执行单元数量对工作模板中的执行单元数量进行实时调整，在计算能力有限的情况下能最大程度地提升日志实时计算的数据处理能力及资源利用率。

附图说明

图1是现有技术的Hadoop分布式计算平台的结构示意图；

图2是本发明实施例的海量日志实时分析***的结构示意图；

图3是本发明实施例的海量日志实时分析方法的流程示意图。

具体实施方式

下面结合附图，通过具体实施例，对本发明的技术方案进行清楚、完整的描述。

请参考图2，本发明实施例提供了一种海量日志实时分析***，包括：日志采集单元100、日志拆分和存储单元200、实时计算统计单元300、数据展示单元400，其中，

所述日志采集单元100，对***日志进行采集和预处理；

所述日志分拆和存储单元200，对采集到***日志进行分拆，并存储为日志数据；

所述实时计算统计单元300，对接收到的日志数据进行实时计算，包括控制模块和若干工作模块，每一个工作模块根据自身的执行单元数量，调用对应数目的执行单元来对接收到的日志数据进行实时计算；所述控制模块，收集所述每个工作模块的处理速度信息，以及具有逻辑上下游关系的工作模块间的数据流量信息；根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的最佳执行单元数量；若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同，则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。

所述数据展示单元400，用于对实时计算统计后的结果进行展示。

具体的，所述日志采集模块整合了logstash、kafka、toprowMQ，实现信息***中主机输出日志、网络日志以及应用***日志的采集和预处理功能。

其中，内网日志采集由logstash和kafka集群实现。logstash主要实现日志的采集和预处理，kafka集群负责实现海量日志的分类缓存。所述日志的采集主要分为两类，一是直接在主机上安装logstash进行相关日志采集，二是通过日志收集服务器上的logstah收集由rsyslog或SNMP(简单网络管理协议，Simple Network Management Protocol)发送过来的日志。由于一般情况下海量日志价值密度低，格式多样，logstash对收集到的日志通过grok使用正则表达式对字符串进行过滤、截取，确保数据内容的可读性与可查询性，减少日志的传输量和存储压力。最后将处理后的日志输出到kafka集群。

针对日志数据并发量大，数据生成速度不同导致丢失的现象，***采用构建高可用kafka集群的方式实现日志数据的缓存，保证传输速度的一致性和数据完整性。Kafka通过水平扩展能够实现高吞吐率，通过将不同的消息发布到不同的topics上，实现日志数据的分类缓存，降低日志分析的复杂度。

外网日志采集在内网采集技术的基础上，采用toprowMQ加强隔离装置的解决方案，实现了外网日志到内网统一日志***的安全高效传输。在现有的行业中，实行内外网物理隔离的安全策略，内外网信息的传输需要通过强隔离装置，但是强隔离装置降低了数据的传输效率，容易导致数据的丢失的缺点。为了保证外网日志的安全高效传输，海量日志实时分析***提出toprowMQ加强隔离装置的解决方案。通过在强隔离装置两侧引入toprowMQ消息队列中间件，通过缓存的机制防止外网日志丢失，保证数据的安全。充分利用强隔离装置的带宽，保证外网日志传输的效率。在logstash处理外网日志之后，通过反向隔离装置过滤，将外网日志数据传输至内网Kafka集群，实现外网数据无缝接入。由于隔离装置在数据传输速度与日志采集***的不一致，***通过加入toprowMQ保证数据传输的一致性。

所述日志分拆和存储单元200，对采集到的***日志进行分拆，并存储为日志数据。

所述日志分拆和存储单元200从Kafka集群获取采集到的***日志，且通过由Elasticsearch集群完成日志数据的拆分和存储，ElasticSearch是一种基于Lucene的分布式搜索引擎。在日志数据导入Elasticsearch集群后，利用JSON作为文档序列化的格式对***日志进行多维度分拆，并以文档的形式进行存储，所述每一个维度拆分后的日志数据对应后续的多个工作模块。因为每一个工作模块中的执行单元计算不同种类的日志数据的平均处理时间是不一样的，通过对于日志数据进行提前拆分，便于后续获得日志数据平均处理时间。集群中包含master节点、client节点和data节点：master节点用于维护元数据、管理集群其余节点状态；client节点接收data节点上汇聚的查询结果，并返回给用户；data节点则负责数据的导入和查询。

所述实时计算统计单元300，包括控制模块和若干工作模块。所述控制模块为一个或多个，且每一个控制模块控制若干个工作模块。所述控制模块收集所述每个工作模块的处理速度信息，以及具有逻辑上下游关系的工作模块间的数据流量信息，确定所述每个工作模块的最佳执行单元数量，当所述每个工作模块的最佳执行单元数量与对应工作模块的实际的执行单元数量不符合时，指示工作模块调整执行单元的数量。

根据日志数据到达时间和日志数据平均处理时间来确定所述每个工作模块的最佳执行单元数量，在本实施例中，所述工作节点的最佳执行单元数量等于所述日志数据平均处理时间与所述日志数据到达时间的比值(自然数)，在其它实施例中，所述最佳执行单元数量也可以为约等于所述日志数据平均处理时间与所述日志数据到达时间的比值；其中，所述日志数据到达时间表示日志数据到达所述每个工作模块的时间，所述日志数据平均处理时间表示所述每个工作模块的执行单元处理所述日志数据的平均时间。

所述工作模块包括多个执行单元，利用所述执行单元对日志数据进行处理。当一个工作模块的最佳执行单元数量小于对应工作模块的执行单元数量时，所述控制模块指示工作模块删除至少一个执行单元，或者，当一个工作模块的最佳执行单元数量大于对应工作模块的执行单元数量时，所述控制模块指示对应的工作模块增加至少一个执行单元，使得对应工作模块的当前的执行单元数量与所述工作模块的最佳执行单元数量相同。

所述数据展示单元400包括日志全文检索、分类统计、告警管理、应用管理、***监控和***管理等功能，并且用时间直方图、百分比饼状图、趋势图、字段数值等功能对实时计算统计后的结果进行展示。

本发明实施例还提供了一种海量日志实时分析方法，请参考图3，包括：

步骤S101，对***日志进行采集和预处理；

步骤S102，对采集到***日志进行分拆，并存储为日志数据；

步骤S103，对接收到的日志数据进行实时计算，其中，多个工作模块根据自身的执行单元数量，调用对应数目的执行单元来对接收到的日志数据进行实时计算；控制模块，收集所述每个工作模块的处理速度信息，以及逻辑上下游关系的工作模块间的数据流量信息；根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的优化执行单元数量；若确定所述每个工作模块的优化执行单元数量与所述每个工作模块的执行单元数量不相同，则按照所述每个工作模块的优化执行单元数量对所述每个工作模块的执行单元数量进行调整。

步骤S104，对实时计算统计后的结果进行展示。

其中，当所述每个工作模块的优化执行单元数量小于所述每个工作模块的执行单元数量时，工作模块根据所述每个工作模块的优化执行单元数量为所述每个工作模块删除至少一个执行单元，或者，当所述工作模块的优化执行单元数量大于该工作模块的执行单元数量时，工作模块增加至少一个执行单元，使得所述每个工作模块的当前的执行单元数量与所述每个工作模块的优化执行单元数量相同。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图3所示实施例中描述的海量日志实时分析方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的多个实施例中，应该理解到，所揭露的电子装置和方法，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，模块的间接耦合或通信链接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种海量日志实时分析***，其特征在于，包括：日志采集单元、日志分拆和存储单元、实时计算统计单元，其中，

所述日志采集单元，对***日志进行采集和预处理；

所述日志分拆和存储单元，对采集到***日志进行分拆，并存储为日志数据；

所述实时计算统计单元，对接收到的日志数据进行实时计算，包括控制模块和若干工作模块，每一个工作模块根据自身的执行单元数量，调用对应数目的执行单元来对接收到的日志数据进行实时计算；所述控制模块，收集所述每个工作模块的处理速度信息，以及具有逻辑上下游关系的工作模块间的数据流量信息；根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的最佳执行单元数量；若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同，则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。

2.如权利要求1所述的海量日志实时分析***，其特征在于，当一个工作模块的最佳执行单元数量小于对应工作模块的执行单元数量时，工作模块根据对应的最佳执行单元数量为对应工作模块删除至少一个执行单元，或者，当一个工作模块的最佳执行单元数量大于对应工作模块的执行单元数量时，对应的工作模块增加至少一个执行单元，使得对应工作模块的当前的执行单元数量与所述工作模块的最佳执行单元数量相同。

3.如权利要求2所述的海量日志实时分析***，其特征在于，根据日志数据到达时间和日志数据平均处理时间来确定所述每个工作模块的最佳执行单元数量；其中，所述日志数据到达时间表示日志数据到达所述每个工作模块的时间，所述日志数据平均处理时间表示所述每个工作模块的执行单元处理所述日志数据的平均时间。

4.如权利要求2所述的海量日志实时分析***，其特征在于，所述每个工作节点的最佳执行单元数量等于所述日志数据平均处理时间与所述日志数据到达时间的比值。

5.如权利要求1所述的海量日志实时分析***，其特征在于，所述日志分拆和存储单元对采集到***日志进行分拆，包括：对采集到的***日志进行多维度拆分，每一个维度拆分后的日志数据对应后续的多个工作模块。

6.如权利要求1所述的海量日志实时分析***，其特征在于，所述日志数据包括操作行为日志、设备运行日志、网络访问日志、运行维护日志其中的一种或多种。

7.如权利要求1所述的海量日志实时分析***，其特征在于，还包括：数据展示单元，用于对实时计算统计后的结果进行展示。

8.一种海量日志实时分析方法，其特征在于，包括：

对***日志进行采集和预处理；

对采集到***日志进行分拆，并存储为日志数据；

对接收到的日志数据进行实时计算，每一个工作模块根据自身的执行单元数量，调用对应数目的执行单元来对接收到的日志数据进行实时计算；控制模块收集所述每个工作模块的处理速度信息，以及具有逻辑上下游关系的工作模块间的数据流量信息；根据收集到的数据流量信息和处理速度信息确定所述每个工作模块的最佳执行单元数量；若所述每个工作模块的最佳执行单元数量与所述每个工作模块的执行单元数量不相同，则按照所述最佳执行单元数量对所述每个工作模块的执行单元数量进行调整。

9.如权利要求8所述的海量日志实时分析方法，其特征在于，还包括：对实时计算统计后的结果进行展示。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求8～9任一项所述的海量日志实时分析方法。