CN111124839A - 分布式日志数据监控方法及装置 - Google Patents

分布式日志数据监控方法及装置 Download PDF

Info

Publication number
CN111124839A
CN111124839A CN201911424538.4A CN201911424538A CN111124839A CN 111124839 A CN111124839 A CN 111124839A CN 201911424538 A CN201911424538 A CN 201911424538A CN 111124839 A CN111124839 A CN 111124839A
Authority
CN
China
Prior art keywords
log data
data
distributed
standard deviation
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911424538.4A
Other languages
English (en)
Inventor
黄河峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201911424538.4A priority Critical patent/CN111124839A/zh
Publication of CN111124839A publication Critical patent/CN111124839A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种分布式日志数据监控方法及装置，其中方法包括：获取各分布式节点的日志数据；根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。本发明可以进行分布式日志数据监控，节省人力，提高效率，从而及时准确发现日志数据异常。

Description

分布式日志数据监控方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及分布式日志数据监控方法及装置。
背景技术
在现代分布式***中，为了保护***运行安全，发现数据异常波动，对产生的日志数据进行监控十分必要。
现有技术中，通常由管理员定期对各个服务器下的日志数据进行查看分析，但是随着服务器节点规模呈几何指数增加，逐一对散落在各个服务器下的大量日志数据进行人工分析将耗费大量人力且效率极低，难以及时准确发现日志数据异常。
发明内容
本发明实施例提供一种分布式日志数据监控方法，用以对分布式日志数据进行监控，节省人力，提高效率，从而及时准确发现日志数据异常，该方法包括：
获取各分布式节点的日志数据；
根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。
本发明实施例提供一种分布式日志数据监控装置，用以对分布式日志数据进行监控，节省人力，提高效率，从而及时准确发现日志数据异常，该装置包括：
获取模块，用于获取各分布式节点的日志数据；
监控模块，用于根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。
相较于现有技术中由管理员定期对各个服务器下的日志数据进行查看分析的方案而言，本发明实施例通过获取各分布式节点的日志数据；根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。本发明实施例无需依靠人工分析日志数据，根据历史日志数据预先生成预先生成基线数据，然后根据获取的各分布式节点的日志数据和预先生成的基线数据，可以进行分布式日志数据监控，节省人力，提高效率，从而及时准确发现日志数据异常。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中分布式日志数据监控方法示意图；
图2-图11为本发明一个具体实施例中分布式日志数据监控方法示意图；
图12为本发明实施例中分布式日志数据监控装置结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
首先，对本发明实施例中涉及的名词进行介绍：
ELK：三个开源软件的缩写，分别表示：ElasticSearch，Logstash，Kibana；
ElasticSearch：基于Lucene的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查询，ElasticSearch的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等；
Logstash：用于日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往ElasticSearch上去；
Kibana：可视化工具，主要负责查询ElasticSearch的数据并以可视化的方式展现给业务方，比如各类饼图、直方图、区域图等；
Filebeat：日志数据收集工具，在服务器上安装客户端后，Filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件(追踪文件的变化，不停的读)，并且转发这些信息到ElasticSearch或者Logstash中存放。Filebeat比Logstash更加轻量级，占用***资源极少；
Kafka：开源的分布式消息队列，支持订阅-发布模式，在分布式架构中用作消息总线来传递消息。
为了对分布式日志数据进行监控，节省人力，提高效率，从而及时准确发现日志数据异常，本发明实施例提供一种分布式日志数据监控方法，如图1所示，该方法可以包括：
步骤101、获取各分布式节点的日志数据；
步骤102、根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。
由图1所示可以得知，本发明实施例通过获取各分布式节点的日志数据；根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。本发明实施例无需依靠人工分析日志数据，根据历史日志数据预先生成预先生成基线数据，然后根据获取的各分布式节点的日志数据和预先生成的基线数据，可以进行分布式日志数据监控，节省人力，提高效率，从而及时准确发现日志数据异常。
具体实施时，获取各分布式节点的日志数据。
实施例中，获取各分布式节点的日志数据包括：采集每个分布式节点的日志数据；对所述日志数据进行预处理，其中所述预处理包括：过滤处理，转换处理和结构化处理；获取处理后的日志数据。
本实施例中，采集每个分布式节点的日志数据，包括：利用Filebeat工具采集每个分布式节点的日志数据。本发明实施例的日志数据采集使用Filebeat工具，相较于现有的采用logstash的方案，filebeat比logstach轻量，占用资源更少，对业务应用的影响较logstash小很多。
本实施例中，获取各分布式节点的日志数据还包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中；对所述日志数据进行预处理，包括：拉取所述消息队列中的日志数据，对所述日志数据进行预处理。
本实施例中，利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中，包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入Kafka工具的消息队列中；对所述日志数据进行预处理，包括：利用Logstash工具拉取所述Kafka工具的消息队列中的日志数据，对所述日志数据进行预处理，将处理结果存入ElasticSearch工具中；从ElasticSearch工具中获取处理后的日志数据。
需要说明的是，将所述日志数据存入Kafka工具的消息队列中，可以起到缓冲池的作用，能缓解日志数据峰值处理压力，同时可以减小消息丢失的可能。
具体的，Filebeat需要在每个需要采集日志数据的分布式节点应用服务器上进行部署启动，定义输入，Path指向应用输出的日志文件路径，支持通配，定义输出为Kafka，Kafka的version必须配置，否则可能导致无法输出到kafka，然后启动Filebeat进程。利用Logstash工具拉取所述Kafka工具的消息队列中的日志数据，对所述日志数据进行预处理。Grok是一个logstash的过滤插件，支持根据模式解析文本日志行，拆成字段。ElasticSearch提供了120多种内置的grok内置类型，如果无法内置pattern不能满足，需要自定义pattern，自定义pattern文件的方式：1、创建一个名为patterns其中创建一个文件postfix，文件名可以根据实际需要进行设定，在该文件中，将需要的模式写为模式名称，空格，然后是该模式的正则表达式；2、然后使用这个插件中的patterns_dir设置通知logstash目录是自定义模式。
本实施例中，分布式日志数据监控方法还包括：从ElasticSearch工具中获取处理后的日志数据后，对所述日志数据进行可视化检索处理。
本实施例中，从ElasticSearch工具中获取处理后的日志数据后，对所述日志数据进行可视化检索处理，包括：从ElasticSearch工具中获取处理后的日志数据后，利用Kibana工具对所述日志数据进行可视化检索处理。需要说明的是，利用Kibana工具可以对所述日志数据定制报表或仪表盘。
发明人发现，逐一对散落在各个服务器下的大量日志数据进行人工分析将耗费大量人力且效率极低，难以及时准确发现日志数据异常。因此，本发明基于开源的ELK日志框架，结合工单反查场景、运行监控需求，实现了适用于分布式架构的日志数据获取。
具体实施时，根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。
实施例中，基线数据包括：历史日志数据的标准差范围数据；根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成，包括：根据所述日志数据和预先生成的标准差范围数据，进行分布式日志数据监控，其中所述标准差范围数据根据历史日志数据预先生成。
本实施例中，所述标准差范围数据按如下方式根据历史日志数据预先生成：根据历史日志数据，确定历史日志数据的均值和标准差；根据所述历史日志数据的均值和标准差，生成标准差范围数据。
实施例中，基线数据还可以包括：历史日志数据的时间点数据，时间间隔数据，接口名称，***名称，最大值，最小值，均值，标准差。
实施例中，基线数据的生成包括两种模式：手动生成模式，定时自动生成模式，其中手动生成模式是指定一个历史日期，生成该历史日期的基线数据，定时自动生成模式是根据配置自动生成D-n日的基线，默认每日凌晨自动生成D-1，D-7天的基线数据。
实施例中，按如下方式根据所述历史日志数据的均值和标准差，生成标准差范围数据：历史日志数据的均值加上两倍的标准差为标准差范围的上界，历史日志数据的均值减去两倍的标准差为标准差范围的下界。
实施例中，将日志数据与预先生成的标准差范围数据进行比较，超出标准差范围的上界或标准差范围的下界则进行告警，存入ElasticSearch中，通过kibana展现并提示维护部门，从而实现分布式日志数据监控。
实施例中，以***耗时告警为例，以相同聚合纬度对日志数据进行统计，如果下界为负数时，下界需要替换为基线数据中的耗时最小值。
实施例中，在kibana中进行可视化，当前耗时超过标准差上界的数据会被写入异常告警的index中，在kibana中展示。
下面给出一个具体实施例，说明本发明实施例中分布式日志数据监控方法的具体应用。在本具体实施例中，Filebeat需要在每个需要采集日志的应用服务器上进行部署启动，定义输入，如图2所示，定义输出为kafka，如图3所示，启动filebeat进程，./filebeat-c/ipps/install-p903/elastic/filebeat/filebeat-ipps-merchant.yml，创建Kafka主题，上传文件/kafka/create_topics.sh至kafka任一broker上，客户化修改并执行create_topics.sh，然后配置Logstash，配置从kafka拉取日志，如图4所示，定义pattern文件的方式：1、创建一个名为patterns其中创建一个文件postfix，文件名可以根据实际需要进行设定，在该文件中，将需要的模式写为模式名称，空格，然后是该模式的正则表达式，如图5所示；2、然后使用这个插件中的patterns_dir设置通知logstash目录是自定义模式，一个完整的示例日志如图6所示。在elk采集日志平台基础上应用python，实现监控功能。预先生成的基线数据，其中配置如图7所示，后台***耗时基线数据如图8所示，日志数据配置如图9所示，当前耗时超过基线阈值的交易告警，交易会被写入异常告警的index中，在kibana中展示，如图10所示，当前耗时和基线数据进行实时对比，得到结果如图11所示。
基于同一发明构思，本发明实施例还提供了一种分布式日志数据监控装置，如下面的实施例所述。由于这些解决问题的原理与分布式日志数据监控方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
图12为本发明实施例中分布式日志数据监控装置的结构图，如图12所示，该装置包括：
获取模块1201，用于获取各分布式节点的日志数据；
监控模块1202，用于根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。
一个实施例中，所述获取模块1201进一步用于：
采集每个分布式节点的日志数据；
对所述日志数据进行预处理，其中所述预处理包括：过滤处理，转换处理和结构化处理；
获取处理后的日志数据。
一个实施例中，所述获取模块1201进一步用于：利用Filebeat工具采集每个分布式节点的日志数据。
一个实施例中，基线数据包括：历史日志数据的标准差范围数据；
所述监控模块1202进一步用于：根据所述日志数据和预先生成的标准差范围数据，进行分布式日志数据监控，其中所述标准差范围数据根据历史日志数据预先生成。
一个实施例中，所述标准差范围数据按如下方式根据历史日志数据预先生成：
根据历史日志数据，确定历史日志数据的均值和标准差；
根据所述历史日志数据的均值和标准差，生成标准差范围数据。
综上所述，本发明实施例通过获取各分布式节点的日志数据；根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。本发明实施例无需依靠人工分析日志数据，根据历史日志数据预先生成预先生成基线数据，然后根据获取的各分布式节点的日志数据和预先生成的基线数据，可以进行分布式日志数据监控，节省人力，提高效率，从而及时准确发现日志数据异常。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种分布式日志数据监控方法，其特征在于，包括：
获取各分布式节点的日志数据；
根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。
2.如权利要求1所述的分布式日志数据监控方法，其特征在于，获取各分布式节点的日志数据包括：
采集每个分布式节点的日志数据；
对所述日志数据进行预处理，其中所述预处理包括：过滤处理，转换处理和结构化处理；
获取处理后的日志数据。
3.如权利要求2所述的分布式日志数据监控方法，其特征在于，采集每个分布式节点的日志数据，包括：利用Filebeat工具采集每个分布式节点的日志数据。
4.如权利要求3所述的分布式日志数据监控方法，其特征在于，获取各分布式节点的日志数据还包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中；
对所述日志数据进行预处理，包括：拉取所述消息队列中的日志数据，对所述日志数据进行预处理。
5.如权利要求4所述的分布式日志数据监控方法，其特征在于，利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入消息队列中，包括：利用Filebeat工具采集每个分布式节点的日志数据之后，将所述日志数据存入Kafka工具的消息队列中；
对所述日志数据进行预处理，包括：利用Logstash工具拉取所述Kafka工具的消息队列中的日志数据，对所述日志数据进行预处理，将处理结果存入ElasticSearch工具中；
从ElasticSearch工具中获取处理后的日志数据。
6.如权利要求5所述的分布式日志数据监控方法，其特征在于，还包括：从ElasticSearch工具中获取处理后的日志数据后，对所述日志数据进行可视化检索处理。
7.如权利要求6所述的分布式日志数据监控方法，其特征在于，从ElasticSearch工具中获取处理后的日志数据后，对所述日志数据进行可视化检索处理，包括：从ElasticSearch工具中获取处理后的日志数据后，利用Kibana工具对所述日志数据进行可视化检索处理。
8.如权利要求1所述的分布式日志数据监控方法，其特征在于，基线数据包括：历史日志数据的标准差范围数据；
根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成，包括：根据所述日志数据和预先生成的标准差范围数据，进行分布式日志数据监控，其中所述标准差范围数据根据历史日志数据预先生成。
9.如权利要求8所述的分布式日志数据监控方法，其特征在于，所述标准差范围数据按如下方式根据历史日志数据预先生成：
根据历史日志数据，确定历史日志数据的均值和标准差；
根据所述历史日志数据的均值和标准差，生成标准差范围数据。
10.一种分布式日志数据监控装置，其特征在于，包括：
获取模块，用于获取各分布式节点的日志数据；
监控模块，用于根据所述日志数据和预先生成的基线数据，进行分布式日志数据监控，其中所述基线数据根据历史日志数据预先生成。
11.如权利要求10所述的分布式日志数据监控装置，其特征在于，所述获取模块进一步用于：
采集每个分布式节点的日志数据；
对所述日志数据进行预处理，其中所述预处理包括：过滤处理，转换处理和结构化处理；
获取处理后的日志数据。
12.如权利要求11所述的分布式日志数据监控装置，其特征在于，所述获取模块进一步用于：利用Filebeat工具采集每个分布式节点的日志数据。
13.如权利要求10所述的分布式日志数据监控装置，其特征在于，基线数据包括：历史日志数据的标准差范围数据；
所述监控模块进一步用于：根据所述日志数据和预先生成的标准差范围数据，进行分布式日志数据监控，其中所述标准差范围数据根据历史日志数据预先生成。
14.如权利要求13所述的分布式日志数据监控装置，其特征在于，所述标准差范围数据按如下方式根据历史日志数据预先生成：
根据历史日志数据，确定历史日志数据的均值和标准差；
根据所述历史日志数据的均值和标准差，生成标准差范围数据。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9任一所述方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至9任一所述方法的计算机程序。
CN201911424538.4A 2019-12-31 2019-12-31 分布式日志数据监控方法及装置 Pending CN111124839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911424538.4A CN111124839A (zh) 2019-12-31 2019-12-31 分布式日志数据监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911424538.4A CN111124839A (zh) 2019-12-31 2019-12-31 分布式日志数据监控方法及装置

Publications (1)

Publication Number Publication Date
CN111124839A true CN111124839A (zh) 2020-05-08

Family

ID=70507126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911424538.4A Pending CN111124839A (zh) 2019-12-31 2019-12-31 分布式日志数据监控方法及装置

Country Status (1)

Country Link
CN (1) CN111124839A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726252A (zh) * 2020-06-17 2020-09-29 浪潮集团有限公司 一种针对工业设备的异常数据上报方法及工具
CN112256530A (zh) * 2020-10-27 2021-01-22 广州助蜂网络科技有限公司 一种可链路追踪的日志服务方法及其***
CN112579326A (zh) * 2020-12-29 2021-03-30 北京五八信息技术有限公司 离线数据处理方法、装置、电子设备和计算机可读介质
CN117033334A (zh) * 2023-10-08 2023-11-10 吉林省高速公路集团有限公司 高速公路收费车道日志采集处理方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017071134A1 (zh) * 2015-10-28 2017-05-04 北京汇商融通信息技术有限公司 分布式跟踪***
CN108874642A (zh) * 2018-05-25 2018-11-23 平安科技（深圳）有限公司 Sql性能监控方法、装置、计算机设备及存储介质
CN109167672A (zh) * 2018-07-13 2019-01-08 腾讯科技（深圳）有限公司 一种回源错误定位方法、装置、存储介质以及***
CN110191000A (zh) * 2019-06-10 2019-08-30 中汇信息技术（上海）有限公司 一种数据处理方法、消息追踪监控方法和分布式***
CN110309030A (zh) * 2019-07-05 2019-10-08 亿玛创新网络(天津)有限公司 基于ELK和Zabbix的日志分析监控***和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017071134A1 (zh) * 2015-10-28 2017-05-04 北京汇商融通信息技术有限公司 分布式跟踪***
CN108874642A (zh) * 2018-05-25 2018-11-23 平安科技（深圳）有限公司 Sql性能监控方法、装置、计算机设备及存储介质
CN109167672A (zh) * 2018-07-13 2019-01-08 腾讯科技（深圳）有限公司 一种回源错误定位方法、装置、存储介质以及***
CN110191000A (zh) * 2019-06-10 2019-08-30 中汇信息技术（上海）有限公司 一种数据处理方法、消息追踪监控方法和分布式***
CN110309030A (zh) * 2019-07-05 2019-10-08 亿玛创新网络(天津)有限公司 基于ELK和Zabbix的日志分析监控***和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726252A (zh) * 2020-06-17 2020-09-29 浪潮集团有限公司 一种针对工业设备的异常数据上报方法及工具
CN112256530A (zh) * 2020-10-27 2021-01-22 广州助蜂网络科技有限公司 一种可链路追踪的日志服务方法及其***
CN112579326A (zh) * 2020-12-29 2021-03-30 北京五八信息技术有限公司 离线数据处理方法、装置、电子设备和计算机可读介质
CN117033334A (zh) * 2023-10-08 2023-11-10 吉林省高速公路集团有限公司 高速公路收费车道日志采集处理方法及***
CN117033334B (zh) * 2023-10-08 2023-12-22 吉林省高速公路集团有限公司 高速公路收费车道日志采集处理方法及***

Similar Documents

Publication Publication Date Title
CN111124839A (zh) 分布式日志数据监控方法及装置
US10860596B2 (en) Employing external data stores to service data requests
CN113360554B (zh) 一种数据抽取、转换和加载etl的方法和设备
CN108985981B (zh) 数据处理***及方法
CN108521339B (zh) 一种基于集群日志的反馈式节点故障处理方法及***
CN112749194A (zh) 可视化的数据处理方法、装置、电子设备及可读存储介质
CN104951512A (zh) 一种基于互联网的舆情数据采集方法及***
US11416278B2 (en) Presenting hypervisor data for a virtual machine with associated operating system data
US20140082424A1 (en) Etl debugger
CN104537015A (zh) 一种日志分析的计算机实现的方法、计算机和***
CN108829505A (zh) 一种分布式调度***及方法
CN110851234A (zh) 基于docker容器的日志处理方法及装置
CN112529528A (zh) 基于大数据流计算的工作流监控与告警方法、装置及***
CN111106965A (zh) 用于复杂***的日志智能分析方法、工具、设备及介质
CN111563131A (zh) 数据库实体关系生成方法、装置、计算机设备和存储介质
CN104991836A (zh) 恢复数据库的方法、装置及数据库服务器
CN113094154A (zh) 一种基于阿里云的大数据处理方法及***
CN111708576A (zh) 跨操作***的设备网卡适配和管理方法、装置及***
CN110019045B (zh) 日志落地方法及装置
CN109033196A (zh) 一种分布式数据调度***及方法
CN115794064A (zh) 任务处理流程的配置方法、装置、电子设备及存储介质
CN115757642A (zh) 一种基于归档日志文件的数据同步方法及装置
CN113672307A (zh) 数据处理方法、电子设备和计算机可读存储介质
CN111125063A (zh) 一种快速校验集群间的数据迁移的方法及装置
CN115168363B (zh) 元数据的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination