CN111522786A - 日志处理***及方法 - Google Patents

日志处理***及方法 Download PDF

Info

Publication number
CN111522786A
CN111522786A CN202010315303.8A CN202010315303A CN111522786A CN 111522786 A CN111522786 A CN 111522786A CN 202010315303 A CN202010315303 A CN 202010315303A CN 111522786 A CN111522786 A CN 111522786A
Authority
CN
China
Prior art keywords
log
service
service logs
logs
system types
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010315303.8A
Other languages
English (en)
Inventor
邵茂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202010315303.8A priority Critical patent/CN111522786A/zh
Publication of CN111522786A publication Critical patent/CN111522786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志处理***及方法，该日志处理***包括：日志转发层、分布式消息队列、计算引擎以及存储模块；所述日志转发层，用于接收从各应用服务器采集的业务日志并将所述业务日志发送到所述分布式消息队列；所述计算引擎，用于从所述分布式消息队列拉取业务日志，并根据各业务日志对应的***类型对拉取的业务日志进行日志切分；所述存储模块，用于接收所述计算引擎发送的通过日志切分得到的各***类型对应的业务日志，并根据***类型对业务日志进行分类储存。本发明实现了可靠稳定的对海量的业务日志进行分类存储的技术效果，有助于后续对各***进行日志分析。

Description

日志处理***及方法
技术领域
本发明涉及日志分析技术领域，具体而言，涉及一种日志处理***及方法。
背景技术
日志是记录各种***中问题信息的关键，是一种常见的海量数据，目前可以通过***的日志对***的运行状态进行分析。目前银行等组织机构都有多种***，这些***基于分布式的应用服务器集群日复一日地运，产生海量的日志。目前由于计算资源的限制通常只能针对某一台应用服务器进行日志分析，而要想准确的分析各***的运行状态，需要对每台应用服务器进行日志分析，最终汇总结果，这种做法费时费力。因此现有技术缺少一种针对分布式的应用服务器集群中各***的日志进行汇总的方法。
发明内容
本发明为了解决上述背景技术中的至少一个技术问题，提出了一种日志处理方法及装置。
为了实现上述目的，根据本发明的一个方面，提供了一种日志处理***，该***包括：日志转发层、分布式消息队列、计算引擎以及存储模块；
所述日志转发层，用于接收从各应用服务器采集的业务日志并将所述业务日志发送到所述分布式消息队列；
所述计算引擎，用于从所述分布式消息队列拉取业务日志，并根据各业务日志对应的***类型对拉取的业务日志进行日志切分；
所述存储模块，用于接收所述计算引擎发送的通过日志切分得到的各***类型对应的业务日志，并根据***类型对业务日志进行分类储存。
可选的，所述存储模块包括：Hbase数据库和Elasticsearch集群；
所述Hbase数据库，用于分类储存各***类型对应的业务日志；所述Elasticsearch集群用于存储各***类型对应的日志索引。
可选的，该日志处理***还包括：
监测统计模块，用于根据预设的各***类型对应的监测统计任务从各***类型对应的业务日志中提取数据，得到各监测统计任务的监测统计结果。
可选的，所述计算引擎，还用于根据预设的各***类型对应的日志告警条件对各***类型对应的业务日志进行监控，并在所述业务日志满足对应的所述日志告警条件时生成告警信息。
可选的，该日志处理***还包括：
网页服务层，用于接收采集的前端浏览器中的业务日志，并将所述业务日志发送到所述分布式消息队列。
为了实现上述目的，根据本发明的另一方面，提供了一种日志处理方法，该方法包括：
日志转发层将接收的从各应用服务器采集的业务日志发送到分布式消息队列；
计算引擎从所述分布式消息队列拉取业务日志，并根据各业务日志对应的***类型对拉取的业务日志进行日志切分；
存储模块接收所述计算引擎发送的通过日志切分得到的各***类型对应的业务日志，并根据***类型对业务日志进行分类储存。
可选的，存储模块根据***类型对业务日志进行分类储存，具体包括：
通过Hbase数据库分类储存各***类型对应的业务日志，以及通过Elasticsearch集群存储各***类型对应的日志索引。
可选的，该日志处理方法还包括：
监测统计模块根据预设的各***类型对应的监测统计任务从各***类型对应的业务日志中提取数据，得到各监测统计任务的监测统计结果。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述日志处理方法中的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述日志处理方法中的步骤。
本发明的有益效果为：本发明实施例从各应用服务器采集各***的业务日志，并通过日志转发层将业务日志转发到分布式消息队列，分布式消息队列具备了海量数据堆积、高吞吐读写的特性能够对海量的业务日志进行缓冲，实现了削峰填谷的功能，进而计算引擎分批次的消费分布式消息队列中的业务日志，并根据各业务日志对应的***类型对拉取的业务日志进行切分，最终将切分出的各***类型对应的业务日志分类储存，实现了可靠稳定的对海量的业务日志进行分类存储的技术效果，有助于后续对各***进行日志分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例日志处理***的第一结构框图；
图2是本发明实施例日志处理***的第二结构框图；
图3是本发明实施例日志处理方法的流程图；
图4是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是本发明实施例日志处理***的第一结构框图，如图1所示，本实施例的日志处理***包括：日志转发层、分布式消息队列、计算引擎以及存储模块。
日志转发层用于接收从各应用服务器采集的业务日志并将所述业务日志发送到所述分布式消息队列。在本发明可选实施例中，本发明通过在各应用服务器中设置日志采集插件，该日志采集插件可以定时或实时将应用服务器中产生的业务日志发送到日志转发层。在本发明可选实施例中，在本发明的分布式的应用服务器集群中部署有多种***(或业务***)，例如Redis缓存***、Kafka等，每个***可以部署在一个或多个应用服务器中，各***产生的业务日志将存储在部署的应用服务器中。
在本发明可选实施例中，分布式消息队列具备了海量数据堆积、高吞吐读写的特性能够对海量的业务日志进行缓冲，实现了削峰填谷的功能。在本发明可选实施例中，分布式消息队列可以采用现有技术的各种消息队列，优选的，可以采用Kafka集群。Kafka集群具有高性能、高可用、易扩展等优点，可以将整个数据处理流程解耦。将Kafka集群作为日志发送的缓冲层，可以为后面的分布式日志消费服务(计算引擎)提供异步解耦、削峰填谷的能力，也同时具备了海量数据堆积、高吞吐读写的特性。
在本发明可选实施例中，计算引擎可以采用现有技术的各种计算引擎，优选的，本发明采用Spark Streaming流计算引擎，本发明的计算引擎可以为部署的Spark集群，Spark集群包括多个计算节点，此外，本发明可以采用Yarn进行计算资源管理，在本发明可选实施例中，Yarn可以根据不同***类型的日志量级为各***类型分配计算资源(计算节点)。
在本发明可选实施例中，计算引擎消费写入分布式消息队列中的业务日志，具体的计算引擎可以分批次的从分布式消息队列中拉取业务日志。在本发明可选实施例中，每个业务日志中标识有对应的***类型，计算引擎根据各业务日志对应的***类型对拉取的一批业务日志进行切分，得这一批业务日志中各***类型的业务日志。进而计算引擎将各***类型的业务日志发送到存储模块中进行分类储存。
在本发明可选实施例中，所述存储模块用于对各***的业务日志进行分类存储。在本发明一可选实施例中，所述存储模块可以采用Elasticsearch集群，在Elasticsearch集群中为每个***类型创建一个对应的索引，各***的业务日志储存在对应的索引下。在本发明可选实施例中，每个索引对应多个存储切片(shard)，各***的业务日志储存在索引对应的存储切片中。
本发明考虑到随着时间的增加，Elasticsearch集群中存储的日志数量将会海量增加，这将导致日志的查询或索引较慢。在本发明一可选实施例中，本发明可以采用Elasticsearch集群和Hbase数据库结合的方式进行日志存储和索引，如图2所示。Elasticsearch集群仅用于创建及存储各***类型对应的日志索引，而各***类型对应的具体业务日志内容则分类存储在Hbase数据库，并建立各***类型对应的日志索引与存储在Hbase数据库中各***类型对应的业务日志的对应关系。本发明***采用Hbase存储原始日志数据和ElasticSearch索引内容相结合的方式，完成存储和索引，提升了日志查询或索引的效率。
图2是本发明实施例日志处理***的第二结构框图，如图2所示，在本发明的可选实施例中，本发的日志处理***还包括：监测统计模块。
监测统计模块用于根据预设的各***类型对应的监测统计任务从各***类型对应的业务日志中提取数据，得到各监测统计任务的监测统计结果。本发明针对各***设置监测统计任务，例如针对Redis缓存***设置监测命令进程数量、内存使用数量、网络输入/输出数量等监测统计任务。在本发明实施例中，监测统计根据监测统计任务访问任务对应的业务日志获取数据，进而得到监测统计任务的监测统计结果。在本发明可选实施例中，监测统计模块可访问存储模块中各***的业务日志获取需要的数据。在本发明一可选实施例中，监测统计模块可以采用flink集群。
在本发明可选实施例中，本发明的日志处理***还包括web管理控制台，该web管理控制台用于对各监测统计任务的监测统计结果进行可视化展示。
在本发明的可选实施例中，所述计算引擎还用于根据预设的各***类型对应的日志告警条件对各***类型对应的业务日志进行监控，并在所述业务日志满足对应的所述日志告警条件时生成告警信息。
在本发明的可选实施例中，所述计算引擎还用于实时根据各***类型对应的业务日志对各***的运行状态进行分析，以对各***问题进行实时分析。在本发明可选实施例中，在计算引擎消费分布式消息队列中的日志数据前可以先针对各***类型的业务日志建立日志模型并设置过滤匹配的告警规则，计算引擎的每个计算节点保存一份这样的规则，在规则设定的时间内，计数达到告警规则所配置的阈值后，通过指定的渠道给指定用户发送告警，以便及时发现***出现的问题。
如图2所示，在本发明的可选实施例中，本发的日志处理***还包括：网页服务层(web protal)。该网页服务层用于接收采集的前端浏览器中的业务日志，并将所述业务日志发送到所述分布式消息队列。在本发明可选实施例中，本发明通过在前端浏览器中设置日志采集插件来采用各前端浏览器中各***生成的日志，并通过Http请求将采集的日志发送到网页服务层(web protal)。
基于同一发明构思，本发明实施例还提供了一种日志处理方法。由于日志处理方法解决问题的原理与日志处理***相似，因此日志处理方法的实施例可以参见日志处理***的实施例，重复之处不再赘述。
图3是本发明实施例日志处理方法的流程图，如图3所示，本发明实施例日志处理方法包括步骤S101至步骤S103。
步骤S101，日志转发层将接收的从各应用服务器采集的业务日志发送到分布式消息队列。
步骤S102，计算引擎从所述分布式消息队列拉取业务日志，并根据各业务日志对应的***类型对拉取的业务日志进行日志切分。
步骤S103，存储模块接收所述计算引擎发送的通过日志切分得到的各***类型对应的业务日志，并根据***类型对业务日志进行分类储存。
在本发明一可选实施例中，上述步骤S103的存储模块根据***类型对业务日志进行分类储存，具体包括：通过Hbase数据库分类储存各***类型对应的业务日志，以及通过Elasticsearch集群存储各***类型对应的日志索引。
在本发明一可选实施例中，本发明的日志处理方法还包括：
监测统计模块根据预设的各***类型对应的监测统计任务从各***类型对应的业务日志中提取数据，得到各监测统计任务的监测统计结果。
在本发明一可选实施例中，本发明的日志处理方法还包括：
计算引擎根据预设的各***类型对应的日志告警条件对各***类型对应的业务日志进行监控，并在所述业务日志满足对应的所述日志告警条件时生成告警信息。
在本发明一可选实施例中，本发明的日志处理方法还包括：
网页服务层接收采集的前端浏览器中的业务日志，并将所述业务日志发送到所述分布式消息队列。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图4所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述日志处理方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日志处理***，其特征在于，包括：日志转发层、分布式消息队列、计算引擎以及存储模块；
所述日志转发层，用于接收从各应用服务器采集的业务日志并将所述业务日志发送到所述分布式消息队列；
所述计算引擎，用于从所述分布式消息队列拉取业务日志，并根据各业务日志对应的***类型对拉取的业务日志进行日志切分；
所述存储模块，用于接收所述计算引擎发送的通过日志切分得到的各***类型对应的业务日志，并根据***类型对业务日志进行分类储存。
2.根据权利要求1所述的日志处理***，其特征在于，所述存储模块包括：Hbase数据库和Elasticsearch集群；
所述Hbase数据库，用于分类储存各***类型对应的业务日志；所述Elasticsearch集群用于存储各***类型对应的日志索引。
3.根据权利要求1所述的日志处理***，其特征在于，还包括：
监测统计模块，用于根据预设的各***类型对应的监测统计任务从各***类型对应的业务日志中提取数据，得到各监测统计任务的监测统计结果。
4.根据权利要求1所述的日志处理***，其特征在于，所述计算引擎，还用于根据预设的各***类型对应的日志告警条件对各***类型对应的业务日志进行监控，并在所述业务日志满足对应的所述日志告警条件时生成告警信息。
5.根据权利要求1所述的日志处理***，其特征在于，还包括：
网页服务层，用于接收采集的前端浏览器中的业务日志，并将所述业务日志发送到所述分布式消息队列。
6.一种日志处理方法，其特征在于，包括：
日志转发层将接收的从各应用服务器采集的业务日志发送到分布式消息队列；
计算引擎从所述分布式消息队列拉取业务日志，并根据各业务日志对应的***类型对拉取的业务日志进行日志切分；
存储模块接收所述计算引擎发送的通过日志切分得到的各***类型对应的业务日志，并根据***类型对业务日志进行分类储存。
7.根据权利要求6所述的日志处理方法，其特征在于，存储模块根据***类型对业务日志进行分类储存，具体包括：
通过Hbase数据库分类储存各***类型对应的业务日志，以及通过Elasticsearch集群存储各***类型对应的日志索引。
8.根据权利要求6所述的日志处理方法，其特征在于，还包括：
监测统计模块根据预设的各***类型对应的监测统计任务从各***类型对应的业务日志中提取数据，得到各监测统计任务的监测统计结果。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6至8任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求6至8任意一项所述的方法。
CN202010315303.8A 2020-04-21 2020-04-21 日志处理***及方法 Pending CN111522786A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010315303.8A CN111522786A (zh) 2020-04-21 2020-04-21 日志处理***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010315303.8A CN111522786A (zh) 2020-04-21 2020-04-21 日志处理***及方法

Publications (1)

Publication Number Publication Date
CN111522786A true CN111522786A (zh) 2020-08-11

Family

ID=71903948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010315303.8A Pending CN111522786A (zh) 2020-04-21 2020-04-21 日志处理***及方法

Country Status (1)

Country Link
CN (1) CN111522786A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035425A (zh) * 2020-10-27 2020-12-04 苏宁金融科技(南京)有限公司 一种日志的存储方法、装置及计算机***
CN112650599A (zh) * 2020-12-21 2021-04-13 深圳前海微众银行股份有限公司 一种日志处理方法、设备及存储介质
CN114244901A (zh) * 2021-11-22 2022-03-25 中国建设银行股份有限公司 数据的处理方法、装置及电子设备
CN114978885A (zh) * 2022-08-02 2022-08-30 深圳市华曦达科技股份有限公司 一种日志管理方法、装置、计算机设备及***
CN115269516A (zh) * 2022-06-30 2022-11-01 北京数美时代科技有限公司 一种日志数据采集管理方法、***、存储介质和电子设备
CN116541364A (zh) * 2023-07-06 2023-08-04 中电科新型智慧城市研究院有限公司 日志数据的存储方法、装置、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959153A (zh) * 2009-07-20 2011-01-26 中兴通讯股份有限公司 一种监测数据业务***回执返回情况的方法及***
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储***的日志管理优化方法
US20130125139A1 (en) * 2011-11-16 2013-05-16 International Business Machines Corporation Logging In A Computer System
CN107622084A (zh) * 2017-08-10 2018-01-23 深圳前海微众银行股份有限公司 日志管理方法、***以及计算机可读存储介质
CN109726074A (zh) * 2018-08-31 2019-05-07 网联清算有限公司 日志处理方法、装置、计算机设备和存储介质
CN110413586A (zh) * 2019-08-05 2019-11-05 山东浪潮通软信息科技有限公司 分布式日志管理方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959153A (zh) * 2009-07-20 2011-01-26 中兴通讯股份有限公司 一种监测数据业务***回执返回情况的方法及***
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储***的日志管理优化方法
US20130125139A1 (en) * 2011-11-16 2013-05-16 International Business Machines Corporation Logging In A Computer System
CN107622084A (zh) * 2017-08-10 2018-01-23 深圳前海微众银行股份有限公司 日志管理方法、***以及计算机可读存储介质
CN109726074A (zh) * 2018-08-31 2019-05-07 网联清算有限公司 日志处理方法、装置、计算机设备和存储介质
CN110413586A (zh) * 2019-08-05 2019-11-05 山东浪潮通软信息科技有限公司 分布式日志管理方法及***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035425A (zh) * 2020-10-27 2020-12-04 苏宁金融科技(南京)有限公司 一种日志的存储方法、装置及计算机***
CN112035425B (zh) * 2020-10-27 2021-11-09 南京星云数字技术有限公司 一种日志的存储方法、装置及计算机***
CN112650599A (zh) * 2020-12-21 2021-04-13 深圳前海微众银行股份有限公司 一种日志处理方法、设备及存储介质
CN114244901A (zh) * 2021-11-22 2022-03-25 中国建设银行股份有限公司 数据的处理方法、装置及电子设备
CN115269516A (zh) * 2022-06-30 2022-11-01 北京数美时代科技有限公司 一种日志数据采集管理方法、***、存储介质和电子设备
CN114978885A (zh) * 2022-08-02 2022-08-30 深圳市华曦达科技股份有限公司 一种日志管理方法、装置、计算机设备及***
CN116541364A (zh) * 2023-07-06 2023-08-04 中电科新型智慧城市研究院有限公司 日志数据的存储方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN111522786A (zh) 日志处理***及方法
CN107577805B (zh) 一种面向日志大数据分析的业务服务***
US11182098B2 (en) Optimization for real-time, parallel execution of models for extracting high-value information from data streams
US12008027B2 (en) Optimization for real-time, parallel execution of models for extracting high-value information from data streams
CN113360554B (zh) 一种数据抽取、转换和加载etl的方法和设备
CN111459986B (zh) 数据计算***及方法
CN108574645B (zh) 一种队列调度方法及装置
CN107346270B (zh) 基于实时计算的基数估计的方法和***
CN112988679B (zh) 日志采集控制方法、装置、存储介质及服务器
CN112231296B (zh) 一种分布式日志处理方法、装置、***、设备及介质
CN111669295B (zh) 业务管理方法和装置
CN110147470B (zh) 一种跨机房数据比对***及方法
CN116661705B (zh) 基于kafka的数据管理方法、***、电子设备及存储介质
Elagib et al. Big data analysis solutions using MapReduce framework
CN112019605A (zh) 数据流的数据分发方法和***
CN114461792A (zh) 告警事件关联方法、装置、电子设备、介质及程序产品
US9043535B1 (en) Minimizing application response time
CN114125015A (zh) 一种数据采集方法及***
WO2021027331A1 (zh) 基于图数据的全量关系计算方法、装置、设备及存储介质
CN110022343B (zh) 自适应事件聚合
CN113590322A (zh) 一种数据处理方法和装置
EP3380906A1 (en) Optimization for real-time, parallel execution of models for extracting high-value information from data streams
CN114116790A (zh) 数据处理的方法及装置
CN115396319B (zh) 数据流分片方法、装置、设备及存储介质
CN111858918A (zh) 新闻分类方法及装置、网元、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220914

Address after: 25 Financial Street, Xicheng District, Beijing 100033

Applicant after: CHINA CONSTRUCTION BANK Corp.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Applicant before: CHINA CONSTRUCTION BANK Corp.

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.

TA01 Transfer of patent application right