CN111158876B - 一种日志处理方法、装置、设备及计算机可读存储介质 - Google Patents

一种日志处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111158876B
CN111158876B CN201911367896.6A CN201911367896A CN111158876B CN 111158876 B CN111158876 B CN 111158876B CN 201911367896 A CN201911367896 A CN 201911367896A CN 111158876 B CN111158876 B CN 111158876B
Authority
CN
China
Prior art keywords
event
log
interface
log processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911367896.6A
Other languages
English (en)
Other versions
CN111158876A (zh
Inventor
李亮
范渊
刘博�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201911367896.6A priority Critical patent/CN111158876B/zh
Publication of CN111158876A publication Critical patent/CN111158876A/zh
Application granted granted Critical
Publication of CN111158876B publication Critical patent/CN111158876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种日志处理方法，包括对获取的日志数据进行封装，获得Event事件；将所述Event事件发布到Disruptor队列中；当接收到日志处理请求时，确定所述日志处理请求指定的目标功能接口；通过所述目标功能接口从所述Disruptor队列中获取所述Event事件，并对所述Event事件进行处理；该日志处理方法可以在降低CPU损耗的同时，提高日志处理效率。本申请还公开了一种日志处理装置、设备及计算机可读存储介质，均具有上述有益效果。

Description

一种日志处理方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及数据处理技术领域，特别涉及一种日志处理方法，还涉及一种日志处理装置、设备以及计算机可读存储介质。
背景技术
SEDA(Staged Event Driven Architecture)是一种阶段性事件驱动的服务器应用程序架构，其旨在结合事件驱动和多线程模式两者的优点，从而做到易扩展，解耦合，高并发，可用于实现日志事件的处理。
在传统的SEDA架构中，日志事件的处理由每一个Stage的线程池异步处理，并通过共同的处理对象(CEP，Common Event Process)传递日志事件信息。但是，当各个功能模块间存在大量信息交互时，会有大量的线程上下文切换，从而导致较大的开销；而且，传统SEDA架构中处理日志事件的队列使用的是阻塞队列，会导致大量的加锁和锁的竞争，大大增加了CPU损耗，降低了日志事件处理效率。
因此，如何在降低CPU损耗的同时，提高日志处理效率是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种日志处理方法，该日志处理方法可以在降低CPU损耗的同时，提高日志处理效率；本申请的另一目的是提供一种日志处理装置、设备以及计算机可读存储介质，也具有上述有益效果。
为解决上述技术问题，本申请提供了一种日志处理方法，所述日志处理方法包括：
对获取的日志数据进行封装，获得Event事件；
将所述Event事件发布到Disruptor队列中；
当接收到日志处理请求时，确定所述日志处理请求指定的目标功能接口；
通过所述目标功能接口从所述Disruptor队列中获取所述Event事件，并对所述Event事件进行处理。
优选的，获取所述日志数据，包括：
通过Reactor模式接收所述日志数据。
优选的，所述通过Reactor模式接收所述日志数据，包括：
按照预设协议，通过所述Reactor模式接收所述日志数据；其中，所述预设协议为ftp协议，或http协议，或kafka协议。
优选的，对所述日志数据进行封装之前，还包括：
对所述日志数据进行预处理，获得标准数据。
优选的，所述目标功能接口为事件接收接口，和/或事件解析接口，和/或事件关联接口，和/或事件统计接口，和/或事件存储接口。
为解决上述技术问题，本申请还提供了一种日志处理装置，所述日志处理装置包括：
数据封装模块，用于对获取的日志数据进行封装，获得Event事件；
事件发布模块，用于将所述Event事件发布到Disruptor队列中；
接口确定模块，用于当接收到日志处理请求时，确定所述日志处理请求指定的目标功能接口；
日志处理模块，用于通过所述目标功能接口从所述Disruptor队列中获取所述Event事件，并对所述Event事件进行处理。
优选的，所述日志处理装置还包括：
数据获取模块，用于通过Reactor模式接收所述日志数据。
优选的，所述日志处理装置还包括：
预处理模块，用于在对所述日志数据进行封装之前，对所述日志数据进行预处理，获得标准数据。
为解决上述技术问题，本申请还提供了一种日志处理设备，所述日志处理设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任意一种日志处理方法的步骤。
为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种日志处理方法的步骤。
本申请所提供的一种日志处理方法，包括对获取的日志数据进行封装，获得Event事件；将所述Event事件发布到Disruptor队列中；当接收到日志处理请求时，确定所述日志处理请求指定的目标功能接口；通过所述目标功能接口从所述Disruptor队列中获取所述Event事件，并对所述Event事件进行处理。
可见，本申请所提供的日志处理方法，利用Disruptor对传统SEDA架构进行了优化处理，将基于日志数据封装获得的各个Event事件发布到Disruptor队列中进行存储，由于Disruptor使用环形数据队列来存储事件，能够在无锁的情况下实现事件并发操作，有效避免了传统SEDA架构中由于使用阻塞队列导致大量的加锁和锁的竞争，从而降低了CPU损耗，同时，通过直接调用各个功能接口实现日志事件的并发处理，大大提高了日志事件处理效率。
本申请所提供的一种日志处理装置、服务器以及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请所提供的一种日志处理方法的流程示意图；
图2为本申请所提供的一种日志处理装置的结构示意图；
图3为本申请所提供的一种日志处理设备的结构示意图。
具体实施方式
本申请的核心是提供一种日志处理方法，该日志处理方法可以在降低CPU损耗的同时，提高日志处理效率；本申请的另一核心是提供一种日志处理装置、服务器以及计算机可读存储介质，也具有上述有益效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参考图1，图1为本申请所提供的一种日志处理方法的流程示意图，该日志处理方法可以包括：
S101：对获取的日志数据进行封装，获得Event事件；
本步骤旨在实现Event事件的生成，也即日志事件的生成。具体而言，日志事件基于日志数据获得，在***运行过程中，可以对其所产生的日志数据进行采集，并按照预先设定的日志封装方式对其进行封装，即可获得上述Event事件。
其中，上述日志数据的获取和封装可采用已有技术中的任意一种实现方式，本申请对此不做限定。例如，对于日志数据获取，可以采用主动获取或被动接收的方式；对于日志数据的封装，可以是按照时机需求的数据结构对日志数据进行格式转换等。
优选的，获取日志数据，可以包括：通过Reactor模式(反应器)接收日志数据。
本优选实施例提供了一种较为具体的日志数据的获取方式，即基于Reactor模式实现。具体而言，Reactor模式可以对***的I/O线程(读/写Socket线程)和业务线程进行有效解耦，以使得I/O线程和业务线程分离，防止业务线程阻塞导致接收线程阻塞，由此，大大提升了整个应用的吞吐量，进而提升了业务***的稳定性。
优选的，上述通过Reactor模式接收日志数据，可以包括：按照预设协议，通过Reactor模式接收日志数据；其中，预设协议为ftp协议，或http协议，或kafka协议。
具体的，在日志数据获取过程中，可按照预先设定的数据接收协议实现，也即上述预设协议，可选的预设协议包括但不限于ftp协议、http协议、kafka协议、syslog协议、tcp协议、udp协议等。
优选的，对日志数据进行封装之前，还可以包括：对日志数据进行预处理，获得标准数据。
本优选实施例旨在实现日志数据的预处理，以获得更为标准的日志数据，即上述标准数据。具体的，日志数据的预处理在日志数据封装之前，其目的在于为日志数据封装提供便利，其中，日志数据的预处理操作包括但不限于截断操作、字段提取操作、格式化操作、机器学习操作、关联操作、添加水印操作等，技术人员可根据实际需求选择合适的预处理操作方法实现对日志数据的预处理。
S102：将Event事件发布到Disruptor队列中；
本步骤旨在实现Event事件的发布，即将Event事件发布到Disruptor队列中进行存储。具体而言，对于传统SEDA架构而言，其所使用的FIFO队列，当生产者发布一项事件时，消费者能够获得通知，当队列中没有事件时，消费者会被阻塞，直到生产者发布新的事件，由此，当需要处理的事件数量较大时，***内会出现大量的加锁和锁的竞争，从而导致CPU损耗大大增加。而Disruptor是一个开源的并发框架，使用环形数据队列来存储事件，且能够在无锁的情况下实现网络的Queue并发操作，由此，基于Disruptor队列实现Event事件的无锁存储，可有效避免上述加锁和锁的竞争，进一步降低CPU损耗。
S103：当接收到日志处理请求时，确定日志处理请求指定的目标功能接口；
本步骤旨在实现功能接口的确定，该功能接口的具体类型以及数量并不唯一，可实现对Event事件的多功能处理。具体而言，当需要进行日志事件处理时，可基于客户端发起日志处理请求，由此，即可从日志处理请求中确定其指定的功能接口，即上述目标功能接口，不同的功能接口可实现不同类型的事件处理，如解析功能接口可实现对Event事件的解析，存储功能接口则可实现对Event事件的存储等。
其中，上述根据日志处理请求确定目标功能接口，可通过对日志处理请求进行请求解析实现，也就是说，在日志处理请求发起时，预先将目标功能接口的相关信息附加于该日志处理请求中，由此，通过请求解析即可确定目标功能接口。其中，请求解析的具体实现过程参照已有技术即可，本申请在此不再赘述。
S104：通过目标功能接口从Disruptor队列中获取Event事件，并对Event事件进行处理。
本步骤旨在实现Event事件的处理，具体的，利用目标功能接口从Disruptor队列读取获得Event事件，进而对Event事件进行相应的功能处理即可。
可以理解的是，***中预先设定的功能接口有多个，用于实现对Event事件的不同的功能处理；而日志处理请求中指定的目标功能接口的数量同样不唯一，可多个功能接口同时调用，以实现对Event事件的多功能异步并行处理，大大提高日志事件的处理效率。
优选的，上述目标功能接口可以为事件接收接口，和/或事件解析接口，和/或事件关联接口，和/或事件统计接口，和/或事件存储接口。
本优选实施例提供了具体类型的功能接口，即事件接收接口、事件解析接口、事件关联接口、事件统计接口以及事件存储接口，分别用于实现针对Event事件的接收功能、解析功能、关联功能、统计功能以及存储功能。当然，以上几种功能接口的类型仅为本申请实施例所提供的一种优选方式，并不唯一，还可以增设其他类型的功能接口，本申请对此不做限定。
本申请所提供的日志处理方法，利用Disruptor对传统SEDA架构进行了优化处理，将基于日志数据封装获得的各个Event事件发布到Disruptor队列中进行存储，由于Disruptor使用环形数据队列来存储事件，能够在无锁的情况下实现事件并发操作，有效避免了传统SEDA架构中由于使用阻塞队列导致大量的加锁和锁的竞争，从而降低了CPU损耗，同时，通过直接调用各个功能接口实现日志事件的并发处理，大大提高了日志事件处理效率。
在上述各实施例的基础上，本申请实施例提供了一种更为具体的日志处理方法，其具体实现流程如下：
(1)对传统SEDA架构进行Disruptor配置：
首先，Disruptor通过Event Factory在Ring Buffer(环形数据结构)中创建Event实例，一个Event实例实际被用作一个Data slot(数据槽)，发布者在将其发布之前，先从Ring Buffer中获得一个Event对应的Sequence(序列)，然后往Event中填充数据，再调用发布方法将Sequence发布到Ring Buffer中，进一步，由消费者获得该Event实例并从中取出数据。其中，Sequence在Disruptor中描述为Sequenced接口，是Disruptor的核心，该接口有两个实现类，分别为Single Producer Sequencer和Multi Producer Sequencer，分别对应于单个生产者和多个生产者模型，其定义了生产者和消费者之间快速、正确地传递数据的并发算法。进一步，在Disruptor中，在生产者和消费者之间进行交换的数据称为事件(Event)，Event的实例结构如下：
Figure BDA0002338915060000071
(2)定义事件数据的消费
具体而言，对于Disruptor的事件消费，只需要让业务接口实现Event Handler即可接受事件的处理，具体可包括：Event Mapper Handler(事件解析模块)，Event RelationHandler(事件关联模块)，Event Statistic Handler(事件统计模块)，Event StoreHandler(事件存储模块)。其中，各个模块均采用标准的Apache Maven项目结构，把各个Handler实现于各个模块之中，并将服务接口定义在api模块，进而使用IoC技术把各个服务实例在Reactor中配置到Disruptor中。
其中，各个handler可以用Disruptor分开，使其可以在不同的线程工作，互不影响。同时，有的流程可并发执行，如统计模块和存储模块。此外，还可以将耗时的部分封装成新事件分出去交由其他服务处理，并将结果附贴在Event的attach Object上，attachObject即为在各个handler上传递的临时上下文变量。
(3)定义事件的接收模块
事件的接收模块，相对于Disruptor为生产端，常见的接收协议包括syslog、ftp、tcp、udp、http、kafka等。进一步，为方便管理各个接收端，提高IO线程的读写效率，业务***采用Reactor设计模型，通过一个主线程轮询各个I/O线程，并将数据(日志数据)写入到Event.buffer中，进而绑定好业务***配置的资产关联方式，此外，当逻辑复杂时还可以使用Groovy脚本进行前置处理，比如截断、预提取某字段、资产信息重新关联、日志格式化、日志水印、机器学习等，为后期对数据执行分析、聚合、关联等操作提供便利。
其中，Reactor的模型设计基于Netty处理TCP、UDP数据包的接口器，ftp使用Apache Ftp Server的接收，文件传输完毕后触发异步Job去处理文件中的数据；http则直接使用Servlet接收；kafka可直接将kafka client绑定在Reactor Slave线程上进行轮询。进一步，当有事件或I/O文件描述符可读时，将会触发相应的I/O线程去进行读写操作，在完成事件读取后，再将事件发布到Disruptor中，交给后续的业务线程处理，从而达到了***的I/O线程与业务线程的分离，有效提升了业务***的稳定性。
由此，通过以上操作实现了基于Disruptor对传统SEDA架构的优化，进一步，利用该优化后的SEDA架构进行正常的日志处理即可。其中，具体的日志处理过程可参照上一实施例，本申请在此不再赘述。
可见，本申请实施例所提供的日志处理方法，利用Disruptor结合Reactor的设计模式对传统SEDA架构进行了优化处理，并利用优化后的SEDA架构实现日志处理。其中，Disruptor和Reactor的结合，有效降低了各个功能模块之间的耦合度，减少了线程上下文切换带来的开销，还方便扩展或添加新的功能模块；而且，应用Disruptor设计***分模块处理事件流程，能够支持事件解析后部分功能模块可并发处理，如日志经解析后可同时进行关联、统计、存储的业务处理；此外，事件处理基于Stream方式实现，并结合Reactor反馈到业务处理流程，有效提升了应用程序的I/O弹性。
为解决上述问题，请参考图2，图2为本申请所提供的一种日志处理装置的结构示意图，该日志处理装置可包括：
数据封装模块100，用于对获取的日志数据进行封装，获得Event事件；
事件发布模块200，用于将Event事件发布到Disruptor队列中；
接口确定模块300，用于当接收到日志处理请求时，确定日志处理请求指定的目标功能接口；
日志处理模块400，用于通过目标功能接口从Disruptor队列中获取Event事件，并对Event事件进行处理。
可见，本申请实施例所提供的日志处理装置，利用Disruptor对传统SEDA架构进行了优化处理，将基于日志数据封装获得的各个Event事件发布到Disruptor队列中进行存储，由于Disruptor使用环形数据队列来存储事件，能够在无锁的情况下实现事件并发操作，有效避免了传统SEDA架构中由于使用阻塞队列导致大量的加锁和锁的竞争，从而降低了CPU损耗，同时，通过直接调用各个功能接口实现日志事件的并发处理，大大提高了日志事件处理效率。
作为一种优选实施例，该日志处理装置还可以包括数据获取模块，用于通过Reactor模式接收日志数据。
作为一种优选实施例，上述数据获取模块可具体用于按照预设协议，通过Reactor模式接收日志数据；其中，预设协议为ftp协议，或http协议，或kafka协议。
作为一种优选实施例，该日志处理装置还可以包括预处理模块，用于在对日志数据进行封装之前，对日志数据进行预处理，获得标准数据。
对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述问题，请参考图3，图3为本申请所提供的一种日志处理设备的结构示意图，该日志处理设备可包括：
存储器1，用于存储计算机程序；
处理器2，用于执行计算机程序时可实现上述任意一种日志处理方法的步骤。
对于本申请提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现上述任意一种日志处理方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的日志处理方法、装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围要素。

Claims (7)

1.一种日志处理方法，其特征在于，包括：
通过Reactor模式接收日志数据，对所述日志数据进行封装，获得Event事件；
将所述Event事件发布到Disruptor队列中；
当接收到日志处理请求时，确定所述日志处理请求指定的目标功能接口；
通过所述目标功能接口从所述Disruptor队列中获取所述Event事件，并对所述Event事件进行处理；
其中，所述目标功能接口为事件接收接口，事件解析接口，事件关联接口，事件统计接口和事件存储接口。
2.如权利要求1所述的日志处理方法，其特征在于，所述通过Reactor模式接收所述日志数据，包括：
按照预设协议，通过所述Reactor模式接收所述日志数据；其中，所述预设协议为ftp协议，或http协议，或kafka协议。
3.如权利要求1所述的日志处理方法，其特征在于，对所述日志数据进行封装之前，还包括：
对所述日志数据进行预处理，获得标准数据。
4.一种日志处理装置，其特征在于，包括：
数据封装模块，用于通过Reactor模式接收日志数据，对所述日志数据进行封装，获得Event事件；
事件发布模块，用于将所述Event事件发布到Disruptor队列中；
接口确定模块，用于当接收到日志处理请求时，确定所述日志处理请求指定的目标功能接口；
日志处理模块，用于通过所述目标功能接口从所述Disruptor队列中获取所述Event事件，并对所述Event事件进行处理；
其中，所述目标功能接口为事件接收接口，事件解析接口，事件关联接口，事件统计接口和事件存储接口。
5.如权利要求4所述的日志处理装置，其特征在于，还包括：
预处理模块，用于在对所述日志数据进行封装之前，对所述日志数据进行预处理，获得标准数据。
6.一种日志处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任意一项所述的日志处理方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任意一项所述的日志处理方法的步骤。
CN201911367896.6A 2019-12-26 2019-12-26 一种日志处理方法、装置、设备及计算机可读存储介质 Active CN111158876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911367896.6A CN111158876B (zh) 2019-12-26 2019-12-26 一种日志处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911367896.6A CN111158876B (zh) 2019-12-26 2019-12-26 一种日志处理方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111158876A CN111158876A (zh) 2020-05-15
CN111158876B true CN111158876B (zh) 2023-06-06

Family

ID=70556807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911367896.6A Active CN111158876B (zh) 2019-12-26 2019-12-26 一种日志处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111158876B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742035A (zh) * 2020-05-27 2021-12-03 北京沃东天骏信息技术有限公司 一种边缘任务执行方法和装置
CN111897867A (zh) * 2020-08-17 2020-11-06 杭州安恒信息技术股份有限公司 一种数据库日志统计方法、***及相关装置
CN113472748B (zh) * 2021-05-31 2023-03-24 四川万益能源科技有限公司 一种基于非阻塞输入输出的审计日志***通信方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802824A (zh) * 2016-12-22 2017-06-06 上海大汉三通数据通信有限公司 一种基于Disruptor的数据收发方法
CN108304276A (zh) * 2018-01-17 2018-07-20 北京奇艺世纪科技有限公司 一种日志处理方法、装置及电子设备
CN109271359A (zh) * 2018-11-20 2019-01-25 北京千丁互联科技有限公司 日志信息处理方法、装置、电子设备及可读存储介质
CN110473113A (zh) * 2019-07-08 2019-11-19 中国平安人寿保险股份有限公司 基于disruptor提高业务***吞吐量方法、装置及介质、服务器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7793292B2 (en) * 2006-09-13 2010-09-07 Fisher-Rosemount Systems, Inc. Compact batch viewing techniques for use in batch processes
CN106503020B (zh) * 2015-09-08 2021-09-21 阿里巴巴集团控股有限公司 日志数据处理方法及装置
CN106874160B (zh) * 2017-01-23 2021-10-01 深圳市元宇宙科技有限公司 日志服务器及其管理方法
CN107590182B (zh) * 2017-08-03 2020-06-19 华南理工大学 一种分布式日志收集方法
CN110109738A (zh) * 2019-04-24 2019-08-09 上海易点时空网络有限公司 定时任务的执行方法及装置
CN110177146A (zh) * 2019-05-28 2019-08-27 东信和平科技股份有限公司 一种基于异步事件驱动的非阻塞Restful通信方法、装置和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802824A (zh) * 2016-12-22 2017-06-06 上海大汉三通数据通信有限公司 一种基于Disruptor的数据收发方法
CN108304276A (zh) * 2018-01-17 2018-07-20 北京奇艺世纪科技有限公司 一种日志处理方法、装置及电子设备
CN109271359A (zh) * 2018-11-20 2019-01-25 北京千丁互联科技有限公司 日志信息处理方法、装置、电子设备及可读存储介质
CN110473113A (zh) * 2019-07-08 2019-11-19 中国平安人寿保险股份有限公司 基于disruptor提高业务***吞吐量方法、装置及介质、服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于领域消息驱动的轻量级Spring-DDD插件设计与实现;王薇;黄强;;现代电子技术(24);第62-65、68页 *

Also Published As

Publication number Publication date
CN111158876A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111158876B (zh) 一种日志处理方法、装置、设备及计算机可读存储介质
WO2021042840A1 (zh) 数据处理方法、装置、服务器和计算机可读存储介质
US20190220384A1 (en) Method, device, and computer readable medium for tracing computing system
US20150379022A1 (en) Integrating Execution of Computing Analytics within a Mapreduce Processing Environment
CN110222119B (zh) 一种异构数据库的数据转换同步方法、设备及存储介质
CN108062368B (zh) 全量数据翻译方法、装置、服务器及存储介质
US20150039382A1 (en) Method and system for executing workflow
CN114024871B (zh) 一种芯片验证方法、***、计算机设备及可读存储介质
CN110362617A (zh) 基于多并发技术从数据库快速导出批量数据方法和***
CN104683472A (zh) 一种支持大数据量的数据传输方法
CN107153527A (zh) 一种基于消息队列的并行雷达数据处理方法
CN111107022A (zh) 数据传输优化方法、设备及可读存储介质
CN103677844A (zh) 一种基于消息链的轻量级数据处理框架
CN103677968A (zh) 事务处理方法、事务协调器装置、事务参与者装置及***
CN103905484A (zh) 处理超文本传输协议请求的方法及装置
CN116996112B (zh) 一种遥感卫星数据实时预处理方法
CN112559525A (zh) 数据检查***、方法、装置和服务器
CN111443898A (zh) 基于优先级队列与有限状态机的流程式控制软件设计方法
Barbalace et al. Performance comparison of EPICS IOC and MARTe in a hard real-time control application
US9830374B2 (en) Evaluating reference based operations in shared nothing parallelism systems
US8893134B2 (en) Locating bottleneck threads in multi-thread applications
CN103096168A (zh) 一种基于iptv机顶盒的数据通信并行处理方法
CN114528049A (zh) 一种基于InfluxDB实现API调用信息统计的方法及***
EP4086753A1 (en) Decision scheduling customization method and device based on information flow
CN110442442B (zh) 核电厂dcs平台工程师站软件维护网络通讯方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant