CN113420032A - 一种日志的分类存储方法及装置 - Google Patents
一种日志的分类存储方法及装置 Download PDFInfo
- Publication number
- CN113420032A CN113420032A CN202110820989.0A CN202110820989A CN113420032A CN 113420032 A CN113420032 A CN 113420032A CN 202110820989 A CN202110820989 A CN 202110820989A CN 113420032 A CN113420032 A CN 113420032A
- Authority
- CN
- China
- Prior art keywords
- log
- logs
- storing
- alarm
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 description 22
- 238000004458 analytical method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000002955 isolation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种日志的分类存储方法及装置，所述方法包括：将收集的日志，根据日志中的关键字段进行分类；将分类出的不同类型的日志分别发送到对应的日志处理程序并行处理后，存入数据库。本申请提供的技术方案中，不同类型的日志分别发送到对应的日志处理程序进行并行处理，可以提高日志存储到数据库的效率；此外，不同类型的日志分别入库，还可提升整个日志***的可读性和可操作性。
Description
技术领域
本申请涉及信息技术领域，尤其涉及一种日志的分类存储方法及装置、计算机设备及计算机可读存储介质。
背景技术
当前通过安全隔离网闸进行数据同步的业务呈多元化形态发展，数据交换需求日益提升，如视频类数据交换、WEB服务类数据交换等，其典型特点是数据交换量大、要求及时高效。如何检验数据通过网闸传输的完整性，构建一套完善的日志审计***就变的尤为重要，既要确保业务相关的日志信息在***中留存，又要满足高效、实时记录的需求。
然而网闸的业务吞吐日益增大，各种业务、***日志量也随之倍增，大量日志存储入库耗时越来越多。
因此，为了满足当前实时业务的审计需求，有必要提供一种高效快速的日志存储到数据库的方案，以便可以适用于网闸等有大量日志入库需求的场景。
发明内容
本申请的目的是提供一种日志的分类存储方法及装置、计算机设备及计算机可读存储介质，用于提高日志存储到数据库的效率，从而适用于网闸等有大量日志入库需求的场景。
本申请实施例的一个方面提供了一种日志的分类存储方法，包括：
将收集的日志，根据日志中的关键字段进行分类；
将分类出的不同类型的日志分别发送到对应的日志处理程序并行处理后，存入数据库。
可选的，所述不同类型的日志，具体包括：业务类型的日志、告警类型的日志以及内核类型的日志中的至少一种；以及
所述数据库包括至少如下一种数据表：用于存储业务类型的日志的业务日志数据表、用于存储告警类型的日志的告警日志数据表、用于存储内核类型的日志的内核日志数据表。
可选的，当日志为业务类型的日志时，将其发送至业务日志处理程序进行处理后存入所述业务日志数据表；其中，所述业务类型的日志划分为多种子类别，以及所述业务日志数据表为多个，分别对应业务类型的日志的各子类别；
其中，所述业务日志处理程序处理日志的方法包括：利用正则匹配技术筛选出格式正确的日志后，将筛选出的日志***到预先构建的环形缓冲队列中；
从所述环形缓冲队列中逐条读取日志；
针对每条当前读取的日志，识别该日志的子类别，并根据识别的子类别，将该日志缓存于对应于该子类别的日志入库队列中；
针对每个子类别，当对应该子类别的日志入库队列中，日志的数量达到设定数量指标，则将该日志入库队列中的日志批量***到所述数据库中的、对应于该子类别的业务日志数据表，并清空该日志入库队列。
可选的，所述利用正则匹配技术筛选出格式正确的日志后，将筛选出的日志***到预先构建的环形缓冲队列，具体包括：
通过块解析器获取设定大小的日志数据块，并对获取的日志数据块进行报文格式检查，将所述日志数据块中不合规的日志信息丢弃后，将所述日志数据块拆分成以行为最小信息长度的日志报文信息；
通过所述块解析器将拆分的各行日志报文信息分发给多个并行运行的行解析器，由行解析器进行进一步的规则检查：
通过所述行解析器，检查输入的每行日志报文信息中的若干必要字段的信息是否合规，进而将不合规的日志报文信息丢弃，将合规的日志报文信息***到所述环形缓冲队列。
可选的，所述通过所述行解析器，检查输入的每行日志报文信息中的若干必要字段的信息是否合规，具体包括：
通过所述行解析器将一段时间内输入的日志报文信息进行子类别的划分；针对划分的每个子类别的批量的日志报文信息，使用与该子类别对应的SQL语句块对该子类别的日志报文信息进行批量规则检查。
可选的，当日志为告警类型的日志时，将其发送至告警日志处理程序进行处理后存入所述告警日志数据表；其中，所述告警日志处理程序处理日志的方法包括：
所述告警日志处理程序将当前输入的日志的信息摘要，与第一哈希表中所存的各日志的信息摘要进行对比；若对比结果为不一致，则将当前输入的日志存入第一哈希表，以及第一缓存队列；否则：
进一步对比信息摘要相同的两个日志的状态标识位；若两者的状态标识位不同，则将当前输入的日志存入第一缓存队列，并根据当前输入的日志的状态标识位更新第一哈希表中对应日志的状态标识位；
若两者的状态标识位相同，则进一步对比所述两个日志的时间戳；若两者的时间戳之差大于设定值，则将该日志存入第一缓存队列，并根据当前输入的日志的时间戳更新第一哈希表中对应日志的时间戳；
将第一缓存队列中的日志存储到所述数据库中的告警日志数据表。
可选的，当日志为内核类型的日志时，将其发送至内核日志处理程序进行处理后存入所述内核日志数据表；其中，所述内核日志处理程序处理日志的方法包括：
将当前输入的日志的协议信息，与第二哈希表中所存的各日志的协议信息进行对比；若对比结果为不一致，则将该日志存入第二哈希表，以及第二缓存队列；否则：
进一步对比协议信息相同的两个日志的状态标识位；若两者的状态标识位不同，则将该日志存入第二缓存队列，并根据当前输入的日志的状态标识位更新第二哈希表中对应日志的状态标识位；
若两者的状态标识位相同，则进一步对比所述两个日志的时间戳；若两者的时间戳之差大于设定值，则将该日志存入第二缓存队列，并根据当前输入的日志的时间戳更新第二哈希表中对应日志的时间戳；
将第二缓存队列中的日志存储到所述数据库中的内核日志数据表。
本申请实施例的一个方面又提供了一种日志的分类存储装置，包括：
日志收集模块，用于收集日志，并将收集的日志，根据日志中的关键字段进行分类；
多个日志处理模块，分别对应分类出的各不同类型的日志，用于将对应类型的日志进行处理后存入数据库。
本申请实施例的一个方面又提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述日志的分类存储方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述日志的分类存储方法的步骤。
本申请实施例提供的日志的分类存储方法、计算机设备及计算机可读存储介质，将收集的日志，根据日志中的关键字段进行分类；将分类出的不同类型的日志分别发送到对应的日志处理程序并行处理后，存入数据库。这样，不同类型的日志分别发送到对应的日志处理程序进行并行处理，可以提高日志存储到数据库的效率，从而适用于网闸等有大量日志入库需求的场景。此外，不同类型的日志分别入库，还可提升整个日志***的可读性和可操作性。
更优地，在筛选格式正确的日志时，由于采用块解析器和行解析器进行日志的筛选，块解析处理速率快能够快速获取信息源进行初步筛选，行解析粒度精准能够绑定到多核上进行计算处理，从而整体上提高日志筛选的效率，也就可以更进一步提高日志入库的效率。
更优地，块解析器为一个生产线程，行解析器为多个消费线程。这种设计方式利用了多核CPU体系的特性，将解析计算分担到各个核处理，从而提高解析效率，也就提高了日志筛选的效率，日志入库的效率。
更优地，由于行解析器可以对一段时间内积攒的同子类别进行集中的解析、检查和缓冲，并避免来回切换SQL语句，从而大大提高行解析器筛选日志的效率，也就可以提高日志入库的效率。
此外，由于不同子类别的日志在数据库中分表存储，同一子类别的日志存储于同一数据表中，因此，提升了整个日志***的可读性和可操作性。
更优地，在处理告警/内核日志时，由于通过信息摘要/协议信息，以及状态标识位的对比，可以将同类告警/内核日志，按照状态边缘触发的方式进行归并处理；通过时间戳的对比，则可以将一段时间内反复报出的冗余日志进行归并处理。在对冗余日志进行归并处理后，可以大大减少执行入库的日志的数量，从而提高日志的入库效率。
附图说明
图1示意性示出了根据本发明实施例的日志的分类存储装置应用于安全隔离网闸的示意图；
图2示意性示出了根据本发明实现日志的分类存储装置的内部结构框图；
图3示意性示出了根据本发明实施例一的业务日志处理程序处理日志的方法流程图；
图4示意性示出了根据本发明实施例一的业务日志处理模块的内部结构示意图；
图5示意性示出了根据本发明实施例二的告警日志处理程序处理日志的方法流程图；
图6示意性示出了根据本发明实施例三的内核日志处理程序处理日志的方法流程图；
图7示意性示出了根据本发明实施例四的适于实现日志的分类存储方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
在本申请的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本申请及区别每一步骤，因此不能理解为对本申请的限制。
本申请的发明人发现，不同类型的日志，通常具有不同的入库处理方式；而同一类型的日志，往往具有大致相同的入库操作方式；因此，本申请的技术方案中，将收集的日志，根据日志中的关键字段进行分类；将分类出的不同类型的日志分别发送到对应的日志处理程序并行处理后，存入数据库。这样，不同类型的日志分别发送到对应的日志处理程序进行并行处理，可以提高日志存储到数据库的效率，从而适用于网闸等有大量日志入库需求的场景。此外，不同类型的日志分别入库，还可提升整个日志***的可读性和可操作性。
本申请提供的一种日志的分类存储装置设置于安全隔离网闸中的示意图如图1所示。
在安全隔离网闸中，文件业务、数据库业务和代理业务产生日志。日志通过管道文件和本地网络等方式，发送到日志的分类存储装置中的日志收集器 syslog-ng。
在安全隔离网闸中通常包括三大类日志，分别为业务类型的日志(简称业务日志)、告警类型的日志(简称告警日志)和内核类型的日志(简称内核日志)。业务日志及告警日志均由安全隔离网闸的各大业务模块单独产生，其格式在符合标准的syslog日志格式的基础上，进行了数据的分字段优化。也就是说，告警日志的数据源与业务日志的相同，均为文件业务、数据库业务和代理业务产生的日志。
内核日志则为内核***产生的日志。内核日志一般为***本身启动、停止、进程异常信息等内容，网闸受到网络攻击将产生对应日志。日志处理统一交由分类存储装置中的日志收集器syslog-ng进行日志收集。
在日志的分类存储装置中，被收集的日志根据字段进行精确分类，而后分发到不同的日志处理程序，同时存入数据库中不同的数据表，实现日志的高并发处理逻辑。
对应于业务类型的日志(简称业务日志)、告警类型的日志(简称告警日志) 和内核类型的日志(简称内核日志)的日志处理程序，分别为业务日志处理程序、告警日志处理程序以及内核日志处理程序。
相应地，上述数据库中也可以包括至少如下一种数据表：用于存储业务类型的日志的业务日志数据表、用于存储告警类型的日志的告警日志数据表、用于存储内核类型的日志的内核日志数据表。
本申请提供的一种日志的分类存储装置中可以包括：日志收集模块和多个日志处理模块；
其中，日志收集模块可以包括上述的日志收集器syslog-ng，用于收集日志，并将收集的日志，根据日志中的关键字段进行分类。其中，所述关键字段可以是等级字段或模块字段；例如，日志收集模块可以识别日志中的等级字段，若日志的等级字段具体为普通等级，则该日志分类为业务类型的日志(简称业务日志)；若日志的等级字段具体为告警等级，则该日志分类为告警类型的日志(简称告警日志)；若日志的等级字段具体为内核等级，则该日志分类为内核类型的日志(简称内核日志)。
多个日志处理模块，分别对应分类出的各不同类型的日志，用于将对应类型的日志进行处理后存入数据库。
本申请提供的一种日志的分类存储装置的内部结构可以如图2所示，包括如下模块：日志收集模块201、业务日志处理模块202、告警日志处理模块203 以及内核日志处理模块204。
其中，业务日志处理模块202对应于业务类型的日志(简称业务日志)，用于处理业务日志；
告警日志处理模块203对应于告警类型的日志(简称告警日志)，用于处理告警日志；
内核日志处理模块204对应于内核类型的日志(简称内核日志)，用于处理内核日志。
下文将提供多个实施例，下文提供的各个实施例可以用于实现上文描述的日志的分类存储的方案。
实施例一
图3示意性示出了根据本申请实施例一的业务日志处理程序处理日志的方法流程图。
如图3所示，本申请实施例一的业务日志处理程序处理业务日志的方法可以包括如下步骤：
步骤S301：对业务类型的日志，利用正则匹配技术筛选出格式正确的日志后，将筛选出的日志***到环形缓冲队列中。
具体地，业务日志处理程序主要处理***日志、管理日志、业务日志、追踪日志；本步骤中，业务日志处理进程可以利用正则匹配技术首先筛选掉脏日志，如关键字段内容为空、字段格式不正确等日志，并对超长的日志内容进行截断，以方便入库。格式正确的日志会***到预先构建的环形缓冲队列中；当环形缓冲队列满了以后，后续的日志将被丢弃。
较佳地，本步骤中可以通过块解析器获取设定大小的日志数据块，比如 512KB、1MB或10MB大小的日志数据块，并对获取的日志数据块进行syslog 报文格式检查，将所述日志数据块中不合规的日志信息丢弃后，将所述日志数据块拆分成以行为最小信息长度的日志报文信息，即一行行的日志报文信息；
块解析器将拆分的各行日志报文信息分发给多个并行运行的行解析器，由行解析器进行进一步的规则检查：所述行解析器针对输入的每行日志报文信息，检查该行日志报文信息中若干必要字段的信息是否合规，将不合规的日志报文信息丢弃，将合规的日志报文信息***到所述环形缓冲队列；
其中，块解析器和行解析器，分别使用语法解释器进行实现，功能上为粗粒度检测和细粒度检测的区别。采用块解析器和行解析器的优势在于，块解析处理速率快能够快速获取信息源进行初步筛选，行解析粒度精准能够绑定到多核上进行计算处理，从而整体上提高日志筛选的效率，也就可以提高日志入库的效率。
在块解析器和行解析器之间设置有内存队列，内存队列主要用于线程间的信息传递，块解析器为一个生产线程，行解析器为多个消费线程。这种设计方式利用了多核CPU体系的特性，将解析计算分担到各个核处理，从而提高解析效率，也就提高了日志筛选的效率，日志入库的效率。内存队列支持单生产- 多消费的多线程处理模式，多个消费线程可以均衡获取生成线程输出的消息。采用线程池的概念，程序初加载阶段可以配置行解析器的线程的数量。
通常，业务类型的日志可以划分为多种子类别，例如，按照业务日志的子类别可以区分：Web模块日志、流量追踪日志、文件追踪日志、数据库追踪日志、通用业务日志；
作为一种更优的实施方式，所述行解析器将一段时间内输入的日志的报文信息进行子类别的划分；进而行解析器对应每种子类别日志均维护一个SQL (Structured QueryLanguage，结构化查询语言)语句块，用以解析、检查该子类型日志；行解析器针对划分的每个子类别的批量的日志报文信息，使用与该子类别对应的SQL语句块对该子类别的日志报文信息进行批量规则检查。由于行解析器可以对一段时间内积攒的同子类别进行集中的解析、检查和缓冲，并避免来回切换SQL语句，从而大大提高行解析器筛选日志的效率，也就可以提高日志入库的效率。
步骤S302：从所述环形缓冲队列中逐条读取日志。
业务日志处理程序还可以从所述环形缓冲队列中逐条读取日志，并将读取的日志用以入库。
其中，所述环形缓冲队列用于多进程间通信，通过共享内存的方法可以实现多生产者-多读取者模型；例如，除了入库时从环形缓冲队列中读取日志，还可从环形缓冲队列中读取日志用于日志快照，即将环形缓冲队列中实时的日志信息同步给各个日志快照。日志快照的作用是实时显示最新日志信息，优势在于日志快照是只读的形式，单个日志快照获取日志的操作并不会阻塞日志的入库。日志快照可以用于后台管理者CLI查看，也可以用于WebUI日志审计进行查看。
步骤S303：针对每条当前读取的日志，识别该日志的子类别，并根据识别的子类别，将该日志缓存于对应于该子类别的日志入库队列中。
步骤S304：针对每个子类别，当对应该子类别的日志入库队列中，日志的数量达到设定数量指标，则将该日志入库队列中的日志批量***到所述数据库中的、对应于该子类别的业务日志数据表，并清空该日志入库队列。
具体地，数据库中的业务日志数据表为多个，分别对应业务日志的各子类别；本步骤中，业务日志处理程序对于每个子类别，当确定对应该子类别的日志入库队列中，日志的数量达到设定数量指标时，则将该日志入库队列中的日志批量***到所述数据库中的、对应于该子类别的业务日志数据表中，并清空该日志入库队列。
由于不同子类别的日志在数据库中分表存储，同一子类别的日志存储于同一数据表中，因此，提升了整个日志***的可读性和可操作性。
对应于上述业务日志处理程序处理业务日志的方法，本申请实施例一提供的一种业务日志处理模块202具体用于对业务类型的日志，利用正则匹配技术筛选出格式正确的日志后，将筛选出的日志***到预先构建的环形缓冲队列中；从所述环形缓冲队列中逐条读取日志；针对每条当前读取的日志，识别该日志的子类别，并根据识别的子类别，将该日志缓存于对应于该子类别的日志入库队列中；针对每个子类别，当对应该子类别的日志入库队列中，日志的数量达到设定数量指标，则将该日志入库队列中的日志批量***到所述数据库中的、对应于该子类别的业务日志数据表，并清空该日志入库队列。
本申请实施例一提供的一种业务日志处理模块202的内部结构如图4所示，可以包括如下单元：日志筛选单元401、日志入库单元402；
其中，日志筛选单元401用于对业务类型的日志，利用正则匹配技术筛选出格式正确的日志后，将筛选出的日志***到预先构建的环形缓冲队列中；较佳地，日志筛选单元401中可以包括上述的块解析器和行解析器。
日志入库单元402用于从所述环形缓冲队列中逐条读取日志；针对每条当前读取的日志，识别该日志的子类别，并根据识别的子类别，将该日志缓存于对应于该子类别的日志入库队列中；以及针对每个子类别，当对应该子类别的日志入库队列中，日志的数量达到设定数量指标，则将该日志入库队列中的日志批量***到所述数据库中的、对应于该子类别的业务日志数据表，并清空该日志入库队列。
本申请实施例一的技术方案中，由于采用块解析器和行解析器进行日志的筛选，块解析处理速率快能够快速获取信息源进行初步筛选，行解析粒度精准能够绑定到多核上进行计算处理，从而整体上提高日志筛选的效率，也就可以更进一步提高日志入库的效率。
更优地，块解析器为一个生产线程，行解析器为多个消费线程。这种设计方式利用了多核CPU体系的特性，将解析计算分担到各个核处理，从而提高解析效率，也就提高了日志筛选的效率，日志入库的效率。
更优地，由于行解析器可以对一段时间内积攒的同子类别进行集中的解析、检查和缓冲，并避免来回切换SQL语句，从而大大提高行解析器筛选日志的效率，也就可以提高日志入库的效率。
此外，由于不同子类别的日志在数据库中分表存储，同一子类别的日志存储于同一数据表中，因此，提升了整个日志***的可读性和可操作性。
实施例二
本申请实施例二描述了告警日志处理程序处理告警日志的方案。
通常告警日志被划分为八个子类型：病毒告警、攻击告警、硬件异常、***异常、资源异常、配置变化、日志告警和策略告警。每一种子类型告警日志均由type(类型)标识位进行单独标识，另外通过status(状态)标识位标识出该告警日志的状态的变化，如资源异常类告警日志，以cpu告警日志为例，状态标识位为高(high)/中(mid)/低(low)；再如***异常告警日志，以网卡告警日志为例，状态标识位为故障(fault)/恢复(recover)。
图5示意性示出了根据本申请实施例二的告警日志处理程序处理日志的方法流程图。
如图5所示，本申请实施例二的告警日志处理程序处理告警日志的方法可以包括如下步骤：
步骤S501:对告警类型的日志，利用正则匹配技术筛选出格式正确的日志。
本步骤中，告警日志处理程序对告警类型的日志，利用正则匹配技术筛选出格式正确的日志，筛选掉脏日志的方法可以与上述图3中步骤S301筛选日志的方法相同，此处不再赘述。
由于告警日志会配合外发程序将告警内容及时发送给用户，如短信、邮箱等，因此，通常一段时间内会发送多个内容相同的告警日志。因此，为了提高日志的入库效率，在本步骤之后，采用如下步骤对筛选出的格式正确的日志进行归并处理，以大大较少需要入库的日志的数量。
步骤S502：所述告警日志处理程序将当前输入的日志的信息摘要，与第一哈希表中所存的各日志的信息摘要进行对比；若对比结果为不一致，则执行如下步骤S503将当前输入的日志存入第一哈希表，以及第一缓存队列；否则，执行如下步骤S504；
具体地，可以对当前输入的格式正确的告警日志的msg(信息)字段，进行散列计算提取出定长的信息摘要，信息摘要是告警日志的独有字段。摘要具有被作为索引信息、压缩信息的功能。
将当前输入的格式正确的告警日志的信息摘要与哈希表中所存的各日志的信息摘要进行对比；若哈希表中不存在信息摘要与当前输入的告警日志的信息摘要相同的日志，则执行如下步骤S503将当前输入的日志存入第一哈希表，以及第一缓存队列；否则，执行如下步骤S504。
步骤S503：将当前输入的日志存入第一哈希表，以及第一缓存队列。
本步骤中，将当前输入的日志存入第一哈希表，以及还将当前输入的日志存入第一缓存队列中准备入库。
步骤S504：进一步对比信息摘要相同的两个日志的状态标识位；若两者的状态标识位不同，则执行步骤S505将当前输入的日志存入第一缓存队列，并根据当前输入的日志的状态标识位更新第一哈希表中对应日志的状态标识位；若两者的状态标识位相同，则执行步骤S506。
具体地，若哈希表中存在信息摘要与当前输入的告警日志的信息摘要相同的日志，则于本步骤中继续比较信息摘要相同的两个日志的状态标识位：从当前输入的告警日志的msg字段中提取状态标识位，并与信息摘要相同的日志的状态标识位进行比较，对比状态标识位是否发生了变化，是否从low变为high, 或从fault转为recover；若发生了变化，则执行如下步骤S505将当前输入的日志存入第一缓存队列，并根据当前输入的日志的状态标识位更新第一哈希表中信息摘要相同的日志的状态标识位。
步骤S505：将当前输入的日志存入第一缓存队列，并根据当前输入的日志的状态标识位更新第一哈希表中对应日志的状态标识位；
本步骤中，将当前输入的日志存入第一缓存队列中准备入库，并根据当前输入的日志的状态标识位，更新第一哈希表中信息摘要与当前输入的日志的信息摘要相同的日志的状态标识位。
步骤S506：进一步对比所述两个日志的时间戳；若两者的时间戳之差大于设定值，则执行步骤S507将该日志存入第一缓存队列，并根据当前输入的日志的时间戳更新第一哈希表中对应日志的时间戳；否则，执行步骤S508；
具体地，若哈希表中存在信息摘要与当前输入的告警日志的信息摘要相同、标识位未变的日志，则对比该日志与当前输入的告警日志的时间戳；如果若两者的时间戳之差大于设定值，即两者的***时间超出定时器时长，则执行步骤 S507将该日志存入第一缓存队列，并根据当前输入的日志的时间戳更新第一哈希表中对应日志的时间戳。
步骤S507：将当前输入的日志存入第一缓存队列，并根据当前输入的日志的时间戳更新第一哈希表中对应日志的时间戳；
本步骤中，将当前输入的日志存入第一缓存队列准备入库，并根据当前输入的日志的时间戳，更新第一哈希表中与该日志信息摘要相同、状态标识位未变的日志的时间戳。
步骤S508：丢弃当前输入的日志。
本步骤中，进行重复日志的归并处理；经过上述步骤的多个判断，于本步骤中，确定在第一哈希表中存有与当前输入的日志相同信息摘要、状态标识位，且时间戳之差在设定值范围内的日志，则将当前输入的日志作为重复日志丢弃，避免多个相同内容的日志的重复入库操作。
步骤S509：将第一缓存队列中的日志存储到所述数据库中的告警日志数据表。
第一缓存队列的日志在被执行数据库***操作的同时，也可被放到上述的环形缓冲队列中，作为快照进行展示，其原理与业务日志相同。
这样，通过上述的信息摘要，以及状态标识位的对比，可以将同类告警日志，按照状态边缘触发的方式进行归并处理；通过时间戳的对比，则可以将一段时间内反复报出的冗余日志进行归并处理。在对冗余日志进行归并处理后，可以大大减少执行入库的日志的数量，从而提高日志的入库效率。
对应于上述告警日志处理程序处理告警日志的方法，本申请实施例二提供的一种告警日志处理模块203具体用于将当前输入的日志的信息摘要，与第一哈希表中所存的各日志的信息摘要进行对比；若对比结果为不一致，则将该日志存入第一哈希表，以及第一缓存队列；否则：进一步对比信息摘要相同的两个日志的状态标识位；若两者的状态标识位不同，则将该日志存入第一缓存队列，并根据当前输入的日志的状态标识位更新第一哈希表中对应日志的状态标识位；若两者的状态标识位相同，则进一步对比所述两个日志的时间戳；若两者的时间戳之差大于设定值，则将该日志存入第一缓存队列，并根据当前输入的日志的时间戳更新第一哈希表中对应日志的时间戳；将第一缓存队列中的日志存储到所述数据库中的告警日志数据表。
本申请实施例二的技术方案中，由于通过信息摘要，以及状态标识位的对比，可以将同类告警日志，按照状态边缘触发的方式进行归并处理；通过时间戳的对比，则可以将一段时间内反复报出的冗余日志进行归并处理。在对冗余日志进行归并处理后，可以大大减少执行入库的日志的数量，从而提高日志的入库效率。
此外，由于告警类型的日志在数据库中存储于告警日志数据表，区分于业务日志、内核日志存储的数据表，因此，提升了整个日志***的可读性和可操作性。
实施例三
图6示意性示出了根据本申请实施例二的内核日志处理程序处理日志的方法流程图。
内核日志的处理方法与告警日志相类似，如图6所示，本申请实施例三的内核日志处理程序处理内核日志的方法可以包括如下步骤：
步骤S601:对内核类型的日志，利用正则匹配技术筛选出格式正确的日志。
本步骤中，内核日志处理程序对内核类型的日志，利用正则匹配技术筛选出格式正确的日志，筛选掉脏日志的方法可以与上述图3中步骤S301筛选日志的方法相同，此处不再赘述。
进一步，针对筛选出的格式正确的内核日志，根据如下步骤进行处理：
步骤S602：所述内核日志处理程序将当前输入的格式正确的日志的协议信息，与第二哈希表中所存的各日志的协议信息进行对比；若对比结果为不一致，则执行如下步骤S603将当前输入的日志存入第二哈希表，以及第二缓存队列；否则，执行如下步骤S604；
步骤S603：将当前输入的日志存入第二哈希表，以及第二缓存队列。
本步骤中，将当前输入的日志存入第二哈希表，以及还将当前输入的日志存入第二缓存队列中准备入库。
步骤S604：进一步对比信息摘要相同的两个日志的状态标识位；若两者的状态标识位不同，则执行步骤S605将当前输入的日志存入第二缓存队列，并根据当前输入的日志的状态标识位更新第二哈希表中对应日志的状态标识位；若两者的状态标识位相同，则执行步骤S606。
步骤S605：将当前输入的日志存入第二缓存队列，并根据当前输入的日志的状态标识位更新第二哈希表中对应日志的状态标识位；
本步骤中，将当前输入的日志存入第二缓存队列中准备入库，并根据当前输入的日志的状态标识位，更新第二哈希表中信息摘要与当前输入的日志的信息摘要相同的日志的状态标识位。
步骤S606：进一步对比所述两个日志的时间戳；若两者的时间戳之差大于设定值，则执行步骤S607将该日志存入第二缓存队列，并根据当前输入的日志的时间戳更新第二哈希表中对应日志的时间戳；否则，执行步骤S608；
步骤S607：将当前输入的日志存入第二缓存队列，并根据当前输入的日志的时间戳更新第二哈希表中对应日志的时间戳；
步骤S608：丢弃当前输入的日志。
本步骤中，进行重复日志的归并处理，经过上述步骤的多个判断，于本步骤中，确定在第二哈希表中存有与当前输入的日志相同协议信息、状态标识位，且时间戳之差在设定值范围内的日志，则将当前输入的日志作为重复日志丢弃，避免多个相同内容的日志的重复入库操作。
步骤S609：将第二缓存队列中的日志存储到所述数据库中的告警日志数据表。
第二缓存队列的日志在被执行数据库***操作的同时，也可被放到环形缓冲中，作为快照进行展示，其原理与业务日志相同。
这样，通过上述的协议信息，以及状态标识位的对比，可以将同类内核日志，按照状态边缘触发的方式进行归并处理；通过时间戳的对比，则可以将一段时间内反复报出的冗余日志进行归并处理。在对冗余日志进行归并处理后，可以大大减少执行入库的日志的数量，从而提高日志的入库效率。
对应于上述内核日志处理程序处理内核日志的方法，本申请实施例三提供的一种内核日志处理模块204具体用于将当前输入的日志的协议信息，与第二哈希表中所存的各日志的协议信息进行对比；若对比结果为不一致，则将该日志存入第二哈希表，以及第二缓存队列；否则：进一步对比协议信息相同的两个日志的状态标识位；若两者的状态标识位不同，则将该日志存入第二缓存队列，并根据当前输入的日志的状态标识位更新第二哈希表中对应日志的状态标识位；若两者的状态标识位相同，则进一步对比所述两个日志的时间戳；若两者的时间戳之差大于设定值，则将该日志存入第二缓存队列，并根据当前输入的日志的时间戳更新第二哈希表中对应日志的时间戳；将所述缓存队列中的日志存储到所述数据库中的内核日志数据表。
本申请实施例三的技术方案中，由于通过协议信息，以及状态标识位的对比，可以将同类内核日志，按照状态边缘触发的方式进行归并处理；通过时间戳的对比，则可以将一段时间内反复报出的冗余日志进行归并处理。在对冗余日志进行归并处理后，可以大大减少执行入库的日志的数量，从而提高日志的入库效率。
此外，由于内核类型的日志在数据库中存储于内核日志数据表，区分于业务日志、告警日志存储的数据表，因此，提升了整个日志***的可读性和可操作性。
实施例四
图7示意性示出了根据本申请实施例四的适于实现日志的分类存储方法的计算机设备1000的硬件架构示意图。在本申请一示例性的实施例中，计算机设备1000可以是一种能够按照事先设定或者存储的指令，自动进行数值计算和/ 或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)、网关等。如图7所示，计算机设备1000至少包括但不限于：可通过***总线相互通信链接存储器1010、处理器1020、网络接口1030。其中：
存储器1010至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器1010可以是计算机设备1000的内部存储模块，例如该计算机设备1000的硬盘或内存。在另一些实施例中，存储器1010也可以是计算机设备1000的外部存储设备，例如该计算机设备1000 上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器 1010还可以既包括计算机设备1000的内部存储模块也包括其外部存储设备。本实施例中，存储器1010通常用于存储安装于计算机设备1000的操作***和各类应用软件，例如识别软件行为主体的方法的程序代码等。此外，存储器1010 还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器1020在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1020通常用于控制计算机设备1000的总体操作，例如执行与计算机设备 1000进行数据交互或者通信相关的控制和处理等。本实施例中，处理器1020 用于运行存储器1010中存储的程序代码或者处理数据。
网络接口1030可包括无线网络接口或有线网络接口，该网络接口1030通常用于在计算机设备1000与其他计算机设备之间建立通信链接。例如，网络接口1030用于通过网络将计算机设备1000与外部终端相连，在计算机设备1000 与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(Global System of Mobile communication，简称为GSM)、宽带码分多址(WidebandCode Division Multiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图7仅示出了具有部件1010-1030的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器1010中的识别软件行为主体的方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器 1020)所执行，以完成本申请实施例。
实施例五
本申请还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的识别软件行为主体的方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作***和各类应用软件，例如实施例中识别软件行为主体的方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种日志的分类存储方法，其特征在于，包括：
将收集的日志，根据日志中的关键字段进行分类；
将分类出的不同类型的日志分别发送到对应的日志处理程序并行处理后，存入数据库。
2.根据权利要求1所述的方法，其特征在于，所述不同类型的日志，具体包括：业务类型的日志、告警类型的日志以及内核类型的日志中的至少一种；以及
所述数据库包括至少如下一种数据表：用于存储业务类型的日志的业务日志数据表、用于存储告警类型的日志的告警日志数据表、用于存储内核类型的日志的内核日志数据表。
3.根据权利要求2所述的方法，其特征在于，当日志为业务类型的日志时，将其发送至业务日志处理程序进行处理后存入所述业务日志数据表；其中，所述业务类型的日志划分为多种子类别，以及所述业务日志数据表为多个，分别对应业务类型的日志的各子类别；
其中，所述业务日志处理程序处理日志的方法包括：利用正则匹配技术筛选出格式正确的日志后，将筛选出的日志***到预先构建的环形缓冲队列中；
从所述环形缓冲队列中逐条读取日志；
针对每条当前读取的日志，识别该日志的子类别，并根据识别的子类别，将该日志缓存于对应于该子类别的日志入库队列中；
针对每个子类别，当对应该子类别的日志入库队列中，日志的数量达到设定数量指标，则将该日志入库队列中的日志批量***到所述数据库中的、对应于该子类别的业务日志数据表，并清空该日志入库队列。
4.根据权利要求3所述的方法，其特征在于，所述利用正则匹配技术筛选出格式正确的日志后，将筛选出的日志***到预先构建的环形缓冲队列，具体包括：
通过块解析器获取设定大小的日志数据块，并对获取的日志数据块进行报文格式检查，将所述日志数据块中不合规的日志信息丢弃后，将所述日志数据块拆分成以行为最小信息长度的日志报文信息；
通过所述块解析器将拆分的各行日志报文信息分发给多个并行运行的行解析器，由行解析器进行进一步规则检查：
通过所述行解析器，检查输入的每行日志报文信息中的若干必要字段的信息是否合规，进而将不合规的日志报文信息丢弃，将合规的日志报文信息***到所述环形缓冲队列。
5.根据权利要求4所述的方法，其特征在于，所述通过所述行解析器，检查输入的每行日志报文信息中的若干必要字段的信息是否合规，具体包括：
通过所述行解析器将一段时间内输入的日志报文信息进行子类别的划分；针对划分的每个子类别的批量的日志报文信息，使用与该子类别对应的SQL语句块对该子类别的日志报文信息进行批量规则检查。
6.根据权利要求2所述的方法，其特征在于，当日志为告警类型的日志时，将其发送至告警日志处理程序进行处理后存入所述告警日志数据表；其中，所述告警日志处理程序处理日志的方法包括：
将当前输入的日志的信息摘要，与第一哈希表中所存的各日志的信息摘要进行对比；若对比结果为不一致，则将当前输入的日志存入第一哈希表，以及第一缓存队列；否则：
进一步对比信息摘要相同的两个日志的状态标识位；若两者的状态标识位不同，则将当前输入的日志存入第一缓存队列，并根据当前输入的日志的状态标识位更新第一哈希表中对应日志的状态标识位；
若两者的状态标识位相同，则进一步对比所述两个日志的时间戳；若两者的时间戳之差大于设定值，则将该日志存入第一缓存队列，并根据当前输入的日志的时间戳更新第一哈希表中对应日志的时间戳；
将第一缓存队列中的日志存储到所述数据库中的告警日志数据表。
7.根据权利要求2所述的方法，其特征在于，当日志为内核类型的日志时，将其发送至内核日志处理程序进行处理后存入所述内核日志数据表；其中，所述内核日志处理程序处理日志的方法包括：
将当前输入的日志的协议信息，与第二哈希表中所存的各日志的协议信息进行对比；若对比结果为不一致，则将该日志存入第二哈希表，以及第二缓存队列；否则：
进一步对比协议信息相同的两个日志的状态标识位；若两者的状态标识位不同，则将该日志存入第二缓存队列，并根据当前输入的日志的状态标识位更新第二哈希表中对应日志的状态标识位；
若两者的状态标识位相同，则进一步对比所述两个日志的时间戳；若两者的时间戳之差大于设定值，则将该日志存入第二缓存队列，并根据当前输入的日志的时间戳更新第二哈希表中对应日志的时间戳；
将第二缓存队列中的日志存储到所述数据库中的内核日志数据表。
8.一种日志的分类存储装置，其特征在于，包括：
日志收集模块，用于收集日志，并将收集的日志，根据日志中的关键字段进行分类；
多个日志处理模块，分别对应分类出的各不同类型的日志，用于将对应类型的日志进行处理后存入数据库。
9.根据权利要求8所述的装置，其特征在于，所述不同类型的日志，具体包括：业务类型的日志、告警类型的日志以及内核类型的日志中的至少一种；以及
所述数据库包括至少如下一种数据表：用于存储业务类型的日志的业务日志数据表、用于存储告警类型的日志的告警日志数据表、用于存储内核类型的日志的内核日志数据表。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1～7中任一项所述的日志的分类存储方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行权利要求1～7中任一项所述的日志的分类存储方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110820989.0A CN113420032A (zh) | 2021-07-20 | 2021-07-20 | 一种日志的分类存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110820989.0A CN113420032A (zh) | 2021-07-20 | 2021-07-20 | 一种日志的分类存储方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113420032A true CN113420032A (zh) | 2021-09-21 |
Family
ID=77721516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110820989.0A Pending CN113420032A (zh) | 2021-07-20 | 2021-07-20 | 一种日志的分类存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113420032A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114629786A (zh) * | 2022-03-22 | 2022-06-14 | 康键信息技术（深圳）有限公司 | 日志实时分析方法、装置、存储介质及*** |
| CN115460214A (zh) * | 2022-11-10 | 2022-12-09 | 北京天元特通科技有限公司 | 一种分布式网络通联日志存储检索方法及装置 |
| CN117112549A (zh) * | 2023-10-20 | 2023-11-24 | 中科星图测控技术股份有限公司 | 一种基于布隆过滤器的大数据归并方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844143A (zh) * | 2016-12-27 | 2017-06-13 | 微梦创科网络科技（中国）有限公司 | 一种日志去重处理方法及装置 |
| CN110427306A (zh) * | 2019-08-12 | 2019-11-08 | 吉林吉大通信设计院股份有限公司 | 一种大数据日志智能路由与存储***及方法 |
| CN111045782A (zh) * | 2019-11-20 | 2020-04-21 | 北京奇艺世纪科技有限公司 | 日志处理方法、装置、电子设备和计算机可读存储介质 |
| WO2020253399A1 (zh) * | 2019-06-21 | 2020-12-24 | 深圳前海微众银行股份有限公司 | 日志分类规则的生成方法、装置、设备及可读存储介质 |
| CN112612677A (zh) * | 2020-12-28 | 2021-04-06 | 北京天融信网络安全技术有限公司 | 日志存储方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-07-20 CN CN202110820989.0A patent/CN113420032A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844143A (zh) * | 2016-12-27 | 2017-06-13 | 微梦创科网络科技（中国）有限公司 | 一种日志去重处理方法及装置 |
| WO2020253399A1 (zh) * | 2019-06-21 | 2020-12-24 | 深圳前海微众银行股份有限公司 | 日志分类规则的生成方法、装置、设备及可读存储介质 |
| CN110427306A (zh) * | 2019-08-12 | 2019-11-08 | 吉林吉大通信设计院股份有限公司 | 一种大数据日志智能路由与存储***及方法 |
| CN111045782A (zh) * | 2019-11-20 | 2020-04-21 | 北京奇艺世纪科技有限公司 | 日志处理方法、装置、电子设备和计算机可读存储介质 |
| CN112612677A (zh) * | 2020-12-28 | 2021-04-06 | 北京天融信网络安全技术有限公司 | 日志存储方法、装置、电子设备及可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114629786A (zh) * | 2022-03-22 | 2022-06-14 | 康键信息技术（深圳）有限公司 | 日志实时分析方法、装置、存储介质及*** |
| CN115460214A (zh) * | 2022-11-10 | 2022-12-09 | 北京天元特通科技有限公司 | 一种分布式网络通联日志存储检索方法及装置 |
| CN115460214B (zh) * | 2022-11-10 | 2023-02-07 | 北京天元特通科技有限公司 | 一种分布式网络通联日志存储检索方法及装置 |
| CN117112549A (zh) * | 2023-10-20 | 2023-11-24 | 中科星图测控技术股份有限公司 | 一种基于布隆过滤器的大数据归并方法 |
| CN117112549B (zh) * | 2023-10-20 | 2024-03-26 | 中科星图测控技术股份有限公司 | 一种基于布隆过滤器的大数据归并方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113420032A (zh) | 一种日志的分类存储方法及装置 | |
| WO2019134226A1 (zh) | 一种日志收集方法、装置、终端设备及存储介质 | |
| EP4099170B1 (en) | Method and apparatus of auditing log, electronic device, and medium | |
| US9690842B2 (en) | Analyzing frequently occurring data items | |
| CN112162965B (zh) | 一种日志数据处理的方法、装置、计算机设备及存储介质 | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| CN112380473B (zh) | 数据采集与同步方法、装置、设备及存储介质 | |
| CN112015815B (zh) | 数据同步方法、装置及计算机可读存储介质 | |
| CN112291214B (zh) | 一种基于redis缓存的工业报文解析方法及*** | |
| CN111538563A (zh) | 一种对Kubernetes的事件分析方法及装置 | |
| CN111611207B (zh) | 状态数据处理方法、装置及计算机设备 | |
| CN112039701A (zh) | 接口调用监控方法、装置、设备及存储介质 | |
| CN111651595A (zh) | 一种异常日志处理方法及装置 | |
| JP2006260056A (ja) | 統合運用管理サーバ、統合的な運用管理のためのメッセージの抽出方法、及び、プログラム | |
| CN112306700A (zh) | 一种异常rpc请求的诊断方法和装置 | |
| CN114125015A (zh) | 一种数据采集方法及*** | |
| CN110941536B (zh) | 监控方法及***、第一服务器集群 | |
| CN115328734A (zh) | 跨服务的日志处理方法、装置及服务器 | |
| Racka | Apache Nifi As A Tool For Stream Processing Of Measurement Data | |
| WO2021129849A1 (zh) | 日志处理方法、装置、设备和存储介质 | |
| CN111913821B (zh) | 一种实现跨数据源实时数据流生产消费的方法 | |
| CN111913996B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN114090529A (zh) | 一种日志管理方法、装置、***和存储介质 | |
| CN111444156A (zh) | 一种基于云计算的故障诊断方法 | |
| CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |