CN111008107A - 一种大数据集群日志存储方法、装置、设备及存储介质 - Google Patents
一种大数据集群日志存储方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111008107A CN111008107A CN201911208768.7A CN201911208768A CN111008107A CN 111008107 A CN111008107 A CN 111008107A CN 201911208768 A CN201911208768 A CN 201911208768A CN 111008107 A CN111008107 A CN 111008107A
- Authority
- CN
- China
- Prior art keywords
- log
- target
- cluster
- logs
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000011084 recovery Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012550 audit Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 230000032683 aging Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002431 foraging effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种大数据集群日志存储方法，该方法包括以下步骤：在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志；对获取到的目标日志进行分类处理；将不同类别的目标日志分别存储到目标集群的相应目录中。应用本申请实施例所提供的技术方案，可以较长时间的保存日志，在大数据集群出现问题需要进行问题排查时，有利于追溯日志、分析日志，而且有利于利用日志对大数据集群进行安全审计。本申请还公开了一种大数据集群日志存储装置、设备及存储介质，具有相应技术效果。
Description
技术领域
本申请涉及计算机应用技术领域，特别是涉及一种大数据集群日志存储方法、装置、设备及存储介质。
背景技术
随着计算机技术的快速发展，大数据集群在各行业中的应用越来越广泛。大数据集群的数据处理能力、存储能力更强。在大数据集群运行过程中，将产生大量的平台操作日志、组件日志等。
目前，这些日志都存储在大数据集群的各个节点中。随着产生的日志量的不断增加，占用节点的存储空间不断增大，会对日志进行定时删除处理，以释放节点的存储空间。
在大数据集群中，平台操作频繁、计算任务与读写数据数量均较多，每天日志增量较多，这就需要缩短对日志进行删除处理的时间间隔，使得日志的保存时长较短，可追溯、分析的日志较少，不利于在大数据集群出现问题时进行问题排查，而且不利于利用日志对大数据集群进行安全审计。
发明内容
本申请的目的是提供一种大数据集群日志存储方法、装置、设备及存储介质，以能够较长时间的保存日志，有利于追溯日志、分析日志。
为解决上述技术问题，本申请提供如下技术方案：
一种大数据集群日志存储方法，包括：
在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志；
对获取到的所述目标日志进行分类处理；
将不同类别的目标日志分别存储到目标集群的相应目录中。
在本申请的一种具体实施方式中，通过以下步骤确定是否达到设定的转储触发条件：
在达到设定的时间间隔时，确定达到设定的转储触发条件；
或者，在监测到所述目标节点中保存的待转储日志的存储空间占用比例达到设定比例阈值时，确定达到设定的转储触发条件。
在本申请的一种具体实施方式中，在所述将不同类别的目标日志分别存储到目标集群的相应目录中之后，还包括：
删除所述目标节点上保存的所述目标日志。
在本申请的一种具体实施方式中，还包括：
删除所述目标集群中存储时长达到设定时长阈值的日志。
在本申请的一种具体实施方式中，所述目标集群为分布式文件***集群或者所述分布式文件***集群的灾备集群。
在本申请的一种具体实施方式中，所述目标日志包括平台操作日志、***日志、集群组件日志中的至少一类日志。
在本申请的一种具体实施方式中，所述目标日志的文件名包含所述目标日志所属节点的主机名和所述目标日志的生成日期。
一种大数据集群日志存储装置，包括：
日志获取模块，用于在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志；
日志分类模块，用于对获取到的所述目标日志进行分类处理；
日志转储模块，用于将不同类别的目标日志分别存储到目标集群的相应目录中。
一种大数据集群日志存储设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一项所述大数据集群日志存储方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述大数据集群日志存储方法的步骤。
应用本申请实施例所提供的技术方案，在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志，对获取到的所述目标日志进行分类处理，将不同类别的目标日志分别存储到目标集群的相应目录中。将大数据集群各节点上的日志转储到目标集群中，目标集群的存储能力更强，这样可以较长时间的保存日志，在大数据集群出现问题需要进行问题排查时，有利于追溯日志、分析日志，而且有利于利用日志对大数据集群进行安全审计。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种大数据集群日志存储方法的实施流程图；
图2为本申请实施例中一种大数据集群日志存储***的结构示意图；
图3为本申请实施例中一种大数据集群日志存储装置的结构示意图；
图4为本申请实施例中一种大数据集群日志存储设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1所示，为本申请实施例所提供的一种大数据集群日志存储方法的实施流程图，该方法可以包括以下步骤：
S110：在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志。
在实际应用中，大数据集群由多个节点构成，在正常运行过程中，会产生平台操作日志、***日志、集群组件日志等各类日志。各类日志可能会存储于节点的不同位置。可以预先按照设定规则将各个节点的日志收集到各节点本地临时存放处。具体的，可以先确定出每个节点中待转储日志，如可以将节点中特定操作的日志或者特定组件的日志确定为待转储日志，待转储日志保存意义较大。然后将每个节点上待转储日志收集到各节点本地临时存放处，以方便后续进行日志的获取操作。
每个待转储日志可以按照日期临时存储，每个待转储日志的文件名可以包含该日志所属节点的主机名和该日志的生成日期。如对于某一日志，可以将该日志所属节点的主机名与该日志的生成日期拼接起来作为该日志的文件名。
举例而言，192.168.0.1节点的主机名为bigdata01，收集到的datanode服务产生的日志的文件名为datanode-bigdata01-20191007.log，可以将该日志存到该节点的以下位置：/logs/20191007/datanode/datanode-bigdata01-20191007.log。
在本申请实施例中，可以预先设定转储触发条件，在达到该转储触发条件时，认为需要对节点中的待转储日志进行转储操作，可以获取大数据集群中目标节点上保存的目标日志。具体的，可以通过Flume(分布式流式数据收集工具)进行分布式采集每个目标节点上的目标日志。当然，也可以在达到设定的转储触发条件时，直接在大数据集群的各目标节点的各日志存放位置处获取目标日志。
在本申请的一种具体实施方式中，可以通过以下步骤确定是否达到设定的转储触发条件：
在达到设定的时间间隔时，确定达到设定的转储触发条件。
在本申请实施例中，可以预先设定转储的时间间隔，如设定为每天0点。在达到设定的时间间隔时，可以确定达到设定的转储触发条件。在这种情况下，可以将大数据集群中每个节点均作为目标节点，从每个节点的待转储日志中获取目标日志，目标日志可以是待转储日志的部分或者全部。
如，设定***时间为0点时，启动转储程序，读取前一天的日志。即2019年10月8日0点启动转储程序，读取2019年10月7日/logs/20191007下的日志。
在本申请的另一种具体实施方式中，可以通过以下步骤确定是否达到设定的转储触发条件。
在监测到目标节点中保存的日志的存储空间占用比例达到设定比例阈值时，确定达到设定的转储触发条件。
在本申请实施例中，可以对大数据集群的每个节点上保存的待转储日志进行监测，针对每个节点，如果监测到该节点中保存的待转储日志的存储空间占用比例达到设定比例阈值，则确定达到针对于该节点的设定的转储触发条件。不同节点软、硬件条件可能不同，所以，不同节点对应的比例阈值可以相同或不同。如对于处理能力较强的节点，设定的比例阈值可以更大些。对于一个节点，该节点中保存的待转储日志的存储空间占用比例为待转储日志的存储空间与该节点总的存储空间的比值。在这种情况下，可以将当前保存的待转储日志的存储空间占用比例达到设定比例阈值的节点作为目标节点，在每个目标节点的待转储日志中获取相应的目标日志，目标日志可以是待转储日志的部分或者全部。
目标日志可以包括平台操作日志、***日志、集群组件日志中的至少一类日志。
S120：对获取到的目标日志进行分类处理。
在本申请实施例中，在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志后，可以对获取到的目标日志进行分类处理。具体的，可以预先设定分类规则，如按照组件进行分类、按照业务进行分类、按照日志文件大小进行分类等。按照该分类规则，对获取到的目标日志进行分类处理。
例如：将日志datanode-bigdata01-20191007.log分类到bigdata01类别中datanode类别中，即/logs/bigdata01/datanode/中。
S130：将不同类别的目标日志分别存储到目标集群的相应目录中。
对获取到的目标日志进行分类处理后，调用写入程序，可以将分类后的目标日志写入目标集群的相应目录中，以便于查找。目标集群可以为分布式文件***集群或者分布式文件***集群的灾备集群。分布式文件***集群具体可以是HDFS(Hadoop分布式文件***)。例如：将日志datanode-bigdata01-20191007.log写入到HDFS分布式文件***目录/logs/bigdata01/datanode/下。
将不同类别的目标日志分别存储到分布式文件***集群的相应目录中后，在达到设定灾备触发条件时，分布式文件***集群可以将保存的日志备份到其灾备集群中，实现日志备份。将不同类别的目标日志分别存储到分布式文件***集群的灾备集群的相应目录中，可以不再存储到分布式文件***集群中，节省分布式文件***集群的存储空间。
应用本申请实施例所提供的方法，在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志，对获取到的目标日志进行分类处理，将不同类别的目标日志分别存储到目标集群的相应目录中。将大数据集群各节点上的日志转储到目标集群中，目标集群的存储能力更强，这样可以较长时间的保存日志，在大数据集群出现问题需要进行问题排查时，有利于追溯日志、分析日志，而且有利于利用日志对大数据集群进行安全审计。
在本申请的一个实施例中，在将不同类别的目标日志分别存储到目标集群的相应目录中之后，还包括：
删除目标节点上保存的目标日志。
在本申请实施例中，在将不同类别的目标日志分别存储到目标集群的相应目录中后，如果确定已经转储完成，则可以删除目标节点上保存的目标日志，以释放大数据集群的节点的存储空间。
在本申请的一个实施例中，该方法还可以包括以下步骤：
删除目标集群中存储时长达到设定时长阈值的日志。
在本申请实施例中，可以设定时长阈值，如一年。当目标集群中的日志存储时长达到时长阈值时，可以认为这些日志已经老化，被利用程度较小，可以在目标集群中删除这些日志。以释放目标集群的存储空间。
具体的，可以通过配置文件配置老化策略，如/logs/bigdata01/datanode 365，表示保存/logs/bigdata01/datanode目录下日志365天，对365天前的日志进行删除操作。在达到设定时间间隔时，可以读取配置文件，根据配置文件执行删除操作，例如读取到/logs/bigdata01/datanode 365，则对目标集群上/logs/bigdata01/datanode目录下365天前的日志执行删除操作。
在实际应用中，本申请实施例所提供的技术方案可以在大数据集群日志存储***中实现。如图2所示，大数据集群日志存储***可以包括日志收集器、日志转储定时器、日志分类存储器、日志清除器和日志老化器。
其中，日志收集器可以将大数据集群中每个节点的平台操作日志、***日志、集群组件日志等按照一定规则进行收集，放置于各节点本地临时存放处。
日志转储定时器可以通过定时器将日志收集器收集的日志定时执行转储任务，依据设置的定时时间，在所设置时间进行转储任务的启动。
日志分类存储器可以根据日志转储定时器定时转储过来的日志进行分类，将不同类别日志分别存储到HDFS的不同目录下或者转储到HDFS的灾备集群的不同目录下。日志分类存储器完成存储后，可以向日志清除器返回转储完成信息。
日志清除器可以设置任务器，将已完成转储的日志在大数据集群的节点上进行删除操作，保证节点存储空间的释放。具体的，可以在获取到日志分类存储器返回的转储信息后，启动清除任务，根据主机列表清除已经转储的日志。
日志老化器可以通过定时任务对转储到HDFS或者灾备集群的日志配置定期老化策略，完成日志老化处理。
本申请实施例的大数据集群日志存储***通过日志收集器把大数据集群采集所有节点的日志，通过日志转储定时器定时对日志进行转储操作，通过日志分类存储器将日志进行归类存储到HDFS分布式文件***或其灾备集群上，通过日志清除器将单节点已转储日志进行删除操作释放单节点存储空间，通过日志老化器老化掉HDFS或者其灾备集群上时间过早无意义的日志。这样不仅可以解决单节点存储空间不足的问题，还能达到更长时间保存日志的效果，便于日志的追溯。
相应于上面的方法实施例，本申请实施例还提供了一种大数据集群日志存储装置，下文描述的大数据集群日志存储装置与上文描述的大数据集群日志存储方法可相互对应参照。
参见图3所示，该装置包括以下模块：
日志获取模块310，用于在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志；
日志分类模块320，用于对获取到的目标日志进行分类处理；
日志转储模块330，用于将不同类别的目标日志分别存储到目标集群的相应目录中。
应用本申请实施例所提供的装置，在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志，对获取到的目标日志进行分类处理，将不同类别的目标日志分别存储到目标集群的相应目录中。将大数据集群各节点上的日志转储到目标集群中，目标集群的存储能力更强，这样可以较长时间的保存日志，在大数据集群出现问题需要进行问题排查时，有利于追溯日志、分析日志，而且有利于利用日志对大数据集群进行安全审计。
在本申请的一种具体实施方式中，还包括条件确定模块，用于通过以下步骤确定是否达到设定的转储触发条件：
在达到设定的时间间隔时，确定达到设定的转储触发条件；
或者，在监测到目标节点中保存的待转储日志的存储空间占用比例达到设定比例阈值时，确定达到设定的转储触发条件。
在本申请的一种具体实施方式中，还包括日志删除模块，用于：
在将不同类别的目标日志分别存储到目标集群的相应目录中之后，删除目标节点上保存的目标日志。
在本申请的一种具体实施方式中，还包括老化处理模块，用于：
删除目标集群中存储时长达到设定时长阈值的日志。
在本申请的一种具体实施方式中，目标集群为分布式文件***集群或者分布式文件***集群的灾备集群。
在本申请的一种具体实施方式中，目标日志包括平台操作日志、***日志、集群组件日志中的至少一类日志。
在本申请的一种具体实施方式中，目标日志的文件名包含目标日志所属节点的主机名和目标日志的生成日期。
相应于上面的方法实施例，本申请实施例还提供了一种大数据集群日志存储设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现上述大数据集群日志存储方法的步骤。
如图4所示，为大数据集群日志存储设备的组成结构示意图，大数据集群日志存储设备可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本申请实施例中，处理器10可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行大数据集群日志存储方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本申请实施例中，存储器11中至少存储有用于实现以下功能的程序：
在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志；
对获取到的目标日志进行分类处理；
将不同类别的目标日志分别存储到目标集群的相应目录中。
在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作***，以及至少一个功能(比如声音播放功能、图像播放功能)所需的应用程序等；存储数据区可存储使用过程中所创建的数据，如日志数据、分类数据等。
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口13可以为通信模块的接口，用于与其他设备或者***连接。
当然，需要说明的是，图4所示的结构并不构成对本申请实施例中大数据集群日志存储设备的限定，在实际应用中大数据集群日志存储设备可以包括比图4所示的更多或更少的部件，或者组合某些部件。
相应于上面的方法实施例，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述大数据集群日志存储方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种大数据集群日志存储方法，其特征在于，包括：
在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志；
对获取到的所述目标日志进行分类处理；
将不同类别的目标日志分别存储到目标集群的相应目录中。
2.根据权利要求1所述的方法，其特征在于，通过以下步骤确定是否达到设定的转储触发条件：
在达到设定的时间间隔时，确定达到设定的转储触发条件；
或者，在监测到所述目标节点中保存的待转储日志的存储空间占用比例达到设定比例阈值时，确定达到设定的转储触发条件。
3.根据权利要求1所述的方法，其特征在于，在所述将不同类别的目标日志分别存储到目标集群的相应目录中之后，还包括：
删除所述目标节点上保存的所述目标日志。
4.根据权利要求1所述的方法，其特征在于，还包括：
删除所述目标集群中存储时长达到设定时长阈值的日志。
5.根据权利要求1至4之中任一项所述的方法，其特征在于，所述目标集群为分布式文件***集群或者所述分布式文件***集群的灾备集群。
6.根据权利要求1至4之中任一项所述的方法，其特征在于，所述目标日志包括平台操作日志、***日志、集群组件日志中的至少一类日志。
7.根据权利要求1至4之中任一项所述的方法，其特征在于，所述目标日志的文件名包含所述目标日志所属节点的主机名和所述目标日志的生成日期。
8.一种大数据集群日志存储装置，其特征在于，包括：
日志获取模块，用于在达到设定的转储触发条件时，获取大数据集群中目标节点上保存的目标日志；
日志分类模块，用于对获取到的所述目标日志进行分类处理；
日志转储模块，用于将不同类别的目标日志分别存储到目标集群的相应目录中。
9.一种大数据集群日志存储设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述大数据集群日志存储方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述大数据集群日志存储方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911208768.7A CN111008107A (zh) | 2019-11-30 | 2019-11-30 | 一种大数据集群日志存储方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911208768.7A CN111008107A (zh) | 2019-11-30 | 2019-11-30 | 一种大数据集群日志存储方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111008107A true CN111008107A (zh) | 2020-04-14 |
Family
ID=70113503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911208768.7A Pending CN111008107A (zh) | 2019-11-30 | 2019-11-30 | 一种大数据集群日志存储方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111008107A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111796770A (zh) * | 2020-06-30 | 2020-10-20 | 中国工商银行股份有限公司 | 日志路由负载均衡实现方法及装置 |
| CN112148686A (zh) * | 2020-09-25 | 2020-12-29 | 酒泉钢铁(集团)有限责任公司 | 一种基于软硬件一体机的数据监控处理方法 |
| CN112559642A (zh) * | 2020-12-08 | 2021-03-26 | 爱信诺征信有限公司 | 数据分类存储方法、装置及相关产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102637142A (zh) * | 2012-04-13 | 2012-08-15 | 浪潮(北京)电子信息产业有限公司 | 一种实现日志管理的计算机***及其方法 |
| CN102750326A (zh) * | 2012-05-30 | 2012-10-24 | 浪潮电子信息产业股份有限公司 | 一种基于精简策略的集群***的日志管理优化方法 |
| CN107590056A (zh) * | 2017-09-27 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种存储***中审计日志的转储方法及装置 |
| CN107622084A (zh) * | 2017-08-10 | 2018-01-23 | 深圳前海微众银行股份有限公司 | 日志管理方法、***以及计算机可读存储介质 |
-
2019
- 2019-11-30 CN CN201911208768.7A patent/CN111008107A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102637142A (zh) * | 2012-04-13 | 2012-08-15 | 浪潮(北京)电子信息产业有限公司 | 一种实现日志管理的计算机***及其方法 |
| CN102750326A (zh) * | 2012-05-30 | 2012-10-24 | 浪潮电子信息产业股份有限公司 | 一种基于精简策略的集群***的日志管理优化方法 |
| CN107622084A (zh) * | 2017-08-10 | 2018-01-23 | 深圳前海微众银行股份有限公司 | 日志管理方法、***以及计算机可读存储介质 |
| CN107590056A (zh) * | 2017-09-27 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种存储***中审计日志的转储方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111796770A (zh) * | 2020-06-30 | 2020-10-20 | 中国工商银行股份有限公司 | 日志路由负载均衡实现方法及装置 |
| CN111796770B (zh) * | 2020-06-30 | 2024-02-27 | 中国工商银行股份有限公司 | 日志路由负载均衡实现方法及装置 |
| CN112148686A (zh) * | 2020-09-25 | 2020-12-29 | 酒泉钢铁(集团)有限责任公司 | 一种基于软硬件一体机的数据监控处理方法 |
| CN112559642A (zh) * | 2020-12-08 | 2021-03-26 | 爱信诺征信有限公司 | 数据分类存储方法、装置及相关产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111008107A (zh) | 一种大数据集群日志存储方法、装置、设备及存储介质 | |
| US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
| CN106294206B (zh) | 一种缓存数据处理方法以及装置 | |
| CN112988679B (zh) | 日志采集控制方法、装置、存储介质及服务器 | |
| CN113485999A (zh) | 数据清理方法、装置和服务器 | |
| CN112506710A (zh) | 分布式文件***数据修复方法、装置、设备及存储介质 | |
| CN107357686A (zh) | 一种日志删除方法及装置 | |
| CN113568878A (zh) | 一种***日志的收集、导出方法、装置及车辆 | |
| CN111049684B (zh) | 数据分析方法、装置、设备和存储介质 | |
| US11789639B1 (en) | Method and apparatus for screening TB-scale incremental data | |
| CN112269763A (zh) | 一种文件聚合方法及相关装置 | |
| CN110941597B (zh) | 解压缩文件的清理方法、装置、计算设备及计算机存储介质 | |
| CN109299132B (zh) | Sql数据处理方法、***以及电子设备 | |
| CN116700624A (zh) | 一种数据删除方法、装置、电子设备及存储介质 | |
| CN111240923A (zh) | 车载导航***复现问题的自动测试方法、装置和存储介质 | |
| CN111221468A (zh) | 存储块数据删除方法、装置、电子设备及云存储*** | |
| CN110647498A (zh) | 一种文件存储方法、装置、设备及计算机可读存储介质 | |
| CN112422669B (zh) | 一种多关联设备数据实时提取方法及相关装置 | |
| CN116126621A (zh) | 大数据集群的任务监控方法及相关设备 | |
| CN112685370B (zh) | 一种日志采集方法、装置、设备和介质 | |
| CN113885803A (zh) | 数据存储方法、装置、电子设备及存储介质 | |
| CN114281250A (zh) | 存储文件的清理方法及装置、存储介质、电子装置 | |
| CN112860469A (zh) | 一种卡顿日志信息收集方法、装置、设备及存储介质 | |
| CN111813833A (zh) | 一种实时二度通联关系数据挖掘的方法 | |
| CN115658626B (zh) | 一种分布式网络小文件存储管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200414 |