CN104331487A - 日志的处理方法及装置 - Google Patents

日志的处理方法及装置 Download PDF

Info

Publication number
CN104331487A
CN104331487A CN201410640694.5A CN201410640694A CN104331487A CN 104331487 A CN104331487 A CN 104331487A CN 201410640694 A CN201410640694 A CN 201410640694A CN 104331487 A CN104331487 A CN 104331487A
Authority
CN
China
Prior art keywords
data acquisition
daily record
memory
module
target journaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410640694.5A
Other languages
English (en)
Other versions
CN104331487B (zh
Inventor
刘扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN201410640694.5A priority Critical patent/CN104331487B/zh
Publication of CN104331487A publication Critical patent/CN104331487A/zh
Application granted granted Critical
Publication of CN104331487B publication Critical patent/CN104331487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1734Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1737Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志的处理方法及装置,处理方法用于处理一个任务的所有日志,对于所有日志中的一目标日志,处理方法包括:在内存中设置一内存区域,将目标日志的每一语句中的参数分离出来,将参数按一配置信息记录于与目标日志匹配的数据集合内,并将目标日志的编号记录于数据集合内,分离参数后的语句按信息生成为与数据集合对应的日志模板,记录日志模板的编号于数据集合内,将内存区域中的数据集合存储于存储磁盘内;生成日志模板的编号并记录于数据集合内,将内存区域中的数据集合以及对应的日志模板存储于存储磁盘内。本申请的处理方法及装置能够有效节省记录日志时的服务器内存消耗,减少记录日志以及日志存储所需时间。

Description

日志的处理方法及装置
技术领域
本发明涉及一种日志的处理方法及装置。
背景技术
日志是记录***中硬件、软件和***问题的信息,同时还可以监视***中发生的事件。用户可以通过它来检查错误发生的原因,或者寻找受到攻击时攻击者留下的痕迹。日志包括***日志、应用程序日志和安全日志等。
因为输出日志需要占用大量磁盘空间、消耗磁盘读写资源,影响***性能,而且大量的日志也影响后续的阅读分析,所以不能不限制日志信息输出量。本领域的通行做法与公开号为CN101753344A的专利中记载类似,将日志内容以文本形式存储到缓存中,集中写入文件,占用缓存较多,严重影响***的速度。
发明内容
本发明要解决的技术问题是为了克服现有技术中日志的写入、输出占用缓存空间较多,严重影响***的运行速度的缺陷,提供一种节省记录日志时内存消耗,减少记录日志所需时间的日志的处理方法及装置。
本发明是通过下述技术方案来解决上述技术问题:一种日志的处理方法,其特点在于,所述处理方法用于处理一个任务的所有日志,对于所述所有日志中的一目标日志,所述处理方法包括:
在内存中设置一内存区域,在所述内存区域中将所述目标日志的每一语句中的参数分离出来,将所述参数按一配置信息记录于与所述目标日志匹配的数据集合内,并将所述目标日志的编号记录于所述数据集合内,分离参数后的语句按所述配置信息生成为与数据集合对应的日志模板,
在一用于存储日志的存储磁盘中存有所述日志模板的情况下,记录所述日志模板的编号于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合存储于存储磁盘内;
在一用于存储日志的存储磁盘中未存有所述日志模板的情况下,生成所述日志模板的编号并记录于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合以及对应的日志模板存储于存储磁盘内;
其中,所述配置信息为所述参数与语句中分离位置的映射关系。
在数据处理***中,一个需要执行的任务通常具有多个需要记录的日志,每个日志中包括多个语句(可以为描述型语句),将每一语句中可变化的参数与固定不变的句式分别保存可以在存储空间上省略存储相同日志模板,达到节省存储空间的目的。进一步地,分离后的数据集合以及日志模板存储于磁盘空间中供输出时调用,节约内存(缓存)的空间,提高***的使用性能。
较佳地,所述处理方法包括:
接收一输出目标日志的请求后,根据请求中的日志的编号获取数据集合;
将获取的数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
根据日志的编号,***可以获取请求的日志。一个日志中的数据集合与日志模板对应,数据集合中包括对应的日志模板的编号,根据所述编号***可以获取与所述数据集合对应的日志模板,数据集合中的参数写入到日志模板中就能够还原出分离前的日志。
利用所述编号,如果磁盘中的日志模板已经存在,则***不再需要将日志模板发送到存储磁盘中,只需要将数据集合发送到存储磁盘中,大大降低了传输的数据量。
较佳地,所述处理方法包括:数据集合在存储于存储磁盘前经过压缩处理,
对获取的数据集合进行解压处理,将解压后数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
较佳地,所述内存用于设置多个所述内存区域,各个内存区域对应处理不同的任务的日志。
本发明还提供一种日志的处理装置,其特点在于,所述处理装置用于处理一个任务中的所有日志,所述处理装置包括一设置模块、一处理模块以及一存储模块,对于一个任务中的一目标日志,
所述设置模块用于在内存中设置一内存区域;
所述处理模块用于在所述内存区域中将所述目标日志的每一语句中的参数分离出来,将所述参数按一配置信息记录于与所述目标日志匹配的数据集合内,并将所述目标日志的编号记录于所述数据集合内,分离参数后的语句按所述配置信息生成为与数据集合对应的日志模板;
所述存储模块用于在一用于存储日志的存储磁盘中存有所述日志模板的情况下,记录所述日志模板的编号于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合存储于存储磁盘内;
所述存储模块还用于在一用于存储日志的存储磁盘中未存有所述日志模板的情况下,生成所述日志模板的编号并记录于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合以及对应的日志模板存储于存储磁盘内;
其中,所述配置信息为所述参数与语句中分离位置的映射关系。
较佳地,所述处理装置还包括一获取模块以及一恢复模块,
所述获取模块用于在接收一输出目标日志的请求后,根据请求中的日志的编号获取数据集合;
所述恢复模块用于将获取的数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
较佳地,所述处理装置还包括一压缩模块,所述压缩模块用于在数据集合存储于存储磁盘前压缩所述数据集合,所述压缩模块还用于对获取的数据集合进行解压处理,然后调用所述恢复模块将解压后数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
较佳地,所述内存设置多个所述内存区域,各个内存区域对应处理不同的任务的日志。
在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本发明各较佳实例。
本发明的积极进步效果在于:本申请的处理方法及装置能够有效节省记录日志时的服务器内存消耗,减少记录日志以及日志存储所需时间。数据传输量大大减小,由于服务器不需要处理完整的日志,只需要处理日志模板序号,及模板所需的参数,因此少了内存使用,提高了***的性能。
附图说明
图1为本发明实施例的处理方法的流程图。
图2为本发明实施例的处理装置的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例
参见图2,本实施例提供一种日志的处理装置1,本实施例的处理装置用于处理两个任务中的日志,其中,每个任务中均包括3个日志,所述处理装置包括一设置模块11、一处理模块12、一存储模块13、一获取模块14、一恢复模块15以及一压缩模块16。
对于一个任务中的一目标日志:
所述设置模块用于在内存中设置一内存区域,所述任务中的3个日志均在内存区域中处理,所述内存区域仅处理一个任务的日志,另一个任务在另一个内存区域中处理。
所述处理模块用于在所述内存区域中将所述目标日志的每一语句中的参数分离出来,将所述参数按一配置信息记录于与所述目标日志匹配的数据集合内,并将所述目标日志的编号记录于所述数据集合内,分离参数后的语句按所述配置信息生成为与数据集合对应的日志模板。其中,所述配置信息为所述参数与语句中分离位置的映射关系。
用于在一用于存储日志的存储磁盘中存有所述日志模板的情况下,记录所述日志模板的编号于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合存储于存储磁盘内。
所述存储模块还用于在一用于存储日志的存储磁盘中未存有所述日志模板的情况下,生成所述日志模板的编号并记录于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合以及对应的日志模板存储于存储磁盘内。
所述获取模块用于在接收一输出目标日志的请求后,根据请求中的日志的编号获取数据集合。
所述压缩模块用于在数据集合存储于存储磁盘前压缩所述数据集合,所述压缩模块还用于对获取的数据集合进行解压处理,然后调用所述恢复模块将解压后数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
所述内存设置多个所述内存区域,各个内存区域对应处理不同的任务的日志。
参见图1,利用上述处理装置,本实施例还提供一种日志的处理方法,所述处理方法处理的日志均设有编号,利用所述处理方法处理一个任务中的3个日志,对于其中的一个编号为19的目标日志,所述目标日志为:
向5号服务器发送了1024个字节;
向7号服务器发送了2048个字节。
对于上述目标日志,所述处理方法包括:
步骤100、在内存中设置一内存区域,在所述内存区域中将所述目标日志的每一语句中的参数分离出来,将所述参数按一配置信息记录于与所述目标日志匹配的数据集合内,并将所述目标日志的编号记录于所述数据集合内,分离参数后的语句按所述配置信息生成为与数据集合对应的日志模板,其中,所述配置信息为所述参数与语句中分离位置的映射关系。
也就是说,所述目标日志中的两个语句中,5、1024、7、2048均为需要分离的参数,将5、1024、7、2048按照所述配置信息记录于数据集合内,分离参数后的语句生成的日志模板为:
向{0}号服务器发送了{1}个字节;
向{0}号服务器发送了{1}个字节。
数据集合为:
19,1377;
5,1024;
7,2048;
上述的数据集合根据配置信息生成,使得数据集合的第一行表示目标日志的身份以及所对应的日志模板,第二行表示具体的参数,参数的行数与日志模板对应,即利用配置信息,所述参数能够与语句中分离位置相对应。
所述数据集合中还存有这个日志模板的编号1377,用于***恢复所述目标日志。所述数据集合中存有日志编号19用于***调用所述目标日志。
步骤101、判断在一用于存储日志的存储磁盘中是否存有所述日志模板,若是则执行步骤102,若否则执行步骤103。
步骤102、记录所述日志模板的编号于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合存储于存储磁盘内,然后执行步骤104。
步骤103、生成所述日志模板的编号并记录于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合以及对应的日志模板存储于存储磁盘内。
其中,数据集合在存储于存储磁盘前经过压缩处理,使得日志占用磁盘的空间更小。在所述存储磁盘中,如果编号为1377的日志模板已经存在,***在判断出日志模板已存在的情况下可以仅将编号1377的日志模板对应的数据集合存储于存储磁盘内,而不再存储日志模板,从而降低数据的传输量以及存储磁盘的空间占用量。
步骤104、接收一输出目标日志的请求后,根据请求中的日志的编号获取数据集合。
步骤105、对获取的数据集合进行解压处理,将解压后数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
在步骤104中,所述请求中要求输出编号为19的日志,***根据编号19获取数据集合,并根据编号1377获取数据集合对应的日志模板,然后在一缓存内将数据集合中的5、1024、7、2048填入到日志模板中,还原出目标日志,并将所述目标日志输出。
本实施例的处理方法及装置能够有效节省记录日志时的服务器内存消耗,减少记录日志以及日志存储所需时间。数据传输量大大减小,由于服务器不需要处理完整的日志,只需要处理日志模板序号,及模板所需的参数,因此少了内存使用,提高了***的性能。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种日志的处理方法,其特征在于,所述处理方法用于处理一个任务的所有日志,对于所述所有日志中的一目标日志,所述处理方法包括:
在内存中设置一内存区域,在所述内存区域中将所述目标日志的每一语句中的参数分离出来,将所述参数按一配置信息记录于与所述目标日志匹配的数据集合内,并将所述目标日志的编号记录于所述数据集合内,分离参数后的语句按所述配置信息生成为与数据集合对应的日志模板,
在一用于存储日志的存储磁盘中存有所述日志模板的情况下,记录所述日志模板的编号于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合存储于存储磁盘内;
在一用于存储日志的存储磁盘中未存有所述日志模板的情况下,生成所述日志模板的编号并记录于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合以及对应的日志模板存储于存储磁盘内;
其中,所述配置信息为所述参数与语句中分离位置的映射关系。
2.如权利要求1所述的处理方法,其特征在于,所述处理方法包括:
接收一输出目标日志的请求后,根据请求中的日志的编号获取数据集合;
将获取的数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
3.如权利要求2所述的处理方法,其特征在于,所述处理方法包括:数据集合在存储于存储磁盘前经过压缩处理,
对获取的数据集合进行解压处理,将解压后数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
4.如权利要求1所述的处理方法,其特征在于,所述内存用于设置多个所述内存区域,各个内存区域对应处理不同的任务的日志。
5.一种日志的处理装置,其特征在于,所述处理装置用于处理一个任务中的所有日志,所述处理装置包括一设置模块、一处理模块以及一存储模块,对于一个任务中的一目标日志,
所述设置模块用于在内存中设置一内存区域;
所述处理模块用于在所述内存区域中将所述目标日志的每一语句中的参数分离出来,将所述参数按一配置信息记录于与所述目标日志匹配的数据集合内,并将所述目标日志的编号记录于所述数据集合内,分离参数后的语句按所述配置信息生成为与数据集合对应的日志模板;
所述存储模块用于在一用于存储日志的存储磁盘中存有所述日志模板的情况下,记录所述日志模板的编号于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合存储于存储磁盘内;
所述存储模块还用于在一用于存储日志的存储磁盘中未存有所述日志模板的情况下,生成所述日志模板的编号并记录于所述数据集合内,在所述所有日志全部处理完成后,将内存区域中的数据集合以及对应的日志模板存储于存储磁盘内;
其中,所述配置信息为所述参数与语句中分离位置的映射关系。
6.如权利要求5所述的处理装置,其特征在于,所述处理装置还包括一获取模块以及一恢复模块,
所述获取模块用于在接收一输出目标日志的请求后,根据请求中的日志的编号获取数据集合;
所述恢复模块用于将获取的数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
7.如权利要求6所述的处理装置,其特征在于,所述处理装置还包括一压缩模块,所述压缩模块用于在数据集合存储于存储磁盘前压缩所述数据集合,所述压缩模块还用于对获取的数据集合进行解压处理,然后调用所述恢复模块将解压后数据集合中的参数按照所述配置信息写入对应的日志模板中以恢复成目标日志并输出。
8.如权利要求5所述的处理装置,其特征在于,所述内存设置多个所述内存区域,各个内存区域对应处理不同的任务的日志。
CN201410640694.5A 2014-11-13 2014-11-13 日志的处理方法及装置 Active CN104331487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410640694.5A CN104331487B (zh) 2014-11-13 2014-11-13 日志的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410640694.5A CN104331487B (zh) 2014-11-13 2014-11-13 日志的处理方法及装置

Publications (2)

Publication Number Publication Date
CN104331487A true CN104331487A (zh) 2015-02-04
CN104331487B CN104331487B (zh) 2019-03-12

Family

ID=52406214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410640694.5A Active CN104331487B (zh) 2014-11-13 2014-11-13 日志的处理方法及装置

Country Status (1)

Country Link
CN (1) CN104331487B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975376A (zh) * 2016-04-28 2016-09-28 广州市锲致智能技术有限公司 基于日志处理的数控***安全处理方法
WO2016202070A1 (zh) * 2015-06-16 2016-12-22 中兴通讯股份有限公司 网络***中记录日志的方法和装置
CN109684290A (zh) * 2018-12-20 2019-04-26 东软集团股份有限公司 日志存储方法、装置、设备及计算机可读存储介质
CN109885545A (zh) * 2019-02-02 2019-06-14 华为技术有限公司 存储、查询日志信息的方法、装置
WO2019161551A1 (zh) * 2018-02-24 2019-08-29 黄裕才 基于logrotate技术的日志处理方法
WO2019184218A1 (zh) * 2018-03-27 2019-10-03 平安科技(深圳)有限公司 日志归档方法、电子装置及可读存储介质
CN111538712A (zh) * 2020-04-30 2020-08-14 恒生电子股份有限公司 日志的记录方法及处理节点、电子设备、存储介质
CN112286896A (zh) * 2020-11-19 2021-01-29 北京百家科技集团有限公司 一种日志文件处理方法、装置、计算机设备和存储介质
CN112559458A (zh) * 2020-12-11 2021-03-26 深圳金信诺高新技术股份有限公司 一种缩减日志大小的方法及***
CN113179265A (zh) * 2021-04-26 2021-07-27 湖南蚁坊软件股份有限公司 一种日志压缩加密方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2521078A1 (en) * 2011-05-06 2012-11-07 Sap Ag Systems and methods for business process logging
CN103412924A (zh) * 2013-08-12 2013-11-27 东软集团股份有限公司 日志多语言查询方法和***
CN103440297A (zh) * 2013-08-20 2013-12-11 苏州迈科网络安全技术股份有限公司 一种用户操作日志信息的记录及读取方法
CN103577307A (zh) * 2013-11-07 2014-02-12 浙江中烟工业有限责任公司 基于xml规则模型的防火墙日志自动提取与分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2521078A1 (en) * 2011-05-06 2012-11-07 Sap Ag Systems and methods for business process logging
CN103412924A (zh) * 2013-08-12 2013-11-27 东软集团股份有限公司 日志多语言查询方法和***
CN103440297A (zh) * 2013-08-20 2013-12-11 苏州迈科网络安全技术股份有限公司 一种用户操作日志信息的记录及读取方法
CN103577307A (zh) * 2013-11-07 2014-02-12 浙江中烟工业有限责任公司 基于xml规则模型的防火墙日志自动提取与分析方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016202070A1 (zh) * 2015-06-16 2016-12-22 中兴通讯股份有限公司 网络***中记录日志的方法和装置
CN105975376A (zh) * 2016-04-28 2016-09-28 广州市锲致智能技术有限公司 基于日志处理的数控***安全处理方法
WO2019161551A1 (zh) * 2018-02-24 2019-08-29 黄裕才 基于logrotate技术的日志处理方法
WO2019184218A1 (zh) * 2018-03-27 2019-10-03 平安科技(深圳)有限公司 日志归档方法、电子装置及可读存储介质
CN109684290B (zh) * 2018-12-20 2021-08-17 东软集团股份有限公司 日志存储方法、装置、设备及计算机可读存储介质
CN109684290A (zh) * 2018-12-20 2019-04-26 东软集团股份有限公司 日志存储方法、装置、设备及计算机可读存储介质
CN109885545A (zh) * 2019-02-02 2019-06-14 华为技术有限公司 存储、查询日志信息的方法、装置
CN111538712A (zh) * 2020-04-30 2020-08-14 恒生电子股份有限公司 日志的记录方法及处理节点、电子设备、存储介质
CN111538712B (zh) * 2020-04-30 2023-07-21 恒生电子股份有限公司 日志的记录方法及处理节点、电子设备、存储介质
CN112286896A (zh) * 2020-11-19 2021-01-29 北京百家科技集团有限公司 一种日志文件处理方法、装置、计算机设备和存储介质
CN112286896B (zh) * 2020-11-19 2024-02-06 北京百家科技集团有限公司 一种日志文件处理方法、装置、计算机设备和存储介质
CN112559458A (zh) * 2020-12-11 2021-03-26 深圳金信诺高新技术股份有限公司 一种缩减日志大小的方法及***
CN112559458B (zh) * 2020-12-11 2021-11-30 深圳金信诺高新技术股份有限公司 一种缩减日志大小的方法及***
CN113179265A (zh) * 2021-04-26 2021-07-27 湖南蚁坊软件股份有限公司 一种日志压缩加密方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN104331487B (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
CN104331487A (zh) 日志的处理方法及装置
CN106649828B (zh) 一种数据查询方法及***
CN103778259A (zh) 基于Sqlite3实现智能手机数据恢复的方法
WO2007049109A3 (en) Method and system for compression of logical data objects for storage
CN103955530A (zh) 一种在线重复数据删除***的数据重建优化方法
CN106294826A (zh) 一种集群数据实时查询方法及***
CN104636242A (zh) 一种基于Linux操作***的***日志自动删除重复内容的方法
CN104317850A (zh) 数据处理方法和装置
WO2023277819A3 (zh) 数据处理方法、***、设备、计算机程序产品及存储功能
CN106681659A (zh) 数据压缩的方法及装置
CN111444396A (zh) 一种大数据存储***
CN105159820A (zh) 一种***日志数据传输方法及装置
CN106021285A (zh) 一种基于Hadoop平台的海量数据增量抽取与分析方法
CN104778252A (zh) 索引的存储方法和装置
CN103235754B (zh) 分布式文件***中请求的处理方法和装置
JP6213676B2 (ja) 解析装置、解析方法、および、解析プログラム
CN103236938A (zh) 一种基于缓存及异步处理技术的用户行为采集方法及***
CN103729269A (zh) 一种基于云架构的网络考试数据双缓存方法
CN103207916A (zh) 元数据处理的方法和装置
CN111209608A (zh) 一种大数据存储***
CN111026736A (zh) 数据血缘管理方法及装置、数据血缘解析方法及装置
CN106254806A (zh) 一种录像数据保护方法和装置
CN111159117A (zh) 一种低开销的文件操作日志采集方法
WO2016091068A1 (zh) 一种特殊指令的执行方法及装置
CN109726181B (zh) 一种数据处理方法及数据处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160204

Address after: 200335 Shanghai city Changning District Admiralty Road No. 968 Building No. 16 10 floor

Applicant after: SHANGHAI XIECHENG BUSINESS CO., LTD.

Address before: 200335 Shanghai City, Changning District Fuquan Road No. 99, Ctrip network technology building

Applicant before: Ctrip computer technology (Shanghai) Co., Ltd.

GR01 Patent grant
GR01 Patent grant