CN105824837B - 一种日志处理方法及装置 - Google Patents

一种日志处理方法及装置 Download PDF

Info

Publication number
CN105824837B
CN105824837B CN201510007050.7A CN201510007050A CN105824837B CN 105824837 B CN105824837 B CN 105824837B CN 201510007050 A CN201510007050 A CN 201510007050A CN 105824837 B CN105824837 B CN 105824837B
Authority
CN
China
Prior art keywords
log
information
file
index file
incidence relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510007050.7A
Other languages
English (en)
Other versions
CN105824837A (zh
Inventor
刘亮
陈辉
周世超
林素标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Guangdong Co Ltd
Original Assignee
China Mobile Group Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Guangdong Co Ltd filed Critical China Mobile Group Guangdong Co Ltd
Priority to CN201510007050.7A priority Critical patent/CN105824837B/zh
Publication of CN105824837A publication Critical patent/CN105824837A/zh
Application granted granted Critical
Publication of CN105824837B publication Critical patent/CN105824837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种日志处理方法及装置。所述日志处理方法,包括:获取日志文件;对日志文件按照第一预设审计信息进行索引,确定第一预设审计信息与日志文件之间的关联关系,根据所述关联关系形成日志文件的日志索引文件;对日志索引文件按照第二预设审计信息进行检索,确定第二预设审计信息与日志索引文件之间的关联关系,根据所述关联关系形成日志索引文件的关联匹配关系;根据日志索引文件的关联匹配关系,对日志文件进行审计分析处理,获取日志处理结果。上述方案,通过对采集的日志建立关联匹配关系,改变了日志必须集中存储才能集中审计的现状,简化了审计工作中日志信息格式化与日志信息筛选的步骤,节省了审计时间,提高了日志处理效率。

Description

一种日志处理方法及装置
技术领域
本发明涉及日志处理及信息安全技术领域,特别涉及一种日志处理方法及装置。
背景技术
日志主要包括***日志、设备日志、应用日志、用户访问行为、***运行状态等各类信息,目前在对各类日志分析处理均采用“金字塔审计模型”(如图1所示)通过原始日志信息采集、审计信息标准化、审计信息筛选、审计分析四个步骤对日志进行处理。各步骤的详细内容如下:
1)原始日志信息采集步骤通过各种采集技术从被管资源收集相关日志并进行集中管理;
2)审计信息标准化步骤以原始审计信息为基础,按照标准格式对用户、事件与资产信息进行补全,产生以审计主体、审计客体、审计动作为标准格式的信息,以满足信息筛选的要求;
3)审计信息筛选步骤在标准化信息基础上,通过对关键操作、关键资源进行匹配和特定业务场景识别,从而形成待审计信息。筛选过程重点关注审计动作和审计客体,例如敏感库表查询、关键业务办理等;
4)审计分析步骤对筛选后的待审计信息结合审计策略进行分析,从中发现异常和违规行为。
随着云计算大规模应用,日志种类和数量也随之剧增,面对海量日志,仅依靠现有技术方案中的集中采集、格式化、统一存储、统一分析等手段,无法保障日志处理的效率,其主要不足为:
所有的日志均需要在采集后进行集中存储,这种模式面对海量的日志数据,需要大量的管理资源,消耗较长的管理时间,进而消耗较多的日志处理时间,降低了日志的处理效率。
发明内容
本发明要解决的技术问题是提供一种日志处理方法及装置,用以解决现有的所有的日志均需要在采集后进行格式化处理并进行集中存储,然后再进行审计分析,此种方式的日志处理方法造成日志处理速率慢、效率低下的问题。
为了解决上述技术问题,本发明实施例提供一种日志处理方法,包括:
获取日志文件;
对所述日志文件按照第一预设审计信息进行索引,确定所述第一预设审计信息与所述日志文件之间的关联关系,根据所述第一预设审计信息与所述日志文件之间的关联关系形成所述日志文件的日志索引文件;
对所述日志索引文件按照第二预设审计信息进行检索,确定所述第二预设审计信息与所述日志索引文件之间的关联关系,根据所述第二预设审计信息与所述日志索引文件之间的关联关系形成所述日志索引文件的关联匹配关系;
根据所述日志索引文件的关联匹配关系,对所述日志文件进行审计分析处理,获取日志处理结果。
进一步地,所述获取日志文件的步骤包括:
采用监视***运行过程的方式,采集***运行过程中形成的日志文件;
其中,监视内容包括:文件夹或文件内容、网络内容、网络应用协议、脚本输出、数据库输出。
进一步地,在所述获取日志文件的步骤后,还包括:
对所述日志文件进行存储。
进一步地,所述第一预设审计信息为预设的敏感数据信息,所述对所述日志文件按照第一预设审计信息进行索引,确定所述第一预设审计信息与所述日志文件之间的关联关系,根据所述第一预设审计信息与所述日志文件之间的关联关系形成所述日志文件的日志索引文件的步骤包括:
对所述日志文件按照所述敏感数据信息进行索引,确定所述敏感数据信息与所述日志文件之间的关联关系,根据所述敏感数据信息与所述日志文件之间的关联关系形成所述日志文件针对所述敏感数据信息的索引文件;
将所述日志文件针对所述敏感数据信息的索引文件作为所述日志文件的日志索引文件。
进一步地,所述第二预设审计信息为预设的至少一个关键信息,所述对所述日志索引文件按照第二预设审计信息进行检索,确定所述第二预设审计信息与所述日志索引文件之间的关联关系,根据所述第二预设审计信息与所述日志索引文件之间的关联关系形成所述日志索引文件的关联匹配关系的步骤包括:
对所述日志索引文件分别按照每个关键信息进行检索,确定每个关键信息与所述日志索引文件之间的第一关联关系;
根据每个关键信息与所述日志索引文件之间的第一关联关系,形成所述日志索引文件的关联匹配关系。
进一步地,所述关键信息包括:人员账号信息、设备实体信息和时间信息,所述对所述日志索引文件分别按照每个关键信息进行检索,确定每个关键信息与所述日志索引文件之间的第一关联关系的步骤包括:
对所述日志索引文件按照所述人员账号信息进行检索,确定所述人员账号信息与所述日志索引文件之间的第二关联关系,所述人员账号信息包括:应用资源账号和***资源账号;
对所述日志索引文件按照所述设备实体信息进行检索,确定所述设备实体信息与所述日志索引文件之间的第三关联关系,所述设备实体信息包括:IP地址、主机名称、数据库名称、应用资源的功能编码;
对所述日志索引文件按照时间信息进行检索,确定所述时间信息与所述日志索引文件之间的第四关联关系,所述时间信息包括至少一个使用时间段信息。
进一步地,所述根据每个关键信息与所述日志索引文件之间的第一关联关系,形成所述日志索引文件的关联匹配关系的步骤包括:
对所述第二关联关系、所述第三关联关系和所述第四关联关系进行关联匹配,形成所述日志索引文件与所述人员账号信息、所述设备实体信息和所述时间信息之间的关联匹配关系;
将所述日志索引文件与所述人员账号信息、所述设备实体信息和所述时间信息之间的关联匹配关系作为所述日志索引文件的关联匹配关系。
本发明实施例提供一种日志处理装置,包括:
第一获取模块,用于获取日志文件;
索引建立模块,用于对所述日志文件按照第一预设审计信息进行索引,确定所述第一预设审计信息与所述日志文件之间的关联关系,根据所述第一预设审计信息与所述日志文件之间的关联关系形成所述日志文件的日志索引文件;
匹配关系建立模块,用于对所述日志索引文件按照第二预设审计信息进行检索,确定所述第二预设审计信息与所述日志索引文件之间的关联关系,根据所述第二预设审计信息与所述日志索引文件之间的关联关系形成所述日志索引文件的关联匹配关系;
第二获取模块,用于根据所述日志索引文件的关联匹配关系对所述日志文件进行审计分析处理,获取日志处理结果。
进一步地,所述日志处理装置,还包括:
存储模块,用于对所述日志文件进行存储。
进一步地,在所述第二预设审计信息为预设的至少一个关键信息时,所述匹配关系建立模块,包括:
第一关联关系建立单元,用于对所述日志索引文件分别按照每个关键信息进行检索,确定每个关键信息与所述日志索引文件之间的第一关联关系;
第二关联关系建立单元,用于根据每个关键信息与所述日志索引文件之间的第一关联关系,形成所述日志索引文件的关联匹配关系。
本发明的有益效果是:
上述方案,通过对采集的日志建立关联匹配关系,改变了当前日志必须集中存储才能集中审计的现状,并简化了审计工作中必要的日志信息格式化与日志信息筛选的步骤,节省了审计时间,提高了日志处理效率。
附图说明
图1表示现有技术中对各类日志分析处理的流程示意图;
图2表示本发明实施例的所述日志处理方法的总体流程图;
图3表示本发明实施例的业务模型示意图;
图4表示本发明获取日志文件的途径示意图;
图5表示本发明实施例的所述日志处理装置的模块示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明进行详细描述。
本发明针对现有的日志均需在采集后进行格式化处理并进行集中存储,然后再进行审计分析,此种方式的日志处理方法造成日志处理速率慢、效率低下的问题,如图2所示,本发明实施例提供一种日志处理方法,包括:
步骤10,获取日志文件;
步骤20,对所述日志文件按照第一预设审计信息进行索引,确定所述第一预设审计信息与所述日志文件之间的关联关系,根据所述第一预设审计信息与所述日志文件之间的关联关系形成所述日志文件的日志索引文件;
步骤30,对所述日志索引文件按照第二预设审计信息进行检索,确定所述第二预设审计信息与所述日志索引文件之间的关联关系,根据所述第二预设审计信息与所述日志索引文件之间的关联关系形成所述日志索引文件的关联匹配关系;
步骤40,根据所述日志索引文件的关联匹配关系,对所述日志文件进行审计分析处理,获取日志处理结果。
本发明上述实施例,通过对采集的日志建立关联匹配关系,简化了审计工作中必要的日志信息格式化与日志信息筛选的步骤,节省了审计时间,提高了日志处理效率。
应当说明的是,本发明中主要以业务支撑***中的日志为例进行说明,为了保障业务支撑***安全稳定运营,须对业务支撑***中访问敏感数据、执行关键操作及其结果进行真实、全面的记录,并对业务操作行为记录、***操作行为记录进行集中存储和统一分析,实现基础审计与专题审计,提供可用于责任追踪的相关证据及审计管理作为业务支撑***的安全手段。
业务支撑网中存在着大量的***日志、设备日志、应用日志、用户访问行为、***运行状态等各类信息,这些日志信息以不同格式分散在业务支撑网内的各个***中。
可选地,本发明实施例的所述步骤10具体为:
采用监视业务支撑***运行过程的方式,采集业务支撑***运行过程中形成的日志文件;
其中,监视内容至少包括:文件夹或文件内容、网络内容、网络应用协议、脚本输出、数据库输出。
在采集到上述日志文件后,本发明另一实施例中,所述日志处理方法还包括:对所述日志文件进行存储。
应当说明的是,本发明中日志文件的存储,不对采集来的日志做任何处理操作,采集来的日志文件是什么类型就以该类型进行保存,采集来的日志文件是什么格式的就以该格式进行保存;同时本发明中的存储处理不仅支持存储在统一的磁盘阵列中,也同时支持分散存储在不同主机的硬盘中,并支持对日志信息的多线程读取控制。
在存储完所述日志文件后,便是对所述日志文件建立索引的步骤,本发明以预设的敏感数据信息为索引项,建立所述日志文件的索引,因此,本发明又一实施例中,所述步骤20具体为:
对不同格式、不同类型的所述日志文件按照敏感数据信息进行索引,确定所述敏感数据信息与所述日志文件之间的关联关系,根据所述敏感数据信息与所述日志文件之间的关联关系形成所述日志文件针对所述敏感数据信息的索引文件;
将所述日志文件针对所述敏感数据信息的索引文件作为所述日志文件的日志索引文件。
应当说明的是,所述敏感数据信息可以为预设的对信息的修改操作、信息的查询操作等,可以依据审计的不同要求,建立索引记录,所述日志索引文件中包含的便是日志文件的索引记录,所述索引记录为一级索引记录(所述索引记录由至少一个索引关键词对应的日志文件索引信息构成),所述步骤20,只是依据预设的敏感数据信息将采集到的所述日志文件进行分类,便于后续的查找,针对不同格式、不同类型的日志文件建立文件索引记录,通过该操作可以提高后续日志信息查询或检索的处理效率。
在得到一级索引记录后,便是对索引记录中的每一部分日志文件进行再处理,本发明中依据预设的至少一个关键信息对所述索引记录进行再处理,因此,本发明又一实施例中,所述步骤30包括:
步骤31,对所述日志索引文件分别按照每个关键信息进行检索,确定每个关键信息与所述日志索引文件之间的第一关联关系;
步骤32,根据每个关键信息与所述日志索引文件之间的第一关联关系,形成所述日志索引文件的关联匹配关系。
应当说明的是,在建立一级索引记录中的日志文件的关联匹配关系(即二级索引目录)之前,先要筛选出与建立关联匹配关系必须的索引条目对应的日志文件,本发明中,主要实现的是日志索引文件与人员账号信息、设备实体信息与时间信息的关联匹配关系,因此,本发明又一实施例中,所述步骤31具体包括:
步骤311,对所述日志索引文件按照所述人员账号信息进行检索,确定所述人员账号信息与所述日志索引文件之间的第二关联关系;
所述步骤311,先使用从帐号,包括:CRM(Customer Relationship Management)即客户关系管理)、BASS(是移动通信的一个平台***,是市场运营监控平台、电子稽核、量化考核及市场经营健康度的缩写)、BOMC(***业务支撑网运营管理***)等应用资源帐号和主机、数据库、网络设备等***资源的帐号)作为关键字,对所采集的不同类型、不同格式的日志信息进行全文检索,在完成检索操作输出结果后,利用4A(即认证Authentication、账号Account、授权Authorization、审计Audit,中文名称为统一安全管理平台解决方案)***中的主从帐号对应关系来实现基于人员方面的日志关联分析,把所采集的操作日志对应到相关的操作人员;
步骤312,对所述日志索引文件按照所述设备实体信息进行检索,确定所述设备实体信息与所述日志索引文件之间的第三关联关系;
所述步骤312,使用IP地址、主机名称、数据库名称、应用资源的功能编码等作为关键字,对所采集的不同类型、不同格式的日志信息进行全文检索,来实现基于实体方面的日志关联分析;
步骤313,对所述日志索引文件按照时间信息进行检索,确定所述时间信息与所述日志索引文件之间的第四关联关系;
所述步骤313,使用时间段作为关键字,对新采集的不同类型、不同格式的日志进行检索,来实现基于时间段方面的日志关联分析;
在分别得到日志文件分别与操作人员、实体、操作时间的对应关系后,便是对依据所述对应关系,形成二级索引目录的步骤,因此,本发明实施例的所述步骤32具体为:
对所述第二关联关系、所述第三关联关系和所述第四关联关系进行关联匹配,形成所述日志索引文件与所述人员账号信息、所述设备实体信息和所述时间信息之间的关联匹配关系;
将所述日志索引文件与所述人员账号信息、所述设备实体信息和所述时间信息之间的关联匹配关系作为所述日志索引文件的关联匹配关系。
应当说明的是,针对步骤311、步骤312和步骤313的检索结果,利用多关键字检索或重复检索的方法,来实现人员、实体、操作时间之间的关联匹配,通过该步骤实现同人员在一定时间内对同一资源的操作日志进行归并处理,从而提升后续日志分析的效率,并在***中建立高级文件二次索引模型,针对该模型输出的格式为:
{_time:”2014-11-10T12:12:10”,source:”UDP:514”,sourcetype:”syslog”,host:”1.1.1.1”,_raw:”xxxxxxx”……},其中,_time:”2014-11-10T12:12:10”表示为操作时间,source:”UDP:514”为实体,即日志所属于的业务***,sourcetype:”syslog”为***日志类型,host:”1.1.1.1”为主机IP,_raw:”xxxxxxx”为原始日志对应的索引字段内容;应当说明的是,所述输出格式并不局限于上面所述的格式,所述输出格式可以在实际应用中根据需求进行制定。
应当说明的是,经过上述过程后,便可依据日志文件的关联匹配关系进行所述日志文件的审计分析,在进行日志审计时,可以根据要查找的信息快速的定位到日志文件,找到与所述日志文件相关的信息,得到最后的日志文件的处理结果,应当说明的是,所述步骤40可以依据惯用技术手段实现,在此不再进行赘述。本发明上述方案,提高了日志处理效率,节省了网络维护的时间,提高了管理人员的工作效率。
综上所述,本发明所述日志处理方法的日志预处理阶段主要分为日志采集、存储及建立索引、人员账号检索分析、实体检索分析、时间检索分析、关联归并六大关键步骤,本发明的主要业务模型如图3所示:
第一步:对业务支撑***中的各类日志信息进行采集,本发明采用监视的方式进行日志信息采集,所支持的监视手段如图4所示,包括文件夹或文件内容监视、网络内容(TCP/UDP)监视、网络应用协议监视、脚本输出监视、数据库输出监视等;
第二步:把采集来的不同格式、不同类型的日志文件进行存储处理;
第三步:完成日志文件存储处理后,***针对不同格式、不同类型的日志文件建立原始日志索引;
第四步:进行人员帐号检索分析,先使用从帐号作为关键字,对所采集的不同类型、不同格式的日志信息进行全文检索,在完成检索操作输出结果后,利用4A***中的主从帐号对应关系来实现基于人员方面的日志关联分析,把所采集的操作日志对应到相关的操作人员;
第五步:进行实体检索分析,使用IP地址、主机名称、数据库名称、应用资源的功能编码等作为关键字,对所采集的不同类型、不同格式的日志信息进行全文检索,来实现基于实体方面的日志关联分析;
第六步:进行时间检索分析,使用时间作为关键字,对不同类型、不同格式的日志进行检索,来实现基于时间方面的日志关联分析;
第七步:针对上述关联分析结果,进行关联归并,利用多关键字检索或重复检索的方法,来实现人员、实体、操作时间之间的关联匹配;
在第七步完成后,便在原始日志索引的基础上,建立了二次索引;
第八步:对完成关联匹配后的日志信息,进行传统的审计分析来完成业务支撑***的审计工作,通过二次索引到原始日志索引再到具体的日志文件的方式来进行具体的日常审计工作。
例如,在追踪到某个记录信息发生了变化,根据所述变化查找到相关的日志文件,根据所述日志文件对应的关联关系,就很快得查找到何人何时对该信息进行了修改。
应当说明的是,本发明采用人员检索、实体检索、时间检索交叉关联的方法来解决目前云资源环境下各***中不同类型、不同格式的日志进行关联分析和匹配,达到节约投资,简化审计工作中必要的日志信息格式化与日志信息筛选步骤,达到提升审计工作效率的目的;本发明优化了目前审计日志存储方式,提供了审计日志多格式、分散存储的落地方法,有效的解决了云计算环境下海量的不同格式日志无法快速统一审计的难题。
如图5所示,本发明实施例还提供一种日志处理装置,包括:
第一获取模块100,用于获取日志文件;
索引建立模块200,用于对所述日志文件按照第一预设审计信息进行索引,确定所述第一预设审计信息与所述日志文件之间的关联关系,根据所述第一预设审计信息与所述日志文件之间的关联关系形成所述日志文件的日志索引文件;
匹配关系建立模块300,用于对所述日志索引文件按照第二预设审计信息进行检索,确定所述第二预设审计信息与所述日志索引文件之间的关联关系,根据所述第二预设审计信息与所述日志索引文件之间的关联关系形成所述日志索引文件的关联匹配关系;
第二获取模块400,用于根据所述日志索引文件的关联匹配关系对所述日志文件进行审计分析处理,获取日志处理结果。
可选地,所述日志处理装置,还包括:
存储模块,用于对所述日志文件进行存储。
可选地,在所述第一预设审计信息为预设的敏感数据信息时,所述索引建立模块200具体为:
对所述日志文件按照所述敏感数据信息进行索引,确定所述敏感数据信息与所述日志文件之间的关联关系,根据所述敏感数据信息与所述日志文件之间的关联关系形成所述日志文件针对所述敏感数据信息的索引文件;
将所述日志文件针对所述敏感数据信息的索引文件作为所述日志文件的日志索引文件。
具体地,在所述第二预设审计信息为预设的至少一个关键信息时,所述匹配关系建立模块300,包括:
第一关联关系建立单元,用于对所述日志索引文件分别按照每个关键信息进行检索,确定每个关键信息与所述日志索引文件之间的第一关联关系;
第二关联关系建立单元,用于根据每个关键信息与所述日志索引文件之间的第一关联关系,形成所述日志索引文件的关联匹配关系。
可选地,所述第一关联关系建立单元具体实现:
对所述日志索引文件按照所述人员账号信息进行检索,确定所述人员账号信息与所述日志索引文件之间的第二关联关系,所述人员账号信息包括:应用资源账号和***资源账号;
对所述日志索引文件按照所述设备实体信息进行检索,确定所述设备实体信息与所述日志索引文件之间的第三关联关系,所述设备实体信息包括:IP地址、主机名称、数据库名称、应用资源的功能编码;
对所述日志索引文件按照时间信息进行检索,确定所述时间信息与所述日志索引文件之间的第四关联关系,所述时间信息包括至少一个使用时间段信息。
所述第二关联关系建立单元具体实现:
对所述第二关联关系、所述第三关联关系和所述第四关联关系进行关联匹配,形成所述日志索引文件与所述人员账号信息、所述设备实体信息和所述时间信息之间的关联匹配关系;
将所述日志索引文件与所述人员账号信息、所述设备实体信息和所述时间信息之间的关联匹配关系作为所述日志索引文件的关联匹配关系。
需要说明的是,该装置实施例是与上述方法相对应的装置,上述方法的所有实现方式均适用于该装置实施例中,也能达到与上述方法相同的技术效果。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。

Claims (8)

1.一种日志处理方法,其特征在于,包括:
获取日志文件;
对所述日志文件按照第一预设审计信息进行索引,确定所述第一预设审计信息与所述日志文件之间的关联关系,根据所述第一预设审计信息与所述日志文件之间的关联关系形成所述日志文件的日志索引文件;
对所述日志索引文件按照第二预设审计信息进行检索,确定所述第二预设审计信息与所述日志索引文件之间的关联关系,根据所述第二预设审计信息与所述日志索引文件之间的关联关系形成所述日志索引文件的关联匹配关系;
根据所述日志索引文件的关联匹配关系,对所述日志文件进行审计分析处理,获取日志处理结果;
其中,在所述获取日志文件的步骤后,还包括:
对所述日志文件进行存储;
其中,在进行日志文件的存储时,不对日志做任何处理操作。
2.根据权利要求1所述的日志处理方法,其特征在于,所述获取日志文件的步骤包括:
采用监视***运行过程的方式,采集***运行过程中形成的日志文件;
其中,监视内容包括:文件夹或文件内容、网络内容、网络应用协议、脚本输出、数据库输出。
3.根据权利要求2所述的日志处理方法,其特征在于,所述第一预设审计信息为预设的敏感数据信息,所述对所述日志文件按照第一预设审计信息进行索引,确定所述第一预设审计信息与所述日志文件之间的关联关系,根据所述第一预设审计信息与所述日志文件之间的关联关系形成所述日志文件的日志索引文件的步骤包括:
对所述日志文件按照所述敏感数据信息进行索引,确定所述敏感数据信息与所述日志文件之间的关联关系,根据所述敏感数据信息与所述日志文件之间的关联关系形成所述日志文件针对所述敏感数据信息的索引文件;
将所述日志文件针对所述敏感数据信息的索引文件作为所述日志文件的日志索引文件。
4.根据权利要求1所述的日志处理方法,其特征在于,所述第二预设审计信息为预设的至少一个关键信息,所述对所述日志索引文件按照第二预设审计信息进行检索,确定所述第二预设审计信息与所述日志索引文件之间的关联关系,根据所述第二预设审计信息与所述日志索引文件之间的关联关系形成所述日志索引文件的关联匹配关系的步骤包括:
对所述日志索引文件分别按照每个关键信息进行检索,确定每个关键信息与所述日志索引文件之间的第一关联关系;
根据每个关键信息与所述日志索引文件之间的第一关联关系,形成所述日志索引文件的关联匹配关系。
5.根据权利要求4所述的日志处理方法,其特征在于,所述关键信息包括:人员账号信息、设备实体信息和时间信息,所述对所述日志索引文件分别按照每个关键信息进行检索,确定每个关键信息与所述日志索引文件之间的第一关联关系的步骤包括:
对所述日志索引文件按照所述人员账号信息进行检索,确定所述人员账号信息与所述日志索引文件之间的第二关联关系,所述人员账号信息包括:应用资源账号和***资源账号;
对所述日志索引文件按照所述设备实体信息进行检索,确定所述设备实体信息与所述日志索引文件之间的第三关联关系,所述设备实体信息包括:IP地址、主机名称、数据库名称、应用资源的功能编码;
对所述日志索引文件按照时间信息进行检索,确定所述时间信息与所述日志索引文件之间的第四关联关系,所述时间信息包括至少一个使用时间段信息。
6.根据权利要求5所述的日志处理方法,其特征在于,所述根据每个关键信息与所述日志索引文件之间的第一关联关系,形成所述日志索引文件的关联匹配关系的步骤包括:
对所述第二关联关系、所述第三关联关系和所述第四关联关系进行关联匹配,形成所述日志索引文件与所述人员账号信息、所述设备实体信息和所述时间信息之间的关联匹配关系;
将所述日志索引文件与所述人员账号信息、所述设备实体信息和所述时间信息之间的关联匹配关系作为所述日志索引文件的关联匹配关系。
7.一种日志处理装置,其特征在于,包括:
第一获取模块,用于获取日志文件;
索引建立模块,用于对所述日志文件按照第一预设审计信息进行索引,确定所述第一预设审计信息与所述日志文件之间的关联关系,根据所述第一预设审计信息与所述日志文件之间的关联关系形成所述日志文件的日志索引文件;
匹配关系建立模块,用于对所述日志索引文件按照第二预设审计信息进行检索,确定所述第二预设审计信息与所述日志索引文件之间的关联关系,根据所述第二预设审计信息与所述日志索引文件之间的关联关系形成所述日志索引文件的关联匹配关系;
第二获取模块,用于根据所述日志索引文件的关联匹配关系对所述日志文件进行审计分析处理,获取日志处理结果;
其中,还包括:
存储模块,用于对所述日志文件进行存储;
其中,在进行日志文件的存储时,不对日志做任何处理操作。
8.根据权利要求7所述的日志处理装置,其特征在于,在所述第二预设审计信息为预设的至少一个关键信息时,所述匹配关系建立模块,包括:
第一关联关系建立单元,用于对所述日志索引文件分别按照每个关键信息进行检索,确定每个关键信息与所述日志索引文件之间的第一关联关系;
第二关联关系建立单元,用于根据每个关键信息与所述日志索引文件之间的第一关联关系,形成所述日志索引文件的关联匹配关系。
CN201510007050.7A 2015-01-06 2015-01-06 一种日志处理方法及装置 Active CN105824837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510007050.7A CN105824837B (zh) 2015-01-06 2015-01-06 一种日志处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510007050.7A CN105824837B (zh) 2015-01-06 2015-01-06 一种日志处理方法及装置

Publications (2)

Publication Number Publication Date
CN105824837A CN105824837A (zh) 2016-08-03
CN105824837B true CN105824837B (zh) 2019-04-02

Family

ID=56513933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510007050.7A Active CN105824837B (zh) 2015-01-06 2015-01-06 一种日志处理方法及装置

Country Status (1)

Country Link
CN (1) CN105824837B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106789303B (zh) * 2016-12-29 2020-04-03 北京奇艺世纪科技有限公司 一种容器日志采集方法及装置
CN108229154A (zh) * 2017-12-12 2018-06-29 顺丰科技有限公司 敏感数据操作日志记录方法、装置、存储介质及设备
CN108512694B (zh) * 2018-03-05 2021-07-20 北京信安世纪科技股份有限公司 一种服务器日志分析的方法及装置
CN109933798B (zh) * 2019-03-22 2023-11-03 ***股份有限公司 一种审计日志分析方法及装置
CN111045848B (zh) * 2019-12-19 2024-04-19 广州唯品会信息科技有限公司 日志分析方法、终端设备及计算机可读存储介质
CN111046382B (zh) * 2019-12-30 2024-04-02 武汉英迈信息科技有限公司 数据库审计方法、设备、存储介质及装置
CN112738087A (zh) * 2020-12-29 2021-04-30 杭州迪普科技股份有限公司 攻击日志的展示方法及装置
CN113938307B (zh) * 2021-10-21 2023-07-14 中国联合网络通信集团有限公司 信息收集方法与***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453378A (zh) * 2008-12-30 2009-06-10 杭州华三通信技术有限公司 日志转储与审计的方法和***
CN103138989A (zh) * 2013-02-25 2013-06-05 武汉华工安鼎信息技术有限责任公司 一种海量日志分析***及方法
CN103177116A (zh) * 2013-04-08 2013-06-26 国电南瑞科技股份有限公司 一种基于两级索引的分布式日志处理和查询方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453378A (zh) * 2008-12-30 2009-06-10 杭州华三通信技术有限公司 日志转储与审计的方法和***
CN103138989A (zh) * 2013-02-25 2013-06-05 武汉华工安鼎信息技术有限责任公司 一种海量日志分析***及方法
CN103177116A (zh) * 2013-04-08 2013-06-26 国电南瑞科技股份有限公司 一种基于两级索引的分布式日志处理和查询方法

Also Published As

Publication number Publication date
CN105824837A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN105824837B (zh) 一种日志处理方法及装置
CN107667370A (zh) 使用事件日志检测异常账户
CN106484709A (zh) 一种日志数据的审计方法和审计装置
US20140012800A1 (en) Apparatus and method for providing application for processing big data
CN103714479A (zh) 银行个人业务欺诈行为实时智能化集中监控的方法和***
CN104902032A (zh) 一种多功能的企业智慧云平台
CN111125042A (zh) 一种确定风险操作事件的方法和装置
CN106055608A (zh) 自动采集和分析交换机日志的方法和装置
CN112148807A (zh) 一种电磁环境领域数据仓库构建方法
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
US11989743B2 (en) System and method for processing public sentiment, computer storage medium and electronic device
Sanjappa et al. Analysis of logs by using logstash
WO2022052546A1 (zh) 舆情数据处理***及方法、计算机存储介质、电子设备
CN106355489A (zh) 一种面向管理的数据中心***及数据处理方法
CN111858924A (zh) 一种具有网络舆情监控及分析功能的***
Bhavsar et al. Approaches to digital forensics in the age of big data
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN117614712A (zh) 一种基于用户画像及关联分析的安全审计方法与***
CN109241154A (zh) 一种分布式数据库监控分析方法及***
Wu et al. Identifying potential standard essential patents based on text mining and generative topographic mapping
CN116232695A (zh) 一种网络安全运维关联分析***
CN116257404A (zh) 一种日志解析方法及计算设备
CN113037551B (zh) 一种基于流量切片的涉敏业务快速识别定位方法
CN115423361A (zh) 风险视图的数据处理方法、装置、存储介质和设备
CN112347314B (zh) 一种基于图数据库的数据资源管理***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant