CN113411206B - 一种日志审计方法、装置、设备和计算机存储介质 - Google Patents
一种日志审计方法、装置、设备和计算机存储介质 Download PDFInfo
- Publication number
- CN113411206B CN113411206B CN202110577616.5A CN202110577616A CN113411206B CN 113411206 B CN113411206 B CN 113411206B CN 202110577616 A CN202110577616 A CN 202110577616A CN 113411206 B CN113411206 B CN 113411206B
- Authority
- CN
- China
- Prior art keywords
- log
- data
- log data
- auditing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012550 audit Methods 0.000 claims abstract description 20
- 230000006854 communication Effects 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 32
- 238000004140 cleaning Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000011010 flushing procedure Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请实施例提出了一种日志审计方法、装置、电子设备和计算机存储介质,该方法包括:接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;在分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;针对所述日志数据,进行日志审计。
Description
技术领域
本申请涉及计算机应用技术领域,尤其涉及一种日志审计方法、装置、电子设备和计算机存储介质。
背景技术
随着日常生产、生活对信息化***依赖程度逐渐增加,近些年来运维事故层出不穷。而在运维过程中,最重要的部分就是对用户行为的审计,掌握用户实时操作和事后对案发现场的还原和追溯都是非常有必要的。另外,针对数据安全逐步出台了一系列法规,对企业提出严格的安全合规要求,例如网络安全法要求日志存留不少于6个月。可见,针对用户操作机器的记录的准确性和留存性是不可缺少的一部分。
在日常的运维工作中,大多数是通过网络设备、操作***日志进行监控审计。主要包括两种方法:路旁数据分析和主机探针审计;其中,路旁数据分析审计需要基于协议进行分析,由于很多协议是加密的,会导致分析成本复杂;而主机探针审计的方法,需要在被托管服务器上安装探针软件,不仅会浪费***资源,还会暴露出很多隐患,增加安全风险。
发明内容
本申请提供一种日志审计方法、装置、电子设备和计算机存储介质,可以解决相关技术中在进行日志审计时,分析成本复杂以及安全风险较高的问题。
本申请的技术方案是这样实现的:
本申请实施例提供了一种日志审计方法,所述方法包括:
接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;
在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;
针对所述日志数据,进行日志审计。
在一些实施例中,所述针对所述日志数据,进行日志审计,包括:
对所述日志数据进行预处理,针对所述预处理后的日志数据,进行日志审计。
在一些实施例中,所述对所述日志数据进行预处理,包括:
对所述日志数据进行格式转换;
逐行对所述格式转换后的日志数据进行清洗操作,并将清洗操作后的日志数据进行重组。
在一些实施例中,所述逐行对所述格式转换后的日志数据进行清洗操作,包括:
通过设定的正则表达式以及预先确定的所述日志数据的类型,逐行对所述格式转换后的日志数据进行清洗操作。
在一些实施例中,所述方法还包括:
在获取到所述日志数据后,对所述日志数据逐行进行压缩存储。
在一些实施例中,所述针对所述用户的日志数据,进行日志审计,包括:
将重组后的日志数据推送至Elasticsearch引擎;
通过访问所述Elasticsearch引擎,进行日志审计。
本申请实施例还提出了一种日志审计装置,所述装置包括建立模块、获取模块和审计模块,其中,
建立模块,用于接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;
获取模块,用于在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;
审计模块,用于针对所述日志数据,进行日志审计。
本申请实施例提供一种电子设备,所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前述一个或多个技术方案提供的日志审计方法。
本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有计算机程序;所述计算机程序被执行后能够实现前述一个或多个技术方案提供的日志审计方法。
本申请实施例提出了一种日志审计方法、装置、电子设备和计算机存储介质,所述方法应用于分布式设备中,所述方法包括:接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;针对所述日志数据,进行日志审计。
可以看出,本申请实施例在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,可以获取详细并且准确的日志数据;同时,能够在保证不影响用户操作的前提下对日志数据进行记录,以满足审计管理员的日志审计需求。与相关技术相比,由于本申请实施例在进行日志数据记录时,无需依赖于加密协议的分析,也不需要对目标服务器进行改动,因而,可以有效降低日志数据的分析成本以及目标服务器的安全风险。
附图说明
图1a是本申请实施例中的一种日志审计方法的流程示意图;
图1b是本申请实施例中的一种日志审计方法的结构示意图;
图1c是本申请实施例中的另一种日志审计方法的结构示意图;
图2是本申请实施例中的对日志数据进行清洗操作的流程示意图;
图3是本申请实施例的日志审计装置的组成结构示意图;
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所提供的实施例仅仅用以解释本申请,并不用于限定本申请。另外,以下所提供的实施例是用于实施本申请的部分实施例,而非提供实施本申请的全部实施例,在不冲突的情况下,本申请实施例记载的技术方案可以任意组合的方式实施。
需要说明的是,在本申请实施例中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素,而且还包括没有明确列出的其它要素,或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元,例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,I和/或J,可以表示:单独存在I,同时存在I和J,单独存在J这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括I、J、R中的至少一种,可以表示包括从I、J和R构成的集合中选择的任意一个或多个元素。
例如,本申请实施例提供的日志审计方法包含了一系列的步骤,但是本申请实施例提供的日志审计方法不限于所记载的步骤,同样地,本申请实施例提供的日志审计装置包括了一系列模块,但是本申请实施例提供的日志审计装置不限于包括所明确记载的模块,还可以包括为获取相关任务数据、或基于任务数据进行处理时所需要设置的模块。
本申请实施例可以应用于终端设备和服务器组成的计算机***中,并可以与众多其它通用或专用计算***环境或配置一起操作。这里,终端设备可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***,等等,服务器可以是小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境,等等。
终端设备、服务器等电子设备可以通过程序模块的执行实现相应的功能。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
相关技术中,对于日志审计方法,主要有路旁数据分析和主机探针审计这两种;下面,通过表1对这两种方法的部署方式、流量获取方式和解析方式进行说明。
表1
这里,路旁数据分析审计在获取日志数据时,需要基于协议进行分析,由于很多协议是加密的,因而,会导致分析成本复杂;对于主机探针审计的方法,需要在被托管服务器,即,目标服务器上安装探针软件,不仅会浪费***资源,还会暴露出很多隐患,增加安全风险。
针对上述技术问题,提出以下各实施例。
在本申请的一些实施例中,日志审计方法可以利用日志审计装置中的处理器实现,上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(DigitalSignal Processing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)、中央处理器(CentralProcessing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。
图1a是本申请实施例中的一种日志审计方法的流程示意图,该方法应用于分布式设备中,如图1a所示,该方法包括如下步骤:
步骤100:接收用户的登录请求,根据登录请求,建立与目标服务器的通信连接。
示例性地,登录请求可以包括用户在登录目标服务器时的用户名、密码等相关数据;这里,用户可以是处于办公网络下的开发人员、运维人员或测试人员等;本申请实施例对此不作限制。下面结合图1b进行说明。
图1b是本申请实施例中的一种日志审计方法的结构示意图,如图1b所示,目标服务器可以是处于生产网络中的一个或多个服务器;由于处于办公网络下的用户(例如,开发人员、运维人员或测试人员)直接登录生产网络中的目标服务器时,会降低网络的安全性;为避免出现上述问题,本申请实施例将分布式设备作为用户登录目标服务器过程中的中间节点;示例性地,用户先向分布式设备发送登录请求,当分布式设备在接收到用户的登录请求后,再建立分布式设备与目标服务器的通信连接;即,用户可以通过分布式设备与目标服务器进行数据传输。
示例性地,分布式设备可以是Linux***下的分布式服务器;分布式服务器指数据和程序可以不位于同一个服务器上,而是分散到多个服务器。
示例性地,用户向分布式设备发送登录请求时,可以通过安全外壳协议(SecureShell,SSH)登录预先定义的会话处理模块;会话处理模块位于分布式设备中的其中一个服务器上;其中,SSH是一种建立在应用层基础上的安全协议;其专为远程登录会话和其它网络服务提供安全性的协议,利用SSH协议可以有效防止远程管理过程中的信息泄露问题。
下面通过图1c对上述会话处理模块的处理流程进行说明;图1c是本申请实施例中的另一种日志审计方法的结构示意图,如图1c所示,会话处理模块包括两个子模块,分别为登录子模块login-script和记录子模块Recorder;其中,登录子模块login-script用于将用户的登录请求和目标服务器进行会话连接。示例性地,登录子模块login-script可以通过Expect实现自动和交互式任务进行通信,无需人工干预。
步骤101:在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,获取包括输入数据和输出数据的日志数据。
本申请实施例中,在通过上述登录子模块login-script将用户的登录请求和目标服务器进行会话连接成功的同时,记录子模块Recorder会创建一个子进程;在用户通过分布式设备与目标服务器进行通信的过程中,用户的输入数据会经过登录子模块login-script;在目标服务器基于用户的输入数据得到对应的输出数据时,会将输出数据发送给记录子模块Recorder,而登录子模块login-script和记录子模块Recorder位于同一服务器上,这样,可以利用记录子模块Recorder创建的子进程监听用户的输入数据和目标服务器的输出数据;进而,获取到包括输入数据和输出数据的日志数据。
示例性地,会话处理模块中还包括伪终端,其包括伪终端master和伪终端slave这一对字符设备。其中,slave对应/dev/pts/目录下的一个文件,而master则在内存中标识为一个文件描述符。伪终端由终端模拟器提供,终端模拟器是一个运行在用户态的应用程序。Master端是更接近用户显示器、键盘的一端,slave端是在虚拟终端上运行的命令行接口(Command Line Interface,CLI)程序。Linux***的伪终端驱动程序,会把master端(如键盘)写入的数据转发给slave端供程序输入,把程序写入slave端的数据转发给master端供(显示器驱动等)读取。在用户通过伪终端的master端进行读写操作时,即,产生上述输入数据和输出数据,记录子模块Recorder创建的子进程通过监听伪终端的slave端,获取包括输入数据和输出数据的日志数据。
示例性地,通过上述子进程监听用户的输入数据和目标服务器的输出数据,可以为:首先调用FD_ZERO()将指定文件描述符清空,然后调用FD_SET()增加新的文件描述符,接着调用select()函数检查套接字是否可读可写;在确定套接字可读可写的情况下,通过select()函数确定是否有读写操作发生,如果是,则调用函数record,对包括上述输入数据和输出数据的日志数据进行分类;其中,日志数据的类型可以包括以下任意一项:起始数据、输入数据、输出数据、结束数据;如果否,则不作处理。
在一些实施例中,上述方法还可以包括:在获取到日志数据后,对日志数据逐行进行压缩存储。
示例性地,为了便于日志数据的传输,在逐行对日志数据进行压缩存储前,还可以逐行对日志数据进行编码;这里,对于日志数据的编码方式,可以根据实际情况进行设置,本申请实施例对此不作限定;例如,可以是base64的编码方式,也可以是其它编码方式。
本申请实施例中,在对日志数据逐行进行编码压缩处理后,可以将处理后的日志数据写入分布式设备的本地磁盘中。由于写入本地磁盘中的日志数据是压缩后,因而,可以降低数据存储量,提高后续数据的处理速度。
步骤102:针对日志数据,进行日志审计。
示例性地,在根据上述步骤得到日志数据后,通过对日志数据进行预处理,进而,针对预处理后的日志数据,进行日志审计。
在一些实施例中,对日志数据进行预处理,可以包括:对日志数据进行格式转换;逐行对格式转换后的日志数据进行清洗操作,并将清洗操作后的日志数据进行重组。
这里,对日志数据进行格式转换的目的是为了便于阅读,因为最终对日志数据进行审计的是审计管理员,通过对日志数据进行格式转换,可以方便审计管理员对日志数据进行查看和分析。
示例性地,对日志数据的格式转换方式,可以根据实际情况进行设置,本申请实施例对此不作限定;例如,可以通过JavaScript对象标记法(JavaScript Object Notation,JSON)的格式转换,也可以是其它方式的格式转换。
示例性地,根据上述步骤101可知,编码压缩后的日志数据是放入本地磁盘中的,这里,对日志数据进行格式转换的顺序,可以在放入本地磁盘之前,也可以在放入本地磁盘之后。
在一种实施方式中,在获取到日志数据后,对日志数据逐行进行base64编码后压缩,并对编码压缩后的日志数据进行JSON格式转换,写入分布式设备的本地磁盘中。
结合图1b和图1c可知,用户基于办公网络,通过SSH登录分布式设备中某一服务器上的会话处理模块,会话处理模块将包括上述输入数据和输出数据的日志数据转发到处于生产网络中的目标服务器上;同时,这些日志数据会被记录下来,发送给分布式设备中另一服务器上的日志记录处理模块。日志记录处理模块用于对这些日志数据进行清洗操作以及重组等预处理。
示例性地,可以预先定义一个日志处理记录模块,日志处理记录模块位于分布式设备中的其中一个服务器上;其中,日志处理记录模块所在的服务器与上述会话处理模块所在的服务器不相同;日志处理记录模块包括两个子模块,分别为日志采集子模块和日志服务子模块。
参照图1c,日志采集子模块用于通过开源的日志管理工具Fluentd从本地磁盘中采集日志数据并传送到日志服务子模块。日志服务子模块包括三个单元,分别为处理单元ssh handle、清洗单元Parse和重组单元Buffer;这里,处理单元ssh handle处理会创建一个端口用于监听日志管理工具Fluentd传送过来的日志数据,并将这些日志数据进行存储,然后逐行发送给清洗单元Parse;清洗单元Parse通过逐行对日志采集子模块传送的日志数据进行清洗操作,可以有效除去原始日志数据中的冗余数据。重组单元Buffer用于对清洗操作后的日志数据进行重组。
在一些实施例中,逐行对格式转换后的日志数据进行清洗操作,可以包括:通过设定的正则表达式以及预先确定的日志数据的类型,逐行对格式转换后的日志数据进行清洗操作。
示例性地,在进行清洗操作时,可以采用以下四种设定的正则表达式:r=[[^@-~]*[@-~#]],r1=[!-~#]*,r2=[[-~]*][$#]*,r3=\[[0-9#]*P,r4=`[-~]*:[-~]*#。也可以采用其它正则表达式,本申请实施例对此不作限定。
图2是本申请实施例中的对日志数据进行清洗操作的流程示意图,如图2所示,首先设置第一位置变量upDownCount和第二位置变量leftRightCount;其中,第一位置变量upDownCount用来记录用户操作光标的上下位置,第二位置变量leftRightCount用来记录用户操作光标的左右位置;为方便后续对日志数据进行清洗操作时,记录用户操作光标的位置,可以将第一位置变量upDownCount和第二位置变量leftRightCount的起始位置都置为0。
然后对导入的日志数据进行逐行解压处理得到数据数组,根据数据数组中日志数据的类型(起始数据、输入数据、输出数据、结束数据)进行以下处理;由于起始数据和结束数据的类型只是为了标记日志数据的起始和终止状态,因而,无需对其进行处理;即,只需处理输入数据和输出数据这两种类型。
当日志数据的类型为输入数据时,若确定输入数据的第一个字符为`\x7f`,则需要截取数据;截取数据的规则可以为:通过第二位置变量leftRightCount的光标位置截取数据数组得到新的输出数组。当日志数据的类型为输入数据时,若确定输入数据的第一个字符为`\x1b`,并且第二个字符为`\x4f`或者`\x5b`时,则输出上一行处理的日志数据,并进行以下操作:若确定第三个字符为`\x41`,且第二位置变量leftRightCount为0,则令第一位置变量upDownCount累加1;若确定第三个字符为`\x42`,且第二位置变量leftRightCount大于0,则令第二位置变量leftRightCount自减1;若确定第三个字符为`\x43`,且第二位置变量leftRightCount大于0,则令第二位置变量leftRightCount自减1;若确定第三个字符为`\x44`,则令leftRightCount自加1。若确定输入数据的第一个字符为`\x03`时,则置为打断状态,清除输入数据,并初始化光标状态。若确定输入数据的第一个字符为`\x09`,则状态为读取完成,并初始化光标状态。
示例性地,当有新的日志数据导入时,继续循环执行上述操作,并在执行上述操作后,通过设定的正则表达式进行清洗操作,再通过重组单元Buffer重组各个字符,然后推送给日志管理工具Fluentd。
在一些实施例中,针对用户的日志数据,进行日志审计,可以包括:将重组后的日志数据推送至Elasticsearch引擎;通过访问Elasticsearch引擎,进行日志审计。
示例性地,在上述重组单元Buffer对清洗操作后的日志数据进行重组后,会将重组后的日志数据通过日志管理工具Fluentd推送至Elasticsearch引擎,这样,后续审计管理员在需要审计日志数据时,直接通过访问Elasticsearch引擎便可获取记录的日志内容。
这里,为避免日志数据存储量过大影响日志审计效率,可以在Elasticsearch引擎中设置日志数据的有效期,例如,日志数据默认6个月过期。
本申请实施例可以在不影响用户的正常读写操作的情况下,通过记录子模块Recorder记录对应的日志数据;并通过日志服务子模块,可以将记录子模块Recorder传过来的日志数据进行清洗操作及重组,然后基于Elasticsearch引擎将日志数据按字段分片存储,审计管理平台可以直接通过调用Elasticsearch引擎来实现重点日志的检索;进而,为审计Linux日志数据提供可靠的整体方案。
本申请实施例提出了一种日志审计方法、装置、电子设备和计算机存储介质,该方法应用于分布式设备中,该方法包括:接收用户的登录请求,根据登录请求,建立与目标服务器的通信连接;在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,获取包括输入数据和输出数据的日志数据;针对日志数据,进行日志审计。可以看出,本申请实施例在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,可以获取详细并且准确的日志数据;同时,能够在保证不影响用户操作的前提下对日志数据进行记录,以满足审计管理员的日志审计需求。与相关技术相比,由于本申请实施例在进行日志数据记录时,无需依赖于加密协议的分析,也不需要对目标服务器进行改动,因而,可以有效降低日志数据的分析成本以及目标服务器的安全风险。
图3是本申请实施例的日志审计装置的组成结构示意图,如图3所示,该装置包括:建立模块300、获取模块301和审计模块302,其中:
建立模块300,用于接收用户的登录请求,根据登录请求,建立与目标服务器的通信连接;
获取模块301,用于在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,获取包括输入数据和输出数据的日志数据;
审计模块302,用于针对日志数据,进行日志审计。
在一些实施例中,审计模块302,用于针对日志数据,进行日志审计,包括:
对日志数据进行预处理,针对预处理后的日志数据,进行日志审计。
在一些实施例中,审计模块302,用于对日志数据进行预处理,包括:
对日志数据进行格式转换;
逐行对格式转换后的日志数据进行清洗操作,并将清洗操作后的日志数据进行重组。
在一些实施例中,审计模块302,用于逐行对格式转换后的日志数据进行清洗操作,包括:
通过设定的正则表达式以及预先确定的日志数据的类型,逐行对格式转换后的日志数据进行清洗操作。
在一些实施例中,获取模块301,还用于:
在获取到日志数据后,对日志数据逐行进行压缩存储。
在一些实施例中,审计模块302,用于针对用户的日志数据,进行日志审计,包括:
将重组后的日志数据推送至Elasticsearch引擎;
通过访问Elasticsearch引擎,进行日志审计。
在实际应用中,上述建立模块300、获取模块301和审计模块302均可以由位于电子设备中的处理器实现,该处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲,本实施例中的一种日志审计方法对应的计算机程序指令可以被存储在光盘、硬盘、U盘等存储介质上,当存储介质中的与一种日志审计方法对应的计算机程序指令被一电子设备读取或被执行时,实现前述实施例的任意一种日志审计方法。
基于前述实施例相同的技术构思,参见图4,其示出了本申请实施例提供的电子设备400,可以包括:存储器401和处理器402;其中,
存储器401,用于存储计算机程序和数据;
处理器402,用于执行存储器中存储的计算机程序,以实现前述实施例的任意一种日志审计方法。
在实际应用中,上述存储器401可以是易失性存储器(volatile memory),例如RAM;或者非易失性存储器(non-volatile memory),例如ROM、快闪存储器(flash memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器402提供指令和数据。
上述处理器402可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的审计管理平台,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本申请所提供的各方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。
Claims (10)
1.一种日志审计方法,其特征在于,应用于分布式设备中,所述方法包括:
接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;
在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;其中,会话处理模块位于所述分布式设备中的其中一个服务器上,所述会话处理模块包括:登录子模块和记录子模块,所述登录子模块用于将所述用户的登录请求和所述目标服务器进行会话连接,所述记录子模块用于创建子进程监听所述用户的输入数据和所述目标服务器的输出数据;
针对所述日志数据,进行日志审计。
2.根据权利要求1所述的方法,其特征在于,所述针对所述日志数据,进行日志审计,包括:
对所述日志数据进行预处理,针对所述预处理后的日志数据,进行日志审计。
3.根据权利要求2所述的方法,其特征在于,所述对所述日志数据进行预处理,包括:
对所述日志数据进行格式转换;
逐行对所述格式转换后的日志数据进行清洗操作,并将清洗操作后的日志数据进行重组。
4.根据权利要求3所述的方法,其特征在于,所述逐行对所述格式转换后的日志数据进行清洗操作,包括:
通过设定的正则表达式以及预先确定的所述日志数据的类型,逐行对所述格式转换后的日志数据进行清洗操作。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取到所述日志数据后,对所述日志数据逐行进行压缩存储。
6.根据权利要求1所述的方法,其特征在于,所述针对所述用户的日志数据,进行日志审计,包括:
将重组后的日志数据推送至Elasticsearch引擎;
通过访问所述Elasticsearch引擎,进行日志审计。
7.一种日志审计装置,其特征在于,应用于分布式设备中,所述装置包括:
建立模块,用于接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;
会话处理模块,位于所述分布式设备中的其中一个服务器上,所述会话处理模块包括:登录子模块和记录子模块,所述登录子模块用于将所述用户的登录请求和所述目标服务器进行会话连接,所述记录子模块用于创建子进程监听所述用户的输入数据和所述目标服务器的输出数据;以实现用于在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;
审计模块,用于针对所述日志数据,进行日志审计。
8.根据权利要求7所述的装置,其特征在于,所述审计模块,用于针对所述日志数据,进行日志审计,包括:
对所述日志数据进行预处理,针对所述预处理后的日志数据,进行日志审计。
9.一种电子设备,其特征在于,所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至6任一项所述的方法。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110577616.5A CN113411206B (zh) | 2021-05-26 | 2021-05-26 | 一种日志审计方法、装置、设备和计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110577616.5A CN113411206B (zh) | 2021-05-26 | 2021-05-26 | 一种日志审计方法、装置、设备和计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113411206A CN113411206A (zh) | 2021-09-17 |
CN113411206B true CN113411206B (zh) | 2022-09-06 |
Family
ID=77675211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110577616.5A Active CN113411206B (zh) | 2021-05-26 | 2021-05-26 | 一种日志审计方法、装置、设备和计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113411206B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9569795B1 (en) * | 2016-02-25 | 2017-02-14 | Perfect Price, Inc. | Computer-implemented method of capturing transaction data associated with an online purchase |
CN106484709A (zh) * | 2015-08-26 | 2017-03-08 | 北京神州泰岳软件股份有限公司 | 一种日志数据的审计方法和审计装置 |
CN108491300A (zh) * | 2018-01-10 | 2018-09-04 | 北京掌阔移动传媒科技有限公司 | 一种基于分布式的日志处理*** |
CN109271331A (zh) * | 2018-08-20 | 2019-01-25 | 平安普惠企业管理有限公司 | 日志的生成方法、装置、计算机设备及存储介质 |
CN110347716A (zh) * | 2019-05-27 | 2019-10-18 | 中国平安人寿保险股份有限公司 | 日志数据处理方法、装置、终端及存储介质 |
CN111092745A (zh) * | 2019-10-12 | 2020-05-01 | 深圳壹账通智能科技有限公司 | 基于区块链的日志处理方法、装置、计算机设备及存储介质 |
US10951465B1 (en) * | 2016-09-29 | 2021-03-16 | Emc Ïp Holding Company Llc | Distributed file system analytics |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10484343B1 (en) * | 2017-10-03 | 2019-11-19 | Cerebri AI Inc. | Distributed logging for securing non-repudiable multi-party transactions |
-
2021
- 2021-05-26 CN CN202110577616.5A patent/CN113411206B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106484709A (zh) * | 2015-08-26 | 2017-03-08 | 北京神州泰岳软件股份有限公司 | 一种日志数据的审计方法和审计装置 |
US9569795B1 (en) * | 2016-02-25 | 2017-02-14 | Perfect Price, Inc. | Computer-implemented method of capturing transaction data associated with an online purchase |
US10951465B1 (en) * | 2016-09-29 | 2021-03-16 | Emc Ïp Holding Company Llc | Distributed file system analytics |
CN108491300A (zh) * | 2018-01-10 | 2018-09-04 | 北京掌阔移动传媒科技有限公司 | 一种基于分布式的日志处理*** |
CN109271331A (zh) * | 2018-08-20 | 2019-01-25 | 平安普惠企业管理有限公司 | 日志的生成方法、装置、计算机设备及存储介质 |
CN110347716A (zh) * | 2019-05-27 | 2019-10-18 | 中国平安人寿保险股份有限公司 | 日志数据处理方法、装置、终端及存储介质 |
CN111092745A (zh) * | 2019-10-12 | 2020-05-01 | 深圳壹账通智能科技有限公司 | 基于区块链的日志处理方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113411206A (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8135827B2 (en) | Distributed capture and aggregation of dynamic application usage information | |
WO2020151483A1 (zh) | 物联网平台压力测试***、方法、装置及服务器 | |
US20170250880A1 (en) | N-tiered eurt breakdown graph for problem domain isolation | |
US20040128651A1 (en) | Method and system for testing provisioning and interoperability of computer system services | |
US10250721B2 (en) | System and method for testing applications with a load tester and testing translator | |
CN111866016A (zh) | 日志的分析方法及*** | |
US20080282115A1 (en) | Client-server text messaging monitoring for remote computer management | |
Sanjappa et al. | Analysis of logs by using logstash | |
US20230214229A1 (en) | Multi-tenant java agent instrumentation system | |
CN113360475B (zh) | 基于内网终端的数据运维方法、装置、设备及存储介质 | |
CN110941632A (zh) | 一种数据库审计方法、装置及设备 | |
CN107257290B (zh) | 一种开放式soa面向服务架构的测试方法及*** | |
CN111897877B (zh) | 基于分布式思想的高性能高可靠数据共享***及方法 | |
CN113411206B (zh) | 一种日志审计方法、装置、设备和计算机存储介质 | |
CN116996408A (zh) | 一种数据传输监控方法、装置、电子设备和存储介质 | |
CN115866101A (zh) | 一种内外网联动多协议的资产归属识别方法、装置和介质 | |
CN113778709B (zh) | 接口调用方法、装置、服务器及存储介质 | |
CN114327967A (zh) | 设备修复方法及装置、存储介质、电子装置 | |
KR102093764B1 (ko) | 서버 및 스토리지 관리 서버 | |
CN107066538B (zh) | 一种数据统计的方法及装置 | |
US20210120037A1 (en) | Monitoring apparatus, monitoring method, and program | |
US20240070037A1 (en) | Multi-Computer System for Maintaining Application Programming Interface Stability with Shared Computing Infrastructure | |
CN116074388B (zh) | 一种基于日志队列的流量转发方法及*** | |
CN114598536B (zh) | 一种云平台虚拟化数据流量安全监控方法、***及存储介质 | |
US20230040512A1 (en) | Systems and methods for universal auto-scaling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |