CN112434244A - 基于ueba进行日志处理的方法、装置及相关产品 - Google Patents
基于ueba进行日志处理的方法、装置及相关产品 Download PDFInfo
- Publication number
- CN112434244A CN112434244A CN202011323577.8A CN202011323577A CN112434244A CN 112434244 A CN112434244 A CN 112434244A CN 202011323577 A CN202011323577 A CN 202011323577A CN 112434244 A CN112434244 A CN 112434244A
- Authority
- CN
- China
- Prior art keywords
- source data
- system operation
- security service
- service process
- operation log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 234
- 238000012545 processing Methods 0.000 title claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 200
- 230000006399 behavior Effects 0.000 claims abstract description 69
- 230000008859 change Effects 0.000 claims abstract description 56
- 238000013480 data collection Methods 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims 5
- 230000009193 crawling Effects 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005538 encapsulation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供了一种基于UEBA进行日志处理的方法、装置及相关产品。基于UEBA进行日志处理的方法包括：通过实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系，从而对大量的日志进行有效的处理，便于在各种场景中的应用，比如在异常侦测场景中建立异常侦测模型，或者，在异常侦测过程中，对日志进行结构化处理，便于异常侦测的判断等。
Description
技术领域
本申请涉及信息技术领域，特别是涉及一种基于UEBA进行日志处理的方法、装置及相关产品。
背景技术
21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器，智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据，海量的数据隐含着巨大的信息。
而这些信息的产生，必然会伴随着大量日志的形成，因此，如何对大量的日志进行有效的处理，便于在各种场景中的应用，成为亟待解决的技术问题。
发明内容
基于上述问题，本申请实施例提供了一种基于UEBA进行日志处理的方法、装置及相关产品。
本申请实施例公开了如下技术方案：
一种基于UEBA进行日志处理的方法，其包括：
实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
可选地，在本申请一实施例中，所述实时抓取关联于用户实体行为的***操作日志源数据，包括：以事件的方式从数据源获取关联于用户实体行为的***操作日志源数据。
可选地，在本申请一实施例中，所述以事件的方式获取关联于用户实体行为的***操作日志源数据，包括：对从数据源获取到的关联于用户实体行为的***操作日志源数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的***操作日志源数据。
可选地，在本申请一实施例中，所述实时抓取关联于用户实体行为的***操作日志源数据，包括：按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的***操作日志源数据。
可选地，在本申请一实施例中，在所述PUSH模型中设置有日志搜集器，所述日志搜集器的容量需要大于***操作日志源数据的最大生成量。
可选地，在本申请一实施例中，在所述PULL模型中设置有日志搜集器，所述日志搜集器的容量大于***操作日志源数据的平均生成量，且根据***操作日志源数据的实时生成量调整数据收集的吞吐量。
可选地，在本申请一实施例中，所述确定控制所述***操作日志源数据生成的安全服务进程，包括：通过进程ID匹配的方式，确定控制所述***操作日志源数据生成的安全服务进程。
可选地，在本申请一实施例中，所述确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化，包括：根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化。
可选地，在本申请一实施例中，所述根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系，包括：将当前安全服务进程作为安全服务进程树中的父节点，将当前安全服务进程的下一安全服务进程作为所述父节点的子节点，以确定所述***操作日志源数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全服务进程的ID，以及对应的***操作日志源数据，所述子节点的特征信息包括所述下一安全服务进程的ID，以及对应的***操作日志源数据。
一种基于UEBA进行日志处理的装置，其包括：
实时数据处理单元，用于实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
进程变化确定单元，用于确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
进程树确定单元，用于根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
可选地，在本申请一实施例中，所述实时数据处理单元进一步用于以事件的方式从数据源获取关联于用户实体行为的***操作日志源数据。
可选地，在本申请一实施例中，所述实时数据处理单元进一步用于对从数据源获取到的关联于用户实体行为的***操作日志源数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的***操作日志源数据。
可选地，在本申请一实施例中，所述实时数据处理单元进一步用于按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的***操作日志源数据。
可选地，在本申请一实施例中，在所述PUSH模型中设置有日志搜集器，所述日志搜集器的容量需要大于***操作日志源数据的最大生成量。
可选地，在本申请一实施例中，在所述PULL模型中设置有日志搜集器，所述日志搜集器的容量大于***操作日志源数据的平均生成量，且根据***操作日志源数据的实时生成量调整数据收集的吞吐量。
可选地，在本申请一实施例中，所述进程变化确定单元进一步用于通过进程 ID匹配的方式，确定控制所述***操作日志源数据生成的安全服务进程。
可选地，在本申请一实施例中，所述进程变化确定单元进一步用于根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化。
可选地，在本申请一实施例中，所述进程树确定单元进一步用于：将当前安全服务进程作为安全服务进程树中的父节点，将当前安全服务进程的下一安全服务进程作为所述父节点的子节点，以确定所述***操作日志源数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全服务进程的ID，以及对应的***操作日志源数据，所述子节点的特征信息包括所述下一安全服务进程的ID，以及对应的***操作日志源数据。
一种电子设备，其包括存储器以及处理器，所述存储器上存储有计算机可执行指令，所述处理器用于执行所述计算机可执行指令执行如下步骤：
实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
可选地，在本申请一实施例中，所述处理器执行实时抓取关联于用户实体行为的***操作日志源数据的步骤，包括：以事件的方式从数据源获取关联于用户实体行为的***操作日志源数据。
可选地，在本申请一实施例中，所述处理器执行以事件的方式获取关联于用户实体行为的***操作日志源数据的步骤，包括：对从数据源获取到的关联于用户实体行为的***操作日志源数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的***操作日志源数据。
可选地，在本申请一实施例中，所述处理器执行实时抓取关联于用户实体行为的***操作日志源数据的步骤，包括：按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的***操作日志源数据。
可选地，在本申请一实施例中，在所述PUSH模型中设置有日志搜集器，所述日志搜集器的容量需要大于***操作日志源数据的最大生成量。
可选地，在本申请一实施例中，在所述PULL模型中设置有日志搜集器，所述日志搜集器的容量大于***操作日志源数据的平均生成量，且根据***操作日志源数据的实时生成量调整数据收集的吞吐量。
可选地，在本申请一实施例中，所述处理器执行确定控制所述***操作日志源数据生成的安全服务进程的步骤，包括：通过进程ID匹配的方式，确定控制所述***操作日志源数据生成的安全服务进程。
可选地，在本申请一实施例中，所述处理器执行确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化的步骤，包括：根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化。
可选地，在本申请一实施例中，所述处理器执行根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系的步骤，包括：将当前安全服务进程作为安全服务进程树中的父节点，将当前安全服务进程的下一安全服务进程作为所述父节点的子节点，以确定所述***操作日志源数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全服务进程的ID，以及对应的***操作日志源数据，所述子节点的特征信息包括所述下一安全服务进程的ID，以及对应的***操作日志源数据。
一种计算计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述计算机可执行指令被执行时实施权利要求1-9任一项所述基于UEBA进行日志处理的方法。
本申请实施例的技术方案中，通过实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系，从而对大量的日志进行有效的处理，便于在各种场景中的应用，比如在异常侦测场景中建立异常侦测模型，或者，在异常侦测过程中，对日志进行结构化处理，便于异常侦测的判断等。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一中基于UEBA进行日志处理的方法流程示意图；
图2为本申请实施例二中基于UEBA进行日志处理的方法流程示意图；
图3为本申请实施例三中基于UEBA进行日志处理的方法流程示意图；
图4为本申请实施例四中基于UEBA进行日志处理的装置结构示意图；
图5为本申请实施例五中基于UEBA进行日志处理的装置结构示意图；
图6为本申请实施例五中基于UEBA进行日志处理的装置结构示意图；
图7为本申请实施例中电子设备的结构示意图；
图8为本申请实施例八中计算计算机存储介质的示意图；
图9为本申请实施例十一中电子设备的硬件结构示意图。
具体实施方式
实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本申请实施例一中基于UEBA进行日志处理的方法流程示意图；如图 1所示，其包括：
S101、实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
本实施例中，所述用户实体行为可以包括：时间、地点、人物、交互、交互的内容。比如用户搜索：在什么时间、什么平台上、哪一个ID、做了搜索、搜索的内容是什么。
本实施例中，可以通过在数据源上加载监测代码(或者又称之为埋点)，通过该监测代码监测用户是否点击了注册按钮、用户下了什么订单。
本实施例中，***操作日志源数据的存在形式不做任何限定，比如为txt文档，或者列表方式。
本实施例中，所述***操作日志源数据存储在用户所使用的各种终端上。
可选地，本实施例中，步骤S101中在实时抓取关联于用户实体行为的***操作日志源数据时，包括：以事件的方式从数据源获取关联于用户实体行为的***操作日志源数据。
可选地，本实施例中，所述以事件的方式获取关联于用户实体行为的***操作日志源数据，包括：对从数据源获取到的关联于用户实体行为的***操作日志源数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的***操作日志源数据。
具体地，本实施例中，在进行封装时，配置可选的header以及数据位阵列，所述数据位阵列中存储***操作日志源样本数据，所述header主要用于***操作日志源样本数据的上下文扩展。通过这种结构的事件，从而有效地实现了***操作日志源样本数据的传输，提高了数据传输的效率。
可选地，本实施例中，可以通过对资源管理器进行监控，以直接从资源管理器中确定出控制所述***操作日志源数据生成的安全服务进程。比如，具体地，所述确定控制所述***操作日志源数据生成的安全服务进程，包括：通过进程ID 匹配的方式，确定控制所述***操作日志源数据生成的安全服务进程。由于对于特定操作***来说，其安全服务进程一般具有固定的ID，因此，通过进程ID匹配的这种方式，可以快速地确定出控制所述***操作日志源数据生成的安全服务进程。
S102、确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
可选地，本实施例中，步骤S102中确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化时，包括：根据，确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化，从而更为准确地。
进一步地，所述寄存器中的值、进程的状态以及堆栈中的内容至少其一可以按照任务数据结构的方式进行存储，从而在执行步骤S102时，通过对该任务数据结构进行解析从中直接寄存器中的值、进程的状态以及堆栈中的内容至少其一，一方面实现了对所述寄存器中的值、进程的状态以及堆栈中的内容至少其一的高效管理，同时，可以通过该任务数据结构记录所有的所述寄存器中的值、进程的状态以及堆栈中的内容至少其一，从而在直接可以依据该任务数据结构快速且准确地确定出所述安全服务进程的变化。
S103、根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
本实施例中，步骤S103中根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系，包括：将当前安全服务进程作为安全服务进程树中的父节点，将当前安全服务进程的下一安全服务进程作为所述父节点的子节点，以确定所述***操作日志源数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全服务进程的ID，以及对应的***操作日志源数据，所述子节点的特征信息包括所述下一安全服务进程的ID，以及对应的***操作日志源数据，以此类推，从而通过树的这种结构实现了对安全服务进程的有效管理，从而便于在后续要获取所述安全服务进程及其变化时，直接对安全服务进程树进行解析，可以实现快速的解析、查找等等操作。
本实施例中，通过所述***操作日志源数据的上下文关系可以确定出用户实体行为的轨迹。
图2为本申请实施例二中基于UEBA进行日志处理的方法流程示意图；如图 2所示，其包括如下步骤：
S201、实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
S202、确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
本实施例中，步骤S202中实时抓取关联于用户实体行为的***操作日志源数据时，包括：按照设定的PUSH模型实时抓取关联于用户实体行为的***操作日志源数据。
可选地，在所述PUSH模型(或者又称之为主动推送模型)中设置有日志搜集器，所述日志搜集器的容量需要大于***操作日志源数据的最大生成量，从而避免主动推送过来的***操作日志源数据不能及时被处理而衍生其他的问题，比如如何在日志搜集器上进行暂存，如果暂存的话，日志搜集器是否还有足够的剩余空间以及是否能够保存瞬时而至的大量***操作日志源数据，或者，如果不能够暂存，需要暂存到其他地方而导致的网络开销等问题。
可选地，本实施例中，在日志搜集器对***操作日志源数据进行存储处理之前判断日志搜集器的数据接收模式是否正常，如果正常，则日志搜集器接收***操作日志源数据，否则，将所述***操作日志源数据临时存储到一本地硬盘上，等日志搜集器恢复正常后，再将本地硬盘上暂存的***操作日志源数据发送到日志搜集器上进行存储处理。
可选地，本实施例中，所述日志搜集器可以设置在分布式的虚拟机上，以便于可快速地使得所述日志搜集器进行上述存储处理，从而降低了数据处理的延迟。
可选地，上述虚拟机的数量可以有多个，从而形成集群，便于在有***操作日志源数据需要存储时，按照负载均衡机制，优选具有较小负载的一个或者多个所述日志搜集器对***操作日志源数据进行存储处理。
S203、根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
本实施例中，步骤S201、S203类似参见上述实施例一的记载。此处需要说明的是，在其他实施例中，也可以采取与上述步骤S101、S103不同的方式进行处理。
图3为本申请实施例三中基于UEBA进行日志处理的方法流程示意图；如图 3所示，其包括：
S301、实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
可选地，步骤S301中实时抓取关联于用户实体行为的***操作日志源数据，包括：按照设定的PULL模型实时抓取关联于用户实体行为的***操作日志源数据。
可选地，在步骤S301中，在所述PULL模型中设置有日志搜集器，所述日志搜集器的容量大于***操作日志源数据的平均生成量，且根据***操作日志源数据的实时生成量调整数据收集的吞吐量。
选择PULL模型(业界又称之为拉取模型)，相比于PUSH模型，日志搜集器可以主动根据其自身的存储资源，以拉取***操作日志源数据，从而可避免大量的的***操作日志源数据在设定的时段内逐渐进行存储处理。
可选地，本实施例中，所述日志搜集器可以设置在分布式的虚拟机上，以便于可快速地使得所述日志搜集器进行上述存储处理，从而降低了数据处理的延迟。
可选地，上述虚拟机的数量可以有多个，从而形成集群，便于在有***操作日志源数据需要存储时，按照负载均衡机制，优选具有较小负载的一个或者多个所述日志搜集器对***操作日志源数据进行存储处理。
进一步地，在某一个虚拟上，PULL模型上设置的日志搜集器出现任务调动或者某个日志搜集器挂掉(统称为异常日志搜集器)，就会有其他虚拟机上的日志搜集器接替其工作，在接替异常日志搜集器时，只要使用同样的***操作日志源数据即可获取后续的增量日志，从而对单个日志搜集器的稳定性要求大大降低，只要整个集群持续有足够的资源，即可实现***操作日志源数据获取的可靠性。
S302、确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
S303、根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
本实施中，步骤S301、S303类似上述实施例一的记载，详细不再赘述。当然，此处需要说明的是，在其他实施例中，也可以采取与上述步骤S101、S103不同的方式进行处理。
图4为本申请实施例四中基于UEBA进行日志处理的装置结构示意图；如图 4所示，其包括：
实时数据处理单元401，用于实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
进程变化确定单元402，用于确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
进程树确定单元403，用于根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
可选地，在一实施例中，所述实时数据处理单元进一步用于以事件的方式从数据源获取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，所述实时数据处理单元进一步用于对从数据源获取到的关联于用户实体行为的***操作日志源数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，所述进程变化确定单元进一步用于通过进程ID匹配的方式，确定控制所述***操作日志源数据生成的安全服务进程。
可选地，在一实施例中，所述进程变化确定单元进一步用于根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化。
可选地，在一实施例中，所述进程树确定单元进一步用于：将当前安全服务进程作为安全服务进程树中的父节点，将当前安全服务进程的下一安全服务进程作为所述父节点的子节点，以确定所述***操作日志源数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全服务进程的ID，以及对应的***操作日志源数据，所述子节点的特征信息包括所述下一安全服务进程的ID，以及对应的***操作日志源数据。
图5为本申请实施例五中基于UEBA进行日志处理的装置结构示意图；如图5所示，与上述图4所示不同的是，本实施例中，所述实时数据处理单元401 进一步用于按照设定的PUSH模型实时抓取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，在所述PUSH模型中设置有日志搜集器，所述日志搜集器的容量需要大于***操作日志源数据的最大生成量。
图6为本申请实施例五中基于UEBA进行日志处理的装置结构示意图；如图6所示，与上述图4所示不同的是，本实施例中，所述实时数据处理单元401 进一步用于按照设定的PULL模型实时抓取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，在所述PULL模型中设置有日志搜集器，所述日志搜集器的容量大于***操作日志源数据的平均生成量，且根据***操作日志源数据的实时生成量调整数据收集的吞吐量。
图7为本申请实施例中电子设备的结构示意图；如图7所示，所述电子设备包括：存储器701以及处理器702，所述存储器上存储有计算机可执行指令，所述处理器用于执行所述计算机可执行指令执行如下步骤：
实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
可选地，在一实施例中，所述处理器执行实时抓取关联于用户实体行为的***操作日志源数据的步骤，包括：以事件的方式从数据源获取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，所述处理器执行以事件的方式获取关联于用户实体行为的***操作日志源数据的步骤，包括：对从数据源获取到的关联于用户实体行为的***操作日志源数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，所述处理器执行实时抓取关联于用户实体行为的***操作日志源数据的步骤，包括：按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，在所述PUSH模型中设置有日志搜集器，所述日志搜集器的容量需要大于***操作日志源数据的最大生成量。
可选地，在一实施例中，在所述PULL模型中设置有日志搜集器，所述日志搜集器的容量大于***操作日志源数据的平均生成量，且根据***操作日志源数据的实时生成量调整数据收集的吞吐量。
可选地，在一实施例中，所述处理器执行确定控制所述***操作日志源数据生成的安全服务进程的步骤，包括：通过进程ID匹配的方式，确定控制所述***操作日志源数据生成的安全服务进程。
可选地，在一实施例中，所述处理器执行确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化的步骤，包括：根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化。
可选地，在一实施例中，所述处理器执行根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系的步骤，包括：将当前安全服务进程作为安全服务进程树中的父节点，将当前安全服务进程的下一安全服务进程作为所述父节点的子节点，以确定所述***操作日志源数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全服务进程的ID，以及对应的***操作日志源数据，所述子节点的特征信息包括所述下一安全服务进程的ID，以及对应的***操作日志源数据。
图8为本申请实施例八中计算计算机存储介质的示意图；如图8所示，所述计算机存储介质上存储有计算机可执行指令，所述计算机可执行指令被执行时实施如下步骤：
实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
可选地，在一实施例中，在实施实时抓取关联于用户实体行为的***操作日志源数据的步骤时时，包括：以事件的方式从数据源获取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，在实施以事件的方式获取关联于用户实体行为的***操作日志源数据的步骤时，包括：对从数据源获取到的关联于用户实体行为的***操作日志源数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，在实施实时抓取关联于用户实体行为的***操作日志源数据的步骤时，包括：按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的***操作日志源数据。
可选地，在一实施例中，在所述PUSH模型中设置有日志搜集器，所述日志搜集器的容量需要大于***操作日志源数据的最大生成量。
可选地，在一实施例中，在所述PULL模型中设置有日志搜集器，所述日志搜集器的容量大于***操作日志源数据的平均生成量，且根据***操作日志源数据的实时生成量调整数据收集的吞吐量。
可选地，在一实施例中，在实施确定控制所述***操作日志源数据生成的安全服务进程的步骤时，包括：通过进程ID匹配的方式，确定控制所述***操作日志源数据生成的安全服务进程。
可选地，在一实施例中，在实施确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化的步骤时，包括：根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化。
可选地，在一实施例中，在实施根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系的步骤时，包括：将当前安全服务进程作为安全服务进程树中的父节点，将当前安全服务进程的下一安全服务进程作为所述父节点的子节点，以确定所述***操作日志源数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全服务进程的ID，以及对应的***操作日志源数据，所述子节点的特征信息包括所述下一安全服务进程的ID，以及对应的***操作日志源数据。
图9为本申请实施例十一中电子设备的硬件结构示意图；如图9所示，该电子设备的硬件结构可以包括：处理器901，通信接口902，计算机可读介质903 和通信总线904；
其中，处理器901、通信接口902、计算机可读介质903通过通信总线904 完成相互间的通信；
可选的，通信接口902可以为通信模块的接口，如GSM模块的接口；
其中，处理器901具体可以配置为运行存储器上存储的可执行程序，从而执行上述任一方法实施例的所有处理步骤或者其中部分处理步骤。
处理器1501可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器710、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU) 执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种基于UEBA进行日志处理的方法，其特征在于，包括：
实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
2.根据权利要求1所述基于UEBA进行日志处理的方法，其特征在于，所述实时抓取关联于用户实体行为的***操作日志源数据，包括：以事件的方式从数据源获取关联于用户实体行为的***操作日志源数据。
3.根据权利要求2所述基于UEBA进行日志处理的方法，其特征在于，所述以事件的方式获取关联于用户实体行为的***操作日志源数据，包括：对从数据源获取到的关联于用户实体行为的***操作日志源数据进行封装处理得到事件，以所述事件为数据单元获取关联于用户实体行为的***操作日志源数据。
4.根据权利要求1所述基于UEBA进行日志处理的方法，其特征在于，所述实时抓取关联于用户实体行为的***操作日志源数据，包括：按照设定的PUSH模型或者PULL模型实时抓取关联于用户实体行为的***操作日志源数据。
5.根据权利要求4所述基于UEBA进行日志处理的方法，其特征在于，在所述PUSH模型中设置有日志搜集器，所述日志搜集器的容量需要大于***操作日志源数据的最大生成量。
6.根据权利要求4所述基于UEBA进行日志处理的方法，其特征在于，在所述PULL模型中设置有日志搜集器，所述日志搜集器的容量大于***操作日志源数据的平均生成量，且根据***操作日志源数据的实时生成量调整数据收集的吞吐量。
7.根据权利要求1所述基于UEBA进行日志处理的方法，其特征在于，所述确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化，包括：根据寄存器中的值、进程的状态以及堆栈中的内容至少其一，确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化。
8.根据权利要求1所述基于UEBA进行日志处理的方法，其特征在于，所述根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系，包括：将当前安全服务进程作为安全服务进程树中的父节点，将当前安全服务进程的下一安全服务进程作为所述父节点的子节点，以确定所述***操作日志源数据的上下文关系，其中，所述父节点的特征信息包括所述当前安全服务进程的ID，以及对应的***操作日志源数据，所述子节点的特征信息包括所述下一安全服务进程的ID，以及对应的***操作日志源数据。
9.一种基于UEBA进行日志处理的装置，其特征在于，包括：
实时数据处理单元，用于实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
进程变化确定单元，用于确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
进程树确定单元，用于根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
10.一种电子设备，其特征在于，存储器以及处理器，所述存储器上存储有计算机可执行指令，所述处理器用于执行所述计算机可执行指令执行如下步骤：
实时抓取关联于用户实体行为的***操作日志源数据，并确定控制所述***操作日志源数据生成的安全服务进程；
确定在生成所述***操作日志源数据的过程中所述安全服务进程的变化；
根据所述安全服务进程的变化，生成安全服务进程树，以确定所述***操作日志源数据的上下文关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011323577.8A CN112434244A (zh) | 2020-11-23 | 2020-11-23 | 基于ueba进行日志处理的方法、装置及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011323577.8A CN112434244A (zh) | 2020-11-23 | 2020-11-23 | 基于ueba进行日志处理的方法、装置及相关产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112434244A true CN112434244A (zh) | 2021-03-02 |
Family
ID=74693903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011323577.8A Pending CN112434244A (zh) | 2020-11-23 | 2020-11-23 | 基于ueba进行日志处理的方法、装置及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112434244A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105391772A (zh) * | 2015-10-16 | 2016-03-09 | 百度在线网络技术（北京）有限公司 | 业务请求处理方法、日志处理方法及装置 |
| CN106487596A (zh) * | 2016-10-26 | 2017-03-08 | 宜人恒业科技发展（北京）有限公司 | 分布式服务跟踪实现方法 |
| CN107515778A (zh) * | 2017-08-25 | 2017-12-26 | 武汉大学 | 一种基于上下文感知的起源追踪方法及*** |
| CN107566163A (zh) * | 2017-08-10 | 2018-01-09 | 北京奇安信科技有限公司 | 一种用户行为分析关联的告警方法及装置 |
| US20190079818A1 (en) * | 2017-09-08 | 2019-03-14 | Oracle International Corporation | Techniques for managing and analyzing log data |
| CN109635186A (zh) * | 2018-11-16 | 2019-04-16 | 华南理工大学 | 一种基于Lambda架构的实时推荐方法 |
| US10282268B1 (en) * | 2016-10-31 | 2019-05-07 | Cisco Technology, Inc. | Software flow execution tracing |
| CN110363640A (zh) * | 2019-07-08 | 2019-10-22 | 中国平安人寿保险股份有限公司 | 监控***业务运行方法、装置及存储介质、服务器 |
| CN110574012A (zh) * | 2017-02-08 | 2019-12-13 | 华为技术有限公司 | 使用分布式执行跟踪的故障管理***和方法 |
| CN110650038A (zh) * | 2019-09-12 | 2020-01-03 | 国家电网有限公司 | 面向多类监管对象的安全事件日志采集处理方法和*** |
-
2020
- 2020-11-23 CN CN202011323577.8A patent/CN112434244A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105391772A (zh) * | 2015-10-16 | 2016-03-09 | 百度在线网络技术（北京）有限公司 | 业务请求处理方法、日志处理方法及装置 |
| CN106487596A (zh) * | 2016-10-26 | 2017-03-08 | 宜人恒业科技发展（北京）有限公司 | 分布式服务跟踪实现方法 |
| US10282268B1 (en) * | 2016-10-31 | 2019-05-07 | Cisco Technology, Inc. | Software flow execution tracing |
| CN110574012A (zh) * | 2017-02-08 | 2019-12-13 | 华为技术有限公司 | 使用分布式执行跟踪的故障管理***和方法 |
| CN107566163A (zh) * | 2017-08-10 | 2018-01-09 | 北京奇安信科技有限公司 | 一种用户行为分析关联的告警方法及装置 |
| CN107515778A (zh) * | 2017-08-25 | 2017-12-26 | 武汉大学 | 一种基于上下文感知的起源追踪方法及*** |
| US20190079818A1 (en) * | 2017-09-08 | 2019-03-14 | Oracle International Corporation | Techniques for managing and analyzing log data |
| CN109635186A (zh) * | 2018-11-16 | 2019-04-16 | 华南理工大学 | 一种基于Lambda架构的实时推荐方法 |
| CN110363640A (zh) * | 2019-07-08 | 2019-10-22 | 中国平安人寿保险股份有限公司 | 监控***业务运行方法、装置及存储介质、服务器 |
| CN110650038A (zh) * | 2019-09-12 | 2020-01-03 | 国家电网有限公司 | 面向多类监管对象的安全事件日志采集处理方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170185454A1 (en) | Method and Electronic Device for Determining Resource Consumption of Task | |
| CN109033404B (zh) | 日志数据处理方法、装置和*** | |
| CN110390493B (zh) | 任务管理方法、装置、存储介质及电子设备 | |
| CN111597065A (zh) | 用于采集设备信息的方法和装置 | |
| CN112134883A (zh) | 基于可信计算进行节点间信任关系快速认证的方法、装置及相关产品 | |
| CN112507265A (zh) | 基于树结构进行异常侦测的方法、装置及相关产品 | |
| CN110908921A (zh) | 一种游戏问题定位方法、装置、电子设备及存储介质 | |
| CN108595574B (zh) | 数据库集群的连接方法、装置、设备及存储介质 | |
| CN112434245A (zh) | 基于ueba进行异常行为事件的判断方法、装置及相关产品 | |
| CN110781066B (zh) | 用户行为分析方法、装置、设备及存储介质 | |
| CN112434244A (zh) | 基于ueba进行日志处理的方法、装置及相关产品 | |
| CN114567678B (zh) | 一种云安全服务的资源调用方法、装置及电子设备 | |
| CN112364284B (zh) | 基于上下文进行异常侦测的方法、装置及相关产品 | |
| CN112364285B (zh) | 基于ueba建立异常侦测模型的方法、装置及相关产品 | |
| CN111949862B (zh) | 一种管理业务任务流程的方法、装置和电子设备 | |
| CN113779021B (zh) | 数据处理方法、装置、计算机***及可读存储介质 | |
| WO2021073413A1 (zh) | ***性能参数的发送方法、装置、管理设备和存储介质 | |
| CN113569232A (zh) | 容器的可信度量方法、装置及数据*** | |
| CN112214760A (zh) | 基于可信根度量进行应用程序的管理方法、装置及相关产品 | |
| CN113765692B (zh) | 限流方法、装置、电子设备和计算机可读介质 | |
| CN118034776B (zh) | 一种数据获取方法、装置及计算机设备、介质、产品 | |
| CN113076195B (zh) | 对象的分流方法、装置、可读介质和电子设备 | |
| CN111507734B (zh) | 作弊请求识别方法、装置、电子设备及计算机存储介质 | |
| CN113992751A (zh) | 异构网络中资源共享方法、装置及相关产品 | |
| CN116846531A (zh) | 信息处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |