CN111190796B - 一种数据调整方法及装置 - Google Patents
一种数据调整方法及装置 Download PDFInfo
- Publication number
- CN111190796B CN111190796B CN201911419499.9A CN201911419499A CN111190796B CN 111190796 B CN111190796 B CN 111190796B CN 201911419499 A CN201911419499 A CN 201911419499A CN 111190796 B CN111190796 B CN 111190796B
- Authority
- CN
- China
- Prior art keywords
- user
- monitoring
- value range
- data
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Alarm Systems (AREA)
Abstract
本申请提供一种数据调整方法及装置,在获取用户的身份特征数据和获取用户的行为特征数据后,根据用户的身份特征数据,划分用户至对应的用户集合中,根据用户集合中所有用户的行为特征数据,确定用户集合中所有用户在对监控对象进行监控时的监控指标以及监控要求,获取监控指标的初始监控取值范围,并根据监控要求,对监控指标的初始监控取值范围进行调整,得到适用于用户集合中所有用户的目标异常取值范围,从而能够以用户集合为单位,为用户集合确定出适配于该用户集合中所有用户的行为特征数据的目标异常取值范围。并且不同用户集合中用户的行为特征数据会有差异,实现以用户集合为单位的目标异常取值范围的差异化。
Description
技术领域
本申请属于***监控技术领域,尤其涉及一种数据调整方法及装置。
背景技术
为了降低监控对象的故障率,监控对象对应的监控指标非常多,以通过监控指标对监控对象的不同方向进行监控,例如对于一个数据库来说,数据库对应的监控指标包括但不限于响应速度、数据容量和存储延迟,则在对数据库进行监控时可以监控数据库的响应速度、数据容量和存储延迟等。对于监控对象来说,由于监控对象对应的监控指标非常多,需要为这些监控指标设置各自对应的阈值,以通过阈值方式对监控对象进行监控。
发明内容
有鉴于此,本申请的目的在于提供一种数据调整方法及装置,用于以用户集合为单位,确定用户集合对应的监控指标的目标异常取值范围。
本申请提供一种数据调整方法,包括:
获取用户的身份特征数据和获取用户的行为特征数据;
根据所述用户的身份特征数据,划分所述用户至对应的用户集合中,所述用户集合中各用户对同一监控对象进行监控;
根据所述用户集合中所有用户的行为特征数据,确定所述用户集合中所有用户在对所述监控对象进行监控时的监控指标以及监控要求,所述监控指标用于指示对所述监控对象进行监控的监控方向,所述监控要求用于表征从所述监控方向对所述监控对象进行监控时的要求;
获取所述监控指标的初始监控取值范围,并根据所述监控要求,对所述监控指标的初始监控取值范围进行调整,得到适用于所述用户集合中所有用户的目标异常取值范围。
可选的,所述方法还包括:
对所述用户集合中所有用户进行分组,得到所述用户集合对应的各用户组;
对所述目标异常取值范围进行划分,得到各用户组的异常测试取值范围;
获得各用户组的异常测试响应数据,所述异常测试响应数据表征所述用户组中的用户采用对应的异常测试取值范围对所述监控对象进行监控的结果;
根据所述各用户组的异常测试响应数据和所述各用户组的异常测试取值范围,对所述目标异常取值范围进行调整。
可选的,所述方法还包括:若接收到用户级别的报警数据,触发所述对所述用户集合中所有用户进行分组和所述对所述目标异常取值范围进行划分,以重新对所述目标异常取值范围进行调整,所述用户级别的报警数据用于指示报警是由用户触发。
可选的,所述方法还包括:若通过所述目标异常取值范围对所述监控对象进行监控的预设时间内没有出现报警,计算所述目标异常取值范围内各数值之间的标准差;
若各数值之间的标准差小于阈值,则将所述目标异常取值范围对应的监控指标从所述用户集合的监控指标范围中移除。
可选的,所述获取用户的身份特征数据包括:获取预先标注的用户的身份特征数据;
或者
所述获取用户的身份特征数据包括:获取用户所属工作组信息、用户所访问资源的类型和用户的访问记录数据中的至少一种,根据用户所属工作组信息、用户所访问资源的类型和用户的访问记录数据中的至少一种,得到所述用户的身份特征数据。
可选的,所述获取用户的行为特征数据包括:获取用户在对所述监控对象进行监控时得到的异常事件和所述用户对异常事件的响应数据,所述异常事件表征出所述监控指标,所述响应数据表征出监控要求。
可选的,所述获取所述监控指标的初始监控取值范围包括:
获取根据所述监控指标对所述监控对象进行监控的历史监控数据;
从所述历史监控数据中提取出指示所述监控对象异常的监控取值;
根据所述监控取值,得到所述监控指标的初始监控取值范围。
可选的,所述根据所述监控要求,对所述监控指标的初始监控取值范围进行调整包括:
根据所述监控要求,确定对所述初始监控取值范围进行调整的调整参数,根据所述调整参数对所述初始监控取值范围进行调整。
本申请还提供一种数据调整装置,包括:
获取单元,用于获取用户的身份特征数据和获取用户的行为特征数据;
划分单元,用于根据所述用户的身份特征数据,划分所述用户至对应的用户集合中,所述用户集合中各用户对同一监控对象进行监控;
确定单元,用于根据所述用户集合中所有用户的行为特征数据,确定所述用户集合中所有用户在对所述监控对象进行监控时的监控指标以及监控要求,所述监控指标用于指示对所述监控对象进行监控的监控方向,所述监控要求用于表征从所述监控方向对所述监控对象进行监控时的要求;
所述获取单元,还用于获取所述监控指标的初始监控取值范围;
调整单元,用于根据所述监控要求,对所述监控指标的初始监控取值范围进行调整,得到适用于所述用户集合中所有用户的目标异常取值范围。
可选的,所述装置还包括:
分组单元,用于对所述用户集合中所有用户进行分组,得到所述用户集合对应的各用户组;以及用于对所述目标异常取值范围进行划分,得到各用户组的异常测试取值范围;
获得单元,用于获得各用户组的异常测试响应数据,所述异常测试响应数据表征所述用户组中的用户采用对应的异常测试取值范围对所述监控对象进行监控的结果;
所述调整单元,还用于根据所述各用户组的异常测试响应数据和所述各用户组的异常测试取值范围,对所述目标异常取值范围进行调整。
从上述技术方案可知,在获取用户的身份特征数据和获取用户的行为特征数据后,根据用户的身份特征数据,划分用户至对应的用户集合中,用户集合中各用户对同一监控对象进行监控,根据用户集合中所有用户的行为特征数据,确定用户集合中所有用户在对监控对象进行监控时的监控指标以及监控要求,获取监控指标的初始监控取值范围,并根据监控要求,对监控指标的初始监控取值范围进行调整,得到适用于用户集合中所有用户的目标异常取值范围,这样具有相同身份特征数据和行为特征数据的各用户可以使用相同的目标异常取值范围从监控指标出发对监控对象进行监控,从而能够以用户集合为单位,为用户集合确定出适配于该用户集合中所有用户的行为特征数据的目标异常取值范围,使该用户集合中的各个用户可以采用适配自身行为特征数据的目标异常取值范围进行监控。并且不同用户集合中用户的行为特征数据会有差异,相对应的不同用户集合针对同一监控指标的监控要求不同,由此使得不同用户集合针对同一监控指标的目标异常取值范围不同,实现以用户集合为单位的目标异常取值范围的差异化。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据调整方法的流程图;
图2是本申请实施例提供的另一种数据调整方法的流程图;
图3是本申请实施例提供的一种数据调整装置的结构示意图;
图4是本申请实施例提供的另一种数据调整装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,其示出了本申请实施例提供的一种数据调整方法的流程图,可以包括以下步骤:
101:获取用户的身份特征数据和获取用户的行为特征数据。其中用户的身份特征数据用于指示对监控对象进行监控的用户身份,以指示出当前对监控对象进行监控的用户的工程师身份,如特指用户是操作***工程师还是数据库工程师,或者特指用户是面向特定应用的运维工程师还是面向特定数据库的运维工程师。
在本实施例中,获取用户的身份特征数据的一种方式是:获取预先标注的用户的身份特征数据,以由人工预先标注出用户身份,如预先标注的用户的身份特征数据可以是运维管理工程师标注对监控对象进行监控的各用户的身份特征数据或者从其他***中获取预先标注的用户的身份特征数据。
例如其他***包括但不限于HR(Human Resource,人力资源)管理***和LDAP(Lightweight Directory Access Protocol,轻型目录访问协议)***,其中HR管理***中存储有公司内的部门划分,而不同部门对应的工作不同以指示出用户的工程师身份,由此能够通过与HR***的通信接口从HR***中获取用户的身份特征数据。LDAP***的目录服务中也会存储公司内的部门信息,如公司电子邮件目录,公司电子邮件目录能够指示公司员工的基本信息、所属工作组等等,通过这些信息也能够确定出公司内任一员工的身份特征数据,由此本实施例同样能够通过与LDAP***的通信接口从LDAP***中获取到身份特征数据。
在本实施例中,获取用户的身份特征数据的另一种方式是:获取用户所属工作组信息、用于所访问资源的类型和用户的访问记录数据中的至少一种,根据用户所属工作组信息、用户所访问资源的类型和用户的访问记录数据中的至少一种,得到用户的身份特征数据,实现自动确定出用户的身份特征数据,这种方式相对于上一种方式来说,确定用户的身份特征数据能够依据用户访问过程中的数据和/或用户的一些基本信息,而这些确定身份特征数据时参考的信息与用户身份相关程度较高,从而能够提高身份特征数据的准确度。
其中根据用户所属工作组信息、用户所访问资源的类型和用户的访问记录数据中的至少一种,得到用户的身份特征数据的方式包括但不限于:将用户所属工作组信息、用户所访问资源的类型和用户的访问记录数据中的至少一种输入到预先构建的分类模型中,得到分类模型输出的用户的身份特征数据,预先构建的分类模型是通过已知身份特征数据和已知身份特征数据对应的条件数据,条件数据则是上述作为分类模型的输入参数的各种数据。除了分类模型的方式之外还可以采用规则引擎等方式得到用户的身份特征数据,对此本实施例不再详述。
在本实施例中,用户的行为特征数据用于表征用户对监控对象进行监控时产生的行为,如对监控对象的异常事件进行监控和对异常事件进行监控的响应,以表征出用户对应的监控指标和在监控指标指示的监控方向进行监控时的监控要求。其中获取用户的行为特征数据的过程包括:获取用户在对监控对象进行监控时得到的异常事件和用户对异常事件的响应数据,异常事件表征出监控指标,响应数据表征出监控要求。或者本实施例还可以人工指定监控指标,在人工指定监控指标之后获取采用监控指标进行监控时产生的行为特征数据,以根据行为特征数据得到监控要求。
异常事件和对异常事件的响应数据可根据用户所属工作组的邮件交互数据和历史访问数据中的至少一种得到。其中根据用户所属工作组的邮件交互数据得到的方式可以是但不限于是:从邮件交互数据中获取指示异常事件的关键词,如误报、漏报和延迟等等,对应这些关键词的事件为异常事件,而邮件交互数据中单位时间内的交互次数和/或指示同一异常事件的相邻邮件的交互时间间隔能够作为对异常事件的响应数据,单位时间内的交互次数越多说明对该异常事件越重视,监控要求越高,反之监控要求越低;指示同一异常事件的相邻邮件的交互时间间隔越短说明对该异常时间越重视,监控要求越高,反之监控要求越低,由此通过对异常事件的响应数据能够得出监控要求。
其中,根据历史访问数据得到异常事件和对异常事件的响应数据的方式是:从历史访问数据中获得用户所访问的资源,从用户所访问的资源的操作日志中提取报警事件,则报警时间可以确定为异常事件,报警事件的报警频率、对报警事件所属资源的监控投入时间和对报警时间所属资源的监控频率可以作为响应数据,以体现出对该异常事件的监控要求。如监控频率越高监控要求越高。
在本实施例中,异常事件和对异常事件的响应数据还可以是由用户标注,从而能够获取到用户标注的异常事件和对异常事件的响应数据。
102:根据用户的身份特征数据,划分用户至对应的用户集合中,其中用户集合中各用户对同一监控对象进行监控。
可以理解的是,用户的身份特征数据指示出用户的工程师身份,不同工程师对同一监控对象进行监控过程中其监控指标和监控指标对应的监控要求中的至少一项会不同,因此本实施例需要将具有相同工程师身份的用户划分至一个用户集合中。若在获取到用户的身份特征数据之后,存在与该身份特征数据相匹配的用户集合(如用户集合中各用户的工程师身份与该身份特征数据指示的工程师身份相同),则将该用户加入到该用户集合中,若没有存在与该身份特征数据匹配的用户集合,则构建一个新的用户集合,并将该用户加入到所构建的用户集合中。
103:根据用户集合中所有用户的行为特征数据,确定用户集合中所有用户在对监控对象进行监控时的监控指标以及监控要求,其中监控指标用于是指对监控对象进行监控的监控方向,监控要求用于表征从监控方向对监控对象进行监控时的要求。
以数据库为例,对于数据库这一监控对象,能够从响应速度、数据容量和存储延迟等监控方向进行监控,数据库工程师对数据库的存储延迟较为关系,则对于数据库工程师可以从存储延迟这一监控方向监控数据库,且数据工程师要求数据库的存储延迟较小,这说明了数据工程是对存储延迟的要求。操作***工程师对数据库的存储延迟不太关系,则对于操作***工程师可以不从存储延迟这一监控方向监控数据库,或者若从存储延迟这一监控方向监控数据库,其要求的存储延迟小于数据库工程师要求的存储延迟。
而用户的行为特征数据能够指示出用户监控的异常事件和对异常事件进行监控的响应,异常事件能够表征监控指标,对异常事件进行监控的响应能够指示监控要求,由此可以根据用户集合中所有用户的行为特征数据,确定用户集合中所有用户在对监控对象进行监控时的监控指标以及监控要求。例如可以将用户的行为特征数据输入到预先构建的监控模型中,得到监控模型输出的监控指标以及监控要求,对于监控模型的构建过程不再阐述,或者预先构建用户的行为特征数据与监控指标和监控要求之间的对应关系,以从对应关系中查找到与当前用户的行为特征数据匹配的监控指标和监控要求。
104:获取监控指标的初始监控取值范围,并根据监控要求,对监控指标的初始监控取值范围进行调整,得到适用于用户集合中所有用户的目标异常取值范围。
其中,初始监控取值范围是适用于在监控指标指示的监控方向进行监控的所有用户,该初始监控取值范围不会因行为特征数据的不同而不同,也就是说对于在监控指标指示的监控方向进行监控的所有用户来说,其初始监控取值范围都相同,以初始监控取值范围作为调整的基础数据对初始监控取值范围进行调整,以得到与用户集合的监控要求匹配且适用于该用户集合下的所有用户的目标异常取值范围,使得目标异常取值范围与该用户集合的所有用户的行为特征数据匹配。因为不同用户集合下的用户的行为特征数据有所差异,相对应的监控要求也会有所差异,所以不同用户集合对应的目标异常取值范围也会有所不同,实现以用户集合为单位的目标异常取值范围的差异化。
在本实施例中,获取监控指标的初始监控取值范围的一种方式是:获取根据监控指标对监控对象进行监控的历史监控数据,如从历史监控服务***(如IT服务管理***)中获取历史监控数据,该历史监控数据能够指示在从监控指标进行监控时的监控情况,如是否发生异常事件和发生异常事件时对应的监控取值等等;从历史监控数据中提取出指示监控对象异常的监控取值;根据监控取值,得到监控指标的初始监控取值范围。其中根据监控取值,得到监控指标的初始监控取值范围的方式包括但不限于如下方式:
根据统计学算法对监控取值进行调整,得到初始监控取值范围,如基于百分位数和泊松分布等统计学算法对监控取值进行调整;或者根据预先设置的动态阈值调整范围对监控取值进行调整,如预先设置的动态阈值调整范围指示对监控取值的最大值向上浮动一定范围,对监控取值的最小值向下浮动一定范围,最大值和最小值浮动范围可以相同也可以不同,如最大至向上浮动10%,最小值向下浮动10%。
而根据监控要求对监控指标的初始监控取值范围进行调整的目的是:得到一个与用户所属用户集合相匹配的目标异常取值范围,使得目标异常取值范围能够与得到监控要求的行为特征数据对应,其中对监控指标的初始监控取值范围进行调整的过程如下:
根据监控要求,确定对初始监控取值范围进行调整的调整参数,根据调整参数对初始监控取值范围进行调整,调整参数用于指示对初始监控取值范围进行调整的方向,如是缩小还是放大等等。在本实施例中,可参照上述根据从历史监控数据中提取出指示监控对象异常的监控取值,得到监控指标的初始监控取值范围的方式。例如根据监控要求,确定与监控要求匹配的百分位区间,在百分位区间按照一定阈值步长或比例调整初始监控取值范围,例如向上还是向下调整初始监控取值范围,以得到一个与用户集合中所有用户的行为特征数据匹配的目标异常取值范围,以减少误报率或漏报率。
在得到目标异常取值范围之后,本实施例提供的数据调整方法还可以将目标异常取值范围发送到用户集合中的各用户端,如通过预设交互方式,如邮件、集成的web工具等等将目标异常取值范围发送到用户集合中的各用户端,若在预设时间内接收到至少一个用户端反馈的确认响应或者在预设时间内没有接收到各用户端的反馈,可以将目标异常取值范围作为监控范围进行监控;若在预设时间内接收到至少一个用户端反馈的拒绝响应,则需要重新得到目标异常取值范围,重新得到目标异常取值范围的方式不再说明。
从上述技术方案可知,在获取用户的身份特征数据和获取用户的行为特征数据后,根据用户的身份特征数据,划分用户至对应的用户集合中,用户集合中各用户对同一监控对象进行监控,根据用户集合中所有用户的行为特征数据,确定用户集合中所有用户在对监控对象进行监控时的监控指标以及监控要求,获取监控指标的初始监控取值范围,并根据监控要求,对监控指标的初始监控取值范围进行调整,得到适用于用户集合中所有用户的目标异常取值范围,这样具有相同身份特征数据和行为特征数据的各用户可以使用相同的目标异常取值范围从监控指标出发对监控对象进行监控,从而能够以用户集合为单位,为用户集合确定出适配于该用户集合中所有用户的行为特征数据的目标异常取值范围,使该用户集合中的各个用户可以采用适配自身行为特征数据的目标异常取值范围进行监控。并且不同用户集合中用户的行为特征数据会有差异,相对应的不同用户集合针对同一监控指标的监控要求不同,由此使得不同用户集合针对同一监控指标的目标异常取值范围不同,实现以用户集合为单位的目标异常取值范围的差异化。
请参阅图2,其示出了本申请实施例提供的另一种数据调整方法的流程图,在上述图1基础上还可以包括以下步骤:
105:对用户集合中所有用户进行分组,得到用户集合对应的各用户分组。在本实施例中,可根据预设分组条件中的任一分组条件对用户集合中的所有用户进行分组,如分组条件指示用户集合中的用户数量达到预设值的情况下进行分组,如对用户集合中的所有用户进行随意分组;分组条件指示用户集合中对相同资源进行监控的实例数量达到预设数量的情况下进行分组,这种分组可以对监控实例数量达到预设数量的资源的用户进行分组。
106:对目标异常取值范围进行划分,得到各用户组的异常测试取值范围。
在本实施例中,可以对目标异常取值范围进行随意划分,得到相互独立的多组异常测试取值范围,或者得到的多组异常测试取值范围中有重叠数值,从而能够由不同用户组的用户对各组异常测试取值范围进行测试,实现对目标异常取值范围的分离测试,提高测试效率。
107:获得各用户组的异常测试响应数据,其中异常测试响应数据表征用户组中的用户采用对应的异常测试取值范围对监控对象进行监控的结果,以指示异常测试取值范围是否适配与对应的用户组中用户的行为特征数据。
108:根据各用户组的异常测试响应数据和各用户组的异常测试取值范围,对目标异常取值范围进行调整,实现对目标异常取值范围的动态调整。
其调整方式如下:
如果至少一个用户组的异常测试响应数据指示测试通过(说明该用户组的异常测试取值范围适配该用户组中用户的行为特征数据),则可以以测试通过的用户组的异常测试取值范围为基准,对目标异常取值范围进行调整,如将测试通过的用户组的异常测试取值范围作为目标异常取值范围,或者对测试通过的用户组的异常测试取值范围进行上下浮动和泊松分布统计中的至少一种修正,得到目标异常取值范围。
如果各用户组的异常测试响应数据指示测试失败,则禁止对目标异常取值范围进行调整,或者重新计算目标异常取值范围。
从上述技术方案可知,在得到目标异常取值范围之后,还可以对用户集合进行分组以及对目标异常取值范围进行划分,从而对目标异常取值范围的分类测试,实现对目标异常取值范围的动态调整。
针对上述数据调整方法,本实施例提供的数据调整方法还可以包括以下步骤:若接收到用户级别的报警数据,触发对用户集合中所有用户进行分组和对目标异常取值范围进行划分,以重新对目标异常取值范围进行调整,用户级别的报警数据用于指示报警是由用户触发。
也就是说,若接收到由用户触发的报警数据,说明当前采用的目标异常取值范围的监控有误,此时需要重新对目标异常取值范围进行调整,其中由用户触发的报警数据可以是监控对象对应的监控***发生变更或者监控***的版本发生较大更新,则可以由用户触发报警,也可以是用户发现通过当前的目标异常取值范围进行监控产生大量的误报漏报等,使得当前的目标异常取值范围的监控准确度降低,此时也可以由用户触发报警。
针对上述数据调整方法,本实施例提供的数据调整方法还可以包括以下步骤:若通过目标异常取值范围对监控对象进行监控的预设时间内没有出现报警,计算目标异常取值范围内各数值之间的标准差;若各数值之间的标准差小于阈值,则将目标异常取值范围对应的监控指标从用户集合的监控指标范围中移除。
若各数值之间的标准差小于阈值,说明目标异常取值范围所属监控指标进行监控的必要性降低甚至没有监控的必要性,此时可以将目标异常取值范围对应的监控指标从用户集合的监控指标范围中移除,从而减小一个监控指标,使***资源能够更多的提供给需要进行监控的监控指标,提高监控效率。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
与上述方法实施例相对应,本申请实施例还提供一种数据调整装置,其结构如图3所示,可以包括:获取单元11、划分单元12、确定单元13和调整单元14。
获取单元11,用于获取用户的身份特征数据和获取用户的行为特征数据。
其中用户的身份特征数据用于指示对监控对象进行监控的用户身份,以指示出当前对监控对象进行监控的用户的工程师身份,在本实施例中获取用户的身份特征数据包括:获取预先标注的用户的身份特征数据;或者,获取用户的身份特征数据包括:获取用户所属工作组信息、用户所访问资源的类型和用户的访问记录数据中的至少一种,根据用户所属工作组信息、用户所访问资源的类型和用户的访问记录数据中的至少一种,得到用户的身份特征数据。
在本实施例中,用户的行为特征数据用于表征用户对监控对象进行监控时产生的行为,如对监控对象的异常事件进行监控和对异常事件进行监控的响应,以表征出用户对应的监控指标和在监控指标指示的监控方向进行监控时的监控要求。其中获取用户的行为特征数据包括:获取用户在对监控对象进行监控时得到的异常事件和用户对异常事件的响应数据,异常事件表征出监控指标,响应数据表征出监控要求。
划分单元12,用于根据用户的身份特征数据,划分用户至对应的用户集合中,用户集合中各用户对同一监控对象进行监控。
确定单元13,用于根据用户集合中所有用户的行为特征数据,确定用户集合中所有用户在对监控对象进行监控时的监控指标以及监控要求,监控指标用于指示对监控对象进行监控的监控方向,监控要求用于表征从监控方向对监控对象进行监控时的要求。
获取单元11,还用于获取监控指标的初始监控取值范围。初始监控取值范围是适用于在监控指标指示的监控方向进行监控的所有用户,该初始监控取值范围不会因行为特征数据的不同而不同,也就是说对于在监控指标指示的监控方向进行监控的所有用户来说,其初始监控取值范围都相同,在本实施例中,获取监控指标的初始监控取值范围包括:获取根据监控指标对监控对象进行监控的历史监控数据;从历史监控数据中提取出指示监控对象异常的监控取值;根据监控取值,得到监控指标的初始监控取值范围
调整单元14,用于根据监控要求,对监控指标的初始监控取值范围进行调整,得到适用于用户集合中所有用户的目标异常取值范围。
在本实施例中,根据监控要求对监控指标的初始监控取值范围进行调整的目的是:得到一个与用户所属用户集合相匹配的目标异常取值范围,使得目标异常取值范围能够与得到监控要求的行为特征数据对应,其中对监控指标的初始监控取值范围进行调整的过程如下:
根据监控要求,确定对初始监控取值范围进行调整的调整参数,根据调整参数对初始监控取值范围进行调整。
从上述技术方案可知,能够以用户集合为单位,为用户集合确定出适配于该用户集合中所有用户的行为特征数据的目标异常取值范围,使该用户集合中的各个用户可以采用适配自身行为特征数据的目标异常取值范围进行监控。并且不同用户集合中用户的行为特征数据会有差异,相对应的不同用户集合针对同一监控指标的监控要求不同,由此使得不同用户集合针对同一监控指标的目标异常取值范围不同,实现以用户集合为单位的目标异常取值范围的差异化。
请参阅图4,其示出了本申请实施例提供的另一种数据调整装置,在上述图3基础上,还可以包括:分组单元15和获得单元16。
分组单元15,用于对用户集合中所有用户进行分组,得到用户集合对应的各用户组。以及用于对目标异常取值范围进行划分,得到各用户组的异常测试取值范围。
在本实施例中,可根据预设分组条件中的任一分组条件对用户集合中的所有用户进行分组,如分组条件指示用户集合中的用户数量达到预设值的情况下进行分组,如对用户集合中的所有用户进行随意分组;分组条件指示用户集合中对相同资源进行监控的实例数量达到预设数量的情况下进行分组,这种分组可以对监控实例数量达到预设数量的资源的用户进行分组。
对目标异常取值范围进行划分时可以对目标异常取值范围进行随意划分,得到相互独立的多组异常测试取值范围,或者得到的多组异常测试取值范围中有重叠数值,从而能够由不同用户组的用户对各组异常测试取值范围进行测试,实现对目标异常取值范围的分离测试,提高测试效率。
获得单元16,用于获得各用户组的异常测试响应数据,异常测试响应数据表征用户组中的用户采用对应的异常测试取值范围对监控对象进行监控的结果,以指示异常测试取值范围是否适配与对应的用户组中用户的行为特征数据。
调整单元14,还用于根据各用户组的异常测试响应数据和各用户组的异常测试取值范围,对目标异常取值范围进行调整,实现对目标异常取值范围的动态调整。其调整方式如下:
如果至少一个用户组的异常测试响应数据指示测试通过(说明该用户组的异常测试取值范围适配该用户组中用户的行为特征数据),则可以以测试通过的用户组的异常测试取值范围为基准,对目标异常取值范围进行调整,如将测试通过的用户组的异常测试取值范围作为目标异常取值范围,或者对测试通过的用户组的异常测试取值范围进行上下浮动和泊松分布统计中的至少一种修正,得到目标异常取值范围。
如果各用户组的异常测试响应数据指示测试失败,则禁止对目标异常取值范围进行调整,或者重新计算目标异常取值范围。
从上述技术方案可知,在得到目标异常取值范围之后,还可以对用户集合进行分组以及对目标异常取值范围进行划分,从而对目标异常取值范围的分类测试,实现对目标异常取值范围的动态调整。
针对上述数据调整装置,本实施例提供的数据调整装置还可以包括:触发单元,用于若接收到用户级别的报警数据,触发分组单元重新对用户集合中所有用户进行分组和对目标异常取值范围进行划分,以重新对目标异常取值范围进行调整,用户级别的报警数据用于指示报警是由用户触发。
针对上述数据调整装置,本实施例提供的数据调整装置还可以包括:监控指标控制单元,用于若通过目标异常取值范围对监控对象进行监控的预设时间内没有出现报警,计算目标异常取值范围内各数值之间的标准差;若各数值之间的标准差小于阈值,则将目标异常取值范围对应的监控指标从用户集合的监控指标范围中移除。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种数据调整方法,包括:
获取用户的身份特征数据和获取用户的行为特征数据;
根据所述用户的身份特征数据,划分所述用户至对应的用户集合中,所述用户集合中各用户对同一监控对象进行监控;
根据所述用户集合中所有用户的行为特征数据,确定所述用户集合中所有用户在对所述监控对象进行监控时的监控指标以及监控要求,所述监控指标用于指示对所述监控对象进行监控的监控方向,所述监控要求用于表征从所述监控方向对所述监控对象进行监控时的要求;
获取所述监控指标的初始监控取值范围,并根据所述监控要求,对所述监控指标的初始监控取值范围进行调整,得到适用于所述用户集合中所有用户的目标异常取值范围。
2.根据权利要求1所述的方法,所述方法还包括:
对所述用户集合中所有用户进行分组,得到所述用户集合对应的各用户组;
对所述目标异常取值范围进行划分,得到各用户组的异常测试取值范围;
获得各用户组的异常测试响应数据,所述异常测试响应数据表征所述用户组中的用户采用对应的异常测试取值范围对所述监控对象进行监控的结果;
根据所述各用户组的异常测试响应数据和所述各用户组的异常测试取值范围,对所述目标异常取值范围进行调整,包括:在至少一个用户组的异常测试响应数据指示测试通过的情况下,以测试通过的用户组的异常测试取值范围为基准,对目标异常取值范围进行调整;在各用户组的异常测试响应数据指示测试失败的情况下,禁止对目标异常取值范围进行调整,或者重新计算目标异常取值范围。
3.根据权利要求2所述的方法,所述方法还包括:若接收到用户级别的报警数据,触发所述对所述用户集合中所有用户进行分组和所述对所述目标异常取值范围进行划分,以重新对所述目标异常取值范围进行调整,所述用户级别的报警数据用于指示报警是由用户触发。
4.根据权利要求2或3所述的方法,所述方法还包括:若通过所述目标异常取值范围对所述监控对象进行监控的预设时间内没有出现报警,计算所述目标异常取值范围内各数值之间的标准差;
若各数值之间的标准差小于阈值,则将所述目标异常取值范围对应的监控指标从所述用户集合的监控指标范围中移除。
5.根据权利要求1所述的方法,所述获取用户的身份特征数据包括:获取预先标注的用户的身份特征数据;
或者
所述获取用户的身份特征数据包括:获取用户所属工作组信息、用户所访问资源的类型和用户的访问记录数据中的至少一种,根据用户所属工作组信息、用户所访问资源的类型和用户的访问记录数据中的至少一种,得到所述用户的身份特征数据。
6.根据权利要求1所述的方法,所述获取用户的行为特征数据包括:获取用户在对所述监控对象进行监控时得到的异常事件和所述用户对异常事件的响应数据,所述异常事件表征出所述监控指标,所述响应数据表征出监控要求。
7.根据权利要求1、2、3、5和6中任意一项所述的方法,所述获取所述监控指标的初始监控取值范围包括:
获取根据所述监控指标对所述监控对象进行监控的历史监控数据;
从所述历史监控数据中提取出指示所述监控对象异常的监控取值;
根据所述监控取值,得到所述监控指标的初始监控取值范围。
8.根据权利要求1、2、3、5和6中任意一项所述的方法,所述根据所述监控要求,对所述监控指标的初始监控取值范围进行调整包括:
根据所述监控要求,确定对所述初始监控取值范围进行调整的调整参数,根据所述调整参数对所述初始监控取值范围进行调整。
9.一种数据调整装置,包括:
获取单元,用于获取用户的身份特征数据和获取用户的行为特征数据;
划分单元,用于根据所述用户的身份特征数据,划分所述用户至对应的用户集合中,所述用户集合中各用户对同一监控对象进行监控;
确定单元,用于根据所述用户集合中所有用户的行为特征数据,确定所述用户集合中所有用户在对所述监控对象进行监控时的监控指标以及监控要求,所述监控指标用于指示对所述监控对象进行监控的监控方向,所述监控要求用于表征从所述监控方向对所述监控对象进行监控时的要求;
所述获取单元,还用于获取所述监控指标的初始监控取值范围;
调整单元,用于根据所述监控要求,对所述监控指标的初始监控取值范围进行调整,得到适用于所述用户集合中所有用户的目标异常取值范围。
10.根据权利要求9所述的装置,所述装置还包括:
分组单元,用于对所述用户集合中所有用户进行分组,得到所述用户集合对应的各用户组;以及用于对所述目标异常取值范围进行划分,得到各用户组的异常测试取值范围;
获得单元,用于获得各用户组的异常测试响应数据,所述异常测试响应数据表征所述用户组中的用户采用对应的异常测试取值范围对所述监控对象进行监控的结果;
所述调整单元,还用于根据所述各用户组的异常测试响应数据和所述各用户组的异常测试取值范围,对所述目标异常取值范围进行调整,包括:在至少一个用户组的异常测试响应数据指示测试通过的情况下,以测试通过的用户组的异常测试取值范围为基准,对目标异常取值范围进行调整;在各用户组的异常测试响应数据指示测试失败的情况下,禁止对目标异常取值范围进行调整,或者重新计算目标异常取值范围。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911419499.9A CN111190796B (zh) | 2019-12-31 | 2019-12-31 | 一种数据调整方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911419499.9A CN111190796B (zh) | 2019-12-31 | 2019-12-31 | 一种数据调整方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111190796A CN111190796A (zh) | 2020-05-22 |
CN111190796B true CN111190796B (zh) | 2021-10-22 |
Family
ID=70707967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911419499.9A Active CN111190796B (zh) | 2019-12-31 | 2019-12-31 | 一种数据调整方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111190796B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101047836A (zh) * | 2006-03-30 | 2007-10-03 | 英保达股份有限公司 | 监控***及方法 |
CN101931534A (zh) * | 2010-08-30 | 2010-12-29 | 中兴通讯股份有限公司 | 操作员资源使用许可的管理方法和装置 |
CN102117306A (zh) * | 2010-01-04 | 2011-07-06 | 阿里巴巴集团控股有限公司 | Etl数据处理过程的监控方法及其*** |
CN102427462A (zh) * | 2012-01-13 | 2012-04-25 | 潘薇 | 一种通过深度识别并登记的“基因式网络身份管理”方法 |
CN103412911A (zh) * | 2013-08-02 | 2013-11-27 | 中国工商银行股份有限公司 | 数据库***的性能监控方法以及装置 |
CN110262944A (zh) * | 2019-06-21 | 2019-09-20 | 四川长虹电器股份有限公司 | 一种对K8s集群容器资源进行监控并进行告警的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010218608A (ja) * | 2009-03-16 | 2010-09-30 | Hitachi Ltd | 光情報記録再生方法及び装置及び媒体 |
-
2019
- 2019-12-31 CN CN201911419499.9A patent/CN111190796B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101047836A (zh) * | 2006-03-30 | 2007-10-03 | 英保达股份有限公司 | 监控***及方法 |
CN102117306A (zh) * | 2010-01-04 | 2011-07-06 | 阿里巴巴集团控股有限公司 | Etl数据处理过程的监控方法及其*** |
CN101931534A (zh) * | 2010-08-30 | 2010-12-29 | 中兴通讯股份有限公司 | 操作员资源使用许可的管理方法和装置 |
CN102427462A (zh) * | 2012-01-13 | 2012-04-25 | 潘薇 | 一种通过深度识别并登记的“基因式网络身份管理”方法 |
CN103412911A (zh) * | 2013-08-02 | 2013-11-27 | 中国工商银行股份有限公司 | 数据库***的性能监控方法以及装置 |
CN110262944A (zh) * | 2019-06-21 | 2019-09-20 | 四川长虹电器股份有限公司 | 一种对K8s集群容器资源进行监控并进行告警的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111190796A (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20070130330A1 (en) | System for inventing computer systems and alerting users of faults to systems for monitoring | |
US20070168696A1 (en) | System for inventing computer systems and alerting users of faults | |
CN107888441B (zh) | 一种网络流量基线自学习自适应方法 | |
CN108123849B (zh) | 检测网络流量的阈值的确定方法、装置、设备及存储介质 | |
US20030110007A1 (en) | System and method for monitoring performance metrics | |
KR20190006032A (ko) | 이상 데이터의 중요도 판정 장치 및 이상 데이터의 중요도 판정 방법 | |
US8543689B2 (en) | Apparatus and method for analysing a computer infrastructure | |
CN108718303B (zh) | 安全运维管理方法及*** | |
CN101471808B (zh) | 一种群集储存***的报警显示***及方法 | |
CN108075913B (zh) | 一种播发***服务质量的监控方法及其*** | |
CN103392176A (zh) | 网络事件管理 | |
WO2015027954A1 (en) | Management of operational data from multiple data sources | |
CN114201201A (zh) | 一种对业务***异常检测方法、装置及设备 | |
CN117370469A (zh) | 用于在大数据环境中高效数据复制的方法和*** | |
CN106951360B (zh) | 数据统计完整度计算方法和*** | |
CN111190796B (zh) | 一种数据调整方法及装置 | |
CN113190426B (zh) | 一种大数据评分***稳定性监控方法 | |
CN114531338A (zh) | 一种基于调用链数据的监控告警和溯源方法及*** | |
CN114564469A (zh) | 采集数据的处理方法及*** | |
CN113342625A (zh) | 一种数据监控方法及*** | |
JP7081953B2 (ja) | アラート通知装置およびアラート通知方法 | |
CN110600112A (zh) | 一种用于发现零部件质量问题的方法、装置及设备 | |
CN117692302B (zh) | 一种数据收集存储和智能监控告警的方法及*** | |
CN112131083B (zh) | 一种告警事务处理方法及装置 | |
CN117785623A (zh) | 一种性能指标分析方法、装置、存储介质及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |