CN112801434A - 性能指标健康度的监测方法、装置、设备和存储介质 - Google Patents
性能指标健康度的监测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112801434A CN112801434A CN201911106724.3A CN201911106724A CN112801434A CN 112801434 A CN112801434 A CN 112801434A CN 201911106724 A CN201911106724 A CN 201911106724A CN 112801434 A CN112801434 A CN 112801434A
- Authority
- CN
- China
- Prior art keywords
- monitored
- index
- target
- score
- degree score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Optimization (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提出一种性能指标健康度的监测方法、装置、设备和存储介质,该方法包括:获取待监测指标在目标时刻的实际值;根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分;根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。该方法降低了人力成本,提高了监测结果的准确性。
Description
技术领域
本申请涉及通信领域,具体涉及一种性能指标健康度的监测方法、装置、设备和存储介质。
背景技术
作为信息时代重要的基础设施,通信网络***需要保证持续稳定的运行,以满足社会日常、商业及公共服务等各方面的通讯需要。为此,设备开发人员设计了众多种类的性能指标,方便网络运维人员监控网络各组件以及网络的运行状态。运维人员可以快速地根据性能指标的健康度,推断当前网络或者某个组件的运行状况,有利于及时发现网络故障,并进行故障恢复。但是,传统的方式需要人工设定各个性能指标的检测阈值,随着网络***日趋复杂,人工给大量的性能指标设定阈值存在很大困难,从而导致人力成本较高,且监测结果的准确性也较低。
发明内容
本申请提供用于性能指标健康度的监测方法、装置、设备和存储介质。
本申请实施例提供一种性能指标健康度的监测方法,包括:
获取待监测指标在目标时刻的实际值;
根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,所述偏移度评分用于表征所述实际值相对于所述待监测指标在所述目标时刻的预测值的偏移程度,所述异常持续度评分用于表征在包含所述目标时刻的预设时间窗内所述待监测指标的实际值为异常值的占比;
根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。
本申请实施例提供一种性能指标健康度的监测装置,包括:
第一获取模块,用于获取待监测指标在目标时刻的实际值;
第一确定模块,用于根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,所述偏移度评分用于表征所述实际值相对于所述待监测指标在所述目标时刻的预测值的偏移程度,所述异常持续度评分用于表征在包含所述目标时刻的预设时间窗内所述待监测指标的实际值为异常值的占比;
第二确定模块,用于根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。
本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现本申请实施例中的任意一种方法。
本申请实施例提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例中的任意一种方法。
本申请实施例提供的性能指标健康度的监测方法、装置、设备和存储介质,计算机设备获取待监测指标在目标时刻的实际值,根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,并根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。上述用于确定待监测指标的偏移度评分和异常持续度评分的异常监测模型是预先训练得到的,即异常监测模型的参数是预先训练得到的,也就是说,相当于待监测指标的检测阈值的参数并不是人工进行设定的,减少了人为的参与,从而降低了人力成本,且提高了监测结果的准确性。同时,待监测指标的第一健康度评分是综合偏移度评分以及异常持续度评分两个方面得到的,参考的因素比较全面,从而进一步提高了监测结果的准确性。
附图说明
图1为一实施例提供的性能指标健康度的监测方法流程示意图;
图2为一实施例提供的一种通信***的架构示意图;
图3为另一实施例提供的性能指标健康度的监测方法流程示意图;
图4为一实施例提供的性能指标健康度的监测装置的内部结构示意图;
图5为一实施例提供的一种计算机设备的内部结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下文中将结合附图对本申请的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
需要说明的是,下述方法实施例的执行主体可以是性能指标健康度的监测装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例以执行主体是计算机设备为例进行说明。
图1为一实施例提供的性能指标健康度的监测方法流程示意图。本实施例涉及的是计算机设备如何确定待监测指标在目标时刻的健康度评分的具体过程。如图1所示,该方法可以包括:
S101、获取待监测指标在目标时刻的实际值。
其中,待监测指标为通信***中任意一个需要进行监测的性能指标。以通信***为长期演进(Long Term Evolution,LTE)无线网络***为例,如图2所示,一个典型的LTE无线网络***包含有多个基站,一个基站又按逻辑划分成几个小区(如图2中的小区1、小区2以及小区3)。每个小区下有多个终端(如手机用户)接入,进行无线通话、上网、看视频等移动通信活动。一些关键性能指标(KPI,Key Performance Indicator),例如无线资源控制(Radio Resource Control,RRC)掉话率、RRC连接建立成功率、上下行平均流量等,这些KPI可以反映该网络***的运行状态。通过对这些KPI进行实时健康度检测,可以辅助运维人员对网络***进行管理。
S102、根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分。
其中,可选的,所述异常监测模型的参数可以包括所述待监测指标在每个时刻的预测值、正常值上限以及正常值下限,所述偏移度评分用于表征所述实际值相对于所述待监测指标在所述目标时刻的预测值的偏移程度,所述异常持续度评分用于表征在包含所述目标时刻的预设时间窗内所述待监测指标的实际值为异常值的占比。
上述异常监测模型是预先通过待监测指标的历史数据进行训练得到的,在实际应用中,可以根据网络的整体运行状态,设定异常监测模型的训练周期。比如,当网络的整体运行状态比较平稳时,可以将异常监测模型的训练周期设置得较大一些,当网络的整体运行状态存在波动时,可以将异常监测模型的训练周期设置得较小一些,且可以采用距离目标时刻比较靠近的时段的历史数据来进行模型的训练。另外,这些用于训练的历史数据也是经过预处理之后得到的正常数据。训练得到的异常监测模型中可以包括三个参数,分别为待监测指标在每个时刻的预测值、正常值上限以及正常值下限。这样,计算机设备便可以实时读取待监测指标在目标时刻的实际值,并根据异常监测模型中包含的上述三个参数,来确定待监测指标在目标时刻的实际值相对于在目标时刻的预测值的偏移程度,从而得到待监测指标在目标时刻的偏移度评分;以及根据异常监测模型中包含的待监测指标在每个时刻的正常值上限参数以及正常值下限参数,确定待监测指标在目标时刻的实际值的异常情况,并结合待监测指标在预设时间窗内的实际值的异常情况,得到待监测指标在目标时刻的异常持续度评分。
可选的,上述根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分的过程可以为:根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的预测值参数、正常值上限参数以及正常值下限参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分。
具体的,计算机设备可以根据如下公式1和公式2,确定待监测指标在目标时刻的偏移度评分sd。
其中,a和b分别为大于零的参数,y为所述实际值,yupper以及ylower为预先训练得到的异常监测模型的参数,且为所述待监测指标在所述目标时刻t的预测值,yupper为所述待监测指标在所述目标时刻t的正常值上限,ylower为所述待监测指标在所述目标时刻t的正常值下限。
可选的,上述根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的异常持续度评分的过程可以为:根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的正常值上限参数以及正常值下限参数,确定所述实际值为异常值的第一概率;获取预设时间窗内所述待监测指标在各个历史时刻的第二概率,所述第二概率用于表征所述待监测指标在目标历史时刻的实际值为异常值的概率;根据所述第一概率和所述第二概率,确定所述待监测指标在所述目标时刻的异常持续度评分。
具体的,计算机设备判断待监测指标在目标时刻的实际值大于在目标时刻的正常值上限,或者小于在目标时刻的正常值下限时,确定实际值为异常值的第一概率为1,在判断待监测指标在目标时刻的实际值位于在目标时刻的正常值下限和正常值上限之间时,确定实际值为异常值的第一概率为0。同时,计算机设备根据第一概率以及预设时间窗内待监测指标在各个历史时刻的第二概率,确定待监测指标在目标时刻的异常持续度评分。其中,预设时间窗可以根据实际需求进行相应的设置。以预设时间窗设定为5个时刻为例,假设起始时刻为第1时刻,目标时刻为第5时刻,计算机设备需确定待监测指标在第5时刻的实际值为异常值的第一概率,并结合待监测指标在第1时刻、第2时刻、第3时刻以及第4时刻的实际值为异常值的第二概率,可以基于第一概率和第二概率的算术平均值确定待监测指标在第5时刻的异常持续度评分。当在整个预设时间窗内待监测指标的实际值均为异常值时,确定出的待监测指标在目标时刻的异常持续度评分为1;当在整个预设时间窗内待监测指标的实际值均为正常值时,确定出的待监测指标在目标时刻的异常持续度评分为0。
需要说明的是,上述待监测指标在第1时刻、第2时刻、第3时刻以及第4时刻的实际值为异常值的第二概率的确定过程可以参照上述待监测指标在第5时刻的实际值为异常值的第一概率的确定过程,本实施例在此不再赘述。在实际应用中,计算机设备将待监测指标在第1时刻、第2时刻、第3时刻以及第4时刻的实际值为异常值的第二概率进行存储,在确定待监测指标在第5时刻的异常持续度评分时,直接读取存储的相应值进行计算即可。
S103、根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。
具体的,计算机设备可以合并上述得到的偏移度评分和异常持续度评分,从而得到待监测指标在目标时刻的第一健康度评分。其中,第一健康度评分可以反映设备的运行状态,待监测指标的第一健康度评分越高,则说明设备的运行状态越正常。可选的,计算机设备可以根据如下公式3确定待监测指标在目标时刻的第一健康度评分sh。
公式3:sh=1-(ωa*sa+ωd*sd),
其中,ωa为偏移度评分sa所占的权重,ωd为异常持续度评分sd所占的权重,ωa∈[0,1]ωd∈[0,1],ωa与ωd之和等于1,可以根据实际需求,对ωa和ωd进行相应的设置。从上述公式可知,待监测指标的偏离度得分和异常持续程度得分越高,其第一健康度得分sh越低。
为了提高人机交互的智能性,可选的,在得到了待监测指标的第一健康度评分之后,该方法还可以包括:根据所述第一健康度评分和预设的状态映射关系,确定所述待监测指标在所述目标时刻的目标状态,并输出所述目标状态,其中,所述状态映射关系包括第一健康度评分与指标状态之间的对应关系。
具体的,预设的状态映射关系可以对第一健康度评分做四级分档,比如,正常(0.75~1.0分)、亚健康(0.5~0.75分)、预警(0.25~0.5分)和故障状态(0~0.25分)。这样,计算机设备便可以根据得到的第一健康度评分和上述状态映射关系,确定待监测指标在目标时刻的目标状态,并输出目标状态。同时,可以针对不同的目标状态,使用不同的颜色进行标注区分。如,当目标状态为故障时,使用“红色”标注目标状态,当目标状态为预警时,使用“蓝色”标注目标状态,当目标状态为亚健康时,使用“黄色”标注目标状态。当然,也可以向运维人员的终端发送上述得到的目标状态,以引起运维人员的关注。
本申请实施例提供的性能指标健康度的监测方法,计算机设备获取待监测指标在目标时刻的实际值,根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,并根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。上述用于确定待监测指标的偏移度评分和异常持续度评分的异常监测模型是预先训练得到的,即异常监测模型的参数是预先训练得到的,也就是说,相当于待监测指标的检测阈值的参数并不是人工进行设定的,减少了人为的参与,从而降低了人力成本,提高了监测结果的准确性。同时,待监测指标的第一健康度评分是综合偏移度评分以及异常持续度评分两个方面得到的,参考的因素比较全面,从而进一步提高了监测结果的准确性。
在一个实施例中,还提供了一种上述异常监测模型的获取过程,可选的,如图3所示,在上述S101之前,该方法还可以包括:
S201、获取待监测指标的历史数据。
其中,为了使训练得到的异常监测模型更贴合待监测指标近期的实际状态,可以选取距离目标时刻比较靠近的时段的历史数据。假设以待监测指标为某基站的RRC掉话率作为分析的对象,该RRC掉话率采集时间为30天,采集粒度为15分钟。可以通过读取第1~15天的RRC掉话率数据,来训练用于监测第16天的RRC掉话率的健康度所用的异常监测模型。随着时间的推移,到达第17天时,可以通过读取第2~16天的RRC掉话率数据,来训练用于监测第17天的RRC掉话率的健康度所用的异常检测模型,以此类推。当然,当网络的整体运行状态比较平稳时,可以将异常监测模型的训练周期设置得较大一些。比如,两天训练一次或者间隔更多天数训练一次。
可选的,可以对获取的待监测指标的历史数据进行预处理,比如对历史数据进行去噪处理,使得用于训练异常监测模型参数的历史数据属于正常数据。
S202、确定所述历史数据的数据类型。
其中,计算机设备可以采用离散傅里叶变换(DFT,Discrete Fourier Transform)算法判断历史数据的数据类型是否存在周期型,当然,还可以采用其它算法判别历史数据的数据类型是否存在随机性以及是否存在趋势性等。
S203、根据所述数据类型和预设的模型映射关系,确定待训练的目标基础模型,其中,所述模型映射关系包括数据类型与基础模型之间的对应关系。
其中,当历史数据的数据类型被判别为周期型时,可以选择三次指数平滑(Holt-Winters)模型作为待训练的目标基础模型,当历史数据的数据类型被判别为随机型时,可以选择核密度估计算法作为待训练的目标基础模型,当历史数据的数据类型被判别为其它类型时,选择对应建模算法作为待训练的目标基础模型。
S204、根据所述历史数据对所述目标基础模型进行训练,得到异常监测模型。
其中,可选的,训练得到的异常监测模型的参数可以包括所述待监测指标在接下来的每个时刻的预测值、正常值上限以及正常值下限。
在本实施例中,由于在获取异常监测模型的过程中,计算机设备可以选用与历史数据的数据类型相对应的目标基础模型作为待训练的模型,并结合确定的目标基础模型和历史数据,得到用于确定待监测指标的偏移度评分和异常持续度评分的异常监测模型,从而提高了异常监测模型的参数的准确性,进而进一步提高了以异常监测模型的参数为监测基准的监测结果的准确性。
在实际应用中,需要对多个性能指标进行综合分析,以得到同个组件的健康度评分。可选的,在上述实施例的基础上,该方法还可以包括:获取目标组件对应的各个待监测指标的第一健康度评分;合并所述各个待监测指标的第一健康度评分,得到所述目标组件在所述目标时刻的第二健康度评分。
具体的,组件含义可以是物理上的,也可以是逻辑上的,以如图2所示的LTE无线网络***为例,一个基站可视为一个组件;无线性能指标数量很多,一般根据业务逻辑可以分为接入类、保持类、感知类、移动性等,用于表征不同方面的***运行状态,针对某一类性能指标,可以视为一个组件,如可以将接入类指标视为一个组件。
上述目标组件为通信***中任意一个需要进行监测的组件。该目标组件可以包括多个性能指标,每个性能指标均为待监测指标,目标组件包括的多个待监测指标的第一健康度评分的获取过程可以参照上述实施例的过程。在得到目标组件包括的各个待监测指标的第一健康度评分之后,计算机设备可以根据如下公式4合并各个待监测指标的第一健康度评分,得到目标组件在目标时刻的第二健康度评分s。
其中,m为目标组件包括的待监测指标的个数,si为目标组件的第i个待监测指标的第一健康度评分,ωi为目标组件的第i个待监测指标的权重系数,ωi∈[0,1],各个待监测指标的权重系数之和等于1。
当然,计算机设备还可以通过对目标组件包括的各个待监测指标的偏离度得分进行合并,以及对各个待监测指标的异常持续度评分进行合并,并基于合并后的偏离度得分和合并后的异常持续度评分进行综合计算,得到目标组件在目标时刻的第二健康度评分。
可选的,在得到了目标组件的第二健康度评分之后,还可以根据目标组件的第二健康度评分确定目标组件的目标状态,并输出所确定的目标状态,即对目标组件的总体健康度评分进行分级分档处理。
在实际应用中,还需要对多个组件进行综合分析,以得到通信***的健康度评分。可选的,在上述实施例的基础上,该方法还可以包括:获取目标***对应的各个组件的第二健康度评分;合并所述各个组件的第二健康度评分,得到所述目标***在所述目标时刻的第三健康度评分。
具体的,目标***为需要进行监测的通信***,该目标***可以包括多个组件,可以通过对这多个组件的健康度评分进行综合分析,以得到该目标***的健康度评分。针对各个组件中的每个组件,每个组件的第二健康度评分的获取过程可以参照上述目标组件的第二健康度评分的获取过程,本实施例在此不再赘述。计算机设备在得到了目标***包括的各个组件的第二健康度评分之后,可以根据如下公式5合并各个组件的第二健康度评分,以确定目标***在目标时刻的第三健康度评分sc。
其中,n为目标***包括的目标组件的个数,sj为目标***的第j个目标组件的第二健康度评分,ωj为目标***的第j个目标组件的权重系数,ωj∈[0,1],各个目标组件的权重系数之和等于1。
当然,计算机设备还可以通过对目标***包括的各个组件的偏离度得分进行合并,以及对各个组件的异常持续度评分进行合并,并基于合并后的偏离度得分和合并后的异常持续度评分进行综合计算,得到目标***在目标时刻的第三健康度评分。
可选的,在得到了目标***的第三健康度评分之后,还可以根据目标***的第三健康度评分确定目标***的目标状态,并输出所确定的目标状态,即对目标***的总体健康度评分进行分级分档处理。
在实际应用中,部分待监测指标存在关联关系,该部分待监测指标可以是同组件同***中的,也可以是跨组件跨***中的,例如,针对一个通信***,可以包括接入类指标、保持类指标、感知类指标以及移动性指标,这些不同类的指标也许不归属同一组件,有的属于接入侧指标,有的属于核心侧指标,但是,它们的健康度评分可以反映整个通信***的健康度评分,即这些各类待监测指标之间是存在关联关系的。即使是同一组件的待监测指标,如接入类指标可以包括接入侧的接入指标,还包括核心侧的接入指标,接入侧的接入指标的健康度评分和核心侧的接入指标健康度评分可以共同反映接入类指标的健康度评分,即核心侧的接入指标和接入侧的接入指标是存在关联关系的,在此对于关联关系不再一一列举。因此,还需要对多个存在关联关系的待监测指标进行综合分析,以得到关联指标的健康度评分。可选的,在上述实施例的基础上,该方法还可以包括:获取存在关联关系的各个待监测指标的第一健康度评分;合并所述各个待监测指标的第一健康度评分,得到关联指标在所述目标时刻的第四健康度评分。
具体的,上述关联关系可以由人工设定,也可以通过关联算法由计算机设备自动设定。计算机设备可以采用如下公式6合并关联指标包括的各个待监测指标的第一健康度评分,以确定关联指标在目标时刻的第四健康度评分sd。
其中,k为关联指标包括的待监测指标的个数,sl为关联指标的第l个待监测指标的第一健康度评分,ωl为关联指标的第l个待监测指标的权重系数,ωl∈[0,1],各个待监测指标的权重系数之和等于1。
当然,计算机设备还可以通过对关联指标包括的各个待监测指标的偏离度得分进行合并,以及对各个待监测指标的异常持续度评分进行合并,并基于合并后的偏离度得分和合并后的异常持续度评分进行综合计算,得到关联指标在目标时刻的第四健康度评分。
可选的,在得到了关联指标的第四健康度评分之后,还可以根据关联指标的第四健康度评分确定关联指标的目标状态,并输出所确定的目标状态,即对关联指标的总体健康度评分进行分级分档处理。
在本实施例中,计算机设备可以对同个组件多个性能指标进行健康度融合评分以及对多个组件的健康度融合评分,方便从单个组件以及整个***等多个维度对通信***的状态进行监控,有利于运维人员更全面的监控***的运行状态,从而提高了监控的智能性。
图4为一实施例提供的性能指标健康度的监测装置的内部结构示意图,如图4所示,该装置可以包括:第一获取模块10、第一确定模块11和第二确定模块12。
具体的,第一获取模块10用于获取待监测指标在目标时刻的实际值;
第一确定模块11用于根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,所述偏移度评分用于表征所述实际值相对于所述待监测指标在所述目标时刻的预测值的偏移程度,所述异常持续度评分用于表征在包含所述目标时刻的预设时间窗内所述待监测指标的实际值为异常值的占比;
第二确定模块12用于根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。
本申请实施例提供的性能指标健康度的监测装置,计算机设备获取待监测指标在目标时刻的实际值,根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,并根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。上述用于确定待监测指标的偏移度评分和异常持续度评分的异常监测模型是预先训练得到的,即异常监测模型的参数是预先训练得到的,也就是说,相当于待监测指标的检测阈值的参数并不是人工进行设定的,减少了人为的参与,从而降低了人力成本,提高了监测结果的准确性。同时,待监测指标的第一健康度评分是综合偏移度评分以及异常持续度评分两个方面得到的,参考的因素比较全面,从而进一步提高了监测结果的准确性。
可选的,在上述实施例的基础上,该装置还包括:第二获取模块、第三确定模块、第四确定模块和训练模块。
具体的,第二获取模块用于在所述第一获取模块获取待监测指标在目标时刻的实际值之前,获取待监测指标的历史数据;
第三确定模块用于确定所述历史数据的数据类型;
第四确定模块用于根据所述数据类型和预设的模型映射关系,确定待训练的目标基础模型,其中,所述模型映射关系包括数据类型与基础模型之间的对应关系;
训练模块用于根据所述历史数据对所述目标基础模型进行训练,得到异常监测模型。
可选的,在上述实施例的基础上,该装置还包括:第三获取模块和第一合并模块。
具体的,第三获取模块用于获取目标组件对应的各个待监测指标的第一健康度评分;
第一合并模块用于合并所述各个待监测指标的第一健康度评分,得到所述目标组件在所述目标时刻的第二健康度评分。
可选的,在上述实施例的基础上,该装置还包括:第四获取模块和第二合并模块。
具体的,第四获取模块用于获取目标***对应的各个组件的第二健康度评分;
第二合并模块用于合并所述各个组件的第二健康度评分,得到所述目标***在所述目标时刻的第三健康度评分。
可选的,在上述实施例的基础上,该装置还包括:第五获取模块和第三合并模块。
具体的,第五获取模块用于获取存在关联关系的各个待监测指标的第一健康度评分;
第三合并模块用于合并所述各个待监测指标的第一健康度评分,得到关联指标在所述目标时刻的第四健康度评分。
可选的,在上述实施例的基础上,该装置还包括:处理模块。
具体的,处理模块用于根据所述第一健康度评分和预设的状态映射关系,确定所述待监测指标在所述目标时刻的目标状态,并输出所述目标状态,其中,所述状态映射关系包括第一健康度评分与指标状态之间的对应关系。
可选的,在上述实施例的基础上,所述第一确定模块具体用于根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的预测值参数、正常值上限参数以及正常值下限参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分。
可选的,在上述实施例的基础上,所述第一确定模块,具体用于根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的正常值上限参数以及正常值下限参数,确定所述实际值为异常值的第一概率;获取预设时间窗内所述待监测指标在各个历史时刻的第二概率,所述第二概率用于表征所述待监测指标在目标历史时刻的实际值为异常值的概率;根据所述第一概率和所述第二概率,确定所述待监测指标在所述目标时刻的异常持续度评分。
可选的,所述异常监测模型的参数包括所述待监测指标在每个时刻的预测值、正常值上限以及正常值下限。
在一个实施例中,提供了一种计算机设备,其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储性能指标健康度的监测过程中的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种性能指标健康度的监测方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待监测指标在目标时刻的实际值;
根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,所述偏移度评分用于表征所述实际值相对于所述待监测指标在所述目标时刻的预测值的偏移程度,所述异常持续度评分用于表征在包含所述目标时刻的预设时间窗内所述待监测指标的实际值为异常值的占比;
根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取待监测指标的历史数据;确定所述历史数据的数据类型;根据所述数据类型和预设的模型映射关系,确定待训练的目标基础模型,其中,所述模型映射关系包括数据类型与基础模型之间的对应关系;根据所述历史数据对所述目标基础模型进行训练,得到异常监测模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取目标组件对应的各个待监测指标的第一健康度评分;合并所述各个待监测指标的第一健康度评分,得到所述目标组件在所述目标时刻的第二健康度评分。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取目标***对应的各个组件的第二健康度评分;合并所述各个组件的第二健康度评分,得到所述目标***在所述目标时刻的第三健康度评分。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取存在关联关系的各个待监测指标的第一健康度评分;合并所述各个待监测指标的第一健康度评分,得到关联指标在所述目标时刻的第四健康度评分。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据所述第一健康度评分和预设的状态映射关系,确定所述待监测指标在所述目标时刻的目标状态,并输出所述目标状态,其中,所述状态映射关系包括第一健康度评分与指标状态之间的对应关系。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的预测值参数、正常值上限参数以及正常值下限参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的正常值上限参数以及正常值下限参数,确定所述实际值为异常值的第一概率;获取预设时间窗内所述待监测指标在各个历史时刻的第二概率,所述第二概率用于表征所述待监测指标在目标历史时刻的实际值为异常值的概率;根据所述第一概率和所述第二概率,确定所述待监测指标在所述目标时刻的异常持续度评分。
可选的,所述异常监测模型的参数包括所述待监测指标在每个时刻的预测值、正常值上限以及正常值下限。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待监测指标在目标时刻的实际值;
根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,所述偏移度评分用于表征所述实际值相对于所述待监测指标在所述目标时刻的预测值的偏移程度,所述异常持续度评分用于表征在包含所述目标时刻的预设时间窗内所述待监测指标的实际值为异常值的占比;
根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取待监测指标的历史数据;确定所述历史数据的数据类型;根据所述数据类型和预设的模型映射关系,确定待训练的目标基础模型,其中,所述模型映射关系包括数据类型与基础模型之间的对应关系;根据所述历史数据对所述目标基础模型进行训练,得到异常监测模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取目标组件对应的各个待监测指标的第一健康度评分;合并所述各个待监测指标的第一健康度评分,得到所述目标组件在所述目标时刻的第二健康度评分。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取目标***对应的各个组件的第二健康度评分;合并所述各个组件的第二健康度评分,得到所述目标***在所述目标时刻的第三健康度评分。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取存在关联关系的各个待监测指标的第一健康度评分;合并所述各个待监测指标的第一健康度评分,得到关联指标在所述目标时刻的第四健康度评分。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据所述第一健康度评分和预设的状态映射关系,确定所述待监测指标在所述目标时刻的目标状态,并输出所述目标状态,其中,所述状态映射关系包括第一健康度评分与指标状态之间的对应关系。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的预测值参数、正常值上限参数以及正常值下限参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的正常值上限参数以及正常值下限参数,确定所述实际值为异常值的第一概率;获取预设时间窗内所述待监测指标在各个历史时刻的第二概率,所述第二概率用于表征所述待监测指标在目标历史时刻的实际值为异常值的概率;根据所述第一概率和所述第二概率,确定所述待监测指标在所述目标时刻的异常持续度评分。
可选的,所述异常监测模型的参数包括所述待监测指标在每个时刻的预测值、正常值上限以及正常值下限。
上述实施例中提供的性能指标健康度的监测装置、计算机设备以及存储介质可执行本申请任意实施例所提供的性能指标健康度的监测方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的性能指标健康度的监测方法。
以上所述,仅为本申请的示例性实施例而已,并非用于限定本申请的保护范围。
一般来说,本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如,一些方面可以被实现在硬件中,而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中,尽管本申请不限于此。
本申请的实施例可以通过故障注入测试装置的数据处理器执行计算机程序指令来实现,例如在处理器实体中,或者通过硬件,或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。
本申请附图中的任何逻辑流程的框图可以表示程序步骤,或者可以表示相互连接的逻辑电路、模块和功能,或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现,例如但不限于只读存储器(ROM)、随机访问存储器(RAM)、光存储器装置和***(数码多功能光碟DVD或CD光盘)等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型,例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑器件(FGPA)以及基于多核处理器架构的处理器。
通过示范性和非限制性的示例,上文已提供了对本申请的示范实施例的详细描述。但结合附图和权利要求来考虑,对以上实施例的多种修改和调整对本领域技术人员来说是显而易见的,但不偏离本申请的范围。因此,本申请的恰当范围将根据权利要求确定。
Claims (12)
1.一种性能指标健康度的监测方法,其特征在于,包括:
获取待监测指标在目标时刻的实际值;
根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,所述偏移度评分用于表征所述实际值相对于所述待监测指标在所述目标时刻的预测值的偏移程度,所述异常持续度评分用于表征在包含所述目标时刻的预设时间窗内所述待监测指标的实际值为异常值的占比;
根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。
2.根据权利要求1所述的方法,其特征在于,在所述获取待监测指标在目标时刻的实际值之前,还包括:
获取待监测指标的历史数据;
确定所述历史数据的数据类型;
根据所述数据类型和预设的模型映射关系,确定待训练的目标基础模型,其中,所述模型映射关系包括数据类型与基础模型之间的对应关系;
根据所述历史数据对所述目标基础模型进行训练,得到异常监测模型。
3.根据权利要求1所述的方法,其特征在于,还包括:
获取目标组件对应的各个待监测指标的第一健康度评分;
合并所述各个待监测指标的第一健康度评分,得到所述目标组件在所述目标时刻的第二健康度评分。
4.根据权利要求1所述的方法,其特征在于,还包括:
获取目标***对应的各个组件的第二健康度评分;
合并所述各个组件的第二健康度评分,得到所述目标***在所述目标时刻的第三健康度评分。
5.根据权利要求1所述的方法,其特征在于,还包括:
获取存在关联关系的各个待监测指标的第一健康度评分;
合并所述各个待监测指标的第一健康度评分,得到关联指标在所述目标时刻的第四健康度评分。
6.根据权利要求1或2所述的方法,其特征在于,还包括:
根据所述第一健康度评分和预设的状态映射关系,确定所述待监测指标在所述目标时刻的目标状态,并输出所述目标状态,其中,所述状态映射关系包括第一健康度评分与指标状态之间的对应关系。
7.根据权利要求1-5中任一项所述的方法,其特征在于,所述根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分,包括:
根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的预测值参数、正常值上限参数以及正常值下限参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分。
8.根据权利要求1-5中任一项所述的方法,其特征在于,所述根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的异常持续度评分,包括:
根据预先训练得到的异常监测模型包含的所述待监测指标在所述目标时刻的正常值上限参数以及正常值下限参数,确定所述实际值为异常值的第一概率;
获取预设时间窗内所述待监测指标在各个历史时刻的第二概率,所述第二概率用于表征所述待监测指标在目标历史时刻的实际值为异常值的概率;
根据所述第一概率和所述第二概率,确定所述待监测指标在所述目标时刻的异常持续度评分。
9.根据权利要求1-5中任一项所述的方法,其特征在于,所述异常监测模型的参数包括所述待监测指标在每个时刻的预测值、正常值上限以及正常值下限。
10.一种性能指标健康度的监测装置,其特征在于,包括:
第一获取模块,用于获取待监测指标在目标时刻的实际值;
第一确定模块,用于根据预先训练得到的异常监测模型的参数和所述实际值,确定所述待监测指标在所述目标时刻的偏移度评分以及异常持续度评分,所述偏移度评分用于表征所述实际值相对于所述待监测指标在所述目标时刻的预测值的偏移程度,所述异常持续度评分用于表征在包含所述目标时刻的预设时间窗内所述待监测指标的实际值为异常值的占比;
第二确定模块,用于根据所述偏移度评分和所述异常持续度评分,确定所述待监测指标在所述目标时刻的第一健康度评分。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-9中任一项所述方法的步骤。
12.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911106724.3A CN112801434A (zh) | 2019-11-13 | 2019-11-13 | 性能指标健康度的监测方法、装置、设备和存储介质 |
PCT/CN2020/127672 WO2021093715A1 (zh) | 2019-11-13 | 2020-11-10 | 性能指标健康度的监测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911106724.3A CN112801434A (zh) | 2019-11-13 | 2019-11-13 | 性能指标健康度的监测方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112801434A true CN112801434A (zh) | 2021-05-14 |
Family
ID=75803254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911106724.3A Pending CN112801434A (zh) | 2019-11-13 | 2019-11-13 | 性能指标健康度的监测方法、装置、设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112801434A (zh) |
WO (1) | WO2021093715A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113593142A (zh) * | 2021-07-26 | 2021-11-02 | 中国工商银行股份有限公司 | 一种自动柜员机巡查方法及装置 |
CN114323725A (zh) * | 2022-01-26 | 2022-04-12 | 深圳市信润富联数字科技有限公司 | 点胶机健康度检测方法、装置、设备及存储介质 |
CN114896024A (zh) * | 2022-03-28 | 2022-08-12 | 同方威视技术股份有限公司 | 基于核密度估计的虚拟机运行状态检测方法和装置 |
WO2023185358A1 (zh) * | 2022-03-28 | 2023-10-05 | 同方威视技术股份有限公司 | 基于核密度估计的虚拟机运行状态检测方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10595788B2 (en) * | 2016-05-31 | 2020-03-24 | Stmicroelectronics S.R.L. | Method for the detecting electrocardiogram anomalies and corresponding system |
CN106571627A (zh) * | 2016-10-12 | 2017-04-19 | 中国南方电网有限责任公司 | 一种基于在线监测信息的二次设备健康状态评价方法 |
CN106368816B (zh) * | 2016-10-27 | 2018-09-25 | 中国船舶工业***工程研究院 | 一种基于基线偏差的船舶低速柴油机在线异常检测方法 |
CN107766299B (zh) * | 2017-10-24 | 2021-05-18 | 携程旅游信息技术(上海)有限公司 | 数据指标异常的监控方法及其***、存储介质、电子设备 |
-
2019
- 2019-11-13 CN CN201911106724.3A patent/CN112801434A/zh active Pending
-
2020
- 2020-11-10 WO PCT/CN2020/127672 patent/WO2021093715A1/zh active Application Filing
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113593142A (zh) * | 2021-07-26 | 2021-11-02 | 中国工商银行股份有限公司 | 一种自动柜员机巡查方法及装置 |
CN114323725A (zh) * | 2022-01-26 | 2022-04-12 | 深圳市信润富联数字科技有限公司 | 点胶机健康度检测方法、装置、设备及存储介质 |
CN114896024A (zh) * | 2022-03-28 | 2022-08-12 | 同方威视技术股份有限公司 | 基于核密度估计的虚拟机运行状态检测方法和装置 |
CN114896024B (zh) * | 2022-03-28 | 2022-11-22 | 同方威视技术股份有限公司 | 基于核密度估计的虚拟机运行状态检测方法和装置 |
WO2023185358A1 (zh) * | 2022-03-28 | 2023-10-05 | 同方威视技术股份有限公司 | 基于核密度估计的虚拟机运行状态检测方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021093715A1 (zh) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112801434A (zh) | 性能指标健康度的监测方法、装置、设备和存储介质 | |
CN113780691B (zh) | 数据测试方法、装置、电子设备及存储介质 | |
CN110457175B (zh) | 业务数据处理方法、装置、电子设备及介质 | |
CN112419268A (zh) | 一种输电线路图像缺陷检测方法、装置、设备及介质 | |
CN112632179A (zh) | 模型构建方法、装置、存储介质及设备 | |
CN111007452A (zh) | 一种数据采集***的故障诊断方法及装置 | |
CN110413482B (zh) | 检测方法和装置 | |
CN115883392B (zh) | 算力网络的数据感知方法、装置、电子设备及存储介质 | |
CN116743637A (zh) | 一种异常流量的检测方法、装置、电子设备及存储介质 | |
CN116227911A (zh) | 故障停电事件的风险监测预警方法、装置、设备及介质 | |
CN113052509B (zh) | 模型评估方法、模型评估装置、电子设备和存储介质 | |
CN111935279B (zh) | 基于区块链和大数据的物联网络维护方法及计算节点 | |
CN114760190A (zh) | 一种面向服务的融合网络性能异常检测方法 | |
CN114443738A (zh) | 异常数据挖掘方法、装置、设备及介质 | |
CN109558258B (zh) | 一种分布式***根源故障定位的方法及装置 | |
CN111861021A (zh) | 业务风险预测方法、装置、设备及计算机可读存储介质 | |
CN115080445B (zh) | 一种游戏测试管理方法及其*** | |
CN115001997B (zh) | 基于极值理论的智慧城市网络设备性能异常阈值评估方法 | |
CN116450632B (zh) | 地理样本数据质量评估方法、设备及存储介质 | |
CN117132176B (zh) | 基于预报因子筛选的径流预报模型构建和径流预报方法 | |
CN117667311A (zh) | 容器集群的监控告警方法及装置 | |
CN116975590A (zh) | 数据处理方法、装置、程序产品、计算机设备和介质 | |
CN117389788A (zh) | 一种大数据平台运维方法、装置、介质 | |
CN117853087A (zh) | 电力设备的数据分析*** | |
CN115170315A (zh) | 监控报告生成方法及装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |