CN107666403A - 一种指标数据的获取方法及装置 - Google Patents

一种指标数据的获取方法及装置 Download PDF

Info

Publication number
CN107666403A
CN107666403A CN201610614026.4A CN201610614026A CN107666403A CN 107666403 A CN107666403 A CN 107666403A CN 201610614026 A CN201610614026 A CN 201610614026A CN 107666403 A CN107666403 A CN 107666403A
Authority
CN
China
Prior art keywords
data
kpi
kqi
vector space
characteristic parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610614026.4A
Other languages
English (en)
Other versions
CN107666403B (zh
Inventor
孟晟
施风
王红霞
眭鸿飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201610614026.4A priority Critical patent/CN107666403B/zh
Publication of CN107666403A publication Critical patent/CN107666403A/zh
Application granted granted Critical
Publication of CN107666403B publication Critical patent/CN107666403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种指标数据的获取方法及装置，其中，指标数据的获取方法包括：获取待关联分析的关键质量指标KQI数据与关键性能指标KPI数据；利用所述KQI数据与KPI数据构成数据向量空间，提取分解所述数据向量空间的特征参数；利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度。本方案通过获取待关联分析的KQI数据与KPI数据；利用KQI数据与KPI数据构成数据向量空间，提取分解数据向量空间的特征参数；再利用特征参数分解数据向量空间，得到KQI与KPI间的量化关联度；可以全面评估所有KPI项与KQI的关联程度，进而全面准确地找出关键质量指标KQI的相关项关键性能指标KPI；为网络评估、性能优化、参数调整等提供准确依据，并极大减轻人工负担。

Description

一种指标数据的获取方法及装置
技术领域
本发明涉及网络与通信技术领域，特别是指一种指标数据的获取方法及装置。
背景技术
当服务网络(包括通信***)中某项业务质量指标(KQI)恶化，需要找出导致KQI恶化的主要关键性能指标(KPI)，以进行参数调整或网络优化。传统解决方法主要依靠人工经验，面对众多***或局部KPI、上报参数、告警信息、辅助消息等(通常多达数百条)，及时准确地排查问题非常困难。因此，KQI与KPI间的关联关系一直是业界的热点与难点。
但是，现有方法均不能量化评估KQI->KPI或KPI->KQI映射关联度，因此无法全面准确地找出KQI的相关项KPI，进一步导致如下方面的缺陷：
1)现有方法只能人工指定KQI-KPI关联模型并给定KPI间的权重；或者人为设定KQI与KPI间的中间层，为中间层参数设定权重，再用层次分析法计算KPI间的权重。两种方法均无法准确评估KPI与KQI的关联性大小。
2)现有方法只能根据经验人为选出少量“应该相关”的KPI项，以使用1)所述方法构建模型再进行关联程度计算。导致遗漏大量相关KPI，甚至完全无法找出KQI的相关KPI。其次，人工选取的KPI集合对于KQI来说，存在重复或者重叠。因此，无法找出KQI的完备正交KPI集合，进而无法指导精确网优。
3)为减少重复KPI，需要对KPI进行聚类。现有方法分为两种；一种是人工划分，另一种是仅基于欧式距离的简单聚类算法(例如K-Means)；均需要人工指定聚类个数，且未同时结合业务特征与工程意义。
4)现有方法只能定性且模糊地判决某KPI与KQI相关或不相关，无法准确指出业务类型与分布变化时，KPI是否存在潜在的相关性，也无法准确给出强相关KPI的归一化权重。
发明内容
本发明的目的在于提供一种指标数据的获取方法及装置，解决现有技术中无法全面准确地找出关键质量指标KQI的相关项关键性能指标KPI的问题。
为了解决上述技术问题，本发明实施例提供一种指标数据的获取方法，包括：
获取待关联分析的关键质量指标KQI数据与关键性能指标KPI数据；
利用所述KQI数据与KPI数据构成数据向量空间，提取分解所述数据向量空间的特征参数；
利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度。
可选的，所述利用所述KQI数据与KPI数据构成数据向量空间的步骤包括：
将所述KQI数据与所述KPI数据匹配对齐，构成所述数据向量空间。
可选的，所述提取分解所述数据向量空间的特征参数的步骤包括：
对所述KQI数据与所述KPI数据进行统计评估，提取分解所述数据向量空间的特征参数。
可选的，所述对所述KQI数据与所述KPI数据进行统计评估，提取分解所述数据向量空间的特征参数的步骤包括：
对所述KQI数据与所述KPI数据进行频度统计和分布拟合；
根据统计结果和拟合结果得到KQI的预设评估门限值；
所述利用所述特征参数分解所述数据向量空间的步骤包括：
按照业务特性，对所述KQI数据与所述KPI数据的分布进行归类；
根据归类结果和所述预设评估门限值分解所述数据向量空间。
可选的，所述利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度的步骤包括：
利用所述特征参数分解所述数据向量空间，得到KPI映射到KQI的关联分量；
对所述关联分量进行归一化处理得到所述KQI与KPI间的量化关联度。
可选的，所述利用所述特征参数分解所述数据向量空间的步骤包括：
利用所述特征参数对所述数据向量空间直接进行正交分解；或者，
对所述数据向量空间扩维后再利用所述特征参数进行分解。
可选的，所述利用所述特征参数分解所述数据向量空间的步骤包括：
利用所述特征参数按照线性分割方式分解所述数据向量空间；或者，
利用所述特征参数按照非线性分割方式分解所述数据向量空间。
可选的，还包括：
对所述KPI数据进行聚类，得到聚类表；
根据所述聚类表和所述量化关联度得到每个KQI的目标相关项KPI并获取其权重。
可选的，所述对所述KPI数据进行聚类，得到聚类表的步骤包括：
对所述KPI数据进行数据清洗，包含缺失值处理、异常值处理、规整化，以适合后续聚类及其他挖掘算法；
对清洗后的所述KPI数据进行聚类，得到聚类表。
可选的，所述对所述KPI数据进行聚类，得到聚类表的步骤包括：
若KPI之间存在因果层级关系，或者，所述KPI数据类型不统一，则根据所述KQI数据与所述KPI数据引入中间层参数数据，对所述中间层参数数据进行聚类，得到所述聚类表。
本发明还提供了一种指标数据的获取装置，包括：
获取模块，用于获取待关联分析的关键质量指标KQI数据与关键性能指标KPI数据；
第一处理模块，用于利用所述KQI数据与KPI数据构成数据向量空间，提取分解所述数据向量空间的特征参数；
第二处理模块，用于利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度。
本发明的上述技术方案的有益效果如下：
上述方案中，所述指标数据的获取方法通过获取待关联分析的KQI数据与KPI数据；利用KQI数据与KPI数据构成数据向量空间，提取分解数据向量空间的特征参数；再利用特征参数分解数据向量空间，得到KQI与KPI间的量化关联度；可以全面评估所有KPI项与KQI的关联程度，进而全面准确地找出关键质量指标KQI的相关项关键性能指标KPI；为网络评估、性能优化、参数调整等提供准确依据，并极大减轻人工负担。
附图说明
图1为本发明实施例一的指标数据的获取方法流程示意图；
图2为本发明实施例一的量化计算KQI-KPI关联度的方法流程示意图一；
图3为本发明实施例一的KPI数据特征统计与分布拟合示意图；
图4为本发明实施例一的量化计算KQI-KPI关联度的方法流程示意图二；
图5为本发明实施例一的指标数据的获取***架构示意图；
图6为本发明实施例一的指标数据的获取方法具体应用流程示意图；
图7为本发明实施例一的量化关联度ρ的判决示意图；
图8为本发明实施例二的指标数据的获取装置结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的技术中无法全面准确地找出关键质量指标KQI的相关项关键性能指标KPI的问题，提供了多种解决方案，具体如下：
实施例一
如图1所示，本发明实施例一提供的指标数据的获取方法包括：
步骤11：获取待关联分析的关键质量指标KQI数据与关键性能指标KPI数据；
步骤12：利用所述KQI数据与KPI数据构成数据向量空间，提取分解所述数据向量空间的特征参数；
步骤13：利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度。
本发明实施例一提供的所述指标数据的获取方法通过获取待关联分析的KQI数据与KPI数据；利用KQI数据与KPI数据构成数据向量空间，提取分解数据向量空间的特征参数；再利用特征参数分解数据向量空间，得到KQI与KPI间的量化关联度；可以全面评估所有KPI项与KQI的关联程度，进而全面准确地找出关键质量指标KQI的相关项关键性能指标KPI；为网络评估、性能优化、参数调整等提供准确依据，并极大减轻人工负担。
具体的，所述利用所述KQI数据与KPI数据构成数据向量空间的步骤包括：将所述KQI数据与所述KPI数据匹配对齐，构成所述数据向量空间。
所述提取分解所述数据向量空间的特征参数的步骤包括：对所述KQI数据与所述KPI数据进行统计评估，提取分解所述数据向量空间的特征参数。
更具体的，所述对所述KQI数据与所述KPI数据进行统计评估，提取分解所述数据向量空间的特征参数的步骤包括：对所述KQI数据与所述KPI数据进行频度统计和分布拟合；根据统计结果和拟合结果得到KQI的预设评估门限值；
对应的，所述利用所述特征参数分解所述数据向量空间的步骤包括：按照业务特性，对所述KQI数据与所述KPI数据的分布进行归类；根据归类结果和所述预设评估门限值分解所述数据向量空间。
其中，所述利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度的步骤包括：利用所述特征参数分解所述数据向量空间，得到KPI映射到KQI的关联分量；对所述关联分量进行归一化处理得到所述KQI与KPI间的量化关联度。
按空间维度处理，所述利用所述特征参数分解所述数据向量空间的步骤包括：利用所述特征参数对所述数据向量空间直接进行正交分解；或者，对所述数据向量空间扩维后再利用所述特征参数进行分解。
按分割方式处理，所述利用所述特征参数分解所述数据向量空间的步骤包括：利用所述特征参数按照线性分割方式分解所述数据向量空间；或者，利用所述特征参数按照非线性分割方式分解所述数据向量空间。
进一步的，所述获取方法还包括：对所述KPI数据进行聚类，得到聚类表；根据所述聚类表和所述量化关联度得到每个KQI的目标相关项KPI并获取其权重。
为了保证得到准确的结论，所述对所述KPI数据进行聚类，得到聚类表的步骤包括：对所述KPI数据进行数据清洗；对清洗后的所述KPI数据进行聚类，得到聚类表。
考虑到实际应用情况，所述对所述KPI数据进行聚类，得到聚类表的步骤包括：若KPI之间存在因果层级关系，或者，所述KPI数据类型不统一，则根据所述KQI数据与所述KPI数据引入中间层参数数据，对所述中间层参数数据进行聚类，得到所述聚类表。
下面对本发明实施例一提供的指标数据的获取方法进行进一步说明。
可以说，本发明实施例一提供了一种量化计算KQI-KPI关联度的方法，如图2所示，包括：
步骤21：将***的KQI(Key Quality Indicators)即关键质量指标、KPI(KeyPerformance Indication)即关键性能指标与辅助消息项登记入通用或专用数据库。以下全文中，KPI与辅助消息统称为KPI。
步骤22：将KQI、KPI数据匹配对齐，构成KQI与KPI数据向量空间。对齐方式可为一个或多个维度。
步骤23：对所有指标数据进行统计评估，并提取用于向量空间分解的特征参数。
其中，统计评估具体有：基本统计参数(一阶矩到四阶矩)、分布检验并拟合、可视化输出，基于这些进行自动健康度判决与辅助判决。
步骤24：对有效KPI数据进行智能聚类，得到聚类表。
用到公开算法“分层聚类”、“K-MEANS”聚类，也参考各种业务规范中的逻辑分类，比如：
对匹配后30个KPI数据依次进行3到8类的“K-MEANS”聚类，保留第一结果；
对匹配、清洗后30个KPI进行“分层聚类”，保留第二结果；
对照LTE相关协议、运营商指导规范，结合第一结果、第二结果与经验数据，进行最终聚类判决。
其中有效KPI数据是指进入数据挖掘模型后，能够得到准确结论的数据，通过数据清洗得到。有效KPI数据的条件是：符合业务规范，取值范围经过裁剪后已经合理。有效数据可提高模型精度。
步骤25：对KQI-KPI数据向量空间进行分解，分离出KPI-KQI关联分量，并计算出归一化关联度。
分解的方式：
1.按空间维度处理方式分为两种：
1)直接分解(切割或截断，比如贝叶斯方法)；
2)扩展到高维度后再进行划分(比如支持向量机SVM)。
2.按分割方式分为两种：
1)线性(比如基于距离的各种方法)；
2)非线性(比如神经网络)
步骤26：依据聚类表为每个KQI判决出最终相关项KPI并计算其权重。
其中，关联度是关联特征的鲜明程度，代表这些KPI能够解释KQI的恶化。权重表示在通信***中，这些KPI对KQI恶化的影响比重是不同的。关联度和权重是不同维度的概念。
本方案的应用场景不限于特定网络或通信***。
进一步，在执行步骤23时，还包括：
1)对指标数据进行频度统计，对频度统计进行分布拟合；
2)按照业务特性，对KPI和KQI指标数据的分布进行归类；
3)根据归类结果与拟合结论，计算门限值(可用于向量空间分解的其他参数提取，且不限于特定网络或通信***)，选取挖掘算法。
可以是计算出KQI的先验关联度分析门限，用于基于贝叶斯统计的关联分析挖掘算法。
在执行步骤24时，KPI项可取全集，或针对特定业务智能筛选出的KPI项子集；可在KQI层与KPI层间加入中间层参数，对中间层参数进行聚类：若待评估KPI项之间本身存在因果层级关系，或者因为数据类型不统一(比如布尔值、枚举值、连续值)，无法直接输入计算模型；则需要把KPI层一处理汇聚为KPI层二，将符合运算规则的KPI层二输入到计算模型中；
还可对若干KPI数据构成的向量空间进行正交分解或扩维。
在执行步骤25时，可对KQI-KPI数据向量空间特定维度直接进行分解，包括且不限于基于贝叶斯统计的KQI-KPI关联分量分离方法；也可对KQI-KPI数据向量空间进行扩维后再进行分解，包括且不限于基于支持向量机(SVM)的KQI-KPI关联分量分离方法；把KQI-KPI关联性看做随机变量的分析方法，包括且不限于以条件概率描述KQI-KPI双向映射关系的分析方法。
进行扩维是因为KQI-KPI数据空间是多维空间，扩维后可以让需要提取的数据特征更明显。
在执行步骤26时，可利用基于不同准则自适应计算KPI权重的方法，包括且不限于自主计算、及需要专家辅助的层次分析法(AHP)。
由上可知，本发明实施例提供的是一种KQI-KPI量化关联分析的闭环自学习自调整方法；使得网络与通信***可以针对具体KQI，用量化的方式快速全面准确地找出KQI的强相关、潜在相关与不相关KPI，并给出归一化权重。为网络评估、性能优化、参数调整等提供准确依据，并极大减轻人工负担。
进一步来说，本发明实施例提供的方案包括：
1)将网络/通信***两端采集的KQI与KPI数据按时间粒度与空间粒度匹配对齐。
2)参照协议、规范和业务实际需求等，将匹配对齐后的KQI与KPI数据进一步清洗。
数据清洗主要包括：
a)缺失值处理。例如，对少量枚举类缺失数据，直接以中值填补；对符合如图3所示对数正态分布的数据，在均值正负2倍方差内进行随机插值填补。
b)异常值处理。例如，各种“比例”类KPI，数值必定在[0,1]间，若出现小于0或大于1的值，要么直接丢弃数据，要么按照缺失值处理。
c)孤立数据处理。例如，“无线资源控制RRC连接建立成功率”有千分之一的数据在0.75以下，其他数据均大于0.8，则0.75以下的离群点直接丢弃。若离群比例高于1％，按照缺失值处理。
d)有违协议规范的数据处理。例如：协议规范中，无线侧单程时延要求在300ms以下，则“小区用户面下行平均时延”应小于等于600ms，将大于600ms的数据作为异常值处理。
3)统计清洗后的KQI与KPI数据的特征，并以多种图表方式呈现。可选的，根据统计特征计算后续流程需要的预设评估门限等；由业务数据专家结合统计指标进行分析，判断数据源健康程度、数据分布类型等；以更好适配数据挖掘算法。
4)对清洗后的KPI数据进行智能聚类并得到聚类表。可选的，由业务数据专家结合业务需求与工程意义辅助判定分为几类，并微调界限模糊的KPI分类。
5)对KQI-KPI数据构成的向量空间进行分解，分离出每个KPI-KQI的可量化关联度，并进行归一化。可选的，对向量空间进行扩维或坐标转换以获得更清晰的KQI-KPI可量化关联度。
对于符合正态分布(或经过变换后符合正态分布，比如取对数)的KPI，用标准归一化(0均值，1方差)。本实施例中，其他分布或非参数的KPI，用MIN-MAX归一化。
6)对KPI-KQI归一化关联度进行排序判定，按照关联度大小排序分类。
7)查看相关项KPI所属聚类，判决出最终相关项KPI。可选的，由业务数据专家根据统计信息、业务需求、聚类表与工程意义指定最终相关项KPI。
8)根据最终相关项KPI的KPI-KQI归一化关联度，计算最终相关项KPI的归一化权重。
通过以上内容可知：
1)以往的关联分析方案无法定量评估KQI-KPI映射关联度，而采用本发明实施例所提供的方案后，可量化计算KQI-KPI关联度并进行归一化比较。
2)现有方法只能人工指定KQI-KPI关联模型，无法准确地评估KPI与KQI关联度。本方案可归一量化计算每个KPI与KQI的关联度，从而能准确反映每个KPI与KQI的关联程度，并计算权重，计算过程不依赖人工指定。
3)现有方法只能根据经验人为选出少量“应该相关”的KPI项，导致遗漏大量相关KPI，甚至完全无法找出KQI的相关KPI。本方案可以全面评估所有KPI项与KQI的关联程度。
4)现有方法中，KPI聚类未结合业务特征与工程意义，且均需要人工指定聚类个数，导致聚类的正交性与完备性较差。本方案采用基于业务特征与工程意义的智能聚类算法，聚类结果具有良好的正交性与完备性。即，待评估KPI项齐全时，最终相关项KPI集合包含KQI的完备基。
5)由于无法量化计算KQI与KPI间的关联度，现有方法只能定性且模糊地判决某KPI与KQI相关或不相关。本方案可量化计算KQI与KPI间的关联度并采用智能聚类，进而得以精确地将KPI项划分为最终相关项、相关同类项、提醒项与无关项，并能计算出最终相关项KPI的归一化权重，且不依赖人工指定。
6)采用数据挖掘算法的现有方法，均为人工指定的唯一算法，在贴合业务与工程意义方面存在缺陷，且需要海量的数据确保收敛性。本方案基于业务特征，采用数据挖掘算法池，结合业务数据专家智慧库。因此具有较好的通用性，且初始数据量要求较小，仅为103级别。
下面结合图4和图5介绍能够实现本方案的***，但所举实施例不作为对本发明的限定。
本方案主要涉及向量空间分解单元56与量化关联计算单元57，包括如下步骤：
步骤41：KQI/KPI数据匹配、特征统计等预处理
主要涉及数据预处理单元54。根据业务类型、协议规范等条件，数据预处理单元54从KQI/KPI存储单元53读取待关联分析的KQI项与KPI项；然后数据预处理单元54从基础数据库51中，读取对应KQI与KPI数据，进行数据匹配、数据清洗、统计分析、拟合、特征提取等预处理操作。在数据预处理过程中，必选的，数据预处理单元54调用挖掘分析算法池59；可选的，数据预处理单元54调用数据专家智慧库510。
其中，进行数据匹配、数据清洗、统计分析、拟合、特征提取等预处理操作得到的统计信息、数据特征都会用于后续关联度计算，或是专家辅助判决(比如智能聚类、最终相关项KPI的修正)。
步骤42：KPI数据智能聚类
主要涉及智能聚类单元55。智能聚类单元55调用挖掘分析算法池59，与数据预处理单元54在步骤41中得到的部分指标特征值，进行不限定类别数量的初始分层聚类，如下表所示。然后智能聚类单元55调用数据专家智慧库510进行最终聚类判决，并输出聚类表。可选的，数据预处理单元54调用专家接口52进行现场专家辅助聚类判决。
步骤43：向量空间分解，分离出KQI-KPI关联分量
主要涉及向量空间分解单元56。向量空间分解单元56调用数据预处理单元54输出的KQI与KPI数据，构成KQI-KPI数据向量空间，调用挖掘分析算法池59进行向量空间分解运算，分离出可量化的KQI-KPI关联分量。
其中的向量空间分解单元56的功能包含但不限于对KQI/KPI数据进行计算，且不限于特定网络或通信***。可用于其他数据分析与***增值业务。
步骤44：量化计算KQI-KPI归一化关联度
主要涉及量化关联计算单元57。量化关联计算单元57对KQI-KPI关联分量进行归一量化运算，得到每个KPI与对应KQI的关联度。KQI-KPI关联度范围为[0，1]，设置无关门限与相关门限，即可判决出相关项KPI、提醒项KPI与无关项KPI。为尽可能减少相关项KPI间的重叠程度，量化关联计算单元57调用智能聚类单元55输出的聚类表，从同聚类相关项KPI中判决出最终相关项KPI，其他同聚类中的相关项KPI则称为相关同类项KPI。量化关联计算单元57计算出最终相关项KPI的归一化权重后，向后续单元58输出每个KQI的相关KPI矩阵，包含权重。
下面对本发明实施例一提供的所述指标数据的获取方法进行具体举例说明。
为移动通信运营商寻找某省会城市主城区上网低速率的主要相关KPI。使用选定日期当天，全市7300个小区的24小时粒度小区级数据，采用贝叶斯统计原理，量化计算KQI：TCP(Transmission Control Protocol传输控制协议)建链确认时延与26个无线侧KPI(***运行管理规范中的KPI列表确定的)的关联程度。如图6所示，具体包括：
步骤61：输入数据。
(1)根据自动或人工派单，读取待评估KQI：TCP建链确认时延与对应的26个无线侧KPI项列表，如下表所示：
(2)读取待关联分析的KQI：TCP建链确认时延与KPI的24小时粒度小区级原始数据，共7300条。然后按照采集时间与小区ECI(无线网络小区标识)编号匹配对齐，得到7218条数据。其中每条匹配对齐数据包含KQI天粒度统计值与26个KPI天粒度统计值，如下表所示：
步骤62：数据清洗，KQI/KPI数据特征统计。
(1)对匹配后的KQI与KPI数据进行异常值处理、统计分析、分布拟合等，并提取统计特征值。输出的一个图表呈现示例如图3所示。
需要说明，有些数据挖掘算法要求输入数据符合正态分布或有其他要求。所以对于归类出来的不同分布，需要采用不同的挖掘算法。
(2)根据得到的KQI:TCP建链确认时延拟合分布的均值、方差、偏度、峰度等统计特征，结合专家智慧数据，计算得KQI预设关联分析门限。本实施例中，TCP建链确认时延的预设关联分析门限为：THCORR_KQI02＝122ms。
步骤63：KPI数据智能聚类。
(1)利用步骤61到步骤62得到的KPI数据与统计特征值，对26个KPI进行不限定类别数量的初始分层聚类，如下表所示。
(2)结合专家聚类信息，将26个KPI聚为6类，如下表所示。
步骤64：向量空间分解，分离出关联度，计算KPI→KQI归一化关联度ρ。
本实例采用贝叶斯统计原理进行KQI-KPI数据向量空间分解，以条件概率描述KPI→KQI的映射关联分量。本实例中，使用步骤61得到的7218条匹配对齐数据，用于计算KQI-KPI量化关联度。
(1)导入贝叶斯公式及对应算法模型：
h(KPI,KQI)＝p(KPI|KQI)π(KQI)＝π(KQI|KPI)m(KPI)；
其中，h(KQI,KPI)表示KQI与KPI向量的联合分布，理解为KQI与KPI数
据空间包含的联合信息；具体理解上，变换为如下贝叶斯历时诠释模型：
其中，P(KQI)，即上述的π(KQI)，称为先验概率；P(KQI|KPI)，即上述的π(KQI|KPI)，称为后验概率；P(KPI|KQI)是该假设下得到这一数据的概率，称为似然度；P(KPI)，即上述的m(KPI)，是在任何假设下得到这一数据的概率，称为标准化常量。
(2)当选定KQI＝THCORR_KQI02＝θ时，由贝叶斯公式推导出：
其中：
π(θ|KPI)为空间向量分解分离出的KPI-KQI关联分量，符合归一化要求。
θ为步骤62计算出的KQI：TCP建链确认时延关联度先验分析门限。
与θ无关，即不含任何KQI信息。每个KPI的该分量可视为无关常量，归一化后被滤除。此处，j代表第j个KPI。例如，实施例中有30个待评估KPI，进行关联性计算前，j关联计算前最大值为30。经过关联计算后，判决出4个完备的强相关KPI，则此时可抛弃其他26个KPI，j关联计算后最大值为4。
π(θ)代表KQI数据分布。已由步骤61和62得出。
p(KPI|θ)代表KQI先验分析门限下，KPI数值变化对应的条件概率。对每个KPI而言，该分量(p(KPI|θ))由步骤62得出的统计结果与向量空间数据搜索共同得出。
(3)根据分离出的各个分量和步骤62得出的KPI统计特征，为所有KPI选择归一化的量化判决点1与量化判决点2，两个量化判决点加权均值对应的π(θ|KPI)值即为KPI-KQI量化关联度ρ。的判决ρ(KQI：TCP建链确认时延的关联项KPI判决)示意如图7所示，对于KQI:TCP建链确认时延，ρ取量化判决点均值为例。KPI:小区用户面下行弃包率判为相关项KPI(ρ＝0.76)，而KPI:空口下行字节数判为无关项(ρ＝0.43)。
步骤65：最终相关项KPI的判决。
(1)本实例中用于判决相关项KPI的门限设为ρ高于ξH＝0.7，判决无关项的门限设为ρ低于ξL＝0.5，介于ξH和ξL的KPI判决为提醒项。也就是，判断ρ是否大于或等于ξH；若否，则继续判断是否小于ξL，若是，则对应的KPI为无关项，若否，则为提醒项；若ρ大于或等于ξH，则对应的KPI为相关项。
判决方法根据业务需求与数值特征确定，不限于门限硬判。
(2)根据判决出的相关项KPI，查询步骤63得到的聚类表，取同类中关联度最大的KPI判决为最终相关项KPI，则最终相关项的数量不会超过6类(因为智能聚类判决出了6类)。
也就是，判断得到的相关项KPI是否为同类中的唯一，若是，则判决为最终相关项KPI，若否，则从同类相关项KPI中选择ρ最大者对应的KPI为最终相关项KPI，其余判为相关同类项留作参考。
步骤66：根据ρ值计算最终权重，输出KQI-KPI关联矩阵到后续多维价值分析/挖掘模块。
(1)根据步骤64中得到的最终相关项KPI量化判决点1与量化判决点2的值和步骤62得到的最终相关项KPI统计特征值，计算最终相关项KPI间的归一化权重。
(2)将最终相关项KPI与对应权重输出到后续多维价值分析/挖掘模块(本方法的中间输出项与最终输出项，都可以作为结论或参考信息提供给后续的挖掘模块)。
也就是说，计算最终相关项的归一化权重并输出关联矩阵，最终输出如下所示：
本发明提供的方案适用于黑盒***的输入输出关联度计算；不局限于优化网络性能，也可用于客户评分、业务评估、推荐***等场景。
实施例二
如图8所示，本发明实施例二提供的指标数据的获取装置，包括：
获取模块81，用于获取待关联分析的关键质量指标KQI数据与关键性能指标KPI数据；
第一处理模块82，用于利用所述KQI数据与KPI数据构成数据向量空间，提取分解所述数据向量空间的特征参数；
第二处理模块83，用于利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度。
本发明实施例二提供的所述指标数据的获取装置通过获取待关联分析的KQI数据与KPI数据；利用KQI数据与KPI数据构成数据向量空间，提取分解数据向量空间的特征参数；再利用特征参数分解数据向量空间，得到KQI与KPI间的量化关联度；可以全面评估所有KPI项与KQI的关联程度，进而全面准确地找出关键质量指标KQI的相关项关键性能指标KPI；为网络评估、性能优化、参数调整等提供准确依据，并极大减轻人工负担。
具体的，所述第一处理模块包括：第一处理子模块，用于将所述KQI数据与所述KPI数据匹配对齐，构成所述数据向量空间。
所述第一处理模块包括：第二处理子模块，用于对所述KQI数据与所述KPI数据进行统计评估，提取分解所述数据向量空间的特征参数。
更具体的，所述第二处理子模块包括：第一处理单元，用于对所述KQI数据与所述KPI数据进行频度统计和分布拟合；第二处理单元，用于根据统计结果和拟合结果得到KQI的预设评估门限值；
对应的，所述第二处理模块包括：归类子模块，用于按照业务特性，对所述KQI数据与所述KPI数据的分布进行归类；第一分解子模块，用于根据归类结果和所述预设评估门限值分解所述数据向量空间。
其中，所述第二处理模块包括：第二分解子模块，用于利用所述特征参数分解所述数据向量空间，得到KPI映射到KQI的关联分量；第三处理子模块，用于对所述关联分量进行归一化处理得到所述KQI与KPI间的量化关联度。
按空间维度处理，所述第二处理模块包括：第三分解子模块，用于利用所述特征参数对所述数据向量空间直接进行正交分解；或者，第四分解子模块，用于对所述数据向量空间扩维后再利用所述特征参数进行分解。
按分割方式处理，所述第二处理模块包括：第五分解子模块，用于利用所述特征参数按照线性分割方式分解所述数据向量空间；或者，第六分解子模块，用于利用所述特征参数按照非线性分割方式分解所述数据向量空间。
进一步的，所述获取装置还包括：聚类模块，用于对所述KPI数据进行聚类，得到聚类表；第三处理模块，用于根据所述聚类表和所述量化关联度得到每个KQI的目标相关项KPI并获取其权重。
为了保证得到准确的结论，所述聚类模块包括：清洗子模块，用于对所述KPI数据进行数据清洗；聚类子模块，用于对清洗后的所述KPI数据进行聚类，得到聚类表。
考虑到实际应用情况，所述聚类模块包括：第四处理子模块，用于若KPI之间存在因果层级关系，或者，所述KPI数据类型不统一，则根据所述KQI数据与所述KPI数据引入中间层参数数据，对所述中间层参数数据进行聚类，得到所述聚类表。
其中，上述指标数据的获取方法的所述实现实施例均适用于该指标数据的获取装置的实施例中，也能达到相同的技术效果。
需要说明的是，此说明书中所描述的许多功能部件都被称为模块/子模块，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块/子模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于***或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述原理前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种指标数据的获取方法，其特征在于，包括：
获取待关联分析的关键质量指标KQI数据与关键性能指标KPI数据；
利用所述KQI数据与KPI数据构成数据向量空间，提取分解所述数据向量空间的特征参数；
利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度。
2.如权利要求1所述的获取方法，其特征在于，所述利用所述KQI数据与KPI数据构成数据向量空间的步骤包括：
将所述KQI数据与所述KPI数据匹配对齐，构成所述数据向量空间。
3.如权利要求1所述的获取方法，其特征在于，所述提取分解所述数据向量空间的特征参数的步骤包括：
对所述KQI数据与所述KPI数据进行统计评估，提取分解所述数据向量空间的特征参数。
4.如权利要求3所述的获取方法，其特征在于，所述对所述KQI数据与所述KPI数据进行统计评估，提取分解所述数据向量空间的特征参数的步骤包括：
对所述KQI数据与所述KPI数据进行频度统计和分布拟合；
根据统计结果和拟合结果得到KQI的预设评估门限值；
所述利用所述特征参数分解所述数据向量空间的步骤包括：
按照业务特性，对所述KQI数据与所述KPI数据的分布进行归类；
根据归类结果和所述预设评估门限值分解所述数据向量空间。
5.如权利要求1所述的获取方法，其特征在于，所述利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度的步骤包括：
利用所述特征参数分解所述数据向量空间，得到KPI映射到KQI的关联分量；
对所述关联分量进行归一化处理得到所述KQI与KPI间的量化关联度。
6.如权利要求1所述的获取方法，其特征在于，所述利用所述特征参数分解所述数据向量空间的步骤包括：
利用所述特征参数对所述数据向量空间直接进行正交分解；或者，
对所述数据向量空间扩维后再利用所述特征参数进行分解。
7.如权利要求1所述的获取方法，其特征在于，所述利用所述特征参数分解所述数据向量空间的步骤包括：
利用所述特征参数按照线性分割方式分解所述数据向量空间；或者，
利用所述特征参数按照非线性分割方式分解所述数据向量空间。
8.如权利要求1所述的获取方法，其特征在于，还包括：
对所述KPI数据进行聚类，得到聚类表；
根据所述聚类表和所述量化关联度得到每个KQI的目标相关项KPI并获取其权重。
9.如权利要求8所述的获取方法，其特征在于，所述对所述KPI数据进行聚类，得到聚类表的步骤包括：
对所述KPI数据进行数据清洗；
对清洗后的所述KPI数据进行聚类，得到聚类表。
10.如权利要求8所述的获取方法，其特征在于，所述对所述KPI数据进行聚类，得到聚类表的步骤包括：
若KPI之间存在因果层级关系，或者，所述KPI数据类型不统一，则根据所述KQI数据与所述KPI数据引入中间层参数数据，对所述中间层参数数据进行聚类，得到所述聚类表。
11.一种指标数据的获取装置，其特征在于，包括：
获取模块，用于获取待关联分析的关键质量指标KQI数据与关键性能指标KPI数据；
第一处理模块，用于利用所述KQI数据与KPI数据构成数据向量空间，提取分解所述数据向量空间的特征参数；
第二处理模块，用于利用所述特征参数分解所述数据向量空间，得到KQI与KPI间的量化关联度。
12.如权利要求11所述的获取装置，其特征在于，所述第二处理模块包括：
第二分解子模块，用于利用所述特征参数分解所述数据向量空间，得到KPI映射到KQI的关联分量；
第三处理子模块，用于对所述关联分量进行归一化处理得到所述KQI与KPI间的量化关联度。
13.如权利要求11所述的获取装置，其特征在于，还包括：
聚类模块，用于对所述KPI数据进行聚类，得到聚类表；
第三处理模块，用于根据所述聚类表和所述量化关联度得到每个KQI的目标相关项KPI并获取其权重。
CN201610614026.4A 2016-07-29 2016-07-29 一种指标数据的获取方法及装置 Active CN107666403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610614026.4A CN107666403B (zh) 2016-07-29 2016-07-29 一种指标数据的获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610614026.4A CN107666403B (zh) 2016-07-29 2016-07-29 一种指标数据的获取方法及装置

Publications (2)

Publication Number Publication Date
CN107666403A true CN107666403A (zh) 2018-02-06
CN107666403B CN107666403B (zh) 2022-01-28

Family

ID=61114585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610614026.4A Active CN107666403B (zh) 2016-07-29 2016-07-29 一种指标数据的获取方法及装置

Country Status (1)

Country Link
CN (1) CN107666403B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109362084A (zh) * 2018-12-27 2019-02-19 ***通信集团江苏有限公司 通信业务质量优化的方法、装置、设备和介质
CN112996015A (zh) * 2019-12-18 2021-06-18 ***通信集团河南有限公司 一种指标关联关系的构建方法及装置
CN113051525A (zh) * 2019-12-26 2021-06-29 ***通信集团北京有限公司 关键质量指标kqi的分析方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546220A (zh) * 2010-12-31 2012-07-04 ***通信集团福建有限公司 一种基于业务特征的关键质量指标构成方法
CN102904755A (zh) * 2012-09-27 2013-01-30 北京邮电大学 一种移动互联网业务用户体验质量测量方法和装置
US20130272150A1 (en) * 2012-03-15 2013-10-17 Huawei Technologies Co., Ltd. Method and apparatus for acquiring quality of experience and method and apparatus for ensuring quality of experience
CN104021316A (zh) * 2014-06-27 2014-09-03 中国科学院自动化研究所 基于基因空间融合的矩阵分解对老药预测新适应症的方法
CN105050125A (zh) * 2015-06-23 2015-11-11 武汉虹信通信技术有限责任公司 一种面向用户体验的移动数据业务质量评测方法及装置
CN105554782A (zh) * 2015-12-09 2016-05-04 中国联合网络通信集团有限公司 用户感知指标的预测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546220A (zh) * 2010-12-31 2012-07-04 ***通信集团福建有限公司 一种基于业务特征的关键质量指标构成方法
US20130272150A1 (en) * 2012-03-15 2013-10-17 Huawei Technologies Co., Ltd. Method and apparatus for acquiring quality of experience and method and apparatus for ensuring quality of experience
CN102904755A (zh) * 2012-09-27 2013-01-30 北京邮电大学 一种移动互联网业务用户体验质量测量方法和装置
CN104021316A (zh) * 2014-06-27 2014-09-03 中国科学院自动化研究所 基于基因空间融合的矩阵分解对老药预测新适应症的方法
CN105050125A (zh) * 2015-06-23 2015-11-11 武汉虹信通信技术有限责任公司 一种面向用户体验的移动数据业务质量评测方法及装置
CN105554782A (zh) * 2015-12-09 2016-05-04 中国联合网络通信集团有限公司 用户感知指标的预测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郝益勇: "提升移动网络用户体验质量的理论与方法研究", 《博士学位论文电子期刊》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109362084A (zh) * 2018-12-27 2019-02-19 ***通信集团江苏有限公司 通信业务质量优化的方法、装置、设备和介质
CN109362084B (zh) * 2018-12-27 2021-11-09 ***通信集团江苏有限公司 通信业务质量优化的方法、装置、设备和介质
CN112996015A (zh) * 2019-12-18 2021-06-18 ***通信集团河南有限公司 一种指标关联关系的构建方法及装置
CN112996015B (zh) * 2019-12-18 2023-11-03 ***通信集团河南有限公司 一种指标关联关系的构建方法及装置
CN113051525A (zh) * 2019-12-26 2021-06-29 ***通信集团北京有限公司 关键质量指标kqi的分析方法、装置、设备及介质

Also Published As

Publication number Publication date
CN107666403B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN109495296B (zh) 基于聚类与神经网络的智能变电站通信网络状态评价方法
Patel et al. Study of various decision tree pruning methods with their empirical comparison in WEKA
US9275353B2 (en) Event-processing operators
CN113946461A (zh) 一种故障根因分析的方法及装置
CN102831489B (zh) 电力配网建设物资需求预测方法及装置
Joshi A new picture fuzzy information measure based on Tsallis–Havrda–Charvat concept with applications in presaging poll outcome
CN111611488B (zh) 基于人工智能的信息推荐方法、装置、电子设备
CN110008259A (zh) 可视化数据分析的方法及终端设备
CN107632590A (zh) 一种基于优先级的底事件排序方法
Fisch et al. Conformal prediction sets with limited false positives
Tembusai et al. K-nearest neighbor with k-fold cross validation and analytic hierarchy process on data classification
CN107666403A (zh) 一种指标数据的获取方法及装置
CN109657851A (zh) 事件驱动型的股价预测方法、装置、设备及存储介质
Hatami-Marbini et al. The role of multiplier bounds in fuzzy data envelopment analysis
CN117131449A (zh) 面向数据治理的具有传播学习能力的异常识别方法及***
CN111125186A (zh) 一种基于调查问卷的数据处理方法及***
CN110275868A (zh) 一种智能工厂中多模态制造数据预处理的方法
CN114298413B (zh) 一种水电机组振摆趋势预测方法
He et al. Representation learning of knowledge graph for wireless communication networks
CN109657907A (zh) 地理国情监测数据的质量控制方法、装置和终端设备
Zhou et al. Incorporating expert judgement into Bayesian network machine learning
Hlalele et al. Imputation of missing data using PCA, neuro-fuzzy and genetic algorithms
Sangadiev et al. A review on recent advances in scenario aggregation methods for power system analysis
CN113326882A (zh) 一种基于分类和回归算法的模型集成方法、装置
Cai et al. Research on reliability model evaluation of satellite communication system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant