CN107026750B - 一种用户上网QoE评价方法及装置 - Google Patents

一种用户上网QoE评价方法及装置 Download PDF

Info

Publication number
CN107026750B
CN107026750B CN201610074975.8A CN201610074975A CN107026750B CN 107026750 B CN107026750 B CN 107026750B CN 201610074975 A CN201610074975 A CN 201610074975A CN 107026750 B CN107026750 B CN 107026750B
Authority
CN
China
Prior art keywords
qoe
large category
index
evaluation system
kpi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610074975.8A
Other languages
English (en)
Other versions
CN107026750A (zh
Inventor
韩笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Guangdong Co Ltd
Original Assignee
China Mobile Group Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Guangdong Co Ltd filed Critical China Mobile Group Guangdong Co Ltd
Priority to CN201610074975.8A priority Critical patent/CN107026750B/zh
Publication of CN107026750A publication Critical patent/CN107026750A/zh
Application granted granted Critical
Publication of CN107026750B publication Critical patent/CN107026750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • H04L43/55Testing of service level quality, e.g. simulating service usage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/10Scheduling measurement reports ; Arrangements for measurement reports

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种用户上网体验质量(QoE)评价方法,所述方法包括:收集网元的关键性能指标(KPI)数据;基于所收集的KPI数据建立KPI到QoE的映射;基于映射结果建立QoE评价体系模型。本发明还同时公开了一种用户上网QoE评价装置。采用本发明技术方案,能更准确地获得用户上网的使用感知。

Description

一种用户上网QoE评价方法及装置
技术领域
本发明涉及通信技术领域的用户感知分析技术,尤其涉及一种用户上网体验质量(QoE,Quality of Experience)评价方法及装置。
背景技术
客户感知是使用网络的用户的主观感受,目前在实际网络运维中常用的方法有三种,分别是客户抽样调查统计法、现网业务指标拨测法和传统的单个网络运维指标评价客户感知的方法。
客户抽样调查统计法多采用问卷调查的形式来收集客户的感知情况。但是,该评价方法工作量大,效率低,不易重复度量。在评价不同网络时,由于地域和人文上的区别,该评价方法波动较大,网络之间的可比性较弱。
现网业务指标拨测法,无需网络管理***和其他运维***,可以测量任意网络的指标情况,并直接获得网络的使用感知结果,具有独立于设备制造商,并在很大程度上与承载层无关、测试过程灵活等优点。但是,该评价方法需要到达指定地点,耗费人力物力,测试结果仅代表局部地区指标情况,不具有普遍性。
传统的单个网络运维指标评价客户感知的方法,基于运营角度设定网络运行关键性能指标(KPI,Key Performance Indicator),可通过网管***得到。该评价方法用单独的指标如无线接通率、附着成功率等来评价用户的终端上网使用感知。但是,该评价方法可以细微观察每一项指标的情况,而用户对终端使用感知的敏感度远不及网络设备,从而导致运维集中在处理相关设备的告警,却无法准确描述出各指标对用户的影响程度。随着网络规模的不断扩大以及通信技术的不断更新,设备运维的工作量随之增加,而人力成本相对稳定。故该评价方法既不利于用户感知的评价也不利于工作效率的提升。
发明内容
有鉴于此,本发明期望提供一种用户上网QoE评价方法及装置,能更准确地获得用户上网的使用感知。
为达到上述目的,本发明的技术方案是这样实现的:
本发明公开了一种用户上网QoE评价方法,所述方法包括:
收集网元的KPI数据;
根据所收集的KPI数据建立KPI到QoE的映射;
基于映射结果建立QoE评价体系模型。
上述方案中,优选地,所述基于所收集的KPI数据建立KPI到QoE的映射,包括:
将收集到的KPI数据按照接入性、完整性、保持性进行分类;
设定影响各大类别的关键质量指标(KQI,Key Quality Indicators);
基于所述影响各大类别的KQI确定影响各大类别的细项指标。
上述方案中,优选地,所述基于映射结果建立QoE评价体系模型,包括:
分析各大类别的权重占比;
分析影响各大类别的细项指标的权重占比;
设定外界影响因素调整系数;
根据所述各大类别的权重占比、影响各大类别的细项指标的权重占比、以及所述外界影响因素调整系数确定QoE评价体系模型的QoE值计算公式。
上述方案中,优选地,所述方法还包括:
根据所述QoE值计算公式对QoE评价体系进行评分时,采用九分制,每个指标在达到评分上限时得9分,在评分下限时得分为0分,在上下限之间时线性得分。
上述方案中,优选地,所述基于映射结果建立QoE评价体系模型之后,所述方法还包括:
统计预设时间段内的业务类型变化数据;
对所述业务类型变化数据进行分析;
基于分析结果对所述QoE评价体系模型所包含的指标以及各指标的权重系数、外界影响因素调整系数进行自适应性修正。
本发明还公开了一种用户上网QoE评价装置,所述装置包括:
收集单元,用于收集网元的KPI数据;
映射单元,用于根据所收集的KPI数据建立KPI到QoE的映射;
建立单元,用于基于映射结果建立QoE评价体系模型。
上述方案中,优选地,所述映射单元,还用于:
将收集到的KPI数据按照接入性、完整性、保持性进行分类;
设定影响各大类别的KQI;
基于所述影响各大类别的KQI确定影响各大类别的细项指标。
上述方案中,优选地,所述建立单元,还用于:
分析各大类别的权重占比;
分析影响各大类别的细项指标的权重占比;
设定外界影响因素调整系数;
根据所述各大类别的权重占比、影响各大类别的细项指标的权重占比、以及所述外界影响因素调整系数确定QoE评价体系模型的QoE值计算公式。
上述方案中,优选地,所述装置还包括:计算单元,用于:
根据所述QoE值计算公式对QoE评价体系进行评分时,采用九分制,每个指标在达到评分上限时得9分,在评分下限时得分为0分,在上下限之间时线性得分。
上述方案中,优选地,所述装置还包括:修正单元,用于:
统计预设时间段内的业务类型变化数据;
对所述业务类型变化数据进行分析;
基于分析结果对所述QoE评价体系模型所包含的指标以及各指标的权重系数、外界影响因素调整系数进行自适应性修正。
本发明所提供的用户上网QoE评价方法及装置,收集网元的关键性能指标KPI数据;根据所收集的KPI数据建立KPI到QoE的映射;基于映射结果建立QoE评价体系模型。如此,本发明所述技术方案能更全面、更准确地获得用户上网的使用感知,实现对用户上网感知评价的高效化、智能化、规范化。
附图说明
图1为本发明实施例提供的用户上网QoE评价方法的实现流程图;
图2为本发明实施例提供的一种KPI到QoE的映射的示意图;
图3为本发明实施例提供的建立用户上网QoE评价体系的具体实现流程图;
图4为本发明实施例提供的根据一个月的统计数据而获得的QoE评价体系三大类别的权重占比示意图;
图5为本发明实施例提供QoE评价体系评分结果示意图;
图6为本发明实施例提供的QoE评价体系评分与LTE本地投诉考核项投诉量的对比示意图;
图7为本发明实施例提供的用户上网QoE评价装置的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本发明的特点与技术内容,下面结合附图对本发明的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明。
图1为本发明实施例提供的用户上网QoE评价方法的实现流程图,如图1所示,所述方法主要包括以下步骤:
步骤101:收集网元的关键性能指标(KPI)数据。
在一具体实施方式中,可以通过现有的网络管理***来收集网元的KPI数据。
具体地,根据用户上网的整个流程,从附着流程到公用数据网(PDN,Public DataNetwork)建立,再到传输控制协议(TCP,Transmission Control Protocol)连接和最终的用户GET或POST行为,将数据业务流程中无线侧、核心侧、业务侧的KPI一一列出。
其中,GET行为是指请求指定的页面信息,并返回实体主体。
其中,POST行为是指请求服务器接受所指定的文档作为对所标识的统一资源标识符(URI,Uniform Resource Identifier)的新的从属实体。
步骤102:根据所收集的KPI数据建立KPI到QoE的映射。
优选地,所述基于所收集的KPI数据建立KPI到QoE的映射,可以包括:
将收集到的KPI数据按照接入性、完整性、保持性进行分类;
设定影响各大类别的关键质量指标(KQI,Key Quality Indicators);
基于所述影响各大类别的KQI确定影响各大类别的细项指标。
具体地,基于所述影响各大类别的KQI确定影响各大类别的细项指标时,可以考虑如下因素:
通过申请次数的数量、时延的大小、掉线或切换的次数的占比。
图2示出了一种KPI到QoE的映射的示意图,如图2所示,QoE为用户感知,而KPI为网络性能指标,为将两者之间建立映射关系,则引入了KQI。也就是说,QoE评价体系建立的常规映射是KPI→KQI→QoE的过程。
从网络维护角度来看,最直接反应客户对网络的使用情况的便是客户的投诉信息;从用户感知角度来说,主要涉及网络的接入性、完整性、保持性;因此,可以将投诉信息按照接入性、完整性、保持性分为三大类别。
通过对用户投诉信息的分析,可结合用户上网业务使用过程的各个环节为每一大类别设定相应的KQI和各KQI指标的算法。需要说明的是,KQI是一组可被测量的KPI指标。
具体的,每一大类别所对应的KQI指标及指标含义可以参照表1。
Figure BDA0000920644170000051
Figure BDA0000920644170000061
表1
步骤103:基于映射结果建立QoE评价体系模型。
优选地,所述基于映射结果建立QoE评价体系模型,可以包括:
分析各大类别的权重占比;
分析影响各大类别的细项指标的权重占比;
设定外界影响因素调整系数;
根据所述各大类别的权重占比、影响各大类别的细项指标的权重占比、以及所述外界影响因素调整系数确定QoE评价体系模型的QoE值计算公式。
具体地,QoE值计算公式如下所示:
Figure BDA0000920644170000062
其中,f与λ分别表示外界影响因素的影响系数;i表示各大类别中的一种,i=1、2、3、…、n;k表示每大类别下的细项指标,k为大于等于1的正整数;δk表示每大类下的各个细项指标所对应的权重;δi表示每大类别指标所对应的权重。
上述方案中,优选地,所述方法还包括:
根据所述QoE值计算公式对QoE评价体系进行评分时,采用九分制,每个指标在达到评分上限时得9分,在评分下限时得分为0分,在上下限之间时线性得分。
随着用户的使用行为与习惯不断发生改变,映射到网络侧即为业务类型会不断发生变化;因此,为了不断的完善用户上网QoE感知评价体系,所述基于映射结果建立QoE评价体系模型之后,所述方法还包括:
统计预设时间段内的业务类型变化数据;
对所述业务类型变化数据进行分析;
基于分析结果对所述QoE评价体系模型所包含的指标以及各指标的权重系数、外界影响因素调整系数进行自适应性修正。
如此,能够根据用户的使用习惯对QoE感知评价体系进行不断的完善。
本实施例中所述用户上网QoE评价方法,至少具有如下优点:
第一,可通过网络管理***来收集网元的KPI数据,基于现网方便测量和监控,能及时的反馈指标数据,更适用于基于网络运维管理***的KPI指标日常监控优化以及客户感知的监控和提升;
第二,通过对网络运维中的设备KPI指标数据的计算得到指标的权重,通过设定的KPI-KQI-QoE的映射模型计算,得出用户上网感知QoE评分结果;与传统的单个网络运维指标评价客户感知的方法更加完备,QoE的评分结果直接反应出了用户的感知情况;
第三,QoE评价体系的建立中综合了无线、核心、业务平台全流程的因素,且通过权重的分配能够更加准确定位网络运维中对客户感知有重要影响的因素,相对于传统的单个网络运维指标评价客户感知的方法,本实施例所述方法考虑的影响因素更加周全;
第四,与传统的单个网络运维指标评价客户感知的方法相比,能够更加灵活的调整QoE评价体系,以适应网络的发展。
实施例二
图3为本发明实施例提供的建立用户上网QoE评价体系的具体实现流程图,如3所示,该流程主要包括以下步骤:
步骤301:从网络性能中提炼KPI,然后执行步骤302。
在提炼KPI时,可考虑通过申请次数的数量、时延的大小、掉线或切换的次数的占比等因素。
优选地,所述KPI,可以包括:数据业务流程中无线侧、核心侧、业务侧的指标;
其中,对于接入性类别,无线侧的指标包括:RRC建立成功率、E-RAB建立成功率;核心侧的指标包括:附着成功率、业务请求成功率;SP侧的指标包括:TCP建立成功率、DNS解析成功率、GET成功率、POST成功率;
其中,对于完整性类别,无线侧的指标包括:大包下载速率、小包下载时延;核心侧的指标包括:附着时延、TCP建立时延、DNS解析时延;SP侧的指标包括:GET首包时延;
其中,对于保持性类别,无线侧的指标包括:每GB流量的无线掉线次数、每GB流量的E-RAB掉线次数、每GB流量的(同频/异频)切出失败次数;核心侧的指标包括:每GB流量的TAU失败次数。
其中,SP是Service Provider的缩写,其中文名称是服务提供商;RRC是RadioResource Control的缩写,其中文名称是无线资源控制;E-RAB是Evolved Radio AccessBearer的缩写,其中文名称是演进的无线接入承载;TCP是Transmission ControlProtocol的缩写,其中文名称是传输控制协议;DNS是Domain Name System的缩写,其中文名称是域名***;TAU是Tracking Area Update的缩写,其中文名称是跟踪区更新;GB用于表示计算机存储单位。
步骤302:建立KPI到QoE的映射,然后执行步骤303。
具体地,具体如何建立KPI到QoE的映射,可参照实施例一中的步骤102,在此不再赘述。
步骤303:分析得出各指标的权重,然后执行步骤304。
优选地,步骤303包括:
步骤303a:计算QoE评价体系三大类别的权重占比。
具体地,对于QoE评价体系三大类别的权重占比,计算方法为:
统计一段时间内的广义投诉数据,对所述广义投诉数据进行分类;
统计每一类别的投诉数量;
计算每一类投诉数量与总投诉数量的比值。
例如,10月份共有来自3900个客户的广义投诉,按接入性、完整性、保持性分类,各类投诉分别占比为61.85%、25.74%、12.41%。图4为本发明实施例提供的根据一个月的统计数据而获得的QoE评价体系三大类别的权重占比示意图。
经对权重系数进行化整,可以认为QoE评价体系三大类别指标的权重占比如表2所示:
QoE三大类别 接入性 完整性 保持性
10月份权重系数 62% 26% 12%
表2
步骤303b:计算QoE评价体系三大类别的各细项指标的权重占比。
由于各细项指标在QoE评价体系评分当中尤为重要,可以直接体现QoE评价体系的可靠性。
仍以上述10月份共有来自3900个客户的广义投诉数据为例,结合301中的各个KPI,QoE评价体系三大类别指标以及各细项指标的权重占比情况如表3所示:
Figure BDA0000920644170000091
Figure BDA0000920644170000101
表3
具体地,各细项指标的权重占比的计算方法如下:
(1)接入性:无线侧、核心侧、业务侧共有8个关键指标,统计全网8个指标全天发生的请求次数,每个指标请求次数占比8个指标总的请求次数为该指标的权重系数。例如,RRC建立成功率,全天发生的请求次数占比8个指标全天发生的请求次数,即210581181/900759602=23.38%≈23%。同理,其余7个指标也可按照同样方式计算权重系数。
(2)完整性:主要分为下载类与时延类,各占比权重50%。下载类主要2类大包和小包下载,各占比权重25%。时延类主要包括附着时延、TCP建立时延、DNS建立时延、GET首包时延4类,每个指标总时延占比这4个指标的总时延为该指标的权重系数。例如,附着时延全天总时延占比这4个指标全天总时延,即557.31/5834.11=4.78%≈5%,同理,其余3个指标也可按照同样方式计算权重系数。
(3)保持性:无线侧、核心侧共有4个关键指标,根据这4个关键指标全天的每单位流量失败次数,每个指标单位流量失败次数占比4个指标总的失败次数为该指标的权重系数。例如,无线掉线全天掉线次数占比4个指标全天掉线次数,即271677/1313225=20.67%≈21%,同理,其余3个指标也可按照同样方式计算权重系数。
步骤303c:确定外界影响因素调整系数f和λ。
具体地,f定义为节假日当日流量较节日前三天非节假日流量的比值。
也就是说,f是针对是否节假日来做调节的,节假日顾名思义即为每周六周日以及国家所规定的清明节、端午节等节假日。
在日常工作当中我们发现,在周六周日和节日期间,由于人流相对集中,人们的活动区域产生变化,导致局部指标由于拥塞或使用集中而劣化,从而引起全网性指标的轻微劣化,但这部分感知是受不可为因素影响的。为了更好的评估全网水平的用户感知,我们认为当评分当天为非节假日时,f=1;而在节假日期间,f=当日流量/前三个非节假日的平均流量。
具体地,λ定义为当天割接操作的影响系数。
不同部门如核心网、无线网等在日常工作中要针对网络结构调整进行相关的割接操作,以优化网络性能。
(1)当晚操作成功,不影响第二天感知时,则λ=1;
(2)当晚割接失败,但是在凌晨6点前倒回成功,则λ=0.9;
(3)如果当晚割接失败,且在凌晨6点前倒回失败,则λ=0.5。
该系数针对当晚割接网元进行相关指标的调整。如当晚割接为无线侧割接操作,则核心侧和业务平台侧各指标的所有指标λ=1,无线侧所有指标根据割接操作的成功与否而定,λ=x。
步骤304:计算得出具体业务的QoE值。
QoE指标量化体系的评分采用九分制,每个KPI指标在达到评分上限时得满9分,在评分下限时得分为0分,在上下限之间时线性得分。
仍以上述10月份共有来自3900个客户的广义投诉数据为例,结合步骤301中的各个KPI,QoE评价体系各细项指标的评分上限与评分下限的设定情况如表4所示:
Figure BDA0000920644170000121
Figure BDA0000920644170000131
表4
具体地,QoE评价体系各细项指标的评分上限与评分下限的设定方法如下:
(1)接入性:8个指标成功率的上下限设定主要参考了日常对相应指标的监控门限。
(2)完整性:分为下载类与时延类的指标。下载类按照全网速率TOP80%的小区下载速率为上限,全网最差TOP10%的为下限。小包下载时延、附着时延参照258原则定义上下门限值分别为2s,8s。TCP建立时延、DNS建立时延、GET首包时延三个指标为一个总体,总的时延2秒为上限,8秒为下限。各项时延在三个指标平均时延总和的占比乘以2s为上限,各项时延在三个指标平均时延总和的占比乘以8s为下限。(此过程相当于进行指标的正态分布过程来设定门限。)如TCP建立的平均时延是44.82ms,DNS建立平均时延是23.33ms,GET首包响应平均时延146.32ms;则TCP建立时延上限是:44.82/(44.82+23.33+146.32)*2000=416ms=0.42s;TCP建立时延下限是:44.82/(44.82+23.33+146.32)*8000=1671ms=1.67s。同理,可按照相应的方式计算出DNS建立时延、GET首包时延上下限。
(3)保持性:取每GB流量指标次数最优T0P20%为上限,最差TOP10%为下限。(依然为根据数据的正态分布,根据概率统计设定指标上下限)如:无线掉线次数全网小区每GB流量掉线次数最优TOP20%在4.53次内,最差TOP10%小区大于58.3次。故上下限分别设置为4.53次和58.3次。
上述TOP是指排名。
用上述方法计算出每一项的得分情况,通过得分乘以权重系数算出QoE评分结果,QoE值计算公式如下所示:
Figure BDA0000920644170000132
其中,f与λ分别表示外界影响因素的影响系数;i表示各大类别中的一种,i=1、2、3、…、n;k表示每大类别下的细项指标,k为大于等于1的正整数;δk表示每大类下的各个细项指标所对应的权重;δi表示每大类别指标所对应的权重。
步骤305:数据验证。
具体地,如果验证结果符合预设标准,则执行步骤307;如果验证结果不符合预设标准,则执行步骤306。
优选地,步骤305包括:
步骤305a:对QoE评价体系的全网级评分结果进行评估。
为了验证QoE评价体系对全网以及小区级的评分准确性,采用步骤304中的QoE计算公式对10月10日至10月19日全网指标进行评估,具体得分及评估结果如表5所示:
Figure BDA0000920644170000141
表5
根据表5中的得分情况,可以绘制出更直观的QoE评价体系评分结果示意图,图5为本发明实施例提供QoE评价体系评分结果示意图,从图5可以看出,从全网评分结果来看,全网的客户感知整体情况良好。10月15日QoE评价体系得分最低,接近一般,由于保持性得分的权重占比较低,则最终评分主要受到接入性得分影响。核查原因主要受到TCP成功率影响,具体原因如下:
10月15日凌晨GGSN201割入爱立信综合网关后,早上LAN1\LAN2 TCP成功率下滑触发一级告警,省公司怀疑是业务量高导致的,经过割走一个GGSN后TCP成功率指标恢复。
步骤305b:将QoE评价体系评分与投诉量进行关联。
具体地,步骤305b包括:
取10月10日至10月19日上网本地考核项投诉量,与QoE评分结果进行对比观察;
例如,投诉量与QoE评价体系评分结果的对比表如表6所示:
Figure BDA0000920644170000151
表6
对10月10日至10月19日的全网级QoE评价体系评分结果与上网本地考核投诉量(数据来自客服提供给网调中心的数据)进行关联分析;经关联分析得出相关系数为-0.82,表示两者呈较强负相关。
根据表6中的得分情况,可以绘制出更直观的对比示意图,图6为本发明实施例提供的QoE评价体系评分与LTE本地投诉考核项投诉量的对比示意图,从图6可以看出,当LTE本地投诉考核项投诉量大时,QoE评价体系评分较低;当LTE本地投诉考核项投诉量小时,QoE评价体系评分较高。
因此,可以认为所建立的QoE量化指标体系能够较为准确的反应客户感知的情况。
步骤306:模型修正,然后返回步骤303。
随着终端应用种类的增多,用户的使用行为与习惯不断发生改变,映射到网络侧即为业务类型会不断发生变化。为不断的完善用户终端上网QoE感知评价体系,提出了基于用户上网投诉和业务类型的QoE感知评价体系权重系数自适应调整的模型,即各指标系数的动态调整过程。思路如下:
第一,KPI体系中的关键指标根据业务模型不断学习更新,寻找影响感知的关键指标,实现自适应的指标体系更新。
第二,针对QoE评价体系中三大类别的权重占比可以根据每个月第一周的投诉情况进行汇总,重新分配各权重系数,作为接下来该月的QoE评价体系三大类权重系数。
第三,针对接入性KPI的权重,可以根据接入业务量模型实现指标权重的自适应系数,甚至实现不同网元级别的权重自适应调整。
第四,对完整性权重占比较高的大包业务下载速率和小包业务下载时延可以根据大包业务和小包业务的流量占比进行自适应调整权重系数;其它时延根据现网统计的业务平均时延经验实现自适应调整。
步骤307:得出QoE量化指标体系。
最终输出的基于设备指标推导法的用户终端上网QoE感知评价体系如表7所示:
Figure BDA0000920644170000161
Figure BDA0000920644170000171
表7
根据得分情况得出客户感知的五级标准,可以直观评价用户感知情况。QoE评价体系五级评价如表8所示:
Figure BDA0000920644170000172
Figure BDA0000920644170000181
表8
当然,上述五级标准也可以随着QoE评价体系模型的变化进行自适应的调整。
实施例三
图7为本发明实施例提供的用户上网QoE评价装置的组成结构示意图,如图7所示,所述用户上网QoE评价装置包括所述装置包括:
收集单元71,用于收集网元的KPI数据;
映射单元72,用于根据所收集的KPI数据建立KPI到QoE的映射;
建立单元73,用于基于映射结果建立QoE评价体系模型。
优选地,所述映射单元72,还用于:
将收集到的KPI数据按照接入性、完整性、保持性进行分类;
设定影响各大类别的KQI;
基于所述影响各大类别的KQI确定影响各大类别的细项指标。
优选地,所述建立单元73,还用于:
分析各大类别的权重占比;
分析影响各大类别的细项指标的权重占比;
设定外界影响因素调整系数;
根据所述各大类别的权重占比、影响各大类别的细项指标的权重占比、以及所述外界影响因素调整系数确定QoE评价体系模型的QoE值计算公式。
优选地,所述装置还包括:计算单元74,用于:
根据所述QoE值计算公式对QoE评价体系进行评分时,采用九分制,每个指标在达到评分上限时得9分,在评分下限时得分为0分,在上下限之间时线性得分。
优选地,所述装置还包括:修正单元75,用于:
统计预设时间段内的业务类型变化数据;
对所述业务类型变化数据进行分析;
基于分析结果对所述QoE评价体系模型所包含的指标以及各指标的权重系数、外界影响因素调整系数进行自适应性修正。
实际应用中,所述收集单元71、映射单元72、建立单元73、计算单元74和修正单元75可由用户上网QoE评价装置所在网络设备中的中央处理器(CPU,Central ProcessingUnit)、微处理器(MPU,Micro Processor Unit)、数字信号处理器(DSP,Digital SignalProcessor)或现场可编程门阵列(FPGA,Field Programmable Gate Array)等实现。
本实施例所提供的用户上网QoE评价装置,能更全面、更准确地获得用户上网的使用感知,实现对用户上网感知评价的高效化、智能化、规范化。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法、设备和***,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明实施例上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种用户上网体验质量QoE评价方法,其特征在于,所述方法包括:
收集网元的关键性能指标KPI数据;
根据所收集的KPI数据建立KPI到QoE的映射;
基于映射结果建立QoE评价体系模型;
其中,所述基于映射结果建立QoE评价体系模型,包括:
将收集到的KPI数据按照接入性、完整性、保持性进行分类;分析各大类别的权重占比;分析影响各大类别的细项指标的权重占比;设定外界影响因素调整系数;根据所述各大类别的权重占比、影响各大类别的细项指标的权重占比、以及所述外界影响因素调整系数确定QoE评价体系模型的QoE值计算公式:
Figure FDA0002353138740000011
其中,f表示节假日当日流量较节日前三天非节假日流量的比值;λ表示当天割接操作的影响系数;i表示各大类别中的一种,i=1、2、3、…、n;k表示每大类别下的细项指标,k为大于等于1的正整数;δk表示每大类下的各个细项指标所对应的权重;δi表示每大类别指标所对应的权重;
所述分析各大类别的权重占比包括:
统计一段时间内的广义投诉数据,对所述广义投诉数据进行分类;统计每一类别的投诉数量;计算每一类投诉数量与总投诉数量的比值;
所述基于映射结果建立QoE评价体系模型之后,所述方法还包括:
统计预设时间段内的业务类型变化数据;
对所述业务类型变化数据进行分析;
基于分析结果对所述QoE评价体系模型所包含的指标以及各指标的权重系数、外界影响因素调整系数进行自适应性修正。
2.根据权利要求1所述的方法,其特征在于,所述基于所收集的KPI数据建立KPI到QoE的映射,包括:
将收集到的KPI数据按照接入性、完整性、保持性进行分类;
设定影响各大类别的关键质量指标KQI;
基于所述影响各大类别的KQI确定影响各大类别的细项指标。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述QoE值计算公式对QoE评价体系进行评分时,采用九分制,每个指标在达到评分上限时得9分,在评分下限时得分为0分,在上下限之间时线性得分。
4.一种用户上网QoE评价装置,其特征在于,所述装置包括:
收集单元,用于收集网元的KPI数据;
映射单元,用于根据所收集的KPI数据建立KPI到QoE的映射;
建立单元,用于基于映射结果建立QoE评价体系模型;
所述建立单元,还用于:
将收集到的KPI数据按照接入性、完整性、保持性进行分类,分析各大类别的权重占比;分析影响各大类别的细项指标的权重占比;设定外界影响因素调整系数;根据所述各大类别的权重占比、影响各大类别的细项指标的权重占比、以及所述外界影响因素调整系数确定QoE评价体系模型的QoE值计算公式:
Figure FDA0002353138740000021
其中,f表示节假日当日流量较节日前三天非节假日流量的比值;λ表示当天割接操作的影响系数;i表示各大类别中的一种,i=1、2、3、…、n;k表示每大类别下的细项指标,k为大于等于1的正整数;δk表示每大类下的各个细项指标所对应的权重;δi表示每大类别指标所对应的权重;
所述分析各大类别的权重占比包括:统计一段时间内的广义投诉数据,对所述广义投诉数据进行分类;统计每一类别的投诉数量;计算每一类投诉数量与总投诉数量的比值;
所述装置还包括:修正单元,用于:
统计预设时间段内的业务类型变化数据;
对所述业务类型变化数据进行分析;
基于分析结果对所述QoE评价体系模型所包含的指标以及各指标的权重系数、外界影响因素调整系数进行自适应性修正。
5.根据权利要求4所述的装置,其特征在于,所述映射单元,还用于:
将收集到的KPI数据按照接入性、完整性、保持性进行分类;
设定影响各大类别的KQI;
基于所述影响各大类别的KQI确定影响各大类别的细项指标。
6.根据权利要求4所述的装置,其特征在于,所述装置还包括:计算单元,用于:
根据所述QoE值计算公式对QoE评价体系进行评分时,采用九分制,每个指标在达到评分上限时得9分,在评分下限时得分为0分,在上下限之间时线性得分。
CN201610074975.8A 2016-02-02 2016-02-02 一种用户上网QoE评价方法及装置 Active CN107026750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610074975.8A CN107026750B (zh) 2016-02-02 2016-02-02 一种用户上网QoE评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610074975.8A CN107026750B (zh) 2016-02-02 2016-02-02 一种用户上网QoE评价方法及装置

Publications (2)

Publication Number Publication Date
CN107026750A CN107026750A (zh) 2017-08-08
CN107026750B true CN107026750B (zh) 2020-05-26

Family

ID=59524631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610074975.8A Active CN107026750B (zh) 2016-02-02 2016-02-02 一种用户上网QoE评价方法及装置

Country Status (1)

Country Link
CN (1) CN107026750B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107612701A (zh) * 2016-07-11 2018-01-19 中国电信股份有限公司 一种QoE参数的处理方法、装置与客户体验管理***
CN109428759A (zh) * 2017-09-01 2019-03-05 ***通信集团广西有限公司 一种网络质量评估方法及装置
CN107920362B (zh) * 2017-12-06 2020-12-01 南京华苏科技有限公司 一种基于微区域的lte网络性能评估方法
CN110650488B (zh) * 2018-06-26 2021-07-23 大唐移动通信设备有限公司 一种通信质量的监控方法及***
CN114615558A (zh) * 2018-11-22 2022-06-10 华为技术有限公司 一种网络性能瓶颈值的确定方法、装置及存储介质
CN110060093B (zh) * 2019-03-25 2023-12-05 广州瀚信通信科技股份有限公司 一种基于4g高流量客户的终端营销方法
CN111177280A (zh) * 2019-12-26 2020-05-19 北京亚信数据有限公司 一种数据权威性评价方法和装置
CN112422534B (zh) * 2020-11-06 2023-09-22 度小满科技(北京)有限公司 电子证书的信用评估方法以及设备
CN116542566B (zh) * 2023-05-09 2023-11-21 广东圣千科技有限公司 一种智能护肤客服的交互评分方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013044997A1 (en) * 2011-09-28 2013-04-04 Telefonica, S.A. A method to measure quality of experience of a video service
CN103227738A (zh) * 2013-04-26 2013-07-31 华南师范大学 基于自相似模型的智能网络监控***
CN103312540A (zh) * 2013-05-24 2013-09-18 中国联合网络通信集团有限公司 用户业务需求参数确定方法和装置
CN104023232A (zh) * 2014-06-27 2014-09-03 北京邮电大学 基于层次分析和多元线性回归的移动视频质量评估方法
CN104618924A (zh) * 2015-01-30 2015-05-13 南京邮电大学 基于无线泛在网的用户体验质量指标***和测量方法
WO2015144211A1 (en) * 2014-03-25 2015-10-01 Telefonaktiebolaget L M Ericsson (Publ) Method and system for monitoring qoe

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158879B (zh) * 2011-02-24 2013-07-31 大唐移动通信设备有限公司 要因失分的数据处理方法及设备
CN102625344B (zh) * 2012-03-13 2014-08-13 重庆信科设计有限公司 移动终端用户体验质量评估模型及方法
CN102685791B (zh) * 2012-05-22 2014-09-10 北京东方文骏软件科技有限责任公司 模拟用户行为的WAP业务用户感知体验QoE评测方法
CN104378220A (zh) * 2013-08-14 2015-02-25 中兴通讯股份有限公司 评价用户体验质量的方法及装置、用户终端、网络服务器
CN104994133B (zh) * 2015-05-22 2018-08-21 华中科技大学 一种基于网络KPI的移动Web网页访问用户体验感知评测方法
CN105050125B (zh) * 2015-06-23 2019-01-29 武汉虹信通信技术有限责任公司 一种面向用户体验的移动数据业务质量评测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013044997A1 (en) * 2011-09-28 2013-04-04 Telefonica, S.A. A method to measure quality of experience of a video service
CN103227738A (zh) * 2013-04-26 2013-07-31 华南师范大学 基于自相似模型的智能网络监控***
CN103312540A (zh) * 2013-05-24 2013-09-18 中国联合网络通信集团有限公司 用户业务需求参数确定方法和装置
WO2015144211A1 (en) * 2014-03-25 2015-10-01 Telefonaktiebolaget L M Ericsson (Publ) Method and system for monitoring qoe
CN104023232A (zh) * 2014-06-27 2014-09-03 北京邮电大学 基于层次分析和多元线性回归的移动视频质量评估方法
CN104618924A (zh) * 2015-01-30 2015-05-13 南京邮电大学 基于无线泛在网的用户体验质量指标***和测量方法

Also Published As

Publication number Publication date
CN107026750A (zh) 2017-08-08

Similar Documents

Publication Publication Date Title
CN107026750B (zh) 一种用户上网QoE评价方法及装置
US11038970B2 (en) Combining measurements based on beacon data
US10277491B2 (en) Combining measurements based on beacon data
CN108075925B (zh) 基于端到端性能观察与评估来改进通信网络的性能
US9830607B1 (en) Multi-platform overlap estimation
CN105357691B (zh) Lte无线网络用户感知监测方法和***
CN109803295B (zh) 一种通信小区整改优先级的评价方法和装置
WO2016101464A1 (zh) 用户体验质量QoE评估方法、装置、终端及服务器
CN109548036B (zh) 一种移动网络潜在投诉用户预测方法和装置
CN104994133A (zh) 一种基于网络KPI的移动Web网页访问用户体验感知评测方法
CN111245684B (zh) 流量调度方法和装置、电子设备、计算机可读介质
CN103607309A (zh) 一种业务kqi与qoe的映射方法
JP6145067B2 (ja) 通信トラヒック予測装置及び方法及びプログラム
CN112101692A (zh) 移动互联网质差用户的识别方法及装置
CN107943678B (zh) 一种评价应用访问过程的方法及评价服务器
Paul et al. Characterizing internet access and quality inequities in california m-lab measurements
CN109963292B (zh) 投诉预测的方法、装置、电子设备和存储介质
CN117130851B (zh) 一种高性能计算集群运行效率评价方法及***
CN115086140A (zh) 宽带业务的质量评估方法、装置、电子设备及存储介质
CN113517990B (zh) 一种网络净推荐值nps的预测方法及装置
US9787786B1 (en) Determining device counts
CN116723339B (zh) 内容数据的分发方法和装置、存储介质及电子设备
CN108307428B (zh) 一种基于mr数据的lte小区集中度分析方法及***
CN111222897B (zh) 基于客户上网满意度预测方法及装置
CN114491406A (zh) 网络业务的评价方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant