CN102904755A - 一种移动互联网业务用户体验质量测量方法和装置 - Google Patents

Abstract

本发明公开了一种移动互联网业务用户体验质量测量方法和装置。本发明实施例提供的方法包括：设置至少三种类型的关键性能指标，属于第一类型的关键性能指标指示终端性能，属于第二类型的关键性能指标指示网络性能，属于第三类型的关键性能指标指示应用服务性能，所述方法包括：采集目标移动互联网业务的所述至少三种类型的关键性能指标；利用采集到的每种类型下的关键性能指标分别获取相应类型下的质量测量值，根据所述各类型下的质量测量值计算得到目标移动互联网业务的用户体验质量的数值。本发明提供的技术方案能够准确测量出能够反映移动互联网业务的用户体验质量的数值。

Description

一种移动互联网业务用户体验质量测量方法和装置

技术领域

本发明涉及通信技术领域，特别是涉及一种移动互联网业务用户体验质量评测方法和装置。

背景技术

近年来，随着移动互联网技术快速发展，移动互联网业务层出不穷，已经渗透到人们生活的各个方面。随着移动互联网应用竞争的日益激烈，用于评价移动互联网应用质量好坏的用户体验质量（QoE，Quality ofExperience）越来越受到网络运营商与开发者的重视。

目前，QoE的评测方法主要有主观评价方法和客观评价方法。其中，主观评价方法就是要直接从用户感知出发，对业务进行评价；但是由于主观评价方法要考虑太多因素，耗费大量时间与人力，因而没有得到广泛应用。另外，现有的客观评价方法，大多数都集中在对网络服务的研究上，并且大多数的QoE测量方法是针对语音与视频业务建立的，对于一般的移动互联网应用不具有普遍适用性。并且现有的测量方法在测量的测量值与实际值之间存在偏差，不够准确，不能根据测量值就某项移动互联网业务的用户体验质量进行评价。

综上所述，现有的QoE的客观评测方法适用范围较窄且不能准确测量出能够反映移动互联网业务的用户体验质量的数值。

发明内容

本发明公开了一种移动互联网业务用户体验质量测量方法，该方法能够准确测量出能够反映各种移动互联网业务的用户体验质量的数值。

本发明提供了一种移动互联网业务用户体验质量测量方法，其中，设置至少三种类型的关键性能指标KPI，所述三种类型包括第一类型、第二类型和第三类型，属于第一类型的关键性能指标指示终端性能，属于第二类型的关键性能指标指示网络性能，属于第三类型的关键性能指标指示应用服务性能，所述方法包括：

采集目标移动互联网业务的所述至少三种类型的关键性能指标；

利用采集到的每种类型下的关键性能指标分别获取相应类型下的质量测量值，其中，获取到的第一类型下的质量测量值为终端质量测量值，获取到的第二类型下的质量测量值为网络质量测量值，获取到的第三类型下的质量测量值为应用服务质量测量值；

根据所述各类型下的质量测量值计算得到目标移动互联网业务的用户体验质量的数值。

本发明还公开了一种移动互联网业务用户体验质量测量装置，该装置能够准确测量出能够反映移动互联网业务的用户体验质量的数值。

本发明还提供了一种移动互联网业务用户体验质量测量装置，该装置包括：设置模块、关键性能指标采集模块、质量测量值计算模块和用户体验质量计算模块；其中，

设置模块，用于设置至少三种类型的关键性能指标，所述三种类型包括第一类型、第二类型和第三类型，属于第一类型的关键性能指标指示终端性能，属于第二类型的关键性能指标指示网络性能，属于第三类型的关键性能指标指示应用服务性能；

关键性能指标采集模块，用于采集目标移动互联网业务的所述至少三种类型的关键性能指标并发送给质量测量值计算模块；

质量测量值计算模块，用于接收关键性能指标采集模块发送的关键性能指标，根据采集到的每种类型下的关键性能指标分别获取相应类型下的质量测量值，其中，获取到的第一类型下的质量测量值为终端质量测量值，获取到的第二类型下的质量测量值为网络质量测量值，获取到的第三类型下的质量测量值为应用服务质量测量值；

用户体验质量计算模块，用于根据所述各个类型下的质量测量值计算得到目标移动互联网业务的用户体验质量的数值。

综上所述，本发明提供的技术方案通过设置多种类型的关键性能指标，在测量时采集所设置的多种类型的关键性能指标并计算对应的质量测量值，由质量测量值计算移动互联网业务的用户体验质量数值的技术手段，能够准确测量出反映移动互联网业务的用户体验质量的数值。

本发明实施例能够从终端侧、网络侧和应用服务侧等方面整体反映当前移动互联网业务的用户体验质量，通过本发明得到的测量结果与实际的用户体验非常接近，从而能够利用本方案得到的测量结果改进移动互联网业务的相关性能，提高用户体验质量。

附图说明

图1是本发明中一种移动互联网业务用户体验质量测评方法的流程图；

图2是本发明中一种用户体验质量测量方法的详细流程图；

图3是本发明中一种计算无量纲化KPI权重值的流程图；

图4是本发明中一种具体实施例中的用户体验质量测量的层次示意图；

图5是本发明一种具体实施例中的关键性能指标的总体权重值示意图；

图6是本发明中一种移动互联网业务用户体验质量测量装置示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明提供的一种移动互联网业务用户体验质量测量方案，该方法通过综合终端性能、网络性能和应用服务性能等多种因素全面评测用户体验质量。通过本方案测量得到的用户体验质量的数值可以反映用户在网络中对具体移动互联网业务的总体感受。网络运营商和开发者可从自身的角度出发，依据本发明进行QoE评测，改进移动互联网业务的用户体验质量，从而在激烈的竞争中获得优势。

本发明实施例中，用户对移动互联网业务的整体感知程度由QoE来决定。移动互联网业务QoE包括QoT（Quality of Terminal）、QoS（Quality ofService）和QoD（Quality of Development），分别对应网络的终端性能、网络性能和服务端性能的关键质量指标（KQI）。

QoS表示网络运营商提供的移动网络环境的总体服务质量。QoS是从应用角度评价总体网络服务质量的指标，依赖于网络运营商提供的网络性能。例如，发送成功率、业务建立成功率等都属于QoS范畴。

QoD为衡量应用性能的指标。与应用的开发者有关，不同的应用开发者对于同一款应用程序的开发质量是不一样的，从而导致用户在对于不同的应用程序时的用户体验质量是不一样的。QoD包括程序设计、算法、硬件等。

QoT表示对QoE产生作用的智能终端性能。QoT主要依赖于用户使用的智能终端性能，例如，硬件性能、操作***等。

图1是本发明中一种移动互联网业务用户体验质量测评方法的流程图；如图1所示，

步骤101，设置至少三种类型的关键性能指标，所述三种类型包括第一类型、第二类型和第三类型，属于第一类型的关键性能指标指示终端性能，属于第二类型的关键性能指标指示网络性能，属于第三类型的关键性能指标指示应用服务性能。

步骤102，采集目标移动互联网业务的所述至少三种类型的关键性能指标。

步骤103，利用采集到的每种类型下的关键性能指标分别获取相应类型下的质量测量值，其中，获取到的第一类型下的质量测量值为终端质量测量值，获取到的第二类型下的质量测量值为网络质量测量值，获取到的第三类型下的质量测量值为应用服务质量测量值。

步骤104，根据所述各类型下的质量测量值计算得到目标移动互联网业务的用户体验质量的数值。

本发明提供的一种用户体验质量的测量方法通过分别测量各种类型的关键性能指标，并计算出对应的权重值，得出对应类型的质量测量值；根据所述质量测量值计算与其对应的权重值，最后得出移动互联网业务的用户体验质量的测量值。本发明提供测量方法具有获取到的测量值接近实际的用户体验质量的数值，并且对于不同的移动互联网业务，各项关键性能指标不需要进行调整，只需要调整某些关键性能指标的权重值即可，更具有通用性。

在如图1所述的步骤103中，利用采集到的每种类型下的关键性能指标分别获取相应类型下的质量测量值，可以具体为：将采集到的KPI通过无量纲化运算转换为无量纲化KPI；按照层次分析方式，利用无量纲化KPI计算每种类型下各无量纲化KPI的权重值；利用每种类型下无量纲化KPI和无量纲化KPI的权重值计算得到对应的质量测量值。

在上述利用每种类型下无量纲化KPI和无量纲化KPI的权重值计算得到对应的质量测量值，具体为：根据公式KQI_i=ω₁×KPI₁+ω₂×KPI₂+…+ω_n×KPI_n计算对应的质量测量值；其中，KQI_i表示第i类型下的质量测量值；KPI₁为第i类型下第1无量纲化KPI，ω₁为与KPI₁相对应的权重值；KPI₂为第i类型下第2无量纲化KPI，ω₂为与KPI₂相对应的权重值；KPI_n为第i类型下第n无量纲化KPI，ω_n为与KPI_n相对应的权重值。

在如图1所示的步骤104中，根据所述各种类型下的质量测量值计算得到目标移动互联网业务的用户体验质量的数值，具体为：按照层次分析方式，计算各质量测量值的权重值；利用所述质量测量值和所述质量测量值的权重值计算得到所述用户体验质量的数值。

在上述的利用所述质量测量值和所述质量测量值的权重值计算得到所述用户体验质量的数值，具体为：根据公式QoE=w₁×KQI₁+w₂×KQI₂+…+w_i×KQI_i计算对应的用户体验质量的数值；其中，QoE表示用户体验质量的数值；KQI₁为第一类型的质量测量值，w₁为与KQI₁相对应的权重值；KQI₂为第二类型的质量测量值，w₂为与KQI₁相对应的权重值；KQI_i为第i类型的质量测量值，w_i为与KQI_i相对应的权重值。

在本发明中的具体实施例中，所述按照层次分析方式，利用无量纲化KPI计算各种类型下各无量纲化KPI的权重值包括：

根据所设置的判断尺度表，通过将每一类型的无量纲化KPI分别两两比较建立所述类型下的性能指标判断矩阵，其中，所述判断尺度表指示两个无量纲化KPI的比较结果与判断尺度值的对应关系，所述性能指标判断矩阵由判断尺度值得到；

计算所述性能指标判断矩阵的特征向量

对特征向量

进行归一化处理得到归一化特征向量

将归一化特征向量

中的各元素分别作为所述各类型下的无量纲化KPI的权重值；

在本发明中的具体实施例中，所述按照层次分析方式，计算各质量测量值的权重值包括：

根据所设置的判断尺度表，通过将各质量测量值分别两两比较建立质量测量值判断矩阵，其中，所述判断尺度表指示两个质量测量值的比较结果与判断尺度值的对应关系，所述质量测量值判断矩阵由判断尺度值得到；

计算所述质量测量值判断矩阵的特征向量

对特征向量

进行归一化处理得到归一化特征向量

将归一化特征向量

中的各元素分别作为各质量测量值的权重值。

在将归一化特征向量中的各元素分别作为所述各种类型下的无量纲化KPI的权重值之前，所述方法还包括：

计算所述性能指标判断矩阵的最大特征值；

根据所述性能指标判断矩阵的最大特征值计算一致性比率，判断所述一致性比率的数值是否大于预定阈值，若是，确定所述归一化特征向量

中的各元素为该类型下各无量纲化KPI的权重值；若否，则不将所述归一化特征向量

中的各元素作为该类型下各无量纲化KPI的权重值；

在将归一化特征向量

中的各元素分别作为各质量测量值的权重值之前，所述方法还包括：

计算所述质量测量值判断矩阵的最大特征值；

根据所述质量测量值判断矩阵的最大特征值计算一致性比率，判断所述一致性比率的数值是否大于预定阈值，若是，确定所述归一化特征向量

中的各元素为各质量测量值的权重值；若否，则不将所述归一化特征向量

中的各元素作为各质量测量值的权重值。

在诸多移动互联网业务中，即时通讯业务具有实时、传送数据类型多、交互性强、用户数据庞大等特性，在移动互联网业务中具有代表性。下文以即时通信作为具体实施例，从终端、网络和应用服务性能三个方面对即时通信业务的用户体验质量进行测量的方式详细说明本发明的具体流程。

图2是本发明中一种用户体验质量测量方法的详细流程图，如图2所示，

步骤201，设置三种类型的关键性能指标。

在步骤201中，所设置的三种类型包括第一类型、第二类型和第三类型，属于第一类型的关键性能指标指示终端性能，属于第二类型的关键性能指标指示网络性能，属于第三类型的关键性能指标指示应用服务性能。

其中，属于终端性能的关键性能指标包括：终端的CPU性能，即该终端的CPU的运算速度。终端的内存消耗量，即使用与所述移动互联网业务相关的应用软件时终端的内存消耗比例。终端的响应时间，即使用终端时，按下键盘至屏幕显示的时间。终端的屏幕分辨率，即屏幕分辨率。终端的操作***性能，即终端所使用的操作***。

属于网络性能的关键性能指标包括：发送成功率，即成功发送的IM信息占尝试发送信息的比例。消息时延，即从源终端发送IM信息到目的终端收到IM信息的时间。业务建立成功率，即用户发起建立的成功数占总数的比例。业务建立时延，即用户发起建立连接到成功建立的时间。消息传输速率，即消息在传输时的速率。

属于应用服务性能的关键性能指标包括：内存占用量，即服务一个用户平均消耗内存量。服务端最大连接数，即服务器端能支持的最大连接数。服务器CPU性能，即服务器CPU的运算速度。关键任务操作步骤，即用户完成关键任务所需的步骤数。数据传输开销，即传输单位数据消耗的网络流量。

将上述的各类型的关键性能指标标号后列成表格如表1所示：

表1

步骤202，采集指示终端性能的关键性能指标，采集指示网络性能的关键性能指标，采集指示应用服务性能的关键性能指标。

在步骤202中，根据表1所示的各项关键性能指标，对各项关键性能指标进行测量，采集测量得出关键性能指标的测量值。

步骤203，将采集到的各种类型的KPI通过无量纲化运算转换为无量纲化KPI。

在步骤203中，将采集到的每种类型下的各项KPI的实际测量值通过无量纲化运算转换为无量纲化KPI。

所述无量纲化运算包括：线性无量纲化、曲线无量纲化和折线复合无量纲化。线性无量纲化方法是指指标值与评价值呈线性关系。曲线无量纲化方法是指指标值与评价值呈曲线关系。其中，线性无量纲化方法包括：标准化处理法、功效系数法和极值法等。

在本发明的具体实施例中，采用折线复合无量纲化的方式进行无量纲化运算。以表1中的KPI-3、KPI-6、KPI-7、KPI-9为例进行说明：

首先，建立无量纲化对照表，在所述无量纲化对照表中，针对每个KPI的不同测量值区间设置对应的百分制区间。如表2所示；

表2

根据无量纲化转化公式： $Q_f=Q_L+(Q_R-Q_L)\×\frac{|P_T-P_L|}{P_R-P_L}$ 将各种类型下的KPI转换为无量纲化KPI。其中，Q_f表示无量纲化KPI的值，Q_L是无量纲化KPI所在百分制区间的左边界，Q_R是无量纲化KPI所在百分制区间的右边界；P_L是采集到的KPI所在区间的左边界，P_R是采集到的KPI所在区间的右边界；P_T是采集到的KPI。

例如：采集到的响应时间的测量值为35ms,则依据表2以及对应的无量纲化转换公式，可得 $Q_f=Q_L+(Q_R-Q_L)\×\frac{|P_T-P_L|}{P_R-P_L}=70+(80-70)\×\frac{|35-50|}{50-10}=73.75.$ 因此，对于测量值为35ms的响应时间，经过无量纲化运算得到的无量纲化KPI的值为73.75。

步骤204，按照层次分析方式，利用无量纲化KPI计算每种类型下各无量纲化KPI的权重值。

在步骤204中，首先，根据所设置的判断尺度表，通过将每一类型的无量纲化KPI分别两两比较建立所述类型下的性能指标判断矩阵，其中，所述判断尺度表指示两个无量纲化KPI的比较结果与判断尺度值的对应关系，所述性能指标判断矩阵由判断尺度值得到。

其次，计算所述性能指标判断矩阵的特征向量

再次，对特征向量进行归一化处理得到归一化特征向量

将归一化特征向量

中的各元素分别作为所述各种类型下的无量纲化KPI的权重值。

使用层次分析方式计算得到权重值后，需要对计算得到的归一化特征向量

进行相容性判断。

在本发明的一种实施例中，对归一化特征向量进行相容性判断的过程具体为:

首先，计算所述性能指标判断矩阵的最大特征值；

然后根据所述性能指标判断矩阵的最大特征值计算一致性比率，判断所述一致性比率的数值是否大于预定阈值，若是，确定所述归一化特征向量中的各元素为该类型下各无量纲化KPI的权重值；若否，则不将所述归一化特征向量

中的各元素作为该类型下各无量纲化KPI的权重值。

步骤205，根据无量纲化KPI和无量纲化KPI的权重值计算得到对应的质量测量值。

在步骤205中，具体为根据公式KQI_i=ω₁×KPI₁+ω₂×KPI₂+…+ω_n×KPI_n计算对应的质量测量值；其中，KQI_i表示第i类型下的质量测量值；KPI₁为第i类型下第1无量纲化KPI，ω₁为与KPI₁相对应的权重值；KPI₂为第i类型下第2无量纲化KPI，ω₂为与KPI₂相对应的权重值；KPI_n为第i类型下第n无量纲化KPI，ω_n为与KPI_n相对应的权重值。

以表1所列的各项KPI为例，在KQI₁中，KPI₁即为KPI-1，KPI₅即为KPI-5；在KQI₂中，KPI₁为KPI-6，KPI₅即为KPI-10；在KQI₃中，KPI₁即为KPI-11，KPI₅即为KPI-15。

根据上述公式，分别计算出指示终端性能的KQI₁，指示网络性能的KQI₂以及指示应用服务性能的KQI₃。

步骤206，按照层次分析方式，计算各质量测量值的权重值。

在步骤206中，首先，根据所设置的判断尺度表，通过将质量测量值分别两两比较建立质量测量值判断矩阵，其中，所述判断尺度表指示两个质量测量值的比较结果与判断尺度值的对应关系，所述质量测量值判断矩阵由判断尺度值得到。

其次，计算所述质量测量值判断矩阵的特征向量

对特征向量

进行归一化处理得到归一化特征向量

将归一化特征向量

中的各元素分别作为各质量测量值的权重值。

步骤207，根据所述质量测量值和质量测量值的权重值计算得到所述用户体验质量的数值。

在步骤207中，根据公式QoE=w₁×KQI₁+w₂×KQI₂+w₃×KQI₃计算对应的用户体验质量的数值；其中，QoE表示用户体验质量的数值；KQI₁为终端性能的质量测量值，w₁为与KQI₁相对应的权重值；KQI₂为网络性能的质量测量值，w₂为与KQI₁相对应的权重值；KQI₃为应用服务性能的质量测量值，w₃为与KQI₃相对应的权重值。

在使用层次分析方式计算得到相应的归一化特征向量之后，需要对计算得到的归一化特征向量进行相容性判断。

在本发明的一种实施例中，对归一化特征向量

进行相容性判断具体为:

计算所述质量测量值判断矩阵的最大特征值。

根据所述质量测量值判断矩阵的最大特征值计算一致性比率，判断所述一致性比率的数值是否大于预定阈值，若是，确定所述归一化特征向量

中的各元素为各质量测量值的权重值；若否，则不将所述归一化特征向量

中的各元素作为各质量测量值的权重值。

在如图2所示步骤204计算各项KPI的权重值的过程中，需要分别计算属于终端性能的KPI的权重值、属于网络性能的KPI的权重值以及属于服务性能的KPI的权重值。

下面以计算属于网络性能的KPI的权重值为具体实施例进行详细说明。

图3是本发明中一种计算无量纲化KPI权重值的流程图；如图3所述，

步骤301，根据所设置的判断尺度表，通过将属于网络性能的无量纲化KPI分别两两比较建立性能指标判断矩阵，其中，表3为本发明中一种判断尺度表。如表3所示，

表3

判断尺度	定义	判断尺度	定义
				1	对H而言，ai和aj同样重要	7	对H而言，ai比aj重要得多
3	对H而言，ai比aj稍微重要	9	对H而言，ai比aj绝对重要
				5	对H而言，ai比aj重要	2，4，6，8	介于上述两个判断尺度之间

根据表1中所列的用于指示网络性能的关键性能指标：发送成功率、消息时延、业务建立成功率、业务建立时延以及消息传输速率，以各项关键性能指标分别作为X轴和Y轴，根据表3进行两两比较，得到表4。表4表示各项关键性能指标两两之间的重要程度。例如：对于即时通信来说，消息时延相对于发送成功率的判断数值为4，即消息时延相对于发送成功率的重要程度介于稍微重要和重要之间。

表4

	发送成功率	消息时延	业务建立成功率	业务建立时延	消息传输速率
						发送成功率	1	4	3	5	4
消息时延	1/4	1	1/2	4	3
						业务建立成功率	1/3	2	1	5	3
业务建立时延	1/5	1/4	1/5	1	1/3
						消息传输速率	1/4	1/3	1/3	3	1

根据表4得到对应的判断矩阵A：

$A=\left|\begin{array}{ccccc}1& 4& 3& 5& 4\\ 1/4& 1& 1/2& 4& 3\\ 1/3& 2& 1& 5& 3\\ 1/5& 1/4& 1/5& 1& 1/3\\ 1/4& 1/3& 1/3& 3& 1\end{array}\right|$

步骤302，根据性能指标判断矩阵计算特征向量。

在步骤302中，矩阵A为所述性能指标判断矩阵；对照该性能指标判断矩阵中的各元素，根据公式

计算出特征向量

其中，i＝1，2，...n；其中，n为矩阵A的行数或者是列数，即属于每种类型的KPI的数量，在该实施例中，n=5；计算出的特征向量 ${\stackrel{\→}{\mathrm{\ω}}}^{\left(0\right)}={\left(\mathrm{2.9926,1.0844,1.5849,0.3196,0.6084}\right)}^T.$

步骤303，对特征向量

进行归一化处理得到归一化特征向量

在步骤303中，对向量 ${\stackrel{\→}{\mathrm{\ω}}}^{\left(0\right)}={\left(\mathrm{2.9926,1.0844,1.5849,0.3196,0.6084}\right)}^T$ 进行归一化处理后得到 ${\stackrel{\→}{\mathrm{\ω}}}^{\left(0\right)}={(0.4541,\mathrm{0.1646,0.2405,0}.0485,0.0923)}^T.$ 其中，该归一化特征向量

中的元素依次为发送成功率、消息时延、业务建立成功率、业务建立时延和消息传输速率对应的权重值。

步骤304，根据性能指标判断矩阵计算最大特征值。

在步骤304中，根据公式 ${\mathrm{\λ}}_{\max }=\frac{1}{n}[\frac{{\mathrm{\Σ}}_{j=1}^n{a}_{1j}{\mathrm{\ω}}_j}{{\mathrm{\ω}}_1}+\frac{{\mathrm{\Σ}}_{j=1}^n{a}_{2j}{\mathrm{\ω}}_j}{{\mathrm{\ω}}_2}+...+\frac{{\mathrm{\Σ}}_{j=1}^n{a}_{\mathrm{nj}}{\mathrm{\ω}}_j}{{\mathrm{\ω}}_n}]$ 计算对应的最大特征值，得到最大特征值λ_max=5.2883。其中，n为矩阵A的行数或者是列数，即属于每种类型的KPI的数量，在该实施例中，n=5

步骤305，根据所述性能指标判断矩阵的最大特征值计算该归一化特征向量对应的一致性比率，判断所述一致性比率是否大于预定的阈值。

在步骤305中，根据公式

计算对应的一致性比率C.I，判断一致性比率是否大于预定的阈值，其中，预定的阈值为0.1。实际得到的一致性比率 $C.I=\frac{{\mathrm{\&lambda;}}_{\max }-n}{n-1}=0.2883/4=0.0721<0.10.$ 由于计算得到C.I的值大于预定的阈值，则该归一化特征向量 $\stackrel{\&RightArrow;}{\mathrm{\&omega;}}={\left(\mathrm{0.4541,0.1646,0.2105,0.0485,0.0923}\right)}^T$ 中的各元素为该类型下各无量纲化KPI的权重值。即对于指示网络性能的关键性能指标，其中，发送成功率的权重值ω₁=0.4541，消息时延的权重值ω₂=0.1646，业务建立成功率的权重值ω₃=0.2405，业务建立时延的权重值ω₃=0.0485，消息传输速率ω₅=0.0923。

通过如图3所示的流程计算指示终端性能的KPI的权重值，以下省略具体过程，得出指示终端性能的KPI的权重值的特征向量为: $\stackrel{\&RightArrow;}{\mathrm{\&omega;}}={\left(\mathrm{0.3089,0.0930,0.3594,0.0730,0.1657}\right)}^T$

通过如图3所示的流程计算指示应用服务性能的KPI的权重值，以下省略具体过程，得出指示应用服务性能的KPI的权重值的特征向量为: $\stackrel{\&RightArrow;}{\mathrm{\&omega;}}{\left(\mathrm{0.0543,0.0879,0.1800,0.4083,0.2694}\right)}^T$

通过如图3所示的流程计算指示各质量测量值的权重值，以下省略具体过程，得出指示终端性能的质量测量值、指示网络性能的质量测量值和指示应用服务的质量测量值的权重值的特征向量为:

即终端性能的质量测量值的权重值为0.1365；网络性能的质量测量值的权重值为0.6250；应用服务的质量测量值的权重值为0.2385。根据公式QoE=w₁×KQI₁+w₂×KQI₂+w₃×KQI₃计算出对应该即时通信的用户体验质量。

图4是本发明中一种具体实施例中的用户体验质量测量的层次示意图。如图4所示，对于即时通信的具体移动互联网业务中，对于该移动互联网业务的用户体验质量包括终端性能的质量测量值、网络性能的质量测量值以及应用服务性能的质量测量值。其中，所述终端性能的质量测量值，通过CPU性能、内存消耗量、响应时间、屏幕分辨率、操作***性能等关键性能指标计算得到；所述网络性能的质量测量值，通过发送成功率、下行时延、业务建立成功率、业务建立时延、消息传输速率等关键性能指标计算得到；应用服务性能的质量测量值通过内存占用量、服务端最大连接数、服务器CPU性能、关键任务操作步骤、数据传输开销等关键性能指标计算得到。

将表1中各项关键性能指标的权重值与其所属类型的权重值相乘后得到的总体权重值，将所述总体权重值绘制成柱状图，如图5所示。图5是本发明一种具体实施例中的关键性能指标的总体权重值示意图。在图5中，X轴表示表1中各项KPI的编号，Y轴为与各项KPI对应的总体权重值；所述总体权重值由各项KPI的权重值与该KPI所属质量测量值的权重值相乘得到。如KPI-1的总体权重值为ω₁×w₁。在图5中，可以看出KPI-6即发送成功率的总体权重值最高，即可以理解为对于即时通信来说，发送成功率对于用户体验来说最为重要。

在使用本发明进行用户体验质量测量的过程中，可以根据计算得到的各项关键性能指标的总体权重值，有针对性的提高某项业务的用户体验质量，即如果想提高用某项移动互联网业务的用户体验质量，可以通过提高总体权重值大的关键性能指标，然后优化其他关键性能指标的方式提高。即通过提高权重值高的关键性能指标的方式，以较少的代价，大幅度的提高用户体验质量。

使用本发明进行移动互联网业务的用户体验质量的测量时，可以根据测量得到的用户体验质量的数值了解当前移动互联网业务的实际质量。通过该数值反映的当前移动互联网业务的用户体验质量不是简单的优秀或良好，而是从总整体上反映当前移动互联网业务的用户体验质量。

另外，在本发明的其他实施例中，对于不同的移动互联网业务，只需通过调整各KPI之间的权重值，实现对不同移动互联网业务的用户体验质量的测量操作。例如，对于终端依赖性不强的移动应用，如语音业务，短信服务等，可以将指示终端性能的权重值设为0。对于网络依赖性不强的移动应用，如单机游戏、本地视频播放器等，可以将指示网络性能的权重值设为0。即本发明可以根据移动互联网业务对于终端、网络和应用服务的不同依赖程度来分别调整对应的权重值，使得本发明所提供的移动互联网业务用户体验质量测量方法的具有通用性。

本发明还提供了一种移动互联网业务用户体验质量测量装置，参见图6，该装置包括：设置模块601、关键性能指标采集模块602、质量测量值计算模块603和用户体验质量计算模块604；其中，

设置模块601，用于设置至少三种类型的关键性能指标，所述三种类型包括第一类型、第二类型和第三类型，属于第一类型的关键性能指标指示终端性能，属于第二类型的关键性能指标指示网络性能，属于第三类型的关键性能指标指示应用服务性能；

关键性能指标采集模块602，用于采集目标移动互联网业务的所述至少三种类型的关键性能指标并发送给质量测量值计算模块603；

质量测量值计算模块603，用于接收关键性能指标采集模块602发送的关键性能指标，根据采集到的每种类型下的关键性能指标分别获取相应类型下的质量测量值，其中，获取到的第一类型下的质量测量值为终端质量测量值，获取到的第二类型下的质量测量值为网络质量测量值，获取到的第三类型下的质量测量值为应用服务质量测量值；

用户体验质量计算模块604，用于根据所述各个类型下的质量测量值计算得到目标移动互联网业务的用户体验质量的数值。

在上述装置中，质量测量值计算模块603，用于将采集到KPI通过无量纲化运算转换为无量纲化KPI；按照层次分析方式，利用无量纲化KPI计算每种类型下各无量纲化KPI的权重值；根据如下公式，利用每种类型下无量纲化KPI和无量纲化KPI的权重值计算得到所述质量测量值：

KQI_i=ω₁×KPI₁+ω₂×KPI₂+…+ω_n×KPI_n计算对应的质量测量值；其中，KQI_i表示第i类型下的质量测量值；KPI₁为第i类型下第1无量纲化KPI，ω₁为与KPI₁相对应的权重值；KPI₂为第i类型下第2无量纲化KPI，ω₂为与KPI₂相对应的权重值；KPI_n为第i类型下第n无量纲化KPI，ω_n为与KPI_n相对应的权重值；

用户体验质量计算模块604，用于按照层次分析方式，计算各质量测量值的权重值；根据如下公式，利用所述质量测量值和质量测量值的权重值计算得到所述用户体验质量的数值：

QoE=w₁×KQI₁+w₂×KQI₂+…+w_i×KQI_i计算对应的用户体验质量的数值；其中，QoE表示用户体验质量的数值；KQI₁为第一类型的质量测量值，w₁为与KQI₁相对应的权重值；KQI₂为第二类型的质量测量值，w₂为与KQI₁相对应的权重值；KQI_i为第i类型的质量测量值，w_i为与KQI_i相对应的权重值。

在上述装置中，质量测量值计算模块603，用于根据所设置的判断尺度表，通过将每一类型的无量纲化KPI分别两两比较建立所述类型下的性能指标判断矩阵，其中，所述性能指标判断尺度表指示两个无量纲化KPI的比较结果与判断尺度值的对应关系，所述性能指标判断矩阵由判断尺度值得到；计算所述性能指标判断矩阵的特征向量

对特征向量

进行归一化处理得到归一化特征向量

将归一化特征向量

中的各元素分别作为所述各类型下的无量纲化KPI的权重值；

用户体验质量计算模块604，用于根据所设置的判断尺度表，通过将各质量测量值分别两两比较建立判断矩阵，其中，所述判断尺度表指示两个质量测量值的比较结果与判断尺度值的对应关系，所述质量测量值判断矩阵由判断尺度值得到；计算所述质量测量值判断矩阵的特征向量

对特征向量

进行归一化处理得到归一化特征向量

将归一化特征向量

中的各元素分别作为各质量测量值的权重值。

本发明装置实施例中各模块的具体工作方式可以参见本发明的方法实施例的相关内容，在此不再赘述。

综上所述，本发明提供的技术方案通过设置多种类型的关键性能指标，在测量时采集所设置的多种类型的关键性能指标并计算对应的质量测量值，由质量测量值计算移动互联网业务的用户体验质量数值的技术手段，能够准确测量出反映移动互联网业务的用户体验质量的数值。

本发明实施例能够从终端侧、网络侧和应用服务侧等方面整体反映当前移动互联网业务的用户体验质量，通过本发明得到的测量结果与实际的用户体验非常接近，从而能够利用本方案得到的测量结果改进移动互联网业务的相关性能，提高用户体验质量。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种移动互联网业务用户体验质量测量方法，其特征在于，设置至少三种类型的关键性能指标，所述三种类型包括第一类型、第二类型和第三类型，属于第一类型的关键性能指标指示终端性能，属于第二类型的关键性能指标指示网络性能，属于第三类型的关键性能指标指示应用服务性能，所述方法包括：

采集目标移动互联网业务的所述至少三种类型的关键性能指标；

利用采集到的每种类型下的关键性能指标分别获取相应类型下的质量测量值，其中，获取到的第一类型下的质量测量值为终端质量测量值，获取到的第二类型下的质量测量值为网络质量测量值，获取到的第三类型下的质量测量值为应用服务质量测量值；

根据所述各类型下的质量测量值计算得到目标移动互联网业务的用户体验质量的数值。

2.根据权利要求1所述的方法，其特征在于，

所述利用采集到的每种类型下的关键性能指标分别获取相应类型下的质量测量值包括：

将采集到的关键性能指标通过无量纲化运算转换为无量纲化关键性能指标；

按照层次分析方式，利用无量纲化关键性能指标计算每种类型下各无量纲化关键性能指标的权重值；

利用每种类型下无量纲化关键性能指标和无量纲化关键性能指标的权重值计算得到所述质量测量值。

3.根据权利要求2所述的方法，其特征在于，所述利用每种类型下无量纲化关键性能指标和无量纲化关键性能指标的权重值计算得到所述质量测量值包括：

根据公式KQI_i=ω₁×KPI₁+ω₂×KPI₂+…+ω_n×KPI_n计算对应的质量测量值；其中，KQI_i表示第i类型下的质量测量值；KPI₁为第i类型下第1无量纲化关键性能指标，ω₁为与KPI₁相对应的权重值；KPI₂为第i类型下第2无量纲化关键性能指标，ω₂为与KPI₂相对应的权重值；KPI_n为第i类型下第n无量纲化关键性能指标，ω_n为与KPI_n相对应的权重值。

4.根据权利要求3所述的方法，其特征在于，所述根据各类型下的质量测量值计算得到目标移动互联网业务的用户体验质量的数值包括：

按照层次分析方式，计算各质量测量值的权重值；

利用所述质量测量值和所述质量测量值的权重值计算得到所述用户体验质量的数值。

5.根据权利要求4所述的方法，其特征在于，所述利用所述质量测量值和所述质量测量值的权重值计算得到所述用户体验质量的数值包括：

根据公式QoE=w₁×KQI₁+w₂×KQI₂+…+w_i×KQI_i计算对应的用户体验质量的数值；其中，QoE表示用户体验质量的数值；KQI₁为第一类型的质量测量值，w₁为与KQI₁相对应的权重值；KQI₂为第二类型的质量测量值，w₂为与KQI₁相对应的权重值；KQI_i为第i类型的质量测量值，w_i为与KQI_i相对应的权重值。

6.根据权利要求5所述的方法，其特征在于，

所述按照层次分析方式，利用无量纲化关键性能指标计算每种类型下各无量纲化关键性能指标的权重值包括：

根据所设置的判断尺度表，通过将每一类型的无量纲化关键性能指标分别两两比较建立所述类型下的性能指标判断矩阵，其中，所述判断尺度表指示两个无量纲化关键性能指标的比较结果与判断尺度值的对应关系，所述性能指标判断矩阵由判断尺度值得到；

计算所述性能指标判断矩阵的特征向量

对特征向量

进行归一化处理得到归一化特征向量

将归一化特征向量中的各元素分别作为所述各类型下的无量纲化关键性能指标的权重值；

所述按照层次分析方式，计算各质量测量值的权重值包括：

根据所设置的判断尺度表，通过将各质量测量值分别两两比较建立质量测量值判断矩阵，其中，所述判断尺度表指示两个质量测量值的比较结果与判断尺度值的对应关系，所述质量测量值判断矩阵由判断尺度值得到；

计算所述质量测量值判断矩阵的特征向量

对特征向量

进行归一化处理得到归一化特征向量

将归一化特征向量

中的各元素分别作为各质量测量值的权重值。

7.根据权利要求6所述的方法，其特征在于，

在将归一化特征向量

中的各元素分别作为所述各类型下的无量纲化关键性能指标的权重值之前，所述方法还包括：

计算所述性能指标判断矩阵的最大特征值；

根据所述性能指标判断矩阵的最大特征值计算一致性比率，判断所述一致性比率的数值是否大于预定阈值，若是，确定所述归一化特征向量

中的各元素为该类型下各无量纲化关键性能指标的权重值；若否，则不将所述归一化特征向量

中的各元素作为该类型下各无量纲化关键性能指标的权重值；

在将归一化特征向量中的各元素分别作为各质量测量值的权重值之前，所述方法还包括：

计算所述质量测量值判断矩阵的最大特征值；

根据所述质量测量值判断矩阵的最大特征值计算一致性比率，判断所述一致性比率的数值是否大于预定阈值，若是，确定所述归一化特征向量

中的各元素为各质量测量值的权重值；若否，则不将所述归一化特征向量

中的各元素作为各质量测量值的权重值。

8.一种移动互联网业务用户体验质量测量装置，其特征在于，该装置包括：设置模块、关键性能指标采集模块、质量测量值计算模块和用户体验质量计算模块；其中，

设置模块，用于设置至少三种类型的关键性能指标，所述三种类型包括第一类型、第二类型和第三类型，属于第一类型的关键性能指标指示终端性能，属于第二类型的关键性能指标指示网络性能，属于第三类型的关键性能指标指示应用服务性能；

关键性能指标采集模块，用于采集目标移动互联网业务的所述至少三种类型的关键性能指标并发送给质量测量值计算模块；

质量测量值计算模块，用于接收关键性能指标采集模块发送的关键性能指标，根据采集到的每种类型下的关键性能指标分别获取相应类型下的质量测量值，其中，获取到的第一类型下的质量测量值为终端质量测量值，获取到的第二类型下的质量测量值为网络质量测量值，获取到的第三类型下的质量测量值为应用服务质量测量值；

用户体验质量计算模块，用于根据所述各个类型下的质量测量值计算得到目标移动互联网业务的用户体验质量的数值。

9.根据权利要求8所述的装置，其特征在于，

所述质量测量值计算模块，用于将采集到关键性能指标通过无量纲化运算转换为无量纲化关键性能指标；按照层次分析方式，利用无量纲化关键性能指标计算每种类型下各无量纲化关键性能指标的权重值；根据如下公式，利用每种类型下无量纲化关键性能指标和无量纲化关键性能指标的权重值计算得到所述质量测量值：

KQI_i=ω₁×KPI₁+ω₂×KPI₂+…+ω_n×KPI_n计算对应的质量测量值；其中，KQI_i表示第i类型下的质量测量值；KPI₁为第i类型下第1无量纲化关键性能指标，ω₁为与KPI₁相对应的权重值；KPI₂为第i类型下第2无量纲化关键性能指标，ω₂为与KPI₂相对应的权重值；KPI_n为第i类型下第n无量纲化关键性能指标，ω_n为与KPI_n相对应的权重值；

所述用户体验质量计算模块，用于按照层次分析方式，计算各质量测量值的权重值；根据如下公式，利用所述质量测量值和质量测量值的权重值计算得到所述用户体验质量的数值：

QoE=w₁×KQI₁+w₂×KQI₂+…+w_i×KQI_i计算对应的用户体验质量的数值；其中，QoE表示用户体验质量的数值；KQI₁为第一类型的质量测量值，w₁为与KQI₁相对应的权重值；KQI₂为第二类型的质量测量值，w₂为与KQI₁相对应的权重值；KQI_i为第i类型的质量测量值，w_i为与KQI_i相对应的权重值。

10.根据权利要求8或9所述的装置，其特征在于，

质量测量值计算模块，用于根据所设置的判断尺度表，通过将每一类型的无量纲化关键性能指标分别两两比较建立所述类型下的性能指标判断矩阵，其中，所述性能指标判断尺度表指示两个无量纲化关键性能指标的比较结果与判断尺度值的对应关系，所述性能指标判断矩阵由判断尺度值得到；计算所述性能指标判断矩阵的特征向量对特征向量

进行归一化处理得到归一化特征向量

将归一化特征向量中的各元素分别作为所述各类型下的无量纲化关键性能指标的权重值；

用户体验质量计算模块，用于根据所设置的判断尺度表，通过将各质量测量值分别两两比较建立判断矩阵，其中，所述判断尺度表指示两个质量测量值的比较结果与判断尺度值的对应关系，所述质量测量值判断矩阵由判断尺度值得到；计算所述质量测量值判断矩阵的特征向量

对特征向量

进行归一化处理得到归一化特征向量

将归一化特征向量

中的各元素分别作为各质量测量值的权重值。

Images