CN109831705A - 一种针对HTTP视频流业务的主观QoE评估方法 - Google Patents

Abstract

一种针对HTTP视频流的主观QoE评估方法，综合考虑HTTP视频流端到端传输和播放过程，确定影响QoE的客观感知参数以及用户主观打分参数；并得到QoE IFs数据集合X；将QoE IFs数据集合X中表征类型的变量数值化预处理，利用主成分分析进行降维和特征提取，获得主成分；计算主成分综合得分并对各指标赋权确定各个QoE IFs重要性排序；选择重要性较大的影响因素，建立其与平均意见得分之间的非线性关系映射模型库，平均绝对误差最小的模型作为QoE估计的最优模型。本发明通过基于PCA的指标赋权方法，将降低实际需要监测的参数数量，机器学习算法将使QoE估计模型的泛化能力明显提升，该方法简单，结果准确。

Description

一种针对HTTP视频流业务的主观QoE评估方法

技术领域

本发明属于网络通信中多媒体业务用户体验评估领域，具体涉及一种针对HTTP视频流业务的主观QoE评估方法。

背景技术

根据2016年美国思科“Cisco visual networking index:Global mobile datatraffic forecast update,2016-2021white paper”统计预测，到2021年移动视频业务所产生的流量将占移动流量的75％以上。为了保证移动视频业务的用户体验质量(Qualityof Experience，QoE)，运营商需要提供更好的网络服务，而如何有效评估网络中视频的QoE仍是目前的研究热点问题。目前衡量QoE，并反映业务质量与用户期望之间的差距，使用最广泛的QoE量化方法是ITU-T提出的平均意见得分(Mean Opinion Score，MOS)，它将用户的主观感受划分为五个等级，取值从1至5，1表示体验最差，5表示体验最佳，如表1所示。现有的针对视频流的QoE估计主要有主观估计方法和客观估计方法，客观估计方法未考虑用户的主观感受，因而不够准确反映真实的用户体验，而主观评价方法涉及各类环境变量参数，实际应用较困难，且目前还未有有效的方法标准。

表1.MOS值

MOS评分	1	2	3	4	5
						QoE等级	优	良	尚可	次	差

近几年，HTTP自适应视频流(HTTP Adaptive Streaming，HAS)的应用减少了80％的视频卡顿事件，但因其自适应、渐进式下载的策略，无法简单地根据网络性能获得视频QoE评估。为了能获得接近真实的QoE估计，根据研究，尽可能考虑较多的影响参数有利于QoE的准确估计，故QoE影响因素(QoE Influence Factors，QoE IFs)不可避免地将涉及设备、网络、播放应用软件以及视频源等因素。但如何通过获取的这些离线参数，采取有效的技术手段，能在减少需要分析的视频QoE IFs数量的同时又能达到相媲美考虑全部影响因素时得到的最佳估计效果，目前尚未出现有效的解决方案。

发明内容

本发明的目的在于针对现有解决方案的不足，提供一种针对HTTP视频流业务的主观QoE评估方法。该方法一方面，针对HTTP视频流码率自适应和渐进式下载的特点，建立视频传输和播放中QoEIFs和MOS值的离线数据集，并通过数据分析手段选择最具代表性、最重要的少量QoE IFs，尝试提供一种能在实际网络传输时，只通过监测极少部分参数，就可以获得接近真实的QoE估计的方法。另一方面，利用机器学习(Machine Learning，ML)算法库来建立所选取的QoE IFs与MOS值间非线性关系，提高模型泛化能力的同时降低了评估误差。

为了实现上述目的，本发明所采用的技术方案如下：

一种针对HTTP视频流业务的主观QoE评估方法，该方法包括以下步骤：

第一步，综合考虑HTTP视频流端到端传输和播放过程，确定影响QoE的客观感知参数以及用户主观打分参数；并得到QoEIFs数据集合X；

第二步，将QoE IFs数据集合X中表征类型的变量数值化预处理，考虑元素间的相关性，利用主成分分析进行降维和特征提取，获得主成分；

第三步，计算主成分综合得分并对各指标赋权确定各个QoE IFs重要性排序，按重要性排序选取因素，构成QoE影响因素子集X_selected，QoE影响因素子集X_selected包含实际传输过程中需要监测的QoE IFs参数，再利用估计数据集(X_selected,Y)建立HTTP视频流的QoE估计模型，其中，Y为MOS值；

第四步，利用ML算法建立QoE影响因素子集X_selected与Y之间非线性关系映射模型库，平均绝对误差最小的模型作为QoE估计的最优模型。

本发明进一步的改进在于，第一步中，影响QoE的客观感知参数包括设备参数、网络性能参数、播放器应用参数以及视频源参数，其中，设备参数包括设备屏幕尺寸、CPU内存及主频、CPU内核运算能力、RAM、屏幕分辨率以及显卡频率；网络性能参数包括传输带宽、抖动、端到端时延以及丢包率；播放器应用参数包括视频分辨率、传输比特率、帧率、丢帧率、音频率、丢音频率以及缓冲延时；视频源参数包括视频内容类型、码片长度以及视频片段码率；

用户主观打分参数为同一条件下实验人员观看视频的MOS评分。

本发明进一步的改进在于，第一步中，将造成用户体验下降的QoE IFs，与对应的用户主观体验MOS值构成离线数据集，离线数据集中的单个样本记为：(X_i,Y_i)，i∈(1,N)为样本序号，N为实验样本数；X_i包括设备参数、网络性能参数、播放器应用参数以及视频源参数，依次记为x_i1,x_i2,...x_im，即X_i＝(x_i1,x_i2,...x_im)，m代表涉及的QoE IFs个数，原始实验样本(X,Y)表示为：

离线数据集包括QoE IFs数据集合X，QoE IFs数据集合X为：

本发明进一步的改进在于，第二步的具体过程如下：

步骤1：数据集预处理；

对QoE IFs数据集合X中所有表征类别的因素分别进行数值编码，获得新的QoEIfs数据集X；其中列代表样本的属性特征，每行代表一个样本个例；

步骤2：对新的QoE Ifs数据集X进行标准化处理并求协方差矩阵，如式(3)和(4)所示：

记标准化数据矩阵X'，协方差矩阵C表示为：

其中，E为求期望，为最外层运算符，*是共轭转置运算符；

步骤3：对协方差矩阵C进行特征分解；

特征值λ_i,(i＝1,2,...m)，其中λ₁≥λ₂≥...≥λ_m，构成对角矩阵D：

特征向量V＝(v₁,v₂,...v_m)，满足：

V^-1CV＝D (5)

步骤4：根据特征值λ_i,(i＝1,2,...m)，获得主成分PC₁,PC₂,...PC_k。

本发明进一步的改进在于，依据以下三种规则获得主成分：

特征值法：选取特征值λ₁,λ₂,...λ_k≥1(k<＝m)的对应的前k个主成分；

累计方差贡献率达到80％以上：前k个主成分的累计方差贡献率通过公式(6)计算得到：

直接指定法：直接指定主成分个数k。

本发明进一步的改进在于，第三步中，主成分综合得分PC由各个主成分分别乘上对应的方差贡献率求和获得，如式(8)与式(9)所示，其中k个主成分贡献率分别为(f₁,f₂,...f_k)，分别由式(6)求得；

本发明进一步的改进在于，第三步中，构成QoE影响因素子集X_selected的具体过程为：将各主成分的表达式代入式(10)：

PC＝f₁·PC₁+f₂·PC₂+...+f_k·PC_k (10)

得到各个指标前面的系数即对应的各个QoEIFs指标的权重，选取前p个因素构成QoE影响因素子集X_selected，其中，p的确定过程为：按照权重大小逐个选择QoEIFs因素加入，并使得在ML算法下能够获得与全部因素评估准确度相同时或大于全部因素评估准确度时影响因素的个数。

本发明进一步的改进在于，第四步中，若记每个输入样本表示为X_selected，j＝1～N，则对应的输出为Y_j，j＝1～N；然后建立一个包含有多种ML算法的ML库，通过对比选择最优的模型；其中，ML算法包括决策树、k-临近分类、神经网络、支持向量机、随机森林以及朴素贝叶斯；ML算法训练过程采用十折交叉验证法。

本发明进一步的改进在于，第四步的具体步骤为：

步骤1：将(X_selected,Y)样本集分成10份；

步骤2：轮流选择其中的9份作为训练数据，剩下的1份作为验证数据集，获得一个相应的模型平均绝对误差MAE：

其中，y_i是预测的MOS值，Y_i是真实的MOS值，N₁为测试样本数目，MAE_p为一次训练过程中的训练误差；一次十折交叉验证将得到10个MAE值，对其求平均获得一轮训练的模型误差；

步骤3：多轮训练十折交叉验证，对获得的MAE求取平均；

步骤4，选择最终MAE最小的ML模型作为QoE估计模型，将输出最准确的QoE估计MOS值，从而完成评估。

本发明是针对HTTP视频流的主观QoE评价模型，与现有的QoE评估模型相比，具有如下有益效果：

1.现有的依靠传统网络QoS参数来估计QoE，考虑不够全面。已有研究表明，QoEIFs考虑越全面，QoE估计越准确。本发明将可能的影响因素都纳入考虑范围，采取技术手段将影响因素的数目大大缩减，这对于实际的参数监测难度有很大程度的减少，并且能够获得相媲美全部影响因素的QoE估计准确度。

2.本发明采集的离线数据中，表征QoE的MOS值是真实的用户体验，不同于过去利用播放缓冲时间等客观参数映射得到的MOS值，更能反映用户真实的体验。

3.在评价模型的选择上，相比于传统的回归拟合方法ML分类算法依靠其强大的监督学习能力，能获得具有更优泛化能力且准确度更高的模型来反映MOS值与X_selected间的非线性关系。同时，可以根据QoE IFs参数分布的情况，建立了由经典ML分类算法构成的评价模型库。由实际的情况，选择最准确的评价模型。

附图说明

图1为HTTP移动视频流业务的网络结构示意图。

图2为针对HTTP视频流主观QoE评估方法结构示意图。

图3为已有真实视频流数据集下，包括全部27个QoE IFs参数、仅QoS参数以及利用本发明提出的方法选择的8个重要因素，在机器学习分类算法下的对比图。

具体实施方式

下面结合附图和实施例对本发明作详细说明，但是本发明的保护范围不局限于所实施例。

本发明提出了一种针对HTTP视频流的主观QoE评估方法。

如图1所示，本发明考虑HTTP视频流传输***，用户通过终端(平板、智能手机或PC等)的视频播放APP或网页发送URL到媒体服务器请求所需视频资源，服务器将编码后的视频序列通过网络传输到终端播放APP缓冲区进行播放，发明了一种主观QoE估计的方法。具体地，如图2所示，本发明包括如下步骤：

第一步，综合考虑HTTP视频流端到端传输和播放过程，确定影响QoE的客观感知参数以及用户主观打分参数；

具体的，本发明针对HTTP视频流依靠传统网络QoS参数来估计QoE不够全面的缺点，全面考虑了客户端向服务器请求视频内容到用户通过设备应用观看视频整个过程中的参数。其中，设备参数(QoD参数)包括设备屏幕尺寸、CPU内存及主频、CPU内核运算能力、RAM、屏幕分辨率、显卡频率等；网络性能参数(QoS参数)包括传输带宽、抖动、端到端时延、丢包率等；播放器应用参数(QoA参数)包括视频分辨率、传输比特率、帧率、丢帧率、音频率、丢音频率、缓冲延时等；视频源参数(QoV参数)包括视频内容类型、码片长度、视频片段码率等；同时，收集同一条件下实验人员观看视频的MOS评分。对MOS值采用“5分制”，等级越高，代表用户体验越好。

将造成用户体验下降的网络传输参数和客观环境参数(网络传输参数和客观环境参数为QoE IFs)，与对应的用户主观体验MOS值构成(QoE影响因素，用户体验)的离线数据集中的单个样本记为：(X_i,Y_i)，i∈(1,N)为样本序号，N为实验样本数。X_i包括所列出的QoD参数、QoS参数、QoA参数以及QoV参数，依次记为x_i1,x_i2,...x_im，即X_i＝(x_i1,x_i2,...x_im)，m代表涉及的QoE IFs个数(该数目可根据需要进行增加或减少，对本发明实验过程不影响；QoEIFs是QoEInfluencingFactors的缩写，指QoE影响因素)。故原始实验样本(X,Y)表示为：

上述离线数据集将为准确的用户主观体验和影响因素间的映射模型建立提供重要的依据。但同时面临的问题是当全面考虑QoE IFs时，对于在线传输参数的收集困难且复杂，涉及网络传输层，上层应用等多个监控模块来获得，势必造成巨大的监测代价。离线数据集包括QoE IFs数据集合X，为将离线数据集更全面、准确的QoE估计提供依据，现从QoEIFs数据集合X出发，进行分析：QoE IFs数据集合X为：

第二步，将QoE IFs数据集合X中表征类型的变量数值化预处理，考虑元素间的相关性，利用统计方法中的主成分分析(PCA)进行降维去噪和特征提取，减少实际监测参数的数目，获取主要特征。即本发明率先对采集的QoE影响参数重要性排序，选取部分重要因素以减少实际监测参数的数目，同时也保留QoE估计的准确性。考虑到影响参数之间的相关关系，具体地，如QoEIFs中传输带宽和丢包率、抖动与丢包、CPU内存等之间的依赖关系，将表现为当前要求视频片段码率较带宽大时，就会因为传输能力不足而引起丢包，而丢包重传与设备内存过小都容易造成传输中抖动的变化超出可忍耐临界，等等。相比单纯研究客户主观MOS值与单个因素之间的依赖性从而确定其重要性的方法，本发明将从各个指标所携带信息的角度出发，结合PCA指标赋权确定最具代表性的少数因素，减少了实际监测的参数个数。对QoE IFs数据集合X进行PCA分析的主要步骤包括：

步骤1：数据集预处理。对QoE IFs数据集合X中所有表征类别的因素分别进行数值编码，譬如QoV参数中视频类型(“Movie”,“Cartoon”)分别用数字“1”和“2”来替换，获得新的QoE Ifs数据集X。其中列代表样本的属性特征，每行代表一个样本个例。

步骤2：对新的QoE Ifs数据集X进行标准化处理并求协方差矩阵，如式(3)和(4)：

记标准化数据矩阵X'，协方差矩阵C表示为：

其中，E为求期望，为最外层运算符，*是共轭转置运算符。这里需要说明的是，标准化后的协方差矩阵等于原始数据的自相关矩阵。

步骤3：对协方差矩阵C进行特征分解。特征值λ_i,(i＝1,2,...m)，其中λ₁≥λ₂≥...≥λ_m，构成对角矩阵D：

特征向量V＝(v₁,v₂,...v_m)，满足：

V^-1CV＝D (5)

步骤4：主成分选择。可依据三种规则选取主成分：

特征值法：选取特征值λ₁,λ₂,...λ_k≥1(k<＝m)的对应的前k个主成分。

累计方差贡献率达到80％以上：前k个主成分的累计方差贡献率通过公式(6)计算得到：

直接指定法：直接指定主成分个数k。

通过上述三种规则中的一种，根据特征值λ_i,(i＝1,2,...m)，获得主成分PC₁,PC₂,...PC_k。其包含了所有QoE IFs的信息的同时，去除了干扰因素和参数收集过程中引入的噪声。

第三步，借助PCA分析得到的主成分进行指标赋权，求每个因素的重要性权值。即以PCA分析得到的各成分的方差贡献率为依据确定少数k个主成分，接着计算主成分综合得分并对各指标赋权确定各个QoE IFs重要性排序；具体过程如下：

对于获得的主成分PC₁,PC₂,...PC_k，在认为包含所有QoE IFs的信息的同时，去除了干扰因素和参数收集过程中引入的噪声。根据低维度的主成分PC₁,PC₂,...PC_k，进一步分析每个影响因素与这些主成分之间的相关系数，如公式(8)和(9)。再结合式(10)，求得主成分综合得分PC。主成分综合得分PC由各个主成分分别乘上对应的方差贡献率求和获得，其中k个主成分贡献率分别为(f₁,f₂,...f_k)，分别由式(6)求得。因此，全面考虑各个QoE IFs的基础上，本发明从各个指标所携带信息的角度出发，确定了最具有代表性、且包含数据集信息的少量因素，减少实际参数的监测。

将方程组中各主成分的表达式代入式(10)：

PC＝f₁·PC₁+f₂·PC₂+...+f_k·PC_k (10)

得到各个指标前面的系数即对应的各个QoEIFs指标的权重(即每个因素的重要性权值)。权值系数越大，表示其有越高的重要程度。接下来选取前p个(p尽量小，p为按照权重大小逐个选择QoEIFs因素加入X_selected，并使得在ML算法下X_selected能够获得与全部因素X相同的评估准确度时或大于全部因素评估准确度时影响因素的个数。)因素构成新的QoE影响因素子集X_selected，QoE影响因素子集X_selected包含实际传输过程中需要监测的QoE IFs参数。接着利用估计数据集(X_selected,Y)建立HTTP视频流的QoE估计模型，其中，Y为MOS值。

通过PCA指标赋权并进行因素选取后，进行QoE估计的数据集维度实际上减少了多半，但选取的QoEIFs指标X_selected仍然保留近乎所有因素X所携带的信息。有研究表明，对视频流影响因素考虑越全面，通过一定的映射方法可以获得更加准确的QoE估计，本发明方法满足该要求。

第四步，选择重要性较大的影响因素，引入六种经典的机器学***均意见得分(MOS值)之间准确的非线性关系映射模型库，平均绝对误差最小的模型作为QoE估计的最优模型。即利用ML算法(有监督的分类算法)建立新的QoE影响因素子集X_selected与Y(MOS值)之间复杂的非线性映射关系，克服了过去拟合分析对多变量处理误差大和样本数目要求大的缺点。若记每个输入样本表示为X_selectedj(j＝1～N)，则对应的输出为Y_j(j＝1～N)。考虑到数据分布特征，其可能是连续变量，也可能包含表征类别的离散变量，这将导致ML算法的选择上存有不确定性。因此，本发明建立了一个包含有多种ML算法的ML库，通过对比选择最优的模型，后续将以应用到方式部署在实际的传输***中。其中涉及的ML算法包括决策树(C4.5)、k-临近分类(k-NN)、神经网络(ANN)、支持向量机(SVM)、随机森林(RF)以及朴素贝叶斯(NB)。利用机器学习算法将MOS等级估计的问题转化为一个有监督的机器学习分类问题。ML模型训练过程采用“十折交叉验证法”。利用ML算法建立X_selected与Y(MOS值)之间复杂的非线性关系的具体步骤为：

步骤1：将(X_selected,Y)样本集分成10份；

步骤2：轮流选择其中的9份作为训练数据，剩下的1份作为验证数据集，获得一个相应的模型平均绝对误差(MAE)：

其中，y_i是预测的MOS值，Y_i是真实的MOS值，N₁为测试样本数目，MAE_p为一次训练过程中的训练误差。一次“十折交叉验证”将得到10个MAE值，对其求平均获得一轮训练的模型误差。

步骤3：多轮训练“十折交叉验证”，对获得的MAE求取平均。

步骤4，选择最终MAE最小的ML模型作为QoE估计模型，将输出最准确的QoE估计MOS值，从而完成评估。

如图3所示，是真实数据集下，考虑全部27个QoE IFs参数(All)、仅QoS参数(QoS)以及利用本发明提出的方法选择的8个重要因素X_selected(Selected)，在机器学习分类算法下的对比图。结果表明，通过本发明提供的HTTP视频流主观QoE评估方法，可以有效地选择QoE IFs，并可通过合理选择ML算法得到令人满意的QoE估计，且估计效果媲美考虑全部27个因素时的准确度。

本发明通过综合考虑HTTP视频流端到端传输过程，确定影响QoE的客观感知参数以及用户主观打分参数；将QoE IFs中表征类型的变量数值化预处理，考虑元素间的相关性，利用主成分分析进行降维和特征提取；由PCA分析得到的各成分的方差贡献率为依据确定少数主成分，计算主成分综合得分并对各指标赋权确定各个QoE IFs重要性排序；选择重要性较大的影响因素，引入六种经典的机器学***均意见得分之间准确的非线性关系映射模型库，平均绝对误差最小的模型作为QoE估计的最优模型。本发明主要通过基于PCA的指标赋权方法，将降低实际需要监测的参数数量，同时机器学习算法将使QoE估计模型的泛化能力明显提升。本发明不仅解决了现有技术中难以解决的问题，而且方法简单，结果准确。

以上所述发明仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干可以预期的改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种针对HTTP视频流业务的主观QoE评估方法，其特征在于，该方法包括以下步骤：

第一步，综合考虑HTTP视频流端到端传输和播放过程，确定影响QoE的客观感知参数以及用户主观打分参数；并得到QoEIFs数据集合X；

第二步，将QoE IFs数据集合X中表征类型的变量数值化预处理，考虑元素间的相关性，利用主成分分析进行降维和特征提取，获得主成分；

第三步，计算主成分综合得分并对各指标赋权确定各个QoE IFs重要性排序，按重要性排序选取因素，构成QoE影响因素子集X_selected，QoE影响因素子集X_selected包含实际传输过程中需要监测的QoE IFs参数，再利用估计数据集(X_selected,Y)建立HTTP视频流的QoE估计模型，其中，Y为MOS值；

第四步，利用ML算法建立QoE影响因素子集X_selected与Y之间非线性关系映射模型库，平均绝对误差最小的模型作为QoE估计的最优模型。

2.根据权利要求1所述的一种针对HTTP视频流业务的主观QoE评估方法，其特征在于，第一步中，影响QoE的客观感知参数包括设备参数、网络性能参数、播放器应用参数以及视频源参数，其中，设备参数包括设备屏幕尺寸、CPU内存及主频、CPU内核运算能力、RAM、屏幕分辨率以及显卡频率；网络性能参数包括传输带宽、抖动、端到端时延以及丢包率；播放器应用参数包括视频分辨率、传输比特率、帧率、丢帧率、音频率、丢音频率以及缓冲延时；视频源参数包括视频内容类型、码片长度以及视频片段码率；

用户主观打分参数为同一条件下实验人员观看视频的MOS评分。

3.根据权利要求2所述的一种针对HTTP视频流业务的主观QoE评估方法，其特征在于，第一步中，将造成用户体验下降的QoE IFs，与对应的用户主观体验MOS值构成离线数据集，离线数据集中的单个样本记为：(X_i,Y_i)，i∈(1,N)为样本序号，N为实验样本数；X_i包括设备参数、网络性能参数、播放器应用参数以及视频源参数，依次记为x_i1,x_i2,...x_im，即X_i＝(x_i1,x_i2,...x_im)，m代表涉及的QoE IFs个数，原始实验样本(X,Y)表示为：

离线数据集包括QoE IFs数据集合X，QoE IFs数据集合X为：

4.根据权利要求1所述的一种针对HTTP视频流业务的主观QoE评估方法，其特征在于，第二步的具体过程如下：

步骤1：数据集预处理；

对QoE IFs数据集合X中所有表征类别的因素分别进行数值编码，获得新的QoE Ifs数据集X；其中列代表样本的属性特征，每行代表一个样本个例；

步骤2：对新的QoE Ifs数据集X进行标准化处理并求协方差矩阵，如式(3)和(4)所示：

记标准化数据矩阵X'，协方差矩阵C表示为：

其中，E为求期望，为最外层运算符，*是共轭转置运算符；

步骤3：对协方差矩阵C进行特征分解；

特征值λ_i,(i＝1,2,...m)，其中λ₁≥λ₂≥...≥λ_m，构成对角矩阵D：

特征向量V＝(v₁,v₂,...v_m)，满足：

V^-1CV＝D (5)

步骤4：根据特征值λ_i,(i＝1,2,...m)，获得主成分PC₁,PC₂,...PC_k。

5.根据权利要求4所述的一种针对HTTP视频流业务的主观QoE评估方法，其特征在于，依据以下三种规则获得主成分：

特征值法：选取特征值λ₁,λ₂,...λ_k≥1(k<＝m)的对应的前k个主成分；

累计方差贡献率达到80％以上：前k个主成分的累计方差贡献率通过公式(6)计算得到：

直接指定法：直接指定主成分个数k。

6.根据权利要求5所述的一种针对HTTP视频流业务的主观QoE评估方法，其特征在于，第三步中，主成分综合得分PC由各个主成分分别乘上对应的方差贡献率求和获得，如式(8)与式(9)所示，其中k个主成分贡献率分别为(f₁,f₂,...f_k)，分别由式(6)求得；

7.根据权利要求6所述的一种针对HTTP视频流业务的主观QoE评估方法，其特征在于，第三步中，构成QoE影响因素子集X_selected的具体过程为：将各主成分的表达式代入式(10)：

PC＝f₁·PC₁+f₂·PC₂+...+f_k·PC_k (10)

得到各个指标前面的系数即对应的各个QoEIFs指标的权重，选取前p个因素构成QoE影响因素子集X_selected，其中，p的确定过程为：按照权重大小逐个选择QoEIFs因素加入，并使得在ML算法下能够获得与全部因素评估准确度相同时或大于全部因素评估准确度时影响因素的个数。

8.根据权利要求1所述的一种针对HTTP视频流业务的主观QoE评估方法，其特征在于，第四步中，若记每个输入样本表示为X_selected，j＝1～N，则对应的输出为Y_j，j＝1～N；然后建立一个包含有多种ML算法的ML库，通过对比选择最优的模型；其中，ML算法包括决策树、k-临近分类、神经网络、支持向量机、随机森林以及朴素贝叶斯；ML算法训练过程采用十折交叉验证法。

9.根据权利要求1或8所述的一种针对HTTP视频流业务的主观QoE评估方法，其特征在于，第四步的具体步骤为：

步骤1：将(X_selected,Y)样本集分成10份；

步骤2：轮流选择其中的9份作为训练数据，剩下的1份作为验证数据集，获得一个相应的模型平均绝对误差MAE：

其中，y_i是预测的MOS值，Y_i是真实的MOS值，N₁为测试样本数目，MAE_p为一次训练过程中的训练误差；一次十折交叉验证将得到10个MAE值，对其求平均获得一轮训练的模型误差；

步骤3：多轮训练十折交叉验证，对获得的MAE求取平均；

步骤4，选择最终MAE最小的ML模型作为QoE估计模型，将输出最准确的QoE估计MOS值，从而完成评估。