CN109451303A - 一种针对VR视频中用户体验质量QoE的建模方法 - Google Patents

一种针对VR视频中用户体验质量QoE的建模方法 Download PDF

Info

Publication number
CN109451303A
CN109451303A CN201811582868.1A CN201811582868A CN109451303A CN 109451303 A CN109451303 A CN 109451303A CN 201811582868 A CN201811582868 A CN 201811582868A CN 109451303 A CN109451303 A CN 109451303A
Authority
CN
China
Prior art keywords
video
piecemeal
addition
user
mos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811582868.1A
Other languages
English (en)
Other versions
CN109451303B (zh
Inventor
黎洁
冯燃生
刘志
李奇越
孙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201811582868.1A priority Critical patent/CN109451303B/zh
Publication of CN109451303A publication Critical patent/CN109451303A/zh
Application granted granted Critical
Publication of CN109451303B publication Critical patent/CN109451303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种针对VR视频中用户体验质量QoE的建模方法,其步骤包括:首先通过模拟分块后的VR(虚拟现实)视频在无线网络中的传输过程来对VR分块视频进行添加暂停处理,得到经过添加暂停后的VR分块视频。然后将这些处理后的VR分块视频作为实验视频,进行VR分块视频的主观性质量评价实验,接着通过分析实验数据来分别获取用户平均意见分数与纬度、暂停和分辨率切换三种影响因素的关系。最后得到了一个包含以上三种影响因素的VR视频QoE模型。本发明能够准确地反应用户通过无线网络观看VR视频时的真实质量体验,解决了无法准确地衡量用户QoE的问题。

Description

一种针对VR视频中用户体验质量QoE的建模方法
技术领域
本发明涉及多媒体视频传输领域,具体的说是一种针对虚拟现实VR视频中用户体验质量QoE的建模方法。
背景技术
北京邮电大学李文璟等人发明了一种基于图像特征信息的半参考视频QoE客观评价方法(公开号:CN103841410A),其步骤包括:运营商端提取原始视频中每一帧图像的显著性信息图及纹理信息图,压缩处理显著性信息图和纹理信息图,得到原始视频的半参考数据;用户端接收运营商端传来的原始视频的半参考数据及受损视频,提取受损视频中每一帧图像的显著性信息图及纹理信息图,得到受损视频的半参考数据,根据原始视频及受损视频的半参考数据,计算受损视频的损伤情况,使用预先训练好的神经网络算法对主观感受质量MOS进行评估。但是此种方法属于图像、视频的客观QoE评价方法,此种方法并不能真实地反应用户的主观体验感受,准确度低。
浙江工业大学熊丽荣等人发明了一种移动流媒体用户体验质量QoE评估方法(公开号:CN106604026A),该方法首先设计移动流媒体QoE影响因素映射方法,即使用码率状态,码率切换幅度,码率切换次数映射为移动流媒体服务质量评价;考虑用户体验,加入设备抖动情况和用户观看位置的影响因素;然后设计移动流媒体QoE评价方法,即利用QoE影响因素的映射方法计算视频播放全程每个片段的QoE评分;再利用基于HAS(HTTP AdaptiveStreaming)的系列位置效应量化方法反映用户心理效应,计算视频播放全程每个片段的影响权重系数;最后将每个片段的QoE评分与每个片段的权重系数作向量内积求得最终的用户QoE评分。但是此种方法实施流程较为复杂,并不能有效地衡量用户的QoE。
北京邮电大学李林燕等人发明了一种基于视频内容的视频客观参数到QoE的映射方法(公开号:CN102630038A)。该方法针对无线视频传输***,旨在提出一种基于视频内容的QoE映射方案。具体的实施方法为:根据视频图像帧包含的每个数据包对图像整体视觉效果的贡献度,经过一定的映射方法得到其对应的MOS分量。同时以此方案得到的MOS分量可作为资源调度的依据,达到视频的无线传输过程高效节能的目的。但是该方法并未考虑到无线网络对于用户QoE的影响,并不能准确地反应用户QoE。
南京邮电大学魏昕等人发明了一种视频业务中基于多层神经网络的用户体验质量的预测方法(公开号:CN107087161A),包括数据预处理,即选择视频业务中影响用户体验的特征参数,根据用户的报障/非报障将其映射为用户的QoE。随后建立多层神经网络的QoE预测模型,该神经网络包含五层,从低到高依次为:输入层-第一隐层-第二隐层-第三隐层-输出层。输入预处理后的数据,获得模型的最佳参数值,训练上述建立好的神经网络模型。最后完成用户体验质量QoE预测。但是此种QoE预测方法中所包含的影响因素较少,其QoE预测方法并不准确。
华东师范大学贺樑等人发明了一种基于视频特征的流视频质量评估方法(公开号:CN101448176),该方法在一个对MPEG-TS流模拟网络丢包的仿真环境实现,通过人为丢包来模拟网络损伤,同时记录丢包数据,分析受损帧的图像特征,并且人眼观察视频损伤对视觉效果产生的影响,从而建立一种一一对应的关系,在实际应用中,便可以通过采样传输媒体,通过分析网络损伤,获得符合用户主观感受的QoE评估值。但是这种QoE评估方法缺少用户所处环境因素的影响,准确性低。
发明内容
本发明是为避免上述现有技术所存在的不足之处,提供一种简便易行、准确度高的针对VR视频中用户体验质量QoE的建模方法,以期能得到一种综合考虑无线网络服务质量、环境因素、用户视角的VR视频QoE模型,从而能够准确地反应用户通过无线网络观看VR视频时的真实质量体验,解决了无法准确地衡量用户QoE的问题。
本发明为解决技术问题采用如下技术方案:
本发明一种针对VR视频中用户体验质量QoE的建模方法的特点包括以下步骤:
步骤一、获取a个VR原始视频,并将每个原始VR视频按照b种分块方案分成b种N×N个视频块构成的VR分块视频,并为每个视频块提供c种分辨率的选择,从而使得所述a个VR原始视频经过b种分块方案得到d个VR分块视频,d=a×b;
根据所采集的用户视角信息对第j个VR分块视频进行自适应分辨率设置,使得第i个用户观看第j个VR分块视频时的视角范围内视频块的分辨率最高,j=1,2,…,d,i=1,2,…,e;e表示用户的总数;
模拟第j个VR分块视频在无线网络中的传输过程,从而将每个时刻的网络带宽与第j个VR分块视频的码率进行比较,模拟到第j个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间,以及第j个VR分块视频分辨率的切换次数和切换幅度;进而模拟到d个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间,以及d个VR分块视频分辨率的切换次数和切换幅度;
步骤二、根据所述第j个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间,对所述第j个VR分块视频添加同样的暂停次数和暂停时间,从而得到第j个添加后的VR分块视频;进而得到d个添加后的VR分块视频;
步骤三、任意第i个用户对所述d个添加后的VR分块视频进行用户体验质量QoE的评价,得到第i个用户的d个评分,从而得到所有e个用户的d个评分;其中所述第i个用户对第j个添加后的VR分块视频的评分记为Qij
根据第i个用户观看第j个添加后的VR分块视频的视角信息,得到第i个用户的视角内的视频块r在第j个添加后的VR分块视频中的频率
令Ijr来表示观看第j个添加后的VR分块视频中视频块r的人数集合,当频率时,将第i个用户加入人数集合Ijr;其中f0为阈值,令人数集合Ijr的大小为NIjr
由所述第i个用户对第j个添加后的VR分块视频的评分Qij、第i个用户观看第j个添加后的VR分块视频时的视频块r在第j个添加后的VR分块视频中的频率观看第j个添加后的VR分块视频的视频块r的人数集合Ijr、第j个添加后的VR分块视频的暂停次数和暂停时间、第j个VR分块视频分辨率的切换次数和切换幅度构成第i个用户对第j个添加后的VR分块视频的实验数据,从而得到第i个用户对d个添加后的VR分块视频的实验数据,进而得到e个用户对d个添加后的VR分块视频的实验数据;
步骤四、将所有e个用户对第j个添加后的VR分块视频的评分进行均值处理,得到第j个添加后的VR分块视频的整体-平均意见分数O-MOSj;从而得到d个添加后的VR分块视频的整体-平均意见分数O-MOS;
将所有观看第j个添加后的VR分块视频的视频块r的人数集合Ijr的评分进行均值处理,得到第j个添加后的VR分块视频的视频块r的区域-平均意见分数V-MOSjr;从而得到d个添加后的VR分块视频的视频块r的区域-平均意见分数V-MOSr
步骤五、根据视频块r的区域-平均意见分数V-MOSr,得到所有d个添加后的VR分块视频在不同纬度范围内的纬度区域-平均意见分数V-MOS,从而拟合出b种分块方案下V-MOS与不同纬度的曲线图,并得到相应的关系式QLT
步骤六、根据所有d个添加后的VR分块视频中的暂停次数和暂停时间以及所述d个添加后的VR分块视频的整体-平均意见分数O-MOS,拟合O-MOS分别与暂停次数和总暂停时间的曲线图,并得到相应的关系式NST、DST
步骤七、建立如式(1)所示的关系式QST
QST=f×NST+g×DST-h×g(NST,DST) (1)
式(1)中,f、g、h为暂停拟合参数;g(NST,DST)为暂停的交叉影响函数;
步骤八、根据d个VR分块视频分辨率的切换次数和切换幅度以及所述d个添加后的VR分块视频的整体-平均意见分数O-MOS,拟合O-MOS分别与分辨率的切换次数和切换幅度的曲线图,并得到相应的关系式NSW、ASW
步骤九、建立如式(2)所示的关系式QSW
QSW=p×NSW+q×ASW-t×h(NSW,ASW) (2)
式(2)中,p、q、t是分辨率切换的拟合参数,h(NSW,ASW)为分辨率切换的交叉影响函数;
步骤十、建立如式(3)所示的总模型表达式QoE:
QoE=k1×QLT+k2×QST+k3×QSW-k4×m(QLT,QST,QSW) (3)
式(3)中,m(QLT,QST,QSW)为总的交叉影响函数;k1、k2、k3、k4为总的拟合参数。
本发明所述的建模方法的特点也在于,交叉影响函数和拟合参数值是由部分的实验数据分别对交叉影响函数、拟合参数所在的表达式进行训练得到的;所述训练方法为支持向量机,在训练过程中使用不同类型的函数作为交叉影响函数,然后使用其余部分的实验数据对使用不同类型函数的表达式进行验证,选择出一种使表达式准确性最高的函数来作为交叉影响函数。
本发明与现有技术相比,具有如下的优点和有益效果:
1.本发明将基于无线网络传输的VR视频的主观质量评价实验与QoE影响因素分析相结合,从用户的主观体验角度出发进行QoE建模,得到一种更为准确的VR视频QoE模型,从而对VR视频评价业务具有更好的指导性。
2.本发明通过实施VR视频的主观质量评价实验,使用O-MOS衡量了用户对VR视频的整体评分,同时使用了V-MOS衡量了用户对VR视频的不同区域评分,克服了现有技术中不能准确地反应用户体验感受的问题,从而提高了QoE模型的精准性。
3.本发明通过使用曲线拟合方法对数据进行分析,有效地分析了QoE与纬度、暂停次数、暂停时间、分辨率切换次数、分辨率切换幅度这些影响因素的关系,解决了现有技术中QoE评价方法中所包含的影响因素较少的问题,从而提高了QoE模型的可靠性。
附图说明
图1为本发明中所选用的LTE城市网络模型带宽图;
图2为本发明中所实施实验的流程图,iA,iB,iC分别代表不同清晰度的视频,i=1,2,...40;
图3为本发明中在3种分块数目下,纬度与V-MOS的关系曲线图;
图4为本发明中暂停次数与O-MOS的关系曲线图;
图5为本发明中暂停时间与O-MOS的关系曲线图;
图6为本发明中分辨率切换次数与O-MOS的关系曲线图;
图7为本发明中分辨率切换幅度与O-MOS的关系曲线图;
图8为本发明中建立的QoE模型的准确性验证结果图。
具体实施方式
本实施例中,一种基于无线网络传输的虚拟现实视频QoE的建模方法,具体步骤如下:
步骤一、从YouTube网站下载10个分辨率为3840*2160的VR原始视频,将每个VR原始视频按照3种分块方案分成3种4*4、6*6、8*8个视频块构成的VR分块视频,并为每个视频块提供4种分辨率选择,具体的分辨率设置如表1所示,从而使得10个VR原始视频经过3种分块方案得到30个VR分块视频;
表1视频分辨率设置表
根据所采集的用户视角信息对第j个VR分块视频进行自适应分辨率设置,使得第i个用户观看第j个VR分块视频时的视角范围内视频块的分辨率最高,j=1,2,…,30,i=1,2,…,40;用户的总人数为40;
选择一种LTE城市网络模型作为无线网络模型,其网络模型带宽图如图1所示。选取不同的无线网络模型会导致到最终的QoE模型表达式存在差异;
模拟第j个VR分块视频在所选取的LTE城市网络模型中的传输过程,从而将每个时刻的网络带宽与第j个VR分块视频的码率进行比较,模拟得到第j个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间,以及第j个VR分块视频分辨率的切换次数和切换幅度;进而模拟得到30个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间,以及30个VR分块视频分辨率的切换次数和切换幅度;
步骤二、根据第j个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间,对第j个VR分块视频添加同样的暂停次数和暂停时间,从而得到第j个添加后的VR分块视频;进而得到30个添加后的VR分块视频;
步骤三、任意第i个用户对30个添加后的VR分块视频进行用户体验质量QoE的评价,得到第i个用户的30个评分,从而得到所有40个用户的30个评分;其中第i个用户对第j个添加后的VR分块视频的评分记为Qij
图2展示了用户体验质量QoE的评价实验流程图。实验流程主要包括训练、休息、测试3个部分。在测试前要对用户进行观看全景视频的训练,帮助他们熟悉全景视频。在测试过程中,用户观看完每个视频后要进行评分,具体的视频质量评分表见表2;
表2视频质量评分表
根据第i个用户观看第j个添加后的VR分块视频的视角信息,得到第i个用户的视角内的视频块r在第j个添加后的VR分块视频中的频率
令Ijr来表示观看第j个添加后的VR分块视频中视频块r的人数集合,当频率时,将第i个用户加入人数集合Ijr;其中f0为阈值,令人数集合Ijr的大小为NIjr
由第i个用户对第j个添加后的VR分块视频的评分Qij、第i个用户观看第j个添加后的VR分块视频时的视频块r在第j个添加后的VR分块视频中的频率观看第j个添加后的VR分块视频的视频块r的人数集合Ijr、第j个添加后的VR分块视频的暂停次数和暂停时间、第j个VR分块视频分辨率的切换次数和切换幅度构成第i个用户对第j个添加后的VR分块视频的实验数据,从而得到第i个用户对30个添加后的VR分块视频的实验数据,进而得到40个用户对30个添加后的VR分块视频的实验数据;
步骤四、将所有40个用户对第j个添加后的VR分块视频的评分进行均值处理,得到第j个添加后的VR分块视频的整体-平均意见分数O-MOSj;从而得到30个添加后的VR分块视频的整体-平均意见分数O-MOS;
O-MOSj的计算公式如式(1):
式(1)中,Nj代表视频j的观看人数,Qij表示用户i对视频j的打分。
将所有观看第j个添加后的VR分块视频的视频块r的人数集合Ijr的评分进行均值处理,得到第j个添加后的VR分块视频的视频块r的区域-平均意见分数V-MOSjr;从而得到30个添加后的VR分块视频的视频块r的区域-平均意见分数V-MOSr
V-MOSjr的计算公式如式(2):
式(2)中,Ijr表示观看第j个添加后的VR分块视频中视频块r的人数集合,NIjr表示集合Ijr的大小,Qij表示用户i对视频j的打分。
步骤五、根据视频块r的区域-平均意见分数V-MOSr,得到所有30个添加后的VR分块视频在不同纬度范围内的纬度区域-平均意见分数V-MOS,从而拟合出3种分块方案下V-MOS与纬度的曲线图,并得到相应的关系式QLT。图3展示了3种分块方案下V-MOS与纬度的曲线图,由图3可知,V-MOS值在0纬度附近达到最大值,并且向南北纬两边不断降低;
QLT关系式如式(3):
式(3)中,l表示纬度,N是分块方案N×N的数目。
步骤六、根据所有30个添加后的VR分块视频中的暂停次数和暂停时间以及30个添加后的VR分块视频的整体-平均意见分数O-MOS,拟合O-MOS分别与暂停次数和总暂停时间的曲线图,并得到相应的关系式NST、DST。图4、图5分别展示了O-MOS与暂停次数、暂停时间的曲线图,由图4和图5可知,随着暂停次数和暂停时间的增加,O-MOS值会不断地呈非线性下降趋势;
NST、DST关系式如式(4)和式(5):
式(4)和式(5)中,s1表示暂停次数,s2表示暂停时间。
步骤七、建立如式(6)所示的关系式QST
QST=f×NST+g×DST-h×g(NST,DST) (6)
式(6)中,QST表示O-MOS与暂停影响因素的关系式,f、g、h为暂停拟合参数;g(NST,DST)为暂停的交叉影响函数;
为了获取函数g(NST,DST)以及各参数值,选择60%的实验数据对式(6)进行训练。训练方法为支持向量机,在训练过程中,使用这3种类型的函数来作为g(NST,DST),并使用剩余40%的实验数据分别对使用3种类型函数的表达式进行验证,最后选择一种准确性最高的表达式来作为O-MOS与暂停影响因素的关系式;
O-MOS与暂停影响因素关系式如式(7):
QST=4.32×NST+4.74×DST-2.33×(NST×DST)3 (7)
式(7)中,NST、DST分别表示O-MOS与暂停次数、暂停时间的关系式。
步骤八、根据30个VR分块视频分辨率的切换次数和切换幅度以及30个添加后的VR分块视频的整体-平均意见分数O-MOS,拟合O-MOS分别与分辨率的切换次数和切换幅度的曲线图,并得到相应的关系式NSW、ASW。图6、图7分别展示了O-MOS与分辨率切换次数和分辨率切换幅度的曲线图,由图6和图7可知,当分辨率切换次数和分辨率切换幅度不断增加,O-MOS值会持续地非线性下降;
NSW、ASW具体关系式如式(8)和式(9):
ASW=56.97+1.47×s4 (9)
式(8)和式(9)中,s3表示分辨率切换次数,s4表示分辨率切换幅度。
步骤九、建立如式(10)所示的关系式QSW
QSW=p×NSW+q×ASW-t×h(NSW,ASW) (10)
式(10)中,QSW表示O-MOS与分辨率切换影响因素的关系式,p、q、t是分辨率切换的拟合参数,h(NSW,ASW)为分辨率切换的交叉影响函数;
为了获取函数h(NSW,ASW)以及各参数值,选择60%的实验数据对式(10)进行训练。训练方法为支持向量机,在训练过程中,使用m1×NSW+m2×ASW这3种类型的函数来作为h(NSW,ASW),并使用剩余40%的实验数据分别对使用3种类型函数的表达式进行验证,最后选择一种准确性最高的表达式来作为O-MOS与分辨率切换影响因素的关系式;
O-MOS与分辨率切换影响因素的关系式如式(11):
式(11)中,NSW、ASW分别表示O-MOS与清晰度切换次数、切换幅度的关系式。
步骤十、建立如式(12)所示的总模型表达式QoE:
QoE=k1×QLT+k2×QST+k3×QSW-k4×m(QLT,QST,QSW) (12)
式(12)中,m(QLT,QST,QSW)为总的交叉影响函数;k1、k2、k3、k4为总的拟合参数。
为了获取函数m(QLT,QST,QSW)以及各拟合参数值,选择60%的实验数据对式(12)进行训练。训练方法为支持向量机,在训练过程中,使用这3种函数来作为m(QLT,QST,QSW),并使用剩余40%的实验数据分别对使用3种类型函数的表达式进行验证,最后选择一种准确性最高的表达式来作为QoE模型表达式;
QoE模型表达式如式(13):
式(13)中,QLT表示V-MOS与纬度的关系式,QST、QSW分别表示O-MOS与暂停、分辨率切换的关系式。
如图8为QoE模型的准确性验证结果图,图8展示了通过提出的QoE模型计算出来的客观QoE值(y坐标)与通过主观性实验得出的分数(x坐标)之间的相关性。由图8可知,主观QoE值与客观QoE值存在着较高的相关性,说明了QoE模型有着较高的准确性。

Claims (2)

1.一种针对VR视频中用户体验质量QoE的建模方法,其特征包括以下步骤:
步骤一、获取a个VR原始视频,并将每个原始VR视频按照b种分块方案分成b种N×N个视频块构成的VR分块视频,并为每个视频块提供c种分辨率的选择,从而使得所述a个VR原始视频经过b种分块方案得到d个VR分块视频,d=a×b;
根据所采集的用户视角信息对第j个VR分块视频进行自适应分辨率设置,使得第i个用户观看第j个VR分块视频时的视角范围内视频块的分辨率最高,j=1,2,…,d,i=1,2,…,e;e表示用户的总数;
模拟第j个VR分块视频在无线网络中的传输过程,从而将每个时刻的网络带宽与第j个VR分块视频的码率进行比较,模拟到第j个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间,以及第j个VR分块视频分辨率的切换次数和切换幅度;进而模拟到d个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间,以及d个VR分块视频分辨率的切换次数和切换幅度;
步骤二、根据所述第j个VR分块视频在传输过程中出现的暂停次数和相应的暂停时间,对所述第j个VR分块视频添加同样的暂停次数和暂停时间,从而得到第j个添加后的VR分块视频;进而得到d个添加后的VR分块视频;
步骤三、任意第i个用户对所述d个添加后的VR分块视频进行用户体验质量QoE的评价,得到第i个用户的d个评分,从而得到所有e个用户的d个评分;其中所述第i个用户对第j个添加后的VR分块视频的评分记为Qij
根据第i个用户观看第j个添加后的VR分块视频的视角信息,得到第i个用户的视角内的视频块r在第j个添加后的VR分块视频中的频率
令Ijr来表示观看第j个添加后的VR分块视频中视频块r的人数集合,当频率时,将第i个用户加入人数集合Ijr;其中f0为阈值,令人数集合Ijr的大小为NIjr
由所述第i个用户对第j个添加后的VR分块视频的评分Qij、第i个用户观看第j个添加后的VR分块视频时的视频块r在第j个添加后的VR分块视频中的频率观看第j个添加后的VR分块视频的视频块r的人数集合Ijr、第j个添加后的VR分块视频的暂停次数和暂停时间、第j个VR分块视频分辨率的切换次数和切换幅度构成第i个用户对第j个添加后的VR分块视频的实验数据,从而得到第i个用户对d个添加后的VR分块视频的实验数据,进而得到e个用户对d个添加后的VR分块视频的实验数据;
步骤四、将所有e个用户对第j个添加后的VR分块视频的评分进行均值处理,得到第j个添加后的VR分块视频的整体-平均意见分数O-MOSj;从而得到d个添加后的VR分块视频的整体-平均意见分数O-MOS;
将所有观看第j个添加后的VR分块视频的视频块r的人数集合Ijr的评分进行均值处理,得到第j个添加后的VR分块视频的视频块r的区域-平均意见分数V-MOSjr;从而得到d个添加后的VR分块视频的视频块r的区域-平均意见分数V-MOSr
步骤五、根据视频块r的区域-平均意见分数V-MOSr,得到所有d个添加后的VR分块视频在不同纬度范围内的纬度区域-平均意见分数V-MOS,从而拟合出b种分块方案下V-MOS与不同纬度的曲线图,并得到相应的关系式QLT
步骤六、根据所有d个添加后的VR分块视频中的暂停次数和暂停时间以及所述d个添加后的VR分块视频的整体-平均意见分数O-MOS,拟合O-MOS分别与暂停次数和总暂停时间的曲线图,并得到相应的关系式NST、DST
步骤七、建立如式(1)所示的关系式QST
QST=f×NST+g×DST-h×g(NST,DST) (1)
式(1)中,f、g、h为暂停拟合参数;g(NST,DST)为暂停的交叉影响函数;
步骤八、根据d个VR分块视频分辨率的切换次数和切换幅度以及所述d个添加后的VR分块视频的整体-平均意见分数O-MOS,拟合O-MOS分别与分辨率的切换次数和切换幅度的曲线图,并得到相应的关系式NSW、ASW
步骤九、建立如式(2)所示的关系式QSW
QSW=p×NSW+q×ASW-t×h(NSW,ASW) (2)
式(2)中,p、q、t是分辨率切换的拟合参数,h(NSW,ASW)为分辨率切换的交叉影响函数;
步骤十、建立如式(3)所示的总模型表达式QoE:
QoE=k1×QLT+k2×QST+k3×QSW-k4×m(QLT,QST,QSW) (3)
式(3)中,m(QLT,QST,QSW)为总的交叉影响函数;k1、k2、k3、k4为总的拟合参数。
2.根据权利要求1所述的建模方法,其特征是,交叉影响函数和拟合参数值是由部分的实验数据分别对交叉影响函数、拟合参数所在的表达式进行训练得到的;所述训练方法为支持向量机,在训练过程中使用不同类型的函数作为交叉影响函数,然后使用其余部分的实验数据对使用不同类型函数的表达式进行验证,选择出一种使表达式准确性最高的函数来作为交叉影响函数。
CN201811582868.1A 2018-12-24 2018-12-24 一种针对VR视频中用户体验质量QoE的建模方法 Active CN109451303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811582868.1A CN109451303B (zh) 2018-12-24 2018-12-24 一种针对VR视频中用户体验质量QoE的建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811582868.1A CN109451303B (zh) 2018-12-24 2018-12-24 一种针对VR视频中用户体验质量QoE的建模方法

Publications (2)

Publication Number Publication Date
CN109451303A true CN109451303A (zh) 2019-03-08
CN109451303B CN109451303B (zh) 2019-11-08

Family

ID=65535073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811582868.1A Active CN109451303B (zh) 2018-12-24 2018-12-24 一种针对VR视频中用户体验质量QoE的建模方法

Country Status (1)

Country Link
CN (1) CN109451303B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955333A (zh) * 2019-11-28 2020-04-03 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 一种头戴式虚拟现实设备舒适度的测试方法及***
WO2020233536A1 (zh) * 2019-05-17 2020-11-26 华为技术有限公司 Vr视频质量评估方法及装置
CN112004078A (zh) * 2020-08-20 2020-11-27 厦门大学 基于生成对抗网络的虚拟现实视频质量评价方法及***
WO2021115255A1 (zh) * 2019-12-09 2021-06-17 华为技术有限公司 一种评测vr体验临场感的方法、装置及***
CN113395602A (zh) * 2021-06-25 2021-09-14 合肥工业大学 针对自适应点云视频流媒体中用户体验质量QoE的建模方法
CN114079777A (zh) * 2020-08-20 2022-02-22 华为技术有限公司 视频处理方法和装置
CN116074586A (zh) * 2022-12-13 2023-05-05 北京中电飞华通信有限公司 视频体验质量的预测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740108A (zh) * 2011-04-11 2012-10-17 华为技术有限公司 一种视频数据质量评估方法和装置
CN104796443A (zh) * 2014-01-17 2015-07-22 中兴通讯股份有限公司 一种移动流媒体用户体验质量QoE修正方法和服务器
CN105897736A (zh) * 2016-05-17 2016-08-24 北京邮电大学 一种tcp视频流业务用户体验质量评估方法及装置
CN107018408A (zh) * 2017-01-19 2017-08-04 湖南大学 移动端http视频流的体验质量评估方法
CN107105224A (zh) * 2017-03-24 2017-08-29 深圳信息职业技术学院 一种视频体验质量评估的方法、装置与***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740108A (zh) * 2011-04-11 2012-10-17 华为技术有限公司 一种视频数据质量评估方法和装置
CN104796443A (zh) * 2014-01-17 2015-07-22 中兴通讯股份有限公司 一种移动流媒体用户体验质量QoE修正方法和服务器
CN105897736A (zh) * 2016-05-17 2016-08-24 北京邮电大学 一种tcp视频流业务用户体验质量评估方法及装置
CN107018408A (zh) * 2017-01-19 2017-08-04 湖南大学 移动端http视频流的体验质量评估方法
CN107105224A (zh) * 2017-03-24 2017-08-29 深圳信息职业技术学院 一种视频体验质量评估的方法、装置与***

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233536A1 (zh) * 2019-05-17 2020-11-26 华为技术有限公司 Vr视频质量评估方法及装置
CN110955333A (zh) * 2019-11-28 2020-04-03 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 一种头戴式虚拟现实设备舒适度的测试方法及***
WO2021115255A1 (zh) * 2019-12-09 2021-06-17 华为技术有限公司 一种评测vr体验临场感的方法、装置及***
CN112004078A (zh) * 2020-08-20 2020-11-27 厦门大学 基于生成对抗网络的虚拟现实视频质量评价方法及***
CN112004078B (zh) * 2020-08-20 2021-09-03 厦门大学 基于生成对抗网络的虚拟现实视频质量评价方法及***
CN114079777A (zh) * 2020-08-20 2022-02-22 华为技术有限公司 视频处理方法和装置
CN114079777B (zh) * 2020-08-20 2024-06-04 华为技术有限公司 视频处理方法和装置
CN113395602A (zh) * 2021-06-25 2021-09-14 合肥工业大学 针对自适应点云视频流媒体中用户体验质量QoE的建模方法
CN113395602B (zh) * 2021-06-25 2022-03-22 合肥工业大学 针对自适应点云视频流媒体中用户体验质量QoE的建模方法
CN116074586A (zh) * 2022-12-13 2023-05-05 北京中电飞华通信有限公司 视频体验质量的预测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109451303B (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN109451303B (zh) 一种针对VR视频中用户体验质量QoE的建模方法
CN107027023B (zh) 基于神经网络的VoIP无参考视频通信质量客观评价方法
CN105100789B (zh) 一种视频质量评价方法
CN107483920B (zh) 一种基于多层级质量因子的全景视频评估方法及***
CN100584047C (zh) 面向无线网络的视频质量自动评测***及其评测方法
Zheng et al. Quality-of-experience assessment and its application to video services in LTE networks
CN107293286B (zh) 一种基于网络配音游戏的语音样本收集方法
CN101998137B (zh) 视频质量参数获取方法和装置及电子设备
CN100559881C (zh) 一种基于人工神经网络的视频质量评价方法
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN103188236B (zh) 媒体传输质量的评估方法和装置
CN105430383A (zh) 一种视频流媒体业务的体验质量评估方法
CN108346434B (zh) 一种语音质量评估的方法和装置
CN102904773B (zh) 一种网络业务质量的测量方法和装置
CN105282347A (zh) 语音质量的评估方法及装置
CN104869430B (zh) 一种视频倍速播放方法及装置
CN108683909B (zh) Vr音视频整体用户体验质量评估方法
Aguiar et al. Video quality estimator for wireless mesh networks
CN102421007A (zh) 基于多尺度结构相似度加权综合的图像质量评价方法
Battisti et al. QoS to QoE mapping model for wired/wireless video communication
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN108259893B (zh) 基于双流卷积神经网络的虚拟现实视频质量评价方法
CN110517237A (zh) 基于膨胀三维卷积神经网络的无参考视频质量评价方法
CN111093069A (zh) 一种全景视频流的质量评估方法及装置
CN108401150B (zh) 一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant