CN113395602A - 针对自适应点云视频流媒体中用户体验质量QoE的建模方法 - Google Patents

针对自适应点云视频流媒体中用户体验质量QoE的建模方法 Download PDF

Info

Publication number
CN113395602A
CN113395602A CN202110709824.6A CN202110709824A CN113395602A CN 113395602 A CN113395602 A CN 113395602A CN 202110709824 A CN202110709824 A CN 202110709824A CN 113395602 A CN113395602 A CN 113395602A
Authority
CN
China
Prior art keywords
point cloud
quality
gof
frame group
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110709824.6A
Other languages
English (en)
Other versions
CN113395602B (zh
Inventor
黎洁
王枭
李奇越
张聪
韩玲
王慧宇
陈勇
彭涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110709824.6A priority Critical patent/CN113395602B/zh
Publication of CN113395602A publication Critical patent/CN113395602A/zh
Application granted granted Critical
Publication of CN113395602B publication Critical patent/CN113395602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种针对自适应点云视频流媒体中用户体验质量QoE的建模方法，包括：1、获取原始点云视频，切分为时间上的帧组，再切分为空间上的切块，最后将每个切块压缩为不同的质量等级；2、根据用户视角预测和网络带宽进行质量选择，计算出用户视角内切块选择的质量等级；3、重新融合切块和帧组，得到处理后的点云视频以及处理后的点云视频在流媒体传输时产生的暂停时间，质量切换；4、评估处理后的点云视频的客观质量；5、处理后的点云视频进行体验质量的评分，根据评分，客观质量，暂停时间，质量切换进行QoE建模。本发明能够更加全面的进行点云视频QoE建模，在网络带宽变化的情况下准确预测点云视频流媒体中用户的主观体验质量。

Description

针对自适应点云视频流媒体中用户体验质量QoE的建模方法
技术领域
本发明涉及多媒体视频传输领域，具体的说是一种针对自适应点云视频流媒体中用户体验质量QoE的建模方法。
背景技术
厦门大学的陈一平等人发明了一种基于深度学***面，对平面进行局部一致性噪声分析及几何规则分析，量化点云质量；S5、对优质点云与仿真点云进行分割，得到点云块；S6、将点云块进行归一化后输入到PointNet++神经网络中做模型训练，得到网络模型；S7、将待评价点云通过步骤S4进行点云质量分析，得到点云质量水平值；S8、对待评价点云通过步骤S6得到的神经网络模型进行预测，判断点云属于优质点云或者降质点云。虽然该方法提出量化点云质量的方法，建立了评价SLAM***下室内三维点云模型的分类标准及框架，但是该方法属于静态点云的客观质量评价方法，不能准确的反应点云视频流媒体时的用户体验质量。
福州大学的赵铁松等人发明了一种基于长期记忆的视频QoE评价***及方法(公开号：CN112101788A),包括：视频序列生成模块、采集模块、基于长期记忆的数据库和QoE评价模型；所述视频序列生成模块包括可接受度测试视频序列生成模块和长期记忆影响测试视频序列生成模块；所述采集模块用于采集实验人员对视频的可接受度以及具有不同长期记忆的实验人员对视频的主观意见分；所述基于长期记忆的数据库按照整体可接受度的区间分为至少三类数据库，并存储实验人员对视频的可接受度和主观意见分信息。虽然此种方法考虑了长期记忆对QoE评价模型的影响，但是它对于QoE评价模型考虑的其他影响因素太少，不能全面准确的反应用户的体验质量。
西安交通大学的曲桦等人发明了一种针对HTTP视频流的主观QoE评估方法(公开号：CN109831705A)，该方法综合考虑HTTP视频流端到端传输和播放过程，确定影响QoE的客观感知参数以及用户主观打分参数；并得到QoE IFs数据集合X；将QoE IFs数据集合X中表征类型的变量数值化预处理，利用主成分分析进行降维和特征提取，获得主成分；计算主成分综合得分并对各指标赋权确定各个QoE IFs重要性排序；选择重要性较大的影响因素，建立其与平均意见得分之间的非线性关系映射模型库，平均绝对误差最小的模型作为QoE估计的最优模型。虽然此种方法在QoE评估时加入了基于PCA的指标赋权方法，但是它考虑了太多影响QoE的客观感知参数，对于影响用户QoE的因素不具有针对性，不能具体的反应传输过程中用户的体验质量。
中国科技大学的唐爽等人发明了一种基于网络流特征构造学***台中直接实现了对加密视频QoE的评测。此种方法虽然在建模过程中基于网络数据流采集获取的视频业务QoS参数，但是它和视频内容相关性较少，准确性低。
浙江大学的陈大庆等人发明了一种非干扰式的移动视频用户体验质量指标建模方法(公开号：CN107888579A)，步骤为：在手机上点击播放HPD模式和HLS模式的视频，捕捉这些视频的流量信息，同时使用卡顿分析工具记录每个视频的卡顿状况，并且标记视频传输模式类别的真实值；通过分析视频卡顿状况，获得视频卡顿程度的真实值；通过分析视频流量，获得视频清晰度的真实值以及流量的网络特征；对两种传输模式的视频，使用视频流量的网络特征和传输模式真实类别进行机器学习，训练出可以用于传输模式分类的模型；对每一种传输模式的视频，分别使用视频流量的网络特征和用户体验质量指标真实值进行机器学习，训练出可以用于评价用户体验质量指标的模型。虽然此方法考虑了视频卡断对用户体验质量的影响，但是它对于点云视频实施起来较为困难，不能有效的反应用户的体验质量。
发明内容
本发明是为避免上述现有技术所存在的不足之处，提供一种简单可行的针对自适应点云视频流媒体中用户体验质量QoE的建模方法，以期能够更加全面的进行点云视频QoE建模，在网络带宽变化的情况下准确预测点云视频流媒体中用户的体验质量，从而解决QoE建模无法全面准确的反应用户体验质量的问题。
本发明为解决技术问题采用如下技术方案：
本发明一种针对自适应点云视频流媒体中用户体验质量QoE的建模方法的特点是按如下步骤进行：
步骤一、服务器获取A个原始点云视频，并将每个原始点云视频在时间上分为帧数相同的K个帧组，其中，任意一个原始点云视频划分后的K个帧组记为{gof1,gof2,...,gofk,...gofK}，gofk表示任意一个原始点云视频经过切分后得到的第k个帧组，1≤k≤K；
将第k个帧组gofk在空间上切分为大小相同的C个切块，其中，第k个帧组gofk经过切分后得到的第c个切块记为chunkk,c，1≤c≤C；
将第c个切块chunkk,c压缩为L种不同质量等级的切块，其中，第k个帧组gofk中第c个切块chunkk,c经过压缩后得到的第l种质量等级的切块记为chunkk,c,l；从而得到所有帧组的切块经过压缩后的切块并存储在服务器中；1≤l≤L；
步骤二、客户端采集用户观看原始点云视频的视角信息，得到用户在每个帧组内观看的切块集合，其中，用户观看第k个帧组gofk的切块集合记为fovk；若用户在第k个帧组gofk中观看了第c个切块chunkk,c，则将第c个切块chunkk,c加入切块集合fovk；
客户端将用户观看第k个帧组gofk的切块集合fovk作为预测到的用户观看第k个帧组gofk的切块集合prefovk；或者，客户端将用户观看第k-1个帧组gofk-1的切块集合fovk-1作为预测到的用户观看第k个帧组gofk的切块集合prefovk，从而完成对视角信息的预测；
步骤三、客户端根据视角信息的预测结果和第t种网络带宽对用户视角内的切块进行质量选择，并计算出第t种网络带宽下用户视角内的切块所选择的质量等级，以及用户视角内点云视频在流媒体播放时产生的暂停时间，质量切换；t＝1，2，...T；T表示网络带宽种类的总数；
步骤四、根据第t种网络带宽下用户视角内切块所选择的质量等级，客户端从服务器端下载相应质量等级的切块并重新融合，得到视角信息预测下的一个处理后的点云视频；从而得到G个处理后的点云视频以及G个处理后的点云视频在流媒体播放时产生的暂停时间，质量切换；G＝T×2×A；
步骤五、客户端通过客观质量指标对G个处理后的点云视频进行评估，从而得到G个处理后的点云视频的客观质量；
步骤六、客户端将G个处理后的点云视频渲染播放，第e个用户对播放的G个处理后的点云视频进行体验质量的评分，从而得到所有E个用户的G个评分；e＝1，2，...E；E表示用户的总数；
步骤七、将所有E个用户对第g个处理后的点云视频的评分进行均值处理，得到第g个处理后的点云视频的平均意见分数MOSg；从而得到G个处理后的点云视频的平均意见分数MOS，g＝1，2，...G；
步骤八、将平均意见分数MOS作为因变量，将客观质量，暂停时间和质量切换作为自变量，分别制作平均意见分数MOS与客观质量，暂停时间以及质量切换的散点图；将因变量和自变量进行函数拟合，从而得到点云视频流媒体的用户QoE模型。
本发明所述的建模方法的特点也在于，所述步骤三是按如下过程进行：
步骤3.1、客户端选择用户视角内同一质量等级的切块；
步骤3.2、利用式(1)得到用户视角内第k个帧组gofk的切块质量等级Lk：
Figure BDA0003133108500000041
s.t.
xk,l∈[0,1] (2)
Figure BDA0003133108500000042
式(1)-式(3)中，xk,l为零一变量，表示第k个帧组gofk是否选择质量等级为l的切块，若xk,l＝1，表示第k个帧组gofk选择了质量等级为l的切块，若xk,l＝0，表示第k个帧组gofk未选择质量等级为l的切块；
步骤3.3、利用式(4)-式(8)表示第k个帧组gofk在流媒体播放前出现的暂停时间Stallk：
Figure BDA0003133108500000043
Figure BDA0003133108500000044
Figure BDA0003133108500000045
Figure BDA0003133108500000051
Figure BDA0003133108500000052
式(4)中，Sk,l表示用户视角内的第k个帧组gofk的切块在不同质量等级下的数据量；
式(5)中，Bk表示第k个帧组gofk对应的带宽；
式(6)中，Tek,l表示用户视角内的第k个帧组gofk在不同质量等级下的解码时间；
式(7)中，f表示第k个帧组gofk的帧数，fps是播放器每秒播放的点云帧数；
步骤3.4、利用式(9)得到第k个帧组gofk在流媒体播放时出现的质量切换Quality_switchk：
Figure BDA0003133108500000053
式(9)中，Lk,c表示第k个帧组gofk中第c个切块chunkk,c的质量等级，Lk-1,c表示第k-1个帧组gofk-1中第c个切块chunkk-1,c的质量等级，Dk,c表示第c个切块chunkk,c和视点距离对质量切换造成的影响，并有：
Figure BDA0003133108500000054
式(10)中，Disk,c表示第c个切块chunkk,c的中心点到用户的视点距离；boxsizek,c表示第c个切块chunkk,c所在的第k个帧组gofk对应的点云空间所在边界框对角线长度；
步骤3.5、客户端在质量选择时，利用零一整数规划方法对零一变量xk,l进行求解，得到在第t种网络带宽下用户视角内点云视频的第k个帧组gofk中切块最高质量等级
Figure BDA0003133108500000055
和最少暂停时间
Figure BDA0003133108500000056
进而得到第k个帧组gofk在流媒体播放时出现的质量切换
Figure BDA0003133108500000057
所述步骤五是按如下过程进行：
步骤5.1、找到原始点云视频中与处理后的点云视频中每个点对应的最邻***面，利用式(11)对G个处理后的点云视频进行距离信息的评估，得到包含距离信息的客观质量PSNRp：
Figure BDA0003133108500000061
式(11)中，p2planeRMSD表示处理后的点云视频中每个点到原始点云视频中对应的最邻***面之间距离的平均值；dMAX表示原始点云视频每一帧对应的点云空间所在边界框的对角线长度中的最大值；
步骤5.2、利用式(12)对G个处理后的点云视频进行颜色信息进行评估，得到包含颜色信息的客观质量PSNRC：
Figure BDA0003133108500000062
式(12)中，PSNRY,PSNRU,PSNRV分别表示YUV颜色空间中Y分量、U分量、V分量的峰值信噪比；
步骤5.3、利用式(13)得到G个处理后的点云视频的总客观质量PCPSNR：
PCPSNR＝PSNRP+PSNRC (13)。
与现有技术相比，本发明的有益效果体现在：
1、本发明在点云建模考虑点云序列的客观质量指标的同时能够加入自适应点云视频流媒体传输时所产生的暂停和质量切换，弥补了以往研究点云质量评估只考虑客观质量指标的缺陷，能够更加全面的进行建模。在网络带宽变化的情况下，该建模能够更加准确的预测点云视频流媒体中人的主观体验质量。
2、本发明分析了点云视频流媒体QoE的影响因素，包括：点云视频本身的客观质量、流媒体传输产生的暂停和质量切换，然后进行详尽的主观质量实验通过用户体验来获得QoE模型，同时分析了切块距离和QoE模型中质量切换的关系，从而更加准确的衡量用户体验质量。
3、本发明提出了一种新的客观质量衡量方法来衡量点云视频的客观质量，这个方法同时考虑了点的距离信息和颜色信息，能够更加全面的反应点云视频的客观质量，从而提高了QoE模型的准确性。
4、本发明首次研究了点云视频流媒体下的QoE模型，解决了现有技术中对点云QoE视频流媒体QoE研究较少的问题；同时通过使用函数拟合进行数据分析，有效地分析了点云视频流媒体中用户QoE与客观质量、暂停时间、质量切换这些影响因素的关系，解决了现有技术中对点云视频流媒体的用户QoE进行研究时影响因素考虑较少的问题，从而使QoE模型更加全面准确的反应用户QoE。
附图说明
图1为本发明中所提出的自适应点云视频流媒体***结构图；
图2为本发明中因变量MOS与其各自变量之间的散点图。
具体实施方式
本实施例中，一种针对自适应点云视频流媒体中用户体验质量QoE的建模方法，是应用于自适应点云视频流媒体***中；如图1所示，自适应点云流媒体***由服务器和客户端组成，服务器先将原始的点云视频切分为时间上的帧组，然后再切分为空间上的切块，最后将每个切块压缩为不同的质量等级并且上传到服务器；客户端综合视角信息，带宽信息和当前的缓冲状态计算出在当前网络带宽下相应的用户视角内切块的质量等级，然后将这些信息上传到服务器；服务器根据用户观看的切块信息以及计算得到的切块质量等级，将相应质量等级的切块传输到客户端解码，然后重新融合成处理后的点云视频，并渲染让用户观看；该建模方法是按如下步骤进行：
步骤1、服务器获取A＝4个原始点云视频，并将每个原始点云视频在时间上分为帧数相同的K＝30个帧组，其中，任意一个原始点云视频划分后的30个帧组记为{gof1,gof2,...,gofk,...gof30}，gofk表示任意一个原始点云视频经过切分后得到的第k个帧组，1≤k≤30；
将第k个帧组gofk在空间上切分为大小相同的C＝12个切块，其中，第k个帧组gofk经过切分后得到的第c个切块记为chunkk,c，1≤c≤12；
将第c个切块chunkk,c压缩为L＝5种不同质量等级的切块，其中，第k个帧组gofk中第c个切块chunkk,c经过压缩后得到的第l种质量等级的切块记为chunkk,c,l；从而得到所有帧组的切块经过压缩后的切块并存储在服务器中；1≤l≤5；
步骤2、客户端采集用户观看原始点云视频的视角信息，得到用户在每个帧组内观看的切块集合，其中，用户观看第k个帧组gofk的切块集合记为fovk；若用户在第k个帧组gofk中观看了第c个切块chunkk,c，则将第c个切块chunkk,c加入切块集合fovk；
客户端将用户观看第k个帧组gofk的切块集合fovk作为预测到的用户观看第k个帧组gofk的切块集合prefovk；或者，客户端将用户观看第k-1个帧组gofk-1的切块集合fovk-1作为预测到的用户观看第k个帧组gofk的切块集合prefovk，从而完成对视角信息的预测；
步骤3、客户端根据视角信息的预测结果和第t种网络带宽对用户视角内的切块进行质量选择，在质量选择时视角内的切块选择同一质量等级；t＝1，2，3，4；带宽配置种类的总数T为4；
步骤3.1、利用式(1)得到用户视角内第k个帧组gofk的切块质量等级Lk：
Figure BDA0003133108500000081
s.t.
xk,l∈[0,1] (2)
Figure BDA0003133108500000082
式(1)-式(3)中，xk,l为零一变量，表示第k个帧组gofk是否选择质量等级为l的切块，若xk,l＝1，表示第k个帧组gofk选择了质量等级为l的切块，若xk,l＝0，表示第k个帧组gofk未选择质量等级为l的切块；式(3)表示第k个帧组的质量等级有且仅有一种；
步骤3.2、利用式(4)-式(8)表示第k个帧组gofk在流媒体播放前出现的暂停时间Stallk：
Figure BDA0003133108500000083
Figure BDA0003133108500000084
Figure BDA0003133108500000085
Figure BDA0003133108500000086
Figure BDA0003133108500000087
式(4)中Sk表示用户视角内的第k个帧组gofk的切块选择的质量等级对应的数据量大小；式(4)中，Sk,l表示用户视角内的第k个帧组gofk的切块在不同质量等级下的数据量；
式(5)Twk表示用户视角内的第k个帧组gofk的切块的下载时间；式(5)中，Bk表示第k个帧组gofk对应的带宽；
式(6)Tek表示用户视角内的第k个帧组gofk的切块选择的质量等级对应的解码时间；式(6)中，Tek,l表示用户视角内的第k个帧组gofk在不同质量等级下的解码时间；
式(7)Tpk表示第k个帧组的播放时间；式(7)中，f表示第k个帧组gofk的帧数，fps是播放器每秒播放的点云帧数；
式(8)表示如果第k个帧组视角内切块下载加解码需要的总时间比前一个帧组播放时间长，那么两者的差值即为暂停时间；式(8)中，由于每个帧组的帧数相同，所以第k个帧组前一个帧组的播放时间用第k个帧组的播放时间表示；式(8)表示第k个帧组的缓冲时长为前一个帧组的播放时间；
步骤3.3、利用式(9)得到第k个帧组gofk在流媒体播放时出现的质量切换Quality_switchk：
Figure BDA0003133108500000091
式(9)表示第k个帧组在流媒体播放时出现的质量切换是视角内每个切块产生的质量切换的总和；式(9)中，第k个帧组中第c个切块相较于第k-1个帧组中第c个切块的质量切换用两个等级差值的绝对值表示；式(9)中，Lk,c表示第k个帧组gofk中第c个切块chunkk,c的质量等级，Lk-1,c表示第k-1个帧组gofk-1中第c个切块chunkk-1,c的质量等级；Dk,c表示第c个切块chunkk,c和视点距离对质量切换造成的影响，并有：
Figure BDA0003133108500000092
式(10)中，Dk,c表示切块和视点距离对质量切换造成的影响；Disk,c表示第c个切块chunkk,c的中心点到用户的视点距离；boxsizek,c表示第c个切块chunkk,c所在的第k个帧组gofk对应的点云空间所在边界框对角线长度；
步骤3.4、客户端在质量选择时，利用零一整数规划方法对零一变量xk,l进行求解，得到在第t种网络带宽下用户视角内点云视频的第k个帧组gofk中切块最高质量等级
Figure BDA0003133108500000093
和最少暂停时间
Figure BDA0003133108500000101
进而得到第k个帧组gofk在流媒体播放时出现的质量切换
Figure BDA0003133108500000102
步骤4、根据第t种网络带宽下用户视角内切块所选择的质量等级，客户端从服务器端下载相应质量等级的切块并重新融合，得到视角信息预测下的一个处理后的点云视频；根据4种网络带宽下用户视角内切块选择的质量等级和两种视角预测，从而得到G＝32个处理后的点云视频以及G＝32个处理后的点云视频在流媒体播放时产生的暂停时间，质量切换；G＝32＝4×2×4；
具体的处理后点云视频配置如表1所示：
表1点云视频配置
点云视频 带宽配置(Mb/s) 视角预测
Longdress 70，120，230，340 完美预测，最近视点
Loot 70，120，230，340 完美预测，最近视点
Soldier 130，230，350，480 完美预测，最近视点
Basketballplayer 130，230，350，480 完美预测，最近视点
步骤5、客户端通过客观质量指标对G个处理后的点云视频进行评估；
步骤5.1、找到原始点云视频中与处理后的点云视频中每个点对应的最邻***面，利用式(11)对G个处理后的点云视频进行距离信息的评估，得到包含距离信息的客观质量PSNRp：
Figure BDA0003133108500000103
式(11)中，p2planeRMSD表示处理后的点云视频中每个点到原始点云视频中对应的最邻***面之间距离的平均值；dMAX表示原始点云视频每一帧对应的点云空间所在边界框的对角线长度中的最大值；
步骤5.2、利用式(12)对G个处理后的点云视频进行颜色信息进行评估，得到包含颜色信息的客观质量PSNRC：
Figure BDA0003133108500000104
式(12)中，PSNRY,PSNRU,PSNRV分别表示YUV颜色空间中Y分量、U分量、V分量的峰值信噪比；
步骤5.3、利用式(13)得到32个处理后的点云视频的总客观质量PCPSNR：
PCPSNR＝PSNRP+PSNRC (13)
步骤6、客户端将G＝32个处理后点云视频渲染播放，第e个用户对播放的32个处理后的点云视频进行体验质量的评分，从而得到所有E＝34个用户的32个评分；e＝1，2，...，34；E＝34表示用户的总数；
步骤7、将所有E＝34个用户对第g个处理后点云视频的评分进行均值处理，得到第g个处理后的点云视频的平均意见分数MOSg；从而得到G＝32个处理后的点云视频的平均意见分数MOS，g＝1，2，...，32；
步骤8、将平均意见分数MOS作为因变量，将客观质量，暂停时间和质量切换作为自变量，分别制作平均意见分数MOS与客观质量，暂停时间以及质量切换的散点图；散点图如图2所示，观察因变量MOS与各自变量之间的关系，可以看出三个影响因素和MOS都有比较好的线性关系，进而选择符合散点图的线性数学模型将因变量和自变量进行线性回归拟合，从而得到点云视频流媒体的用户QoE模型，如式(14)所示：
QoE＝-0.471+0.037×PSNRC-0.313×Stall-0.007×Quality_switch (14)
式(14)中，PSNRC表示点云视频的客观质量，Stall表示点云视频在流媒体传输时产生的暂停，Quality_switch表示点云视频在流媒体传输时产生的质量切换。

Claims (3)

1.一种针对自适应点云视频流媒体中用户体验质量QoE的建模方法，其特征是按如下步骤进行：
步骤一、服务器获取A个原始点云视频，并将每个原始点云视频在时间上分为帧数相同的K个帧组，其中，任意一个原始点云视频划分后的K个帧组记为{gof1,gof2,...,gofk,...gofK}，gofk表示任意一个原始点云视频经过切分后得到的第k个帧组，1≤k≤K；
将第k个帧组gofk在空间上切分为大小相同的C个切块，其中，第k个帧组gofk经过切分后得到的第c个切块记为chunkk,c，1≤c≤C；
将第c个切块chunkk,c压缩为L种不同质量等级的切块，其中，第k个帧组gofk中第c个切块chunkk,c经过压缩后得到的第l种质量等级的切块记为chunkk,c,l；从而得到所有帧组的切块经过压缩后的切块并存储在服务器中；1≤l≤L；
步骤二、客户端采集用户观看原始点云视频的视角信息，得到用户在每个帧组内观看的切块集合，其中，用户观看第k个帧组gofk的切块集合记为fovk；若用户在第k个帧组gofk中观看了第c个切块chunkk,c，则将第c个切块chunkk,c加入切块集合fovk；
客户端将用户观看第k个帧组gofk的切块集合fovk作为预测到的用户观看第k个帧组gofk的切块集合prefovk；或者，客户端将用户观看第k-1个帧组gofk-1的切块集合fovk-1作为预测到的用户观看第k个帧组gofk的切块集合prefovk，从而完成对视角信息的预测；
步骤三、客户端根据视角信息的预测结果和第t种网络带宽对用户视角内的切块进行质量选择，并计算出第t种网络带宽下用户视角内的切块所选择的质量等级，以及用户视角内点云视频在流媒体播放时产生的暂停时间，质量切换；t＝1，2，...T；T表示网络带宽种类的总数；
步骤四、根据第t种网络带宽下用户视角内切块所选择的质量等级，客户端从服务器端下载相应质量等级的切块并重新融合，得到视角信息预测下的一个处理后的点云视频；从而得到G个处理后的点云视频以及G个处理后的点云视频在流媒体播放时产生的暂停时间，质量切换；G＝T×2×A；
步骤五、客户端通过客观质量指标对G个处理后的点云视频进行评估，从而得到G个处理后的点云视频的客观质量；
步骤六、客户端将G个处理后的点云视频渲染播放，第e个用户对播放的G个处理后的点云视频进行体验质量的评分，从而得到所有E个用户的G个评分；e＝1，2，...E；E表示用户的总数；
步骤七、将所有E个用户对第g个处理后的点云视频的评分进行均值处理，得到第g个处理后的点云视频的平均意见分数MOSg；从而得到G个处理后的点云视频的平均意见分数MOS，g＝1，2，...G；
步骤八、将平均意见分数MOS作为因变量，将客观质量，暂停时间和质量切换作为自变量，分别制作平均意见分数MOS与客观质量，暂停时间以及质量切换的散点图；将因变量和自变量进行函数拟合，从而得到点云视频流媒体的用户QoE模型。
2.根据权利要求1所述的建模方法，其特征是，所述步骤三是按如下过程进行：
步骤3.1、客户端选择用户视角内同一质量等级的切块；
步骤3.2、利用式(1)得到用户视角内第k个帧组gofk的切块质量等级Lk：
Figure FDA0003133108490000021
s.t.
xk,l∈[0,1] (2)
Figure FDA0003133108490000022
式(1)-式(3)中，xk,l为零一变量，表示第k个帧组gofk是否选择质量等级为l的切块，若xk,l＝1，表示第k个帧组gofk选择了质量等级为l的切块，若xk,l＝0，表示第k个帧组gofk未选择质量等级为l的切块；
步骤3.3、利用式(4)-式(8)表示第k个帧组gofk在流媒体播放前出现的暂停时间Stallk：
Figure FDA0003133108490000031
Figure FDA0003133108490000032
Figure FDA0003133108490000033
Figure FDA0003133108490000034
Figure FDA0003133108490000035
式(4)中，Sk,l表示用户视角内的第k个帧组gofk的切块在不同质量等级下的数据量；
式(5)中，Bk表示第k个帧组gofk对应的带宽；
式(6)中，Tek,l表示用户视角内的第k个帧组gofk在不同质量等级下的解码时间；
式(7)中，f表示第k个帧组gofk的帧数，fps是播放器每秒播放的点云帧数；
步骤3.4、利用式(9)得到第k个帧组gofk在流媒体播放时出现的质量切换Quality_switchk：
Figure FDA0003133108490000036
式(9)中，Lk,c表示第k个帧组gofk中第c个切块chunkk,c的质量等级，Lk-1,c表示第k-1个帧组gofk-1中第c个切块chunkk-1,c的质量等级，Dk,c表示第c个切块chunkk,c和视点距离对质量切换造成的影响，并有：
Figure FDA0003133108490000037
式(10)中，Disk,c表示第c个切块chunkk,c的中心点到用户的视点距离；boxsizek,c表示第c个切块chunkk,c所在的第k个帧组gofk对应的点云空间所在边界框对角线长度；
步骤3.5、客户端在质量选择时，利用零一整数规划方法对零一变量xk,l进行求解，得到在第t种网络带宽下用户视角内点云视频的第k个帧组gofk中切块最高质量等级
Figure FDA0003133108490000038
和最少暂停时间
Figure FDA0003133108490000041
进而得到第k个帧组gofk在流媒体播放时出现的质量切换
Figure FDA0003133108490000042
3.根据权利要求1所述的建模方法，其特征是，所述步骤五是按如下过程进行：
步骤5.1、找到原始点云视频中与处理后的点云视频中每个点对应的最邻***面，利用式(11)对G个处理后的点云视频进行距离信息的评估，得到包含距离信息的客观质量PSNRp：
Figure FDA0003133108490000043
式(11)中，p2planeRMSD表示处理后的点云视频中每个点到原始点云视频中对应的最邻***面之间距离的平均值；dMAX表示原始点云视频每一帧对应的点云空间所在边界框的对角线长度中的最大值；
步骤5.2、利用式(12)对G个处理后的点云视频进行颜色信息进行评估，得到包含颜色信息的客观质量PSNRC：
Figure FDA0003133108490000044
式(12)中，PSNRY,PSNRU,PSNRV分别表示YUV颜色空间中Y分量、U分量、V分量的峰值信噪比；
步骤5.3、利用式(13)得到G个处理后的点云视频的总客观质量PCPSNR：
PCPSNR＝PSNRP+PSNRC (13)。
CN202110709824.6A 2021-06-25 2021-06-25 针对自适应点云视频流媒体中用户体验质量QoE的建模方法 Active CN113395602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110709824.6A CN113395602B (zh) 2021-06-25 2021-06-25 针对自适应点云视频流媒体中用户体验质量QoE的建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110709824.6A CN113395602B (zh) 2021-06-25 2021-06-25 针对自适应点云视频流媒体中用户体验质量QoE的建模方法

Publications (2)

Publication Number Publication Date
CN113395602A true CN113395602A (zh) 2021-09-14
CN113395602B CN113395602B (zh) 2022-03-22

Family

ID=77623861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110709824.6A Active CN113395602B (zh) 2021-06-25 2021-06-25 针对自适应点云视频流媒体中用户体验质量QoE的建模方法

Country Status (1)

Country Link
CN (1) CN113395602B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316012A1 (en) * 2009-06-12 2010-12-16 Cygnus Broadband Systems and Methods for Intelligent Discard in a Communication Network
CN106454424A (zh) * 2016-11-10 2017-02-22 中广热点云科技有限公司 热点云管理平台及其方法
CN106604026A (zh) * 2016-12-16 2017-04-26 浙江工业大学 一种移动流媒体用户体验质量QoE评估方法
CN107888579A (zh) * 2017-11-06 2018-04-06 浙江大学 一种非干扰式的移动视频用户体验质量指标建模方法
CN108696403A (zh) * 2018-03-23 2018-10-23 中国科学技术大学 一种基于网络流特征构造学习的加密视频QoE评测方法
CN109302623A (zh) * 2018-11-01 2019-02-01 南京大学 一种基于QoE模型动态自适应视频的传输方法
CN109451303A (zh) * 2018-12-24 2019-03-08 合肥工业大学 一种针对VR视频中用户体验质量QoE的建模方法
CN109831705A (zh) * 2019-02-22 2019-05-31 西安交通大学 一种针对HTTP视频流业务的主观QoE评估方法
CN110246112A (zh) * 2019-01-21 2019-09-17 厦门大学 基于深度学习的激光扫描slam室内三维点云质量评价方法
CN110266714A (zh) * 2019-06-28 2019-09-20 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法
CN111435991A (zh) * 2019-01-11 2020-07-21 上海交通大学 基于分组的点云码流封装方法和***
CN112101788A (zh) * 2020-09-15 2020-12-18 福州大学 基于长期记忆的视频QoE评价***及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316012A1 (en) * 2009-06-12 2010-12-16 Cygnus Broadband Systems and Methods for Intelligent Discard in a Communication Network
CN106454424A (zh) * 2016-11-10 2017-02-22 中广热点云科技有限公司 热点云管理平台及其方法
CN106604026A (zh) * 2016-12-16 2017-04-26 浙江工业大学 一种移动流媒体用户体验质量QoE评估方法
CN107888579A (zh) * 2017-11-06 2018-04-06 浙江大学 一种非干扰式的移动视频用户体验质量指标建模方法
CN108696403A (zh) * 2018-03-23 2018-10-23 中国科学技术大学 一种基于网络流特征构造学习的加密视频QoE评测方法
CN109302623A (zh) * 2018-11-01 2019-02-01 南京大学 一种基于QoE模型动态自适应视频的传输方法
CN109451303A (zh) * 2018-12-24 2019-03-08 合肥工业大学 一种针对VR视频中用户体验质量QoE的建模方法
CN111435991A (zh) * 2019-01-11 2020-07-21 上海交通大学 基于分组的点云码流封装方法和***
CN110246112A (zh) * 2019-01-21 2019-09-17 厦门大学 基于深度学习的激光扫描slam室内三维点云质量评价方法
CN109831705A (zh) * 2019-02-22 2019-05-31 西安交通大学 一种针对HTTP视频流业务的主观QoE评估方法
CN110266714A (zh) * 2019-06-28 2019-09-20 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法
CN112101788A (zh) * 2020-09-15 2020-12-18 福州大学 基于长期记忆的视频QoE评价***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHI LIU等: "Fuzzy Logic-Based Adaptive Point Cloud Video Streaming", 《IEEE OPEN JOURNAL OF THE COMPUTER SOCIETY》 *
孙伟等: "基于服务质量的无线传感器网络MAC协议模型研究", 《电子测量与仪器学报》 *

Also Published As

Publication number Publication date
CN113395602B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
Duanmu et al. A quality-of-experience index for streaming video
Bampis et al. Towards perceptually optimized adaptive video streaming-a realistic quality of experience database
Seufert et al. “To pool or not to pool”: A comparison of temporal pooling methods for HTTP adaptive video streaming
CN107454446A (zh) 基于体验质量分析的视频帧管理方法及其装置
Venkataraman et al. Evaluating quality of experience for streaming video in real time
Aguiar et al. Video quality estimator for wireless mesh networks
EP2112835A1 (en) Method and apparatus for generation of a video quality parameter
Issa et al. Quality-of-experience perception for video streaming services: Preliminary subjective and objective results
Zhang et al. MD-VQA: Multi-dimensional quality assessment for UGC live videos
CN103152599A (zh) 基于有序回归的移动视频业务用户体验质量评估方法
CN112767385B (zh) 基于显著性策略与特征融合无参考图像质量评价方法
CN112055263B (zh) 基于显著性检测的360°视频流传输***
CN114513655A (zh) 直播视频质量评价方法、视频质量的调整方法及相关装置
Usman et al. A novel no-reference metric for estimating the impact of frame freezing artifacts on perceptual quality of streamed videos
Li et al. UGC-VIDEO: Perceptual quality assessment of user-generated videos
Nasiri et al. Perceptual aliasing factors and the impact of frame rate on video quality
CN114598864A (zh) 一种基于深度学习的全参考超高清视频质量客观评价方法
Li et al. A real-time blind quality-of-experience assessment metric for http adaptive streaming
CN113395602B (zh) 针对自适应点云视频流媒体中用户体验质量QoE的建模方法
CN107465914B (zh) 基于局部纹理特征和全局亮度特征的视频质量评价方法
Srinivasan et al. On the robustness of action recognition methods in compressed and pixel domain
Martinez et al. A no-reference autoencoder video quality metric
Vranješ et al. ECVQ and EVVQ video quality databases
Ebenezer et al. Subjective and objective quality assessment of high-motion sports videos at low-bitrates
Søgaard et al. Quality assessment of adaptive bitrate videos using image metrics and machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant