CN107888579B - 一种非干扰式的移动视频用户体验质量指标建模方法 - Google Patents
一种非干扰式的移动视频用户体验质量指标建模方法 Download PDFInfo
- Publication number
- CN107888579B CN107888579B CN201711077314.1A CN201711077314A CN107888579B CN 107888579 B CN107888579 B CN 107888579B CN 201711077314 A CN201711077314 A CN 201711077314A CN 107888579 B CN107888579 B CN 107888579B
- Authority
- CN
- China
- Prior art keywords
- video
- user experience
- quality index
- category
- experience quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 3
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 5
- 238000013209 evaluation strategy Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011064 split stream procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种非干扰式的移动视频用户体验质量指标建模方法，步骤为：在手机上点击播放HPD模式和HLS模式的视频，捕捉这些视频的流量信息，同时使用卡顿分析工具记录每个视频的卡顿状况，并且标记视频传输模式类别的真实值；通过分析视频卡顿状况，获得视频卡顿程度的真实值；通过分析视频流量，获得视频清晰度的真实值以及流量的网络特征；对两种传输模式的视频，使用视频流量的网络特征和传输模式真实类别进行机器学习，训练出可以用于传输模式分类的模型；对每一种传输模式的视频，分别使用视频流量的网络特征和用户体验质量指标真实值进行机器学习，训练出可以用于评价用户体验质量指标的模型。
Description
技术领域
本发明涉及可以在加密情况下使用的移动端的HPD模式视频和HLS模式视频的视频传输模式分类方法，以及每类视频用户体验质量指标的建模方法。
背景技术
近年来，随着人们在手机上观看视频的需求的增长，各大视频网站都推出了移动端的视频播放器，并且采取了各不相同的视频传输模式。最为常用的视频传输模式包括HPD和HAS。
HPD是HTTP的渐进式下载，也就是一种简单的从HTTP WEB服务器进行文件下载的普通方式。“渐进”这个术语源于播放器客户端允许媒体文件还正在下载的时候就开始播放，不用等到整个文件下载都完成写到磁盘上之后，通常情况下播放内容都是先直接放在浏览器的缓存里的。支持HTTP1.1标准的客户端可以通过向WEB服务器进行字节范围请求来寻址到没有下载完成的媒体文件的相应位置。客户端还采取分流传输的模式，在一个视频流传输还未结束的时候就开始另一条流的传输。
HAS是HTTP码率自适应流，HAS技术的一个关键就是媒体数据的切割分块，每个分块的时间长度相同，一般2～10秒。在视频编码层，这意味着每个分块都由若干个完整的视频GOP组成(每个分块都有一个关键I帧)，以此保证每个分块都与过去及将来的媒体分块无关联。媒体分块存储在HTTP Web服务器中，客户端以线性的方式向Web服务器请求媒体分块，并以传统的HTTP方式进行媒体分块的下载，当媒体分块下载至客户端时，客户端按照顺序播放这一系列媒体分块。HLS是苹果公司的HAS整体解决方案，它由三部分组成：服务器组件、分发组件和客户端。首先，编码器接受音视频输入，并采用H.264编码技术，输出MPEG-2TS流，然后利用切片软件按设定的时间间隔对TS码流进行切割并保存为一个个TS文件。这些TS文件部署在Web服务器上，切片软件同时还创建了包含这些TS文件相关信息的索引文件，索引文件被保存为.M3U8文件。索引文件的URL在Web服务器上发布，客户端读取索引文件，然后按顺序向服务器请求媒体文件并无停顿地显示它们。
要使用网络流量区分HPD模式和HLS模式，有一个较为简单的方法，即在网络流量中寻找索引文件(.M3U8文件)的GET请求。如果可以找到这个请求，那么视频以HLS模式传输，否则以HPD模式传输。但是这种分类方法需要用到URL的信息，一旦对视频进行加密之后，URL里的信息就不可见了，这种方法自然也不再可行。
视频的用户体验质量主要由两个指标构成——清晰度和卡顿状况。对视频清晰度的获取也可以使用GET请求URL中的信息，但是这种方法同样不适用于加密情况。而对视频卡顿状况的获取，在之前并没有可以供HPD模式和HLS模式通用的在网络端的方法。
发明内容
本发明要克服现有技术的上述缺点，提供一种可以在加密情况下使用的移动端视频的HPD和HLS视频传输模式的分类方法，以及每类视频的用户体验质量指标的建模方法。
为实现以上目的，本发明所采取的技术方案是：一种非干扰式的移动视频用户体验质量指标建模方法，包括以下步骤：
(1)在移动端上点击播放HPD模式的视频和HLS模式的视频，在视频流量记录模块中记录这些视频的流量信息，同时在视频卡顿状况记录模块中记录视频的卡顿状况；
(2)训练用于视频模式分类的模型，包括：
21)对每一个视频，在视频传输模式标记模块中对其传输模式进行标记；
22)在每个视频的流量信息中提取出合适的特征；
23)使用每个视频在1)中的类别和在步骤22)中的特征进行机器学习，训练出可以用于分类的模型；
(3)对每一种传输模式的视频，训练用于评价视频用户体验质量指标——卡顿情况的模型，包括：
31)在视频卡顿状况类别真实值分析模块中获得每个视频卡顿状况的类别真实值；
32)在用户体验质量指标分类特征提取模块中提取每个视频的流量信息中有用的网络特征，并使用统计特征对其进行扩展；
33)使用每个视频在步骤31)中的类别和在步骤32)中的特征进行特征选择；
34)使用每个视频在步骤31)中的类别和在步骤33)中的特征进行机器学习，训练出可以用于评价的模型；
(4)对每一种传输模式的视频，训练用于评价视频用户体验质量指标——清晰度情况的模型，包括：
1)在视频清晰度类别真实值提取模块中获得每个视频清晰度的类别真实值；
2)在用户体验质量指标分类特征提取模块中提取每个视频的流量信息中有用的网络特征，并使用统计特征对其进行扩展；
3)使用每个视频在步骤41)中的类别和在步骤42)中的特征进行特征选择；
4)使用每个视频在步骤41)中的类别和在步骤43)中的特征进行机器学习，训练出可以用于评价的模型；
与现有技术相比，本发明的有益效果是：在使用训练出来的模型时，所有的测量指标均从网络端获取，不需要在客户端做任何的改变和部署，不会对用户造成干扰；所有的测量指标均在应用层以下获取，即使视频流量被加密，此方法仍然适用。
附图说明
图1是本发明的视频卡顿状况、清晰度评价流程图。
图2是本发明的视频卡顿状况、清晰度评价模型和传输模式分类模型的训练过程示意图。
具体实施方式
本发明使用应用层以下的网络特征对移动端的HPD模式视频和HLS模式视频的传输模式进行分类，并且提供了一种适用于两种传输模式的视频用户体验质量指标建模方法，这种方法同样只使用应用层以下的网络特征，因此这两种方法均适用于加密情况。具体步骤如下：
(1)抓取视频网络流信息和客户端截屏信息：
(1.1)连续一周在安卓手机上播放HPD模式的视频，视频包括标清、高清、超清三种清晰度，并同时控制网络带宽，使得不同视频的播放过程有不同的卡顿状况。在视频的播放过程中使用wireshark抓取视频流量，并且用appetizer-toolkit工具每隔0.5s截取手机屏幕。最后将这些视频标记为HPD模式。
(1.2)连续一周在安卓手机上播放HLS模式视频，视频包括标清、高清、超清三种清晰度，并同时控制网络带宽，使得不同视频的播放过程有不同的卡顿状况。在视频的播放过程中使用wireshark抓取视频流量，并且用appetizer-toolkit工具每隔0.5s截取手机屏幕。最后将这些视频标记为HLS模式。
(2)训练用于视频模式分类的模型；
(2.1)对每一个视频，对其传输模式进行类别标记；
(2.2)从截取到的流量信息中找到每个视频的所有流信息和视频块信息，记录下前3条流的平均开始时间间隔、所有流的平均开始时间间隔、视频块数与流数的比值。
(2.3)使用每个视频在(2.1)中的类别和在(2.2)中的特征进行机器学习，训练出可以用于分类的模型，最为适合的算法为DecisionTable；
(3)训练用于评价视频用户体验质量指标——卡顿情况的模型，每种模式的视频训练一个单独的模型；
(3.1)对每一个视频，根据其截图获得视频时长和卡顿时长，若卡顿时长与视频时长的比值为0，将此视频标记为无卡顿，若大于0小于等于0.1，则标记为轻微卡顿，若大于0.1，则标记为严重卡顿；
(3.2)在每个视频的流量信息中提取出合适的19个特征(如表1所示)，对每一个特征使用7个统计特征(如表2所示)对其进行扩展，最终得到133个网络流量特征；
(3.3)使用每个视频在(3.1)中的类别和在(3.2)中的特征，使用CfsSubsetEval评价策略和BestFirst搜索策略进行特征选择，以去除不相关特征对分类结果的影响；
(3.4)使用每个视频在(3.1)中的类别和在(3.3)中的特征进行机器学习，训练出可以用于评价的模型，对于HPD模式视频和HLS模式视频，最为适合的算法都是RandomSubSpace；
(4)训练用于评价视频用户体验质量指标——清晰度情况的模型，每种模式的视频训练一个单独的模型；
(4.1)提取每个视频网络流量中的对视频内容的GET请求，通过分析其URL中的信息得到此视频清晰度的类别真实值；
(4.2)在每个视频的流量信息中提取出合适的19个特征(如表1所示)，对每一个特征使用7个统计特征(如表2所示)对其进行扩展，最终得到133个网络流量特征；
表1视频流量特征
表2统计特征
| 最大值 |
| 最小值 |
| 平均值 |
| 标准差 |
| 第25百分位 |
| 第50百分位 |
| 第75百分位 |
(4.3)使用每个视频在(4.1)中的类别和在(4.2)中的特征，使用CfsSubsetEval评价策略和BestFirst搜索策略进行特征选择，以去除不相关特征对分类结果的影响；
(4.4)使用每个视频在(4.1)中的类别和在(4.3)中的特征进行机器学习，训练出可以用于评价的模型，对于HPD模式视频，最为适合的算法RandomForest，对于HLS模式视频，最为合适的算法是MultiplayerPerception。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.一种非干扰式的移动视频用户体验质量指标建模方法，包括以下步骤：
(1)在移动端点击播放HPD模式的视频和HLS模式的视频，在视频流量记录模块中记录这些视频的流量信息，同时在视频卡顿状况记录模块中记录视频的卡顿状况；
(2)训练用于视频模式分类的模型，包括：
21)对每一个视频，在视频传输模式标记模块中对其传输模式进行标记；
22)在每个视频的流量信息中记录下前3条流的平均开始时间间隔、所有流的平均开始时间间隔、视频块数与流数的比值；
23)使用每个视频在21)中的类别和在22)中的特征进行机器学习，训练出可以用于分类的模型；
(3)对每一种传输模式的视频，训练用于评价视频用户体验质量指标——卡顿情况的模型，包括：
31)在视频卡顿状况类别真实值分析模块中获得每个视频卡顿状况的类别真实值；
32)在用户体验质量指标分类特征提取模块中提取每个视频的流量信息中有用的网络特征，并使用统计特征对其进行扩展；
33)使用每个视频在31)中的类别和在32)中的特征进行特征选择；
34)使用每个视频在31)中的类别和在33)中的特征进行机器学习，训练出可以用于评价的模型；
(4)对每一种传输模式的视频，训练用于评价视频用户体验质量指标——清晰度情况的模型，包括：
41)在视频清晰度类别真实值提取模块中获得每个视频清晰度的类别真实值；
42)在用户体验质量指标分类特征提取模块中提取每个视频的流量信息中有用的网络特征，并使用统计特征对其进行扩展；
43)使用每个视频在41)中的类别和在42)中的特征进行特征选择；
44)使用每个视频在41)中的类别和在43)中的特征进行机器学习，训练出可以用于评价的模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711077314.1A CN107888579B (zh) | 2017-11-06 | 2017-11-06 | 一种非干扰式的移动视频用户体验质量指标建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711077314.1A CN107888579B (zh) | 2017-11-06 | 2017-11-06 | 一种非干扰式的移动视频用户体验质量指标建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107888579A CN107888579A (zh) | 2018-04-06 |
| CN107888579B true CN107888579B (zh) | 2020-06-09 |
Family
ID=61778760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711077314.1A Active CN107888579B (zh) | 2017-11-06 | 2017-11-06 | 一种非干扰式的移动视频用户体验质量指标建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107888579B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110958491A (zh) * | 2018-09-27 | 2020-04-03 | 中兴通讯股份有限公司 | 视频卡顿模型训练方法、预测方法、服务器及存储介质 |
| CN111107423A (zh) * | 2018-10-29 | 2020-05-05 | ***通信集团浙江有限公司 | 一种视频业务播放卡顿的识别方法和装置 |
| CN109905696B (zh) * | 2019-01-09 | 2020-12-01 | 浙江大学 | 一种基于加密流量数据的视频服务体验质量的识别方法 |
| CN110225417B (zh) * | 2019-05-09 | 2022-06-10 | 网宿科技股份有限公司 | 数据处理方法及服务器、检测卡顿的方法及服务器 |
| CN112203136B (zh) * | 2020-12-04 | 2021-03-30 | 武汉绿色网络信息服务有限责任公司 | 一种对加密流量视频进行清晰度预测的方法和装置 |
| CN113395602B (zh) * | 2021-06-25 | 2022-03-22 | 合肥工业大学 | 针对自适应点云视频流媒体中用户体验质量QoE的建模方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103888846A (zh) * | 2014-03-04 | 2014-06-25 | 浙江大学 | 基于QoE的无线视频流业务自适应速率控制方法 |
| CN106998322A (zh) * | 2017-02-20 | 2017-08-01 | 南京邮电大学 | 一种使用视频业务的平均意见分均值特征的流分类方法 |
| CN107071399A (zh) * | 2017-04-26 | 2017-08-18 | 华为技术有限公司 | 一种加密视频流的质量评估方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160366330A1 (en) * | 2015-06-11 | 2016-12-15 | Martin Paul Boliek | Apparatus for processing captured video data based on capture device orientation |
| WO2017127841A1 (en) * | 2016-01-21 | 2017-07-27 | Wizr Llc | Video processing |
-
2017
- 2017-11-06 CN CN201711077314.1A patent/CN107888579B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103888846A (zh) * | 2014-03-04 | 2014-06-25 | 浙江大学 | 基于QoE的无线视频流业务自适应速率控制方法 |
| CN106998322A (zh) * | 2017-02-20 | 2017-08-01 | 南京邮电大学 | 一种使用视频业务的平均意见分均值特征的流分类方法 |
| CN107071399A (zh) * | 2017-04-26 | 2017-08-18 | 华为技术有限公司 | 一种加密视频流的质量评估方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Machine Learning for Predicting QoE of Video;Y.T.Lin, E.M.R.Oliveira,et al;《IEEE ICC 2017 Communications QoS, Reliability, and Modeling Symposium》;20170731;全文 * |
| 无线视频流业务的OoE评估模型及其在传输控制中的应用;钱力言;《信息科技辑》;20170228;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107888579A (zh) | 2018-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107888579B (zh) | 一种非干扰式的移动视频用户体验质量指标建模方法 | |
| Ghadiyaram et al. | A subjective and objective study of stalling events in mobile streaming videos | |
| KR102082816B1 (ko) | 스트리밍 파일의 해상도 개선 방법 | |
| US11694358B2 (en) | Computer vision on broadcast video | |
| Liu et al. | Deriving and validating user experience model for DASH video streaming | |
| US9916866B2 (en) | Emotional timed media playback | |
| US8726304B2 (en) | Time varying evaluation of multimedia content | |
| Liu et al. | User experience modeling for DASH video | |
| CN107959863B (zh) | 一种视频审核方法及*** | |
| CN104683884A (zh) | 一种流媒体直播方法及*** | |
| CN104869430B (zh) | 一种视频倍速播放方法及装置 | |
| CN104486649B (zh) | 视频内容评级方法及装置 | |
| CN104735473B (zh) | 一种视频流播放的检测方法及装置 | |
| US10334302B2 (en) | Method and system for segment based recording | |
| CN108322775A (zh) | 媒体流传输期间在适配集合间的切换方法和装置 | |
| CN107835200B (zh) | 一种视频清晰度的选择方法、装置及电子设备 | |
| CN104144357B (zh) | 视频播放方法和*** | |
| CN106998322B (zh) | 一种使用视频业务的平均意见分均值特征的流分类方法 | |
| CN108737884B (zh) | 一种内容录制方法及其设备、存储介质、电子设备 | |
| CN105451099A (zh) | 视频码率调整方法和装置 | |
| WO2017107670A1 (zh) | 一种视频码率识别方法和装置 | |
| CN110620937B (zh) | 一种基于http的动态自适应加密视频流量识别方法 | |
| CN109376254A (zh) | 数据流的处理方法、装置、电子设备及可读存储介质 | |
| CN105871802A (zh) | 一种监控流媒体文件传输的方法、装置及*** | |
| CN104980817B (zh) | 一种视频流抽帧方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |