CN110225417A - 数据处理方法及服务器、检测卡顿的方法及服务器 - Google Patents

数据处理方法及服务器、检测卡顿的方法及服务器 Download PDF

Info

Publication number
CN110225417A
CN110225417A CN201910383473.7A CN201910383473A CN110225417A CN 110225417 A CN110225417 A CN 110225417A CN 201910383473 A CN201910383473 A CN 201910383473A CN 110225417 A CN110225417 A CN 110225417A
Authority
CN
China
Prior art keywords
caton
video file
video
sequence
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910383473.7A
Other languages
English (en)
Other versions
CN110225417B (zh
Inventor
王昱丹
陈文娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201910383473.7A priority Critical patent/CN110225417B/zh
Publication of CN110225417A publication Critical patent/CN110225417A/zh
Application granted granted Critical
Publication of CN110225417B publication Critical patent/CN110225417B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/6473Monitoring network processes errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种数据处理方法及服务器、检测卡顿的方法及服务器,其中,所述检测卡顿的方法包括:获取待检测视频文件的传输特征及视频播放信息;根据所述视频文件的传输特征及视频播放信息,确定与所述视频文件对应的第一输入特征;根据所述第一输入特征与预设卡顿检测模型,确定所述视频文件是否发生卡顿,其中,所述预设卡顿检测模型为根据样本视频文件的传输特征和播放特征建立的。本发明提供的技术方案,能够准确地检测视频播放过程中是否发生了卡顿的情况。

Description

数据处理方法及服务器、检测卡顿的方法及服务器
技术领域
本发明涉及互联网技术领域,特别涉及一种数据处理方法及服务器、检测卡顿的方法及服务器。
背景技术
随着互联网新媒体技术的更新、新媒体平台的扩大、新媒体内容的多元化发展以及智能终端的普及,应用于智能终端的移动点播短视频得到迅猛发展,逐渐成为用户愈发青睐的内容传播方式。为适应短视频的发展,以及为用户提供更好的视频播放体验,服务商需要随时对用户的使用满意度进行评估和改善以提升自己的竞争力。目前服务商对用户的使用满意度进行评估通常是评估用户的主观体验满意度,即体验质量(Quality ofExperience,简称QoE),通过提高用户体验质量可以提高自己的竞争力。由于影响用户体验质量的主要因素为视频播放过程中发生的卡顿,所以通过检测播放过程中是否发生卡顿可以有效对用户体验质量进行评估。
现有的检测卡顿的方法主要为基于平均码率的卡顿检测方法,具体可以包括:获取视频的平均码率,定时检测小时间粒度内累积的发送数据是否大于或等于平均码率与时间的乘积,若检测结果为是,则未发生卡顿;若检测结果为否,则表示发生卡顿。在该卡顿检测方法中,计算平均码率与时间的乘积时,为避免用户暂停行为导致的时间误差,可以将长时间客户端窗口为0的时间长度认为是用户暂停行为,并扣除时间长度。
然而,随着人们对用户隐私的重视,越来越多的服务商对视频内容进行加密传输,使得多数情况下难以解析到视频的码率信息,因此,也难以获取要用于检测卡顿的平均码率。并且,由于不同播放时刻下的视频码率是非固定的,每一时刻需要的播放量随码率变动,因此基于平均码率检测卡顿的结果与实际卡顿情况可能存在较大偏差,检测卡顿的结果不准确。
因此,目前亟需一种检测卡顿的方法,以更准确地检测视频播放过程中发生卡顿的情况,以供服务商及时改善卡顿问题,提高用户体验质量。
发明内容
本申请的目的在于提供一种数据处理方法及服务器、检测卡顿的方法及服务器,能够准确地检测视频播放过程中是否发生了卡顿的情况。
为实现上述目的,本申请一方面提供一种数据处理方法,包括:
获取视频文件的数据传输信息及视频播放信息;所述数据传输信息包括:一个传输请求对应的传输特征以及卡顿标识;所述卡顿标识用于表征所述视频文件是否发生卡顿;
根据所述视频播放信息确定所述视频文件的播放特征;
根据所述传输特征和所述播放特征确定所述视频文件的输入特征,根据所述输入特征与所述视频文件的卡顿标识的对应关系建立卡顿检测模型。
为实现上述目的,本申请另一方面还提供一种检测卡顿的方法,包括:
获取待检测视频文件的传输特征及视频播放信息;
根据所述待检测视频文件的传输特征及视频播放信息,确定与所述待检测视频文件对应的第一输入特征;
根据所述第一输入特征与预设卡顿检测模型,确定所述待检测视频文件是否发生卡顿;,其中,所述预设卡顿检测模型为根据样本视频文件的传输特征和播放特征建立的。
为实现上述目的,本申请另一方面还提供一种数据处理服务器,包括:信息获取单元、播放特征提取单元和卡顿检测模型建立单元;
所述信息获取单元,用于获取视频文件的数据传输信息及视频播放信息;所述数据传输信息包括:一个传输请求对应的传输特征以及卡顿标识;所述卡顿标识用于表征所述视频文件是否发生卡顿;
所述播放特征提取单元,用于根据所述视频播放信息确定所述视频文件的播放特征;
所述卡顿检测模型建立单元,用于根据所述传输特征和所述播放特征确定所述视频文件的输入特征,根据所述输入特征与所述视频文件的卡顿标识的对应关系建立卡顿检测模型。
为实现上述目的,本申请另一方面还提供一种检测卡顿的服务器,包括:文件信息获取单元、输入特征确定单元和检测结果确定单元;
所述文件信息获取单元,用于获取待检测视频文件的传输特征及视频播放信息;所述用于获取视频播放信息具体包括:用于按照预设时间粒度提取所述待检测视频文件的平均速率;所述待检测视频文件根据播放时间按照所述预设时间粒度划分为包含多个片段的一个序列;相应地,所述提取的平均速率组成一个平均速率序列;
所述输入特征确定单元,用于根据所述待检测视频文件的数据传输信息及视频播放信息,确定与所述待检测视频文件对应的第一输入特征;
所述检测结果确定单元,用于根据所述第一输入特征与预设卡顿检测模型,确定所述待检测视频文件是否发生卡顿。
为实现上述目的,本申请另一方面还提供一种服务器包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述方法实施方案中执行的方法。
由上可见,本申请提供的技术方案,可以采用机器学习方法建立卡顿检测模型,建立的卡顿检测模型所需的输入特征是从视频文件的数据传输信息和视频文件播放信息中获取的多种特征,可以更全面地反映视频文件传输和播放过程中服务器、客户端和网络的情况,因此,基于上述输入特征建立的卡顿检测模型在进行卡顿检测时,可以保证卡顿检测的准确性。同时,提取的部分输入特征是根据按照预设时间粒度提取的播放信息来确定的,不受到整个视频文件时长的影响,可以更准确地体现视频的实际播放情况。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书实施例中一种数据处理方法的流程图;
图2是本说明书实施例中一种检测卡顿的方法的流程图;
图3是本说明书实施例中一种数据处理服务器的模块图;
图4是本说明书实施例中一种检测卡顿的服务器的模块图;
图5是本发明实施例中服务器的结构示意图;
图6是本发明实施例中计算机终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本申请提供一种数据处理方法。所述数据处理方法可以实现建立用于检测视频文件播放过程中是否卡顿的卡顿检测模型。所述数据处理方法可以由服务商的终端执行,即可以由视频文件的发送端执行。
图1是本说明书实施例中一种数据处理方法的流程图。请参阅图1,本申请提供的数据处理方法可以包括以下步骤。
S11:获取视频文件的数据传输信息及视频播放信息。
服务商的发送端可以向用户的接收端发送视频文件。视频传输过程中可以生成数据传输信息。
在一个实施方式中,所述数据传输信息可以包括:一个传输请求对应的传输特征以及卡顿标识。
具体地,一个传输请求可以对应一条传输日志,可以获取各传输日志内的传输特征以及卡顿标识。
所述传输特征可以包括一个或多个特征,所述一个或多个特征可以用于表征视频文件在一次传输请求中的传输指标。例如,传输特征“传输字节数”可以用于表征该视频文件在一次传输请求中传输的总字节数这一指标。
在一个实施方式中,所述传输特征可以包括下述中的至少一种:传输字节数、重传字节数、重传比、虚假重传个数、初始往返时延、最小往返时延、平均往返时延、最大往返时延、最小往返时延波动、平均往返时延波动、最大往返时延波动、最小拥塞窗口、平均拥塞窗口、最大拥塞窗口、最小接收窗口、平均接收窗口、最大接收窗口、总响应时长、接收窗口持续时长、LOSS状态持续时长、发送缓存受限总时长、持续发包总时长、超时重传连续触发最大次数、TCP传输状态、最大乱序值、首屏数据大小、首屏加载时长、建立连接时长、首包时长、进入DISORDER状态次数、进入CWR状态次数、进入RECOVERY状态次数、进入LOSS状态次数。
上述的传输特征可以有效反映短视频的传输情况。例如,首屏数据大小、首屏加载时长等特征可以反映首屏质量、传输速度等;最小往返时延波动、平均往返时延波动、最大往返时延波动、最小拥塞窗口、平均拥塞窗口、最大拥塞窗口等传输特征可以体现网络拥塞程度;最小接收窗口、平均接收窗口、最大接收窗口、总响应时长、接收窗口持续时长等特征可以体现接收端窗口情况;传输字节数、重传字节数、重传比、虚假重传个数等传输特征可以体现丢包情况。
获取的所述传输特征为多个特征,可以更全面地体现短视频的实际传输情况。
所述卡顿标识可以用于表征客户端播放所述视频文件时是否发生卡顿。所述卡顿标识可以采用字符来表示。例如,可以用字符“1”表示发生了卡顿,可以用字符“0”表示未发生卡顿。
所述用户的接收端可以接收并播放所述视频文件。所述用户接收端接收并播放所述视频文件时,所述发送端可以获取视频播放信息。
在一个实施方式中,所述获取所述视频文件的视频播放信息可以包括:按照预设时间粒度提取的播放所述视频文件的平均速率。在该实施方式中,所述视频文件可以根据播放时间按照所述预设时间粒度划分为包含多个片段的一个序列。相应地,所述提取的平均速率可以组成一个平均速率序列。一个视频文件可以对应一个平均速率序列。
通过将所述视频文件根据播放时间按照所述预设时间粒度划分为包含多个片段的一个序列,可以使得提取的平均速率为预设时间粒度的平均速率,平均速率可以体现出短时间内的播放情况而不会受到视频文件总时长的影响。因此,通过上述方法提取的平均速率可以更准确地体现视频的实际播放情况。
例如,一个视频文件的播放时间为10秒,预设时间粒度为500毫秒,那么可以获取每500毫秒播放的平均速率,总计可以获取20个平均速率。所述播放的视频文件可以按照每500毫秒划分为20个片段,所述播放的视频文件可以是包含所述20个片段的序列。该序列中20个片段分别提取的平均速率可以组成一个平均速率序列。所述组成的平均速率序列与所述视频文件是一一对应的。
S12:根据所述视频播放信息确定所述视频文件的播放特征。
根据所述视频播放信息,可以确定所述视频文件的播放特征。所述视频播放特征可以从与该视频文件对应的平均速率序列中提取。例如,序列中第一个粒度的传输速率这一播放特征的确定方法可以为:获取所述平均速率序列中的第一个平均速率的值。
在一个实施方式中,所述视频播放特征可以包括下述中的至少一种:序列中有效粒度个数、序列中第一个粒度的传输速率、序列中最小传输速率、序列中平均传输速率、序列中最大传输速率、序列中传输速率标准差、序列中各小粒度传输速率平均累积差值、序列中客户端接收窗口大小为0的粒度数、序列中客户端接收窗口大小为0的最大连续粒度数、序列中客户端接收窗口大小为0的总次数、序列中应用层无数据的粒度数、序列中应用层无数据的最大连续粒度数、序列中应用层无数据的总次数。
S13:根据所述传输特征和所述播放特征确定所述视频文件的输入特征,根据所述输入特征与所述视频文件的卡顿标识的对应关系建立卡顿检测模型。
可以根据所述传输特征和所述播放特征确定所述视频文件的输入特征。
在一个实施方式中,可以将所述传输特征和所述播放特征中的部分或全部特征作为所述视频文件的输入特征。
在一个实施方式中,根据所述输入特征与所述视频文件的卡顿标识的对应关系可以建立卡顿检测模型包括:将所述输入特征作为输入样本,将所述卡顿标识作为输出样本,采用机器学习算法对所述输入样本和输出样本进行训练得到所述卡顿检测模型。
在一个实施方式中,所述机器学***衡性,例如,一个小时的视频文件中,卡顿的样本量远远小于不卡顿的样本量,那么这个用于训练的样本的集合就是严重的非平衡样本集合。采用随机森林算法可以有效避免样本非平衡性导致的建立的模型不准确的问题。
在一个实施方式中,在利用机器学习算法对所述输入样本和输出样本进行训练前,所述方法还可以包括:执行预处理操作。
在一个实施方式中,所述预处理操作可以包括:特征预处理和学习算法预处理。
所述特征预处理可以用于对所述输入特征进行预处理。具体可以包括:去除噪声样本、去除缺失值样本、去除包含异常值的样本和/或特征规范化。其中,去除噪声样本可以采用离群点检测的方法实现。通过所述特征预处理,可以提高输入样本的可靠性,提高卡顿检测模型的准确度。
所述学习算法预处理可以用于预先设置所述学习算法的参数。具体可以包括:特征维度变换以及特征选择。所述特征维度变换可以通过主成分分析变换方法或线性判别分析方法是实现。通过上述特征维度变换,可以将所述输入特征从高维度数据变换为低维度数据。所述特征选择可以是从一组特征中去除冗余或不相关的特征,实现数据降维。通过所述学习算法预处理,可以降低学习算法的难度以及卡顿检测模型的复杂度,提高所述卡顿检测模型的检测效率。
在一个实施方式中,所述数据传输信息还可以包括:每预设时长内未发送数据原因。若所述预设时长内发送了数据,则所述未发送数据原因可以为空值。在一个实施方式中,所述未发送数据原因可以包括:应用层无数据和客户端接收窗口大小为0。
在一个实施方式中,所述未发送数据的原因可以采用字符来进行标识。例如,可以采用标识“+”标识应用层无数据。可以采用标识“-”标识客户端接收窗口大小为0。
上述方法实施例中,数据传输信息可以利用TCP传输协议来获取,获取的多个传输特征可以全面有效地体现视频实际传输情况,从按照预设时间粒度划分为包含多个片段的一个序列的视频文件中提取的平均速率序列可以准确反映视频文件的实际播放情况,利用上述特征建立的卡顿检测模型可以准确地检测视频文件是否发生卡顿。
本申请实施例还提供一种检测卡顿的方法。所述检测卡顿的方法可以利用本说明书实施例提供的数据处理方法所建立的卡顿检测模型来实现。
图2是本说明书实施例中一种检测卡顿的方法的流程图。请参阅图2,所述检测卡顿的方法可以包括以下步骤。
S21:获取待检测视频文件的传输特征及视频播放信息。
在一个实施方式中,所述传输特征可以包括一个或多个特征,所述一个或多个特征可以用于表征待检测视频文件传输过程中的传输指标。
在一个实施方式中,所述获取所述待检测视频文件的视频播放信息可以包括:按照预设时间粒度提取的播放所述待检测视频文件的平均速率。在该实施方式中,所述待检测视频文件可以根据播放时间按照所述预设时间粒度划分为包含多个片段的一个序列。相应地,所述提取的平均速率可以组成一个平均速率序列。一个视频文件可以对应一个平均速率序列。
S22:根据所述待检测视频文件的传输特征及视频播放信息,确定与所述待检测视频文件对应的第一输入特征。
在一个实施方式中,所述根据所述待检测视频文件的数据传输信息及视频播放信息,确定与所述待检测视频文件对应的第一输入特征,可以包括:根据所述待检测视频文件的视频播放信息确定与所述视频文件对应的播放特征,将部分或全部所述传输特征与播放特征作为所述第一输入特征。
进一步地,所述将部分所述传输特征与所述播放特征作为所述第一输入特征可以包括:将预设卡顿检测模型所需的传输特征和播放特征作为所述第一输入特征;所述预设卡顿检测模型所需的传输特征和部分特征可以是部分或全部所述传输特征和播放特征。
例如,所述获取到的传输特征可以包括:“传输字节数、重传字节数、重传比、虚假重传个数、初始往返时延、首屏加载时长”。所述获取到的播放特征可以包括:“序列中第一个粒度的传输速率、序列中最小传输速率、序列中平均传输速率”。假设预设卡顿模型所需的特征包括:传输字节数、重传比、虚假重传个数、初始往返时延、首屏加载时长、序列中第一个粒度的传输速率、序列中最小传输速率、序列中平均传输速率、序列中最大传输速率。那么,可以将特征“传输字节数、重传比、虚假重传个数、初始往返时延、首屏加载时长、序列中第一个粒度的传输速率、序列中最小传输速率、序列中平均传输速率”作为第一输入特征。
S23:根据所述第一输入特征与预设卡顿检测模型,确定所述待检测视频文件是否发生卡顿。
根据所述第一输入特征与预设卡顿检测模型,可以确定所述待检测视频文件是否发生卡顿。具体地,将所述第一输入特征作为所述预设卡顿检测模型的输入,得到第一卡顿标识,根据所述第一卡顿标识确定所述待检测视频文件是否发生卡顿。
所述第一卡顿标识可以用于表示所述待检测视频文件是否发生了卡顿。例如,当第一卡顿标识为“1”时,可以表示所述待检测视频文件发生了卡顿;当第一卡顿标识为“0”时,可以表示所述待检测视频文件没有发生卡顿。
预设卡顿检测模型可以采用随机森林算法建立。
所述预设卡顿检测模型可以采用本说明书中数据处理方法实现。
上述方法实施例中,利用本说明书中建立的卡顿检测模型可以及时获取与视频文件关联的传输特征和播放特征进行并准确地确定视频文件是否发生卡顿。
在另一个实施方式中,当所述第一输入特征中包含序列中第一个粒度的传输速率时,在根据所述第一输入特征与预设卡顿检测模型确定所述待检测视频文件是否发生卡顿之前,所述方法还可以包括:根据所述序列中第一个粒度的传输速率对所述待检测视频文件进行预检测,得到预检测结果。所述预检测结果包括:不存在卡顿和未知是否卡顿。
当所述预检测结果为未知是否卡顿时,可以执行所述步骤S23。
所述根据所述第一输入特征中的序列中第一个粒度的传输速率对所述待检测视频文件进行预检测,得到预检测结果,具体可以包括:将所述第一输入特征中的序列中第一个粒度的传输速率与第一预设值进行比较;当比较结果为第一个粒度的传输速率大于或等于第一预设值时,所述预检测结果可以为不存在卡顿;或者,当比较结果为第一个粒度的传输速率小于第一预设值时,所述预检测结果可以为未知是否卡顿。所述第一预设值可以根据实际需要进行设置,例如可以设置为2000KB/s。
由于序列中第一个粒度的传输速率这一特征与视频是否卡顿的关联性较强,可以利用该特征进行预检测,若序列中第一个粒度的传输速率大于或等于第一预设值,则可以认为视频不会发生卡顿。利用该特征进行预测检测,可以大大减少利用卡顿检测模型进行卡顿检测的数据量,可以大大提高卡顿检测的效率。
在另一个实施方式中,当确定所述待检测视频文件发生了卡顿时,所述检测卡顿的方法还可以包括:根据所述第一输入特征以及预设的输入特征与卡顿因素的对应关系,确定所述待检测视频文件发生卡顿的原因。具体地,可以根据预设的输入特征与卡顿因素的对应关系,确定与所述第一输入特征对应的卡顿因素,所述确定的卡顿因素即为所述待检测视频文件发生卡顿的原因。
在一个实施方式中,所述预设的输入特征与卡顿因素的对应关系可以包括:
输入特征中应用层无数据时长占请求总时长比例大于第一预设比例值,则卡顿因素为应用层问题;和/或,
输入特征中客户端接收窗口大小为0时长占请求总时长比例大于第二预设比例值,则卡顿因素为客户端问题;和/或,
输入特征中平均往返时延大于时延预设值、LOSS状态持续时长大于预设时长、重传字节数占传输字节数比例大于第三比例值和/或超时重传时长占请求总时长比例大于第四比例值,则卡顿因素为网络问题。
在上述实施方式中,当确定所述待检测视频文件发生了卡顿时,通过预设的输入特征与卡顿因素的对应关系,可以确定所述待检测视频文件发生卡顿的原因,从而可以方便服务商采取相应的改善措施,以提高用户体验。
本申请实施例还提供一种数据处理服务器,所述数据处理服务器可以为服务商的服务器。所述数据处理服务器可以用于建立卡顿检测模型。
图3是本说明书实施例中一种数据处理服务器的模块图。请参阅图3,所述数据处理服务器可以包括:信息获取单元、播放特征提取单元和卡顿检测模型建立单元。其中,
所述信息获取单元,可以用于获取视频文件的数据传输信息及视频播放信息。所述数据传输信息可以包括:一个传输请求对应的传输特征以及卡顿标识。所述卡顿标识可以用于表征所述视频文件是否发生卡顿。
所述播放特征提取单元,可以用于根据所述视频播放信息确定所述视频文件的播放特征。
所述卡顿检测模型建立单元,可以用于根据所述传输特征和所述播放特征确定所述视频文件的输入特征,根据所述输入特征与所述视频文件的卡顿标识的对应关系建立卡顿检测模型。
本申请实施例还提供一种检测卡顿的服务器,所述检测卡顿的服务器可以为服务商的服务器。所述检测卡顿的服务器可以用于实时检测播放的视频文件是否发生了卡顿。
图4是本说明书实施例中一种检测卡顿的服务器的模块图。请参阅图4,所述检测卡顿的服务器可以包括:文件信息获取单元、输入特征确定单元和检测结果确定单元。其中,
所述文件信息获取单元,可以用于获取待检测视频文件的传输特征及视频播放信息。其中,所述用于获取视频播放信息具体可以包括:用于按照预设时间粒度提取所述待检测视频文件的平均速率;所述待检测视频文件可以根据播放时间按照所述预设时间粒度划分为包含多个片段的一个序列;相应地,所述提取的平均速率可以组成一个平均速率序列。
所述输入特征确定单元,可以用于根据所述待检测视频文件的数据传输信息及视频播放信息,确定与所述待检测视频文件对应的第一输入特征。
所述检测结果确定单元,可以用于根据所述第一输入特征与预设卡顿检测模型,确定所述待检测视频文件是否发生卡顿。
在一个实施方式中,所述检测卡顿的服务器还可以包括:预检测单元。当所述输入特征确定单元确定的第一输入特征中包含所述待检测视频文件对应序列中第一个粒度的传输速率时,所述预检测单元可以用于根据所述序列中第一个粒度的传输速率对所述待检测视频文件进行预检测,得到预检测结果。
在一个实施方式中,所述检测卡顿的服务器还可以包括:卡顿因素确定单元。当所述检测结果确定单元确定所述待检测视频文件发生了卡顿时,所述卡顿因素确定单元可以用于根据所述第一输入特征以及预设的输入特征与卡顿因素的对应关系,确定所述待检测视频文件发生卡顿的原因。
请参阅图5,本申请还提供一种服务器,所述服务器包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,可以实现上述方法实施例执行的方法。
请参阅图6,在本申请中,上述实施例中的技术方案可以应用于如图6所示的计算机终端10上。计算机终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解,图6所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
具体地,在本申请中,上述的服务器的部署方法可以作为计算机程序存储于上述的存储器104中,所述存储器104可以与处理器102耦合,那么当处理器102执行所述存储器104中的计算机程序时,便可以实现上述的服务器的部署方法中的各个步骤。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
由上可见,本申请提供的技术方案中,可以采用机器学习的方法建立卡顿检测模型,建立的卡顿检测模型所需的输入特征是从视频文件的数据传输信息和视频文件播放信息中获取的多种特征,可以更全面地反映视频文件传输和播放过程中服务器、客户端和网络的情况,因此,基于上述输入特征建立的卡顿检测模型在进行卡顿检测时,可以保证卡顿检测的准确性。同时,提取的部分输入特征是根据按照预设时间粒度提取的播放信息来确定的,不受到整个视频文件时长的影响,可以更准确地体现视频的实际播放情况。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (16)

1.一种数据处理方法,其特征在于,包括:
获取视频文件的数据传输信息及视频播放信息;所述数据传输信息包括:一个传输请求对应的传输特征以及卡顿标识;所述卡顿标识用于表征所述视频文件是否发生卡顿;
根据所述视频播放信息确定所述视频文件的播放特征;
根据所述传输特征和所述播放特征确定所述视频文件的输入特征,根据所述输入特征与所述视频文件的卡顿标识的对应关系建立卡顿检测模型。
2.根据权利要求1所述的方法,其特征在于,获取所述视频文件的视频播放信息包括:按照预设时间粒度提取的播放所述视频文件的平均速率;所述视频文件根据播放时间按照所述预设时间粒度划分为包含多个片段的一个序列;相应地,所述提取的平均速率组成一个平均速率序列。
3.根据权利要求2所述的方法,其特征在于,所述视频播放特征包括下述中的至少一种:序列中有效粒度个数、序列中第一个粒度的传输速率、序列中最小传输速率、序列中平均传输速率、序列中最大传输速率、序列中传输速率标准差、序列中各小粒度传输速率平均累积差值、序列中客户端接收窗口大小为0的粒度数、序列中客户端接收窗口大小为0的最大连续粒度数、序列中客户端接收窗口大小为0的总次数、序列中应用层无数据的粒度数、序列中应用层无数据的最大连续粒度数、序列中应用层无数据的总次数。
4.根据权利要求1所述的方法,其特征在于,所述根据所述输入特征与所述视频文件的卡顿标识的对应关系建立卡顿检测模型包括:将所述输入特征作为输入样本,将所述卡顿标识作为输出样本,采用机器学习算法对所述输入样本和输出样本进行训练得到所述卡顿检测模型。
5.根据权利要求4所述的方法,其特征在于,在利用机器学习算法对所述输入样本和输出样本进行训练前,所述方法还包括:执行预处理操作;
所述预处理操作包括:特征预处理和学习算法预处理;
所述特征预处理用于对所述输入特征进行预处理,包括:去除噪声样本、去除缺失值样本、去除包含异常值的样本和/或特征规范化;
所述学习算法预处理用于预先设置所述学习算法的参数,包括:特征维度变换以及特征选择。
6.一种检测卡顿的方法,其特征在于,包括:
获取待检测视频文件的传输特征及视频播放信息;
根据所述待检测视频文件的传输特征及视频播放信息,确定与所述待检测视频文件对应的第一输入特征;
根据所述第一输入特征与预设卡顿检测模型,确定所述待检测视频文件是否发生卡顿,其中,所述预设卡顿检测模型为根据样本视频文件的传输特征和播放特征建立的。
7.根据权利要求6所述的方法,其特征在于,所述预设卡顿检测模型为根据样本视频文件的传输特征和播放特征建立的包括:
获取样本视频文件的数据传输信息及视频播放信息;所述数据传输信息包括:一个传输请求对应的传输特征以及卡顿标识;所述卡顿标识用于表征所述样本视频文件是否发生卡顿;
根据所述样本视频文件的视频播放信息确定所述样本视频文件的播放特征;
根据所述样本视频文件的传输特征和播放特征确定所述样本视频文件的样本输入特征,根据所述样本输入特征与所述样本视频文件的卡顿标识的对应关系建立所述预设卡顿检测模型。
8.根据权利要求7所述的方法,其特征在于,所述获取所述待检测视频文件的视频播放信息包括:按照预设时间粒度提取所述待检测视频文件的平均速率;所述待检测视频文件根据播放时间按照所述预设时间粒度划分为包含多个片段的一个序列;相应地,所述提取的平均速率组成一个平均速率序列。
9.根据权利要求8所述的方法,其特征在于,当所述第一输入特征包含序列中第一个粒度的传输速率时,在根据所述第一输入特征与预设卡顿检测模型确定所述待检测视频文件是否发生卡顿之前,所述方法还包括:根据所述序列中第一个粒度的传输速率对所述待检测视频文件进行预检测,得到预检测结果;所述预检测结果包括:不存在卡顿和未知是否卡顿。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第一输入特征中的序列中第一个粒度的传输速率对所述待检测视频文件进行预检测,得到预检测结果,具体包括:
将所述第一输入特征中的序列中第一个粒度的传输速率与第一预设值进行比较;
当比较结果为大于或等于时,所述预检测结果为不存在卡顿;或者,当比较结果为小于时,所述预检测结果为未知是否卡顿。
11.根据权利要求8所述的方法,其特征在于,当确定所述待检测视频文件发生了卡顿时,所述检测卡顿的方法还包括:根据所述第一输入特征以及预设的输入特征与卡顿因素的对应关系,确定所述待检测视频文件发生卡顿的原因。
12.一种数据处理服务器,其特征在于,包括:信息获取单元、播放特征提取单元和卡顿检测模型建立单元;
所述信息获取单元,用于获取视频文件的数据传输信息及视频播放信息;所述数据传输信息包括:一个传输请求对应的传输特征以及卡顿标识;所述卡顿标识用于表征所述视频文件是否发生卡顿;
所述播放特征提取单元,用于根据所述视频播放信息确定所述视频文件的播放特征;
所述卡顿检测模型建立单元,用于根据所述传输特征和所述播放特征确定所述视频文件的输入特征,根据所述输入特征与所述视频文件的卡顿标识的对应关系建立卡顿检测模型。
13.一种检测卡顿的服务器,其特征在于,包括:文件信息获取单元、输入特征确定单元和检测结果确定单元;
所述文件信息获取单元,用于获取待检测视频文件的传输特征及视频播放信息;所述用于获取视频播放信息具体包括:用于按照预设时间粒度提取所述待检测视频文件的平均速率;所述待检测视频文件根据播放时间按照所述预设时间粒度划分为包含多个片段的一个序列;相应地,所述提取的平均速率组成一个平均速率序列;
所述输入特征确定单元,用于根据所述待检测视频文件的数据传输信息及视频播放信息,确定与所述待检测视频文件对应的第一输入特征;
所述检测结果确定单元,用于根据所述第一输入特征与预设卡顿检测模型,确定所述待检测视频文件是否发生卡顿。
14.根据权利要求13所述的服务器,其特征在于,还包括:预检测单元,用于当所述输入特征确定单元确定的第一输入特征中包含所述待检测视频文件对应序列中第一个粒度的传输速率时,根据所述序列中第一个粒度的传输速率对所述待检测视频文件进行预检测,得到预检测结果。
15.根据权利要求13所述的服务器,其特征在于,还包括:卡顿因素确定单元,用于当所述检测结果确定单元确定所述待检测视频文件发生了卡顿时,根据所述第一输入特征以及预设的输入特征与卡顿因素的对应关系,确定所述待检测视频文件发生卡顿的原因。
16.一种服务器,其特征在于,所述服务器包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至11中任一权利要求所述的方法。
CN201910383473.7A 2019-05-09 2019-05-09 数据处理方法及服务器、检测卡顿的方法及服务器 Expired - Fee Related CN110225417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910383473.7A CN110225417B (zh) 2019-05-09 2019-05-09 数据处理方法及服务器、检测卡顿的方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910383473.7A CN110225417B (zh) 2019-05-09 2019-05-09 数据处理方法及服务器、检测卡顿的方法及服务器

Publications (2)

Publication Number Publication Date
CN110225417A true CN110225417A (zh) 2019-09-10
CN110225417B CN110225417B (zh) 2022-06-10

Family

ID=67820711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910383473.7A Expired - Fee Related CN110225417B (zh) 2019-05-09 2019-05-09 数据处理方法及服务器、检测卡顿的方法及服务器

Country Status (1)

Country Link
CN (1) CN110225417B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111010617A (zh) * 2019-11-05 2020-04-14 网宿科技股份有限公司 一种传输质量检测方法、***及设备
CN111031403A (zh) * 2019-11-05 2020-04-17 网宿科技股份有限公司 一种卡顿检测方法、***及设备
CN111263225A (zh) * 2020-01-08 2020-06-09 恒安嘉新(北京)科技股份公司 视频卡顿预测方法、装置、计算机设备及存储介质
CN111405327A (zh) * 2020-04-03 2020-07-10 广州市百果园信息技术有限公司 网络带宽预测模型训练方法、视频数据播放方法及装置
CN111683273A (zh) * 2020-06-02 2020-09-18 中国联合网络通信集团有限公司 视频卡顿信息的确定方法及装置
CN112423096A (zh) * 2020-11-03 2021-02-26 上海哔哩哔哩科技有限公司 播放优化方法及***
CN112511818A (zh) * 2020-11-24 2021-03-16 上海哔哩哔哩科技有限公司 视频播放质量检测方法、装置
CN112566152A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 一种卡顿预测的方法、数据处理的方法以及相关装置
CN112583801A (zh) * 2020-12-02 2021-03-30 张仕文 基于大数据的网络异常行为检测***及其方法
CN113038163A (zh) * 2021-03-26 2021-06-25 百果园技术(新加坡)有限公司 用户体验模型训练方法、短视频用户体验评估方法及装置
CN113055745A (zh) * 2021-03-30 2021-06-29 脸萌有限公司 视频播放的处理方法、装置、设备及存储介质
CN113098782A (zh) * 2021-03-22 2021-07-09 武汉大学 一种网络拥塞的控制方法和计算机设备
CN113395512A (zh) * 2021-05-27 2021-09-14 北京达佳互联信息技术有限公司 卡顿检测方法、装置、卡顿检测服务器及存储介质
CN114079654A (zh) * 2022-01-05 2022-02-22 荣耀终端有限公司 数据重传方法、***及相关装置
CN114401447A (zh) * 2021-12-20 2022-04-26 北京字节跳动网络技术有限公司 一种视频卡顿预测方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803951A (zh) * 2015-11-26 2017-06-06 德科仕通信(上海)有限公司 Hls直播卡顿故障诊断方法
CN107690077A (zh) * 2017-09-05 2018-02-13 北京京东尚科信息技术有限公司 监测视频直播卡顿的方法和装置
CN107888579A (zh) * 2017-11-06 2018-04-06 浙江大学 一种非干扰式的移动视频用户体验质量指标建模方法
CN108696403A (zh) * 2018-03-23 2018-10-23 中国科学技术大学 一种基于网络流特征构造学习的加密视频QoE评测方法
CN109391847A (zh) * 2017-08-08 2019-02-26 中国电信股份有限公司 流媒体卡顿的监测方法及监测装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803951A (zh) * 2015-11-26 2017-06-06 德科仕通信(上海)有限公司 Hls直播卡顿故障诊断方法
CN109391847A (zh) * 2017-08-08 2019-02-26 中国电信股份有限公司 流媒体卡顿的监测方法及监测装置
CN107690077A (zh) * 2017-09-05 2018-02-13 北京京东尚科信息技术有限公司 监测视频直播卡顿的方法和装置
CN107888579A (zh) * 2017-11-06 2018-04-06 浙江大学 一种非干扰式的移动视频用户体验质量指标建模方法
CN108696403A (zh) * 2018-03-23 2018-10-23 中国科学技术大学 一种基于网络流特征构造学习的加密视频QoE评测方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112566152B (zh) * 2019-09-26 2022-04-29 华为技术有限公司 一种卡顿预测的方法、数据处理的方法以及相关装置
CN112566152A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 一种卡顿预测的方法、数据处理的方法以及相关装置
CN111010617B (zh) * 2019-11-05 2021-07-09 网宿科技股份有限公司 一种传输质量检测方法、***及设备
CN111031403A (zh) * 2019-11-05 2020-04-17 网宿科技股份有限公司 一种卡顿检测方法、***及设备
CN111010617A (zh) * 2019-11-05 2020-04-14 网宿科技股份有限公司 一种传输质量检测方法、***及设备
CN111031403B (zh) * 2019-11-05 2022-01-18 网宿科技股份有限公司 一种卡顿检测方法、***及设备
WO2021088174A1 (zh) * 2019-11-05 2021-05-14 网宿科技股份有限公司 一种传输质量检测方法、***及设备
CN111263225A (zh) * 2020-01-08 2020-06-09 恒安嘉新(北京)科技股份公司 视频卡顿预测方法、装置、计算机设备及存储介质
CN111405327A (zh) * 2020-04-03 2020-07-10 广州市百果园信息技术有限公司 网络带宽预测模型训练方法、视频数据播放方法及装置
CN111683273A (zh) * 2020-06-02 2020-09-18 中国联合网络通信集团有限公司 视频卡顿信息的确定方法及装置
CN112423096A (zh) * 2020-11-03 2021-02-26 上海哔哩哔哩科技有限公司 播放优化方法及***
CN112511818A (zh) * 2020-11-24 2021-03-16 上海哔哩哔哩科技有限公司 视频播放质量检测方法、装置
CN112583801A (zh) * 2020-12-02 2021-03-30 张仕文 基于大数据的网络异常行为检测***及其方法
CN113098782A (zh) * 2021-03-22 2021-07-09 武汉大学 一种网络拥塞的控制方法和计算机设备
CN113038163A (zh) * 2021-03-26 2021-06-25 百果园技术(新加坡)有限公司 用户体验模型训练方法、短视频用户体验评估方法及装置
CN113038163B (zh) * 2021-03-26 2023-06-23 百果园技术(新加坡)有限公司 用户体验模型训练方法、短视频用户体验评估方法及装置
CN113055745A (zh) * 2021-03-30 2021-06-29 脸萌有限公司 视频播放的处理方法、装置、设备及存储介质
CN113055745B (zh) * 2021-03-30 2023-05-16 脸萌有限公司 视频播放的处理方法、装置、设备及存储介质
CN113395512A (zh) * 2021-05-27 2021-09-14 北京达佳互联信息技术有限公司 卡顿检测方法、装置、卡顿检测服务器及存储介质
CN113395512B (zh) * 2021-05-27 2023-02-28 北京达佳互联信息技术有限公司 卡顿检测方法、装置、卡顿检测服务器及存储介质
CN114401447A (zh) * 2021-12-20 2022-04-26 北京字节跳动网络技术有限公司 一种视频卡顿预测方法、装置、设备和介质
CN114079654A (zh) * 2022-01-05 2022-02-22 荣耀终端有限公司 数据重传方法、***及相关装置

Also Published As

Publication number Publication date
CN110225417B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN110225417A (zh) 数据处理方法及服务器、检测卡顿的方法及服务器
CN105024872B (zh) 网络性能测试的方法及装置
US8122124B1 (en) Monitoring performance and operation of data exchanges
CN104410692B (zh) 一种用于重复文件上传的方法和***
CN101577631B (zh) 评价用户体验质量的方法、***及网络装置
CN110351198B (zh) 一种流量调节方法、数据传输***、存储介质及设备
CN105451260B (zh) 网络请求方法、网络波动性衡量方法及装置
JP2007124561A (ja) データ圧縮方法及び圧縮データ送信方法
CN110046794A (zh) 网络质量的评估方法、装置、计算机设备和存储介质
US20130007274A1 (en) Method for Analyzing Browsing and Device for Implementing the Method
US8868646B2 (en) Apparatus and method for generating virtual game clients
CN103902446A (zh) 一种网络服务器自动化测试的方法和装置
CN110149299A (zh) 一种视频优化方法、装置和***、终端和网络设备
CN106202083A (zh) 用于web页面的资源打包***、方法及装置
Luo et al. Design and Implementation of TCP Data Probes for Reliable and Metric-Rich Network Path Monitoring.
CN109257244A (zh) 用户行为数据的传输控制方法、装置及***
CN109982068A (zh) 合成视频质量评估方法、装置、设备及介质
US20200274909A1 (en) Method and apparatus for adaptive streaming based on hybrid tcp and udp in multiple narrowband wireless communication environment
CN111147330A (zh) 络质量评估方法、装置、存储介质和处理器
US20030081560A1 (en) Load test system for video data distributing server
CN103580951B (zh) 多个信息***的输出比较方法、测试迁移辅助方法及***
CN105721231B (zh) 一种业务质量感知探测方法及装置
WO2015132222A1 (en) Method to determine re-buffering events in video sessions
CN103237314A (zh) 业务质量评测方法和装置
CN106972986B (zh) Idc机房网络质量的检测方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220610

CF01 Termination of patent right due to non-payment of annual fee