CN112953922B - 一种自适应流媒体控制方法、***、计算机设备及应用 - Google Patents

一种自适应流媒体控制方法、***、计算机设备及应用 Download PDF

Info

Publication number
CN112953922B
CN112953922B CN202110146565.0A CN202110146565A CN112953922B CN 112953922 B CN112953922 B CN 112953922B CN 202110146565 A CN202110146565 A CN 202110146565A CN 112953922 B CN112953922 B CN 112953922B
Authority
CN
China
Prior art keywords
video
playing
rate
edge server
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110146565.0A
Other languages
English (en)
Other versions
CN112953922A (zh
Inventor
栾浩
穆康乐
郑金凯
承楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110146565.0A priority Critical patent/CN112953922B/zh
Publication of CN112953922A publication Critical patent/CN112953922A/zh
Application granted granted Critical
Publication of CN112953922B publication Critical patent/CN112953922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明属于自适应流媒体技术领域，公开了一种自适应流媒体控制方法、***、计算机设备及应用，所述自适应流媒体控制***包括：边缘服务器、用户设备、视频分析模块和基于深度强化学习的决策模块。本发明通过引入边缘服务器，既考虑网络吞吐量，也考虑缓冲区大小；采取深度强化学习的方法，能够自动根据网络环境对视频播放进行优化，在神经网络训练完成后可以部署于多种网络环境，从而有更好的实用性。本发明创造性地增加了播放速率调节这一新的维度，通过降低播放速率来降低视频传输对网络带宽的需求；通过视频内容分析模块，能够使大部分用户察觉不到播放速率的改变，可以继续维持高码率的视频播放，从而在很大程度上提高用户体验。

Description

一种自适应流媒体控制方法、***、计算机设备及应用
技术领域
本发明属于自适应流媒体技术领域，尤其涉及一种自适应流媒体控制方法、***、计算机设备及应用。
背景技术
目前，流媒体视频传输技术是为了为用户提供高质量的多媒体服务而诞生的。就流视频服务来说，目前最广泛使用的协议是Dynamic Adaptive Streaming over HTTP(DASH)。使用DASH协议的流视频服务，首先将视频切分成数个视频快(chunk)，每个视频快时长可以为2秒或数十秒。而每个视频快又分别按照不同的码率进行编码，从而使一个视频块有了数个不同清晰度的版本。在用户使用的过程中，用户端首先向存放视频的远程服务器发送请求视频资源的请求，然后在接收到请求后，服务器将给用户端按照时间顺序逐个发送视频块。根据网络环境，可选择高码率或低码率的视频块进行传输。当用户端接受到来自服务器端视频块后，将其放入播放缓冲区，然后逐个从缓冲区中播放。若网络环境不佳，则需要发送低码率的视频块，从而实现码率的动态调节。若播放缓冲区被耗尽，则会出现卡顿。
用户在使用移动设备观看视频时，通常会因为无线信道的不稳定性使得网络吞吐量有较大的波动，进而导致视频在播放的过程中发生卡顿，或者用户只能选择观看低码率的视频，从而影响用户体验。
现有的解决方案主要是在客户端采用自适应码率调节算法(Adaptive BitrateAlgorithm or ABR)，根据网络吞吐量情况，实时调节视频的码率，从而在带宽受限的情况下尽可能地提供高码率的视频并尽可能减少视频卡顿。
部署于客户端的ABR算法主要分为三类：1.基于网络吞吐量的ABR算法；2.基于播放缓冲区的ABR算法；3.二者结合的ABR算法。
基于网络吞吐量的ABR算法根据网络的吞吐量调节视频的码率。通常来说，当网络吞吐量较低时，该类算法会切换至较低的视频码率，反之将会切换至高码率。这个方法的缺点是由于网络吞吐量波动较大，通常情况下网络吞吐量难以预测，有很大的不确定性，所以造成的结果是该方案对视频播放码率的调节较为频繁，而频繁的码率切换会给用户带来不好的体验。用户更偏爱稳定的视频码率。
基于播放缓冲区的ABR算法根据视频播放缓冲区的大小进行视频码率的调节。用户在观看视频的时候，用户端首先将视频从远程服务器下载至本地，然后放入播放缓冲区中，以先入先出的方式依次播放缓冲区的内容给用户。通常来讲，基于播放缓冲区的ABR算法在缓冲区内容不足时会降低码率来防止缓冲区耗尽，进而导致视频播放卡顿；当缓冲区内容充足时，会选择较高的码率。这个方法和基于网络吞吐量的ABR算法在码率的选择上会相对保守，比如在视频开始播放时，由于缓冲区为空，所以会选择较低的码率，纵使网络吞吐量很高，也会依旧选择低码率，从而造成了一部分网络资源的浪费。
此外也有将二者结合的方法，既考虑网络吞吐量，也考虑缓冲区大小。这种算法更加复杂，并且对网络环境通常有很多预先的假设，因此面对不同的网络环境时，一旦这些假设不再成立，那么这些算法则需要进一步调整参数后才能使用。
现有的解决方案的主要有以下不足：1.视频码率是唯一的调节自由度。2.部署在用户端的ABR算法所能获取的网络环境信息有限，只能从应用层获得网络的吞吐量信息，缺乏对网络状态更加细致的了解，从而导致了现有算法很难对网络变化做出及时的响应。3.用户端移动设备(如手机)算力有限，难以部署更加高级的人工智能算法，所以移动端的ABR算法复杂度有限，难以应对不同的网络环境(移动蜂窝网络或WiFi网络)。因此，亟需一种新的自适应流媒体***及其控制方法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)基于网络吞吐量的ABR算法，由于网络吞吐量波动较大，通常情况下网络吞吐量难以预测，有很大的不确定性，所以造成的结果是该方案对视频播放码率的调节较为频繁，而频繁的码率切换会给用户带来不好的体验。
(2)基于播放缓冲区的ABR算法，基于播放缓冲区的ABR算法在缓冲区内容不足时会降低码率来防止缓冲区耗尽，进而导致视频播放卡顿，并造成一部分网络资源的浪费。
(3)既考虑网络吞吐量，也考虑缓冲区大小的算法更加复杂，并且对网络环境通常有很多预先的假设，因此面对不同的网络环境时，一旦这些假设不在成立，那么这些算法则需要进一步调整参数后才能使用。
(4)现有的解决方案中，视频码率是唯一的调节自由度。
(5)部署在用户端的ABR算法所能获取的网络环境信息有限，只能从应用层获得网络的吞吐量信息，缺乏对网络状态更加细致的了解，从而导致了现有算法很难对网络变化做出及时的响应。
(6)用户端移动设备算力有限，难以部署更加高级的人工智能算法，所以移动端的ABR算法复杂度有限，难以应对不同的网络环境。
解决以上问题及缺陷的难度为：
问题一：使用传统方法对真实的网络环境对建模难度较大，人工智能算法使该问题的解决成为了可能。然而，即使使用人工智能算法，仅使用相对粗略的历史吞吐量作为输入来预测未来吞吐量也是难以做到的，因为吞吐量不能精确地反应信道的质量。因此在本发明中我们引了CSI，并用人工智能的方法，对未来的吞吐量实现了较为准确的预测。
问题二：要解决该问题，ABR算法一定需要考虑网络吞吐量，否则很难仅通过缓冲区大小进行决策。
问题三：如何在短时间内，快速进行参数调节是非常有挑战性的，因为只有收集了足够的信息之后才能对网络环境有更加准确的认知，却需要在时间上付出更大的代价。
问题四：难以寻找其他调节维度。
问题五：同问题一。
问题六：解决该问题需要移动设备性能大幅度提升。而目前移动设备性能差异较大，参差不齐，因此在移动设备上部署复杂的人工智能算法挑战较大。
解决以上问题及缺陷的意义为：用户将能获得更好的视频观看体验、不需要要求用户使用高性能的移动设备、降低用户对网络带宽的需求。
发明内容
针对现有技术存在的问题，本发明提供了一种自适应流媒体控制方法、***、计算机设备及应用。
本发明是这样实现的，一种自适应流媒体控制方法，所述自适应流媒体控制方法包括：
边缘服务器通过互联网从远程存放视频的服务器中将用户可能会观看的视频预先缓存在边缘服务器本地。因此可以直接为用户提供视频服务，使视频传输避免了骨干网上可能发生的网络拥堵。预先缓存视频可以为边缘服务器留出时间分析视频内容，即计算每个视频块的播放速率调节基准；
当用户需要观看视频时，边缘服务器对视频内容进行分析，为视频播放速率调节确定调节基准，为用户提供视频服务。该步保障了用户不会因为视频速率的变化而产生不适，让用户难以察觉视频的速度变化；
在为用户逐一发送视频块时，边缘服务器根据网络环境确定下一个待发送视频块的码率和视频播放速率。该步使得用户能够获得合适的视频码率和播放速率，即尽可能提供高码率的视频，但同时尽可能避免卡顿；
边缘服务器根据码率决策取出提前缓存好的相应码率的视频块，然后根据播放速率决策，调节其播放速率；
在速率调节完成后，边缘服务器将视频块发送至用户设备；
用户设备将接收到的视频块逐个播放，实时将网络状态和播放状态反馈给边缘服务器，供边缘服务器做出下一个码率决策和播放速率决策。该步为边缘服务器提供决策时必要的状态信息。
进一步，所述边缘服务器对视频内容进行分析，包括：
(1)利用用户对内容变化速度快的场景有较高的慢放容忍度，而对内容变化速率较慢的场景有较低的容忍度的事实确定用户对不同视频片段播放速率的调节容忍度；
(2)使用帧大小来推断视频相邻帧之间的相似性，进而确定视频内容变化的快慢；其中，相邻帧之间的相似性越低，视频画面的变化越快，则用户对播放速率的调节容忍度则更大；
(3)根据调节容忍度，于边缘服务器端对每个视频块的播放速率进行预先分析设定与动态调节。
进一步，步骤(2)中，使用衡量两张照片相似度的指标SSIM来衡量相邻帧之间画面的相似度；其中，SSIM＝1表示两张图片完全相同，SSIM＝0表示两张照片完全不同；
所述SSIM的估计方法，包括：
1)选择一部视频中的部分片段，计算其每相邻两帧之间的SSIM，并提取所述视频每帧的帧大小；
2)使用低通滤波器分别处理SSIM和帧大小数据，使用指数加权滑动平均滤波器EWMA提取低频信号；
3)将通过低通滤波器后的SSIM和帧大小数据做一阶线性回归，得到帧大小和SSIM之间的线性关系；
4)根据帧大小和SSIM之间的线性关系，来估计整部视频的SSIM。
进一步，步骤(2)中，视频播放速率的调节以视频块作为调节对象，即在一个视频块内，播放速率是相同的，故需确定在一个视频块内画面的平均变化快慢程度；使用在一个视频块内的所有相邻帧的SSIM的平均值作为所述视频块的画面平均变化快慢程度的衡量标准，由于已经得到SSIM和帧大小之间的线性关系，故使用所述关系用帧大小去直接估计SSIM的平均值。
进一步，所述边缘服务器对视频内容进行分析，还包括：定量确定用户对每个视频块播放速率调节的最大容忍程度，包括：
(1)将平均SSIM线性映射到区间[a,b],其中a<b,并且a和b属于区间[0,1]，即max(SSIM)→a,min(SSIM)→b；
(2)a为对于内容变化最慢的视频块的最大播放速率调节力度。例如，a＝0.1表示对于内容变化最慢的视频块的播放速率不能低于0.9倍速；
(3)b为对于内容变化最快的视频块的最大播放速率调节力度，b＝0.25表示对于内容变化最快的视频块的播放速率不能低于0.75倍速；
(4)a与b的取值可以根据用户的个人喜好确定，根据主观性测试结果，a的参考值为0.1，b的参考值为0.25，该值仅供参考，实际使用时调整。
进一步，所述边缘服务器用于获得详细的信道信息，即CSI；通过卷积神经网络利用CSI信息实现对未来一段时间的吞吐量预测；
使用深度强化学习的方法确定下一个待发送视频块的码率和视频播放速率；
所述深度强化学习包括三要素，即状态state、行为action及奖励reward；
状态，用于表示在传送下一个视频块之前的网络状态和客户端播放状态；其中，网络状态包括网络的吞吐量、使用CSI预测的未来网络吞吐量；客户端的播放状态为当前缓冲区的大小；以及其他和视频本身相关的信息；
行为，用于表示下一个视频块的码率决策和播放速率决策；码率决策和视频可用的码率一一对应，而播放速率决策有三个选项，分别为无调节、半速调节以及全速调节；其中，无调节对应按照原速播放；全速调节是指按照视频分析模块给出的播放速率调节容忍度进行调节；半速调节是指按照播放速率调节容忍度的一半进行调节；
奖励，由四个因素决定，分别是选择的码率越高奖励越高、选择的码率和上一次选择的码率差异越小奖励越高、当前的选择造成的播放卡顿时间越少奖励越高、以及选择的播放速率越接近原速奖励越高；在深度强化学习的训练过程中，算法将自动朝着能够获得更多奖励的方向进行演进，最终会演进到高码率、低码率波动和少卡顿的视频播放策略；
所述播放状态即为播放缓冲区大小。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
边缘服务器通过互联网从远程存放视频的服务器中将用户可能会观看的视频预先缓存在边缘服务器本地；
当用户需要观看视频时，边缘服务器对视频内容进行分析，为视频播放速率调节确定调节基准，为用户提供视频服务；
在为用户逐一发送视频块时，边缘服务器根据网络环境确定下一个待发送视频块的码率和视频播放速率；
边缘服务器根据码率决策取出提前缓存好的相应码率的视频块，然后根据播放速率决策，调节其播放速率；
在速率调节完成后，边缘服务器将视频块发送至用户设备；
用户设备将接受到的设备逐个播放，实时将网络状态和播放状态反馈给边缘服务器，供边缘服务器做出下一个码率决策和播放速率决策。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的自适应流媒体控制方法。
本发明的另一目的在于提供一种实施所述自适应流媒体控制方法的自适应流媒体控制***，所述自适应流媒体控制***包括：
边缘服务器，用于通过互联网从远程存放视频的服务器中将用户可能会观看的视频预先缓存在边缘服务器本地，当用户需要观看视频时，边缘服务器即可直接为用户提供视频服务；
用户设备，用于发送视频观看需求，并将接受到的设备逐个播放，实时将网络状态和播放状态反馈给边缘服务器，供边缘服务器做出下一个码率决策和播放速率决策；
视频分析模块，用于处理预先在边缘服务器缓存好的视频资源；
基于深度强化学习的决策模块，用于根据当前网络状态和用户端视频的播放情况，对即将发送的视频块做出码率决策和播放速率决策；
所述边缘服务器还包括：在为用户逐一发送视频块时，根据网络环境确定下一个待发送视频块的码率和视频播放速率；根据码率决策取出提前缓存好的相应码率的视频块，然后根据播放速率决策，调节其播放速率；速率调节完成后，通过边缘服务器将视频块发送至用户设备。
本发明的另一目的在于提供一种自适应流媒体终端，所述自适应流媒体终端用于实现所述的自适应流媒体控制方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的自适应流媒体控制***，能够为用户提供智能视频流服务，使用户在观看视频时，保持较高的视频质量的同时极大减少了卡顿的发生，能够获得更好的用户体验。
本发明创造性地增加了播放速率调节这一新的维度。现有方法只能进行码率的调节，因此面对较差的网络条件时，现有方法只能通过降低视频码率来维持视频播放的流畅性，而本发明则可以通过降低播放速率来降低视频传输对网络带宽的需求，因为使用了视频内容分析模块，本发明可以做到使大部分用户察觉不到播放速率的改变，因而本发明可以继续维持高码率的视频播放，从而很大程度上提高用户体验。
本发明使用的是深度强化学习的方法，该方法有很强的鲁棒性。现有的方法需要对网络环境进行大量的假设，一旦网络环境发生变化(如从蜂窝网络切换至WiFi网络)这些假设可能将不再成立，因此需要进行大量的参数调整，不具有实用性。本发明在神经网络训练完成后可以部署于多种网络环境，实用性更强。
本发明还具有以下优势：
(1)不仅对码率进行调节，还创造性地引入了对视频播放速率的调节。慢速播放视频可以降低视频对网络带宽的需求，从而减少卡顿的发生。边缘服务器可以提前从互联网上缓存用户想观看的视频资源并存放在边缘服务器本地，直接服务于用户，从而避免了主干网络的波动对视频播放的影响。边缘服务器可以对预先缓存的视频进行内容分析，计算出用户对不同视频片段的视频慢放的容忍度，从而实现有针对性地对不同视频片段应用不同的播放速率，使用户难以察觉。
(2)边缘服务器能够获取详细的信道状态信息(Channel State InformationCSI)，从而能够对用户和边缘服务器之间的无线信道能够有更加细致和准确的认知，CSI的细致程度远高于在应用层测得的吞吐量，CSI能够反映网络的实时变化情况。本发明使用CSI信息，使得本发明能够更快地对网络波动做出响应。
(3)和移动设备相比，边缘服务器有丰富的计算资源，因此可以使用更加先进的人工智能算法实现视频码率和播放速率的调节。注意本发明中该计算任务由边缘服务器完成，从而极大的降低了对用户端计算力的需求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的自适应流媒体控制方法流程图。
图2是本发明实施例提供的自适应流媒体控制***原理图。
图3是本发明实施例提供的帧大小和SSIM之间的线性关系示意图。
图4是本发明实施例提供的使用帧大小来估计SSIM的方法示意图。
图5是本发明实施例提供的基于深度强化学习的决策模块的原理示意图。
图6是本发明实施例提供的与主流的其他自适应码率算法的仿真对比结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种自适应流媒体控制方法、***、计算机设备及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的自适应流媒体控制方法包括以下步骤：
S101，边缘服务器通过互联网从远程存放视频的服务器中将用户可能会观看的视频预先缓存在边缘服务器本地；
S102，当用户需要观看视频时，边缘服务器对视频内容进行分析，为视频播放速率调节确定调节基准，进而为用户提供视频服务；
S103，在为用户逐一发送视频块时，边缘服务器根据网络环境确定下一个待发送视频块的码率和视频播放速率；
S104，边缘服务器根据码率决策取出提前缓存好的相应码率的视频块，然后根据播放速率决策，调节其播放速率；
S105，在速率调节完成后，边缘服务器将视频块发送至用户设备；
S106，用户设备将接收到的视频块逐个播放，实时将网络状态和播放状态反馈给边缘服务器，供边缘服务器做出下一个码率决策和播放速率决策。
本发明提供的自适应流媒体控制方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的自适应流媒体控制方法仅仅是一个具体实施例而已。
如图2所示，本发明实施例提供的边缘计算的自适应流媒体***包括：边缘服务器、用户设备、视频分析模块和基于深度强化学习的决策模块。
边缘服务器，用于通过互联网从远程存放视频的服务器中将用户可能会观看的视频预先缓存在边缘服务器本地，当用户需要观看视频时，边缘服务器即可直接为用户提供视频服务；
用户设备，用于发送视频观看需求，并将接受到的设备逐个播放，实时将网络状态和播放状态反馈给边缘服务器，供边缘服务器做出下一个码率决策和播放速率决策；
视频分析模块，用于处理预先在边缘服务器缓存好的视频资源；
基于深度强化学习的决策模块，用于根据当前网络状态和用户端视频的播放情况，对即将发送的视频块做出码率决策和播放速率决策。
下面结合术语解释对本发明的技术方案作进一步的描述。
(1)边缘计算：是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。本发明使用边缘设备作为流媒体的服务器，为附近用户提供多媒体服务。
(2)流媒体：流媒体(streaming media)是指将一连串的媒体数据压缩后，经过网上分段发送数据，在网上即时传输影音以供观赏的一种技术与过程。如Youtube，优酷，bilibili。
(3)自适应：在本发明中，自适应是指可以自动根据网络环境调节视频的码率(即，清晰度)和视频播放速率，从而给用户提供更好的视频体验(即卡顿更少，清晰度更高)。
下面结合实施例对本发明的技术方案作进一步的描述。
1、***概述
整个***由边缘服务器和用户设备组成。首先，边缘服务器通过互联网从远程存放视频的服务器中将用户可能会观看的视频预先缓存在边缘服务器本地。然后当用户需要观看视频时，边缘服务器即可直接为用户提供视频服务。因为视频资源已经缓存在了边缘服务器上，边缘服务器对视频内容先进行分析，为视频播放速率调节确定调节基准。在为用户逐一发送视频块时，根据网络环境确定下一个待发送视频块的码率和视频播放速率。该过程使用深度强化学习的方法确定视频的码率和视频播放速率。接下来，边缘服务器根据码率决策取出提前缓存好的相应码率的视频块，然后根据播放速率决策，调节其播放速率。在速率调节完成后，边缘服务器将视频块发送至用户设备。用户设备将接受到的设备逐个播放，然后实时将网络状态和播放状态(即播放缓冲区大小)反馈给边缘服务器，供边缘服务器做出下一个码率决策和播放速率决策。
2、视频分析模块
该模块负责处理预先在边缘服务器缓存好的视频资源。目的是确定，对每个视频的每个片段，用户所能容忍的最慢的播放速率的大小。为了保证用户观看视频的体验，本发明通过这个模块保证视频不会因为过于慢放而使用户感受到不适。
本发明利用“用户对内容变化速度快的场景(如激烈的打斗场景)有较高的慢放容忍度；而对内容变化速率较慢的场景(如对话场景)有较低的容忍度”这一事实来确定用户对不同视频片段的调节容忍度。
在本发明中，为了确定视频内容变化的快慢，本发明使用帧大小来推断视频相邻帧之间的相似性。相邻帧之间的相似性越低，说明视频画面的变化越快，那么用户对播放速率的调节容忍度则更大。
本发明使用业内广泛接受的衡量两张照片相似度的指标SSIM(StructureSimilarity Index)来衡量相邻帧之间画面的相似度(SSIM＝1意味着两张图片完全相同，SSIM＝0意味着两张照片完全不同)。但是直接计算所有相邻帧SSIM之间的SSIM计算量巨大，缺乏实用性，因此在本发明提出了一种使用帧大小来估计SSIM的方法。
目前，主流的视频编码模式为可变码率编码(Variable Bitrate Encoding,VBR)，即在保持视频整体的码率一定的情况下，为某些片段分配更高的码率来保留更多的细节，为一些简单的画面分配更低的码率来节省储存空间。在VBR的编码模式下，画面变化快的片段将会获得更高码率，即编码后帧大小更大。因此，画面变化快慢和帧大小有强相关关系。然而帧大小也会受其他因素制约，比如画面场景的切换，帧格式(I帧、P帧、B帧)的切换等等都会直接影响帧大小。因此，本发明需要剔除掉这些影响因素，剥离出帧大小和SSIM之间的关系。值得注意的是，一个视频中SSIM的变化相对较慢，因为通常一个片段的节奏较为稳定，属于低频信号，而由于帧格式的切换等因素造成的帧大小波动较为频繁，属于高频信号。因此，在本发明中，本发明使用此特点使用低通滤波器将高频部分的干扰信号排除，就可以还原SSIM和帧大小之间的关系。同样，SSIM也会受到场景切换等因素的影响而难以真实反映画面的变化快慢程度，而这种干扰也主要集中在高频部分，也可以用低通滤波器祛除。具体过程如下：
(1)计算一部视频每相邻两帧之间的SSIM。提取该视频每帧的帧大小。
(2)使用低通滤波器分别处理SSIM和帧大小数据。可以使用指数加权滑动平均滤波器(ExponentiallyWeighted MovingAverage，EWMA)来提取低频信号。
(3)将通过低通滤波器后的SSIM和帧大小数据做一阶线性回归，就得到了帧大小和SSIM之间的线性关系(见图3)。
接下来，因为本发明已经得到了SSIM和帧大小之间的线性关系，那么本发明就可以使用低通滤波器处理过的帧大小数据来估计SSIM了。
如图4所示，在本发明中，视频播放速率的调节以视频块作为调节对象，即在一个视频块内，播放速率是相同的。因此，本发明需要确定在一个视频块内画面的平均变化快慢程度。本发明使用在一个视频块内的所有相邻帧的SSIM的平均值作为该视频块的画面平均变化快慢程度的衡量标准。因为本发明已经得到了SSIM和帧大小之间的线性关系，所以本发明使用该关系用帧大小去直接估计SSIM的平均值。这样极大地减少了计算SSIM的计算开销，因为帧大小很容易获得，不涉及视频的编解码。
现在，本发明获得了每个视频块的平均SSIM，接下来本发明将定量确定用户对每个视频块播放速率调节的最大容忍程度。在本发明中，本(1)将平均SSIM线性映射到区间[a,b],其中a<b,并且a和b属于区间[0,1]，即max(SSIM)→a,min(SSIM)→b；a为对于内容变化最慢的视频块的最大播放速率调节力度。例如，a＝0.1表示对于内容变化最慢的视频块的播放速率不能低于0.9倍速；b为对于内容变化最快的视频块的最大播放速率调节力度，b＝0.25表示对于内容变化最快的视频块的播放速率不能低于0.75倍速；a与b的取值可以根据用户的个人喜好确定，根据主观性测试结果，a的参考值为0.1，b的参考值为0.25，该值仅供参考，实际使用时灵活调整。
3、基于深度强化学习的决策模块
如图5所示，该模块用于根据当前网络状态和用户端视频的播放情况，对即将发送的视频块做出码率决策和播放速率决策。该部分本发明使用了深度强化学习(DeepReinforcement Learning)技术，算法通过不断进行决策尝试与环境互动，最后自行学习到一套行之有效的码率和播放速率调节策略。
首先，本发明中引入了边缘服务器，其一大特点就是可以获得详细的信道信息，即CSI。CSI可以较为精确地反应网络的状态。在本发明中，本发明通过CSI信息实现对未来一段时间的吞吐量预测。本发明使用了卷积神经网络来预测未来的网络吞吐量。预测的网络吞吐量将会用于接下来视频码率的决策和播放速率的决策。
为了使用深度强化学习技术，本发明需要定义深度强化学习三要素，即状态(state)、行为(action)以及奖励(reward)。在本发明中，状态被定义为在传送下一个视频块之前的网络状态和客户端播放状态等。其中，网络状态包括网络的吞吐量、使用CSI预测的未来网络吞吐量；客户端的播放状态为当前缓冲区的大小；以及其他和视频本身相关的信息，如下一个视频块的大小、待传输的视频块个数等。行为定义为下一个视频块的码率决策和播放速率决策。码率决策和视频可用的码率一一对应，而播放速率决策有三个选项，分别为无调节、半速调节以及全速调节。其中，无调节对应按照原速播放；全速调节是指按照视频分析模块给出的播放速率调节容忍度进行调节，如容忍度为0.2，则按照0.8倍速播放；半速调节是指按照播放速率调节容忍度的一半进行调节，如容忍度为0.2，则按照0.9倍速进行播放。奖励由四个因素决定，分别是选择的码率越高奖励越高、选择的码率和上一次选择的码率差异越小奖励越高、当前的选择造成的播放卡顿时间越少奖励越高、以及选择的播放速率越接近原速奖励越高。在深度强化学习的训练过程中，算法将自动朝着能够获得更多奖励的方向进行演进，最终会演进到高码率、低码率波动和少卡顿的视频播放策略。
值得注意的是，如果不使用CSI通过卷积神经网络对未来吞吐量进行预测，仅给算法提供历史的吞吐量信息，算法也可以工作。只是对网络波动的响应速度将没有使用CSI时及时，但依旧能够达到领先水平。
图6为本发明与主流的其他自适应码率算法的仿真对比结果。所对比的算法包括基于吞吐量的自适应码率算法、基于缓冲区的自适应码率算法以及基于人工智能的自适应码率算法。可以看出，本发明实现了最高的视频码率，同时做到了最少的卡顿时间以及最少的卡顿次数。因此用户体验最佳。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种自适应流媒体控制方法，其特征在于，所述自适应流媒体控制方法包括：
边缘服务器通过互联网从远程存放视频的服务器中将用户可能会观看的视频预先缓存在边缘服务器本地；
当用户需要观看视频时，边缘服务器对视频内容进行分析，为视频用户端播放速率调节确定调节基准，为用户提供视频服务；
在为用户逐一发送视频块时，边缘服务器根据网络环境确定下一个待发送视频块的码率和视频播放速率；
边缘服务器根据码率决策取出提前缓存好的相应码率的视频块，然后根据播放速率决策，调节其播放速率；
在速率调节完成后，边缘服务器将视频块发送至用户设备；
用户设备将接收到的视频块逐个播放，实时将网络状态和播放状态反馈给边缘服务器，供边缘服务器做出下一个码率决策和播放速率决策。
2.如权利要求1所述的自适应流媒体控制方法，其特征在于，所述边缘服务器对视频内容进行分析，包括：
(1)利用用户对内容变化速度快的场景有较高的慢放容忍度，而对内容变化速率较慢的场景有较低的容忍度的事实确定用户对不同视频片段播放速率的调节容忍度；
(2)使用帧大小来推断视频相邻帧之间的相似性，进而确定视频内容变化的快慢；其中，相邻帧之间的相似性越低，视频画面的变化越快，则用户对播放速率的调节容忍度则更大；
(3)根据调节容忍度，于边缘服务器端对每个视频块的播放速率进行预先分析设定与动态调节。
3.如权利要求2所述的自适应流媒体控制方法，其特征在于，步骤(2)中，使用衡量两张照片相似度的指标SSIM来衡量相邻帧之间画面的相似度；其中，SSIM＝1表示两张图片完全相同，SSIM＝0表示两张照片完全不同；
所述SSIM的估计方法，包括：
1)选择一部视频中的部分片段，计算其每相邻两帧之间的SSIM，并提取所述视频每帧的帧大小；
2)使用低通滤波器分别处理SSIM和帧大小数据，提取低频信号；推荐使用指数加权滑动平均滤波器EWMA；
3)将通过低通滤波器后的SSIM和帧大小数据做一阶线性回归，得到帧大小和SSIM之间的线性关系；
4)根据帧大小和SSIM之间的线性关系，来估计整部视频的SSIM。
4.如权利要求2所述的自适应流媒体控制方法，其特征在于，步骤(2)中，视频播放速率的调节以视频块作为调节对象，即在一个视频块内，播放速率是相同的，故需确定在一个视频块内画面的平均变化快慢程度；使用在一个视频块内的所有相邻帧的SSIM的平均值作为所述视频块的画面平均变化快慢程度的衡量标准，由于已经得到SSIM和帧大小之间的线性关系，故使用所述关系用帧大小去直接估计SSIM的平均值。
5.如权利要求1所述的自适应流媒体控制方法，其特征在于，所述边缘服务器对视频内容进行分析，还包括：定量确定用户对每个视频块播放速率调节的最大容忍程度，包括：
(1)将平均SSIM线性映射到区间[a,b],其中a<b,并且a和b属于区间[0,1]，即max(SSIM)→a,min(SSIM)→b；
(2)a为对于内容变化最慢的视频块的最大播放速率调节力度；
(3)b为对于内容变化最快的视频块的最大播放速率调节力度，b＝0.25表示对于内容变化最快的视频块的播放速率不能低于0.75倍速；
(4)a与b的取值可以根据用户的个人喜好确定，根据主观性测试结果，实际使用时调整。
6.如权利要求1所述的自适应流媒体控制方法，其特征在于，所述边缘服务器用于获得详细的信道信息，即CSI；通过卷积神经网络利用CSI信息实现对未来一段时间的吞吐量预测；
使用深度强化学习的方法确定下一个待发送视频块的码率和视频播放速率；
所述深度强化学习包括三要素，即状态state、行为action及奖励reward；
状态，用于表示在传送下一个视频块之前的网络状态和客户端播放状态；其中，网络状态包括网络的吞吐量、使用CSI预测的未来网络吞吐量；客户端的播放状态为当前缓冲区的大小；以及其他和视频本身相关的信息；
行为，用于表示下一个视频块的码率决策和播放速率决策；码率决策和视频可用的码率一一对应，而播放速率决策有三个选项，分别为无调节、半速调节以及全速调节；其中，无调节对应按照原速播放；全速调节是指按照视频分析模块给出的播放速率调节容忍度进行调节；半速调节是指按照播放速率调节容忍度的一半进行调节；
奖励，由四个因素决定，分别是选择的码率越高奖励越高、选择的码率和上一次选择的码率差异越小奖励越高、当前的选择造成的播放卡顿时间越少奖励越高、以及选择的播放速率越接近原速奖励越高；在深度强化学习的训练过程中，算法将自动朝着能够获得更多奖励的方向进行演进，最终会演进到高码率、低码率波动和少卡顿的视频播放策略；
所述播放状态即为播放缓冲区大小。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
边缘服务器通过互联网从远程存放视频的服务器中将用户可能会观看的视频预先缓存在边缘服务器本地；
当用户需要观看视频时，边缘服务器对视频内容进行分析，为视频播放速率调节确定调节基准，为用户提供视频服务；
在为用户逐一发送视频块时，边缘服务器根据网络环境确定下一个待发送视频块的码率和视频播放速率；
边缘服务器根据码率决策取出提前缓存好的相应码率的视频块，然后根据播放速率决策，调节其播放速率；
在速率调节完成后，边缘服务器将视频块发送至用户设备；
用户设备将接受到的设备逐个播放，实时将网络状态和播放状态反馈给边缘服务器，供边缘服务器做出下一个码率决策和播放速率决策。
8.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～6任意一项所述的自适应流媒体控制方法。
9.一种实施权利要求1～6任意一项所述自适应流媒体控制方法的自适应流媒体控制***，其特征在于，所述自适应流媒体控制***包括：
边缘服务器，用于通过互联网从远程存放视频的服务器中将用户可能会观看的视频预先缓存在边缘服务器本地，当用户需要观看视频时，边缘服务器即可直接为用户提供视频服务；
用户设备，用于发送视频观看需求，并将接受到的设备逐个播放，实时将网络状态和播放状态反馈给边缘服务器，供边缘服务器做出下一个码率决策和播放速率决策；
视频分析模块，用于处理预先在边缘服务器缓存好的视频资源；
基于深度强化学习的决策模块，用于根据当前网络状态和用户端视频的播放情况，对即将发送的视频块做出码率决策和播放速率决策；
所述边缘服务器还用于：在为用户逐一发送视频块时，根据网络环境确定下一个待发送视频块的码率和视频播放速率；根据码率决策取出提前缓存好的相应码率的视频块，然后根据播放速率决策，调节其播放速率；速率调节完成后，通过边缘服务器将视频块发送至用户设备。
10.一种自适应流媒体终端，其特征在于，所述自适应流媒体终端用于实现权利要求1～6任意一项所述的自适应流媒体控制方法。
CN202110146565.0A 2021-02-03 2021-02-03 一种自适应流媒体控制方法、***、计算机设备及应用 Active CN112953922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110146565.0A CN112953922B (zh) 2021-02-03 2021-02-03 一种自适应流媒体控制方法、***、计算机设备及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110146565.0A CN112953922B (zh) 2021-02-03 2021-02-03 一种自适应流媒体控制方法、***、计算机设备及应用

Publications (2)

Publication Number Publication Date
CN112953922A CN112953922A (zh) 2021-06-11
CN112953922B true CN112953922B (zh) 2022-09-16

Family

ID=76241996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110146565.0A Active CN112953922B (zh) 2021-02-03 2021-02-03 一种自适应流媒体控制方法、***、计算机设备及应用

Country Status (1)

Country Link
CN (1) CN112953922B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113645487B (zh) * 2021-07-14 2022-05-17 上海交通大学 码率自适应分配方法
CN113645477A (zh) * 2021-08-09 2021-11-12 杭州米络星科技(集团)有限公司 直播数据处理方法、装置、直播客户端设备及存储介质
CN115996292A (zh) * 2021-10-18 2023-04-21 腾讯科技（深圳）有限公司 流控模型训练方法、装置、计算机设备和存储介质
CN114024946B (zh) * 2021-11-02 2024-02-23 中国联合网络通信集团有限公司 流媒体码率的调整方法、装置和计算机可读存储介质
CN114040230B (zh) * 2021-11-08 2024-03-29 北京达佳互联信息技术有限公司 视频码率确定方法、装置、电子设备及其存储介质
CN114222194A (zh) * 2021-12-17 2022-03-22 浙江大华技术股份有限公司 一种视频码流调整方法、装置及***
CN115022684B (zh) * 2022-05-27 2023-08-04 西安交通大学 一种quic协议下基于深度强化学习的视频流自适应传输方法
CN115037962B (zh) * 2022-05-31 2024-03-12 咪咕视讯科技有限公司 视频自适应传输方法、装置、终端设备以及存储介质
CN118200492A (zh) * 2024-05-17 2024-06-14 广州易而达科技股份有限公司 基于Wi-Fi的视频传输方法、装置、自动飞行器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562737A (zh) * 2009-05-19 2009-10-21 华中科技大学 一种对等直播***中多码率调度方法
WO2014107946A1 (zh) * 2013-01-08 2014-07-17 北京信威通信技术股份有限公司 一种无线网络下视频实时传输的码率平滑方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272479B (zh) * 2008-03-31 2011-11-30 华为软件技术有限公司 资源调度装置及方法,点播节目的方法及***和机顶盒
CN109996094B (zh) * 2017-12-29 2021-08-13 杭州海康威视***技术有限公司 视频播放方法、装置及***
CN110536175B (zh) * 2018-05-24 2022-12-06 腾讯科技（深圳）有限公司 一种码率切换方法和装置
CN109451331B (zh) * 2019-01-15 2020-01-31 西安电子科技大学 基于用户认知需求的视频传输方法
CN109996087B (zh) * 2019-03-21 2020-04-24 武汉大学 一种基于有限状态机的面向视频直播的码率自适应方法及装置
CN111131846A (zh) * 2019-12-05 2020-05-08 中国联合网络通信集团有限公司 视频播放方法、多媒体播放设备、边缘服务器和核心网
CN111431941B (zh) * 2020-05-13 2021-08-27 南京工业大学 一种基于移动边缘计算的实时视频码率自适应方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562737A (zh) * 2009-05-19 2009-10-21 华中科技大学 一种对等直播***中多码率调度方法
WO2014107946A1 (zh) * 2013-01-08 2014-07-17 北京信威通信技术股份有限公司 一种无线网络下视频实时传输的码率平滑方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于DASH标准的视频自适应传输方案;戚惠丹等;《计算机工程与设计》;20180316(第03期);全文 *

Also Published As

Publication number Publication date
CN112953922A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112953922B (zh) 一种自适应流媒体控制方法、***、计算机设备及应用
EP3022884B1 (en) Quality optimization with buffer and horizon constraints in adaptive streaming
US10419787B2 (en) Dynamic programming across multiple streams
CN109302623B (zh) 一种基于QoE模型动态自适应视频的传输方法
US9755993B2 (en) Joint quality management across multiple streams
US20130304934A1 (en) Methods and systems for controlling quality of a media session
KR20110120836A (ko) 디지털 콘텐트의 적응형 스트리밍 제어
CN109729437B (zh) 流媒体自适应传输方法、终端和***
CN107135411B (zh) 一种调整视频码率的方法及电子设备
CN104620595A (zh) 主动式视频帧丢弃
CN111669617B (zh) 一种基于智能边缘的直播视频流的传输方法
CN112714315B (zh) 基于全景视频的分层缓冲方法及***
US20160028594A1 (en) Generating and Utilizing Contextual Network Analytics
CN111314772A (zh) 一种视频下载码率的确定方法、装置、终端和存储介质
CN112437321A (zh) 一种基于直播流媒体的自适应码率计算方法
KR101966588B1 (ko) 모바일 단말의 비디오 콘텐츠 수신 방법 및 장치
CN113207015B (zh) 任务调度策略生成方法、装置、存储介质和计算机设备
Hafez et al. Reinforcement learning-based rate adaptation in dynamic video streaming
WO2014066975A1 (en) Methods and systems for controlling quality of a media session
Zhang et al. A QOE-driven approach to rate adaptation for dynamic adaptive streaming over http
US20230048428A1 (en) A method for estimating bandwidth between a video server and a video client
Miller et al. Low-delay adaptive video streaming based on short-term TCP throughput prediction
Bezerra et al. DBuffer: A state machine oriented control system for DASH
CN114900706B (zh) 基于扩展视频编码的直播视频流传输自适应调度方法
CN115037701B (zh) 视频处理方法、装置、服务器及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant