CN104320424A - 一种流媒体分片下载方法和装置 - Google Patents

Abstract

本发明提供了一种流媒体分片下载方法，该方法包括：终端设备确定当前缓存时长小于第一阈值，且当前不存在正在下载的分片时，通过MDP策略决策出最优码率；并将所述最优码率所在的码率组，与前一次下载分片的码率所在的码率组的等级进行比较；并根据比较结果确定下载下一分片的码率。基于同样的发明构思，本申请还提出一种流媒体分片下载装置，能够在动态网络环境下实现流媒体的平滑播放。

Description

一种流媒体分片下载方法和装置

技术领域

本发明涉及通信技术领域，特别涉及一种流媒体分片下载方法和装置。

背景技术

当前，网络视频运营商在提供媒体内容时，不但需要兼顾所有类型的终端设备，同时还需要适应同一终端设备在能力和带宽上的动态变化，才能保证用户平滑的观看体验。

面对终端设备能力以及带宽变化的挑战，自适应流媒体技术应运而生，自适应流媒体技术的工作原理是：首先将内容按照多个码率将源文件切割成多个分片，存放到服务器上；然后在内容播放时，根据终端设备的网络带宽和媒体处理能力，动态选择合适码率的内容文件进行播放。

基于现有分组网络是尽可能地提供Qos服务，因此通过调优精准预测网络带宽较困难，要么是预测瞬间带宽，或者是使用较难反应网络带宽变化的平均带宽，导致选择的码率很多时候从长远看不能反映网络环境。

超高清(Ultra High Definition，UHD)环境下码率非常高，网络带宽要求较高，带宽抖动也会较大，提供的视频流码率自然会较多，如何平滑的切换尤为重要。现有的根据预测的带宽直接切换可能出现网络带宽变化较大时(比如：从标清(SD)到UHD切换)，码率直接切换，用户感知的画面差别太大，体验不好，特别是出现抖动可能经常出现缓存等情况；逐级切换策略，码率较多时切换速度较慢，整体影响用户高质量视频的体验；

另外，UHD环境下已有的自适应决策模型，多码率使得策略空间更大，导致切换速度较慢，并且对于预测的分片码率等级相差较大时，未做相应的平滑优化，用户体验不够好。

发明内容

有鉴于此，本申请提供一种流媒体分片下载方法和装置，以解决动态网络环境下不能实现流媒体的平滑播放的问题。

为解决上述技术问题，本申请的技术方案是这样实现的：

一种流媒体分片下载方法，该方法包括：

终端设备接收并存储内容服务商下发的码率组等级，以及各码率组对应的码率；

所述终端设备确定当前缓存时长小于第一阈值，且当前不存在正在下载的分片时，通过MDP策略决策出最优码率；并将所述最优码率所在的码率组，与前一次下载分片的码率所在的码率组的等级进行比较；

当确定所述最优码率所在的码率组，高于前一次下载分片的码率所在的码率组的等级时，若第一定时器不存在，则启动第一定时器，并使用前一次下载分片的码率下载下一分片；

当确定所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级时，在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率，若遍历到大于所述最优码率，且满足当前缓存剩余时长大于第三阈值的码率，则使用遍历到的码率下载下一分片；否则，使用所述最优码率下载下一分片；

当确定所述最优码率所在的码率组的等级，与前一次下载分片的码率所在的码率组的等级相同时，使用所述最优码率下载下一分片。

一种流媒体分片下载装置，该装置包括：接收单元、存储单元、决策单元和处理单元；

所述接收单元，用于接收内容服务商下发的码率组等级，以及各码率组对应的码率；

所述存储单元，用于将所述接收单元接收到的码率组等级，以及各码率组对应的码率进行存储；

所述决策单元，用于当确定当前缓存时长小于第一阈值，且当前不存在正在下载的分片时，通过MDP策略决策出最优码率；

所述处理单元，用于将所述决策单元决策出的最优码率所在的所述存储单元中的码率组，与前一次下载分片的码率所在的码率组的等级进行比较；当确定所述最优码率所在的码率组，高于前一次下载分片的码率所在的码率组的等级时，若第一定时器不存在，则启动第一定时器，并使用前一次下载分片的码率下载下一分片；当确定所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级时，在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率，若遍历到大于所述最优码率，且满足当前缓存剩余时长大于第三阈值的码率，则使用遍历到的码率下载下一分片；否则，使用所述最优码率下载下一分片；当确定所述最优码率所在的码率组的等级，与前一次下载分片的码率所在的码率组的等级相同时，使用所述最优码率下载下一分片。

由上面的技术方案可知，本申请中终端设备确定当前缓存时长小于第一阈值，且当前不存在正在下载的分片时，通过MDP策略决策出最优码率；并将所述最优码率所在的码率组，与前一次下载分片的码率所在的码率组的等级进行比较；并根据比较结果确定下载下一分片的码率，能够在动态网络环境下实现流媒体的平滑播放。

附图说明

图1为本申请实施例中流媒体分片下载方法流程示意图；

图2为本申请实施例中启动高到低码率组切换流程示意图；

图3为本申请实施例中应用于上述技术的装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。

终端设备需要平滑播放流媒体，由于带宽、缓存等影响，需要一种自适应流媒体分片下载方法来实现。在下文为了描述方便流媒体分片直接称为分片。

本申请实施例中终端设备可以接收并存储内容服务商下发的码率组等级，以及各码率组对应的码率；也可以在本地配置码率组等级，以及各码率组对应的码率。

各码率组对应的码率如果是连续的码率，也可以使用码率范围来表示。等级高的码率组包含的所***率均大于码率组等级低的码率组包含的所***率。如码率组分为三组：UHD码率组(等级为1)、高清(HD)码率组(等级为2)和SD码率组(等级为3)。等级值越小对应的等级越高，即UHD码率组的等级高于HD码率组的等级，HD码率组的等级高于SD码率组的等级。UHD码率组中的所***率均大于HD码率组中码率最大的码率，HD码率组中的所***率均大于HD码率组中码率最大的码率。

参见图1，图1为本申请实施例中流媒体分片下载方法流程示意图。具体步骤为：

步骤101，终端设备确定当前缓存时长小于第一阈值，且当前不存在正在下载的分片时，通过马尔可夫决策过程(Markov Decision Process，MDP)策略决策出最优码率。

本步骤中当前不存在正在下载的分片，即为上一次下载的分片下载完成，且未开始下一分片的下载。当确定当前缓存时长小于第一阈值时，确定当前是否存在正在下载的分片，如果是，则等待该分片下载完成，在进行MDP决策；否则，直接进行MDP决策。

终端设备确定当前缓存时长不小于第一阈值时，启动第二定时器，第二定时器超时时，使用前一次下载分片的码率下载下一分片。第二定时器超时之前，终端设备处于等待状态，不下载下一分片。

该终端设备通过MDP策略决策出最优码率，具体包括：

假设各码率组中的码率总数为N，则从1到N为各码率分配码率等级，其中，N为大于0的整数。

(1)、将前一次下载的分片还能在缓存中缓存时长和将前一次下载分片的码率对应的码率等级，分别作为MDP策略中的初始状态S(t0，q0)中的t0和q0。

(2)、假设下载下一分片时对应的状态为S(j，y)，则在初始状态S(t0，q0)下，根据概率转移矩阵和评价函数值确定下载下一分片的码率对应的行动集，一个码率对应一种行动，任何一种决策会进入不同的状态可能性，即同一码率等级对应多种可能性。

其中，将当前带宽作为计算概率转移矩阵的累积分布函数(CumulativeDistribution Function，CDF)中的带宽参数。假设缓存中固定存储M个分片，每个分片长度为T秒，并且每秒n等分离散化，分片在缓存中缓存的时长不大于M×T×n，则有0≤i≤M×T×n，0≤j≤M×T×n；则选择下载下一分片的码率对应的等级为q时，转移矩阵可以定义为：

$P_{(i,x)(j,y)}^q=P_{\mathrm{ij}}^q,1\≤x\≤N,y=q,0\≤i\≤M\×T\×n,0\≤j\≤M\×T\×n$

其中，

$P_{\mathrm{ij}}^q=\left\{\begin{array}{cc}0,& \mathrm{if}\left\{\begin{array}{c}0\&le;i\&le;(M-1)\&times;T\&times;n\\ T\&times;n+i\&le;j\&le;M\&times;T\&times;n\end{array}\right.\\ P^q(T\&times;n+i-j)& \mathrm{if}\left\{\begin{array}{c}0\&le;i\&le;(M-1)\&times;T\&times;n\\ 1\&le;j\&le;T\&times;n+i\end{array}\right.\\ 1-{\mathrm{\&Sigma;}}_{x=1}^{T*n+i-1}{P}^q\left(x\right),& \mathrm{if}\left\{\begin{array}{c}0\&le;i\&le;(M-1)\&times;T\&times;n\\ j=0\end{array}\right.\\ P^q(M-1)\&times;T\&times;n,& \mathrm{if}\left\{\begin{array}{c}(M-1)\&times;T\&times;n<i\&le;M\&times;T\&times;n\\ 0\&le;j\&le;M\&times;T\&times;n\end{array}\right.\end{array}\right.$

$P^q\left(x\right)=\left\{\begin{array}{cc}1-F(n\&times;S\left(q\right))& \mathrm{ifx}=1\\ F\left(\frac{n\&times;S\left(q\right)}{(x-1)}\right)-F\left(\frac{n\&times;S\left(q\right)}{\left(x\right)}\right)& \mathrm{ifx}>1\end{array}\right.$

其中，i为前一次下载的分片还能在缓存中缓存时长t0，x为前一次下载分片的码率对应的码率等级q0；S(q)是码率q的分片大小，F()表示基于网络带宽的CDF，0≤i≤(M-1)*T*n表示缓存未满；反之则表示缓存已满。

本申请具体实现时，可以预先配置各码率在不同状态下对应的奖惩值，也可以给出一个函数针对各码率在不同状态下计算对应的奖惩值；无论通过哪种方式获得的奖惩值作为评价函数值，与概率转移矩阵一同获得使用将获得使用选择的码率下载下一分片对应的行动值。

下面给出一种计算奖惩值的方式，在初始状态为S(t0，q0)时，选择下载下一分片的码率对应的码率等级q时，对应的评价函数E^q(t0,q0)为：

E^q(t0,q0)＝r(q)-d(t0,q)-p(t0,q)

其中， $d(t0,q)=\{1-{\mathrm{\&Sigma;}}_{x=1}^{T\&times;n+q0}{P}^q\left(q0\right)\}\&times;C$

r(q)代表选取码率q的奖励得分，该值预先配置，即预先配置各码率对应的奖励得分；d(t0,q)代表错过分片期限的惩罚，C可设为常量来微调模型；p(t0,q)代表码率等级切换的惩罚，该惩罚值预先配置，即预先配置由一个码率切换为另外一个码率下载分片时的惩罚值。

(3)、根据状态转移概率矩阵和评价函数值确定各码率在不同状态下的行动集，进行MDP策略决策，决策出最优码率。

为了减少策略分支，在决策的迭代过程中引入策略信息熵，对于任一迭代决策路径分支，在迭代预设次数后策略信息熵值大于预设熵阈值时，停止所述决策路径分支的迭代。

计算概率转移矩阵的CDF中的带宽参数为当前带宽。为了动态反应网络环境的变化，该终端设备根据周期检测预设时间内可用网络带宽值，采用泊松分布模拟网络带宽模型获得当前网络带宽分布并更新CDF，从而能够动态更新概率转移矩阵。

步骤102，该终端设备将所述最优码率所在的码率组，与前一次下载分片的码率所在的码率组的等级进行比较。

步骤103，当所述最优码率所在的码率组，高于前一次下载分片的码率所在的码率组的等级时，若第一定时器不存在，则该终端设备启动第一定时器，并使用前一次下载分片的码率下载下一分片。结束本流程。

若第一定时器已存在，且确定第一定时器已超，则终端设备删除已超时的第一定时器，并确定当前缓存时长是否大于第二阈值，如果是，使用比前一次下载分片的码率所在的码率组高一级的码率组中最低码率下载下一分片；否则，使用前一次下载分片的码率下载下一分片；

若第一定时器已存在，且确定第一定时器未超时，则使用前一次下载分片的码率下载下一分片。

当所述最优码率所在的码率组的等级，与前一次下载分片的码率所在的码率组的等级相同时，使用所述最优码率下载下一分片。

步骤104，当所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级时，在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率，若遍历到大于所述最优码率，且满足当前缓存剩余时长大于第三阈值的码率，则使用遍历到的码率下载下一分片；否则，使用所述最优码率下载下一分片。结束本流程。

本步骤中，在执行所述在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率之前，还需确定当前缓存时长是否小于第三阈值，如果是，使用所述最优码率下载下一分片；否则，执行所述在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率及后续步骤。

本步骤中的所述当前缓存剩余时长为，当前缓存时长与下载下一分片多消耗的时长的差值；

所述下载下一分片多消耗的时长为，当前遍历到的码率与所述最优码率的差值，与所述下一分片的分片时长的乘积，再与预设时间内平均带宽的商。

本步骤为由高到低码率组切换流程。具体参见图2，图2为本申请实施例中启动高到低码率组切换流程示意图。具体步骤为：

步骤201，当所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级，且当前缓存时长不大于第三阈值时，将前一次下载分片的码率所在的码率组作为当前码率组。

步骤202，该终端设备选择等级比当前码率组低的码率组。

步骤203，该终端设备从高到低遍历该码率组中的码率。

步骤204，该终端设备确定当前遍历到的码率是否不大于所述最优码率，如果是，执行步骤207；否则，执行步骤205。

步骤205，该终端设备确定当前剩余缓存是否大于第三阈值，如果是，执行步骤208；否则，执行步骤206。

步骤206，该终端设备确定该码率组中是否还有未遍历到的码率，如果是，执行步骤203；否则，执行步骤202。

步骤207，该终端设备使用所述最优码率下载下一分片。结束本流程

步骤208，该终端设备使用当前遍历到的码率下载下一分片。

步骤105，当所述最优码率所在的码率组的等级，与前一次下载分片的码率所在的码率组的等级相同时，使用所述最优码率下载下一分片。

基于同样的发明构思，本申请实施例中还提出一种流媒体分片下载装置。参见图3，图3为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：接收单元301、存储单元302、决策单元303和处理单元304；

接收单元301，用于接收内容服务商下发的码率组等级，以及各码率组对应的码率；

存储单元302，用于将接收单元301接收到的码率组等级，以及各码率组对应的码率进行存储；

决策单元303，用于当确定当前缓存时长小于第一阈值，且当前不存在正在下载的分片时，通过MDP策略决策出最优码率；

处理单元304，用于将决策单元303决策出的最优码率所在的存储单元302中码率组，与前一次下载分片的码率所在的存储单元302中的码率组的等级进行比较；当确定所述最优码率所在的码率组，高于前一次下载分片的码率所在的码率组的等级时，若第一定时器不存在，则启动第一定时器，并使用前一次下载分片的码率下载下一分片；当确定所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级时，在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率，若遍历到大于所述最优码率，且满足当前缓存剩余时长大于第三阈值的码率，则使用遍历到的码率下载下一分片；否则，使用所述最优码率下载下一分片；当确定所述最优码率所在的码率组的等级，与前一次下载分片的码率所在的码率组的等级相同时，使用所述最优码率下载下一分片。

较佳地，

处理单元304，进一步用于当确定所述最优码率所在的码率组，高于前一次下载分片的码率所在的码率组的等级时，若第一定时器已存在，且确定第一定时器已超时，删除已超时的第一定时器，并确定当前缓存时长是否大于第二阈值，如果是，使用比前一次下载分片的码率所在的码率组高一级的码率组中最低码率下载下一分片；否则，使用前一次下载分片的码率下载下一分片；若第一定时器已存在，且确定第一定时器未超时，则使用前一次下载分片的码率下载下一分片。

较佳地，

处理单元304，进一步用于确定当前缓存时长不小于第一阈值时，启动第二定时器，第二定时器超时时，使用前一次下载分片的码率下载下一分片。

较佳地，

处理单元304，进一步用于当确定所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级时，进一步确定当前缓存时长是否小于第三阈值，如果是，使用所述最优码率下载下一分片；否则，执行所述在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率及后续步骤。

较佳地，

决策单元303，用于配置各码率对应的码率等级，码率等级不小于1且不大于N，N为码率的个数；配置各码率在不同状态下对应的奖惩值，作为评价函数值；将当前带宽分布作为计算概率转移矩阵的累积分布函数CDF中的带宽参数；在通过MDP策略决策出最优码率时，将前一次下载的分片还能在缓存中缓存时长和将前一次下载分片的码率对应的码率等级，分别作为MDP策略中的初始状态S(t0，q0)中的t0和q0；并根据状态转移概率矩阵和评价函数值确定各码率在不同状态下的行动集，进行MDP策略决策，决策出最优码率等级对应的最优码率。

较佳地，

决策单元303，进一步用于在决策的迭代过程中引入策略信息熵，对于任一迭代决策路径分支，在迭代预设次数后策略信息熵值大于预设熵阈值时，停止所述决策路径分支的迭代。

较佳地，

处理单元304，进一步用于根据周期检测预设时间内可用网络带宽值，采用泊松分布模拟网络带宽模型获得当前网络带宽分布并更新CDF。

上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。

综上所述，本申请通过终端设备确定当前缓存时长小于第一阈值，且当前不存在正在下载的分片时，通过MDP策略决策出最优码率；并将所述最优码率所在的码率组，与前一次下载分片的码率所在的码率组的等级进行比较；并根据比较结果确定下载下一分片的码率，能够在动态网络环境下实现流媒体的平滑播放。

本申请具体实施例中使用MDP模型从长远来看更能适应网络环境变化，信息熵用来表示信息量的大小，熵越大，信息量越小，因此在决策的某个策略分支上引入策略信息熵表示该路径上节点的信息熵之和，该值超过预设熵阈值(信息量过小)，停止该分支的决策，从而减少策略空间，实现快速决策和切换。另外，对UHD环境下可能存在从SD、HD和UHD的多码率，通过提供码率分组(可支持用户配置，同组码率相差应较小，根据模型决策切换不影响用户体验)，对于模型决策的组间切换进行Lasy的平滑切换，具体是：由等级低向等级高码率组切换时，通过等待一段时间，且切换到启动等待定时器前码率分组高一等级分组的最低码率选择分片，达到去除网络抖动和平滑切换的目的；对于从等级高到等级低码率组切换时，根据当前的媒体缓冲数据选择中间码率组中较高码率下载下一分片，提供高质量视频和平滑切换，通过组间的过渡切换，最终让用户获取更好的观看体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种流媒体分片下载方法，其特征在于，该方法包括：

终端设备接收并存储内容服务商下发的码率组等级，以及各码率组对应的码率；

所述终端设备确定当前缓存时长小于第一阈值，且当前不存在正在下载的分片时，通过马尔可夫决策过程MDP策略决策出最优码率；并将所述最优码率所在的码率组，与前一次下载分片的码率所在的码率组的等级进行比较；

当确定所述最优码率所在的码率组，高于前一次下载分片的码率所在的码率组的等级时，若第一定时器不存在，则启动第一定时器，并使用前一次下载分片的码率下载下一分片；

当确定所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级时，在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率，若遍历到大于所述最优码率，且满足当前缓存剩余时长大于第三阈值的码率，则使用遍历到的码率下载下一分片；否则，使用所述最优码率下载下一分片；

当确定所述最优码率所在的码率组的等级，与前一次下载分片的码率所在的码率组的等级相同时，使用所述最优码率下载下一分片。

2.根据权利要求1所述的方法，其特征在于，所述当确定所述最优码率所在的码率组，高于前一次下载分片的码率所在的码率组的等级时，所述方法进一步包括：

若第一定时器已存在，且确定第一定时器已超时，删除已超时的第一定时器，并确定当前缓存时长是否大于第二阈值，如果是，使用比前一次下载分片的码率所在的码率组高一级的码率组中最低码率下载下一分片；否则，使用前一次下载分片的码率下载下一分片；

若第一定时器已存在，且确定第一定时器未超时，则使用前一次下载分片的码率下载下一分片。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

所述终端设备确定当前缓存时长不小于第一阈值时，启动第二定时器，第二定时器超时时，使用前一次下载分片的码率下载下一分片。

4.根据权利要求1所述的方法，其特征在于，所述当确定所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级时，所述方法进一步包括：

确定当前缓存时长是否小于第三阈值，如果是，使用所述最优码率下载下一分片；否则，执行所述在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率及后续步骤。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述通过MDP策略决策出最优码率，包括：

配置各码率对应的码率等级，码率等级不小于1且不大于N，N为码率的个数；配置各码率在不同状态下对应的奖惩值，作为评价函数值；将当前带宽分布作为计算概率转移矩阵的累积分布函数CDF中的带宽参数；

将前一次下载的分片还能在缓存中缓存时长和将前一次下载分片的码率对应的码率等级，分别作为MDP策略中的初始状态S(t0，q0)中的t0和q0；并根据状态转移概率矩阵和评价函数值确定各码率在不同状态下的行动集，进行MDP策略决策，决策出最优码率等级对应的最优码率。

6.根据权利要求5所述的方法，其特征在于，所述方法进一步包括：

在决策的迭代过程中引入策略信息熵，对于任一迭代决策路径分支，在迭代预设次数后策略信息熵值大于预设熵阈值时，停止所述决策路径分支的迭代。

7.根据权利要求5所述的方法，其特征在于，所述方法进一步包括：

根据周期检测预设时间内可用网络带宽值，采用泊松分布模拟网络带宽模型获得当前网络带宽分布并更新CDF。

8.一种流媒体分片下载装置，其特征在于，该装置包括：接收单元、存储单元、决策单元和处理单元；

所述接收单元，用于接收内容服务商下发的码率组等级，以及各码率组对应的码率；

所述存储单元，用于将所述接收单元接收到的码率组等级，以及各码率组对应的码率进行存储；

所述决策单元，用于当确定当前缓存时长小于第一阈值，且当前不存在正在下载的分片时，通过马尔可夫决策过程MDP策略决策出最优码率；

所述处理单元，用于将所述决策单元决策出的最优码率所在的所述存储单元中的码率组，与前一次下载分片的码率所在的码率组的等级进行比较；当确定所述最优码率所在的码率组，高于前一次下载分片的码率所在的码率组的等级时，若第一定时器不存在，则启动第一定时器，并使用前一次下载分片的码率下载下一分片；当确定所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级时，在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率，若遍历到大于所述最优码率，且满足当前缓存剩余时长大于第三阈值的码率，则使用遍历到的码率下载下一分片；否则，使用所述最优码率下载下一分片；当确定所述最优码率所在的码率组的等级，与前一次下载分片的码率所在的码率组的等级相同时，使用所述最优码率下载下一分片。

9.根据权利要求8所述的装置，其特征在于，

所述处理单元，进一步用于当确定所述最优码率所在的码率组，高于前一次下载分片的码率所在的码率组的等级时，若第一定时器已存在，且确定第一定时器已超时，删除已超时的第一定时器，并确定当前缓存时长是否大于第二阈值，如果是，使用比前一次下载分片的码率所在的码率组高一级的码率组中最低码率下载下一分片；否则，使用前一次下载分片的码率下载下一分片；若第一定时器已存在，且确定第一定时器未超时，则使用前一次下载分片的码率下载下一分片。

10.根据权利要求8所述的装置，其特征在于，

所述处理单元，进一步用于确定当前缓存时长不小于第一阈值时，启动第二定时器，第二定时器超时时，使用前一次下载分片的码率下载下一分片。

11.根据权利要求8所述的装置，其特征在于，

所述处理单元，进一步用于当确定所述最优码率所在的码率组的等级，低于前一次下载分片的码率所在的码率组的等级时，进一步确定当前缓存时长是否小于第三阈值，如果是，使用所述最优码率下载下一分片；否则，执行所述在比前一次下载分片的码率所在的码率组等级低的码率组中从高到低遍历各码率及后续步骤。

12.根据权利要求8-11任意一项所述的装置，其特征在于，

所述决策单元，用于配置各码率对应的码率等级，码率等级不小于1且不大于N，N为码率的个数；配置各码率在不同状态下对应的奖惩值，作为评价函数值；将当前带宽分布作为计算概率转移矩阵的累积分布函数CDF中的带宽参数；在通过MDP策略决策出最优码率时，将前一次下载的分片还能在缓存中缓存时长和将前一次下载分片的码率对应的码率等级，分别作为MDP策略中的初始状态S(t0，q0)中的t0和q0；并根据状态转移概率矩阵和评价函数值确定各码率在不同状态下的行动集，进行MDP策略决策，决策出最优码率等级对应的最优码率。

13.根据权利要求12所述的装置，其特征在于，

所述决策单元，进一步用于在决策的迭代过程中引入策略信息熵，对于任一迭代决策路径分支，在迭代预设次数后策略信息熵值大于预设熵阈值时，停止所述决策路径分支的迭代。

14.根据权利要求12所述的装置，其特征在于，

所述处理单元，进一步用于根据周期检测预设时间内可用网络带宽值，并采用泊松分布模拟网络带宽模型获得当前网络带宽分布并更新CDF。