CN105306970B - 一种流媒体直播发送速度的控制方法及装置 - Google Patents

Abstract

本发明涉及一种流媒体控制方法及装置，属于流媒体播放领域，具体涉及一种流媒体直播发送速度的控制方法及装置。本发明首先将编码数据缓冲起来，同时计算生成数据的平均码率，按照计算的平均码率控制数据量的发送时间。因此，本发明具有如下优点：（1）服务质量更高，由于发送数据具有平滑性，并且较好的考虑到了实际网络情况，因而减少了丢包概率，从而减少了花屏情况的发生，很好的改善了用户的观看体验；（2）网络负担更轻，由于数据发送的比较均匀，因而也减少了网络的负担。

Description

一种流媒体直播发送速度的控制方法及装置

技术领域

本发明涉及一种流媒体控制方法及装置，属于流媒体播放领域，具体涉及一种流媒体直播发送速度的控制方法及装置。

背景技术

QoS（Quality of Service，服务质量）指一个网络能够利用各种基础技术，为指定的网络通信提供更好的服务能力, 是网络的一种安全机制， 是用来解决网络延迟和阻塞等问题的一种技术。 在正常情况下，如果网络只用于特定的无时间限制的应用***，并不需要QoS，比如Web应用，或E-mail设置等。但是对关键应用和多媒体应用就十分必要。当网络过载或拥塞时，QoS 能确保重要业务量不受延迟或丢弃，同时保证网络的高效运行。

流媒体是指视频、音频以数据流的形式向目的地传输，同时它也可以做为连续实时流在目的地被接收。在网络带宽和网络应用的相互促进下，流媒体的相关技术在众多宽带业务中得以应用，如网络电视，视频直播，网络会议等等。

在流媒体的相关的应用中接收端有一定的的缓存空间，媒体数据被缓存一定时间后，将根据媒体数据携带的时间信息进行解码输出。若流媒体输入缓存的速率与解码输出的速率不一致，就可能会出现接收端级存的上溢和下溢，影响相关业务的服务质量。为了避免接收端出现数据的上溢和下溢，需要进行速率控制，这种速率的控制有两种基本方法：

（1）交互式控制方式：接收端和发送端通过交互，实现控制发送端的发送速率；

（2）非交互式控制方式：严格控制发送端发送速率，使其与接收端所需求的速率一致。

在流媒体编码中，一般有I、P和B 三种帧，其中：I帧为帧内编码帧，用于尽可能去除图像空间冗余信息来压缩传输数据量的帧内编码图像；P帧为前向预测编码帧，用于通过充分将低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像，因而也叫预测帧； B帧为双向预测内插编码帧，它既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像，因而也叫双向预测帧。一般地，I帧压缩效率最低，P帧较高，B帧最高。

实时多媒体业务以及各种非实时业务在Internet上的应用愈加广泛，而这些应用有不同的Qos需求，如不同的带宽、延迟和抖动要求。由于TCP/IP采用尽力而为的思想，随着业务流量显著增加，报文丢失率随之上升，网络性能下降。在网络中引入Qos的概念，并通过多种手段支持各种业务对Qos的不同需求，是当前网络研究的一个热点。

另一方面，网络规模的不断扩大、网络结构的日趋复杂，加重了网络管理、网络运作的负担，而网络管理的效果直接影响到网络的运行质量。如何进行合理的资源分配和流量规划，提高网络管理效率，是改善网络运行质量的重要问题。

流媒体直播技术是指支持多媒体数据流通过网络由采集端向服务器推流，服务器向客户端转发并分发，接收方边接收边播放的过程。与传统的先下载后播放的做法相比，流媒体技术有很大的优势，如实时性强，有利于保护版权等。但是流媒体技术存在一个严重的问题：图象质量问题。问题的表现为播放时常出现画面模糊、马赛克、播放断续停顿等现象，影响客户的观看效果，也阻碍了流媒体技术的进一步推广。本方案就是针对流媒体存在的这些问题，研究如何在给定的网络条件下有效地提升流媒体的传输质量。

考虑到网络技术本身的特点，这就导致很难为流媒体应用提供绝对的质量保证，本方案主要在流媒体发送控制部分做比较精确的控制，以求在不同的网络环境下使用户尽可能享受到好的图象质量和实时性并尽量减轻网络的负担。

发明内容

本发明主要是解决现有技术所存在的流媒体应用质量难以保证的技术问题，提供了一种流媒体直播发送速度的控制方法及装置。该方法及装置由于发送数据具有平滑性，并且较好的考虑到了实际网络情况，因而减少了丢包概率，从而减少了花屏情况的发生，很好的改善了用户的观看体验；并且，由于数据发送的比较均匀，因而也减少了网络的负担。

为了解决上述问题，根据本发明的一个方面，提供了一种流媒体直播发送速度的控制方法，包括：

实时监控步骤：在数据实时发送的过程中，实时监测当前待发送数据的数据量与当前带宽的适配情况，判断是否发生数据溢出；

正常发送步骤：当获取到没有发生数据溢出时，则继续发送下一个待发送数据；

溢出控制步骤，当获取到发生数据溢出时，缓冲当前待发送数据，按照计算的平均码率发送缓冲的数据；

其中，所述溢出控制步骤具体包括以下子步骤：

数据缓冲子步骤：将当前待发送数据调入缓冲区进行数据缓冲，缓冲的具体过程是：计算当前缓冲区内待发送数据的数据生成时间，从而得到编码数据的平均码率；

数据发送子步骤，将当前进入缓冲区的待发送数据按照获取的平均码率控制缓冲区内的待发送数据的发送时间。

优化的，上述的一种流媒体直播发送速度的控制方法，所述实时监控步骤中随机选择执行以下监控方法，且选择一种监控方法后，保持该监控方法直至该流媒体所有数据发送完毕：

监控方法一：位于缓冲区的待发送数据发送结束后，直接按照上一进入缓冲区的待发送数据的平均码率发送下一待发送数据，并监测当前发送的数据量与当前带宽的适配，判断是否发生溢出；

监控方法二：位于缓冲区的待发送数据发送结束后，下一待发送数据继续进入缓冲区，进行数据缓冲子步骤，此时，实时监测关闭并退出本步骤；在选择监控二中，实时监测始终启动直至首次监测到数据溢出后关闭。

优化的，上述的一种流媒体直播发送速度的控制方法，待发送数据以画面组为单位，数据缓冲子步骤中计算画面组编码数据的平均码率，并且在数据发送子步骤中，按照画面组编码数据的平均码率发送画面组编码数据。

优化的，上述的一种流媒体直播发送速度的控制方法，基于公式B=T/M计算平均码率，其中，T为一个画面组的数据总和，

M为生成一个画面组花费的时间，B为平均码率。

为了解决上述问题，根据本发明的另一个方面，提供了一种流媒体直播发送速度的控制装置，包括：

实时监控模块：用于在数据实时发送的过程中，实时监测当前待发送数据的数据量与当前带宽的适配情况，判断是否发生数据溢出；

正常发送模块：用于当获取到没有发生数据溢出时，继续发送下一个待发送数据；

溢出控制装置，用于当获取到发生数据溢出时，缓冲当前待发送数据，按照计算的平均码率发送缓冲的数据；

其中，所述溢出控制装置具体包括以下单元：

数据缓冲单元：将当前待发送数据调入缓冲区进行数据缓冲，缓冲的具体过程是：计算当前缓冲区内待发送数据的数据生成时间，从而得到编码数据的平均码率；

数据发送单元，将当前进入缓冲区的待发送数据按照获取的平均码率控制缓冲区内的待发送数据的发送时间。

优化的，上述的一种流媒体直播发送速度的控制装置，所述实时监控模块中随机选择调用以下监控单元，且选择一种监控单元后，直至该流媒体所有数据发送完毕，监控单元不变：

第一选择监控单元：用于在缓冲区的待发送数据发送结束后，直接按照上一进入缓冲区的待发送数据的平均码率发送下一待发送数据，并监测当前发送的数据量与当前带宽的适配，判断是否发生溢出；

第二选择监控单元：用于在缓冲区的待发送数据发送结束后，继续缓冲下一待发送数据，调用数据缓冲单元，此时，实时监测关闭；在第二选择监控单元中，实时监测始终启动直至首次监测到数据溢出后关闭。

优化的，上述的一种流媒体直播发送速度的控制装置，待发送数据以画面组为单位，数据缓冲单元中计算画面组编码数据的平均码率，并且在数据发送单元中，按照画面组编码数据的平均码率发送画面组编码数据。

优化的，上述的一种流媒体直播发送速度的控制装置，所述数据缓冲单元基于公式B=T/M计算平均码率，其中，T为一个画面组的数据总和，M为生成一个画面组花费的时间，B为平均码率。

因此，本发明具有如下优点：（1）服务质量更高，由于发送数据具有平滑性，并且较好的考虑到了实际网络情况，因而减少了丢包概率，从而减少了花屏情况的发生，很好的改善了用户的观看体验；（2）网络负担更轻，由于数据发送的比较均匀，因而也减少了网络的负担。

附图说明

附图1是h264的编码序列图；

附图2是本发明缓冲部分数据后平滑发流数据方式的数据流示意图；

附图3是本发明以GOP为单位缓冲部分数据后平滑发流数据方式的数据流示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

如图1所示，为h264的一个编码序列，由于产生的各个帧的数据量的大小不同，如果不对发送做控制，对生成的数据不做任何缓冲就发送的情况下，发送的流量图与图1类似，生成的数据在有限的发送带宽的条件下，很容易造成数据量最大的I帧在发送的过程中产生数据的丢失。由于丢失数据的为I帧的数据，这样会导致后续的B帧和P帧的参照帧I帧数据不全而导致解码出错，从而产生连续的花屏现象。

针对上述问题，本实施例采取了缓冲部分数据后平滑发流数据的方式：首先将编码数据缓冲起来，同时计算生成数据的平均码率，按照计算的平均码率控制数据量的发送时间，如果编码数据是CBR方式，经常这种方式处理之后的发送数据曲线比较接近于直线，如果编码数据是VBR方式，经过这种处理方式之后，也可以得到相对平滑的发送曲线。针对图1产生的数据，按本方案处理之后发送曲线如图2所示。

如图3所示，是以GOP为单位缓冲部分数据后平滑发流数据方式的数据流示意图。GOP在视频编码序列中，GOP即Group of picture（图像组），指两个I帧之间的距离 。具体计算过程为：以一个GOP为单位计算数据生成的时间，从而得到以一个GOP组相对应的平均码率，然后以该码率为单位将缓冲区中的数据均匀地发送出去，这样在一个GOP组的时间内我们可以得到比较平直的发送曲线。

本发明中，基于公式B=T/M计算平均码率，其中，T为一个画面组的数据总和，单位为字节；M为生成一个画面组花费的时间，单位为毫秒；B为平均码率。

例如，当采用上述公式得到平均码率的值是 56字节/毫秒，设置程序的发送单位是10毫秒发送一次，则一次就发送56*10=560个字节的数据。

由于数据比较平滑的发送给服务器端，在网络不稳定的情况下可以很好的改善数据丢包的情况，提高用户在观看体验。并能在不同的网络环境得到比较好的传输效果，同时减轻网络的负担，不至于发送的数据量一会大一会小，减小了交换机在遇到数据发送峰值时工作压力。有效的减少了数据丢包的频率，减少了客户端在收看时花屏的概率。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种流媒体直播发送速度的控制方法，其特征在于，包括：

一个实时监控步骤：在数据实时发送的过程中，实时监测当前待发送数据的数据量与当前带宽的适配情况，判断是否发生数据溢出；

一个正常发送步骤：当获取到没有发生数据溢出时，则继续发送下一个待发送数据；

一个溢出控制步骤，当获取到发生数据溢出时，缓冲当前待发送数据，按照计算的平均码率发送缓冲的数据，具体包括以下子步骤：

数据缓冲子步骤：将当前待发送数据调入缓冲区进行数据缓冲，缓冲的具体过程是：计算当前缓冲区内待发送数据的数据生成时间，从而得到编码数据的平均码率；

数据发送子步骤，将当前进入缓冲区的待发送数据按照获取的平均码率控制缓冲区内的待发送数据的发送时间进行发送。

2.根据权利要求1所述一种流媒体直播发送速度的控制方法，其特征在于，所述实时监控步骤中随机选择执行以下监控方法，且选择一种监控方法后，直至该流媒体所有数据发送完毕，监控方法不变：

选择监控方法一：位于缓冲区的待发送数据发送结束后，直接按照上一进入缓冲区的待发送数据的平均码率发送下一待发送数据，并监测当前发送的数据量与当前带宽的适配，判断是否发生溢出；

选择监控方法二：位于缓冲区的待发送数据发送结束后，实时监测始终启动直至首次监测到数据溢出后关闭，下一待发送数据继续进入缓冲区，进行数据缓冲子步骤。

3.根据权利要求1所述一种流媒体直播发送速度的控制方法，其特征在于，待发送数据以画面组为单位，数据缓冲子步骤中计算画面组编码数据的平均码率，并且在数据发送子步骤中，按照画面组的平均码率发送画面组编码数据。

4.根据权利要求1所述一种流媒体直播发送速度的控制方法，其特征在于，基于公式B＝T/M计算平均码率，其中，T为一个画面组的数据总和，M为生成一个画面组花费的时间，B为平均码率。

5.一种流媒体直播发送速度的控制装置，其特征在于，包括：

一个实时监控模块：用于在数据实时发送的过程中，实时监测当前待发送数据的数据量与当前带宽的适配情况，判断是否发生数据溢出；

一个正常发送模块：用于当获取到没有发生数据溢出时，继续发送下一个待发送数据；

一个溢出控制装置，用于当获取到发生数据溢出时，缓冲当前待发送数据，按照计算的平均码率发送缓冲的数据，具体包括以下单元：

数据缓冲单元：将当前待发送数据调入缓冲区进行数据缓冲，缓冲的具体过程是：计算当前缓冲区内待发送数据的数据生成时间，从而得到编码数据的平均码率；

数据发送单元，将当前进入缓冲区的待发送数据按照获取的平均码率控制缓冲区内的待发送数据的发送时间进行发送。

6.根据权利要求5所述一种流媒体直播发送速度的控制装置，其特征在于，所述实时监控模块中随机选择调用以下监控单元，且选择一种监控单元后，直至该流媒体所有数据发送完毕，监控单元不变：

第一选择监控单元：用于在缓冲区的待发送数据发送结束后，直接按照上一进入缓冲区的待发送数据的平均码率发送下一待发送数据，并监测当前发送的数据量与当前带宽的适配，判断是否发生溢出；

第二选择监控单元：用于在缓冲区的待发送数据发送结束后，实时监测始终启动直至首次监测到数据溢出后关闭，然后继续缓冲下一待发送数据，调用数据缓冲单元。

7.根据权利要求5所述一种流媒体直播发送速度的控制装置，其特征在于，待发送数据以画面组为单位，数据缓冲单元中计算画面组编码数据的平均码率，并且在数据发送单元中，按照画面组的平均码率发送画面组编码数据。

8.根据权利要求5所述一种流媒体直播发送速度的控制装置，其特征在于，所述数据缓冲单元基于公式B＝T/M计算平均码率，其中，T为一个画面组的数据总和，M为生成一个画面组花费的时间，B为平均码率。