CN114501052A - 直播数据处理方法、云平台、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种直播数据处理方法、云平台、计算机设备和存储介质，可应用于视频直播。方法包括：在上行接入节点，将直播终端推流的直播数据流推送至媒体处理节点；在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点；在所述内容分发节点，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端；其中，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发；最后一个缓存队列的缓存单位为画面组。能够减少由于直播上行推流网络不稳定或音视频采集设备不稳定导致的下行用户观看卡顿。

Description

直播数据处理方法、云平台、计算机设备和存储介质

技术领域

本申请涉及云平台技术领域和直播技术领域，特别是涉及一种直播数据处理方法、云平台、计算机设备和存储介质。

背景技术

随着云平台技术和直播技术的发展，通过云平台进行的音视频服务，具有高并发、低延迟和易接入等优点，能够适用于直播电商、娱乐直播、在线教育和音视频互动等多种场景应用。

由于直播过程中音视频数据实时下发给观看用户，推流端上行网络或音视频设备采集不稳定造成，容易导致下行观看终端在观看过程中出现卡顿。

发明内容

基于此，有必要针对上述技术问题，提供一种能够减少卡顿的直播数据处理方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种直播数据处理方法，所述方法包括：

在上行接入节点，将直播终端推流的直播数据流推送至媒体处理节点；

在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点；

在所述内容分发节点，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端；

其中，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发；最后一个缓存队列的缓存单位为画面组。

第二方面，本申请还提供一种直播数据处理云平台，包括：

上行接入节点，用于将直播终端推流的直播数据流推送至媒体处理节点；

媒体处理节点，用于对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点；

所述内容分发节点，用于响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端；

其中，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发；最后一个缓存队列的缓存单位为画面组。

第三方面，本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

在上行接入节点，将直播终端推流的直播数据流推送至媒体处理节点；

在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点；

在所述内容分发节点，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端；

其中，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发；最后一个缓存队列的缓存单位为画面组。

第四方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

在上行接入节点，将直播终端推流的直播数据流推送至媒体处理节点；

在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点；

在所述内容分发节点，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端；

其中，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发；最后一个缓存队列的缓存单位为画面组。

第五方面，本申请还提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：

在上行接入节点，将直播终端推流的直播数据流推送至媒体处理节点；

在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点；

在所述内容分发节点，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端；

其中，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发；最后一个缓存队列的缓存单位为画面组。

上述直播数据处理方法、云平台、计算机设备、存储介质和计算机程序产品，在平台的一次缓存的基础上，增加二次数据缓存，第二次缓存与第一次缓存具有一次时间差，从而观看端与直播终端的直播具有两次时间差。即使由于观看终端配置的缓存大小的原因，需要丢弃多余的缓存媒体流，但由于在云平台还存在一次缓存处理，最终观看终端相对于直播终端的延时为一次缓存的时间差+终端配置的缓存大小。当推流端上行网络或音视频设备采集不稳定造成的累积时长超过终端接收能缓存时长以后，由于还在云平台存在一次缓存的时间差，因此为卡顿增加一些容忍时间，从而减少由于直播上行推流网络不稳定或音视频采集设备不稳定导致的下行用户观看卡顿。

附图说明

图1为一个实施例中直播数据处理方法的应用环境图；

图2为一个实施例中直播数据处理方法的流程示意图；

图3为一个实施例中直播云平台工作流程示意图；

图4为另一个实施例中直播云平台数据流向示意图；

图5为另一个实施例中直播云平台数据流向示意图；

图6为另一个实施例中直播云平台数据流向示意图；

图7为另一个实施例中直播云平台数据流向示意图；

图8为另一个实施例中直播云平台数据流向示意图；

图9为另一个实施例中直播云平台数据流向示意图；

图10为另一个实施例中直播云平台数据流向示意图；

图11为另一个实施例中直播云平台数据流向示意图；

图12为另一个实施例中直播云平台数据流向示意图；

图13为另一个实施例中直播云平台数据流向示意图；

图14为一个实施例中直播效果说明示意图；

图15为一个实施例中直播云平台的架构示意图；

图16为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的直播数据处理方法，可以应用于如图1所示的应用环境中。其中，直播终端102与云平台104通信，观看终端106与云平台104进行通信。云平台具有上行接入点1041、媒体处理节点1042和内容分发节点1043。直播终端102为带摄像头的终端，如PC台式机、智能手机等，直播终端102对音视频数据进行采集、量化、编码和封装后得到直播数据流，通过RTMP等传输容器格式协议传输到云平台的上行接入模块。在上行接入节点1041，将直播终端推流的直播数据流推送至媒体处理节点。在媒体处理节点1042，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点。在所述内容分发节点1043，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端。其中，在所述上行接入节点1041、媒体处理节点1042和所述内容分发节点1043设置至少两个缓存队列，使得下发至所述观看终端的媒体流的相关数据在云平台进行两次缓存处理。

其中，云平台可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电和车载终端等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在一个实施例中，如图2所示，提供了一种直播数据处理方法，以该方法应用于图1中的云平台为例进行说明，包括以下步骤：、

步骤202，在上行接入节点，将直播终端推流的直播数据流推送至媒体处理节点。

一个实施例中，直播云平台的基本架构如图3所示，基于图3的基本架构，直播流程如下：

1、主播上行通过直播终端(带摄像头终端如PC台式机、智能手机等)设备对音视频数据进行采集、量化、编码、封装后通过媒体流传输容器格式协议上传到平台上行接入模块。其中，媒体流传输容器格式协议可以为RTMP/TS/WebRTC等。

2、上行(upload)接入节点根据直播用户上传所带鉴权信息参数到鉴权中心鉴定是否有直播权限。

3、媒体处理节点根据下行用户观看音视频格式进行媒体处理，媒体处理包括：音视频媒体容器格式转封装和音视频转码等媒体处理，并分发到各内容分发接入集群。基于不同的终端需求，音视频格式可以为FLV、HLS、DASH、CMAF等。

4、媒体接入点录制、截图存储音视频文件到分布式文件***。

5、审核监测模块对截图进行审核鉴定，如果是违法视频实时通知鉴权中心禁止主播直播和用户观看。

6、观看终端根据需求选择音视频格式到CDN分发中心就近观看直播。

基于上述的直播云平台，上行接入节点接收直播终端推流的直播数据流。

步骤204，在媒体处理节点对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发网络。

其中，媒体处理是一种多媒体数据处理服务，能够将多媒体数据转码成适合在全平台播放的格式，如FLV、HLS、DASH、CMAF。媒体处理包括音视频媒体容器格式转封装和/或音视频转码等媒体处理。媒体处理由云平台的媒体处理节点进行处理。

通过媒体处理，将直播数据流处理为不同终端所支持的音视频格式，即媒体流，如FLV、HLS、DASH、CMAF等。比如，上行主播推流的音视频格式是RTMP(H.264/AAC)，但用户下地观看时可以根据终端设备和网络情况可以选择FLV/HLS/DASH或者H.264/H.265/AV1等。通过媒体处理，能够根据用户下行的选择进行相关的媒体处理，如转封装处理为用户所需要的媒体容器，转码为用户所需要的编码格式，得到相关的媒体流。

步骤206，在所述内容分发节点响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端。

内容分发节点，具体是云平台的内容分发网络(CDN，Content DeliveryNetwork)，其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN***能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。

当观看终端触发直播观看请求时，直播观看请求被发送至内容分发网络，由内容分发网络中最接近用户的CND节点响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端，使用户就近取得所请求的直播。

本实施例中，在所述上行接入节点、媒体处理节点和所述内容分发节点设置至少两个缓存队列，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发，最后一个缓存队列的缓存单位为画面组。

其中，在推流方向上的最后一个缓存队列是最靠近观看终端的缓存队列，其缓存单位为画面组(GOP(Group Of Pictures)，是由固定模式的一系列I帧、P帧、B帧组成)，其将缓存的全部直播数据向下一业务节点下发。例如，若最后一个缓存队列设置在内容分发节点，则下一业务节点为观看终端。若最后一个缓存队列设置在媒体处理节点，则下一业务节点为内容分发节点。

由于在推流方向上的最后一个缓存队列是最靠近观看终端的缓存队列，通过将其缓存的全部直播数据向下一业务节点下发，能够使观看端与直播终端的直播具有一次时间差，从而对于观看终端而言，有了一定的缓存，可以减少用户观看过程中如网络抖动、主播上行音视频数据不稳定，CND节点回源网络异常等导致用户观看过程中的直播卡顿。最后一个缓存队列的缓存也不是越大越好，太大会导致用户直播观看延时增大，在实际应用中，可以结合业务需求进行设置。例如，对于直播延时需求较高的交互性直播，可以减少缓存大小，对于直播延时需求较小的娱乐性直播，可以适当增加缓存大小。

虽然最后一个缓存队列的配置，使观看端与直播终端的直播具有一次时间差，能够一定程度上解决用户观看过程中如网络抖动，但观看终端由于内存/CPU/GPU等硬件配置不一样以及延时综合考虑，给缓存的数据也不一样，当超过观看终端配置的缓存大小就会丢掉下发的多余缓存媒体流。例如，平台的次缓存的大小为5秒，终端配置的缓存大小为2秒，则超过终端配置的3秒缓存数据将被丢掉，对于终端而言只能接收到2秒缓存。那么，当推流端上行网络或音视频设备采集不稳定造成的累积时长超过终端接收能缓存时长以后，观看终端仍会出现卡顿。例如，当推流端上行网络或音视频设备采集不稳定造成的累积时长超过2秒(终端配置的缓存大小)时，下行观看用户就会卡顿。

针对这个问题，在平台的一次缓存的基础上，增加二次数据缓存，第二次缓存与第一次缓存具有一次时间差，从而观看端与直播终端的直播具有两次时间差。具体地，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发。

即使由于观看终端配置的缓存大小的原因，需要丢弃多余的缓存媒体流，但由于在云平台的最后一次缓存之前，还存在至少一次缓存处理，最终观看终端相对于直播终端的延时为一次缓存的时间差+终端配置的缓存大小。其中，在推流方向上的第一个缓存队列为一个定时器，定时驱动缓存队列以帧为单位将数据下发给下一处理节点，即一帧一帧地向下一业务节点下发。其中，缓存队列驱动FPS(每秒传输帧数,Frames Per Second)单位与上行主播推源FPS单位相同。因此，云平台中的每一个缓存队列都相当于在服务端设置了一个播放缓存。第一个缓存队列在最后一个缓存队列之前，能够避免观看终端由于缓存大小的限制丢掉较多缓存，增加由于推流上行网络或音视频设备采集不稳定抖动场景下导致下行用户观看卡顿的抗性，尽量减少由于直播上行推流网络不稳定或音视频采集设备不稳定导致的下行用户观看卡顿。具体而言，可以是相关数据在云平台的上行接入点、媒体处理节点和内容分发节点中的任意两个节点分别各进行一次缓存，可以是在上行接入点进行两次缓存，可以是在云平台的媒体处理节点进行两次缓存，还可以是在云平台的内容分发节点进行两次缓存。

可以理解的是，在云平台的上行接入点、媒体处理节点和内容分发节点对直播数据的处理是流式处理，因此，两次缓存处理也存在先后顺序，可以在上行接入点对直播数据流先后进行两次缓存处理后，推送至媒体处理节点。还可以是在上行接入点对直播数据流进行第一次缓存处理后，推送至媒体处理节点，再在媒体处理节点对直播数据流进行媒体处理后，将得到的媒体流进行第二次缓存处理。还可以是在媒体处理节点对直播数据流进行媒体处理后，对媒体流进行第一次缓存，再对第一次缓存的数据进行分发至内容分发节点，在内容分发节点进行第二次缓存后，将数据下发至观看终端。还可以是在媒体处理节点对直播数据流进行媒体处理后，将媒体流分发至内容分发节点，在内容分发节点对媒体流先后进行二次缓存后，将数据下发至观看终端。

因此，本实施例中，在平台的一次缓存的基础上，增加二次数据缓存，第二次缓存与第一次缓存具有一次时间差，从而观看端与直播终端的直播具有两次时间差。即使由于观看终端配置的缓存大小的原因，需要丢弃多余的缓存媒体流，但由于在云平台还存在一次缓存处理，最终观看终端相对于直播终端的延时为一次缓存的时间差+终端配置的缓存大小。当推流端上行网络或音视频设备采集不稳定造成的累积时长超过终端接收能缓存时长以后，由于还在云平台存在一次缓存的时间差，因此为卡顿增加一些容忍时间，从而减少由于直播上行推流网络不稳定或音视频采集设备不稳定导致的下行用户观看卡顿。

一个实施例中，云平台的处理模块如图4所示，包括：上行接入节点401，媒体处理节点402和内容分发节点403。

在上行接入节点401，将直播终端推流的直播数据流推送至媒体处理节点402。在媒体处理节点402，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点403。在所述内容分发节点403，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端。

本实施例中，云平台设置了第一缓存队列和第二缓存队列。在云平台通过上行接入节点、媒体处理节点和内容分发节点对直播数据进行处理中，还利用第一缓存队列和第二缓存队列对相关数据进行缓存。

其中，一种方式如图5所示，第一缓存队列5011设置在上行接入点501，第二缓存队列5022设置在媒体处理节点502。其中，媒体处理节点502利用媒体处理模块5021对直播数据流进行媒体处理。对于在媒体处理节点设置第二缓存队列，有图5和图6所示的两种不同方式。

如图5所示的方式中，在上行接入点501，获取直播终端推流的直播数据流，将所述直播数据流存入第一缓存队列5011，将所述第一缓存队列5011中的直播数据流以帧为单位推送至媒体处理节点5022。在媒体处理节点502，媒体处理模块5021设置在第二缓存队列5022前，即在媒体处理节点502，媒体处理模块5021对获取的直播终端的直播数据流进行媒体处理，得到媒体流，将所述媒体流存入第二缓存队列5022，将所述第二缓存队列中缓存的全部媒体流分发至内容分发节点503。在所述内容分发节点503，响应观看终端发送的直播观看请求，将媒体流下发至所述观看终端。

可以理解的是，媒体处理模块5021可以有多个，每个媒体处理模块可以进行不同的类型的媒体处理，如音视频媒体容器格式转封装和音视频转码处理。

如图6所示的方式中，在上行接入点601，获取直播终端推流的直播数据流，将所述直播数据流存入第一缓存队列6011。将所述第一缓存队列6011中的直播数据流以帧为单位推送至媒体处理节点602。在媒体处理节点602，媒体处理模块6022设置在第二缓存队列6021后，即在媒体处理节点，将获取的直播终端的直播数据流存在第二缓存队列6021，将所述第二缓存队列6021中的缓存的全部直播数据流进行媒体处理，得到媒体流；将所述媒体流分发至内容分发节点。在所述内容分发节点503，响应观看终端发送的直播观看请求，将媒体流下发至所述观看终端。

可以理解的是，媒体处理模块5021可以有多个，每个媒体处理模块可以进行不同的类型的媒体处理，如音视频媒体容器格式转封装和音视频转码处理。

针对媒体处理节点有两种不同类型的媒体处理方式，在媒体处理节点设置的第二缓存模块，还可以设置在两种媒体处理模块之间。即一种媒体处理方式结束后，进行缓存处理，再进行第二种媒体处理方式。以媒体处理方式为容器转封装处理和音视频转码处理为例，在媒体处理节点，利用容器转封装模块进行容器转封装处理，利用音视频转码模块进行音视频转码处理。如图7所示，第二缓存队列7023可设置在容器转封装模块7021和音视频转码模块7022之间。

如图7所示，在上行接入点701，获取直播终端推流的直播数据流，将所述直播数据流存入第一缓存队列7011，将所述第一缓存队列中的直播数据流以帧为单位推送至媒体处理节点702。在媒体处理节点702，容器转封装模块7021对获取的直播终端的直播数据流进行容器转封装处理，将容器转封装处理后的直播数据流存在第二缓存队列7023，将所述第二缓存队列7023中缓存的全部直播数据流进行音视频转码处理，得到媒体流；将所述媒体流分发至内容分发节点703。

上述三种方式，均是将第一缓存队列设置在上行接入节点，将第二缓存队列设置在媒体处理节点，区别在于第二缓存队列设置在媒体处理模块前，或媒体处理模块后，或两个不同媒体处理模块之间(即在媒体处理节点，可先将直接数据流进行一次缓存处理后，再通过媒体处理模块进行处理)。对应的，在媒体处理结点，可以将直播数据流进行媒体处理之后，再将处理得到的媒体流进行一次缓存处理。还可以是进行一次媒体处理之后，进行缓存，再利用缓存的数据进行另一种媒体处理。这三种方式均能够达到相同的二次缓存的效果，能够降低卡顿，区别仅在于处理的顺序不同。

在另一个实施例中，如图8所示，第一缓存队列设置在上行接入点801，第二缓存队列设置在内容分发节点802。如图8所示的方式中，在上行接入点801，获取直播终端推流的直播数据流，将所述直播数据流存入第一缓存队列8011，将所述第一缓存队列8011中的直播数据流以帧为单位推送至媒体处理节点802。在媒体处理节点802，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，将所述媒体流分发至内容分发节点803。在所述内容分发节点，将分发的媒体流存入第二缓存队列8031；响应观看终端发送的直播观看请求，将第二缓存队列缓存的全部所述媒体流下发至所述观看终端。

上述方式，将第一缓存队列设置在上行接入节点，将第二缓存队列设置在内容分发节点，利用二次缓存，能够降低卡顿。

在另一个实施例中，第一缓存队列设置在所述媒体处理节点；所述第二缓存队列设置在所述内容分发节点。

其中，在媒体处理节点，第一缓存队列的方式可以如媒体处理节点设置第二缓存队列的方式相同，如，可以设置在媒体处理模块之前，设置在媒体处理模块之后，或是两次不同媒体处理模块之间。

本实施例中，以第一缓存队列设置在媒体处体节点的媒体处理模块之后，为例，如图9所示，在上行接入节点901，将直播终端推流的直播数据流推送至媒体处理节点902。在媒体处理节点902，媒体处理模块9021对获取的直播终端的直播数据流进行媒体处理，得到媒体流，将所述媒体流存入第一缓存队列9022，将所述第一缓存队列9022中的媒体流以帧为单位分发至内容分发节点903。在所述内容分发节点903，将分发的媒体流存入第二缓存队列9031；响应观看终端发送的直播观看请求，将第二缓存队列9031缓存的全部所述媒体流下发至所述观看终端。

上述方式，将第一缓存队列设置在媒体处理节点，将第二缓存队列设置在内容分发节点，利用二次缓存，能够降低卡顿。

在另一个实施例中，在云平台设置二个缓存队列的方式，还可以是将两个缓存队列同时设置在相同的处理节点，也可以达到二次缓存，降低卡顿的效果。具体地，所述第一缓存队列和所述第二缓存队列同时设置在所述上行接入节点，或同时设置在所述媒体处理节点，或同时设置在所述内容分发节点。

如图10所示，所述第一缓存队列9011和所述第二缓存队列9012同时设置在所述上行接入节点901时。在所述上行接入节点901，获取直播终端推流的直播数据流，将所述直播数据流存入第一缓存队列9011，将所述第一缓存队列中的直播数据流以帧为单位下发至第二缓存队列9012，将所述第二缓存队列中缓存的全部直播数据流推送至所述媒体处理节点902。在媒体处理节点902，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点903。在所述内容分发节点903，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端。

如图11所示，所述第一缓存队列1310和所述第二缓存队列1032同时设置在所述内容分发节点1003。在上行接入节点1001，将直播终端推流的直播数据流推送至媒体处理节点1002。在媒体处理节点1002，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点1003。在所述内容分发节点1003将分发的媒体流存入第一缓存队列1031，将所述第一缓存队列中的媒体流以帧为单位下发至第二缓存队列1032；响应观看终端发送的直播观看请求，将第二缓存队列1032缓存的全部所述媒体流下发至所述观看终端。

当将第一缓存队列和第二缓存队列同时设置在媒体处理节点时，如图12所示，可以将第一缓存队列1222和第二缓存队列1223同时设置在媒体处理模块1221之后。在上行接入节点121，将直播终端推流的直播数据流推送至媒体处理节点。在媒体处理节点122，媒体处理模块1221对获取的直播终端的直播数据流进行媒体处理，得到媒体流，将媒体流存入第一缓存队列1222，将所述第一缓存队列中的媒体流以帧为单位下发至第二缓存队列1223，将第二缓存队列1223缓存的全部媒体流分发至内容分发节点123。在所述内容分发节点123，响应观看终端发送的直播观看请求，所述媒体流下发至所述观看终端。

作为该方式的变形，还可以将第一缓存队列和第二缓存队列同时设置在媒体处理模块之前，即在媒体处理节点，将获取的直播终端的直播数据流媒体存入第一缓存队列，再将第一缓存队列的数据流存入第二缓存队列，媒体处理模块对获取的直播终端的直播数据流进行媒体处理，得到媒体流，将媒体流分发至内容分发节点。或还可以将第一缓存队列和第二缓存队列设置在两个不同的媒体处理模块之间，即在媒体处理节点，将获取的直播终端的直播数据流进行容器转封装处理，再分别利用两个缓存队列进行缓存处理后，利用音视频转码模块进行处理，得到媒体流。上述在媒体处理节点设置两个缓存队列，利用二次缓存，能够降低卡顿的效果。其与在媒体处理节点设置一个缓存队列的处理类似，此处不再赘述。

此外，采用本申请的技术方案还能够优化首帧卡顿问题。例如，若只在内容分发节点设置一个缓存，对于直播房间的第一个用户来说，CDN由于没有足够的缓存，直播过程中是音视频数据实时下发，只要推流端上行网络或音视频设备采集不稳定抖动一下就会造成观看用户卡顿。具体地，主播推流以后用户马上连上来看，这样首个用户的缓存不够多，那下发的缓存就是实际可缓存的最大值，这种场景的首个用户缓存就不一定足够，容易卡顿。而本申请的技术方案，第一次缓存处理的为第一缓存队列，第二次缓存处理的为第二次缓存队列，通过设置二次缓存的策略，只要第一缓存队列有足够的缓存就可以按缓存配置下发，由于具有两次缓存，因而可以增加缓存数据量，减少直播房间第一个用户的首帧卡顿现象。

本申请还提供一种应用场景，具体地，CDN已配置了一个缓存队列，为第二缓存队列，CDN将第二缓存队列的缓存单位为画面组，在媒体缓存队列配置有第一缓存队列。具体地，在上行接入节点，将直播终端推流的直播数据流推送至媒体处理节点，在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，将媒体流分发至第一缓存队列，第一缓存队列将媒体流以帧为单位下发至内容分发节点；在设置有第二缓存队列的内发分发节点，响应观看终端发送的直播观看请求，将第二缓存队列中缓存的全部媒体流向观看终端下发。

通过CDN中的第二缓存模块的画面组，让观看终端有一定缓存，可以减少用户观看过程中如网络抖动、主播上行音视频数据不稳定、CDN节点回源网络异常等导致用户观看过程中的直播卡顿。在此基础上，如图13所示，在媒体处理增加一个静态的缓存队列，该缓存队列以帧为配置单位，缓存队列为一个定时器，定时驱动缓存队列将数据下发给CDN(定时器驱动fps单位以上行主播推流源对齐)，缓存队列基本原理相当上行从上行接入节点回源拉流，然后经过容器格式转封装或转码处理数据推给缓存队列，缓存队列以源fps为单位定时(定时器间隔时长＝1000ms/fps，精确到ms小数位2位)以帧为单位吐流分发数据给CDN，相当于在媒体处理节点设置了一个播放缓存。这样，即使在观看终端由于配置缓存大小的原因需要丢掉第二缓存队列下发的多余缓存，由于在媒体处理节点还存在一次播放缓存，且缓存以帧为单位向CDN下发数据，最终观看终端相对于直播终端的延时为一次缓存的时间差+终端配置的缓存大小。当推流端上行网络或音视频设备采集不稳定造成的累积时长超过终端接收能缓存时长以后，由于还在云平台存在一次缓存的时间差，因此为卡顿增加一些容忍时间，从而减少由于直播上行推流网络不稳定或音视频采集设备不稳定导致的下行用户观看卡顿。

采用该方式，在云端媒体处理层配置一定的缓存大小，增加由于推流上行网络或音视频设备采集不稳定抖动场景下导致下行用户观看卡顿的抗性，尽量减少由于直播上行推流网络不稳定或音视频采集设备不稳定导致的下行用户观看卡顿,提升用户直播观看体验。如图14所示，经过在云端媒体处理节点配置一定缓大小缓存，直播卡顿次数有5％左右的改善提升。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，一种直播数据处理云平台，如图15包括：

上行接入节点151，用于将直播终端推流的直播数据流推送至媒体处理节点；

媒体处理节点152，用于对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点；

所述内容分发节点153，用于响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端；

其中，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发；最后一个缓存队列的缓存单位为画面组。

在另一个实施例中，所述至少两个缓存队列包括第一缓存队列和第二缓存队列；

所述第一缓存队列和第二缓存队列的设置方式，包括以下方式中的任一种：

第一种：所述第一缓存队列设置在所述上行接入节点，所述第二缓存队列设置在所述媒体处理节点；

第二种：所述第一缓存队列设置在所述上行接入节点，所述第二缓存队列设置在所述内容分发节点；

第三种：所述第一缓存队列设置在所述媒体处理节点；所述第二缓存队列设置在所述内容分发节点。

在另一个实施例中，当所述媒体处理节点设置有缓存队列时在媒体处理节点，将获取的直播终端的直播数据流存在缓存队列，将所述缓存队列中的直播数据流进行媒体处理，得到媒体流；将所述媒体流分发至内容分发节点；或，

媒体处理节点，用于对获取的直播终端的直播数据流进行媒体处理，得到媒体流，将所述媒体流存入缓存队列，将所述缓存队列中的媒体流分发至内容分发节点。

在另一个实施例中，所述至少两个缓存队列包括第一缓存队列和第二缓存队列；所述第一缓存队列和所述第二缓存队列同时设置在所述上行接入节点，或同时设置在所述媒体处理节点，或同时设置在所述内容分发节点。

在另一个实施例中，当所述第一缓存队列和所述第二缓存队列同时设置在所述上行接入节点时，所述上行接入节点，用于获取直播终端推流的直播数据流，将所述直播数据流存入第一缓存队列，将所述第一缓存队列中的直播数据流以帧为单位下发至第二缓存队列，将所述第二缓存队列中缓存的全部直播数据流推送至所述媒体处理节点。

在另一个实施例中，当所述第一缓存队列和所述第二缓存队列同时设置在所述内容分发节点时，所述内容分发节点，用于将分发的媒体流存入第一缓存队列，将所述第一缓存队列中的媒体流以帧为单位下发至第二缓存队列；响应观看终端发送的直播观看请求，将第二缓存队列缓存的全部所述媒体流下发至所述观看终端。

在另一个实施例中，当所述第一缓存队列和所述第二缓存队列在所述媒体处理节点时，所述媒体处理节点，用于将获取的直播终端的直播数据流存在第一缓存队列，将所述第一缓存队列中的直播数据流进行媒体处理，得到媒体流；将所述媒体流以帧为单位下发至第二缓存队列，将所述第二缓存队列中缓存的全部媒体流分发至内容分发节点；或，

用于获取的直播终端的直播数据流存在第一缓存队列；将所述第一缓存队列中的直播数据流以帧为单位向第二缓存队列下发；将所述第二缓存队列中的直播数据流进行媒体处理，得到媒体流；将第二缓存队列中的全部所述媒体流分发至内容分发节点；或，

用于将获取的直播终端的直播数据流进行媒体处理，得到媒体流；将所述媒体流存入第一缓存队列，将所述第一缓存队列的媒体流第二缓存队列中的全部下发至第二缓存队列；将所述第二缓存队列中缓存的全部媒体流分发至内容分发节点。

关于直播数据处理云平台的具体限定可以参见上文中对于直播数据处理方法的限定，在此不再赘述。上述直播数据处理云平台中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图16所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储直播数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种直播数据处理方法。

本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种直播数据处理方法，其特征在于，所述方法包括：

在上行接入节点，将直播终端推流的直播数据流推送至媒体处理节点；

在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点；

在所述内容分发节点，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端；

其中，在所述上行接入节点、媒体处理节点和所述内容分发节点设置至少两个缓存队列，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发；最后一个缓存队列的缓存单位为画面组。

2.根据权利要求1所述的方法，其特征在于，所述至少两个缓存队列包括第一缓存队列和第二缓存队列；

所述第一缓存队列和第二缓存队列的设置方式，包括以下方式中的任一种：

第一种：所述第一缓存队列设置在所述上行接入节点，所述第二缓存队列设置在所述媒体处理节点；

第二种：所述第一缓存队列设置在所述上行接入节点，所述第二缓存队列设置在所述内容分发节点；

第三种：所述第一缓存队列设置在所述媒体处理节点；所述第二缓存队列设置在所述内容分发节点。

3.根据权利要求2所述的方法，其特征在于，当所述媒体处理节点设置有缓存队列时，所述在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点，包括以下方式中的任一种：

第一种：在媒体处理节点，将获取的直播终端的直播数据流存在缓存队列，将所述缓存队列中的直播数据流进行媒体处理，得到媒体流；将所述媒体流分发至内容分发节点；

第二种：在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，将所述媒体流存入缓存队列，将所述缓存队列中的媒体流分发至内容分发节点。

4.根据权利要求1所述的方法，其特征在于，所述至少两个缓存队列包括第一缓存队列和第二缓存队列；所述第一缓存队列和所述第二缓存队列同时设置在所述上行接入节点，或同时设置在所述媒体处理节点，或同时设置在所述内容分发节点。

5.根据权利要求4所述的方法，其特征在于，当所述第一缓存队列和所述第二缓存队列同时设置在所述上行接入节点时，所述在上行接入节点，将直播终端推流的直播数据流推送至媒体处理节点，包括：

在所述上行接入节点，获取直播终端推流的直播数据流，将所述直播数据流存入第一缓存队列，将所述第一缓存队列中的直播数据流以帧为单位下发至第二缓存队列，将所述第二缓存队列中缓存的全部直播数据流推送至所述媒体处理节点。

6.根据权利要求4所述的方法，其特征在于，当所述第一缓存队列和所述第二缓存队列同时设置在所述内容分发节点时，在所述内容分发节点，响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端，包括：在所述内容分发节点将分发的媒体流存入第一缓存队列，将所述第一缓存队列中的媒体流以帧为单位下发至第二缓存队列；响应观看终端发送的直播观看请求，将第二缓存队列缓存的全部所述媒体流下发至所述观看终端。

7.根据权利要求4所述的方法，其特征在于，当所述第一缓存队列和所述第二缓存队列在所述媒体处理节点时，所述在媒体处理节点，对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点，包括以下方式中的任一种：

第一种：在媒体处理节点，将获取的直播终端的直播数据流存在第一缓存队列，将所述第一缓存队列中的直播数据流进行媒体处理，得到媒体流；将所述媒体流以帧为单位下发至第二缓存队列，将所述第二缓存队列中的缓存的全部媒体流分发至内容分发节点；

第二种：在媒体处理节点，将获取的直播终端的直播数据流存在第一缓存队列；将所述第一缓存队列中的直播数据流以帧为单位进下发至第二缓存队列；将所述第二缓存队列中的直播数据流进行媒体处理，得到媒体流；将所述第二缓存队列中的全部媒体流分发至内容分发节点；

第三种：在媒体处理节点，将获取的直播终端的直播数据流进行媒体处理，得到媒体流；将所述媒体流存入第一缓存队列，将所述第一缓存队列的媒体流以帧为单位下发至第二缓存队列；将所述第二缓存队列中缓存的全部媒体流分发至内容分发节点。

8.一种直播数据处理云平台，其特征在于，包括：

上行接入节点，用于将直播终端推流的直播数据流推送至媒体处理节点；

媒体处理节点，用于对获取的直播终端的直播数据流进行媒体处理，得到媒体流，并将所述媒体流分发至内容分发节点；

所述内容分发节点，用于响应观看终端发送的直播观看请求，将所述媒体流下发至所述观看终端；

其中，在推流方向上的第一个缓存队列以帧为单位将直播数据向下一业务节点下发；在推流方向上的最后一个缓存队列将缓存的全部直播数据向下一业务节点下发；最后一个缓存队列的缓存单位为画面组。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images