CN113747102A - 视频通话处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了视频通话处理方法、装置、设备及存储介质。其中，该方法包括：确定发送端发送的视频数据中各帧层对应的分层码率，根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽，根据分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层，将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。通过采用上述技术方案，在多人视频通话场景中，结合下行分配带宽和分层码率动态地确定需要进行抽帧处理的目标帧层，可以更加合理地进行抽帧，改善多人视频通话的通话效果。

Description

视频通话处理方法、装置、设备及存储介质

技术领域

本发明实施例涉及视频通话技术领域，尤其涉及视频通话处理方法、装置、设备及存储介质。

背景技术

随着流媒体技术的发展以及智能终端设备的普及，多人视频应用场景越来越普遍，多人视频会议以及多人视频聊天等让人与人之间的交流变得越来越方便。但是由于网络存在诸多不稳定性，当用户网络环境变差时会导致延迟、卡顿或卡死等异常情况的发生，影响视频通话的正常进行，也导致用户主观体验下降。

在一对一视频通话场景中，由于对端是唯一的，服务端可采用透传架构，使得带宽探测算法可同时感知双端瓶颈带宽，从而直接调整端侧编码量。然而，在多人视频通话场景中，由于对端数目可变，多个对端的网络状况可能存在不同的情况，现有方案中的服务端难以合理对视频帧进行转发，需要改进。

发明内容

本发明实施例提供了视频通话处理方法、装置、设备及存储介质，可以优化现有的针对多人的视频通话处理方案。

第一方面，本发明实施例提供了一种视频通话处理方法，该方法包括：

确定发送端发送的视频数据中各帧层对应的分层码率，其中，所述视频数据中的各视频帧按照帧间依赖关系被划分为多个帧层，所述分层码率包括对对应的帧层中的视频帧的码率进行统计后得到的码率；

根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽；

根据所述分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层；

将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。

第二方面，本发明实施例提供了一种视频通话处理装置，该装置包括：

分层码率确定模块，用于确定发送端发送的视频数据中各帧层对应的分层码率，其中，所述视频数据中的各视频帧按照帧间依赖关系被划分为多个帧层，所述分层码率包括对对应的帧层中的视频帧的码率进行统计后得到的码率；

下行分配带宽确定模块，用于根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽；

目标帧层确定模块，用于根据所述分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层；

视频数据转发模块，用于将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的视频通话处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的视频通话处理方法。

本发明实施例中提供的视频通话处理方案，确定发送端发送的视频数据中各帧层对应的分层码率，根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽，根据分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层，将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。通过采用上述技术方案，在多人视频通话场景中，对于待转发的视频数据，按照帧层为单位进行分层的码率统计，根据下行探测总带宽和各接收端的上行码率合理地进行下行的带宽分配，结合下行分配带宽和分层码率动态地确定需要进行抽帧处理的目标帧层，可以更加合理地进行抽帧，改善多人视频通话的通话效果。

附图说明

图1为本发明实施例提供的一种视频通话处理方法所适用的应用场景的场景架构图；

图2为本发明实施例提供的一种视频通话处理方法的流程示意图；

图3为本发明实施例提供的一种视频帧的帧间依赖关系示意图；

图4为本发明实施例提供的又一种视频通话处理方法的流程示意图；

图5为本发明实施例提供的一种视频通话处理过程的原理示意图；

图6为本发明实施例提供的一种带宽分配过程示意图；

图7为本发明实施例提供的一种目标帧层确定过程示意图；

图8为本发明实施例提供的一种视频通话处理装置的结构框图；

图9为本发明实施例提供的一种计算机设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种视频通话处理方法所适用的应用场景的场景架构图。该应用场景为多人视频通话场景，多人视频通话可包括如多人视频会议和多人视频聊天等。具体的，参考图1，该应用场景中可以包括多个客户端和服务端200，客户端的具体数量不做限定，一般大于或等于3个，为了便于说明，图中仅示出3个作为示意性说明，即第一客户端101、第二客户端102和第三客户端103。在多人视频通话过程中，任意一个客户端可以成为发送端，也可以成为接收端。以第一客户端101发送视频数据为例，第一客户端101将本端视频数据发送至服务端200，服务端200将视频数据转发至第二客户端102和第三客户端103，此时，第一客户端101为发送端，第二客户端102和第三客户端103为接收端。以第一客户端101接收视频数据为例，第一客户端102和第三客户端103将本端视频数据发送至服务端200，服务端200将两路视频数据转发至第一客户端101，此时，第二客户端102和第三客户端103为发送端，第一客户端101为接收端。由于多人视频通话具备实时性，因此，各客户端在同一时间一般既是发送端又是接收端，而每次视频数据的转发对应至少两个接收端，当下行带宽有限时，难以转发全部的视频帧，现有技术中按照一定的抽帧比例对即将转发至各接收端的所有视频数据进行同样的抽帧处理，而不同接收端网络状况可能存在不同的情况，因此无法兼顾不同接收端的视频通话效果。

图2为本发明实施例提供的一种视频通话处理方法的流程示意图，该方法可以由视频通话处理装置执行，其中该装置可由软件和/或硬件实现，一般可集成在服务器等计算机设备中。如图2所示，该方法包括：

步骤201、确定发送端发送的视频数据中各帧层对应的分层码率，其中，所述视频数据中的各视频帧按照帧间依赖关系被划分为多个帧层，所述分层码率包括对对应的帧层中的视频帧的码率进行统计后得到的码率。

示例性的，如前文所述，各客户端在同一时间一般既是发送端又是接收端，为了方便描述，将各客户端发送的上行的视频数据称为发送端发送的视频数据，也即这里的视频数据可以包括多个上行视频流数据，具体可以是以数据包的形式发送。接收端可以理解为需要接收除本端发送的视频数据以外的其他视频数据的客户端。

示例性的，由于相邻视频帧之间的差别一般很小，按照分层的依赖关系进行压缩编码可以节省传输数据量，因此，为了保证视频通话的时效性，客户端通常采用压缩编码方式对需要发送的视频数据进行编码后，再发送给服务端。视频数据中的各视频帧按照帧间依赖关系被划分为多个帧层，帧间依赖关系可以理解为不同视频帧之间的依赖关系，具体可以由所采用的编码方式决定，根据帧间依赖关系可以将各视频帧划分为多个帧层。一般的，一个画面组(Group of Pictures)可以理解为一组分层依赖的连续的画面，可以独立解码，GOP之间没有依赖关系。同时，GOP的第一帧一般为关键帧(Key帧，又称I帧)，以保证GOP中的后续帧能够正确解码。

图3为本发明实施例提供的一种视频帧的帧间依赖关系示意图，图3中示出了一个GOP中的部分视频帧，按照帧间依赖关系可以将这些视频帧划分为5类，分别记为A、B、C、D和E，一般的，A为K帧，B需要依赖A，C需要依赖B，D需要依赖C，E需要依赖D。需要说明的是，上述依赖关系仅作为示意性说明，还存在其他形式的依赖关系。在进行帧层划分时，可以根据具体的帧间依赖关系和所需的划分粒度进行划分。以图3所示的帧间依赖关系为例，可以按照不同类别进行划分。例如，每个类别对应一个帧层，对应的帧层可分别记为a层(对应A)、b层(对应B)、c层(对应C)、d层(对应D)和e层(对应E)；又如，也可以多个类别对应一个帧层，对应的帧层可分别记为f层(对应A)、g层(对应B和C)和h层(对应D和E)。

示例性的，根据帧间依赖关系还可以确定各帧层之间的等级，例如，在第一视频帧依赖于第二视频帧的情况下，第二视频帧所属帧层的等级低于或等于第二视频帧所属帧层的等级。继续上述举例，可认为a层等级低于b层等级，b层等级低于c层等级，以此类推，则a层等级最低，可称为底层，e层等级最高，可称为顶层。

示例性的，服务端在收到上行数据包后，可以将视频包和非视频包进行区分，其中，非视频包中可以包括除视频帧数据以外数据，如音频流数据或文件数据等。对于视频数据，进行分层码率的统计。具体的统计方式不做限定，可以是求取平均值或中间值等。

可选的，确定发送端发送的视频数据中各帧层对应的分层码率，包括：对于发送端发送的视频数据中的每个帧层，确定当前帧层对应的目标统计窗口，计算落入所述目标统计窗口内的属于所述当前帧层的视频帧的平均码率，得到所述当前帧层对应的分层码率。这样设置的好处在于，采用窗口方式进行平均码率的统计，可以更加准确地计算各帧层的码率。其中，目标统计窗口可以是滑动窗口。

目标统计窗口的长度可以用时间长度计量，对于某个帧层，分层码率可以是目标统计窗口内的各视频帧的数据量总和除以目标统计窗口的长度。不同帧层对应的目标统计窗口的长度可以相同也可以不同。可选的，可以根据所需包含的视频帧数量来确定，例如，所述目标统计窗口的长度与对应的帧层中相邻两个视频帧之间的间隔成正向比例关系。这样设置的好处在于，对帧率较低的基础层帧应用更长的窗口，而对帧率较高的顶层帧，可以同时兼顾码率统计的平稳性和快速性。此外，对于非视频包来说也可以应用较短的统计窗口进行码率统计。

步骤202、根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽。

示例性的，为了提高网络带宽利用率，通常需要对下行带宽进行探测(也可称为带宽预测)，本发明实施例对具体的探测方式不做限定，例如可以基于丢包、时延、发送码率以及接收码率等指标进行探测，将探测得到的带宽称为下行探测总带宽。

本发明实施例中，针对各视频流进行分层码率的统计，而每个视频流对应一个客户端，对于一个客户端来说，对应的上行码率可以为各分层码率之和加上非视频包的码率。

在得到下行探测总带宽和各接收端分别对应的上行码率之后，可以对各接收端可以占用的下行带宽资源进行分配，也即确定各接收端分别对应的下行分配带宽。具体的分配方式不做限定，例如，可以按照上行码率进行等比例分配，也即计算各上行码率在上行码率之和中的占比，用占比乘以下行探测总带宽，得到对应的下行分配带宽；又如，按照上行码率进行等值分配，也即下行分配带宽等于上行码率，此时，一般上行码率之和小于或等于下行探测总带宽；再如，若上行码率之和大于下行探测总带宽，可在等值分配基础上，对上行码率较高的接收端进行带宽限制等。

在具体实施过程中，若检测到上行码率之和小于或等于下行探测总带宽，一般可说明下行带宽资源比较充裕，也可不进行下行带宽的分配，也可不进行后续的抽帧处理，而是将视频数据中的视频帧全部转发至相应的接收端。

步骤203、根据所述分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层。

示例性的，目标帧层可以理解为需要进行抽帧处理的帧层，抽帧处理可以理解为放弃一定数量的视频帧的转发，以保证视频通话的流畅性。可以针对每个接收端分别确定对应的目标帧层。

一般的，对于等级较低的帧层来说，依赖该帧层的视频帧数量较多；而对于等级较高的帧层来说，依赖该帧层的视频帧数量较少，甚至没有。可选的，优先将等级较低的低级帧层排除在外，低级帧层中的视频帧可以全部转发，从其余高级帧层中选择部分或全部帧层作为目标帧层。

示例性的，对于某个接收端来说，低级帧层和高级帧层的分界线可以根据该接收端需要接收的视频数据中各帧层对应的分层码率以及该接收端对应的下行分配带宽来确定。例如，低级帧层对应的分层码率的和小于或等于下行分配带宽。

步骤204、将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。

本发明实施例中，对于具体的抽帧处理方式不做限定，例如可以按照一定的抽帧比例等间隔地针对目标帧层中的视频帧进行抽帧，还可以根据实际的网络状况动态地决定目标帧层中的当前视频帧是需要转发还是需要被抽掉(也即放弃转发)。

需要说明的是，若某个接收端的下行分配带宽等于上行码率，说明该接收端的下行分配带宽比较充裕，则不需要进行抽帧处理，可以直接将需要发送的视频数据发送至该接收端。也即，本步骤中，所述相应的接收端可以包括发送端对应的所有接收端中的部分或全部接收端，具体可视下行带宽分配情况而定。

本发明实施例中提供的视频通话处理方案，确定发送端发送的视频数据中各帧层对应的分层码率，根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽，根据分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层，将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。通过采用上述技术方案，在多人视频通话场景中，对于待转发的视频数据，按照帧层为单位进行分层的码率统计，根据下行探测总带宽和各接收端的上行码率合理地进行下行的带宽分配，结合下行分配带宽和分层码率动态地确定需要进行抽帧处理的目标帧层，可以更加合理地进行抽帧，改善多人视频通话的通话效果。

在一些实施例中，所述将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端，包括：对于下行分配带宽小于上行码率的每个接收端，将第一帧层的视频帧转发至相应的接收端，按照预设抽帧策略确定对应的目标帧层中的待发送视频帧，将所述待发送视频帧转发至相应的接收端，以及丢弃所述目标帧层中除所述待发送视频帧以外的视频帧和第二帧层的视频帧，其中，所述第一帧层的等级低于对应的目标帧层的等级，所述第二帧层的等级高于对应的目标帧层的等级。这样设置的好处在于，当目标帧层不是最顶层时，直接转发目标帧层之下的帧层的视频帧，由于最顶层的视频帧直接或间接依赖于目标帧层，可以丢弃目标帧层之上的帧层的视频帧，也即以抽掉整个帧层，从而在较小程度影响视频画面质量的情况下，大幅提高抽帧效率。其中，丢弃第二帧层的视频帧，可以理解为针对当前客户端，禁止转发第二帧层的视频帧。

在一些实施例中，所述按照预设抽帧策略确定对应的目标帧层中的待发送视频帧，包括：对于第一接收端对应的目标帧层中的第三视频帧，判断所述第三视频帧的大小是否小于或等于所述第一接收端对应的第一字节数阈值，若是，则确定所述第三视频帧为待发送视频帧；其中，所述第一字节数阈值根据所述第一接收端对应的第一类字节数确定，所述第一类字节数为动态维护的字节数，根据所述第一接收端对应的实际转发数据的大小动态减少，根据所述第一接收端对应的下行分配带宽的速度动态增加，所述实际转发数据包括视频数据和非视频数据。这样设置的好处在于，可以快速跟踪探测带宽的变化，降低网络波动对视频通话效果的影响。

示例性的，第一接收端可以是上述各接收端中的任意一个接收端，第三视频帧可以是第一接收端对应的目标帧层中的任意一个视频帧，可以理解为当前需要进行抽帧判定的视频帧。本发明实施例中提出抽帧桶的概念，通过维护可用字节数的标准流控方式使得下行码率正确跟踪带宽，可用字节数随数据包的发送而被消耗，按照下行带宽的速度定时回复，将这样的结构称为一个抽帧桶，第一类字节数可以理解为抽帧桶中当前的可用字节数，可以表示链路可用资源。每个接收端可以对应一个抽帧桶，字节数阈值根据接收端对应的第一类字节数确定，也即每个接收端可以对应一个字节数阈值，将第一接收端对应的字节数阈值记为第一字节数阈值。第一接收端对应的第一类字节数根据第一接收端对应的实际转发数据的大小动态减少(也即相当于上文所述的可用字节数随数据包的发送而被消耗)，根据第一接收端对应的下行分配带宽的速度动态增加(也即相当于上文所述的按照下行带宽的速度定时回复)。当第三视频帧的大小小于或等于第一接收端对应的第一字节数阈值时，说明第一接收端的下行链路可用资源足以支持第三视频帧的发送，因此，确定第三视频帧为待发送视频帧。

可选的，若第三视频帧的大小大于所述第一接收端对应的第一字节数阈值，则可说明第一接收端的下行链路可用资源不足以支持第三视频帧的发送，因此，确定第三视频帧不为待发送视频帧，需要被抽掉，也即放弃转发。

在一些实施例中，所述第一接收端对应的第一类字节数通过以下方式确定：在向所述第一接收端发送第一数据后，在当前的第一类字节数基础上减去所述第一数据的大小，得到更新后的第一类字节数；在检测到预设增加事件被触发后，确定当前时刻与所述预设增加事件上一次被触发时的第一时间间隔，根据所述第一时间间隔与所述第一接收端对应的第一目标码率的乘积确定第一增加字节数，在当前的第一类字节数基础上加上所述第一增加字节数，得到更新后的第一类字节数；其中，所述第一目标码率与所述第一接收端对应的下行分配带宽相匹配。这样设置的好处在于，可以及时准确地维护第一类字节数的数值。其中，预设增加事件可以定时触发，如每隔预设时长触发一次，预设时长可根据实际情况设置，如10毫秒或100毫秒等，一般小于1秒；预设增加事件还可以在指定条件下触发，如每接收到一个数据包触发一次等。

在一些实施例中，所述第一字节数阈值根据所述第一接收端对应的第一类字节数与第二类字节数的和确定；所述第二类字节数根据预测时间窗长度与对应的下行分配带宽的乘积确定，所述预设时间窗长度根据依赖当前视频帧的视频帧所占用的时间序列长度确定。这样设置的好处在于，可以对需要进行转发的视频帧可能造成的链路资源消耗进行较充分的预测，防止丢弃较大视频帧时造成卡顿。第二类字节数也可称为预测字节数，代表未来一段时间允许发送的数据量。预设时间窗长度可理解为预测时间窗的长度，预测时间窗由帧层等级决定，其实质是依赖当前帧的后续帧层中视频帧所占用的时间序列长度。如图3所示，假设当前帧为5号帧，依赖5号帧的有6号帧、7号帧和8号帧，可以将5号帧到8号帧之间的时间间隔视为预设时间窗长度。若5号帧的大小大于对应的第一类字节数，说明当前的下行链路可用资源不足以支持5号帧的发送，但是，若5号帧不发送，后续的6号帧、7号帧或8号帧即使随着第一类字节数的动态变化而成为待发送视频帧，发送给相应的接收端后也会因5号帧的缺失而无法正确解码，造成卡顿，因此，可以优先保证5号帧的发送，将6号帧、7号帧和8号帧所占用的预测字节数考虑在内，进行待发送视频帧的判定。

在一些实施例中，所述判断所述第三视频帧的大小是否小于或等于第一字节数阈值，若是，则确定所述第三视频帧为待发送视频帧，包括：判断所述第三视频帧的大小是否小于或等于第一字节数阈值，若是，则判断包含所述第三视频帧在内的各接收端对应的待判定视频帧的总大小是否小于或等于总字节数阈值，若是，则确定所述第三视频帧为待发送视频帧；其中，所述总字节数阈值根据第三类字节数确定，所述第三类字节数为动态维护的字节数，根据服务端的实际转发数据的大小动态减少，根据下行探测总带宽的速度动态增加。这样设置的好处在于，第一字节数阈值可设置得相对宽松一些，例如抽帧桶中维护的可用字节数可以允许一定范围内的负值，也即可以在一定范围内进行可用字节数的透支，这样，当某个接收端的下行可用资源较少时，可以少量占用其他接收端的下行可用资源，更好地应对个别的网络波动情况，此外，利用总字节数阈值进行统一的限制，避免超过总的下行探测带宽。第三类字节数可以理解为一个总的抽帧桶中当前的可用字节数，可将各接收端对应的抽帧桶记为分桶，将总的抽帧桶记为合桶，分桶主要根据分配带宽做限制，保证多流公平性，合桶主要对出口码率做统一限制，避免出现超发现象，也可理解为避免转发的数据量超过下行带宽的承载能力。

在一些实施例中，所述总字节数阈值根据第三类字节数与第四类字节数的和确定，第四类字节数根据各接收端对应的待判定视频帧对应的第二类字节数的和确定。这样设置的好处在于，可以从整体上对需要进行转发的视频帧可能造成的链路资源消耗进行较充分的预测，防止丢弃较大视频帧而造成卡顿。

在一些实施例中，所述根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽，包括：在各接收端分别对应的上行码率的总和大于下行探测总带宽的情况下，按照上行码率从大到小的顺序对至少一个接收端对应的初始分配带宽进行降低，使得各接收端分别对应的下行分配带宽的总和等于所述下行探测总带宽，其中，初始分配带宽与对应的上行码率的值匹配。这样设置的好处在于，可以先按照接收端的上行码率进行初始的带宽分配，当初始分配带宽的总和超出下行探测总带宽时，从初始分配带宽较高的接收端开始削减，直到削减后的分配带宽的总和等于下行探测总带宽，在尽量符合各接收端的实际网络状况的基础上，提高下行带宽的利用率。

示例性的，所述按照上行码率从大到小的顺序对至少一个接收端对应的初始分配带宽进行降低，使得各接收端分别对应的下行分配带宽的总和等于所述下行探测总带宽包括：利用注水(waterfilling)算法按照上行码率从大到小的顺序对至少一个接收端对应的初始分配带宽进行降低，使得各接收端分别对应的下行分配带宽的总和等于所述下行探测总带宽。

在一些实施例中，根据所述分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层，包括：对于下行分配带宽小于上行码率的每个接收端，从最低等级的帧层开始，按照等级从低到高的顺序顺次累加各帧层对应的分层码率，得到分层码率累加值，当首次出现分层码率累加值大于对应的下行分配带宽时，将最近一次累加的帧层确定为目标帧层。这样设置的好处在于，能够快速准确地确定目标帧层。

图4为本发明实施例提供的又一种视频通话处理方法的流程示意图，图5为本发明实施例提供的一种视频通话处理过程的原理示意图，在上述各可选实施例基础上进行优化，如图4所示，该方法可包括：

步骤401、对于发送端发送的视频数据中的每个帧层，确定当前帧层对应的目标统计窗口，计算落入目标统计窗口内的属于当前帧层的视频帧的平均码率，得到当前帧层对应的分层码率。

其中，所述视频数据中的各视频帧按照帧间依赖关系被划分为多个帧层，目标统计窗口的长度与对应的帧层中相邻两个视频帧之间的间隔成正向比例关系。如图3所示，如上述举例，假设分为5个帧层，分别记为a、b、c、d和e，则对应的目标统计窗口的长度依次降低，也即a层的目标统计窗口长度最大，e层的目标统计窗口的长度最小。

可选的，对于服务端中包含上行控制器和下行控制器的情况，本步骤可以由上行控制器来完成，并将统计完成的分层码率等相关信息发送至下行控制器，其他步骤由下行控制器完成。此外，本步骤也可以由寄存器等其他模块来完成，如集中式的比特率寄存器(BitrateRegister)，利用该模块统一存储各上行流的分层码率统计信息，该模块内存储的信息随上行流的加入、退出以及分层码率的统计情况而动态更新，由下行控制器主动访问而获取对端上行流的分层码率信息，这种设计可以避免上行统计信息向多个对端下行控制器的重复转发。

步骤402、判断各接收端分别对应的上行码率的总和是否大于下行探测总带宽，若是，则执行步骤403；否则，执行步骤406。

示例性的，服务端可以设置带宽探测模块，带宽探测模块用于进行下行带宽的探测，接收到带宽探测模块的探测结果后，获知下行探测总带宽。当各接收端分别对应的上行码率的总和小于或大于下行探测总带宽时，说明带宽资源充足，可以转发全部的视频帧，也即无需进行视频帧的抽帧处理；否则，需要进行带宽分配，兼顾各接收端的公平性。

步骤403、按照上行码率从大到小的顺序对至少一个接收端对应的初始分配带宽进行降低，使得各接收端分别对应的下行分配带宽的总和等于下行探测总带宽。

示例性的，服务端中的下行控制器接到分层码率统计信息后，根据多个上行流的码率(也即各接收端的上行码率)及探测带宽(也即下行探测总带宽)进行带宽分配。具体的，可采用注水算法进行下行带宽分配。图6为本发明实施例提供的一种带宽分配过程示意图，假设存在3个接收端，分别记为X、Y和Z，对应的上行码率分别为100kbps(千比特每秒)、200kbps和300kbps，下行探测总带宽为400kbps，那么上行码率之和大于下行探测总带宽，需要进行带宽分配。此时，首先从最大流Z开始限流，限流至200kbps后，总码率＝100+200+200＝500>400kbps，仍不满足带宽限制，于是继续限制码率并列最大的两个流Y和Z，限流至150kbps，后总码率＝100+150+150＝400kbps，等于目标带宽，算法结束，分配给X、Y和Z的带宽分别为100kbps、150kbps和150kbps。这将导致后续抽帧环节，X流全数转发，而Y和Z两流分别被抽掉约等于50kbps和150kbps的高帧层的帧数据。

步骤404、对于下行分配带宽小于上行码率的每个接收端，从最低等级的帧层开始，按照等级从低到高的顺序顺次累加各帧层对应的分层码率，得到分层码率累加值，当首次出现分层码率累加值大于对应的下行分配带宽时，将最近一次累加的帧层确定为目标帧层。

需要说明的是，若某个接收端的下行分配带宽等于上行码率，则不需要进行抽帧处理，也即可以不执行步骤404，而是执行步骤406。

示例性的，目标帧层也可称为开始抽帧的最基础层级或边界层级，可利用如下表达式来确定目标帧层：

其中，level表示目标帧层，min表示取最小值，N表示帧层数量，i表示帧层等级，br表示分层码率，BWE表示下行分配带宽。

图7为本发明实施例提供的一种目标帧层确定过程示意图，假设下行分配带宽为150kpbs，帧层等级从0开始到4共5个帧层，分别记为a、b、c、d和e，分别对应的分层码率为30kpbs、60kpbs、80kpbs、80kpbs和120kpbs，可见br(a+b)<BWE<br(a+b+c),因此，c层为目标帧层。

步骤405、对于下行分配带宽小于上行码率的每个接收端，将第一帧层的视频帧转发至相应的接收端，按照预设抽帧策略确定对应的目标帧层中的待发送视频帧，将待发送视频帧转发至相应的接收端，以及丢弃目标帧层中除待发送视频帧以外的视频帧和第二帧层的视频帧，其中，第一帧层的等级低于对应的目标帧层的等级，第二帧层的等级高于对应的目标帧层的等级。

示例性的，如图7中的举例，第一帧层包括a层和b层，目标帧层为c层，第二帧层包括d层和e层。对于a层和b层，将对应的视频帧转发至相应的接收端；对于d层和e层，放弃对应的视频帧的转发；对于c层，可以逐帧判定是否需要转发。

具体的，每个接收端可以对应一个抽帧桶，记为分桶，所有接收端对应一个总的抽帧桶，记为合桶。抽帧桶内动态维护有可用字节数，代表链路可用资源，可用字节数按照对应的目标带宽(分桶对应下行分配带宽，合桶对应下行探测总带宽)的速度回复，按照实际转发包的大小消耗，实现视频流跟踪目标带宽，理想状态下，回复和消耗可以相互抵消，使得可用字节数接近于0，这样能够有效利用带宽资源，且避免出现超发现象。

示例性的，在进行逐帧判定时，对于当前需要进行判定的视频帧，可以进行分桶和合桶的判定。判定依据可以简单概括为，若帧大小<＝可用字节数+预测字节数，则转发，否则丢弃。对于分桶的判定，可用字节数可以根据分桶中维护的可用字节数确定；对于合桶的判定，可用字节数可以根据合桶中维护的可用字节数确定。预测字节数和相关判定过程的细节可参考上文相关内容，此处不再赘述。

步骤406、将视频数据转发至相应的接收端。

本发明实施例提供的视频通话处理方法，提出了抽帧桶的概念，在多人视频通话场景中，当网络环境不佳造成下行带宽资源不够充裕的情况下，结合分流和分层两个维度进行视频数据转发的优化，利用抽帧桶中动态维护的可用字节数，可以在基本不牺牲端侧流畅性的前提下提升服务端算法对波动网络的抗性以及响应的快速性，在突发受限的场景下，控制器一接到带宽信息就能立刻跟踪，减少超调，从用户角度来看，网络突然变差时，延迟降低以及排空期缩短，提升视频通话体验。分桶设计的公平性原则可以保证群组通话不会出现一端流畅而一端不佳的现象。基于帧间依赖关系的新抽帧逻辑，以帧层为单位考虑是否抽帧，并针对目标帧层逐帧进行判定，可以抽掉最多完整帧，避免带宽资源浪费，并对需要进行转发的视频帧可能造成的链路资源消耗进行较充分的预测，可最大限度避免视频卡死和不能忍受的延迟。

图8为本发明实施例提供的一种视频通话处理装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行视频通话处理方法来进行视频通话处理。如图8所示，该装置包括：

分层码率确定模块801，用于确定发送端发送的视频数据中各帧层对应的分层码率，其中，所述视频数据中的各视频帧按照帧间依赖关系被划分为多个帧层，所述分层码率包括对对应的帧层中的视频帧的码率进行统计后得到的码率；

下行分配带宽确定模块802，用于根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽；

目标帧层确定模块803，用于根据所述分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层；

视频数据转发模块804，用于将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。

本发明实施例中提供的视频通话处理装置，确定发送端发送的视频数据中各帧层对应的分层码率，根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽，根据分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层，将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。通过采用上述技术方案，在多人视频通话场景中，对于待转发的视频数据，按照帧层为单位进行分层的码率统计，根据下行探测总带宽和各接收端的上行码率合理地进行下行的带宽分配，结合下行分配带宽和分层码率动态地确定需要进行抽帧处理的目标帧层，可以更加合理地进行抽帧，改善多人视频通话的通话效果。

本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的视频通话处理装置。图9为本发明实施例提供的一种计算机设备的结构框图。计算机设备900包括存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序，所述处理器902执行所述计算机程序时实现本发明实施例提供的视频通话处理方法。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的视频通话处理方法。

上述实施例中提供的视频通话处理装置、设备以及存储介质可执行本发明任意实施例所提供的视频通话处理方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的视频通话处理方法。

注意，上述仅为本发明的较佳实施例。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求范围决定。

Claims (12)

1.一种视频通话处理方法，其特征在于，包括：

确定发送端发送的视频数据中各帧层对应的分层码率，其中，所述视频数据中的各视频帧按照帧间依赖关系被划分为多个帧层，所述分层码率包括对对应的帧层中的视频帧的码率进行统计后得到的码率；

根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽；

根据所述分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层；

将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。

2.根据权利要求1所述的方法，其特征在于，在第一视频帧依赖于第二视频帧的情况下，所述第二视频帧所属帧层的等级低于或等于所述第二视频帧所属帧层的等级；

其中，所述将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端，包括：

对于下行分配带宽小于上行码率的每个接收端，将第一帧层的视频帧转发至相应的接收端，按照预设抽帧策略确定对应的目标帧层中的待发送视频帧，将所述待发送视频帧转发至相应的接收端，以及丢弃所述目标帧层中除所述待发送视频帧以外的视频帧和第二帧层的视频帧，其中，所述第一帧层的等级低于对应的目标帧层的等级，所述第二帧层的等级高于对应的目标帧层的等级。

3.根据权利要求2所述的方法，其特征在于，所述按照预设抽帧策略确定对应的目标帧层中的待发送视频帧，包括：

对于第一接收端对应的目标帧层中的第三视频帧，判断所述第三视频帧的大小是否小于或等于所述第一接收端对应的第一字节数阈值，若是，则确定所述第三视频帧为待发送视频帧；

其中，所述第一字节数阈值根据所述第一接收端对应的第一类字节数确定，所述第一类字节数为动态维护的字节数，根据所述第一接收端对应的实际转发数据的大小动态减少，根据所述第一接收端对应的下行分配带宽的速度动态增加，所述实际转发数据包括视频数据和非视频数据。

4.根据权利要求3所述的方法，其特征在于，所述第一接收端对应的第一类字节数通过以下方式确定：

在向所述第一接收端发送第一数据后，在当前的第一类字节数基础上减去所述第一数据的大小，得到更新后的第一类字节数；

在检测到预设增加事件被触发后，确定当前时刻与所述预设增加事件上一次被触发时的第一时间间隔，根据所述第一时间间隔与所述第一接收端对应的第一目标码率的乘积确定第一增加字节数，在当前的第一类字节数基础上加上所述第一增加字节数，得到更新后的第一类字节数；其中，所述第一目标码率与所述第一接收端对应的下行分配带宽相匹配。

5.根据权利要求3所述的方法，其特征在于，所述第一字节数阈值根据所述第一接收端对应的第一类字节数与第二类字节数的和确定；所述第二类字节数根据预测时间窗长度与对应的下行分配带宽的乘积确定，所述预设时间窗长度根据依赖当前视频帧的视频帧所占用的时间序列长度确定。

6.根据权利要求3所述的方法，其特征在于，所述判断所述第三视频帧的大小是否小于或等于第一字节数阈值，若是，则确定所述第三视频帧为待发送视频帧，包括：

判断所述第三视频帧的大小是否小于或等于第一字节数阈值，若是，则判断包含所述第三视频帧在内的各接收端对应的待判定视频帧的总大小是否小于或等于总字节数阈值，若是，则确定所述第三视频帧为待发送视频帧；

其中，所述总字节数阈值根据第三类字节数确定，所述第三类字节数为动态维护的字节数，根据服务端的实际转发数据的大小动态减少，根据下行探测总带宽的速度动态增加。

7.根据权利要求1-6任一所述的方法，其特征在于，所述确定发送端发送的视频数据中各帧层对应的分层码率，包括：

对于发送端发送的视频数据中的每个帧层，确定当前帧层对应的目标统计窗口，计算落入所述目标统计窗口内的属于所述当前帧层的视频帧的平均码率，得到所述当前帧层对应的分层码率。

8.根据权利要求1-6任一所述的方法，其特征在于，所述根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽，包括：

在各接收端分别对应的上行码率的总和大于下行探测总带宽的情况下，按照上行码率从大到小的顺序对至少一个接收端对应的初始分配带宽进行降低，使得各接收端分别对应的下行分配带宽的总和等于所述下行探测总带宽，其中，初始分配带宽与对应的上行码率的值匹配。

9.根据权利要求2-6任一所述的方法，其特征在于，根据所述分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层，包括：

对于下行分配带宽小于上行码率的每个接收端，从最低等级的帧层开始，按照等级从低到高的顺序顺次累加各帧层对应的分层码率，得到分层码率累加值，当首次出现分层码率累加值大于对应的下行分配带宽时，将最近一次累加的帧层确定为目标帧层。

10.一种视频通话处理装置，其特征在于，包括：

分层码率确定模块，用于确定发送端发送的视频数据中各帧层对应的分层码率，其中，所述视频数据中的各视频帧按照帧间依赖关系被划分为多个帧层，所述分层码率包括对对应的帧层中的视频帧的码率进行统计后得到的码率；

下行分配带宽确定模块，用于根据下行探测总带宽和各接收端分别对应的上行码率，确定各接收端分别对应的下行分配带宽；

目标帧层确定模块，用于根据所述分层码率和各接收端分别对应的下行分配带宽，确定各接收端分别对应的目标帧层；

视频数据转发模块，用于将针对目标帧层进行抽帧处理后的视频数据转发至相应的接收端。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。

Images