CN115209189A - 一种视频流传输方法、***、服务器及存储介质 - Google Patents

Abstract

本发明公开了一种视频流传输方法、***、服务器及存储介质。在接收端接入显示设备或卸载显示设备后，接收接收端反馈的接收端当前接入的显示设备的设备信息，基于接收端当前接入的显示设备的设备信息确定向接收端发送视频流的限制带宽，向接收端转发来自发送端的目标视频流。本发明在接收端的显示设备的数量发生变化时，更新接收端当前接入的显示设备的设备信息，进而更新SDP协议，更新向接收端发送视频流的限制带宽，并从发送端重新订阅新的目标视频，使得各发送端上传的目标视频流的码率之和与限制带宽匹配，避免视频流的码率与接收端的设备带宽不匹配造成的接收端的视频质量下降或带宽资源浪费的问题，提高了接收端的视频质量和带宽利用率。

Description

一种视频流传输方法、***、服务器及存储介质

技术领域

本发明涉及视频数据传输技术，尤其涉及一种视频流传输方法、***、服务器及存储介质。

背景技术

在实时视频传输场景（例如，视频会议、视频教学和直播场景）中，视频经发送端编码后上传服务器，再由服务器下发给接收端。接收端收到从服务器转发过来的视频画面，从而实现实时视频功能。

在服务器向接收端发送视频流之前，服务器会根据接收端的带宽设定向接收端发送的视频流的最大码率，称之为限制带宽，示例性的，限制带宽可以为接收端的带宽。在后续的视频流传输过程中，即使服务器向接收端发送的视频流的码率大于限制带宽，接收端也只能接收限制带宽的视频流。因此，为了避免带宽资源浪费，同时为了提高传输稳定性，服务器向接收端发送的视频流的码率都不会超过限制带宽。

通常，接收端配置的显示设备的数量是不变的，限制带宽也是不变的。但在一些情况下，当用户需要连接更多的显示设备，来呈现不同的视频图像，或需要减少连接的显示设备时，若仍以原有的限制带宽传输视频流，则会出现视频流的码率远小于接收端的设备带宽，造成接收端的视频质量下降，或视频流的码率远大于接收端的设备带宽，造成带宽资源浪费。

发明内容

本发明提供一种视频流传输方法、***、服务器及存储介质，以避免视频流的码率与接收端的设备带宽不匹配造成的接收端的视频质量下降或带宽资源浪费的问题，提高了接收端的视频质量和带宽利用率。

第一方面，本发明实施例提供了一种视频流传输方法，应用于服务器，所述方法包括：

在接收端接入显示设备或卸载显示设备后，接收所述接收端反馈的所述接收端当前接入的显示设备的设备信息；

基于所述接收端当前接入的显示设备的设备信息确定向所述接收端发送视频流的限制带宽；

向所述接收端转发来自发送端的目标视频流，所述发送端可生成多个不同码率的视频流，各所述目标视频流的码率之和与所述限制带宽匹配。

第二方面，本发明实施例还提供了一种视频流传输装置，应用于服务器，包括：

设备信息接收模块，用于在接收端接入显示设备或卸载显示设备后，接收所述接收端反馈的所述接收端当前接入的显示设备的设备信息；

限制带宽确定模块，用于基于所述接收端当前接入的显示设备的设备信息确定向所述接收端发送视频流的限制带宽；

视频流转发模块，用于向所述接收端转发来自发送端的目标视频流，所述发送端可生成多个不同码率的视频流，各所述目标视频流的码率之和与所述限制带宽匹配。

第三方面，本发明实施例还提供了一种视频流传输***，包括发送端、服务器和接收端，所述服务器用于执行如本发明第一方面提供的视频流传输方法。

第四方面，本发明实施例还提供了一种服务器，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的视频流传输方法。

第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的视频流传输方法。

本发明提供视频流传输方法，应用于服务器，在接收端接入显示设备或卸载显示设备后，接收接收端反馈的接收端当前接入的显示设备的设备信息，基于接收端当前接入的显示设备的设备信息确定向接收端发送视频流的限制带宽，向接收端转发来自发送端的目标视频流，发送端可生成多个不同码率的视频流，各目标视频流的码率之和与限制带宽匹配。本发明在接收端的显示设备的数量发生变化时，更新接收端当前接入的显示设备的设备信息，进而更新SDP协议，更新向接收端发送视频流的限制带宽，并从发送端重新订阅新的目标视频，使得各发送端上传的目标视频流的码率之和与限制带宽匹配，避免视频流的码率与接收端的设备带宽不匹配造成的接收端的视频质量下降或带宽资源浪费的问题，提高了接收端的视频质量和带宽利用率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请提供的一种视频流传输方法的流程图；

图1B为本申请提供的一种视频流传输***的结构示意图；

图1C为本申请提供的另一种视频流传输***的结构示意图；

图1D为本申请提供的另一种视频流传输***的结构示意图；

图1E为本发明实施例提供的一种视频流传输流程图；

图2为本申请提供的一种视频流传输装置的结构示意图；

图3为本申请提供的一种服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1A为本申请提供的一种视频流传输方法的流程图，该方法应用于服务器，本实施例可适用于在视频流传输过程中，接收端连接的显示设备的数量发生变化，导致视频流码率与接收端的带宽不匹配的情况，该方法可以由本发明实施例提供的视频流传输装置来执行，该装置可以由软件和/或硬件的方式实现，配置于本发明实施例中的服务器中，如图1A所示，该方法具体包括如下步骤：

S101、在接收端接入显示设备或卸载显示设备后，接收接收端反馈的接收端当前接入的显示设备的设备信息。

本发明实施例可以适用于多人视频通话场景为示例，例如，多人视频会议场景，也可以适应于一对一的视频通话场景，本发明实施例在此不做限定。

发送端可以是具有视频采集设备（例如摄像头）的终端设备，例如，智能移动终端、个人计算机等，本发明实施例在此不做限定。发送端用于采集视频，并对视频进行编码，形成视频流，然后上传到服务器。在本发明实施例中，为了应对发送端与服务器之间通信带宽的波动，发送端具备动态编码的能力，可编码生成多个不同码率的视频流。示例性的，在发送端与服务器之间通信带宽变小时，服务器可向发送端发出指令，订阅比当前传输的视频流码率更低的视频流。发送端根据该指令生成比当前传输的视频流码率更低的视频流，并上传到服务器。在发送端与服务器之间通信带宽恢复正常时，服务器可向发送端发出指令，订阅比当前传输的视频流码率更高的视频流。发送端根据该指令生成比当前传输的视频流码率更高的视频流，并上传到服务器。在本发明实施例中，发送端可以是一个或多个，本发明实施例在此不做限定。

服务器具有视频流选择转发的功能，能够根据接收端订阅的视频选择相应的视频流。示例性的，服务器可以是媒体转发器（Selective Forwarding Unit，SFU）。媒体转发器将发送端的视频流转发给接收端。由于服务器只是接收并转发视频流，不需要编码、解码等处理，极大地降低了实时视频的延迟，提高了实时性。

接收端用于接收服务器转发的视频流，接收端可以是智能移动终端、个人计算机等。在本发明实施例中，接收端可以连接一个或多个显示设备，示例性的，显示设备可以是显示器。接收端在接收到各发送端上传的视频流之后，需要对视频流进行解码、混流处理，从而实现在一个显示设备上显示多个视频图像。示例性的，接收端的显示设备可以九宫格的形式显示所有终端设备采集的视频图像。接收端的显示设备具有最大传输比特率（也即设备带宽），表示显示设备能够接收的视频流的最大码率。因此，接收端向发送端订阅的各视频流的码率的总和不能超过显示设备的最大传输比特率。为了避免带宽资源浪费，同时为了提高传输稳定性，服务器会根据接收端的最大传输比特率设定向接收端发送的视频流的最大码率，称之为限制带宽，服务器向接收端发送的视频流的码率都不会超过限制带宽。

需要说明的是，在上述实施例中，发送端和接收端是以视频流的发起和接收来进行区分的，在本发明的另一些实施例，发送端可以同时作为接收端，接收端也可以同时作为发送端。示例性的，在视频会议场景中，每个参会人员的终端设备可以采集该参会人的视频图像，并上传到服务器，同时也可以接收服务器转发的其他参会人的视频图像。

在多人视频通话的场景中，当接收端的用户需要连接更多的显示设备，来呈现来自不同发送端的视图，或需要减少连接的显示设备时，在一对一视频通话的场景中，当接收端的用户需要连接更多的显示设备，来单独呈现来自发送端的视图，或需要减少连接的显示设备时，此时，由于显示设备的数量发生变化，接收端的设备带宽也会发生变化，若仍以原有的限制带宽传输视频流，则会出现视频流的码率远小于接收端的设备带宽，造成接收端的视频质量下降，或视频流的码率远大于接收端的设备带宽，造成带宽资源浪费。

在本发明实施例中，在接收端接入显示设备或卸载显示设备后，接收接收端反馈的接收端当前接入的显示设备的设备信息。示例性的，本发明实施例中的接入和卸载可以是显示设备与终端设备通过接头的热插拔。当显示设备与终端设备通过接头插接上时，称之为接入；当显示设备的接头与终端设备的接口上拔除时，称之为卸载。在接收端接入显示设备或卸载显示设备后，接收端会向服务器反馈当前接入的显示设备的设备信息，服务器接收接收端反馈的接收端当前接入的显示设备的设备信息，从而更新会话描述协议（Session Description Protocol，SDP）。会话描述协议用于发送端和接收端之间的媒体协商，解决参与会话的各成员之间带宽不对等的问题，如果参加本次会话的终端都支持高质量的通话，而没有去进行协议，为了兼容性，使用的都是普通质量的通话格式，就会造成带宽资源的浪费。

S102、基于接收端当前接入的显示设备的设备信息确定向接收端发送视频流的限制带宽。

在本发明实施例中，服务器接收到接收端当前接入的显示设备的设备信息后，基于接收端当前接入的显示设备的设备信息确定向接收端发送视频流的限制带宽。示例性的，设备信息可以包括接收端当前接入的各显示设备的最大传输比特率，则限制带宽为接收端当前接入的各显示设备的最大传输比特率之和。

在基于接收端当前接入的显示设备的设备信息更新了向接收端发送视频流的限制带宽之后，接收端可以更新向发送端订阅视频流的订阅信息，并由服务器将该订阅信息转发到发送端。发送端根据新的订阅信息，上传码率与更新后的限制带宽匹配的目标视频流。

本发明在接收端的显示设备的数量发生变化时，更新接收端当前接入的显示设备的设备信息，进而更新SDP协议，更新向接收端发送视频流的限制带宽，并从发送端重新订阅新的目标视频，使得各发送端上传的目标视频流的码率之和与限制带宽匹配，避免视频流的码率与接收端的设备带宽不匹配造成的接收端的视频质量下降或带宽资源浪费的问题，提高了接收端的视频质量和带宽利用率。

S103、向接收端转发来自发送端的目标视频流，各目标视频流的码率之和与限制带宽匹配。

发送端根据新的订阅信息，上传码率与更新后的限制带宽匹配的目标视频流之后，服务器将目标视频流发送给接收端，各发送端上传的目标视频流的码率之和与限制带宽匹配。其中，针对一对一视频通话场景，目标视频流的码率与限制带宽匹配，针对多人视频通话场景，各发送端上传的目标视频流的码率之和与限制带宽匹配。示例性的，在本发明其中一实施例中，各发送端上传的目标视频流的码率之和在限制带宽范围内尽可能的大，例如等于限制带宽或略小于限制带宽。在本发明另一实施例中，为了保证服务器向接收端发送的视频流的码率之和等于限制带宽，最大限度地利用限制带宽，保证接收端显示最佳的视频质量，发送端发送的目标视频流的码率之和可以大于限制带宽，服务器可以对发送端上传的其中至少一个视频流在最大丢帧率范围内进行丢帧处理，使得服务器向接收端发送的目标视频流的码率之和等于限制带宽。其中，丢帧率为视频流丢帧后的帧数与丢帧前的帧数的比值，最大丢帧率为保证视频可正常观看的最低画质的丢帧率。

本发明实施例提供视频流传输方法，应用于服务器，在接收端接入显示设备或卸载显示设备后，接收接收端反馈的接收端当前接入的显示设备的设备信息，基于接收端当前接入的显示设备的设备信息确定向接收端发送视频流的限制带宽，向接收端转发来自发送端的目标视频流，发送端可生成多个不同码率的视频流，各目标视频流的码率之和与限制带宽匹配。本发明在接收端的显示设备的数量发生变化时，更新接收端当前接入的显示设备的设备信息，进而更新SDP协议，更新向接收端发送视频流的限制带宽，并从发送端重新订阅新的目标视频，使得各发送端上传的目标视频流的码率之和与限制带宽匹配，避免视频流的码率与接收端的设备带宽不匹配造成的接收端的视频质量下降或带宽资源浪费的问题，提高了接收端的视频质量和带宽利用率。

以上是本发明的核心思想，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明实施例保护的范围。

本发明实施例以多用户实时视频会议为示例对本发明的方案进行示例性说明，图1B为本申请提供的一种视频流传输***的结构示意图，图1C为本申请提供的另一种视频流传输***的结构示意图，如图1B所示，本发明以用户A的终端设备作为接收端（相对于其他用户，用户A的终端设备为发送端），相对于A的终端设备，其他用户B-I的终端设备为发送端（分别为发送端B-I）。所有用户的终端设备根据接收端的订阅将采集的视频进行编码，形成与接收端订阅的视频流码率匹配的视频流，并通过独立的上传通道上传到服务器。接收端（用户A的终端设备）通过独立的通道从服务器下载其他用户的终端设备上传的视频流。即对于每一终端设备和服务器之间，具有一个上传通道和8个下载通道，8个下载通道分别用于下载用户B-I的终端设备发送到服务器的视频流。

如图1B所示，用户A的终端设备连接有一个显示设备，该显示设备以九宫格的形式显示用户A-I的视频图像。假设该显示设备的最大传输比特率为4Mbps，则服务器向接收端发送视频流的限制带宽为4Mbps，即服务器向接收端传输的视频流的码率总和不能超过4Mbps。由于接收端的显示设备是九宫格显示各视频图像，可以认为个视频图像的视频流的分辨率和码率是相等的，用户B-I的终端设备上传的视频流的码率平分限制带宽，用户B-I的终端设备上传的视频流的码率均为0.5Mbps。需要说明的是，在本发明的其他实施例中，接收端的显示设备也可以其他形式显示各视频图像，例如，用户C的视频图像的画面尺寸大于其他用户的视频图像，为了使各视频图像的分辨率相同，则用户C的视频图像对应的码率要求更大，但各发送端B（用户B-I的终端设备）上传的视频流的码率总和仍需不大于限制带宽。

在图1B所示的结构的基础上，当接收端的用户A需要一个显示设备单独显示某个发送端的视频图像时，用户需要接入一个新的显示设备。如图1C所示，用户接入一个新的显示设备，用于单独显示会议的主讲人B的视频图像。由于新增的显示设备单独显示主讲人B的视频图像，为了保证视频质量，则用户B的终端设备上传的视频流的码率需要与新增的显示设备的最大传输比特率匹配。示例性的，若新的显示设备的最大传输比特率为4Mbps，即用户B的终端设备上传的视频流的码率要为4Mbps才能保证视频质量，然而，服务器除了向接收端发送用户B的终端设备上传的视频流外，还要发送其他用户的终端设备上传的视频流，显然，原有的4Mbps的限制带宽无法满足传输要求，无法保证单独显示会议的主讲人B的视频图像的视频质量。

本发明实施例中，在接收端（用户A 的终端设备）接入新的显示设备之后，接收端向服务器反馈当前接入的显示设备的设备信息。服务器接收接收端反馈的接收端当前接入的显示设备的设备信息，从而更新SDP协议。示例性的，服务器接收到接收端当前接入的显示设备的设备信息后，基于接收端当前接入的显示设备的设备信息确定向接收端发送视频流的限制带宽。示例性的，设备信息可以包括接收端当前接入的两个显示设备的最大传输比特率，则限制带宽为接收端当前接入的各显示设备的最大传输比特率之和。示例性的，在本发明实施例中，两个显示设备的最大传输比特率都为4Mbps，则更新后的限制带宽为8Mbps，从而用户B的终端设备可以上传码率更高的视频流，保证单独显示会议的主讲人B的视频图像的视频质量。

示例性的，在本发明的一些实施例中，在更新完限制带宽后，服务器向发送端发送包括限制带宽的第一指令，发送端用于根据第一指令确定待上传的目标视频流，其中，各目标视频流的码率之和与限制带宽匹配。在本发明实施例中，各目标视频流的码率之和与限制带宽匹配表示各目标视频流的码率之和略小于或等于限制带宽，或者服务器对发送端上传的其中至少一个目标视频流在最大降码率范围内进行降码率处理后各目标视频流的码率之和小于或等于限制带宽。示例性的，本发明实施例以服务器对发送端上传的其中至少一个目标视频流在最大降码率范围内进行降码率处理后各目标视频流的码率之和小于或等于限制带宽作为各目标视频流的码率之和与限制带宽匹配为示例进行说明。其中，最大降码率范围为对视频流进行降码率处理后，仍然能够满足人眼正常观看的码率范围。示例性的，降码率处理方式可以包括丢帧处理和延时传输处理。

服务器在接收各发送端发送的目标视频流，并判断各发送端发送的目标视频流的码率之和是否大于限制带宽，若目标发送端发送的目标视频流的码率之和大于目标显示设备的最大传输比特率，则在最大降码率范围内降低至少一个目标视频流的码率，使得各目标视频流的码率之和小于或等于限制带宽，并将目标视频流转发给接收端。若目标发送端发送的目标视频流的码率之和小于或等于目标显示设备的最大传输比特率，则直接将目标发送端发送的目标视频流转发给目标接收端。

示例性的，丢帧处理的过程如下：

1、获取待丢帧的目标视频流中待传输的各视频帧。

对于要执行丢帧处理的目标视频流，获取该目标视频流中待传输的各视频帧，示例性的，在本发明实施例，待传输的视频帧可以缓存在一个传输队列中，服务器从该传输队列中获取目标视频中待传输的视频帧。

2、从各视频帧中确定可丢弃帧以及可丢弃帧的丢弃优先级。

示例性的，本发明实施例中发送端基于可伸缩的视频编码技术（Scalable VideoCoding，SVC），可以让编码的视频流按照一定规则丢弃一定的视频帧后, 还可以正常编码。在丢帧处理过程中，需要尽量减少对原有视频流的播放效果，例如，尽量避免解码后画面的花屏或画面跳跃现象。可伸缩的视频编码技术将视频帧分为视频编码关键帧和非关键帧，视频编码关键帧为具有完整画面数据的视频帧或者只需要本帧数据就可以完成解码的视频帧，而非关键帧则需要依赖视频编码关键帧或者其他非关键帧才能完成解码，因此，在本发明实施例中，将非关键帧视为可丢弃帧。因此，丢帧处理需要尽量避免丢弃视频编码关键帧，以避免解码后画面的花屏或画面跳跃现象。此外，非关键帧按照对解码后的视频质量影响又设置有不同的丢弃优先级，丢弃优先级越高的视频帧，丢弃后对解码后的视频质量影响越小。

视频帧的帧头或帧尾通常设置有用于表示该帧是视频编码关键帧或非关键帧的标识，以及非关键帧的可丢弃优先级，在本发明实施例中，通过该标识可以判断待传输的视频帧是否为可丢弃的可丢弃帧以及可丢弃帧的丢弃优先级。示例性的，视频编码关键帧的标识为T0，非关键帧的标识按照可丢弃优先级由低到高分别为T1-Tn。

3、在最大丢帧率范围内按照可丢弃帧的丢弃优先级依次丢弃可丢弃帧，直至丢帧后各目标视频流的码率之和等于限制带宽。

示例性的，按照可丢弃帧的丢弃优先级由高到低依次丢弃可丢弃帧，优先丢弃优先级高的可丢弃帧（即优先丢弃对解码后的视频质量影响小的视频帧），并确保丢帧后的丢帧率在在最大丢帧率范围内，保证接收端接收到的视频的流畅性，直至丢帧后各目标视频流的码率之和等于限制带宽。

示例性的，延时处理为增大各帧图像之间的发送间隔时间，如目标视频流的码率为150kb每秒为例，原本传输150kb的视频需要花费1秒，现调整各帧图像之间的发送间隔时间，将其延时为1.5秒，则相当于将其码率降低为100kbps。

在本发明的一些实施例中，如果在先接入的显示设备以宫格的形式显示各终端对应的视频流的视图，用户想要将其中一个视图在新接入的显示设备上全屏显示，为了保证新接入的显示设备显示的视频图像的视频质量，可以重新订阅新接入的显示设备显示的视频图像对应的视频流，具体过程如下：

1、从接收端接收新接入的目标显示设备待显示的视频流的视频流信息。

示例性的，视频流的视频流信息通常包括发送该视频流的发送端的地址信息，例如，物理地址，用户在确定新接入的目标显示设备待显示的视频流之后，服务器获取该视频流的视频流信息。

2、根据视频流信息确定发送待显示的视频流的目标发送端。

如前文所述，视频流的视频流信息通常包括发送该视频流的发送端的地址信息，通过该地址信息，就能确定发送待显示的视频流的目标发送端。

3、向目标发送端发送包括目标显示设备的最大传输比特率的第二指令，目标发送端用于根据第二指令确定待上传的目标视频流，其中，各目标发送端的目标视频流为降码率处理后码率之和小于或等于目标显示设备的最大传输比特率的视频流。

服务器在确定发送待显示的视频流的目标发送端之后，向目标发送端发送包括目标显示设备的最大传输比特率的第二指令。目标发送端用于根据第二指令确定待上传的目标视频流，其中，各目标发送端的目标视频流为降码率处理后码率之和小于或等于目标显示设备的最大传输比特率的视频流，从而保证新接入的显示设备显示的视频图像的视频质量。当然，在本发明的另一实施例中，各目标发送端的目标视频流的码率之和也可以略小于或等于目标显示设备的最大传输比特率。需要说明的是，如图1C所示，本发明实施例中以新增的目标显示设备单独显示一个视频图像为示例，在本发明的其他实施例中，新增加的目标显示设备也可以显示多个视频图像，图1D为本申请提供的另一种视频流传输***的结构示意图，如图1D所示，该实施例中，新增的目标显示设备显示用户B和用户C的两个视频图像。各视频图像对应的目标视频流的码率可以根据视频图像的显示尺寸确定，例如，若两个视频图像的显示尺寸相同，则两个目标视频流的码率相同，若用户B的视频图像的显示尺寸大于用户C的视频图像的显示尺寸，则用户B的视频图像对应的目标视频流的码率大于用户C的视频图像对应的目标视频流的码率。

4、接收目标发送端的目标视频流，并判断目标发送端发送的目标视频流的码率之和是否大于目标显示设备的最大传输比特率。

目标发送端根据新订阅生成新的目标视频流，并上传给服务器。服务器接收目标发送端的目标视频流。示例性，若各目标发送端的目标视频流的码率之和不大于目标显示设备的最大传输比特率，则无需对目标视频流进行降码率处理。若各目标发送端的目标视频流的码率之和大于目标显示设备的最大传输比特率，则对目标视频流进行降码率处理，使得目标发送端发送的目标视频流的码率之和小于或等于目标显示设备的最大传输比特率，并将目标视频流转发给接收端。降码率处理的过程可参考前述实施例中的丢帧处理和延时处理过程，本发明实施例再次不再赘述。

在本发明的另一实施例中，接收端的用户A原来接入两个显示设备，如图1C所示，用户A现在不需要单独显示主讲人B的视频图像，需要卸载显示主讲人B的视频图像的显示设备，卸载后的结构如图1B所示。示例性的，两个显示设备的最大传输比特率均为4Mbps，则卸载前的限制带宽为8Mbps。卸载其中一个显示设备后，由于原来单独显示主讲人B的视频图像对应的视频流的码率较大，原有的限制带宽8Mbps显然远大于现在单个显示设备的最大传输比特率，如果仍然按照原来的码率传输视频流，会造成带宽资源的浪费。

本发明实施例中，在卸载其中一个显示设备之后，接收端向服务器反馈当前接入的显示设备的设备信息。服务器接收接收端反馈的接收端当前接入的显示设备的设备信息，从而更新SDP协议。示例性的，服务器接收到接收端当前接入的显示设备的设备信息后，基于接收端当前接入的显示设备的设备信息确定向接收端发送视频流的限制带宽。示例性的，设备信息可以包括接收端当前接入的两个显示设备的最大传输比特率，则限制带宽为接收端当前接入的各显示设备的最大传输比特率之和。示例性的，在本发明实施例中，两个显示设备的最大传输比特率都为4Mbps，则更新后的限制带宽为4Mbps，从而用户B的终端设备可以上传码率更低的视频流，避免带宽资源的浪费。

示例性的，在本发明的一些实施例中，在更新完限制带宽后，服务器向发送端发送包括限制带宽的第一指令，发送端用于根据第一指令确定待上传的目标视频流，其中，各目标视频流的码率之和与限制带宽匹配。在本发明实施例中，各目标视频流的码率之和与限制带宽匹配表示各目标视频流的码率之和略小于或等于限制带宽，或者服务器对发送端上传的其中至少一个目标视频流在最大降码率范围内进行降码率处理后各目标视频流的码率之和等于限制带宽。

在本发明的一些实施例中，为了避免卸载的显示设备显示的视频图像对应的视频流的码率较大造成的带宽浪费，可以重新订阅卸载的显示设备显示的视频图像对应的视频流，具体过程如下：

1、确定卸载的目标显示设备显示的第一视频流的第一码率和未卸载的显示设备显示的第一视频流的第二码率。

示例性的，卸载的目标显示设备显示的第一视频流（如图1C中单独显示的用户B的视频图像对应的视频流），该视频流对应的码率为4Mbps。未卸载的显示设备显示的第一视频流（如图1C九宫格中显示的用户B的视频图像对应的视频流），该视频流的码率为0.5Mbps。

2、若第一码率大于第二码率，则向第一视频流的目标发送端发送第三指令，目标发送端根据第三指令上传码率确定待上传的视频流，其中，待上传的视频流为码率小于第一视频流的视频流。

若第一码率大于第二码率，则向第一视频流的目标发送端（如图1B中用户B的发送端）发送第三指令。目标发送端根据第三指令上传码率确定待上传的视频流，其中，待上传的视频流为码率小于第一视频流的视频流。示例性的，目标发送端确定待上传的视频流的码率略小于或等于第二视频流的第二码率，避免带宽资源的浪费。

3、接收目标发送端上传的视频流，并转发给接收端。

目标发送端将待上传的视频流上传到服务器。服务器接收目标发送端上传的视频流。

在本发明的一些实施例中，为了保证接收端显示的视频质量，目标发送端确定待上传的视频流的码率可以大于第二码率，然后对视频流进行降码率处理，使得视频流的码率等于第二码率，具体过程如下：

1、判断目标发送端上传的视频流的码率是否大于第二码率。

2、若目标发送端上传的视频流的码率大于第二码率，则在最大降码率范围内降低目标发送端上传的视频流的码率，使得目标发送端上传的视频流的码率小于或等于第二码率，并将目标发送端上传的视频流转发给接收端。

若目标发送端上传的视频流的码率大于第二码率，则在最大降码率范围内对目标发送端上传的视频流进行降码率处理，使得视频流的码率等于第二码率，并将目标发送端上传的视频流转发给接收端。具体的，对视频流的降码率处理过程在前述实施例中已有详细记载，本发明实施例在此不再赘述。若目标发送端上传的视频流的码率小于或等于第二码率，则直接将目标发送端上传的视频流转发给接收端。

图1E为本发明实施例提供的一种视频流传输流程图，如图1E所示，在接收端接入或卸载显示设备时，媒体转发器SFU获取接收端的设备信息，从而更新会话描述协议SDP，然后更新限制带宽。判断各发送端发送的视频流的码率之和是否大于限制带宽，若各发送端发送的视频流的码率之和大于限制带宽，则通知其中一个或几个发送端动态降低视频流的码率，或订阅分辨率更低的视频流（也即降低码率）；若各发送端发送的视频流的码率之和小于或等于限制带宽，则直接将视频流转发给接收端。进一步的，在通知其中一个或几个发送端动态降低视频流的码率，或订阅分辨率更低的视频流（也即降低码率）之后，再次判断新的视频流的码率之和是否大于限制带宽，若新的视频流的码率仍然大于限制带宽，则通过一个平滑模块对其中一个或几个视频流进行降码率处理，降码率处理可以是丢帧处理或增加视频流的传输延时，使得视频流的码率之和小于或等于限制带宽；若新的视频流的码率小于或等于限制带宽，则直接将视频流转发给接收端。本发明在接收端的显示设备的数量发生变化时，更新接收端当前接入的显示设备的设备信息，进而更新SDP协议，更新向接收端发送视频流的限制带宽，并对通知其中一个或几个发送端动态降低视频流的码率，或订阅分辨率更低的视频流，若新的视频流的码率之和仍然大于限制带宽，则进一步对视频流进行丢帧或延时传输处理，使得视频流的码率之和小于或等于限制带宽，避免视频流的码率与接收端的设备带宽不匹配造成的接收端的视频质量下降或带宽资源浪费的问题，提高了接收端的视频质量和带宽利用率，同时采用丢帧或延时传输对视频流进行处理，最大限度地保证视频的分辨率，提高用户体验。

实施例二

图2为本申请提供的一种视频流传输装置的结构示意图，视频流传输装置应用于服务器，如图2所示，该装置包括：

设备信息接收模块201，用于在接收端接入显示设备或卸载显示设备后，接收所述接收端反馈的所述接收端当前接入的显示设备的设备信息；

限制带宽确定模块202，用于基于所述接收端当前接入的显示设备的设备信息确定向所述接收端发送视频流的限制带宽；

视频流转发模块203，用于向所述接收端转发来自发送端的目标视频流，所述发送端可生成多个不同码率的视频流，各所述目标视频流的码率之和与所述限制带宽匹配。

在本发明的一些实施例中，所述设备信息包括所述接收端当前接入的各显示设备的最大传输比特率，限制带宽确定模块202包括：

限制带宽确定子模块，用于计算所述接收端当前接入的各显示设备的最大传输比特率的和，作为向所述接收端发送视频流的限制带宽。

在本发明的一些实施例中，视频流转发模块203包括：

第一指令发送子模块，用于向所述发送端发送包括所述限制带宽的第一指令，所述发送端用于根据所述第一指令确定待上传的目标视频流，其中，所述目标视频流为降码率处理后码率之和等于所述限制带宽的视频流；

第一判断单元，用于接收各所述发送端发送的目标视频流，并判断各所述发送端发送的目标视频流的码率之和是否大于所述限制带宽；

第一降码率处理单元，用于若各所述目标视频流之和大于所述限制带宽，则在最大降码率范围内降低至少一个目标视频流的码率，使得各所述目标视频流的码率之和小于或等于所述限制带宽，并将所述目标视频流转发给所述接收端；

视频转发单元，用于若各所述目标视频流的码率之和小于或等于所述限制带宽，则将所述目标视频流转发给所述接收端。

在本发明的一些实施例中，第一降码率处理单元用于在最大丢帧率范围内对至少一个目标视频流进行丢帧处理，或在最大延时范围内增加至少一个目标视频流的传输延时。

在本发明的一些实施例中，若所述接收端接入显示设备，视频流转发模块203还包括：

视频流信息获取子模块，用于从所述接收端接收新接入的目标显示设备待显示的视频流的视频流信息；

目标发送端确定子模块，用于根据所述视频流信息确定发送待显示的视频流的目标发送端；

第二指令发送子模块，用于向所述目标发送端发送包括所述目标显示设备的最大传输比特率的第二指令，所述目标发送端用于根据所述第二指令确定待上传的目标视频流，其中，各所述目标发送端的目标视频流为降码率处理后码率之和小于或等于所述目标显示设备的最大传输比特率的视频流；

判断子模块，用于接收所述目标发送端的目标视频流，并判断所述目标发送端发送的目标视频流的码率之和是否大于所述目标显示设备的最大传输比特率；

降码率子模块，用于若所述目标发送端发送的目标视频流的码率之和大于所述目标显示设备的最大传输比特率，则在最大降码率范围内降低至少一个目标视频流的码率，使得所述目标发送端发送的目标视频流的码率之和小于或等于所述目标显示设备的最大传输比特率，并将所述目标视频流转发给所述接收端；

第一视频流转发子模块，用于若所述目标发送端发送的目标视频流的码率之和小于或等于所述目标显示设备的最大传输比特率，则将所述目标发送端发送的目标视频流转发给目标接收端。

在本发明的一些实施例中，若所述接收端卸载显示设备，视频流转发模块203还包括：

码率确定子模块，用于确定卸载的目标显示设备显示的第一视频流的第一码率和未卸载的显示设备显示的第一视频流的第二码率；

第三指令发送子模块，用于若所述第一码率大于所述第二码率，则向所述第一视频流的目标发送端发送第三指令，所述目标发送端根据所述第三指令上传码率确定待上传的视频流，其中，所述待上传的视频流为码率小于所述第一视频流的视频流；

第二视频流转发子模块，用于接收所述目标发送端上传的视频流，并转发给所述接收端。

在本发明的一些实施例中，第二视频流转发子模块包括：

第二判断单元，用于判断所述目标发送端上传的视频流的码率是否大于所述第二码率；

第二降码率处理单元，用于若所述目标发送端上传的视频流的码率大于所述第二码率，则在最大降码率范围内降低所述目标发送端上传的视频流的码率，使得所述目标发送端上传的视频流的码率小于或等于所述第二码率，并将所述目标发送端上传的视频流转发给所述接收端；

视频流转发单元，用于若所述目标发送端上传的视频流的码率小于或等于所述第二码率，则将所述目标发送端上传的视频流转发给所述接收端。

上述视频流传输装置可执行本发明任意实施例所提供的视频流传输方法，具备执行视频流传输方法相应的功能模块和有益效果。

实施例三

本发明实施例三提供了一种视频流传输***，视频流传输***包括发送端、服务器和接收端。发送端具有生成多个视频流的能力，各视频流可以具有不同的传输带宽和分辨率。发送端用于采集视频，并对视频进行编码，生成多个视频流，然后上传到服务器。服务器具有视频流选择转发的功能，能够根据接收端订阅的视频选择相应的视频流。服务器用于执行如本发明上述任意实施例提供的视频流传输方法。接收端用于接收服务器转发的视频流。示例性的，视频流传输***的结构在前述实施例和图1B-图1D中已有详细介绍，本发明实施例在此不再赘述。

实施例四

图3为本申请提供的一种服务器的结构示意图，该服务器可以用来实施本发明前述任意实施例提供的视频流传输方法。如图3所示，服务器旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图3所示，服务器10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储服务器10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

服务器10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许服务器10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如，视频流传输方法。

在一些实施例中，视频流传输方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到服务器10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的视频流传输方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行视频流传输方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在服务器上实施此处描述的***和技术，该服务器具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种视频流传输方法，其特征在于，应用于服务器，所述方法包括：

在接收端接入显示设备或卸载显示设备后，接收所述接收端反馈的所述接收端当前接入的显示设备的设备信息；

基于所述接收端当前接入的显示设备的设备信息确定向所述接收端发送视频流的限制带宽；

向所述接收端转发来自发送端的目标视频流，所述发送端可生成多个不同码率的视频流，各所述目标视频流的码率之和与所述限制带宽匹配。

2.根据权利要求1所述的视频流传输方法，其特征在于，所述设备信息包括所述接收端当前接入的各显示设备的最大传输比特率，基于所述接收端当前接入的显示设备的设备信息确定向所述接收端发送视频流的限制带宽，包括：

计算所述接收端当前接入的各显示设备的最大传输比特率的和，作为向所述接收端发送视频流的限制带宽。

3.根据权利要求1所述的视频流传输方法，其特征在于，向所述接收端转发来自发送端的目标视频流，包括：

向所述发送端发送包括所述限制带宽的第一指令，所述发送端用于根据所述第一指令确定待上传的目标视频流，其中，所述目标视频流为降码率处理后码率之和等于所述限制带宽的视频流；

接收各所述发送端发送的目标视频流，并判断各所述发送端发送的目标视频流的码率之和是否大于所述限制带宽；

若各所述目标视频流之和大于所述限制带宽，则在最大降码率范围内降低至少一个目标视频流的码率，使得各所述目标视频流的码率之和小于或等于所述限制带宽，并将所述目标视频流转发给所述接收端；

若各所述目标视频流的码率之和小于或等于所述限制带宽，则将所述目标视频流转发给所述接收端。

4.根据权利要求3所述的视频流传输方法，其特征在于，在最大降码率范围内降低至少一个目标视频流的码率，包括：

在最大丢帧率范围内对至少一个目标视频流进行丢帧处理，或在最大延时范围内增加至少一个目标视频流的传输延时。

5.根据权利要求1-4任一项所述的视频流传输方法，其特征在于，若所述接收端接入显示设备，向所述接收端转发来自发送端的目标视频流，还包括：

从所述接收端接收新接入的目标显示设备待显示的视频流的视频流信息；

根据所述视频流信息确定发送待显示的视频流的目标发送端；

向所述目标发送端发送包括所述目标显示设备的最大传输比特率的第二指令，所述目标发送端用于根据所述第二指令确定待上传的目标视频流，其中，各所述目标发送端的目标视频流为降码率处理后码率之和小于或等于所述目标显示设备的最大传输比特率的视频流；

接收所述目标发送端的目标视频流，并判断所述目标发送端发送的目标视频流的码率之和是否大于所述目标显示设备的最大传输比特率；

若所述目标发送端发送的目标视频流的码率之和大于所述目标显示设备的最大传输比特率，则在最大降码率范围内降低至少一个目标视频流的码率，使得所述目标发送端发送的目标视频流的码率之和小于或等于所述目标显示设备的最大传输比特率，并将所述目标视频流转发给所述接收端；

若所述目标发送端发送的目标视频流的码率之和小于或等于所述目标显示设备的最大传输比特率，则将所述目标发送端发送的目标视频流转发给目标接收端。

6.根据权利要求1-4任一项所述的视频流传输方法，其特征在于，若所述接收端卸载显示设备，向所述接收端转发来自发送端的目标视频流，还包括：

确定卸载的目标显示设备显示的第一视频流的第一码率和未卸载的显示设备显示的第一视频流的第二码率；

若所述第一码率大于所述第二码率，则向所述第一视频流的目标发送端发送第三指令，所述目标发送端根据所述第三指令上传码率确定待上传的视频流，其中，所述待上传的视频流为码率小于所述第一视频流的视频流；

接收所述目标发送端上传的视频流，并转发给所述接收端。

7.根据权利要求6所述的视频流传输方法，其特征在于，接收所述目标发送端上传的视频流，并转发给所述接收端，包括：

判断所述目标发送端上传的视频流的码率是否大于所述第二码率；

若所述目标发送端上传的视频流的码率大于所述第二码率，则在最大降码率范围内降低所述目标发送端上传的视频流的码率，使得所述目标发送端上传的视频流的码率小于或等于所述第二码率，并将所述目标发送端上传的视频流转发给所述接收端；

若所述目标发送端上传的视频流的码率小于或等于所述第二码率，则将所述目标发送端上传的视频流转发给所述接收端。

8.一种视频流传输***，其特征在于，包括发送端、服务器和接收端，所述服务器用于执行如权利要求1-7任一所述的视频流传输方法。

9.一种服务器，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的视频流传输方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的视频流传输方法。

Images