CN113573004A - 视频会议处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及一种视频会议处理方法、装置、计算机设备和存储介质。所述方法包括：获取显示屏幕的屏幕视频流和摄像装置采集的摄像视频流；将屏幕视频流和摄像视频流引入视频处理引擎，由视频处理引擎分别对屏幕视频流和摄像视频流进行编码，获得编码后屏幕视频流和编码后摄像视频流；其中，在将屏幕视频流引入视频处理引擎时，携带屏幕视频流标识，在将摄像视频流引入视频处理引擎时，携带摄像视频流标识；将编码后屏幕视频流和编码后摄像视频流向服务器发送，以通过服务器发送给会议参与终端，编码后屏幕视频流携带屏幕视频流标识，编码后摄像视频流携带摄像视频流标识。采用本方法有助于提高视频会议的处理性能，提高用户体验。

Description

视频会议处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频会议处理方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了在线视频会议技术，其进行在线视频会议的过程中，参与视频会议的各参会人员的终端，可以将关联的摄像头拍摄的视频流实时传输给其他参会人员的终端，实现各参会人员的终端摄像头视频流的共享，以实现在线视频会议。然而，传统的视频会议***的处理方案，视频会议的处理性能和用户体验不佳。

发明内容

基于此，有必要针对上述技术问题，提供一种视频会议处理方法、装置、计算机设备和存储介质。

一种视频会议处理方法，所述方法包括：

获取显示屏幕的屏幕视频流和摄像装置采集的摄像视频流；

将所述屏幕视频流和所述摄像视频流引入视频处理引擎，由所述视频处理引擎分别对所述屏幕视频流和所述摄像视频流进行编码，获得编码后屏幕视频流和编码后摄像视频流；其中，在将所述屏幕视频流引入所述视频处理引擎时，携带屏幕视频流标识，在将所述摄像视频流引入所述视频处理引擎时，携带摄像视频流标识；

将所述编码后屏幕视频流和所述编码后摄像视频流向服务器发送，以通过所述服务器发送给会议参与终端，所述编码后屏幕视频流携带所述屏幕视频流标识，所述编码后摄像视频流携带所述摄像视频流标识。

一个实施例中，将所述编码后屏幕视频流和所述编码后摄像视频流向服务器发送时，将所述编码后屏幕视频流和所述编码后摄像视频流以两路视频传输给所述服务器。

一个实施例中，第一视频编码参数包括第一分辨率、第一帧率以及第一码率，所述第二视频编码参数包括第二分辨率、第二帧率以及第二码率，所述第一分辨率大于所述第二分辨率，所述第一帧率大于所述第二帧率，所述第一码率大于所述第二码率。

一个实施例中，所述码率调低指令，为所述服务器接收预定数目个大小相同的探测数据包后，计算所述预定数目个大小相同的探测数据包从尾包到首包的延时，根据所述预定数目、所述探测数据包的长度、以及所述延时，计算瓶颈带宽，基于所述瓶颈带宽确定网络带宽是否不足时发送的码率调低指令。

一种视频会议处理方法，所述方法包括：

获取服务器发送的编码后屏幕视频流和编码后摄像视频流，所述编码后屏幕视频流携带屏幕视频流标识，所述编码后摄像视频流携带摄像视频流标识；

基于所述屏幕视频流标识和摄像视频流标识，通过视频处理引擎分别对所述编码后屏幕视频流和所述编码后摄像视频流进行解码，获得解码后的屏幕视频流和解码后的摄像视频流；

将解码后的所述屏幕视频流渲染至第一显示窗口进行显示，将解码后的所述摄像视频流渲染至第二显示窗口进行显示。

一个实施例中，所述第一视频解码器与所述第一显示窗口对应，所述第二视频解码器与所述第二显示窗口对应。

一种视频会议处理装置，所述装置包括：

视频流获取模块，用于获取显示屏幕的屏幕视频流和摄像装置采集的摄像视频流；

第一视频处理引擎，用于将所述屏幕视频流和所述摄像视频流引入视频处理引擎，由所述视频处理引擎分别对所述屏幕视频流和所述摄像视频流进行编码，获得编码后屏幕视频流和编码后摄像视频流；其中，在将所述屏幕视频流引入所述视频处理引擎时，携带屏幕视频流标识，在将所述摄像视频流引入所述视频处理引擎时，携带摄像视频流标识；

网络发送模块，将所述编码后屏幕视频流和所述编码后摄像视频流向服务器发送，以通过所述服务器发送给会议参与终端，所述编码后屏幕视频流携带所述屏幕视频流标识，所述编码后摄像视频流携带所述摄像视频流标识。

一种视频会议处理装置，所述装置包括：

网络接收模块，用于获取服务器发送的编码后屏幕视频流和编码后摄像视频流，所述编码后屏幕视频流携带屏幕视频流标识，所述编码后摄像视频流携带摄像视频流标识；

第二视频处理引擎，基于所述屏幕视频流标识和摄像视频流标识，通过视频处理引擎分别对所述编码后屏幕视频流和所述编码后摄像视频流进行解码，获得解码后的屏幕视频流和解码后的摄像视频流；

显示模块，用于将解码后的所述屏幕视频流渲染至第一显示窗口进行显示，将解码后的所述摄像视频流渲染至第二显示窗口进行显示。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的任一实施例中的视频会议处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的任一实施例中的视频会议处理方法的步骤。

上述视频会议处理方法、装置、计算机设备和存储介质，其在进行视频会议的过程中，可以通过获取显示屏幕的屏幕视频流和摄像装置采集的摄像视频流，由视频处理引擎分别对屏幕视频流和摄像视频流进行编码，从而可以获得编码路后两路视频流：编码后屏幕视频流和编码后摄像视频流；然后将这两路视频流向服务器发送，以发送给其他的会议参与终端，由于针对显示屏幕的屏幕视频流和摄像装置采集的摄像视频流进行处理，且是以两路视频发送给服务器，从而可以针对屏幕视频流和摄像视频流可以分别进行不同的编码等处理，其在向服务器发送时是分别发送，任意一路视频流的编码和发送不影响另一路视频流的编码和发送，从而可以针对屏幕视频流和摄像视频流分别进行针对性的处理，有助于提高视频会议的处理性能，提高用户体验。

附图说明

图1为一个实施例中的视频会议处理方法的应用环境图；

图2为一个实施例中的视频会议处理方法的流程示意图；

图3为另一个实施例中的视频会议处理方法的流程示意图；

图4为一个实施例中的视频会议处理方法的交互流程示意图；

图5为一个实施例中的视频会议处理方法涉及的架构示意图；

图6为一个实施例中的视频参与终端的显示界面示意图；

图7为一个实施例中的测试瓶颈带宽的原理示意图；

图8为一个实施例中的视频会议处理装置的结构框图；

图9为另一个实施例中的视频会议处理装置的结构框图；

图10为另一个实施例中的视频会议处理装置的结构框图；

图11为另一个实施例中的视频会议处理装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的视频会议处理方法，可以应用于如图1所示的应用环境中。其中，终端101、102、103等可以通过网络与服务器20进行通信。终端101、102、103之间可以进行视频会议。以终端101视频会议处理时的屏幕内容分享方为例，终端101获取显示屏幕的屏幕视频流和摄像装置采集的摄像视频流，并将这两路视频流引入视频处理引擎，由视频处理引擎分别对屏幕视频流和摄像视频流进行编码后向服务器发送，由服务器发送给其他的会议参与终端102、103。会议参与终端102、103接收到服务器发送的编码后屏幕视频流和编码后摄像视频流后，通过视频处理引擎分别对编码后屏幕视频流和编码后摄像视频流进行解码，并将解码获得的屏幕视频流渲染至第一显示窗口进行显示，解码获得的摄像视频流渲染至第二显示窗口进行显示。在实际技术应用中，实际参与视频会议的终端不限于图1中所示的数量，可以是更多数量。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器20可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本申请提供的视频会议处理方法，可以基于云技术，应用于云会议的场景。

云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。

云技术(Cloud technology)是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台***进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的***后盾支撑，只能通过云计算来实现。

云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面，进行简单易用的操作，便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。

目前国内云会议主要集中在以SaaS(Software as a Service,软件即服务)模式为主体的服务内容，包括电话、网络、视频等服务形式，基于云计算的视频会议就叫云会议。

在云会议时代，数据的传输、处理、存储全部由视频会议厂家的计算机资源处理，用户完全无需再购置昂贵的硬件和安装繁琐的软件，只需打开浏览器，登录相应界面，就能进行高效的远程会议。

云会议***支持多服务器动态集群部署，并提供多台高性能服务器，大大提升了会议稳定性、安全性、可用性。近年来，视频会议因能大幅提高沟通效率，持续降低沟通成本，带来内部管理水平升级，而获得众多用户欢迎，已广泛应用在政府、军队、交通、运输、金融、运营商、教育、企业等各个领域。毫无疑问，视频会议运用云计算以后，在方便性、快捷性、易用性上具有更强的吸引力，必将激发视频会议应用新高潮的到来。

在一个实施例中，如图2所示，提供了一种视频会议处理方法，以该方法应用于图1中的用以进行屏幕分享的终端101为例进行说明，包括以下步骤S201至步骤S203。

步骤S201：获取显示屏幕的屏幕视频流和摄像装置采集的摄像视频流。

其中，显示屏幕是当前所在终端的显示屏幕，可以通过各种可能方式获取显示屏幕的画面并进行组合形成屏幕视频流，例如可以通过虚拟驱动来获取屏幕显示内容并尽心内日用，也可以通过当前设备的获取和复制标准显示器接口上的信息，来获得显示屏幕的视频流。

摄像视频流是通过摄像装置采集的视频流，该摄像装置可以是与当前所在的终端相互连接的摄像装置，也可以是该终端自带的摄像装置。在视频会议的过程中，该摄像装置实时打开，以拍摄采集获得摄像视频流。

步骤S202：将所述屏幕视频流和所述摄像视频流引入视频处理引擎，由所述视频处理引擎分别对所述屏幕视频流和所述摄像视频流进行编码，获得编码后屏幕视频流和编码后摄像视频流；其中，在将所述屏幕视频流引入所述视频处理引擎时，携带屏幕视频流标识，在将所述摄像视频流引入所述视频处理引擎时，携带摄像视频流标识。

其中，视频处理引擎是用以对屏幕视频流和摄像视频流进行视频处理的引擎，其对屏幕视频流和摄像视频流分别进行编码处理，即视频处理引擎对屏幕视频流和摄像视频流的处理是相互独立的，是对两个不同的视频流的处理。

一些实施例中，在将所述屏幕视频流引入所述视频处理引擎时，还携带第一视频编码参数，在将所述摄像视频流引入所述视频处理引擎时，还携带第二视频编码参数，所述第一视频编码参数和所述第二视频编码参数不同。其中，第一视频编码参数时用以对屏幕视频流进行编码的参数，该第一视频编码参数可以基于当前设备的显示屏幕的屏幕分辨率确定，也可以通过其他方式确定。第二视频编码参数时用以对摄像视频流进行编码的参数，该第二视频编码参数可以基于摄像设备的采样率，也可以通过其他方式确定。

一些实施例中，第一视频编码参数包括第一分辨率、第一帧率以及第一码率，所述第二视频编码参数包括第二分辨率、第二帧率以及第二码率，所述第一分辨率大于所述第二分辨率，所述第一帧率大于所述第二帧率，所述第一码率大于所述第二码率。即屏幕视频流的分辨率、帧率和码率都高于摄像视频流的分辨率、帧率和码率，从而可以优先满足高性能显示屏幕视频流的需求，提高视频会议的使用体验。

一些实施例中，所述视频处理引擎具体包括第一视频编码器和第二视频编码器；由所述视频处理引擎分别对所述屏幕视频流和所述摄像视频流进行编码，获得编码后屏幕视频流和编码后摄像视频流，包括：

通过第一视频编码器对所述屏幕视频流进行编码，获得所述编码后屏幕视频流；

通过第二视频编码器对所述摄像视频流进行编码，获得所述编码后摄像视频流。

从而，通过配置两个独立的视频编码器，来分别对屏幕视频流和摄像视频流进行编码，使屏幕视频流和摄像视频流是在相互独立的视频处理通道进行处理，二者不相互影响，可以满足对屏幕视频流的显示和摄像视频流的显示的不同需求，提升视频会议性能，提高用户体验。

步骤S203：将所述编码后屏幕视频流和所述编码后摄像视频流向服务器发送，以通过所述服务器发送给会议参与终端，所述编码后屏幕视频流携带所述屏幕视频流标识，所述编码后摄像视频流携带所述摄像视频流标识。

其中，编码后屏幕视频流携带的屏幕视频流标识，用以标识该编码后屏幕视频流是针对显示屏幕的视频流，该屏幕视频流标识可以直接包含在编码后屏幕视频流中，也可以是通过其他的方式呈现。编码后摄像视频流携带的摄像视频流标识，用以标识该编码后摄像视频流是针对摄像装置采集的视频流，该摄像视频流标识可以直接包含在编码后摄像视频流中，也可以是通过其他的方式呈现。

将所述编码后屏幕视频流和所述编码后摄像视频流向服务器发送时，将所述编码后屏幕视频流和所述编码后摄像视频流以两路视频传输给所述服务器，编码后屏幕视频流和所述编码后摄像视频流是作为两路视频流传输给服务器，。

一个实施例中，所述视频会议处理方法还可以包括：

在探测到网络带宽不足时，降低所述第一视频编码器对所述屏幕视频流进行编码的码率(即上述第一码率)和/或降低所述第二视频编码器对所述摄像视频流进行编码的码率(即上述第二码率)。

具体地，在探测到网路带宽不足时，可优先降低第二视频编码器对所述摄像视频流进行编码的第二码率，以尽可能地的满足高性能传输和显示屏幕视频流的需求。在降低第二码率之后，网络带宽仍不足时，或者第二码率已经降低至最低码率阈值，则可以进一步降低第一视频编码器对所述屏幕视频流进行编码的第一码率，从而可以在尽可能满足屏幕视频流的显示性能的清醒下，尽可能地满足网络传输的需求。可以理解的是，也在其他实施例中，在探测到网络带宽不足时，也可以是对第一码率和第二码率分别进行调整。

其中，在一些实施例中，在上述对第一码率和第二码率进行调整的过程中，可以是按预定码率步长进行调整。例如在对第一码率进行调整时，每次将第一码率降低第一预定码率步长，在对第二码率进行调整时，每次将第二码率降低第二预定码率步长。在其他实施例中，在上述对第一码率和第二码率进行调整的过程中，可以是结合探测到网路带宽不足时的网络参数，例如当前网络延时，结合原本发送屏幕视频流和摄像视频流时的理想网络延时，综合确定第一码率对应的第一调整码率，第二码率对应的第二调整码率，并将第一码率降低第一调整码率，将第二码率降低第二调整码率。应当理解的是，在上述先对第一码率进行调整再对第二码率进行调整的情形下，是在将第一码率降低第一调整码率之后，在需要对第二码率进行调整时，再确定第二调整码率，并将第二码率降低第二调整码率。

其中，对网络带宽的探测可以是由发送方终端来进行。本申请的一些实施例中，可以是由服务器来探测是否带宽不足，此时可以是在接收到服务器发送的码率调整指令之后，确定探测到网路带宽不足。

具体地，在一些实施例中，可以是背靠背地持续发送预定数目个大小相同的探测数据包；并接收所述服务器基于所述探测数据包探测到网络带宽不足时发送的码率调低指令，在接收到所述码率调低指令时，确定探测到网络带宽不足。

背靠背是指以最小帧间隔发送最多数据包不引起丢包时的数据包数量，其是持续发送的大小相同的数据报，其中的任何一个报文段丢失都将导致所有报文重发，主要用于测试网络设备的转发能力。

一个具体示例中，所述码率调低指令，为所述服务器接收预定数目个大小相同的探测数据包后，计算所述预定数目个大小相同的探测数据包从尾包到首包的延时，根据所述预定数目、所述探测数据包的长度、以及所述延时，计算瓶颈带宽，基于所述瓶颈带宽确定网络带宽是否不足时发送的码率调低指令。

在一个实施例中，如图3所示，提供了一种视频会议处理方法，以该方法应用于图1中的用以接收视频流的会议参与终端102、103为例进行说明，包括以下步骤S301至步骤S303。

步骤S301：获取服务器发送的编码后屏幕视频流和编码后摄像视频流，所述编码后屏幕视频流携带屏幕视频流标识，所述编码后摄像视频流携带摄像视频流标识。

其中，编码后屏幕视频流携带的屏幕视频流标识，用以标识该编码后屏幕视频流是针对显示屏幕的视频流，该屏幕视频流标识可以直接包含在编码后屏幕视频流中，也可以是通过其他的方式呈现。编码后摄像视频流携带的摄像视频流标识，用以标识该编码后摄像视频流是针对摄像装置采集的视频流，该摄像视频流标识可以直接包含在编码后摄像视频流中，也可以是通过其他的方式呈现。

步骤S302：基于所述屏幕视频流标识和摄像视频流标识，通过视频处理引擎分别对所述编码后屏幕视频流和所述编码后摄像视频流进行解码，获得解码后的屏幕视频流和解码后的摄像视频流。

其中，视频处理引擎是用以对编码后屏幕视频流和编码后摄像视频流进行视频处理的引擎，其对编码后屏幕视频流和编码后摄像视频流分别进行解码处理，即视频处理引擎对屏幕视频流和摄像视频流的处理是相互独立的，是对两个不同的视频流的处理。

其中，如上所述，屏幕视频流标识标识了该编码后屏幕视频流是针对显示屏幕的视频流，从而视频处理引擎可以采用针对屏幕视频流的解码方式进行解码。摄像视频流标识标识了该摄像后屏幕视频流是针对摄像装置采集的视频流，从而视频处理引擎可以采用针对摄像视频流的解码方式进行解码。

一个实施例中，所述视频处理引擎包括第一视频解码器和所述第二视频解码器器；

基于所述屏幕视频流标识，通过视频处理引擎分别对所述编码后屏幕视频流和所述编码后摄像视频流进行解码，获得解码后的屏幕视频流和解码后的摄像视频流，包括：

基于所述屏幕视频流标识，通过所述第一视频解码器对所述编码后屏幕视频流进行解码，获得解码后的所述屏幕视频流；

基于所述摄像视频流标识，采用所述第二视频解码器对所述编码后摄像视频流进行解码，获得解码后的所述摄像视频流。

从而，通过配置两个独立的视频解码器，来分别对编码后屏幕视频流和编码后摄像视频流进行编码，使屏幕视频流和摄像视频流是在相互独立的视频处理通道进行处理，二者不相互影响，可以满足对屏幕视频流的显示和摄像视频流的显示的不同需求，提升视频会议性能，提高用户体验。

步骤S303：将解码后的所述屏幕视频流渲染至第一显示窗口进行显示，将解码后的所述摄像视频流渲染至第二显示窗口进行显示。

其中，第一显示窗口是用以对分享屏幕进行显示的窗口，第二显示窗口是用以显示摄像头采集的视频流的窗口，第一显示窗口对应的显示区域的大小，大于第二显示其窗口对应的显示区域的大小，以使得显示屏幕尽可能多的显示分享的屏幕内容，以满足视频会议对内容分享的需求。

一些实施例中，所述第一视频解码器与所述第一显示窗口对应，所述第二视频解码器与所述第二显示窗口对应。从而，第一视频解码器解码后获得的屏幕视频流，可直接输出至第一显示窗口进行显示，第二视频解码器解码后获得的摄像视频流，可直接输出至第二显示窗口进行显示，无需额外的处理，简单便捷。

参考图4所示，在一个具体的视频会议处理的应用场景中，实际视频会议服务器以及多个会议参与方，这些会议参与方使用各自的终端通过视频会议服务器进行视频会议，其中，在这多个会议参与方中，存在一个会议参与方(本实施例中称为发送方)对自身终端的屏幕进行分享，将其屏幕内容通过视频会议服务器分享至其他的会议参与方的终端，同时该发送方还通过摄像头采集视频流作为摄像视频流，将摄像视频流通过视频会议服务器分享至其他的会议参与方的终端。

参考图5所述，作为发送方的会议参与方的客户端，其视频处理引擎包括第一视频编码器和第二视频编码器，第一视频编码器作为主路视频编码器，用以对通过屏幕采集获得的屏幕视频流进行视频编码，第二视频编码器作为辅路视频编码器，用以对通过摄像头采集获得的摄像视频流进行视频编码。主路视频编码器和辅路视频编码器编码获得的视频流通过网络发送模块，以两路发送给视频会议服务器。作为接收方的会议参与方的客户端，其视频处理引擎包括第一视频解码器和第二视频解码器，网络接收模块接收到视频会议服务器传输的两路视频流后，第一视频解码器作为主路视频解码器，用以对收到的编码后屏幕视频流进行视频解码，解码后获得的屏幕视频流在对应的渲染窗口1(即上述第一显示窗口)进行渲染显示。第二视频解码器作为辅路视频解码器，用以对收到的编码后摄像视频流进行视频解码，解码后获得的摄像视频流在对应的渲染窗口2(即上述第二显示窗口)进行渲染显示。从而，通过两路采集视频，两路编码视频，两路解码视频，实现了对屏幕视频流和摄像视频流的分别处理，提升视频会议的处理性能和视频会议时的处理体验。

其中，在实际的视频会议***中，对于视频会议的参与方来说，其既可以作为视频会议的发送方，也可以作为视频会议的接收方，因此，针对视频会议的客户端来说，其客户端的视频处理引擎可以同时包括上述第一视频编码器、第二视频编码器、第一视频解码器和第二视频解码器，只是在其在作为发送方时，可以只使用到其中的第一视频编码器和第二视频编码器，在作为接收方时，可以只使用到其中的第一视频解码器和第二视频解码器。

如图4所示，发送方终端采集两路视频数据：一路为显示屏幕的屏幕视频流，另一路为摄像装置采集的摄像视频流，并通过视频引擎接口将屏幕视频流和摄像视频流引入视频处理引擎，并在引入视频处理引擎时指定视频流标识以及视频编码参数。即，在将屏幕视频流引入视频处理引擎时，携带屏幕视频流标识和第一视频编码参数，在将摄像视频流引入视频处理引擎时，携带摄像视频流标识和第二视频编码参数。第一视频编码参数包括第一分辨率、第一帧率以及第一码率，第二视频编码参数包括第二分辨率、第二帧率以及第二码率，第一分辨率大于第二分辨率，第一帧率大于第二帧率，第一码率大于第二码率。其中，屏幕视频流携带的屏幕视频流标识指示了需要将其引入到第一视频编码器，摄像视频流携带的摄像视频流标识指示了需要将其引入到第二视频编码器。

视频处理引擎的第一视频编码器采用上述第一视频编码参数，对屏幕视频流进行编码，获得编码后屏幕视频流；第二视频编码器采用上述第二视频编码参数，对所述摄像视频流进行编码，获得编码后摄像视频流。

然后，编码获得的编码后屏幕视频流和编码后摄像视频流以两路视频流，上传该视频会议服务器，其中，编码后屏幕视频流携带屏幕视频流标识，编码后摄像视频流携带摄像视频流标识，用以对视频流的来源或者说类型进行区分。其中，屏幕视频流标识可以写入编码后屏幕视频流的数据包包头，摄像视频流标识可以写入编码后屏幕视频流的数据包包头。

视频会议服务器接收到编码后屏幕视频流和编码后摄像视频流这两路视频流后，向参与视频会议的其他会议参与方，即作为接收方的各会议参与方的终端发送。

作为接收方的各会议参与方的终端接收到编码后屏幕视频流和编码后摄像视频流之后，解开编码后屏幕视频流和编码后摄像视频流的数据包包头，根据视频流ID区分出屏幕数据流和摄像头数据流，分别放入不同的视频解码器解码。即在数据包包头携带的是屏幕视频流标识时，说明该数据包是屏幕视频流，将该其放入第一视频解码器进行解码，获得解码后的屏幕视频流。在数据包包头携带的是摄像视频流标识时，说明该数据包是摄像视频流，将该其放入第二视频解码器进行解码，获得解码后的摄像视频流。

解码后获得的屏幕视频流和摄像视频流，视频处理引擎向视频会议客户端进行回调，传出可以用以显示画面的屏幕视频流和摄像视频流对应的图像数据，该图像数据可以是RGB格式的图像数据，客户端将解码后的屏幕视频流的图像数据渲染至第一显示窗口进行显示，将客户端将解码后的摄像视频流的图像数据渲染至第二显示窗口进行显示，一个具体示例中的接收方的显示界面如图6所示。

如图6所示，第一显示窗口601的对应的显示区域的大小，大于第二显示窗口602对应的显示区域的大小，以使得显示屏幕尽可能多的显示分享的屏幕内容，以满足视频会议对内容分享的需求，其中，第一显示窗口601用以显示屏幕视频流，即显示分享屏幕，第二显示窗口602用以显示摄像视频流，即显示摄像头拍摄到的视频流，例如屏幕分享者的人像等等，从而可以便于在观看分享屏幕的同时观看到屏幕分享者的人像，可以观看到屏幕分享者的表情。其中，在第一显示窗口601的边界或者边界拐角处，还可以设置有分享屏幕提示标记603，以指示分享屏幕提示标记603内的区域是用以显示分享屏幕的区域。一些实施例中，在视频会议显示界面的上方，还可以显示当前视频会议的相关信息，例如“armstronxi发起的发会议armstronxi正在演示-屏幕等”。在一些实施例中，在第二显示窗口602相邻的位置，例如图6所示的第二显示其窗口602的上方，同时显示屏幕分享方在该视频会议***的用户名称(例如armstronxi)以及在该视频会议***的用户头像(例如图6中的图像1)，在其他实施例中也可以做不同的设定。此外，在一些实施例中，在视频会议显示界面，还可以设置有与视频会议相关的控件，例如设置麦克风设置控件，用以设置麦克风的打开和关闭，同时显示麦克风当前的设置情况或者可操作信息(例如图6中所示的静音)。还可以设置有摄像头设置控件，用以设置摄像头的打开和关闭，同时显示摄像头当前的设置情况或者可操作信息(例如图6找那个所示的“打开摄像头”)。此外，还可以设置有其他的相关控件，例如用以邀请其他人参加会议的“邀请参会”控件、用以查看或者管理参加视频会议的人员的“管理成员”的控件、用以离开视频会议的“结束”控件等等。在其他实施例中，视频会议界面也可以做其他的设定。

由于需要在网络上传输两路视频流，需要消耗较大的带宽，本申请实施例还支持网络带宽不够时，动态调整发送方发送的视频码率。

本申请实施例中，使用包列测瓶颈带宽，据此调整视频码率。

在视频会议的过程中，参加视频会议的发送方背靠背的连续发送预定数目N个大小相同的包(即上述探测数据包)，长度都为L。

视频会议服务器接收到预定数目N个大小相同的包之后，计算所述预定数目N个大小相同的探测数据包从尾包到首包的延时t，根据预定数目、探测数据包的长度L、延时t，计算瓶颈带宽，一个具体示例中瓶颈带宽C可以是长度L预定数目N减1的乘积与延时t的比值，用公式可表示为C＝L*(N-1)/t，如图7所示。

在基于计算出的瓶带宽确定出现网络带宽不足时，视频会议服务器向视频会议的发送方发送码率调低指令，以指示发送方调整码率。发送方接收到该码率调低指令后，调低摄像视频流和/或屏幕视频流的码率，以满足传输需求，保证视频会议时视频画面的流畅性。

参考图7所示，可以看出包对实际上是N＝2的特殊的包列。通过包列测瓶颈带宽，相当于取了平均，避免了极小的延时t值，而且当有竞争数据流***的时候避免了干扰，防止竞争包正好***到包对之间大幅增大延时t，提高了测得的瓶颈带宽的准确性。

应该理解的是，虽然上述各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，这些流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种视频会议处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：

视频流获取模块801，用于获取显示屏幕的屏幕视频流和摄像装置采集的摄像视频流；

第一视频处理引擎802，用于将所述屏幕视频流和所述摄像视频流引入视频处理引擎，由所述视频处理引擎分别对所述屏幕视频流和所述摄像视频流进行编码，获得编码后屏幕视频流和编码后摄像视频流；其中，在将所述屏幕视频流引入所述视频处理引擎时，携带屏幕视频流标识，在将所述摄像视频流引入所述视频处理引擎时，携带摄像视频流标识；

网络发送模块803，将所述编码后屏幕视频流和所述编码后摄像视频流向服务器发送，以通过所述服务器发送给会议参与终端，所述编码后屏幕视频流携带所述屏幕视频流标识，所述编码后摄像视频流携带所述摄像视频流标识。

一个实施例中，网络发送模块803，将所述编码后屏幕视频流和所述编码后摄像视频流以两路视频传输给所述服务器。

一个实施例中，第一视频处理引擎802，包括第一视频编码器和第二视频编码器；

第一视频编码器对所述屏幕视频流进行编码，获得所述编码后屏幕视频流；

第二视频编码器对所述摄像视频流进行编码，获得所述编码后摄像视频流。

一个实施例中，第一视频处理引擎802，将所述屏幕视频流引入所述视频处理引擎时，还携带第一视频编码参数，在将所述摄像视频流引入所述视频处理引擎时，还携带第二视频编码参数，所述第一视频编码参数和所述第二视频编码参数不同。

一个实施例中，第一视频编码参数包括第一分辨率、第一帧率以及第一码率，所述第二视频编码参数包括第二分辨率、第二帧率以及第二码率，所述第一分辨率大于所述第二分辨率，所述第一帧率大于所述第二帧率，所述第一码率大于所述第二码率。

一个实施例中，第一视频处理引擎802，还在探测到网络带宽不足时，降低所述第一视频编码器对所述屏幕视频流进行编码的码率和/或降低所述第二视频编码器对所述摄像视频流进行编码的码率。

一个实施例中，网络发送模块803，背靠背地持续发送预定数目个大小相同的探测数据包；接收所述服务器基于所述探测数据包探测到网络带宽不足时发送的码率调低指令，在接收到所述码率调低指令时，确定探测到网络带宽不足。

一个实施例中，所述码率调低指令，为所述服务器接收预定数目个大小相同的探测数据包后，计算所述预定数目个大小相同的探测数据包从尾包到首包的延时，根据所述预定数目、所述探测数据包的长度、以及所述延时，计算瓶颈带宽，基于所述瓶颈带宽确定网络带宽是否不足时发送的码率调低指令。

在一个实施例中，如图9所示，提供了一种视频会议处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：

网络接收模块901，用于获取服务器发送的编码后屏幕视频流和编码后摄像视频流，所述编码后屏幕视频流携带屏幕视频流标识，所述编码后摄像视频流携带摄像视频流标识；

第二视频处理引擎902，基于所述屏幕视频流标识和摄像视频流标识，通过视频处理引擎分别对所述编码后屏幕视频流和所述编码后摄像视频流进行解码，获得解码后的屏幕视频流和解码后的摄像视频流；

显示模块903，用于将解码后的所述屏幕视频流渲染至第一显示窗口进行显示，将解码后的所述摄像视频流渲染至第二显示窗口进行显示。

一个实施例中，所述视频处理引擎包括第一视频解码器和所述第二视频解码器器；

所述第一视频解码器基于所述屏幕视频流标识，对所述编码后屏幕视频流进行解码，获得解码后的所述屏幕视频流；

所述第二视频解码器基于所述摄像视频流标识，对所述编码后摄像视频流进行解码，获得解码后的所述摄像视频流。

一个实施例中，所述第一视频解码器与所述第一显示窗口对应，所述第二视频解码器与所述第二显示窗口对应。

在实际的视频会议***中，对于视频会议的参与方来说，其既可以作为视频会议的发送方，也可以作为视频会议的接收方，因此，参考图10、11所示，一个实施例中的视频会议处理装置，可以同时包括如图8所示实施例的视频会议处理装置以及如图9所示实施例的视频会议处理装置。此时，上述第一视频处理引擎802和第二视频处理引擎902可以是独立的两个引擎，如图10所示，也可以是同一个视频处理引擎，如图11所示。

关于视频会议处理装置的具体限定可以参见上文中对于视频会议处理方法的限定，在此不再赘述。上述视频会议处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频会议处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频会议处理方法，其特征在于，所述方法包括：

获取显示屏幕的屏幕视频流和摄像装置采集的摄像视频流；

将所述屏幕视频流和所述摄像视频流引入视频处理引擎，由所述视频处理引擎分别对所述屏幕视频流和所述摄像视频流进行编码，获得编码后屏幕视频流和编码后摄像视频流；其中，在将所述屏幕视频流引入所述视频处理引擎时，携带屏幕视频流标识，在将所述摄像视频流引入所述视频处理引擎时，携带摄像视频流标识；

将所述编码后屏幕视频流和所述编码后摄像视频流向服务器发送，以通过所述服务器发送给会议参与终端，所述编码后屏幕视频流携带所述屏幕视频流标识，所述编码后摄像视频流携带所述摄像视频流标识。

2.根据权利要求1所述的方法，其特征在于，所述视频处理引擎包括第一视频编码器和第二视频编码器；由所述视频处理引擎分别对所述屏幕视频流和所述摄像视频流进行编码，获得编码后屏幕视频流和编码后摄像视频流，包括：

通过第一视频编码器对所述屏幕视频流进行编码，获得所述编码后屏幕视频流；

通过第二视频编码器对所述摄像视频流进行编码，获得所述编码后摄像视频流。

3.根据权利要求2所述的方法，其特征在于，在将所述屏幕视频流引入所述视频处理引擎时，还携带第一视频编码参数，在将所述摄像视频流引入所述视频处理引擎时，还携带第二视频编码参数，所述第一视频编码参数和所述第二视频编码参数不同。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在探测到网络带宽不足时，降低所述第一视频编码器对所述屏幕视频流进行编码的码率和/或降低所述第二视频编码器对所述摄像视频流进行编码的码率。

5.根据权利要求4所述的方法，其特征在于，还包括：

背靠背地持续发送预定数目个大小相同的探测数据包；

接收所述服务器基于所述探测数据包探测到网络带宽不足时发送的码率调低指令，在接收到所述码率调低指令时，确定探测到网络带宽不足。

6.一种视频会议处理方法，其特征在于，所述方法包括：

获取服务器发送的编码后屏幕视频流和编码后摄像视频流，所述编码后屏幕视频流携带屏幕视频流标识，所述编码后摄像视频流携带摄像视频流标识；

基于所述屏幕视频流标识和摄像视频流标识，通过视频处理引擎分别对所述编码后屏幕视频流和所述编码后摄像视频流进行解码，获得解码后的屏幕视频流和解码后的摄像视频流；

将解码后的所述屏幕视频流渲染至第一显示窗口进行显示，将解码后的所述摄像视频流渲染至第二显示窗口进行显示。

7.根据权利要求6所述的方法，其特征在于，所述视频处理引擎包括第一视频解码器和所述第二视频解码器器；

基于所述屏幕视频流标识，通过视频处理引擎分别对所述编码后屏幕视频流和所述编码后摄像视频流进行解码，获得解码后的屏幕视频流和解码后的摄像视频流，包括：

基于所述屏幕视频流标识，通过所述第一视频解码器对所述编码后屏幕视频流进行解码，获得解码后的所述屏幕视频流；

基于所述摄像视频流标识，采用所述第二视频解码器对所述编码后摄像视频流进行解码，获得解码后的所述摄像视频流。

8.一种视频会议处理装置，其特征在于，所述装置包括：

视频流获取模块，用于获取显示屏幕的屏幕视频流和摄像装置采集的摄像视频流；

第一视频处理引擎，用于将所述屏幕视频流和所述摄像视频流引入视频处理引擎，由所述视频处理引擎分别对所述屏幕视频流和所述摄像视频流进行编码，获得编码后屏幕视频流和编码后摄像视频流；其中，在将所述屏幕视频流引入所述视频处理引擎时，携带屏幕视频流标识，在将所述摄像视频流引入所述视频处理引擎时，携带摄像视频流标识；

网络发送模块，将所述编码后屏幕视频流和所述编码后摄像视频流向服务器发送，以通过所述服务器发送给会议参与终端，所述编码后屏幕视频流携带所述屏幕视频流标识，所述编码后摄像视频流携带所述摄像视频流标识。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images