CN104469259A - 一种云端视频合成方法及*** - Google Patents

Abstract

本发明公开一种云端视频合成方法及***，本方法是将视频合成服务器群部署到不同的云端上，云端是指连接到网络的客户端，客户端与视频调度/转发服务器建立通信；具体为：视频调度/转发服务器对接入的各个客户端进行分析，获取各个客户端机器的能力集，并为属于同一个会议的客户端机器建立一个当前会议客户端机器能力集列表，为属于不同会议的客户端机器建立一个全部客户端机器能力集列表，对2个列表中的能力集排序，分别为：会议内客户端机器能力集排序和全部客户端机器能力集排序；同时获取各个客户端机器的视频合成能力；视频调度/转发服务器分析由客户端发送的数据流，将标识为本地视频和已合成的视频发送到客户端进行视频的合成或播放。

Description

一种云端视频合成方法及***

技术领域

本发明涉及视频会议领域，更具体地，涉及一种云端视频合成方法及***。

背景技术

传统的多方视频会议***的运营商，是需要数量庞大的视频调度服务器和视频合成服务器。

随着互联网的普及和带宽增加，越来越多的人通过网络视频会议进行沟通或聊天。目前，如图1，在多方视频聊天的过程中，各方画面集中在一个屏幕上显示，是通过在中心视频服务器进行视频合成后，然后发送到各方观看。但随着网络视频会议需求的剧增，视频合成服务器的负载能力很快就会过载，经常需要增加新的视频合成服务器来满足需要，这样会不断增加运营方的硬件成本。更重要的是，中心视频服务器总是数量有限的。过多视频合成服务器有可能浪费资源，过少的服务器又满足不了需求。

发明内容

为克服上述现有技术不足，本发明首先提供一种运营成本低的云端视频合成方法。

本发明的又一目的是提出一种云端视频合成***。

为解决上述技术问题，本发明的技术方案如下：

一种云端视频合成方法，将视频合成服务器群部署到不同的云端上，所述云端是指连接到网络的客户端，客户端与视频调度/转发服务器建立通信；所述云端视频合成方法包括以下步骤：

视频调度/转发服务器对接入的各个客户端进行分析，获取各个客户端机器的能力集，并为属于同一个会议的客户端机器建立一个当前会议客户端机器能力集列表，为属于不同会议的客户端机器建立一个全部客户端机器能力集列表，对2个列表中的能力集排序，分别为：会议内客户端机器能力集排序和全部客户端机器能力集排序；同时获取各个客户端机器的视频合成能力；

视频调度/转发服务器分析由客户端发送的数据流，将标识为本地视频和已合成的视频发送到客户端进行视频的合成或播放。

一种云端视频合成***，该***将视频合成服务器群部署到不同的云端上，所述云端是指连接到网络的客户端，所述***包括建立通信的客户端与视频调度/转发服务器；

所述视频调度/转发服务器，用于对接入的各个客户端进行分析，获取各个客户端机器的能力集，并为属于同一个会议的客户端机器建立一个当前会议客户端机器能力集列表，为属于不同会议的客户端机器建立一个全部客户端机器能力集列表，对2个列表中的能力集排序，分别为：会议内客户端机器能力集排序和全部客户端机器能力集排序；同时获取各个客户端机器的视频合成能力；视频调度/转发服务器还用于分析由客户端发送的数据流，将标识为“本地视频”和“已合成”的数据流发送到客户端；

所述客户端，用于对视频的合成或播放。

与现有技术相比，本发明技术方案的有益效果是：在实现视频合成时采用云端实现，取消了众多的中心视频合成服务器，降低运营商的购买硬件成本投入及相应的运营维护费用；在降低运营成本同时减少了性能瓶颈，使运营商有能力运营更多视频会议。

附图说明

图1为传统多方视频会议网络架构图。

图2为本发明云端多方视频聊天网络架构图。

图3为客户端的视频处理框架图。

图4 为服务器处理框架图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

随着目前互联网技术的发展，可以将任何连接到Internet网的计算机都看成云端。而且目前一般用户的计算机性能也足以满足视频合成对机器性能的要求。因此，可以利用云技术特点将数量有限的中心视频合成服务器群部署到不同的拥有富裕处理能力的云端的用户处理器上。这样每个会议基本都可以有自己独立的视频合成服务器，而不在受限与中心服务器的数量和处理能力。

为此本实施方式中首先提出一种云端视频合成方法，是将视频合成服务器群部署到不同的云端上，所述云端是指连接到网络的客户端，客户端与视频调度/转发服务器建立通信；所述云端视频合成方法包括以下步骤：

视频调度/转发服务器对接入的各个客户端进行分析，获取各个客户端机器的能力集，并为属于同一个会议的客户端机器建立一个当前会议客户端机器能力集列表，为属于不同会议的客户端机器建立一个全部客户端机器能力集列表，对2个列表中的能力集排序，分别为：会议内客户端机器能力集排序和全部客户端机器能力集排序；同时获取各个客户端机器的视频合成能力；

视频调度/转发服务器分析由客户端发送的数据流，将标识为“本地视频”和“已合成”的视频发送到客户端进行视频的合成或播放。

当客户端发送的数据流标识为客户端机器能力集，则所述服务器对相应接入的各个客户端机器进行分析。

所述客户端机器能力集包括CPU型号、CPU使用率、内存大小、内存占用率和网络带宽。

所述视频调度/转发服务器将标识为“本地视频”和“已合成”的数据流发送到客户端进行视频的合成或播放的具体实现方式为：

客户端对由视频调度/转发服务器发送的数据流进行用途类型分析，其用途类型包括“播放”类型和“需合成”类型，当数据流为“播放”类型时，则对数据流进行解码并播放；当数据流为“需合成”类型时，则对数据流进行解码合成，将合成后的数据流进行编码，标识为已合成发送到视频调度/转发服务器。

当属于同一会议的客户端机器能够满足视频合成要求，则优先选择会议内客户端机器进行视频合成，否则能够选择若干其他会议的客户端机器进行视频合成。

如图2所示，一种云端视频合成***是由PC客户端及视频调度/转发服务器组成。这里要注意的是，云端多方视频会议***有音/视频***一起构成，但本方案由于重点阐述云端视频合成***，因此将音频***处理省略。

图3给出了，客户端的视频处理框架。

（1）在客户端登陆服务器建立会议室时，通过主机性能收集模块获取客户端机器能力集（包括CPU型号，CPU使用率，内存大小，内存占用率，网络带宽等一系列指标），通过类型标识模块在该数据流前加上“客户端机器能力集”标识，然后通过网络发送模块发送给视频调度/转发服务器。

（2）视频采集模块通过摄像头采集本地视频，送到视频编码模块进行视频压缩编码，然后经过类型标识模块在数据流前加入“本地视频”标识，再通过网络发送模块发送给视频调度/转发服务器。

（3）网络接收模块接收视频调度/转发服务器转发的视频码流后，送到类型解析模块解析数据流用途类型（“播放”或“需合成”），若是“播放”类型，则会在解码模块中解码后，送往视频播放模块显示给用户观看；若是“需合成”类型，则在解码模块中解码后，进入视频合成模块合成。合成后的视频流进过视频编码模块压缩编码，再经过类型标识模块加上“已合成”标识，通过网络发送模块发回给视频调度/转发服务器。

如图4所示，服务器处理流程：

网络接收模块接收到客户端数据流后，先通过类型解码模块进行码流解析。

（a）若为数据类型为“客户端机器能力集”，则送入视频调度模块进行决策。视频调度模块，会为同一个会议的客户端机器建立一个当前会议客户端机器能力集列表，同时会将不同会议的客户端端机器建立一个全部客户端机器能力集列表，并对2个列表中的能力集排序：会议内客户端机器能力集排序和全部客户端机器能力集排序。如果会议内机器能力集满足合成要求，则优先选择会议内若干客户端机器进行视频合成，否则可以选择若干其他会议的客户端机器进行视频合成。

（b）若为“本地视频”标识，则依据调度决策通过网络发送模块转发相关客户端进行视频合成。

（c）若为“已合成”类型，则依据调度决策通过网络发送模块转发视频流到相关客户端进行视频再合成或播放显示给用户观看。

实施例1

主要说明云端视频合成***针对同一个会议内的若干机器可以满足合成要求的处理流程。

如图2，为简单起见，有9个用户（客户端A~I）进行1个多方视频会议。

（1）客户端A~I收集本机能力集后，经过类型标识模块加上“客户端机器能力集”标识，通过网络发送给视频调度/转发服务器。

（2）视频调度/转发服务器收到客户端A~I的数据流后，经过类型解析模块确定是能力集数据流后，送到视频调度模块。

（3）视频调度模块为它们建立1个当前会议能力集列表L1，且将它们也加入全局客户端机器能力集列表L2中，并对它们进行能力集评估排序。

（a）这里，假定经过评估后列表L1中的评估结果为：客户端C的机器满足6路视频合成，客户端E的机器满足3路视频合成，客户端I的机器满足2路视频合成，其他客户端满足0路视频合成。

（b）这时产生决策结果为：将客户端A~F的视频流送到客户端C的机器进行合成，将3路客户端G~I的视频送到客户端E的机器进行合成，然后会将客户端C和E返回的合成视频再送往客户端I进行最终合成。

（4）客户端A~I的视频采集模块采集摄像头视频，送到视频编码模块进行压缩，经过类型标识模块加上“本地视频”标识，然后通过网络发送模块发送给视频调度/转发服务器。

（5）视频调度/转发服务器通过网络接收模块接收到客户端A~I的数据流后，经过类型解析为视频流，根据决策结果，将客户端A~F的视频流前面加入“需合成”类型标志后，通过网络发送模块转发给客户端C，同时将客户端G~I的视频加入“需合成”标志后转发给客户端E。

（6）客户端C接收到视频调度/转发服务器转发的数据流，经码流解析后发现是“需合成”类型，解码后，送到视频合成模块进行6路视频合成1路视频，然后进入编码模块压缩，然后经过类型标识模块加上“已合成”标识，通过网络发送给视频调度/转发服务器。

（7）同时客户端E接收到视频调度/转发服务器转发的3路数据流，经码流解析后发现是“需合成”类型，解码后，送到视频合成模块合成1路视频，然后进入编码压缩，经过类型标识模块加上“已合成”标识，通过网络发送给视频调度/转发服务器。

（8）视频调度/转发服务器，接收到客户端C/E的数据流，经过解析发现类型都是“已合成”，通过调度决策模块确定还需送入客户端I进行最终合成，于是数据流会经过类型标识模块加上“需合成”标识，通过网络转发给客户端I。

（9）客户端I接收到视频调度/转发服务器数据流后，经过类型解析，发现是“需合成”，解码后，将2路视频流送入合成模块进行合成，然后由类型标识模块加上“已合成”标识，再发回给视频调度/转发服务器。

（10）视频调度/转发服务器接收到客户端I的数据流后，经过解析发现是“已合成”类型，经过调度决策模块确认所有视频都已合成，最后需转发给所有客户端观看，于是该数据流由类型标识模块加上“播放”标识，然后通过网络模块发送给所有客户端A~I。

（11）客户端A~I，接收到视频调度/转发服务器的数据流，经过类型解析发现是“播放”类型，则经过解码后的视频，送入播放模块显示给用户观看。

实施例2

本实施例主要用于针对同一个会议内的机器性能不能完全满足视频合成要求，其他会议内有富裕处理能力的机器时的处理流程。

同样如图2中的9个用户召开2个视频会议：会议室1有客户端A/B/D/E/I参与，会议室2有客户端C/F/G/H参与。

在会议室2中，客户端C的机器能力集满足6路视频合成，而会议室2中只有4路视频，所以客户端C的机器能力集满足会议内所有视频合成要求，处理流程同实施例子1，这里不再描述。

而这里主要描述对会议室1中客户端不能完全满足合成要求的处理流程。

（1）客户端A/B/D/E/I收集本机能力集后，经过类型标识模块加上“客户端机器能力集”标识，通过网络发送给视频调度/转发服务器。

（2）视频调度/转发服务器收到客户端A/B/D/E/I的数据流后，经过类型解析模块确定是能力集数据流后，送到视频调度模块。

（3）视频调度模块为它们建立1个当前会议能力集列表L1（客户端A/B/D/E/I），且将它们也加入全局客户端机器能力集列表L2（客户端A~I）中，并对它们进行能力集评估排序。

（a）这里，假定经过评估后列表L1中的评估结果为：客户端E的机器满足3路视频合成，客户端I的机器满足2路视频合成，其他客户端满足0路视频合成。而列表L2中，出了包含列表L1的能力集评估，还包括客户端C/F/G/H的机器能力集评估。会议室1中的客户端E/I的机器能力集无法完全满足视频合成要求，但会议2中的客户端I有富裕合成能力。

（b）这时产生决策结果为：根据优先选择会议室内客户端进行合成的准则，客户端A/B/D的视频流先送往客户端E进行3路视频合成，同时将客户端E/I的视频送往客户端I进行2路视频合成，最后将2路合成视频再送到会议2的客户端C进行最终合成。

（3）客户端A/B/D/E/I的视频采集模块采集摄像头视频，送到编码模块进行压缩，经过类型标识模块加上“本地视频”标识，然后通过网络模块发送给视频调度/转发服务器。

（4）视频调度/转发服务器通过网络接收模块接收到客户端A/B/D/E/I的数据流后，经过类型解析为视频流，根据决策结果，将客户端A/B/D的视频流前面加入“需合成”类型标志后，通过网络模块转发给客户端E，同时将客户端E/I的视频流加入“需合成”标志后转发给客户端I。

（5）客户端E接收到视频调度/转发服务器转发的3路数据流，经码流解析后发现是“需合成”类型，解码后，送到视频合成模块进行视频合成，然后进入编码模块压缩，然后经过类型标识模块加上“已合成”标识，通过网络发送给视频调度/转发服务器。

（6）同时客户端I接收到视频调度/转发服务器转发的2路数据流，经类型解析后发现是“需合成”类型，解码后，送到视频合成模块合成1路视频，然后进入编码压缩，经过类型标识模块加上“已合成”标识，通过网络发送给视频调度/转发服务器。

（7）视频调度/转发服务器，接收到客户端E/I的数据流，经过解析发现类型都是“已合成”，通过调度决策模块确定还需送入客户端C进行最终合成，于是数据流会经过类型标识模块加上“需合成”标识，通过网络转发给客户端C。

（8）客户端C接收到视频调度/转发服务器2路数据流后，经过类型解析，发现是“需合成”，解码后，将2路视频流送入合成模块进行合成，然后由类型标识模块加上“已合成”标识，再发回给视频调度/转发服务器。

（9）视频调度/转发服务器接收到客户端C的数据流后，经过解析发现是“已合成”类型，经过调度决策模块确认所有视频都已合成，于是该数据流由类型标识模块加上“播放”标识，然后通过网络模块发送给所有客户端A/B/D/E/I。

客户端A/B/D/E/I，接收到视频调度/转发服务器的数据流，经过类型解析发现是“播放”类型，则经过解码后的视频，送入播放模块显示给用户观看。

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种云端视频合成方法，其特征在于，将视频合成服务器群部署到不同的云端上，所述云端是指连接到网络的客户端，客户端与视频调度/转发服务器建立通信；所述云端视频合成方法包括以下步骤： 

视频调度/转发服务器对接入的各个客户端进行分析，获取各个客户端机器的能力集，并为属于同一个会议的客户端机器建立一个当前会议客户端机器能力集列表，为属于不同会议的客户端机器建立一个全部客户端机器能力集列表，对2个列表中的能力集排序，分别为：会议内客户端机器能力集排序和全部客户端机器能力集排序；同时获取各个客户端机器的视频合成能力；

视频调度/转发服务器分析由客户端发送的数据流，将标识为“本地视频”和“已合成”的视频发送到客户端进行视频的合成或播放。

2.根据权利要求1所述的云端视频合成方法，其特征在于，当客户端发送的数据流标识为客户端机器能力集，则所述服务器对相应接入的各个客户端机器进行分析。

3.根据权利要求2所述的云端视频合成方法，其特征在于，所述客户端机器能力集包括CPU型号、CPU使用率、内存大小、内存占用率和网络带宽。

4.根据权利要求1、2或3所述的云端视频合成方法，其特征在于，所述视频调度/转发服务器将标识为“本地视频”和“已合成”的数据流发送到客户端进行视频的合成或播放的具体实现方式为：

客户端对由视频调度/转发服务器发送的数据流进行用途类型分析，其用途类型包括“播放”类型和“需合成”类型，当数据流为“播放”类型时，则对数据流进行解码并播放；当数据流为“需合成”类型时，则对数据流进行解码合成，将合成后的数据流进行编码，标识为已合成发送到视频调度/转发服务器。

5.根据权利要求1所述的云端视频合成方法，其特征在于，当属于同一会议的客户端机器能够满足视频合成要求，则优先选择会议内客户端机器进行视频合成，否则能够选择若干其他会议的客户端机器进行视频合成。

6. 一种云端视频合成***，其特征在于，该***将视频合成服务器群部署到不同的云端上，所述云端是指连接到网络的客户端，所述***包括建立通信的客户端与视频调度/转发服务器；

所述视频调度/转发服务器，用于对接入的各个客户端进行分析，获取各个客户端机器的能力集，并为属于同一个会议的客户端机器建立一个当前会议客户端机器能力集列表，为属于不同会议的客户端机器建立一个全部客户端机器能力集列表，对2个列表中的能力集排序，分别为：会议内客户端机器能力集排序和全部客户端机器能力集排序；同时获取各个客户端机器的视频合成能力；视频调度/转发服务器还用于分析由客户端发送的数据流，将标识为“本地视频”和“已合成”的数据流发送到客户端；

所述客户端，用于对视频的合成或播放。

7.根据权利要求6所述的云端视频合成***，其特征在于，所述客户端包括主机性能收集模块、视频采集模块、视频编码模块、类型标识模块、网络发送模块、网络接收模块、类型分析模块、视频解码模块、视频合成模块和视频播放模块；

所述主机性能收集模块用于获取客户端机器能力集，包括CPU型号、CPU使用率、内存大小、内存占用率和网络带宽；

所述视频采集模块用于采集本地视频，并将本地视频送入视频编码模块进行编码；

所述类型标识模块用于对数据流标识为“客户端机器能力集”、“本地视频”和“已合成视频”；

所述网络发送模块用于将标识后的数据流发送至视频调度/转发服务器；

所述网络接收模块用于接收由视频调度/转发服务器发送的视频流；

所述类型分析模块用于对接收到的视频流进行分析，确定视频流的用途类型是“播放”类型或“需合成”类型，将类型分析后的视频流送入所述视频解码模块进行解码；将属于“播放”类型的视频流解码后送入视频播放模块进行播放；将属于“需合成”类型的视频流解码后送入视频合成模块进行合成，再送入视频编码模块。

8.根据权利要求6或7所述的云端视频合成***，其特征在于，所述视频调度/转发服务器包括网络接收模块、类型解析模块、视频调度模块、类型标识模块和网络发送模块；

所述网络接收模块用于接收由客户端标识后的数据流；

所述类型解析模块用于对标识后的数据流进行解析，确定数据流标识为“客户端机器能力集”、“本地视频”或“已合成视频”；

所述视频调度模块用于获取客户端机器能力集列表以及根据客户端发送的数据流信息进行客户端数据流合成的分配；

所述类型标识模块用于对视频调度模块处理后或类型解析后的数据流进行类型标识；

所述网络发送模块用于将数据流送入对应客户端。