CN111601068A - 一种多mcu级联无中心视频会议的实现方法 - Google Patents

Abstract

本发明公开了一种多MCU级联无中心视频会议的实现方法，首先终端与从MCU的LAN2网口连接，从MCU通过LAN1网口与所有主MCU的LAN1网口连接且级联；然后每个终端采集视频和音频，然后编码压缩并传输给所连接的从MCU；每个从MCU解码终端的媒体数据，然后进行画面合成和混音处理，编码并发送给所有主MCU；每个主MCU解码所有从MCU的媒体数据，然后进行画面合成和混音处理，编码并发送给所有从MCU；每个从MCU解码所有主MCU发送的媒体数据，再进行画面合成和混音处理，编码并发送给与从MCU连通的终端；每个终端解码与其连接的从MCU的媒体流数据，并通过视频输出和音频输出设备播放。本发明可以实现低耦合的多级级联会议，且该会议支持异地容灾，易恢复性、稳定性和兼容性佳。

Description

一种多MCU级联无中心视频会议的实现方法

技术领域

本发明涉及视频会议技术领域，特别涉及一种多MCU级联无中心视频会议的实现方法。

背景技术

视频会议***是支持声音、视频远程双向传送的通信***，通过视频会议***，身处异地的使用者能完成实时双向的面对面的一对一或一对多可视沟通。视频会议设备之间相互交换的信息内容包括：呼叫控制信令、以及一种以上音频流、视频流、辅视频流、远端摄像机控制流、文本消息流等媒体流。这里，各种媒体流的含义、以及媒体流的编解码和传送管理，可参考ITU-TH.323相关标准。

视频会议***一般由终端、多点控制单元(MCU，Multipoint Control Unit)、呼叫控制器、以及网关等实体或设备组成。其中，终端是用户使用的设备，终端采集用户的声音、以及摄像信号，经过压缩编码后经由网络发送给其它远端，同时从网络接收其它远端的信号，经过解码处理后，播放给用户。MCU用来完成多方会议通信。具体地，当召开多点会议时，参与多方会议通信的终端和MCU 建立多对一连接，终端通过MCU交换音、视频信号。MCU负责完成媒体流的交换和混合。对于声音媒体流，MCU通常为每个终端输出一个经过混音的声音媒体流。对于视频，MCU可以为某个终端发送另一个终端的单画面视频流，如果MCU支持多画面功能，也能够把多个终端传送的视频合成为一个多画面图像，然后发送给某个或某些终端。呼叫控制器用来完成呼叫的路由选择，例如： ITU-TH.323标准中定义的网守实体(Gatekeeper)、以及SIP标准中定义的代理服务器(Proxy)实体负责完成呼叫路由功能。网关用来实现不同网络协议、媒体格式之间的设备互通的转换。

级联会议就是将两个及两个以上在不同MCU召开的会议通过某种技术手段融合起来，参加一个会议的用户与参加另一个会议的用户之间能够相互观看对方的音、视频信号内容。

目前，实现级联会议主要存在两种解决手段。第一种方案是通过MCU之间建立通信连接，由两个MCU负责相互转发两个会议的音、视频流。这种方式一般采用数字信号传送，具有连接简单、控制灵活、音视频信号损失小的优点。第二种方案是采用两个终端背靠背进行级联。所谓的背靠背，就是指：将第一个会议所属的第一个终端接收的远端信号输出连接到第二个会议所属的第二个终端的本地信号输入，第二个终端再将输入信号发送给远端设备。但是目前这两种级联技术均存在如下问题：

(1)不满足以下用户使用场景：多个主MCU负责会议控制、多个从MCU 且每个从MCU连接一个终端负责媒体传输，当任何一个或多个主MCU异常断开(断网、断电、重启)时，不影响其他MCU和终端的正常会议；当任何一个或多个从MCU异常断开(断网、断电、重启)时，不影响其他MCU和终端的正常会议。(2)多个主MCU控制多个从MCU会议时，会出现视频和音频无限循环。(3)不能与异地容灾兼容，导致当主MCU因异常(断电、断网、重启)断开会议时，其他MCU和终端不能正常的保持会议的进行。(4)配置复杂，易用性差。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种多MCU级联无中心视频会议的实现方法，该方法可以实现低耦合的多级级联会议，且该会议支持异地容灾，易恢复性、稳定性和兼容性佳。

本发明的目的通过下述技术方案实现：一种多MCU级联无中心视频会议的实现方法，步骤如下：

S1、每个终端与其对应的从MCU的LAN2网口连接，每个从MCU通过其 LAN1网口与所有主MCU的LAN1网口连接，并且每个从MCU与所有主MCU 互相级联；

S2、每个终端先通过其视频和音频采集设备采集视频和音频，然后通过标准的音视频协议编码压缩，并传输给所连接的从MCU；

S3、每个从MCU接收到来自终端传输的媒体数据之后，通过标准的音视频协议进行解码，然后通过从MCU设定的模式进行画面合成和混音处理，处理完成后再遵循自身协议进行编码，并发送给所有主MCU；

S4、每个主MCU接收到所有从MCU的媒体数据之后，通过标准的音视频协议进行解码，然后通过主MCU设定的模式进行画面合成和混音处理，处理完成后再遵循自身协议进行编码，并发送给所有从MCU；

S5、每个从MCU接收到所有主MCU发送的媒体数据之后，依据自身的配置从多路主MCU的媒体数据中选择其中一路进行解码，再通过从MCU设定的模式进行画面合成和混音处理，处理完成后再遵循自身协议进行编码，并发送给与从MCU连通的终端；

S6、每个终端接收到来自与其连接的从MCU的媒体流数据之后，通过标准的音视频协议进行解码，并通过视频输出和音频输出设备播放。

优选的，方法还包括：

当断开其中一个从MCU的LAN1网口后，每个主MCU会议中该从MCU 级联口断开连接，该从MCU继续编解码来自所连接终端的媒体数据，但是不再与主MCU进行数据的交换，主MCU也不接收该从MCU的数据，其他MCU 会议正常进行；

当断开多个从MCU的LAN1网口后，每个主MCU会议中这些从MCU级联口断开连接，这些从MCU继续编解码来自与其连接的终端的媒体数据，但是不再与主MCU进行数据的交换，主MCU也不接收这些从MCU的数据，其他 MCU会议正常进行。

更进一步的，方法还包括：

当从MCU的LAN1网络恢复后，每个主MCU自动将会议中的从MCU级联口呼叫上会，此时该从MCU与主MCU恢复数据交换，主MCU恢复对从MCU 的媒体数据进行编解码以及画面合成和混音，并下发给其他从MCU。

优选的，方法还包括：

当断开其中一个主MCU的网络后，每个从MCU会议中该主MCU级联口断开连接，从MCU依据自身设定的会议模式，选择其他主MCU的媒体数据进行编解码、画面合成和混音，并下发给与之连通的终端，此时会议正常进行，且其它主MCU可以对会议进行控制；

当断开多个主MCU的网络后，每个从MCU会议中这些主MCU级联口断开连接，从MCU依据自身设定的会议模式，选择与其有数据交换的其他主MCU 的媒体数据进行编解码、画面合成和混音，并下发给与其连通的终端，此时会议正常进行，与该从MCU有数据交换的其他主MCU可以对会议进行控制。

更进一步的，方法还包括：

当主MCU的网络恢复后，每个从MCU自动将会议中的主MCU级联口呼叫上会，此时从MCU与恢复网络的主MCU重新进行数据交换，并且从MCU与这些主MCU只进行数据交换，不对这些主MCU的数据进行解码，依然保持之前选择的主MCU数据解码。

优选的，所有MCU为全模块配置，主MCU用于会议控制与业务管理，从 MCU用于媒体流编解码和传输，步骤S1主MCU和从MCU的连接和级联配置过程如下：

S11、每个主MCU使用LAN1网络地址注册到自带GK服务商；

S12、每个从MCU使用LAN1网络地址注册到自带GK服务商；

S13、每个终端与连接的从MCU的LAN2网口直连，或者每个终端与连接的从MCU通过LAN2接入同一内网，并且终端注册到从MCU的GK服务商；

S14、在每个从MCU上添加与之相连的终端，将其加入到会议模板并配置会议能力和模式；

S15、每个从MCU的LAN1与主MCU的LAN1网络保持连通，网络类型包括但不限于内网或外网；

S16、在每个主MCU上将所有从MCU作为终端类型添加会议模板中，并配置会议能力和模式；

S17、在每个从MCU上将所有主MCU作为终端类型添加会议模板中，并配置会议能力和模式；

S18、终端参与从MCU的会议，从MCU作为终端类型参与主MCU的会议，主MCU作为终端类型参与到从MCU的会议。

更进一步的，当配置会议模式为多画面模式时：

设置主MCU会议模式为手动模式，其中，所有级联口设置为听众，***角色查看画面设置为演讲者身份的会场终端，演讲者和听众角色查看画面和多画面布局选择自动，麦克风设置默认打开；

设置从MCU会议模式为演讲者模式，其中，终端设置为演讲者，级联口设置为***，***和演讲者角色查看画面设置为自动或者***角色查看画面指定为演讲者身份的会场终端、演讲者角色查看画面设置为自动，麦克风设置默认打开；

当配置会议模式为单画面模式时：

设置主MCU会议模式为演讲者模式：将需要查看的会场终端设置为演讲者身份，***角色查看画面设置为自动，演讲者角色查看画面指定为演讲者身份的会场终端；

设置从MCU会议模式为演讲者模式：将终端设置为演讲者身份，级联口设置为***身份，***角色查看画面设置为自动，演讲者角色查看画面指定为***身份的会场终端。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明多MCU级联无中心视频会议的实现方法，首先每个终端与其对应的从MCU的LAN2网口连接，每个从MCU通过其LAN1网口与所有主MCU 的LAN1网口连接，并且每个从MCU与所有主MCU互相级联；然后每个终端采集视频和音频，然后编码压缩并传输给所连接的从MCU；每个从MCU解码终端的媒体数据，然后进行画面合成和混音处理，编码并发送给所有主MCU；每个主MCU解码所有从MCU的媒体数据，然后进行画面合成和混音处理，编码并发送给所有从MCU；每个从MCU解码所有主MCU发送的媒体数据，再进行画面合成和混音处理，编码并发送给与从MCU连通的终端；每个终端解码与其连接的从MCU的媒体流数据，并通过视频输出和音频输出设备播放。相较于传统多级级联会议出现当有一方断开时，会议可能不能正常进行的情况，本发明方法实现的多级级联会议具有低耦合、无中心的优点，主MCU与主MCU 之间、主MCU与从MCU之间、从MCU与从MCU之间互不依赖，无论哪一方或多方断开连接，都能够保证会议的正常进行，因此能够满足多用户使用，会议体验更佳。

(2)本发明方法所实现的多级级联视频会议支持异地容灾，在主MCU因异常断开后，最短1S最多5S可以将会议切换到其他主MCU，保证了其他主MCU 依然可以对会议进行控制和会议的正常进行。并且，当异常的MCU恢复正常后，最短5S最多15S内恢复会议连接，因此能够较快的自动重连会议，无需手动连接，会议的易恢复性好。

(3)本发明方法所实现的多级级联视频会议支持7(天)*24(小时)运行，稳定性好。

(4)本发明方法所实现的多级级联视频会议支持单画面和多画面，相较于传统级联会议设置多画面时会出现画面无限循环的情况，本发明友好的解决了无限循环问题，因此兼容性更佳。

附图说明

图1是多MCU级联的连接示意图。

图2是本发明多MCU级联无中心视频会议的实现方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本实施例公开了一种多MCU级联无中心视频会议的实现方法，如图2所示，步骤如下：

S1、每个终端与其对应的从MCU的LAN2网口连接，每个从MCU通过其 LAN1网口与所有主MCU的LAN1网口连接，并且每个从MCU与所有主MCU 互相级联。

如图1所示，所有MCU为全模块配置，主MCU(主MCU-1，主MCU-2，主MCU-3，主MCU-4，主MCU-5，主MCU-n)作为业务层，用于会议控制与业务管理，从MCU(从MCU-1，从MCU-2，从MCU-3，从MCU-4，从MCU-5，从MCU-n)和终端(终端-1，终端-2，终端-3，终端-4，终端-5，终端-n)作为媒体层，从MCU用于媒体流编解码和传输。从MCU的LAN1网口和主MCU 的LAN1网口均连接至交换机来实现网络连接，网络可以是内网(专网)或者外网(互联网)。从MCU可以以直连或者内网的方式连接终端。

主MCU和从MCU的连接和级联配置过程如下：

S11、每个主MCU使用LAN1网络地址注册到自带GK服务商；

S12、每个从MCU使用LAN1网络地址注册到自带GK服务商；

S13、每个终端与连接的从MCU的LAN2网口直连，或者每个终端与连接的从MCU通过LAN2接入同一内网，并且终端注册到从MCU的GK服务商；

S14、在每个从MCU上添加与之相连的终端，将其加入到会议模板并配置会议能力和模式；

S15、每个从MCU的LAN1与主MCU的LAN1保持网络连通，网络类型包括但不限于内网或外网；

S16、在每个主MCU上将所有从MCU作为终端类型添加会议模板中，并配置会议能力和模式；

S17、在每个从MCU上将所有主MCU作为终端类型添加会议模板中，并配置会议能力和模式；

S18、终端参与从MCU的会议，从MCU作为终端类型参与主MCU的会议，主MCU作为终端类型参与到从MCU的会议。

其中，当配置会议模式为多画面模式时：

设置主MCU会议模式为手动模式，其中，所有级联口设置为听众，***角色查看画面设置为演讲者身份的会场终端，演讲者和听众角色查看画面和多画面布局选择自动，麦克风设置默认打开；

设置从MCU会议模式为演讲者模式，其中，终端设置为演讲者，级联口设置为***，***和演讲者角色查看画面设置为自动或者***角色查看画面指定为演讲者身份的会场终端、演讲者角色查看画面设置为自动，麦克风设置默认打开；

当配置会议模式为单画面模式时：

设置主MCU会议模式为演讲者模式：将需要查看的会场终端设置为演讲者身份，***角色查看画面设置为自动，演讲者角色查看画面指定为演讲者身份的会场终端；(需要查看指定会场终端的画面就将该会场终端设置为演讲者身份，会场不需设置***身份)

设置从MCU会议模式为演讲者模式：将终端设置为演讲者身份，级联口设置为***身份，***角色查看画面设置为自动，演讲者角色查看画面指定为***身份的会场终端。

主MCU和从MCU通过如上指定配置和特定的会议模式可以避免级联会议出现音视频无限循环的情况，同时也能支持多画面的显示。

S2、每个终端先通过其视频和音频采集设备采集视频和音频，然后通过标准的音视频协议编码压缩，并传输给所连接的从MCU。

S3、每个从MCU接收到来自终端传输的媒体数据之后，通过标准的音视频协议进行解码，然后通过从MCU设定的模式进行画面合成和混音处理，处理完成后再遵循自身协议进行编码，并发送给所有主MCU。

S4、每个主MCU接收到所有从MCU的媒体数据之后，通过标准的音视频协议进行解码，然后通过主MCU设定的模式进行画面合成和混音处理，处理完成后再遵循自身协议进行编码，并发送给所有从MCU。

S5、每个从MCU接收到所有主MCU发送的媒体数据之后，依据自身的配置从多路主MCU的媒体数据中选择其中一路进行解码，再通过从MCU设定的模式进行画面合成和混音处理，处理完成后再遵循自身协议进行编码，并发送给与从MCU连通的终端。

S6、每个终端接收到来自与其连接的从MCU的媒体流数据之后，通过标准的音视频协议进行解码，并通过视频输出和音频输出设备播放。

S7、当断开其中一个从MCU的LAN1网口后，每个主MCU会议中该从MCU 级联口断开连接，该从MCU继续编解码来自所连接终端的媒体数据，但是不再与主MCU进行数据的交换，主MCU也不接收该从MCU的数据，所以主MCU 在合成画面和混音时无该从MCU的数据，下发给其他从MCU时，合成画面和混音也无该从MCU的数据，其他MCU会议正常进行。

当断开多个从MCU的LAN1网口后，每个主MCU会议中这些从MCU级联口断开连接，这些从MCU继续编解码来自与其连接的终端的媒体数据，但是不再与主MCU进行数据的交换，主MCU也不接收这些从MCU的数据，所以主 MCU在合成画面和混音时也没有这些从MCU的数据，下发给其他从MCU时，合成画面和混音也没有这些从MCU的数据，其他MCU会议正常进行。

当断开其中一个主MCU的网络后，每个从MCU会议中该主MCU级联口断开连接，从MCU依据自身设定的会议模式，选择其他主MCU的媒体数据进行编解码、画面合成和混音，并下发给与之连通的终端，此时会议正常进行，且其它主MCU可以对会议进行控制。

当断开多个主MCU的网络后，每个从MCU会议中这些主MCU级联口断开连接，从MCU依据自身设定的会议模式，选择与其有数据交换的其他主MCU 的媒体数据进行编解码、画面合成和混音，并下发给与其连通的终端，此时会议正常进行，与该从MCU有数据交换的其他主MCU可以对会议进行控制。

S8、当从MCU的LAN1网络恢复后，每个主MCU自动将会议中的从MCU 级联口呼叫上会，此时该从MCU与主MCU恢复数据交换，主MCU恢复对从 MCU的媒体数据进行编解码以及画面合成和混音，并下发给其他从MCU。

当主MCU的网络恢复后，每个从MCU自动将会议中的主MCU级联口呼叫上会，此时从MCU与恢复网络的主MCU重新进行数据交换，并且从MCU与这些主MCU只进行数据交换，不对这些主MCU的数据进行解码，依然保持之前选择的主MCU数据解码。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种多MCU级联无中心视频会议的实现方法，其特征在于，步骤如下：

S1、每个终端与其对应的从MCU的LAN2网口连接，每个从MCU通过其LAN1网口与所有主MCU的LAN1网口连接，并且每个从MCU与所有主MCU互相级联；

S2、每个终端先通过其视频和音频采集设备采集视频和音频，然后通过标准的音视频协议编码压缩，并传输给所连接的从MCU；

3、每个从MCU接收到来自终端传输的媒体数据之后，通过标准的音视频协议进行解码，然后通过从MCU设定的模式进行画面合成和混音处理，处理完成后再遵循自身协议进行编码，并发送给所有主MCU；

S4、每个主MCU接收到所有从MCU的媒体数据之后，通过标准的音视频协议进行解码，然后通过主MCU设定的模式进行画面合成和混音处理，处理完成后再遵循自身协议进行编码，并发送给所有从MCU；

S5、每个从MCU接收到所有主MCU发送的媒体数据之后，依据自身的配置从多路主MCU的媒体数据中选择其中一路进行解码，再通过从MCU设定的模式进行画面合成和混音处理，处理完成后再遵循自身协议进行编码，并发送给与从MCU连通的终端；

S6、每个终端接收到来自与其连接的从MCU的媒体流数据之后，通过标准的音视频协议进行解码，并通过视频输出和音频输出设备播放。

2.根据权利要求1所述的多MCU级联无中心视频会议的实现方法，其特征在于，方法还包括：

当断开其中一个从MCU的LAN1网口后，每个主MCU会议中该从MCU级联口断开连接，该从MCU继续编解码来自所连接终端的媒体数据，但是不再与主MCU进行数据的交换，主MCU也不接收该从MCU的数据，其他MCU会议正常进行；

当断开多个从MCU的LAN1网口后，每个主MCU会议中这些从MCU级联口断开连接，这些从MCU继续编解码来自与其连接的终端的媒体数据，但是不再与主MCU进行数据的交换，主MCU也不接收这些从MCU的数据，其他MCU会议正常进行。

3.根据权利要求2所述的多MCU级联无中心视频会议的实现方法，其特征在于，方法还包括：

当从MCU的LAN1网络恢复后，每个主MCU自动将会议中的从MCU级联口呼叫上会，此时该从MCU与主MCU恢复数据交换，主MCU恢复对从MCU的媒体数据进行编解码以及画面合成和混音，并下发给其他从MCU。

4.根据权利要求1所述的多MCU级联无中心视频会议的实现方法，其特征在于，方法还包括：

当断开其中一个主MCU的网络后，每个从MCU会议中该主MCU级联口断开连接，从MCU依据自身设定的会议模式，选择其他主MCU的媒体数据进行编解码、画面合成和混音，并下发给与之连通的终端，此时会议正常进行，且其它主MCU可以对会议进行控制；

当断开多个主MCU的网络后，每个从MCU会议中这些主MCU级联口断开连接，从MCU依据自身设定的会议模式，选择与其有数据交换的其他主MCU的媒体数据进行编解码、画面合成和混音，并下发给与其连通的终端，此时会议正常进行，与该从MCU有数据交换的其他主MCU可以对会议进行控制。

5.根据权利要求4所述的多MCU级联无中心视频会议的实现方法，其特征在于，方法还包括：

当主MCU的网络恢复后，每个从MCU自动将会议中的主MCU级联口呼叫上会，此时从MCU与恢复网络的主MCU重新进行数据交换，并且从MCU与这些主MCU只进行数据交换，不对这些主MCU的数据进行解码，依然保持之前选择的主MCU数据解码。

6.根据权利要求1所述的多MCU级联无中心视频会议的实现方法，其特征在于，所有MCU为全模块配置，主MCU用于会议控制与业务管理，从MCU用于媒体流编解码和传输，步骤S1主MCU和从MCU的连接和级联配置过程如下：

S11、每个主MCU使用LAN1网络地址注册到自带GK服务商；

S12、每个从MCU使用LAN1网络地址注册到自带GK服务商；

S13、每个终端与连接的从MCU的LAN2网口直连，或者每个终端与连接的从MCU通过LAN2接入同一内网，并且终端注册到从MCU的GK服务商；

S14、在每个从MCU上添加与之相连的终端，将其加入到会议模板并配置会议能力和模式；

S15、每个从MCU的LAN1与主MCU的LAN1网络保持连通，网络类型包括但不限于内网或外网；

S16、在每个主MCU上将所有从MCU作为终端类型添加会议模板中，并配置会议能力和模式；

S17、在每个从MCU上将所有主MCU作为终端类型添加会议模板中，并配置会议能力和模式；

S18、终端参与从MCU的会议，从MCU作为终端类型参与主MCU的会议，主MCU作为终端类型参与到从MCU的会议。

7.根据权利要求6所述的多MCU级联无中心视频会议的实现方法，其特征在于，当配置会议模式为多画面模式时：

设置主MCU会议模式为手动模式，其中，所有级联口设置为听众，***角色查看画面设置为演讲者身份的会场终端，演讲者和听众角色查看画面和多画面布局选择自动，麦克风设置默认打开；

设置从MCU会议模式为演讲者模式，其中，终端设置为演讲者，级联口设置为***，***和演讲者角色查看画面设置为自动或者***角色查看画面指定为演讲者身份的会场终端、演讲者角色查看画面设置为自动，麦克风设置默认打开；

当配置会议模式为单画面模式时：

设置主MCU会议模式为演讲者模式：将需要查看的会场终端设置为演讲者身份，***角色查看画面设置为自动，演讲者角色查看画面指定为演讲者身份的会场终端；

设置从MCU会议模式为演讲者模式：将终端设置为演讲者身份，级联口设置为***身份，***角色查看画面设置为自动，演讲者角色查看画面指定为***身份的会场终端。

Images