CN101198008A - 一种实现多屏多画面的方法和*** - Google Patents

Abstract

本发明提供了一种视频会议***中实现多屏多画面的方法和***，该视频会议***包含多点控制单元和若干个终端，包含如下步骤：(a)终端和多点控制单元建立连接，终端把本地视频流发送给多点控制单元；(b)多点控制单元把终端的输入视频流合成为多个输出视频流；(c)多点控制单元发送该多个输出视频流给终端，每一个输出视频流内容是由一个或多个输入视频流合成的多画面；(d)终端接收到该多个输出视频流后显示在多个显示器上。采用本发明的方法，参与通信的终端能够使用多个显示器来显示多个远端会场的视频图像，用户能够看到更大或更多的远端会场的视频图像，提高了用户的视频体验，增强了用户沟通效果，提升了***的使用价值。

Description

一种实现多屏多画面的方法和***

技术领域

本发明涉及视频会议领域，特别涉及一种在视频会议***中实现多屏多画面的方法和***。

背景技术

视频会议***是支持声音、视频以及数据通信的多媒体通信***，它包括会议电视终端，MCU(Multipoint Control Unit，多点控制单元)以及其它一些设备。

目前市场上的视频会议***一般符合ITU-T H.320(国际电信联盟电信标准H.320)或ITU-T H.323标准，也有符合IETF SIP(互联网工程任务组会话初始化协议)标准的***。

终端是用户使用的设备，终端内包含编解码器，编解码器负责完成声音、视频等媒体的压缩编码和解码，终端还连接麦克风，摄像头，显示器，声音播放子***，用来完成声音、视频的输入和输出，终端还包括用户输入接口，用户通过输入接口向终端输入指令和信息。终端负责和对方的终端建立连接，协商双方的编解码器能力，采用双方支持的编解码算法进行通信。

MCU用来完成多方通信。参加多方通信的终端和MCU建立呼叫，并进行媒体的收发，MCU负责完成媒体的交换和混合。MCU能够把从多个终端获得的视频合成为一个多画面图像，然后发送给不同的终端。

部分终端也支持多方通信能力，即能够同时和多个终端建立连接。本文中，把这类终端称为内置MCU功能的终端。

在多点会议中，多画面功能允许用户能够同时看到多个通话终端的视频，有助于改进通话效果，是非常受欢迎的功能。

目前多画面通常由MCU或内置MCU的终端来进行合成，最终作为一路视频流送给接收终端。

许多情况下，用户的终端设备配置了两个以上的显示器，目前视频会议***支持两路视频流，但是现有的多画面显示只允许在一个视频流中合成并传送，另一个视频流只传递一个视频源图像，例如传送电脑的VGA显示信号。如果把多画面合成为一路视频流，只能显示在一个显示器中，这样分配给每个子画面的显示区域较小。

发明内容

本发明要解决的技术问题是提供一种实现多屏多画面的方法和***，解决现有视频会议中，多画面只能显示在一个屏幕中，导致子画面显示区域小的问题，改善用户体验。

为了解决上述技术问题，本发明提供了一种视频会议***中实现多屏多画面的方法，所述视频会议***包含若干个终端，包含如下步骤：

(a)终端和多点控制单元建立连接，终端把本地视频流发送给所述多点控制单元；

(b)所述多点控制单元把所述终端发送的输入视频流合成为多个输出视频流，每一个输出视频流内容是由一个或多个所述输入视频流合成的多画面；

(c)所述多点控制单元发送所述多个输出视频流给所述终端；

(d)所述终端接收到所述多个输出视频流后显示在多个显示器上。

进一步地，上述方法还可具有以下特点，步骤(a)中，所述多点控制单元为一独立多点控制单元或内置于任一所述视频会议***的终端上。

进一步地，上述方法还可具有以下特点，步骤(a)中，所述终端和所述多点控制单元通过ITU-T H.323或ITU-T H.320或互联网工程任务组会话初始化协议IETF SIP协议建立连接。

进一步地，上述方法还可具有以下特点，步骤(a)中，所述多点控制单元和所述终端建立一个双向音频通道，一个终端到多点控制单元的视频通道，一个或多个多点控制单元到终端的视频通道，通过所述音频通道和视频通道传输所述输入视频流和输出视频流。

进一步地，上述方法还可具有以下特点，所述多点控制单元到终端的视频通道个数取决于终端的显示器数目，所述多点控制单元通过协商或手工配置获得所述终端的显示器数目。

进一步地，上述方法还可具有以下特点，所述步骤(b)中，用户通过所述终端发送信令请求所述多点控制单元所述终端本地多画面的合成效果，所述多点控制单元根据所述信令请求进行输入视频流的合成。

进一步地，上述方法还可具有以下特点，所述信令请求中包含如下一个或多个参数：输出视频流数目，每路输出视频流的多画面数，多画面包含的子画面内容，多画面布局。

进一步地，上述方法还可具有以下特点，所述步骤(b)中，所述多点控制单元为每个所述终端合成的输出视频流中不包含所述终端本地的输入视频流。

进一步地，上述方法还可具有以下特点，所述步骤(c)中，所述多点控制单元发送信令通知所述终端每个输出视频流的多画面布局。

本发明还提出一种实现多屏多画面的视频会议***，包含终端、多点控制单元，所述终端，用于把本地视频流发送给所述多点控制单元，还用于接收所述多点控制单元发送的多个输出视频流并显示在多个显示器上；

所述多点控制单元，用于把所述终端的输入视频流合成为多个输出视频流并发送给所述终端，其中每一个输出视频流内容是由一个或多个输入视频流合成的多画面。

采用本发明的方法，参与通信的终端能够使用多个显示器来显示多个远端会场的视频图像，用户能够看到更大或更多的远端会场的视频图像，提高了用户的视频体验，增强了用户沟通效果，提升了***的使用价值。

附图说明

图1是本发明的方法的流程图；

图2是本发明实施例的设备组网图；

图3是本发明实施例的方法流程图；

图4是本发明实施例中MCU合成多画面的示意图；

图5是多画面的一些典型布局示意图；

图6是终端和MCU建立连接的信令交互序列示意图。

具体实施方式

本发明通过把多画面合成为两路以上的视频流，每路视频流分别为多画面视频(包括单画面的特例)，每路视频流显示在不同的显示器上。这样在相同的子画面总数下，每个子画面有更大的显示区域可用，用户能够看得更大的子画面，从而改进视频体验质量。

如图1所示，本发明所述方法包含如下步骤：

步骤110，参与通信的终端和提供多点通信服务的MCU或内置MCU终端建立连接。

其中，终端和MCU或内置MCU终端之间可以使用但不限制于ITU-TH.323，ITU-T H.320，IETF SIP协议之一建立连接。

连接建立过程中，不排除有第三方设备的参与。但这些设备不是本发明要说明的核心，所以省略了相关描述。

MCU或内置MCU终端可通过协商获知终端的显示器数目，MCU或内置MCU终端也可以通过其它途径(如进行手工配置)获得终端的显示器数目。

MCU和终端建立一个双向音频通道，一个双向视频通道(相当于一个终端到MCU的视频通道，一个MCU到终端的视频通道)，多个MCU到终端的单向视频通道，其中单向视频通道数取决于终端的显示器数目。终端包含n个显示器时，需建立n-1个单向视频通道。上述MCU和终端建立通道的方法只是一个示例，也可以用其他方式建立通道、通道数目也不限于上述说明。可以根据终端的需要建立相应的通道数，例如终端包括多个显示器，但只使用其中的部分显示器进行显示，则只为这些显示器建立视频通道。

步骤120，终端把本地视频流发送给MCU或内置MCU终端。

步骤130，MCU或内置MCU的终端把多个终端输入的视频流合成为多个输出视频流，每个输出视频流可含一个或多个子画面，每个子画面为一路输入视频流的图像。

其中，用户可以通过终端设备发送信令请求MCU或内置MCU的终端本地终端多画面的合成效果，该信令请求中的参数包括但不限于：输出视频流数目，每路输出视频流的多画面数，子画面内容，多画面布局等。

步骤140，MCU或内置MCU的终端把步骤130中所述的多个输出视频流发送给终端。

MCU或内置MCU的终端可通过信令通知终端每个输出视频流的多画面布局。

步骤150，终端接收该多个输出视频流，把该多个输出视频流显示在不同的显示器中。

本发明还提出一种实现多屏多画面的视频会议***，包含终端、多点控制单元，所述终端，用于把本地视频流发送给所述多点控制单元，还用于接收所述多点控制单元发送的多个输出视频流并显示在多个显示器上；所述多点控制单元，用于把所述终端的输入视频流合成为多个输出视频流并发送给所述终端，其中每一个输出视频流内容是由一个或多个输入视频流合成的多画面，图2描述了本发明的一个具体实施例的设备连接关系。该例子中，终端和MCU都连接到IP网络中，通过IP网络进行通信。终端和MCU通信符合ITU-T H.323标准。在该实施例中每个终端有两个显示器，并且支持接收两路视频流。MCU具有多画面的合成能力。

图3描述了本发明实施例的方法流程。

步骤310，终端1和MCU建立H.323连接。

可以是终端1主动呼叫MCU，也可以是MCU呼叫终端1。

H.323连接建立过程包括呼叫信令过程，H.245信令过程。建立的连接包括信令通道，多个媒体通道，包括1个双向的声音通道，1个双向的视频通道，1个单向的MCU到终端的视频通道。具体的信令交互过程如图6所示。

终端2，终端3，终端4按相同的方式也和MCU建立连接。因为所有连接有类似的特征，在不违背一般性的情况下，这里以终端1和MCU之间的连接为例进行描述。

步骤320，终端1把本会场的视频流通过一个视频通道发送给MCU。

步骤330，MCU把4个终端发来的视频流进行多画面合成，合成为多个输出视频流。

在本实施例中，合成为两个输出视频流，每个输出视频流包含部分终端的视频图像，例如一个输出视频流包含终端1和终端2的视频图像，另一个输出视频流包含终端3和终端4的视频图像。

MCU也可以为每个终端合成不同的多画面效果。例如，发送给每个终端的输出视频流中不包含终端本身的输入视频流。

步骤340，MCU把合成的2个输出视频流通过两个视频通道发送给终端1。同时，MCU可用信令通知终端每个输出视频流的多画面布局样式。

步骤350，终端收到输出视频流后，两个输出视频流显示在不同的显示器。

图4为MCU处理多画面合成的示意图。从4个终端来的视频流最后合并为两个输出视频流，每个输出视频流包含了2个终端的视频图像。

图5为几种多画面显示布局示意图。图中给出了1画面，2子画面(左右排列)，3子画面(1上2下排列)，4子画面(上下左右各1个排列)，6子画面，9子画面的布局例子。

图6为终端和MCU建立连接的信令交互序列示意图。

假设终端主动呼叫MCU。

1，终端首先和MCU之间建立传递呼叫信令的通道。

2，终端在呼叫信令通道上和MCU进行呼叫信令交互。终端发送Setup消息，MCU响应Alerting、Connect消息，呼叫过程完成。

3，终端和MCU之间建立传递H.245控制信令的通道。

4，终端在控制信令通道上和MCU进行控制信令的交互。

终端发送TerminalCapabilitySet消息给MCU，MCU响应TerminalCapabilitySetAck确认消息。MCU发送TerminalCapabilitySet消息给终端，终端响应TerminalCapabilitySetAck确认消息。双方能力交换完成。终端和MCU的能力集指示支持一个声音流、两个视频流的接收和发送。

终端发送MasterSlaveDetermination消息给MCU，MCU响应MasterSlaveDeterminationAck确认消息，MCU发送MasterSlaveDetermination消息给终端，终端响应MasterSlaveDeterminationAck确认消息。双方主从决定协商完成。

终端发送OpenLogicalChannel消息给MCU，请求建立声音流通道，MCU发送OpenLogicalChannel消息给终端，请求建立声音流通道。终端响应OpenLogicalChannelAck确认消息，MCU响应OpenLogicalChannelAck确认消息。双方建立了双向的声音通道。

类似地，终端和MCU之间建立第一个双向的视频流通道，另外终端和MCU之间还建立一个单向的第二个视频流通道。最后，MCU和终端之间在声音、视频流通道上发送接收媒体数据。

采用本发明的方法，参与通信的终端能够使用多个显示器来显示多个远端会场的视频图像，用户能够看到更大或更多的远端会场的视频图像，提高了用户的视频体验，增强了用户沟通效果，提升了***的使用价值。

Claims (10)

1.一种视频会议***中实现多屏多画面的方法，所述视频会议***包含多点控制单元和若干个终端，包含如下步骤：

(a)终端和多点控制单元建立连接，终端把本地视频流发送给所述多点控制单元；

(b)所述多点控制单元把所述终端发送的输入视频流合成为多个输出视频流，每一个输出视频流内容是由一个或多个输入视频流合成的多画面；

(c)所述多点控制单元发送所述多个输出视频流给所述终端；

(d)所述终端接收到所述多个输出视频流后显示在多个显示器上。

2.如权利要求1所述的方法，其特征在于，步骤(a)中，所述多点控制单元为一独立多点控制单元或内置于任一所述视频会议***的终端上。

3.如权利要求1所述的方法，其特征在于，步骤(a)中，所述终端和所述多点控制单元通过ITU-T H.323或ITU-T H.320或互联网工程任务组会话初始化协议IETF SIP协议建立连接。

4.如权利要求1所述的方法，其特征在于，步骤(a)中，所述多点控制单元和所述终端建立一个双向音频通道，一个终端到多点控制单元的视频通道，一个或多个多点控制单元到终端的视频通道，通过所述音频通道和视频通道传输所述输入视频流和输出视频流。

5.如权利要求1或4所述的方法，其特征在于，所述多点控制单元到终端的视频通道个数取决于终端的显示器数目，所述多点控制单元通过协商或手工配置获得所述终端的显示器数目。

6.如权利要求1所述的方法，其特征在于，所述步骤(b)中，用户通过所述终端发送信令请求所述多点控制单元所述终端本地多画面的合成效果，所述多点控制单元根据所述信令请求进行输入视频流的合成。

7.如权利要求6所述的方法，其特征在于，所述信令请求中包含如下一个或多个参数：输出视频流数目，每路输出视频流的多画面数，多画面包含的子画面内容，多画面布局。

8.如权利要求1或6或7所述的方法，其特征在于，所述步骤(b)中，所述多点控制单元为每个所述终端合成的输出视频流中不包含所述终端本地的输入视频流。

9.如权利要求1或6或7所述的方法，其特征在于，所述步骤(c)中，所述多点控制单元发送信令通知所述终端每个输出视频流的多画面布局。

10.一种实现多屏多画面的视频会议***，包含终端、多点控制单元，其特征在于，所述终端，用于把本地视频流发送给所述多点控制单元，还用于接收所述多点控制单元发送的多个输出视频流并显示在多个显示器上；

所述多点控制单元，用于把所述终端的输入视频流合成为多个输出视频流并发送给所述终端，其中每一个输出视频流内容是由一个或多个输入视频流合成的多画面。

Images