CN101640784A - 一种在视频会议***中控制多画面复合的控制装置及方法 - Google Patents

Abstract

本发明提供一种在视频会议***的控制设备中对多媒体通信进行处理的控制方法，包括步骤c.分别向多个终端发送格式控制信令，该格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标，其特征在于，发给第一终端的格式控制信令所包含的参数规格指标与发给其他终端的格式控制信令所包含的参数规格指标不同。还提供在视频会议***的控制设备中对多媒体通信进行处理的控制装置、在视频会议***的终端设备中对多媒体通信进行处理的辅助控制方法及相应的辅助控制装置。视频终端根据情况调整视频信号，将视频信号压缩到最合适的分辨率，使得多点控制单元对最小数据量视频信号解码，节省了多点控制单元的处理能力、节省网络带宽。

Description

一种在视频会议***中控制多画面复合的控制装置及方法

技术领域

本发明涉及视频会议控制***，尤其是多点控制单元，具体地，涉及在多点控制单元中控制各终端向多点控制单元发送视频信号的控制方法以及相应的控制装置。

背景技术

随着计算机科学技术的发展，多媒体技术和网络通信技术己经成为计算机产业所研究的重点。多媒体和网络通信技术的融合形成了多媒体通信技术，其突破了计算机、通信、电子等传统领域的界限，把计算机的交互性、通信网络的分布性和多媒体信息的综合性融为一体，提供了全新的信息服务，对人类的生活和工作方式产生了深远的影响。视频会议作为多媒体通信的一个重要方面被广泛地研究。视频会议可以在同一传输媒介上承载多种信息媒体，利用通信网络，传输多个与会者的连续活动图像，声音以及数据。因此，视频会议可以极大地丰富通信内容，增强信息交流效果，实现交互式通信，具有真实、高效、实时等优点。

通常，视频会议***包括多点控制单元(MCU，Multipoint ControlUnit)以及会议终端，其中，多点控制单元用来对会议的通信进行管理，而会议终端则将采集到的码流发送给多点控制单元，然后多点控制单元将接收到的多个会议终端的码流进行解码后，复合成需要的画面图像，再经编码后发送给多个会议终端显示。

目前，在现有技术中，会议终端发送给多点控制单元的码流为标准码流，由于解码的计算量较大，给多点控制单元带来了巨大的运算负荷。尤其是目前的高清视频会议，其最大支持分辨率为1920×1080，为了处理16方会议的视频信息，多点控制单元需要同时对16路1920×1080的图像(视频)进行解码处理，然后进行图像压缩与画面复合，按照30帧每秒的标准，其解码后的数据流高达15925248000bps/s，这无疑对多点控制单元的硬件配置提出了更高的要求，提高了成本。

而在实际的视频会议应用中，经画面复合后，每个图像所需要的分辨率并不高，因此会议终端没有必要发送最高清晰度的图像。更主要的问题在于，在每个会议终端所显示的一整幅画面中，通常只有主会场对应的部分画面采用高分辨率、高清晰度的图像，而其余会场对应的部分画面由于只显示在比较小的视窗内，所以其分辨率并不高。在这样的情况下，如果按照现有技术将每个会场对应的视频信息都以相同的、较高的分辨率传输给多点控制单元，无疑造成多点控制单元对这些不同终端传输的视频信号进行解码的资源浪费，而且也不必要地占有了网络带宽。

发明内容

针对现有技术中视频会议***中的会议终端向多点控制单元以固定分辨率发送视频信号从而导致多点控制单元不得不对分辨率过高的视频信号进行解码的缺陷，本发明的目的是提供一种由多点控制单元控制各终端向其发送最合适的视频信号的控制方法以及相应的控制装置。

根据本发明的一个方面，提供一种在视频会议***的控制设备中对多媒体通信进行处理的控制方法，其中，包括如下步骤：c.分别向多个终端发送格式控制信令，其中所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标；其特征在于，所述发给第一终端的格式控制信令所包含的参数规格指标与发给其他终端的格式控制信令所包含的参数规格指标不同。

优选地，所述步骤c之前还包括如下步骤：a确定所述每个终端的最合适的参数规格指标；以及b.根据所述每个终端的最合适的参数规格指标确定所述格式控制信令。优选地，所述步骤a包括：分别接收每个终端发送的与该终端对应的最合适的参数规格指标的步骤，或者分别获取每个终端的图形属性、分别获取每个终端的图像复合模式、并根据所述每个终端的图形属性以及与之对应的图像复合模式确定与该终端对应的最合适的参数规格指标的步骤。

根据本发明的另一个方面，还提供一种在视频会议***的控制设备中对多媒体通信进行处理的控制装置，其特征在于，包括：第一发送装置，用于分别向多个终端发送格式控制信令，其中所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标。

根据本发明的又一个方面，提供一种在视频会议***的终端设备中对多媒体通信进行处理的辅助控制方法，其中，包括如下步骤：i.接收来自视频会议***的控制设备的格式控制信令，其中，所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标；ii.根据所述格式控制信令向所述控制设备发送视频信号。

根据本发明的又一个方面，还提供一种在视频会议***的终端设备中对多媒体通信进行处理的辅助控制装置，其特征在于，包括：第三接收装置，用于接收来自视频会议***的控制设备的格式控制信令，其中，所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标；以及第三发送装置，用于根据所述格式控制信令向所述控制设备发送视频信号。

根据本发明的又一个方面，还提供一种用于视频会议***的控制设备，其用于控制所述视频会议***的多个终端与该控制设备之间的多媒体通信，其特征在于，包括上述的控制装置。

根据本发明的又一个方面，还提供一种用于视频会议***的终端，其用于接收来自所述控制设备的视频信号，其特征在于，所述终端包括上述的辅助控制装置。

与现有技术相比，本发明的优点至少在于视频会议终端在多点控制单元的控制下根据实际情况对视频信号进行调整，即将视频信号压缩到最合适的分辨率，而不是总采用固定的分辨率或其它固定的指标。而且，通过本发明提供的控制装置，多点控制单元可以随时随地地(例如在切换主会场时)调整各会议终端所传输视频信号的分辨率以及其他指标。通过这样的方式，使得多点控制单元可以对最小数据量的视频信号进行解码，从而节省了多点控制单元的处理能力，降低了多画面复合视频会议的成本，而且降低码流、节省网络带宽。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明的一个具体实施方式的，用于控制多画面复合的视频会议***的网络拓扑图；

图2示出根据本发明第一实施例的，在视频会议***的控制设备中对多媒体通信进行处理的控制方法的流程图；

图3示出根据本发明的一个具体实施方式的，在视频会议***中图像复合模式的示意图；

图4A示出根据本发明的又一个具体实施方式的，在视频会议***中图像复合模式的示意图；

图4B示出根据本发明的又一个具体实施方式的，在视频会议***中图像复合模式的示意图；

图5示出根据本发明的第一实施例的，一种在视频会议***的终端中对多媒体通信进行处理的辅助控制方法的流程图；

图6示出根据本发明的又一个具体实施方式的，用于控制多画面复合的视频会议***的网络拓扑图；

图7示出根据本发明的第一实施例的，在视频会议***的控制设备中用于对多媒体通信进行处理的控制装置的结构示意图；以及

图8示出根据本发明的第一实施例的，在视频会议***的终端设备中对多媒体通信进行处理的辅助控制装置。

具体实施方式

本发明提供一种新的技术方案应用于视频会议***中用来对多媒体通信进行控制，确切地说，是对终端所发送视频信号的参数规格指标进行控制，使得终端在发送视频信号前先对其进行压缩，优选地，至少可以采用依据分辨率和/或图像位数指标进行压缩，且优选地，本发明提供的控制方法直接将每路视频信号压缩至多点控制单元(MCU，Multi-point Control Unit)所需要的规格，从而有效地节省带宽。因此，本发明在保证视频会议质量的同时，实现将视频信号的冗余削减到最小，这样，可以有效地降低多点控制单元在图像解码以及图像压缩环节上的计算负担。

具体地，图1示出根据本发明的一个具体实施方式的，用于控制多画面复合的视频会议***的网络拓扑图。在本具体实施方式中，视频会议***包括多点控制单元3，其中，所述多点控制单元3用来控制多点的视频会议，其接收来自终端9的视频信号并进行处理，然后将处理后的视频信号发送给所述终端9。本领域技术人员理解，通常，所述终端9包括视频捕捉设备(图1中未示出)，其中，所述视频捕捉设备可以是摄像头或者视频采集卡。所述终端9将通过上述视频捕捉设备捕捉到的视频信号发送给所述多点控制单元3，并接收来自所述多点控制单元3的视频信号，且优选地将这样的视频信号通过一个显示终端显示出来。更为具体地，在现有技术中，终端91、终端92、终端93以及终端94(图1中未示出)将各自捕捉到的视频信号编码成多媒体码流，并通过网络将该多媒体码流发送到所述多点控制单元3，接着，所述多点控制单元3分别对接收到的多路多媒体码流进行解码，然后根据图像复合模式分别对解码得到的图像进行压缩，并对压缩后的图像进行复合，最后将复合图像经编码后发送给所述终端91、终端92、终端93以及终端94，这样在终端91、终端92、终端93以及终端94上分别显示相同或不同的图像，从而实现视频会议。

例如，所述终端91的显示设备的分辨率为1920×1200，所述终端92、终端93以及终端94的显示设备的分辨率为1024×768，并且上述四个终端捕捉到的图像的分辨率都为1920×1200，图像复合模式如图3所示，即将上述4个终端捕捉到的图像复合成如图3所示的复合图像，其中，该待发送图像中的小图像43至46分别与所述终端91至94相对应，为了满足所有终端画面的清晰度，上述小图像43至46的分辨率均为960×600，此时，在现有技术中，各个终端发送给所述多点控制单元3的图像的分辨率都为1920×1200，因此，所述多点控制单元3在复合图像前必须将接收到的多路图像的分辨率从1920×1200压缩到960×600，而且，虽然小图像的分辨率只需要达到960×600就能够保证清晰度，但所述终端91至94发送给所述多点控制单元3的图像的分辨率仍为1920×1200，这样所述多点控制单元3必须对分辨率为1920×1200的多媒体码流进行解码，而不是对分辨率为960×600的多媒体码流进行解码，这意味着计算量将大大增加，从而所述多点控制单元3不得不包括多个高性能数字信号处理器(例如，DSP)来完成巨大的计算负担，导致所述多点控制单元3的成本很高。

而在本具体实施方式中，所述多点控制单元3根据上述小图像所实际需要的分辨率，请求终端发送相应分辨率的图像，例如，所述多点控制单元3请求(或指示)终端发送分辨率为960×600的图像，而不是分辨率为1920×1200的图像，这样能够大大减少所述多点控制单元3对多媒体码流进行解码以及对接收到的图像进行压缩的计算量，从而降低成本。

进一步地，本领域技术人员理解，所述多点控制单元3与终端9之间通过网络进行通信，其中，该网络可以是有线和/或无线网络，例如，所述多点控制单元3与终端9可以通过分组交换网进行通信，也可以通过中继卫星进行通信，还可以通过移动通信网络进行通信。本领域技术人员可以结合现有技术实现上述网络，在此不予赘述。

本领域技术人员理解，多点控制单元在视频会议中的功能至少包括图像复合功能以及图像切换功能，在本具体实施方式中，所述多点控制单元3用来实现图像复合功能，通过本发明的技术方案可以减少在解码以及压缩环节上的计算量。而在本具体实施方式的一个变化例中，所述多点控制单元可以用来实现图像切换功能，例如，当发言人变化时图像相应地从前一个发言人切换到到后一个发言人，又例如，会议***可以通过切换各个分会场的图像来达到巡视会场的目的，此时，优选地，图像压缩环节可以省略，但通过本发明的技术方案仍可以减少在解码环节上的计算量，这样的变化例仍然可以通过本发明提供的技术方案予以实现，并不影响本发明的实质内容。

图1对用于控制多画面复合的视频会议***的网络拓扑结构进行了描述，而图2对具体应用于视频会议***中各设备间进行多媒体通信的控制方法进行描述。具体地，图2示出根据本发明第一实施例的，在视频会议***的控制设备中对多媒体通信进行处理的控制方法的流程图。

在本实施例中，首先执行步骤S210，分别获取每个终端的图形属性；然后进入步骤S211，分别获取每个终端的图像复合模式；接下来执行步骤S212，根据所述每个终端的图形属性以及与之对应的图像复合模式确定与该终端对应的最合适的参数规格指标。优选地，所述图形属性是指终端显示设备所支持(或设置)的分辨率以及图像位数，例如，在Windows XP操作***中，在桌面右击然后选中“图形属性”可以打开“图形属性”设置窗口，在该窗口内可以设置分辨率以及图像位数。

具体地，本步骤可以基于H323协议来实现，更确切地说，可以通过扩展H.323协议下的H.245协议来实现，其中，H.245协议即多媒体通信控制协议(Control Protocol for Multimedia Communication)，该协议在H.323协议中提供信令机制。

本领域技术人员理解，为了便于对协议进行扩展，H.245协议在定义时保留了扩展的余地。例如，H.245协议采用了扩展标记(Extension Marker)的方式，即在许多消息结构中都增加了“...”，这样扩展的消息可以放在扩展标记之后。因此，为了获取终端的图形属性，可以将所述图形属性作为终端能力集(Terminal Capability Set)请求(Request)消息中的参数，并由终端发送该终端能力集请求消息。

更为具体地，首先组建视频会议所需的网络使设备之间建立物理连接，然后打开H.245信令控制的专用逻辑通道(Logical Channel)，该逻辑通道是一个独立地、同所有媒体类型分离的逻辑通道，即LC0。当逻辑通道LC0建立之后，多点控制单元向各终端发送主从确定(Master Slave Determination)请求消息，各终端向多点控制单元发送主从确定证实(Master Slave Determination Acknowledge)响应(Response)消息以完成主从确定过程。接着，各终端向多点控制单元发送终端能力集请求消息，其中，该终端能力集包括分辨率以及图像位数，即将上述分辨率以及图像位数作为该终端能力集中的参数发送给所述多点控制单元，然后所述多点控制单元按照预先约定的协议从该终端能力集中获取图形属性，并向各终端发送终端能力集证实(Terminal Capability Set Acknowledge)响应消息以完成能力交换(Capability Exchange)过程。

在本实施例中，除了获取每个终端的图形属性之外，还要分别获取每个终端的图像复合模式，其中，所述图像复合模式指示了被复合的图像在复合图像中所占的大小比例，例如，图3以及图4分别为两种不同的复合模式。具体地，可以通过计算机或者遥控器指示多点控制单元设定所述图像复合模式，例如，视频会议共有5个会场，则可以通过遥控器控制多点控制单元将图像复合模式设定为每个会场的终端显示如图3所示的由其余4个会场的图像复合而成的图像；还可以由会议***来设定所述图像复合模式，例如，在视频会议***中设置一令牌，其中，令牌所在的终端的用户为会议***，会议***可以按照图3所示的图像复合模式对主会场图像和发言人的图像进行复合。本领域技术人员理解，所述图像复合模式可以是动态的，因此根据实际情况可以在视频会议开始之前预先获取所述图像复合模式，也可以在会议中随时获取所述图像复合模式，这并不影响本发明的实质内容。

当分别获取每个终端的图形属性以及图像复合模式之后，进一步地，获取根据所述每个终端的图形属性以及与之对应的图像复合模式确定与该终端对应的最合适的参数规格指标。在本实施例中，通过获取所述图像属性用来指示复合图像所需的最低参数规格指标，而再结合获取的所述图像复合模式就能用来指示该复合图像中小图像所需的最低参数规格指标，其中，所述最低参数规格指标是指该参数规格指标要满足视频会议用户对图像最低的质量要求，然后可以将该最低参数规格指标确定为所述最合适的参数规格指标。

例如，若各终端所支持(或设置)的图像位数不同，有8位、16位以及24位，而捕捉到的图像为32位，此时，对于各终端来说，24位图像和32位图像都能够满足各终端的质量要求，其中，24位图像的质量要低于32位图像的质量，因此，将24位图像确定为所述最合适的参数规格指标。本领域技术人员理解，当所述参数规格指标仅包括图像的位数时，可以省略“分别获取每个终端的图像复合模式”，这并不影响本发明的实质内容。

通过步骤S210～S212可以确定每个终端最合适的参数规格指标，而在步骤S213中，根据所述每个终端的最合适的参数规格指标确定所述格式控制信令。在本实施例中，所述格式控制信令由所述每个终端的最合适的参数规格指标所确定，具体地，H.245协议定义了非标准消息(Non standard Message)结构来实现非标准控制信令，其中，该非标准消息结构被定义为：

NonStandardMessage     ::＝SEQUENCE

{

nonStandardData        NonStandardParameter，

}

NonStandardParameter   ::＝SEQUENCE

{

nonStandardIdentifier  NonStandardIdentifier，

data                   OCTET STRING

}

按照上述定义，可以定义一命令(Command)消息作为所述格式控制信令，将所述最合适的参数规格指标作为该命令消息的参数，其中，该命令消息要求终端完成指定的动作，即以所述最合适的参数规格指标发送视频信号。

最后，执行步骤S214，分别向多个终端发送格式控制信令，其中，所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标，其特征在于，所述发给第一终端的格式控制信令所包含的参数规格指标与发给其他终端的格式控制信令所包含的参数规格指标不同。在本实施例中，当主从确定过程和能力交换过程完成后，多点控制单元以命令消息的形式向多个终端发送格式控制信令，具体地，将所述格式控制信令按照X.691协议(Information Technology-ASN.1Encoding Rules-Specification of Packed Encoding Rules(PER))规定的编码规则进行编码，然后对其进行封装，例如，可以采用封装成SRP(SimpleRetransmission Protocol)帧的方法，其中，所述SRP帧的格式如下表所示：

头(0xf9)

序列号(1字节)

消息域，可以包括一条或多条消息

检错码(2字节)

然后将封装后的数据包通过复用层H.223进行发送。本领域技术人员理解，所述多点控制单元根据视频会议***网络的具体情况发送所述格式控制信令，例如，可以通过分组交换网络发送；也可以通过卫星通信网发送；还可以通过移动通信网发送。本领域技术人员理解，所述第一终端可以是主会场的终端、发言人的终端以及会议***的终端等，其所采集的图像在复合后的图像中一般所占的面积比例较大，并且所述第一终端是动态的，即视频会议中的任一终端都可以作为所述第一终端。

在一个变化例中，在步骤S210中不是通过将所述图形属性作为标准消息的参数来传输，而是通过定义非标准消息来获取所述图形属性。具体地，可以根据H.245协议定义的非标准消息结构来定义图形属性请求消息，其中，所述图形属性请求消息用来指示终端回复相应的图形属性响应消息，而终端则将所述图形属性作为所述图形属性响应消息的参数发送给多点控制单元。换句话说，所述多点控制单元可以根据上述非标准消息结构向一个或多个由其控制管理的终端发送上述图形属性请求消息，而接收到该请求消息的终端相应地返回被请求的图形属性。

而在本实施例的另一个变化例中，步骤S210～S212变化为分别接收每个终端发送的与该终端对应的最合适的参数规格指标。本领域技术人员理解，在视频会议***中，对图像进行解码的计算量通常要大于对图像进行压缩/扩大的计算量，因此，若终端捕捉到的图像的分辨率低于所述最合适的参数规格指标，优选地，终端将自己确定最合适的参数规格指标，并将上述确定的最合适的参数规格指标发送给多点控制单元。例如，在会议前，多点控制单元可以通过能力交换过程或其他信令交互过程获取终端能够支持的分辨率，避免所发送的视频信号不被终端所支持。多点控制单元确定的所述最合适的参数规格指标为分辨率1024×768，而终端的捕捉到的图像的分辨率为800×600，则此时该终端自己确定最合适的参数规格指标为分辨率800×600，并将该自己确定的最合适的参数规格指标发送给多点控制单元，接着终端将分辨率为800×600的图像发送给多点控制单元，多点控制单元将接收到得的图像的分辨率扩大到1024×768。此时，虽然需要将图像的分辨率扩大到1024×768，但多点控制单元只需对分辨率为800×600的图像进行解码，相对于对分辨率为1024×768的图像进行解码而言，可以降低多点控制单元的计算负担。

进一步地，本领域技术人员理解，在很多情况下，所述每个终端都会分别确定各自的参数规格指标并发送给所述多点控制单元。例如，由具体的操作人员根据实际需要来确定本终端适合的图像分辨率；又例如，将每个终端的最大分辨率作为所述参数规格指标发送给所述多点控制单元，此时，每个终端的参数规格指标也可能不同。本领域技术人员可以结合具体实施需要来实现不同的获取所述参数规格指标的方法，在此不予赘述。

而在本实施例的又一个变化例中，步骤S210～S212变化为根据视频会议的画面风格与每个终端的能力确定所述每个终端的最合适的参数规格指标。本领域技术人员理解，每个终端的能力不一定相同，例如，每个终端各有自己所支持的分辨率，对不同的终端而言，其所支持的分辨率不尽相同。在本实施例中，优选地，通过能力交换过程获得每个终端的能力。例如，可以在视频会议的开始阶段，在主从确定过程完成之后进行能力交换过程以获取终端的能力，也可以在视频会议中，当有终端加入/退出会议时，进行能力交换过程以获取终端的能力。然后根据视频会议的画面风格与每个终端的能力确定所述每个终端的最合适的参数规格指标，例如下图3、图4A、图4B所描述的实施例。本领域技术人员可以根据实际情况确定所述每个终端的最合适的参数规格指标，在此不予赘述。

而在本实施例的又一个变化例中，步骤S210～S212变化为随机确定所述每个终端的最合适的参数规格指标。例如，可以在0～1的数值范围内生成一个随机数，当该随机数的值大于0.5时，则确定所述最合适的参数规格指标为1024×768，16位图像。本领域技术人员理解，在这样的变化例中，可能出现所确定的参数规格指标与实际的终端能力不相适应的情况，从而造成失真等问题，但作为本发明的一个补充，在适当的情况下仍然可以考虑这样的变化例。

在上述步骤中，重点对图像分辨率作为所述参数规格指标的控制过程进行了描述，本领域技术人员理解，除图像分辨率外，图像的大小还与图像的位数有关，其也可以作为所述参数规格指标的组成部分。例如，灰度级数范围为0～255的灰度图像的位数为8位，此时图像中每个像素需要8bit，即占1个字节，与之相对应的彩色图像的位数为24位，此外，还有16位图像、32位图像以及各种非标准位数的图像。图像的位数越大，则对其进行解码以及压缩的计算量就越大。

例如，若多个终端的摄像头所捕捉图像的位数是32位，而所述多个终端的显示器仅支持16位图像，则所述多点控制单元3请求所述多个终端向其发送16位图像或者(如下述的)相应的YUV格式的图像，而不是32位图像。因此，通过控制终端所发送图像的位数，也能减轻所述多点控制单元3的计算负担。

本领域技术人员理解，所述参数规格指标可以单独地分别包括所述图像分辨率或者图像的位数，也可以包括该两个指标，或者根据实际需要包括其他更多的指标。具体地，可以参考H.223协议所确定的指标来确定所述参数规格指标，在此不予赘述。

本领域技术人员理解，在另一个优选的实施例中，针对视频会议先将图像从RGB格式转换到YUV(在本实施例中指YCbCr)格式，然后再进行传输，这个通常的做法可以减少数据传输量，，其中，YUV是一种基本色彩空间，Y指颜色的明视度(Luminamce)，而U和V则是指色调(Chrominance)。RGB与YUV之间的对应关系如下式所示：

$\left[\begin{array}{c}Y\\ \mathrm{Cr}\\ \mathrm{Cb}\end{array}\right]=\left[\begin{array}{ccc}0.257& 0.504& 0.098\\ -0.148& -0.291& 0.439\\ 0.439& -0.368& -0.071\end{array}\right]\×[\left[\begin{array}{c}R\\ G\\ B\end{array}\right]+\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]]$

由上式得出，当RGB图像为24位时，YUV的色彩空间大小如下表所示：

当RGB图像位数变化时，YUV色彩空间的大小将作相应的变化。因此，通过压缩RGB图像的位数，能够减小YUV色彩空间的大小，从而节约带宽和编/解码的计算负担。进一步地，人眼对明视视度的改变要比对色彩的改变敏感得多，即对人眼而言，Y分量比U分量更重要，因此，可以指示终端在发送图像前，适当地抛弃U分量和V分量，以达到减小计算量的目的。例如，可以指示终端发送部分取样(subsampling)的图像，其中，上述部分取样的常见方式有YUV444(无压缩)、YUV422(33.3％压缩)、YUV411(50.0％压缩)以及YUV420(50.0％压缩)。本领域技术人员至少可以参考文献“YUV与RGB之间的转换”(载《长春大学学报》，2004年第4期)实现上述YUV与RGB之间的转换，在此不予赘述。

图3示出根据本发明的一个具体实施方式的，在视频会议***中图像复合模式的示意图。在本具体实施方式中，视频会议***包括5个终端(终端甲、乙、丙、丁、戊)，每个终端捕捉到的图像的分辨率都为1920×1200，每个终端所显示的图像是由其余4个终端所捕捉到的图像复合而成的，即复合图像是由图像43、图像44、图像45以及图像46复合而成，其中，上述4个图像在所述复合图像中的分辨率相同，即上述4个图像中的每个图像的宽高尺寸都为所述复合图像的宽高尺寸的一半。

具体地，在本实施例中，多点控制单元首先获取每个终端的分辨率，例如，终端甲的分辨率为1920×1200，其余4个终端的分辨率为800×600，根据上述图像复合模式可以获知，终端甲所显示的复合图像中，图像43至46的分辨率都为480×300，其余4个终端所显示的复合图像中，图像43至46的分辨率都为200×150，此时，可以确定与终端甲对应的所述最合适的参数规格指标为分辨率200×150，与其余4个终端对应的所述最合适的参数规格指标为分辨率为480×300。因此，终端甲捕捉到图像后，将图像的分辨率从1920×1200压缩到200×150，然后经编码后发送给所述多点控制单元；其余4个终端捕捉到图像后，将图像的分辨率从1920×1200压缩到480×300，然后经编码后发送给所述多点控制单元。所述多点控制单元接收来自上述5个终端的视频信号，并对所述视频信号进行解码，接着不需要对所述视频信号进行分辨率压缩，而是直接对所述视频信号进行复合处理，并在复合后对所述视频信号进行编码，最后将所述编码后的视频信号分别发送给上述5个终端。

而在一个变化例中，所述5个终端的分辨率可以是其他规格，例如终端甲的分辨率为1920×1200，终端乙、丙的分辨率为1024×800，终端丁、戊的分辨率为800×600，此时，则上述多点控制单元获取这些分辨率后相应地根据本发明提供的控制方法来指令各终端按照所述多点控制单元确定分辨率向其发送相应的视频信号。本领域技术人员结合现有技术可以实现这样的过程，在此不予赘述。

图4A示出根据本发明的又一个具体实施方式的，在视频会议***中图像复合模式的示意图。在本具体实施方式中，所有终端所显示的复合图像都由两部分图像复合而成，一部分为图像41，另一部分为图像42，其中，图像41捕捉自主会场，图像42捕捉自发言人，各终端摄像头捕捉到的图像都为1920×1200。若多点控制单元获取到的各终端的分辨率为800×600，获取到的图像复合模式为图像41与图像42的大小尺寸比例为4∶1，则对于捕捉主会场图像的终端来说，所述最合适的参数规格指标为分辨率800×600，而对于其余终端来说，所述最合适的参数规格指标为分辨率200×150，然后各终端将捕捉到的图像压缩至所述最合适的参数规格指标，并经编码后发送给所述多点控制单元。本领域技术人员理解，上述主会场以及发言人是动态的，即参与会议的任一会场都可以作为主会场，并且可以在会议的过程中实时地切换，而随着发言人的变化，图像42可以显示采集自不同终端的图像。

图4B示出根据本发明的又一个具体实施方式的，在视频会议***中图像复合模式的示意图。在本具体实施方式中，所有终端所显示的复合图像都由一个主图像411和九个小图像复合而成，其中，小图像421是上述九个小图像中的一个。

本领域技术人员理解，上述图3、图4A以及图4B所示出的具体实施方式是对本发明的非限制性描述，在实际的视频会议中，图像复合模式还包括多个图像的任意复合所生成的相应的构图，例如，将整个画面9等分、16等分以及整个画面由1个主图像与15个小图像复合而成，这并不影响本发明的实质内容。

图5示出根据本发明的第一实施例的，一种在视频会议***的终端中对多媒体通信进行处理的辅助控制方法的流程图，这样的辅助控制流程与在视频会议***的控制设备(例如多点控制单元)中的控制过程是相适应的，例如图2所示实施例。在本实施例中，首先执行步骤S230，接收来自视频会议***的控制设备的格式控制信令。优选地，可以通过逻辑通道LC0接收封装有所述格式控制信令的数据包并对该数据包进行解码，接着从消息域内获取所述格式控制信令，其中，所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标。

然后执行步骤S231，根据所述格式控制信令对待发送视频信号进行压缩处理，使得压缩后视频信号符合所述格式控制信令所指示的参数规格指标。例如，所述格式控制信令指示终端向多点控制单元发送1024×768的视频信号，若该终端捕捉到的视频信号的分辨率高于1024×768，则将上述视频信号压缩到1024×768。又例如，所述格式控制信令指示终端发送300×200的视频信号，若该终端捕捉到的视频信号的分辨率为D1格式(720×576)，则不按照现有技术(H.232协议)将分辨率压缩到CIF格式(352×576)，而是将分辨率压缩到所述格式控制信令所指示的300×200。又例如，所述格式控制信令指示终端发送24位的视频信号，若该终端捕捉到的视频信号的图像位数高于24位，则将上述视频信号的图像位数压缩到24位。本领域技术人员可以结合现有技术实现对视频信号的压缩，例如至少可以参考“压缩域图像视频空间分辨率转换和色彩处理技术的研究”(中国博士学位论文全文数据库，2007)，在此不予赘述。

接着执行步骤S232，对所述压缩后视频信号进行编码处理，具体地，可以采用H.261、H.263以及H.264等协议对视频信号进行编码，本领域技术人员至少可以参考载于中国优秀硕士学位论文全文数据库(2006)的“基于H.323协议的IP视频会议中MCU的研究与实现”实现对视频信号的编码，在此不予赘述。

最后，执行步骤S234，发送所述编码后视频信号。具体地，在完成主从确定过程和能力交换过程后，终端向多点控制单元发送打开逻辑通道(OpenLogicalChannel)请求消息，多点控制单元回复打开逻辑通道证实(OpenLogicalChannelAck)响应消息，此时，建立了用于传输视频码流的逻辑通道，这样，可以通过该逻辑通道发送所述编码后视频信号。

本领域技术人员理解，上述步骤与现有技术的主要区别在于各终端接收来自多点控制单元的控制指令，该指令中包括要求各终端向多点控制单元发送视频信号的参数规格指标，而且各终端被要求的参数规格指标不同，例如作为主画面的终端的图像分辨率通常比其他终端的图像分辨率要高。进一步地，在本发明中，所述多点控制单元可能随时根据具体需要调整各终端的参数规格指标，例如将作为主画面的终端由终端A更换为终端B，此时，终端A被要求的参数规格指标明显降低，而终端B被要求的参数规格指标则通常被提高；又例如，多点控制单元也可能由于某一个终端发送的图像不清楚而要求该终端提高其发送视频信号的分辨率。具体地，本领域技术人员理解，在图2所示实施例中，所述多点控制单元随时可以重新获取各终端的属性并确定各终端的参数规格指标，或者直接确定各终端的参数规格指标，而相应地，则各终端根据被重新确定的参数规格指标向所述多点控制单元发送相应的视频信号，在此不予赘述。

图6示出根据本发明的又一个具体实施方式的，用于控制多画面复合的视频会议***的网络拓扑图。在本具体实施方式中，多点控制单元31、多点控制单元32以及多点控制单元33级联，协作地对多媒体通信进行控制，其中，多点控制单元32以及多点控制单元33分别对会议组进行控制，即所述多点控制单元32对包括终端91、终端92以及终端93的会议组进行控制，所述多点控制单元33对包括终端94的会议组进行控制，而所述多点控制单元31对不同会议组间的多媒体通信进行控制。具体地，当所述终端91仅显示来自同一会议组内其余的终端所捕捉的图像时，则通过所述多点控制单元32执行图2所示第一实施例的方法来控制多媒体通信。而当所述终端91需要显示其它会议组的终端，例如所述终端94，捕捉的图像时，则通过所述多点控制单元31来控制多媒体通信。优选地，所述多点控制单元31通过所述多点控制单元32获取所述终端91至93的图形属性以及图像复合模式，通过所述多点控制单元33获取所述终端94的图形属性以及图像复合模式，然后根据上述图形属性以及图像复合模式确定所述最合适的参数规格指标，并通过所述多点控制单元32以及所述多点控制单元33将所述最合适的参数规格指标发送给各终端，各终端根据所述最合适的参数规格指标压缩视频信号并发送。

在本具体实施方式中，由终端根据所述最合适的参数规格指标对视频信号进行压缩处理，而在本具体实施方式的一个变化例中，终端不对视频信号进行压缩处理，而是由所述多点控制单元32以及所述多点控制单元33根据所述最合适的参数规格指标对视频信号进行压缩处理，即将所述多点控制单元32以及所述多点控制单元33视为所述多点控制单元31的“终端”。本领域技术人员结合现有技术可以实现这样的视频会议***以及其中的每个多点控制单元、应用于多点控制单元中的本发明提供的控制装置等，在此不予赘述。

本领域技术人员理解，所述多点控制单元的级联不限于3个多点控制单元，可以由多个多点控制单元协作实现对多媒体通信的控制；也不限于两级，可以是多级的级联，这并不影响本发明的实质内容。

图7示出根据本发明的第一实施例的，在视频会议***的控制设备(例如多点控制单元)中用于对多媒体通信进行处理的控制装置的结构示意图。具体地，该控制装置5包括第一确定装置51、第二确定装置52以及第一发送装置53。其中，所述第一确定装置51用于确定所述每个终端的最合适的参数规格指标；所述第二确定装置52用于根据所述每个终端的最合适的参数规格指标确定所述格式控制信令，其中所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标；所述第一发送装置53用于分别向多个终端发送格式控制信令，该装置53可以参考现有技术来实现。本领域技术人员理解，在上述的多个参数规格指标中，所述发给第一终端的格式控制信令所包含的参数规格指标与发给其他终端的格式控制信令所包含的参数规格指标不同，优选地，该第一终端是处理主画面的终端，即该终端发送给所述多点控制单元的视频信号将作为整个视频会议中的主画面。这样的控制装置对各终端进行的控制与现有技术具有明显不同，例如现有技术中通常要求每个终端的参数规格指标是相同的。

具体地，所述第一确定装置51可以通过多种方式确定所述参数规格指标。例如在本实施例中，所述第一确定装置51包括第一获取装置511，其用于分别获取每个终端的图形属性，分别获取每个终端的图像复合模式，并根据所述每个终端的图形属性以及与之对应的图像复合模式确定与该终端对应的最合适的参数规格指标。具体地，本领域技术人员理解，优选地，所述图形属性是指终端显示设备所支持(或设置)的分辨率和/或图像位数，例如可以在H.245协议的基础上将所述图形属性作为终端能力集(Terminal Capability Set)请求(Request)消息中的参数，并向终端发送该终端能力集请求消息，从而获取这样的图形属性。而所述图像复合模式可以是动态的，因此所述第一确定装置51可以根据实际情况可以在视频会议开始之前预先获取所述图像复合模式，也可以在会议中随时获取所述图像复合模式。进一步地，该装置51通过获取所述图像属性用来指示复合图像所需的最低参数规格指标，再结合获取的所述图像复合模式就能用来指示该复合图像中小图像所需的最低参数规格指标，并将该最低参数规格指标确定为所述最合适的参数规格指标。本领域技术人员理解，在一个变化例中，所述装置51可以通过多个子装置实现，每个子装置分别实现其中的一部分功能，例如获取图形属性的功能，在此不予赘述。

而在一个变化例中，所述第一确定装置51包括第一接收装置(图7中未示出)，其用于分别接收每个终端发送的与该终端对应的最合适的参数规格指标。例如，所述每个终端分别确定各自的参数规格指标并发送给所述多点控制单元，优选地，由具体的操作人员根据实际需要来确定本终端适合的图像分辨率。

在另一个变化例中，所述第一确定装置51包括第三确定装置(图7中未示出)，其用于随机确定所述每个终端的最合适的参数规格指标。例如，可以在0～1的数值范围内生成一个随机数，当该随机数的值大于0.5时，则确定所述最合适的参数规格指标为1024×768，16位图像。

优选地，所述第二确定装置52可以直接将针对一个终端的最合适的参数规格指标置于一个数据包(控制信令)中的特定位置，以便该控制信令被终端接收后终端可以相应地从该特定位置获取所述参数规格指标；在一个变化例中，所述装置52将所述参数规格指标加密后置于该控制信令中的特定位置，此时则接收终端根据约定的加密、解密规则对所述内容进行解密后获取所述参数规格指标；在又一个变化例中，所述装置52将参数规格指标打乱后分别置于该控制信令中的不同位置，例如按照哈希算法来确定每字节的位置，这些变化例并不影响本发明的实质内容，在此不予赘述。

图8示出根据本发明的第一实施例的，在视频会议***的终端设备中对多媒体通信进行处理的辅助控制装置。具体地，所述辅助控制装置6包括第三接收装置61以及第三发送装置62。其中，所述第三接收装置61用于接收来自视频会议***的控制设备的格式控制信令，类似地，所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标；所述第三发送装置62用于根据所述格式控制信令向所述控制设备发送视频信号。优选地，所述第三接收装置61通过逻辑通道LC0接收封装有所述格式控制信令的数据包并对该数据包进行解码，接着从消息域内获取所述格式控制信令，例如从该控制信令的特定位置取出所述格式控制信令，从而获得来自图7所示控制装置5的参数规格指标。

优选地，所述第三发送装置62包括：第一压缩装置621，其用于根据所述格式控制信令对待发送视频信号进行压缩处理，使得压缩后视频信号符合所述格式控制信令所指示的参数规格指标；第二编码装置622，其用于对所述压缩后视频信号进行编码处理；以及第四发送装置623，其用于发送所述编码后视频信号。例如，若所述格式控制信令指示终端向多点控制单元发送1024×768的视频信号，而该终端捕捉到的视频信号的分辨率高于1024×768，则所述第一压缩装置621将上述视频信号压缩到1024×768。相应地，所述编码处理以及发送过程可以参考现有技术予以实现，在此不予赘述。

结合图1以及图6，本领域技术人员理解，优选地，图7所提供的控制装置5置于视频会议***的多点控制单元3中，用于控制该单元3与各终端9的多媒体通信，尤其是控制多画面复合的视频信号；相应地，图8所提供的辅助控制装置6被置于各终端9中，用来与所述控制装置5配合实现多画面复合的视频信号的控制过程。本领域技术人员理解，这些装置可以参考现有技术来实现，例如所述控制装置5可以在现有的多点控制单元中的控制模块的基础上参考图7所示予以实现，且主要地增加第一确定装置51以及第二确定装置52；类似地，所述辅助控制装置6可以在现有的终端中的视频会议模块的基础上参考图8所示予以实现，且主要地增加第三接收装置61以及第一压缩装置621。例如，在图1或图6所示实施例中，置于多点控制单元3中的控制装置还可以包括第二接收装置(图中未示出)，其用于接收来自多个终端的视频信号；第一编码装置(图中未示出)，其用于对所述视频信号进行编码；以及第二发送装置(图中未示出)，其用于将所述编码后的视频信号分别发送给所述每个终端。而这样的第二接收装置、第一编码装置、第二发送装置均可以参考现有技术予以实现，在此不予赘述。

进一步地，本领域技术人员理解，上述图7所示第一确定装置51可以随时随地重新确定各终端的参数规格指标，并将这些参数规格指标通过控制信令发送给相应的终端，而各终端则通过置于其内的第三发送装置62来根据相应的被要求的参数规格指标压缩视频信号并发送给对应的多点控制单元。在这样的实施例中，调整视频信号具有一定的灵活性，从而可以满足不同的需求。

本发明通过不同于现有技术的方式实现对视频会议***的控制，尤其是对多点控制单元与各终端之间发送的视频信号进行控制，优选地通过图形分辨率等方式来控制这些视频信号。通过本发明提供的技术方案，可以指令不同的终端发送不同分辨率的视频信号，从而使得不同终端可以根据实际需要发送最合适的分辨率的视频信号，改变了现有技术中的终端发送的视频信号的分辨率高于视频会议***所需要的分辨率的现状，从而节省了多点控制单元进行解码所耗费的资源，提高了视频会议***的效率。本领域技术人员理解，根据实际需要，可以动态地来控制这些视频信号，例如，在会议开始前、有终端加入/退出会议时以及画面风格发生变化时，都可以对这些视频信号进行控制，这并影响本发明的实质内容。

从另一个角度看，本方案也可以被理解为扩展了323信令，通过动态调整终端编码分辨率，由终端实现图像压缩后，在MCU端直接解码合成，降低解码代价，降低码流。在终端加入会议后，其上传的码流格式由MCU控制。MCU根据当前的画面复合的要求，对不同的终端要求发送不同分辨率的画面，并在会议中可以动态调整，以适应画面复合的风格变化。对于不参与画面复合的终端，要求其不上传码流，以节约***带宽。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (15)

1.一种在视频会议***的控制设备中对多媒体通信进行处理的控制方法，其中，包括如下步骤：

c.分别向多个终端发送格式控制信令，其中所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标；

其特征在于，所述发给第一终端的格式控制信令所包含的参数规格指标与发给其他终端的格式控制信令所包含的参数规格指标不同。

2.根据权利要求1所述的方法，其中，所述步骤c之前还包括如下步骤：

a.确定所述每个终端的最合适的参数规格指标；

b.根据所述每个终端的最合适的参数规格指标确定所述格式控制信令。

3.根据权利要求2所述的方法，其中，所述步骤a包括如下步骤中的任一项：

-分别接收每个终端发送的与该终端对应的最合适的参数规格指标；

-分别获取每个终端的图形属性，分别获取每个终端的图像复合模式，并根据所述每个终端的图形属性以及与之对应的图像复合模式确定与该终端对应的最合适的参数规格指标；

-根据视频会议的画面风格与每个终端的能力确定所述每个终端的最合适的参数规格指标；

-随机确定所述每个终端的最合适的参数规格指标。

4.根据权利要求1至3中任一项所述的方法，其中，还包括步骤：

-接收来自多个终端的视频信号；

-对所述视频信号进行解码、画面复合操作，并将经画面复合操作后的视频信号进行编码；

-将所述编码后的视频信号分别发送给所述每个终端。

5.一种在视频会议***的控制设备中对多媒体通信进行处理的控制装置，其特征在于，包括：

第一发送装置，用于分别向多个终端发送格式控制信令，其中所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标；

其特征在于，所述发给第一终端的格式控制信令所包含的参数规格指标与发给其他终端的格式控制信令所包含的参数规格指标不同。

6.根据权利要求5所述的控制装置，其特征在于，还包括：

第一确定装置，用于确定所述每个终端的最合适的参数规格指标；以及

第二确定装置，用于根据所述每个终端的最合适的参数规格指标确定所述格式控制信令。

7.根据权利要求6所述的控制装置，其中，所述第一确定装置包括如下装置中的任一个：

-第一接收装置，用于分别接收每个终端发送的与该终端对应的最合适的参数规格指标；

-第一获取装置，用于分别获取每个终端的图形属性，分别获取每个终端的图像复合模式，并根据所述每个终端的图形属性以及与之对应的图像复合模式确定与该终端对应的最合适的参数规格指标；

-第三确定装置，用于随机确定所述每个终端的最合适的参数规格指标；或者。

-第四确定装置，用于根据视频会议的画面风格与每个终端的能力确定所述每个终端的最合适的参数规格指标。

8.根据权利要求5至7中任一项所述的控制装置，其特征在于，还包括：

第二接收装置，用于接收来自多个终端的视频信号；

第一编码装置，用于对所述视频信号进行解码、画面复合操作，并将经画面复合操作后的视频信号进行编码；以及

第二发送装置，用于将所述编码后的视频信号分别发送给所述每个终端。

9.一种在视频会议***的终端设备中对多媒体通信进行处理的辅助控制方法，其中，包括如下步骤：

i.接收来自视频会议***的控制设备的格式控制信令，其中，所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标；

ii.根据所述格式控制信令向所述控制设备发送视频信号。

10.根据权利要求9所述的方法，其中，所述步骤ii包括如下步骤：

ii1.根据所述格式控制信令对待发送视频信号进行压缩处理，使得压缩后视频信号符合所述格式控制信令所指示的参数规格指标；

ii2.对所述压缩后视频信号进行编码处理；

ii3.发送所述编码后视频信号。

11.一种在视频会议***的终端设备中对多媒体通信进行处理的辅助控制装置，其特征在于，包括：

第三接收装置，用于接收来自视频会议***的控制设备的格式控制信令，其中，所述格式控制信令用于指示该终端向所述控制设备发送视频信号的参数规格指标；以及

第三发送装置，用于根据所述格式控制信令向所述控制设备发送视频信号。

12.根据权利要求11所述的辅助控制装置，其特征在于，所述第三发送装置包括：

第一压缩装置，用于根据所述格式控制信令对待发送视频信号进行压缩处理，使得压缩后视频信号符合所述格式控制信令所指示的参数规格指标；

第二编码装置，用于对所述压缩后视频信号进行编码处理；以及

第四发送装置，用于发送所述编码后视频信号。

13.根据如上权利要求中任一项所述的方法和/或装置，其中，所述参数规格指标至少包括以下内容中的任一项或任多项：

-分辨率；以及

-图像位数。

14.一种用于视频会议***的控制设备，其用于控制所述视频会议***的多个终端与该控制设备之间的多媒体通信，其特征在于，包括上述权利要求5至8中任一项所述的控制装置。

15.一种用于视频会议***的终端，其用于接收来自所述控制设备的视频信号，其特征在于，所述终端包括上述权利要求11或12所述的辅助控制装置。

Images