CN101877706A - 多终端的多媒体会议控制***及实现方法 - Google Patents

Abstract

本发明公开了一种多终端的多媒体会议控制***及其实现方法，其包括会议能力组件子***和会议流程控制子***；其中，会议流程控制子***包括双音多频(DTMF)常态监听模块、请求消息路由模块、会议发言策略控制模块、终端发言模块、停止发言模块和终端切换模块，该多媒体会议控制***通过上述会议流程控制子***的各功能模块实现手机、固话终端和web客户端申请消息获取、消息路由功能、终端切换功能、会议发言策略控制功能、终端发言功能和停止发言功能，以实现对多媒体会议进行控制和对参会的通信终端之间进行会议切换的目的。采用本发明的多媒体会议控制***，能够降低公众使用多媒体会议***的费用，从而有助于推广多媒体会议业务。

Description

多终端的多媒体会议控制***及实现方法

技术领域

本发明涉及多媒体通信的应用技术，尤其涉及一种多终端的多媒体会议控制***及实现方法。

背景技术

随着计算技术和通信技术的发展，为身处异地的人们提供交流、讨论、协同工作的多媒体会议***展现出巨大的发展前景，它可以广泛用于远程报告、总结、汇报、讨论、教学、产品发布等，能够极大地节省开支和提高工作效率。目前，已经有了一些多媒体会议产品，但绝大部分功能集中于个人电脑的Web端，例如：

MSN多人语音***，其基于公网，支持多人语音，但不支持手机和固话终端的多人语音。

腾讯QQ多人语音***，其类似于MSN，支持多人语音聊天，但不支持手机和固话终端的多人语音。

中兴视频会议***(中兴通讯多媒体综合业务平台)，是以全兼容智能视讯服务器为核心的全兼容业务平台，可全面接入专线、ISDN、IP等不同网络、不同协议的视讯终端(如，DDN、ISDN、IP等)，能提按会议质量要求提供高清晰度会议、普通视频会议、个人可视通信等不同的会议内容，支持实时通讯与非实时通讯、双向交流与单向交流(如，组播)等。

但以上产品或多媒体会议***提供视频和音频通信都在一定程度上满足了人们的远程交流需求，然而，这些产品绝大多数只能支持以计算机为主的Web客户端，而缺乏对手机和固话终端参会功能的支持；或者，有的虽然支持手机或固话终端参会功能，但手机和固话终端仅仅是作为信息的接收端，因而缺乏向会议***发送请求进而参与会议控制等功能的支持。

发明内容

有鉴于此，本发明的主要目的在于提供一种多终端的多媒体会议控制***及实现方法，其基于公网普通媒体服务器，以实现手机、固话终端或Web端用户进行会议控制功能，从而降低公众使用多媒体会议***的费用，以有助于推广多媒体会议业务。

为达到上述目的，本发明的技术方案是这样实现的：

一种多终端的多媒体会议控制***，主要包括会议能力组件子***和会议流程控制子***；其中，

会议能力组件子***，用于实现会议底层的业务功能，与媒体服务器发生交互直接调用所述媒体服务器的应用程序编程接口API，并封装其基本功能接口以供其他功能模块调用；所述会议底层的业务功能，包括实现双音多频DTMF常态监听功能、语音文件播放原子功能和设置媒体状态原子功能；

会议流程控制子***，用于实现会议大粒度流程控制功能，包括实现手机、固话终端和web客户端申请消息获取(核心是DTMF常态监听功能)、消息路由功能、终端切换功能、会议发言策略控制功能、终端发言功能和停止发言功能。

其中，该多媒体会议控制***进一步包括终端显示子***，用于实现web端的页面状态显示、包括发言状态显示和终端类型显示。

所述会议能力组件子***，包括逻辑实体层、会议子服务层、会话初始化协议SIP消息处理层和SIP消息适配层。

所述会议流程控制子***，进一步包括DTMF常态监听模块、请求消息路由模块、会议发言策略控制模块、终端发言模块、停止发言模块和终端切换模块；其中，

DTMF常态监听模块，用于为手机、固话终端参与多媒体会议提供DTMF实时监听功能；

请求消息路由模块，用于统一接收外部消息，根据不同的消息内容将消息路由到相关组件，以实现发言申请、停止发言申请、终端切换消息的路由连接；

会议发言策略控制模块，用于收集手机、固话终端和web客户端发出的请求发言消息，采用一定的策略进行裁决，然后将裁决结果发送给终端发言模块；

终端发言模块，用于实现手机、固话终端和web客户端在多媒体会议中发言的功能，当终端发言请求被批准后，通过该终端发言模块在多媒体会议中发言；

停止发言模块，用于结束会议成员的发言状态；

终端切换模块，用于实现在手机、固话、web客户端之间进行会议切换。

所述请求消息路由模块接收的外部消息，包括经DTMF常态监听模块所接收的手机或固话终端DTMF信号中的请求消息，以及来自web客户端的请求消息。

一种多终端的多媒体会议控制***的实现方法，该方法包括：

A、开启媒体服务器DTMF监听功能，接收手机或固话终端的用户申请，并从中提取按键内容，根据电话号码从多媒体会议数据库中查询该用户的相关信息，与所述按键内容一起组成请求消息发送到消息路由模块；

B、消息路由模块接收到手机或固话终端、或web客户端的请求消息，根据消息内容进行判断，并根据判断结果将消息路由到相关组件；若所述消息内容为请求发言消息，则将消息发送到会议发言策略控制模块，并执行步骤C；若所述消息内容为终端切换相关的申请消息，则将消息发送到终端切换模块，并执行步骤D；若所述消息内容为停止发言相关的消息，则将消息发送到停止发言模块，并执行步骤E；

C、会议发言策略控制模块根据请求发言消息，根据不同的工作模式采用一定策略进行裁决，并将裁决结果发送给终端发言模块，由与会者通过终端发言模块进行会议发言；

D、终端切换模块根据终端切换申请消息，采用软切换方式，在手机、固话终端和web客户端之间进行会议切换；

E、停止发言模块根据停止发言消息结束原因的不同，结束会议成员的发言状态。

其中，步骤C所述会议发言策略控制模块包含三种工作模式：演讲模式、提问模式和讨论模式；所述演讲模式适用于会议中的个人演讲阶段；提问模式适用于会议中的提问阶段，以从众多提问者中选择发言者；讨论模式适用于多个与会成员同时进行发言。

所述采用软切换方式在手机、固话终端和web客户端之间进行会议切换，具体包括手机-＞固话、手机-＞web端、固话-＞web端、手机-＞web端、web端-＞手机和web端-＞固话的六种会议控制切换。

所述根据停止发言消息结束原因的不同结束会议成员的发言状态，分为两种情况触发；其一，发言请求由***端发出，停止发言模块收到该请求消息后改变发言者的媒体状态，中止该用户的发言；其二，发言请求由发言者发出，当发言者发言结束后，发言者放弃发言权，由停止发言模块收到该请求后改变该发言者的发言状态，停止其发言。

本发明所提供的多终端的多媒体会议控制***及实现方法，具有以下优点：

该多媒体会议控制***采用包括DTMF常态监听模块、请求消息路由模块、会议发言策略控制模块、终端发言模块、停止发言模块和终端切换模块的会议流程控制子***，通过持续监听DTMF信号，能够实时监听用户按键申请，及时提取按键内容，从而能够实时截获用户终端发出的请求消息，以便于发送到消息路由模块，并由消息路由模块根据不同的消息内容将所述消息路由到相关组件进行发言申请、终端切换以及停止发言的功能。

该多媒体会议控制***，采用会议发言策略控制模块，能够实现多种工作模式，并配合一定的策略进行裁决，能够使该***使用者获得最大满意度。

该多媒体会议控制***，采用终端切换模块，能够实现软切换方式在手机、固话终端和web客户端之间进行会议切换，提高了***的灵活性和便携性，同时，还具有切换失败仍可返回原终端继续参会的优点，提高了多媒体会议***的可靠性。

附图说明

图1为本发明多终端的多媒体会议控制***功能结构示意图；

图1a为图1所示意会议能力组件子***架构示意图；

图2为图1所示意会议流程控制子***中使用多种终端参会的功能示意图；

图2a为图2所示DTMF监听功能示意图；

图2b为图2所示停止发言模块结束发言控制过程示意图；

图3为web客户端-＞手机的切换流程示意图；

图4为web-＞固话终端的切换流程示意图；

图5为手机-＞web端的切换流程示意图；

图6为固话终端-＞web端的切换流程示意图；

图7为固话终端-＞手机端的切换流程示意图；

图8为手机-＞固话终端的切换流程示意图；

图9为本发明会议能力组件子***DTMF常态监听功能实现过程中的消息交互示意图；

图10为本发明会议能力组件子***终端切换功能(连接切换)实现过程中的消息交互示意图；

图11为本发明会议能力组件子***的设置用户媒体状态功能实现过程中的消息交互示意图；

图12为本发明会议能力组件子***的播放提示音功能实现过程中消息交互示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的***及方法作进一步详细的说明。

图1为本发明多终端的多媒体会议控制***功能结构示意图，如图1所示，该多媒体会议控制***主要包括：会议能力组件子***10、会议流程控制子***20和终端显示子***30；其中：

会议能力组件子***10，用于实现会议底层的业务功能，与媒体服务器发生交互直接调用所述媒体服务器的应用程序编程接口(API)，并封装其基本功能接口以供其他功能模块调用。使用本会议能力组件子***10，能够实现DTMF常态监听功能、语音文件播放原子功能、设置媒体状态原子功能等。

会议流程控制子***20，用于实现会议大粒度流程控制功能，即使用下列功能模块，如，DTMF常态监听模块201(电话申请消息获取)、请求消息路由模块202、会议发言策略控制模块203、终端发言模块204、停止发言模块205、终端切换模块206，以实现手机、固话终端和web客户端申请消息获取(核心是DTMF常态监听功能)、消息路由功能、终端切换功能、会议发言策略控制功能、终端发言功能、停止发言功能等。以上各功能模块详情如图2所示。

终端显示子***30，主要用于实现web端的页面状态显示，包括发言状态显示、终端类型显示等。该状态存储在数据库中，用到时再读出。

图1a为图1所示意会议能力组件子***架构示意图，如图1a所示，该子***包括逻辑实体层(又称媒体逻辑层)、会议子服务层、会话初始化协议(SIP，Session initial Protocal)消息处理层和SIP消息适配层；其中，

1)媒体逻辑层，包括参会者(Participant)逻辑实体，用于表示与会者实体在本层可以参与的各种原子功能。通过参会者(Participant)业务逻辑单元(SBB，Service Building Block)实现，同时维护自己的实体状态和资源并通过子业务逻辑层实现不同的业务逻辑。

2)会议子服务层，根据多媒体会议所需要的不同能力，定义不同的会议子服务，集中实现不同的会议子服务的业务逻辑。它们通过实体逻辑层接收来自上层模块的调用，并使用SIP信令控制层的功能完成自身的业务逻辑。

3)SIP消息处理层：该层用于给上层提供SIP的链接资源，为业务执行提供信令通道，并进行信令级别的消息处理。

4)SIP消息适配层(器)：该层用于将SIP协议栈适配到Mobicents内部，主要进行消息的接收和发送，消息格式的转换以及消息在各个SBB实体(Entity)的分配(分配到Activity，每个Activity对应于多个dialog)。这里，所述Mobicents是目前第一个也是唯一一个被JSLEE1.0规范认证的开源网络电话(VoIP，Voice over Internet Protocol)平台，Mobicents为电信应用提供了强有力的组件模型和执行环境，通过支持J2EE促进语音、视频和数据业务在下一代智能应用中的融合。

5)其他工具有：

数据库接口：提供SBB访问数据库的接口；

媒体服务器控制语言(MSML，Media Server Markup Language)：提供MSML语言的生成和解析；

对话和背靠背用户代理(B2BUA)状态机：提供SIP对话和B2BUA的状态机。

对于参会者(Participant)，主要提供如下10种功能：邀请成员和成员申请退出会议(网页)、申请加入会议(电话)和申请退出会议(电话)、放音、获取当前媒体类型、获取支持媒体类型、设置媒体类型、获取成员信息和电话申请服务。其中，获取当前媒体类型、获取支持媒体类型和获取成员信息等无流程的功能，以及与SIP连接资源的相关功能直接在参会者SBB中实现。其它具有流程的功能将作为参会者SBB的孩子，以子SBB方式实现，在需要时由父SBB创建。参会者SBB实体的初始事件为邀请web端用户加入会议(InvitePaticipant)或邀请电话端用户加入会议(ApplyJoin)，在初始事件中创建为会议成员提供服务的SIP连接。然后，再进行成员加入过程的业务逻辑。当收到断开会议链接(DisconnectPaticipant)或申请退出会议(ApplyQuit)时，成员退出会议结束。参会者SBB实体首先执行退出对应的业务逻辑，然后释放SIP连接。

图2为图1所示意会议流程控制子***中使用多种终端参会的功能示意图，如图2所示，通过对手机、固话终端的双音多频(DTMF)信号的连续监听，来实现多媒体会议***的多终端参会功能。

该会议流程控制子***20，主要包括DTMF常态监听模块201、请求消息路由模块202、会议发言策略控制模块203、终端发言模块204、停止发言模块205、终端切换模块206；其中，DTMF在现有网络环境下的常态监听模块201、会议发言策略控制模块203、终端切换模块206及各模块配合来实现多媒体会议控制功能，是本发明创新点。

这里所述的DTMF信号监听是一项相对成熟的技术，各媒体服务器都能提供该功能。但多媒体会议***有其自身的特点，其会议成员交互性贯穿始终，即整个会议过程中，手机或固话会议成员要用手机或固话接收信息(如，接听会议内容)，还要在合适场景下发送信息(如，用手机或固话发言、请求进行终端切换等)，这就要求多媒体会议***不仅能够向手机或固话终端发送消息，还要求能实时接收手机或固话端发出的消息，并进行相应的功能转换。而现有的媒体服务器在DTMF监听启动后只能接受一次信号，当信号接收完毕后，如果没有新的触发流程，便无法再开启新的监听功能，换句话说，现有的媒体服务器只能接收用户的一次请求，无法满足用户在任意时刻都能向该多媒体会议***发送请求的要求。因此，现有的多媒体会议***对手机或固话参会功能都比较弱，只支持信息接收功能或者在指定的时间点发送指定次数的请求信号。本发明给出了一种基于现有DTMF监听技术基础上的常态DTMF监听技术，即能够在会议的任意时刻监听到用户发出的任意次数的请求消息。

1)DTMF常态监听模块201，用于为手机、固话终端参与多媒体会议提供DTMF实时监听功能；其DTMF常态监听的核心是监听的持续性，即一旦开启，则整个过程都在监听用户按键，体现在流程上便是DTMF监听功能的连续启动，如图2a所示，其实现过程如下：

步骤2011、开启媒体服务器进行DTMF监听；

步骤2012、等待用户按键申请；

步骤2013、判断收到按键内容，若接收到的是用户申请，则转至步骤2014，否则返回步骤2012；

步骤2014、提取按键内容，根据电话号码从多媒体会议数据库中查询该用户的相关信息，与按键内容一起组成请求消息发送到消息路由模块；

步骤2015、返回至步骤2011。

2)请求信息路由模块202，用于统一接收外部消息，根据不同的消息内容将消息路由到相关组件，以实现发言申请、停止发言申请、终端切换消息的路由连接。其请求消息路由实现过程如下：

步骤2021、接收消息requestMessage；

步骤2022、如果requestMessage是申请发言相关的消息(如，手机/固话申请发言，web端申请发言)，将消息发送到“会议发言策略控制模块”；

步骤2023、如果requestMessage是停止发言相关的消息(如，手机/固话停止发言，web端停止发言等)，将消息发送到“停止发言模块”；

步骤2024、如果requestMessage是终端切换相关的申请消息(如，手机-＞固话，手机-＞web端，固话-＞手机，固话-＞web端，web端-＞手机，web端-＞固话)，则将消息发送到终端切换模块。

3)会议发言策略控制模块203，用于收集各终端(如，手机、固话终端和web客户端)发出的请求发言消息，采用一定的策略进行裁决，然后将裁决结果发送给终端发言模块204。这里，本会议发言策略控制模块203，其包含多种模式及实现策略，并设计有加权公平排队算法，能够进一步提升本***在应对发言申请时的整体公平性。

该模块核心是发言人裁决问题，即如何选择发言人进行发言。本多媒体会议控制***根据多媒体会议的特点给出了三种不同的模式：演讲模式、提问模式和讨论模式，这三种模式在会议不同的三个阶段采用，每种发言模式都对应不同的发言策略，其具体模式如下：

(1)演讲模式：该模式适用于会议中的个人演讲阶段，***确定使用演讲模式选择发言人时，将会出现可供选择的与会成员列表，当***选中某位与会成员，该成员获得发言权，可以进行发言；

(2)提问模式：该模式适用于会议中的提问阶段，需要从众多的提问者中选择发言者，总体目标是使本***使用者获得最大的满意度。有三种裁决策略：

A、最小发言频度策略：***记录进入提问模式后每个成员的发言次数，决策时选择发言次数最少的成员获得发言权。这种策略使会议整体发言趋于均衡。

B、最大请求频度策略：***记录进入提问模式后每个成员的发言请求次数，并统计每个成员发出发言请求而未获得发言权的次数f，决策时选择f最大的赋予发言权。该策略使得会议成员只要申请足够积极，总能获得发言权

C、加权公平排队策略：加权公平排队策略实际上是一种模糊策略，它综合了多种单一策略的参数，权衡总体进行判决。发言模块收集申请发言的信息，将申请信息直接发送给加权公平排队子策略。这里的申请信息所包含的内容不再仅仅是简单的用户ID，而是包含了复杂结构的与会成员列表。这些复杂结构包括用户ID、用户申请发言的时间、用户在该会议中的发言次数、用户在该会议中请求发言的次数等。该策略根据上述参数，为每一参数合理的分配权重，综合得出一个加权后的结果，即为发言权获得者。具体见如下算法：

算法：加权公平排队算法

设决策时间为c，申请发言时间为t，申请次数为r，发言次数为s，为申请时间分配的权重为weight1，为发言次数分配的权重为weight2，为申请次数分配的权重为weight3，用户的发言加权值记为result。算法公式可以描述如下：

result＝(r-s)*weight3-s*weight2-(t-c)*weight1  (公式一)

加权公平排队算法描述如下：

步骤1：result＝0；

步骤2：采用公式一计算申请发言者的加权值，记为temp；

步骤3：如果temp大于result，则将temp赋值给result；转步骤5

步骤4：如果temp等于result，则比较result对应的用户ID与temp对应的用户ID，较小者为新的result；

步骤5：循环步骤2-4，直到每个成员的加权值得出为止；

步骤6：选择result值最大者对应的用户为发言者，结束。

加权公平排队策略分析：本策略核心是加权值计算公式，即公式一，对其变型可得公式二；从公式二中可以看出加权值result是关于申请次数r的单调增函数，即申请次数越多，result值越大；是关于发言次数s的单调减函数，这体现了会议发言的普遍性原则，使发言机会能遍及尽可能多的提问者；是发言申请时间t的单调减函数，即鼓励尽可能早的发出提问申请，体现先来先服务的原则。

result＝r*weight3-s*(weight2+weight3)-t*weight1+c*weight1  (公式二)

当会议***选择进入提问模式后，***在一定时间段内(如，1分钟)收集各用户发出的发言申请，按该模式的策略进行裁决，选择发言人。

(3)讨论模式：讨论模式开启后，无需***进行控制，开启所有与会者的发言媒体流信息，多个与会成员可以同时进行发言。

综上所述，本***设计实现了加权公平排队算法，该策略考虑了申请次数原则(多发出申请则获得发言机会大)、先来先服务原则(申请发出早的获得发言权机会大)、以及发言普遍性原则(获得发言权少的申请者申请发言时获得发言权的机会大)，并为每种影响因素分配合理的权重，最终算出一个合理的加权值。

4)终端发言模块204，用于实现手机、固话终端和web客户端在多媒体会议中发言的功能，即终端发言请求被批准后，通过该终端发言模块204在多媒体会议中发言，其他参会成员能实时接听到该成员的发言内容。考虑到手机或固话终端与会成员的特殊性，发言申请被批准后，将首先在手机或固话终端播放提示语音，如“请发言”等提示；其发言内容将被发送到媒体服务器，再由媒体服务器统一向各参与会议的成员转发。

由于本模块与具体媒体服务器关系密切，为便于在不同媒体服务器中部署，此处仅给出功能层面的实现流程。因为播放语音文件以及接收/转发媒体流都是媒体服务器的基本功能，具体实现时只需参照媒体服务器的说明书进行设置即可。

5)停止发言模块205，用于结束会议成员的发言状态。根据结束原因的不同，分两种情况被触发，即“被中止”和“正常停止”。

“被中止”发言请求由***端发出，当会议成员不适合继续发言时(如，会议成员发言已到规定发言时间等)，会议***会发出中止该用户发言的请求消息，停止发言模块205收到该请求消息后会改变发言者的媒体状态，中止其发言，并根据终端类型的不同给予相应提示。

“正常停止”发言请求由发言者发出，当发言者发言结束后，会发出“正常停止”的发言请求放弃发言权，停止发言模块收到该请求信息后会改变该发言者的发言状态停止其发言。其实施过程如图2b所示，本模块用到了语音文件播放以及媒体流控制，因此与具体媒体服务器关系密切，此处只给出流程介绍。

6)终端切换模块206，用于实现在手机、固话、web客户端之间进行会议切换。在会议的进行过程中，由于用户的移动性，有时用户需要会议能够在不同的终端设备之间切换。例如：用户正在使用电脑web客户端参与会议，中途有事需要外出，而他不想因此退出会议，这时可以将会议切换到手机上，保证用户继续参与到他所在的会议之中。

本发明多终端的多媒体会议控制***可实现“手机-＞固话、手机-＞web端、固话-＞web端、手机-＞web端、web端-＞手机和web端-＞固话”的六种会议控制切换。该***的终端切换模块206采用软切换方式，能够实现在上述三种终端之间的相互切换，提高了***的灵活性和便携性，该***接到切换请求后首先判断切换方式，然后将新终端连接到多媒体会议***。当新参会终端成功登录会议后，可选择断开原有终端退出会议；若新参会的终端登录失败，还可返回原来的用户终端继续开会。如上所述，通过在多媒体会议***中引入软切换思想，采用本发明的终端切换模块206，能够提高多媒体会议***的可靠性。

图3为web-＞手机的切换流程示意图，图4为web-＞固话终端的切换流程示意图，图5为手机-＞web端的切换流程示意图，图6为固话终端-＞web端的切换流程示意图，图7为固话终端-＞手机端的切换流程示意图，图8为手机-＞固话终端的切换流程示意图。这里，以图7所示的固话终端-＞手机端的切换过程为例进行说明，该切换过程包括：

步骤701、固话终端通过请求消息路由模块向手机终端发送切换请求；

步骤702、媒体服务器停止向固话终端发送媒体流；

步骤703、然后在固话终端播放IVR提示音；如，“正在切换，请稍候…”；

步骤704、将手机加入多媒体会议；

步骤705、判断手机终端加入是否成功，若加入失败，则执行步骤706；否则，执行步骤708；

步骤706、向固话终端播放IVR提示切换失败，然后执行步骤707；

步骤707、继续向固话终端发送媒体流，继续使用固话终端参与会议，然后执行步骤711；

步骤708、与手机端建立SIP连接；然后执行步骤709；

步骤709、由媒体服务器向手机发送携带多媒体会议的媒体流数据，此时，手机加入多媒体会议成功，然后执行步骤710；

步骤710、断开多媒体会议与固话终端用户的数据连接，然后执行步骤711；

步骤711、结束固话终端向手机终端的切换流程。

同理，图8所示的手机-＞固话终端切换的过程与此类似，这里不再赘述。

下面结合图1及图1a，对本发明会议能力组件子***10的原子功能及消息交互执行过程进行简要说明。

图9为本发明会议能力组件子***10的DTMF常态监听原子功能实现过程中的消息交互示意图。，该过程包括：

1)服务消息总线(Service Message Bus)收到启动DTMF常态监听服务消息，通过内部消息通知Participant SBB；

2)Participant SBB创建ContinueDTMF SBB提供ContinueDTMF业务；

3)ContinueDTMF SBB使用MSML Parser创建MSML；

4)MSML Parser返回用于ContinueDTMF的MSML；

5)ContinueDTMF SBB通过SIP协议控制层发送SIP消息，通知媒体服务器准备接受DTMF；

6)媒体服务器成功执行DTMF，并通过SIP Control Layer通知ContinueDTMF SBB；

7)ContinueDTMF SBB向Participant SBB返回DTMF常态监听启动结果；

8)Participant SBB向Service Message Bus返回DTMF常态监听启动结果；

9)当用户拨完号码，媒体服务器通过SIP Control Layer通知DTMF SBB用户所播的号；

10)ContinueDTMF SBB上报Service Message Bus所拨号码；

11)ContinueDTMF SBB使用MSML Parser创建MSML；

12)MSML Parser返回用于ContinueDTMF的MSML；

13)ContinueDTMF SBB通过SIP协议控制层发送SIP消息，通知媒体服务器准备接受DTMF；

14)媒体服务器成功执行DTMF，并通过SIP Control Layer通知ContinueDTMF SBB；

15)当用户拨完号码，媒体服务器通过SIP Control Layer通知DTMF SBB用户所播的号；

16)ContinueDTMF SBB上报Service Message Bus所拨号码。

图10为本发明会议能力组件子***的终端切换原子功能(连接切换)实现过程中的消息交互示意图，连接切换(ChangeConnection)--该原子功能实现底层媒体链接的相互切换，是终端切换模块的核心实现部分；包含了建立新终端SIP连接，连接新终端媒体流、断开旧终端SIP连接的过程，如图10所示。，该过程包括：

1)Service Message Bus收到终端切换消息后向Participant SBB发送触发消息；

2)Participant SBB使用SIP Control Layer创建新终端的SIP连接；

3)SIP Control Layer返回创建结果；

4)Participant SBB创建SetMedia SBB提供设置用户媒体的业务；

5)SetMedia SBB使用MSML Parser创建MSML脚本；

6)MSML Parser返回用于SetMedia的MSML脚本；

7)SetMedia SBB通过SIP Control Layer发送SIP消息，其中携带创建会议的msml脚本；

8)媒体服务器通过SIP Control Layer通知SetMedia SBB媒体设置结果；

9)SetMedia SBB将媒体设置的结果上报到Participant SBB；

10)如果邀请成功，Participant SBB将新终端的信息写入数据库；

11)数据库返回写入结果；

12)Participant SBB通过SIP Control Layer释放旧终端的SIP连接；

13)SIP Control Layer返回释放结果；

14)果释放成功，Participant SBB将数据库中的旧终端信息更新；

15)数据库返回更新结果；

16)Participant SBB通过Service Message Bus上报终端切换结果。

图11为本发明会议能力组件子***的设置用户媒体状态原子功能实现过程示意图，所述设置用户媒体状态，即该原子功能实现在媒体服务器端设置用户的媒体状态，如，发言状态、停止发言状态等。如图11所示。，该过程包括：

1)Service Message Bus收到设置与会者媒体消息，通过内部消息通知Participant SBB；

2)Participant SBB创建SetMedia SBB提供设置用户媒体的业务；

3)SetMedia SBB使用MSML Parser创建MSML脚本；

4)MSML Parser返回用于SetMedia的MSML脚本；

5)SetMedia SBB通过SIP Control Layer发送SIP消息，其中携带创建会议的msml脚本；

6)媒体服务器通过SIP Control Layer通知SetMedia SBB媒体设置结果；

7)SetMedia SBB将媒体设置的结果上报到Participant SBB；

8)Participant SBB通过Service Message Bus上报设置与会者媒体的结果。

图12为本发明会议能力组件子***的播放提示音原子功能实现过程示意图，该播放提示音(PalyInform)原子功能，用于实现在手机、固话端播放指定提示音功能。如图12所示，该过程包括：

1)Service Message Bus收到播放提示音服务消息，通过内部消息通知Participant SBB；

2)Participant SBB创建Play SBB提供PLAY业务；

3)PLAY SBB使用MSML Parser创建MSML；

4)MSML Parser返回用于PLAY的MSML；

5)PLAY SBB通过SIP协议控制层发送SIP消息，通知媒体服务器准备接受PLAY；

6)媒体服务器成功执行PLAY，并通过SIP Control Layer通知PLAY SBB；

7)Play SBB上报Participant SBB播音结束信息；

8)Participant SBB通过Service Message Bus上报播放提示音的结果。

下面结合图1、图la及图2介绍本发明会议流程控制子***20调用所述会议能力组件子***10的原子功能实现多终端的多媒体控制技术的过程，如图1所述，消息总线上的消息主要有DTMF信号、请求消息、终端切换申请消息、结束发言消息、发言申请消息和裁决结果消息等。

其中，DTMF信号是由“按键#”构成的字符串；请求消息、终端切换申请消息、结束发言消息、发言申请消息都采用RequestMessage结构，如表一所示；裁决结果消息采用JudgeResult结构，如表二所示：

表一请求消息结构

表二裁决结果

根据DTMF监听手机和固话终端的请求消息，截获与用户相关的信息，并将该信息发送到请求消息路由模块进行判断，进而路由该消息至会议发言策略控制模块、终端切换模块或停止发言模块进行下一步的动作，以实现选择发言者、终端切换和发言/停止等的功能。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种多终端的多媒体会议控制***，其特征在于，主要包括会议能力组件子***和会议流程控制子***；其中，

会议能力组件子***，用于实现会议底层的业务功能，与媒体服务器发生交互直接调用所述媒体服务器的应用程序编程接口API，并封装其基本功能接口以供其他功能模块调用；所述会议底层的业务功能，包括实现双音多频DTMF常态监听功能、语音文件播放原子功能和设置媒体状态原子功能；

会议流程控制子***，用于实现会议大粒度流程控制功能，包括实现手机、固话终端和web客户端申请消息获取(核心是DTMF常态监听功能)、消息路由功能、终端切换功能、会议发言策略控制功能、终端发言功能和停止发言功能。

2.根据权利要求1所述的多终端的多媒体会议控制***，其特征在于，该多媒体会议控制***进一步包括终端显示子***，用于实现web端的页面状态显示、包括发言状态显示和终端类型显示。

3.根据权利要求1所述的多终端的多媒体会议控制***，其特征在于，所述会议能力组件子***，包括逻辑实体层、会议子服务层、会话初始化协议SIP消息处理层和SIP消息适配层。

4.根据权利要求1所述的多终端的多媒体会议控制***，其特征在于，所述会议流程控制子***，进一步包括DTMF常态监听模块、请求消息路由模块、会议发言策略控制模块、终端发言模块、停止发言模块和终端切换模块；其中，

DTMF常态监听模块，用于为手机、固话终端参与多媒体会议提供DTMF实时监听功能；

请求消息路由模块，用于统一接收外部消息，根据不同的消息内容将消息路由到相关组件，以实现发言申请、停止发言申请、终端切换消息的路由连接；

会议发言策略控制模块，用于收集手机、固话终端和web客户端发出的请求发言消息，采用一定的策略进行裁决，然后将裁决结果发送给终端发言模块；

终端发言模块，用于实现手机、固话终端和web客户端在多媒体会议中发言的功能，当终端发言请求被批准后，通过该终端发言模块在多媒体会议中发言；

停止发言模块，用于结束会议成员的发言状态；

终端切换模块，用于实现在手机、固话、web客户端之间进行会议切换。

5.根据权利要求1所述的多终端的多媒体会议控制***，其特征在于，所述请求消息路由模块接收的外部消息，包括经DTMF常态监听模块所接收的手机或固话终端DTMF信号中的请求消息，以及来自web客户端的请求消息。

6.一种多终端的多媒体会议控制***的实现方法，其特征在于，该方法包括：

A、开启媒体服务器DTMF监听功能，接收手机或固话终端的用户申请，并从中提取按键内容，根据电话号码从多媒体会议数据库中查询该用户的相关信息，与所述按键内容一起组成请求消息发送到消息路由模块；

B、消息路由模块接收到手机或固话终端、或web客户端的请求消息，根据消息内容进行判断，并根据判断结果将消息路由到相关组件；若所述消息内容为请求发言消息，则将消息发送到会议发言策略控制模块，并执行步骤C；若所述消息内容为终端切换相关的申请消息，则将消息发送到终端切换模块，并执行步骤D；若所述消息内容为停止发言相关的消息，则将消息发送到停止发言模块，并执行步骤E；

C、会议发言策略控制模块根据请求发言消息，根据不同的工作模式采用一定策略进行裁决，并将裁决结果发送给终端发言模块，由与会者通过终端发言模块进行会议发言；

D、终端切换模块根据终端切换申请消息，采用软切换方式，在手机、固话终端和web客户端之间进行会议切换；

E、停止发言模块根据停止发言消息结束原因的不同，结束会议成员的发言状态。

7.根据权利要求6所述的多终端的多媒体会议控制***的实现方法，其特征在于，步骤C所述会议发言策略控制模块包含三种工作模式：演讲模式、提问模式和讨论模式；所述演讲模式适用于会议中的个人演讲阶段；提问模式适用于会议中的提问阶段，以从众多提问者中选择发言者；讨论模式适用于多个与会成员同时进行发言。

8.根据权利要求6或7所述的多终端的多媒体会议控制***的实现方法，其特征在于，根据工作模式的不同采用的裁决策略包括：最小发言频度策略、最大请求频度策略以及加权公平排队策略。

9.根据权利要求6所述的多终端的多媒体会议控制***的实现方法，其特征在于，所述采用软切换方式在手机、固话终端和web客户端之间进行会议切换，具体包括手机-＞固话、手机-＞web端、固话-＞web端、手机-＞web端、web端-＞手机和web端-＞固话的六种会议控制切换。

10.根据权利要求6所述的多终端的多媒体会议控制***的实现方法，其特征在于，所述根据停止发言消息结束原因的不同结束会议成员的发言状态，分为两种情况触发；其一，发言请求由***端发出，停止发言模块收到该请求消息后改变发言者的媒体状态，中止该用户的发言；其二，发言请求由发言者发出，当发言者发言结束后，发言者放弃发言权，由停止发言模块收到该请求后改变该发言者的发言状态，停止其发言。

Images