CN102256101B - 一种视频会议中媒体能力的转换方法、***及应用服务器 - Google Patents

Abstract

本发明公开了一种视频会议中媒体能力的转换方法、***及应用服务器，包括：应用服务器确定与会终端的网络状况是否发生变化，将网络状况发生变化的与会终端的当前网络状况和媒体能力集通知给多点控制单元。本发明在多方视频会议中，通过应用服务器确定与会终端的网络状况终端是否发生变化，从而实现根据与会终端当前的网络状况及媒体能力集调整当前媒体能力，能够有效而实时的保证视频会议的顺利进行，同时最大程度的保证用户的体验。

Description

一种视频会议中媒体能力的转换方法、***及应用服务器

技术领域

本发明涉及视频会议技术领域，尤其涉及一种视频会议中媒体能力的转换方法、***及应用服务器。

背景技术

3G(3rd-Generation，第三代移动通信技术)时代的视频业务有很多种，视频会议是其中的一种。视频会议中由于接入方式、承载方式、终端类型和终端所在网络的能力等原因，造成一次视频会议中在各个节点、各个方向上的媒体传输、媒体格式等要求大相径庭。而且，在整个视频会议过程中，存在由于各种原因出现与会终端的网络状况发生变化的情况。

如图1所示，对一次3G视频会议，在某一段时间内，终端A和与之直连的VIG(VideoInterworking Gateway，视频互通网关)之间的网络状况优良(带宽大且网络稳定)，终端A的音、视频、流媒体编解码能力一般且终端A自身的表现力一般，支持有限的音、视频、流媒体格式，如最大仅可支持CIF(Common Intermediate Format，一种标准化图像格式，分辨率为：352*288像素)视频。

终端B和与之直连的VIG之间的网络状况一般(带宽一般且存在网络拥塞状况)，但终端B的音、视频、流媒体编解码能力强大且终端B自身的表现力优良，支持多种音、视频，流媒体格式，如最大可支持16CIF(16-times Common Intermediate Format，一种标准化图像格式，分辨率为：1408*1152像素)视频。

与前两个终端相比，终端C和与之直连的VIG之间的网络状况最差(网络带宽小且波动大)，且终端C的音、视频、流媒体编解码能力不强且终端C自身的表现力一般，只支持非常有限的音、视频，流媒体格式，如最大仅支持QCIF(Quarter Common IntermediateFormat，一种标准化图像格式，分辨率为：176*144像素)视频。

先假定各终端直连的VIG与MCU(Multi Control Unit，多点控制单元)之间的网络状况优良。由于视频会议的发起方可以是任何一终端，这里先假定终端A是发起方，终端B和C加入会议，会议开始前，每一个终端需将自身的音、视频、流媒体编解码能力集以及与各自VIG之间的网络状况上报给MCU。MCU根据终端接入的网络状况和能力信息，为各个终端计算出可接受的完全媒体能力集，并将完全媒体能力集广播到终端对应的VIG，每个VIG都在本地保存各自终端的完全媒体能力集。对于每一个终端来说，会议的每一时段(包括初始时段)有一个当前媒体能力，每个VIG就是按这个当前媒体能力对所直连的终端进行音视频复用/解复用、编码转换等操作，将终端的媒体信息上报给MCU以及向终端转发MCU过来的媒体信息。

在会议进行过程中，由于各种外在条件的影响，与会终端(如移动终端)和与之直连的VIG之间的网络状况会发生变化，如网络状况变差，将导致在采用一些防止网络抖动的平滑技术无法维持终端原来的视频会议质量(终端的当前媒体能力下降)，或在网络状况变好时，在终端能力集支持的范围内，可以将视频会议质量提升到更高的水平(终端的当前媒体能力上升)，而在目前的视频会议中，无法在网络状况变差时，维持一个可以接受的媒体质量，在网络状况变好时，无法提升现有的媒体质量。

发明内容

本发明要解决的技术问题是提供一种视频会议中媒体能力的转换方法、***及应用服务器，能够在与会终端的网络状况发生变化时应用服务器触发对与会终端进行媒体能力的转换。

为解决上述技术问题，本发明的一种视频会议中媒体能力的转换方法，包括：

应用服务器确定与会终端的网络状况是否发生变化，将网络状况发生变化的与会终端的当前网络状况和媒体能力集通知给多点控制单元。

进一步地，所述应用服务器确定与会终端的网络状况是否发生变化包括：

所述应用服务器在所述与会终端上报的网络状况发生变化的次数大于定时器启动阈值时，为所述与会终端启动网络状况监视定时器；

所述应用服务器在所述网络状况监视定时器的定时时间内，判断所述与会终端上报的网络状况发生变化的次数是否大于监测阈值，如果大于，则确定所述与会终端的网络状况发生变化。

进一步地，还包括：

所述多点控制单元根据所述当前网络状况和媒体能力集，确定出所述网络状况发生变化的与会终端在当前网络状况下的完全媒体能力集，将所述完全媒体能力集通知给所述网络状况发生变化的与会终端对应的视频互通网关；

所述视频互通网关从所述完全媒体能力集中选择更新的当前媒体能力，并与所述网络状况发生变化的与会终端进行媒体能力切换。

进一步地，所述视频互通网关与所述网络状况发生变化的与会终端进行媒体能力切换包括：

所述与会终端停止在上行媒体通道上向所述视频互通网关发送上行媒体流，所述视频互通网关停止在下行媒体通道上向所述与会终端发生下行媒体流；

所述与会终端向所述视频互通网关重新申请上行媒体通道和下行媒体通道；

所述视频互通网关将所述与会终端重新申请的上行媒体通道的入向媒体参数中的媒体能力设置为所述更新的当前媒体能力，将重新申请的下行媒体通道的出向媒体参数中的媒体能力设置为所述更新的当前媒体能力，将重新申请的上行媒体通道和下行媒体通道的其他参数设置为与原上行媒体通道和下行媒体通道相同，并释放原上行媒体通道和原下行媒体通道。

进一步地，所述与会终端定时地向所述应用服务器上报与视频互通网关之间的网络状况。

进一步地，所述多点控制单元将所述完全媒体能力集通知给所述网络状况发生变化的与会终端对应的视频互通网关后，还通过视频会话中其它与会终端对应的视频互通网关，通知所述其他与会终端所述网络状况发生变化的与会终端需要进行媒体切换。

进一步地，一种应用服务器，包括：网络状况确定单元和信息发送单元，其中：

所述网络状况确定单元，用于确定与会终端的网络状况是否发生变化；

所述信息发送单元，用于将网络状况发生变化的与会终端的当前网络状况和媒体能力集通知给多点控制单元。

进一步地，还包括网络信息接收单元，其中：

所述网络信息接收单元，用于接收与会终端上报的网络状况；

所述网络状况确定单元包括：定时器控制子单元和网络状态变化判断子单元；

所述定时器控制子单元，用于在所述与会终端上报的网络状况发生变化的次数大于定时器启动阈值时，为所述与会终端启动网络状况监视定时器；

所述网络状态变化判断子单元，用于在所述网络状况监视定时器的定时时间内，判断所述与会终端上报的网络状况发生变化的次数是否大于监测阈值，如果大于，则确定所述与会终端的网络状况发生变化。

进一步地，一种视频会议中媒体能力的转换***，包括：应用服务器，其中：

所述应用服务器，用于确定与会终端的网络状况是否发生变化，将网络状况发生变化的与会终端的当前网络状况和媒体能力集通知给多点控制单元。

进一步地，还包括：多点控制单元和视频互通网关，其中：

所述多点控制单元，用于根据所述当前网络状况和媒体能力集，确定出所述网络状况发生变化的与会终端在当前网络状况下的完全媒体能力集，将所述完全媒体能力集通知给所述网络状况发生变化的与会终端对应的视频互通网关；

所述视频互通网关，用于从所述完全媒体能力集中选择更新的当前媒体能力，并与所述网络状况发生变化的与会终端进行媒体能力切换。

综上所述，本发明在多方视频会议中，通过应用服务器确定与会终端的网络状况终端是否发生变化，从而实现根据与会终端当前的网络状况及媒体能力集调整当前媒体能力，能够有效而实时的保证视频会议的顺利进行，同时最大程度的保证用户的体验。

附图说明

图1为本实施方式的视频会议中媒体能力的转换***的架构图；

图2为本实施方式的视频会议中网络状况变差时媒体能力的转换方法的流程图；

图3为本实施方式的视频会议中网络状况变好时媒体能力的转换方法的流程图；

图4为本实施方式的应用服务器的架构图。

具体实施方式

本实施方式中VIG和MCU在应用服务器(AppServer)的控制下，根据每个终端的媒体能力以及每个终端和与之直连的VIG之间的网络状况，决定VIG与终端之间使用的媒体能力，进行媒体的双向传输。当终端和与之直连的VIG之间的网络状况下降时，通过及时调整VIG与终端之间的媒体能力，保证业务的正常进行和用户体验；当终端和与之直连的VIG之间的网络状况上升时，通过调整VIG与终端之间的媒体能力，提高用户的使用体验。

本实施方式中每个与会终端需要动态地每隔一定时长向应用服务器上报与各自VIG之间的网络状况，应用服务器对应每个终端设定一个网络状况上报定时器，在该定时器的定时时间内，如果确定与会终端和与之直连的VIG之间的网络状况发生变化，由应用控制服务器将终端与VIG之间的网络状况下发到MCU。

每个与会终端在逻辑上与一个VIG直接相连，VIG受MCU的控制，MCU受应用服务器的控制。VIG接收终端发送的媒体流并转发到MCU，并转发从MCU过来的媒体流到终端。同时，在传输过程中按业务需要进行必要的媒体转换，其中，包括音、视频媒体格式、码率和分辨率大小等一个或多个方面的转换。

在视频会议初始化阶段，每个与会终端需要通过应用服务器向MCU上报各自与VIG之间的网络状况，以及包含终端自身所支持的所有音、视频、流媒体编解码能力的媒体能力集。MCU下发每个终端的网络状况及经过计算得到的终端的完全媒体能力集到对应的VIG，VIG在本地保存。每个VIG从完全媒体能力集中选择当前媒体能力，当前媒体能力是与会终端与VIG之间当前正在使用的媒体能力，在视频会议过程中，任何一个时段，每个VIG与对应的与会终端都有一个当前媒体能力，当前媒体能力包括上行和下行方向上的媒体流的所有属性描述。媒体能力包括终端上报到VIG的媒体格式、码率和分辨率尺寸，从VIG发往终端的媒体格式、码率和分辨率尺寸等。

上述完全媒体能力集是指，MCU根据与会终端与VIG之间的网络状况，从与会终端所支持的所有音、视频、流媒体编解码能力的媒体能力集中，计算出的在当前网络状况下，与会终端能够使用的媒体能力的集合。

在视频会议的过程中，与会终端与直连的VIG之间的网络状况可能变好也可能变差，下面分别以网络状况变好和变差为例进行说明。

假设在视频会议过程中，终端A和与之直连的VIG1之间的网络状况由于某种原因变差，导致终端A向VIG1发送的媒体质量下降，如图像出现花屏、声音不连续等。

如图2所示，本实施方式的视频会议中媒体能力的转换方法，包括：

步骤201：终端A定时地向应用服务器上报网络状况；

步骤202：在终端A上报网络变差的次数大于定时器启动阈值时，应用服务器为终端A启动一个网络状况监视定时器；

步骤203：应用服务器在定时器定时时间内，判断终端A上报的网络状况正常的次数低于监测阀值时，在定时器定时时间到达时，应用服务器向MCU发送切换控制消息，在消息中携带终端A的媒体能力集和终端A和与之直连的VIG当前的网络状况信息；

步骤204：MCU根据终端A的媒体能力集和当前的网络状况信息(变差)，计算出当前网络状况下的完全媒体能力集，并将该完全媒体能力集及相关信息下发给VIG1；

步骤205：VIG1从当前网络状况下的完全媒体能力集中选择更新的当前媒体能力，并与终端A进行媒体能力切换。

在步骤205中VIG1与终端A进行媒体能力切换的步骤包括：

a)终端A停止在上行媒体通道向VIG1发送上行媒体流，但VIG1不释放对应的上行媒体通道资源；

b)VIG1停止在下行媒体通道向终端A发送下行媒体流，但不释放对应的下行媒体通道资源；

c)终端A向VIG1新申请所需的上行媒体通道，对于上行媒体通道，入向媒体参数除媒体能力外其它参数保持不变，将入向媒体参数的媒体能力设置为更新后的当前媒体能力，出向媒体参数与原通道保持不变；

d)终端A向VIG1新申请所需的下行媒体通道，对于下行媒体转换通道，入向媒体参数与原通道保持不变，出向媒体参数除媒体能力外其它参数保持不变，将出向媒体参数的媒体能力设置为更新后的当前媒体能力；

新申请的下行媒体通道直接接续从MCU过来的终端B和终端C的媒体流；对终端B和终端C的媒体流按更新后的媒体能力进行转换，转换后的媒体流按原参数输出到终端A。

e)VIG1释放原上行和下行媒体通道的资源；

f)VIG1和终端A在新的上行和下行媒体通道开始媒体流的传输和转换。

MCU在向VIG1下发完全媒体能力集后，还通过VIG2和VIG3通知终端B和终端C，终端A由于网络状况变差需要进行媒体切换，由终端B和C对用户进行提示。

整个切换过程完成，更新后的媒体能力成为终端A和VIG1之间的当前媒体能力。切换过程中终端A的双向媒体流会暂时中断，终端B和终端C上对应终端A的媒体流也会暂时中断，终端B上对应终端C的媒体流不受影响，终端C上对应终端B的媒体流也不受影响。对所有受影响的终端来说，整个切换过程控制在一秒以内。

如图3所示，在视频会议过程中，终端C和与之直连的VIG3之间的网络状况由于某种原因变好，在终端C媒体能力集范围内，VIG3和终端C之间媒体质量存在上升的空间。

参考图3，本实施方式的视频会议中媒体能力的转换方法，包括：

步骤301：终端C定时地向应用服务器上报网络状况；

步骤302：应用服务器收到终端C定时上报的网络状况消息，在收到终端C上报的网络状况变好的次数大于定时器启动阈值时，为终端C启动一个网络状况监视定时器；

步骤303：应用服务器在定时器的定时时长范围内，如果收到终端C上报的网络状况变好的次数高于监测阈值，在定时器定时时间达到时，下发切换控制消息给MCU，消息中携带终端C的媒体能力集合当前网络状况信息；

步骤304：MCU根据终端C的媒体能力集和当前网络状况，计算出目前网络状况下的完全媒体能力集，并将该完全媒体能力集及相关信息下发给VIG3；

步骤305：VIG3从当前网络状况下的完全媒体能力集中选择更新的当前媒体能力，并与终端C进行媒体能力切换。

在步骤305中VIG3与终端C进行媒体能力切换的步骤包括：

a)终端C停止在上行媒体通道向VIG3发送上行媒体流，但VIG3不释放对应的上行媒体通道资源；

b)VIG3停止在下行媒体通道向终端C发送下行媒体流，但不释放对应的下行媒体通道资源；

c)终端C向VIG3新申请所需的上行媒体通道，对于上行媒体通道，入向媒体参数除媒体能力外其它参数保持不变，将入向媒体参数的媒体能力设置为更新后的当前媒体能力，出向媒体参数与原通道保持不变；

d)终端C向VIG3新申请所需的下行媒体通道，对于下行媒体转换通道，入向媒体参数与原通道保持不变，出向媒体参数除媒体能力外其它参数保持不变，将出向媒体参数的媒体能力设置为更新后的当前媒体能力；

新的下行媒体通道直接接续原从MCU过来的终端A和终端B的媒体流；对终端A和终端B的媒体流按更新的当前媒体能力进行转换，转换后的媒体流按原参数输出媒体到下一跳或远端。

e)VIG3释放原上行和下行媒体通道的资源；

f)VIG3和终端C在新的上行和下行媒体通道开始媒体流的传输和转换。

MCU在向VIG3下发完全媒体能力集后，还通过VIG1和VIG2通知终端A和终端B，终端C由于网络状况变好需要进行媒体切换。

切换过程中终端C的双向媒体流会暂时中断，以及终端A和终端B上对应终端C的媒体流也会暂时中断，终端A上对应终端B的媒体流不受影响，终端B上对应终端A的媒体流也不受影响，对所有受影响的终端来说，整个切换过程控制在一秒以内。

请参考图1，本实施方式的***包含：应用服务器、视频互通网关和多点控制单元，其中：

应用服务器，用于确定与会终端的网络状况是否发生变化，将网络状况发生变化的与会终端的当前网络状况和媒体能力集通知给多点控制单元。

如图4所示，应用服务器包括：网络信息接收单元、网络状况确定单元和信息发送单元：

网络信息接收单元，用于接收与会终端上报的网络状况；

网络状况确定单元，用于确定与会终端的网络状况是否发生变化；

信息发送单元，用于将网络状况发生变化的与会终端的当前网络状况和媒体能力集通知给多点控制单元。

网络状况确定单元包括：定时器控制子单元和网络状态变化判断子单元；定时器控制子单元，用于在与会终端上报的网络状况发生变化的次数大于定时器启动阈值时，为与会终端启动网络状况监视定时器；

网络状态变化判断子单元，用于在网络状况监视定时器的定时时间内，判断与会终端上报的网络状况发生变化的次数是否大于监测阈值，如果大于，则确定与会终端的网络状况发生变化。

多点控制单元，用于根据当前网络状况和媒体能力集，确定出网络状况发生变化的与会终端在当前网络状况下的完全媒体能力集，将完全媒体能力集通知给网络状况发生变化的与会终端对应的视频互通网关；还通过视频会话中其它与会终端对应的视频互通网关，通知其他与会终端网络状况发生变化的与会终端需要进行媒体切换。

视频互通网关，用于从完全媒体能力集中选择更新的当前媒体能力，并与网络状况发生变化的与会终端进行媒体能力切换。

视频互通网关与网络状况发生变化的与会终端进行媒体能力切换包括：

与会终端停止在上行媒体通道上向视频互通网关发送上行媒体流，视频互通网关停止在下行媒体通道上向与会终端发生下行媒体流；

与会终端向视频互通网关重新申请上行媒体通道和下行媒体通道；

视频互通网关将与会终端重新申请的上行媒体通道的入向媒体参数中的媒体能力设置为更新的当前媒体能力，将重新申请的下行媒体通道的出向媒体参数中的媒体能力设置为更新的当前媒体能力，将重新申请的上行媒体通道和下行媒体通道的其他参数设置为与原下行媒体通道和下行媒体通道相同，并释放原上行媒体通道和原下行媒体通道。

显然，本领域的技术人员应该明白，上述的本发明的各模块、各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们的多个模块或者步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种视频会议中媒体能力的转换方法，包括：

应用服务器确定与会终端的网络状况是否发生变化，将网络状况发生变化的与会终端的当前网络状况和媒体能力集通知给多点控制单元；

所述多点控制单元根据所述当前网络状况和媒体能力集，确定出所述网络状况发生变化的与会终端在当前网络状况下的完全媒体能力集，将所述完全媒体能力集通知给所述网络状况发生变化的与会终端对应的视频互通网关；所述完全媒体能力集是指，多点控制单元根据与会终端与视频互通网关之间的网络状况，从与会终端所支持的所有音、视频、流媒体编解码能力的媒体能力集中，计算出的在当前网络状况下，与会终端能够使用的媒体能力的集合；

所述视频互通网关从所述完全媒体能力集中选择更新的当前媒体能力，并与所述网络状况发生变化的与会终端进行媒体能力切换。

2.如权利要求1所述的方法，其特征在于，所述应用服务器确定与会终端的网络状况是否发生变化包括：

所述应用服务器在所述与会终端上报的网络状况发生变化的次数大于定时器启动阈值时，为所述与会终端启动网络状况监视定时器；

所述应用服务器在所述网络状况监视定时器的定时时间内，判断所述与会终端上报的网络状况发生变化的次数是否大于监测阈值，如果大于，则确定所述与会终端的网络状况发生变化。

3.如权利要求1所述的方法，其特征在于，所述视频互通网关与所述网络状况发生变化的与会终端进行媒体能力切换包括：

所述与会终端停止在上行媒体通道上向所述视频互通网关发送上行媒体流，所述视频互通网关停止在下行媒体通道上向所述与会终端发送下行媒体流；

所述与会终端向所述视频互通网关重新申请上行媒体通道和下行媒体通道；

所述视频互通网关将所述与会终端重新申请的上行媒体通道的入向媒体参数中的媒体能力设置为所述更新的当前媒体能力，将重新申请的下行媒体通道的出向媒体参数中的媒体能力设置为所述更新的当前媒体能力，将重新申请的上行媒体通道和下行媒体通道的其他参数设置为与原上行媒体通道和下行媒体通道相同，并释放原上行媒体通道和原下行媒体通道。

4.如权利要求2所述的方法，其特征在于，所述与会终端定时地向所述应用服务器上报与视频互通网关之间的网络状况。

5.如权利要求1所述的方法，其特征在于，所述多点控制单元将所述完全媒体能力集通知给所述网络状况发生变化的与会终端对应的视频互通网关后，还通过视频会话中其它与会终端对应的视频互通网关，通知所述其他与会终端所述网络状况发生变化的与会终端需要进行媒体切换。

6.一种视频会议中媒体能力的转换***，包括：应用服务器、多点控制单元和视频互通网关，其中：

所述应用服务器，用于确定与会终端的网络状况是否发生变化，将网络状况发生变化的与会终端的当前网络状况和媒体能力集通知给多点控制单元；

所述多点控制单元，用于根据所述当前网络状况和媒体能力集，确定出所述网络状况发生变化的与会终端在当前网络状况下的完全媒体能力集，将所述完全媒体能力集通知给所述网络状况发生变化的与会终端对应的视频互通网关；所述完全媒体能力集是指，多点控制单元根据与会终端与视频互通网关之间的网络状况，从与会终端所支持的所有音、视频、流媒体编解码能力的媒体能力集中，计算出的在当前网络状况下，与会终端能够使用的媒体能力的集合；

所述视频互通网关，用于从所述完全媒体能力集中选择更新的当前媒体能力，并与所述网络状况发生变化的与会终端进行媒体能力切换。