CN102118602B - 一种在多画面中显示辅流视频的方法及*** - Google Patents

Abstract

本发明适用于视频会议领域，提供了一种在多画面中显示辅流视频的方法及***，所述方法包括步骤：接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包；对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使所述视频会议终端在多画面中同时显示主流视频信息和辅流视频信息。本发明实施例使与会者方便地选择观看主流视频或者辅流视频，因此有效增强与会者的良好体验。

Description

一种在多画面中显示辅流视频的方法及***

技术领域

本发明属于视频会议领域，尤其涉及一种在多画面中显示辅流视频的方法及***。

背景技术

视频会议***通过网络通信技术实现两地或多个地点间实时传送活动图像信息，最大程度地缩短了空间距离，方便处于不同地方的与会者进行实时交流。

现有的视频会议技术中，通常在视频会议终端上只显示主流视频的画面，若与会者希望观看辅流视频，则需要在视频会议终端上将当前视频切换为辅流视频。该方法不能使与会者灵活选择观看的主流视频或者辅流视频，造成与会者体验不佳。

发明内容

本发明实施例提供了一种在多画面中显示辅流视频的方法，旨在解决与会者不能在视频会议终端上灵活选择观看辅流视频，造成用户体验不佳的问题。

本发明实施例是这样实现的，一种在多画面中显示辅流视频的方法，所述方法包括步骤：

接收一个或多个视频会议终端发送的辅流发送请求，并响应所述辅流发送请求，以使所述视频会议终端打开辅流通道并发送对应的辅流RTP包；

接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包；

对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使所述视频会议终端在多画面中同时显示主流视频信息和辅流视频信息；

通过信令通知所述视频会议终端凝固图像，重新编一个参考帧，并发送所述参考帧至所述凝固图像的视频会议终端，以使所述视频会议终端接收到所述参考帧之后，自动将所述凝固图像解固；

其中，对所述主流RTP包和辅流RTP包进行处理的步骤具体为：

排序、解码所述主流RTP包和辅流RTP，并将解码获得的主流YUV格式数据和辅流YUV格式数据拼接为一个多画面YUV格式数据；

且在将主流YUV格式数据和辅流YUV格式数据拼接为一个多画面YUV格式数据的步骤之前进一步包括下述步骤：

通过缓存辅流RTP包控制辅流YUV格式数据的发送速率，具体地，若辅流视频YUV格式数据的发送速率大于主流视频YUV格式数据的发送速率，则缓存部分辅流RTP包以减小所述辅流视频YUV格式数据的发送速率，以在辅流视频YUV格式数据的发送速率与主流视频YUV格式数据的发送速率相同时，将所述多个主流视频YUV格式数据和辅流视频YUV格式数据拼接组合为一个多画面的YUV格式数据。

本发明实施例的另一目的在于提供一种在多画面中显示辅流视频的***，所述***包括：

RTP包接收单元，接收一个或多个视频会议终端发送的辅流发送请求，并响应所述辅流发送请求，以使所述视频会议终端打开辅流通道并发送对应的辅流RTP包，接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包；

RTP包发送单元，对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使所述视频会议终端在多画面中同时显示主流视频信息和辅流视频信息；

MC，通过信令通知所述视频会议终端凝固图像；

MP，重新编一个参考帧，并发送所述参考帧至所述凝固图像的视频会议终端，以使所述视频会议终端接收到所述参考帧之后，自动将所述凝固图像解固；

其中，所述RTP包发送单元包括：

RTP包排序解码模块，用于排序、解码所述主流RTP包和辅流RTP；

数据拼接模块，用于将解码所述主流RTP包和辅流RTP包获得的主流YUV格式数据和辅流YUV格式数据拼接为一个多画面YUV格式数据；

速率控制模块，用于通过缓存辅流RTP包控制辅流YUV格式数据的发送速率，具体地，若辅流视频YUV格式数据的发送速率大于主流视频YUV格式数据的发送速率，则缓存部分辅流RTP包以减小所述辅流视频YUV格式数据的发送速率，以在辅流视频YUV格式数据的发送速率与主流视频YUV格式数据的发送速率相同时，将所述多个主流视频YUV格式数据和辅流视频YUV格式数据拼接组合为一个多画面的YUV格式数据。

本发明实施例中，MCU接收各个会场发送的RTP包，该RTP包中包含各个会场中的主流视频信息和辅流视频信息，在对接收的RTP包进行排序、解码、拼接为多画面YUV格式数据以及对该YUV格式数据中的主流视频发送的码率、辅流视频发送的码率进行控制后，再发送至会场的视频会议终端上。进一步地，在将拼接后包含主流视频信息和辅流视频信息的YUV格式数据发送至视频会议终端之前，若没有接收到与会者发送的收看辅流视频指令，则仅将主流视频发送至该与会者对应的视频会议终端上，若接收到与会者发送的收看辅流视频指令，则将主流视频和辅流视频同时发送至该与会者对应的视频会议终端上，以使该视频会议终端同时显示主流视频和辅流视频。由于与会者可以根据实际情况的需求，方便地选择观看主流视频或者辅流视频，因此有效增强与会者的良好体验。

附图说明

图1是本发明第一实施例提供的在多画面中显示辅流视频的方法流程；

图2是本发明第二实施例提供的在多画面中显示辅流视频的***结构。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过接收参与视频会议中单个或多个会场的视频会议终端发送的实时传送协议RTP包，在对该包含主流视频信息和辅流视频信息的RTP包进行处理后，发送至会场的视频会议终端以使该视频会议终端同时显示主流视频信息和辅流视频信息。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明第一实施例提供的在多画面中显示辅流视频的方法流程，详述如下：

在步骤S11中，接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包。

作为本发明的另一个实施例，在视频会议开始之前，多点控制单元（Multi-point Control Unit，MCU）接收会议***或者Web控制台发送的画面模式选择指令，根据该画面模式选择指令选择在视频会议终端上显示的多画面模式。会议***或者Web控制台根据参与视频会议中会场的个数选择显示在视频会议终端的多画面模式，其中，该多画面模式的种类通常有2、4、6、9、16种。假设该视频会议有4个会场，每个会场有一个视频会议终端，则会议***或者Web控制台在MCU上选择可以同时显示4个会场的画面模式。当然，已选择的画面模式在视频会议过程中也可通过会议***或者Web控制台进行更改。

作为本发明的另一个实施例，在选择了多画面模式之后，由会议***或者Web控制台根据各个会场的入会顺序在MCU中指定各个会场主流视频信息和辅流视频信息在多画面中显示的位置，并指定该主流视频信息和辅流视频信息在多画面中的编号。MCU接收会议***或者Web控制台的位置指定指令或者编号指定指令，并根据该位置指定指令指定参与视频会议中各个会场的主流视频信息和辅流视频信息在多画面中显示的位置或者根据该编号指定指令指定参与视频会议中各个会场的主流视频信息和辅流视频信息在多画面中显示的编号。比如，在多画面的模式为显示4个会场的多画面时，将第一个入会的会场的主流视频信息显示在整个画面的左上角，并编号为1，将该会场的辅流视频信息显示在整个画面的右上角，并编号为2；将第二个入会的会场的主流视频信息显示在整个画面的左下角，并编号为3，将该会场的辅流视频信息显示在整个画面的右下角，并编号为4。当然，在视频会议的过程中，会议***或者Web控制台可对每个会场的主流视频信息和辅流视频信息的编号以及在多画面中显示的位置进行更改，本实施例不作限定。

在本实施例中，若视频会议已开始，则MCU接收各个会场的视频会议终端通过主流发送通道发送的主流实时传输协议（Real-time Transport Protocol，RTP）和通过辅流发送通道发送的辅流RTP包，该主流PTP包和辅流RTP包中包含了各个会场中主流视频和辅流视频的图像信息。

作为本发明的另一个实施例，在MCU接收单个或多个视频会议终端发送的主流RTP包和辅流RTP包的步骤之前还包括下述步骤：

该MCU接收到某个视频会议终端发送的辅流发送请求，并响应该辅流发送请求，以使该视频会议终端打开辅流通道并发送对应的辅流RTP包。

在本实施例中，若参与视频会议中的某个会场需要向其他会场发送该会场的辅流信息，则发送辅流发送请求至MCU，在该MCU作出响应后，该会场的视频会议终端将打开辅流发送通道，并将辅流RTP包发送至该MCU。

在步骤S12中，对该主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使该视频会议终端同时显示主流视频信息和辅流视频信息。

本实施例中，当MCU接收到乱序的主流RTP包或者乱序的辅流RTP包时，则对该主流RTP包或者辅流RTP包按照时间顺序重新排序，并分别解码排序后的主流RTP包和辅流RTP包。

在解码主流RTP包和辅流RTP包后，获得各个会场中视频会议终端的主流视频和辅流视频的YUV格式数据，其中，Y表示亮度信号值，U、V则表示色度值，用于描述影像色彩和饱和度。对该辅流视频YUV格式数据的发送速率进行控制，以便保证与会者在视频会议终端观看的多画面没有发生跳跃。

若辅流视频YUV格式数据的发送速率大于主流视频YUV格式数据的发送速率，则缓存部分辅流RTP包以减小该辅流视频YUV格式数据的发送速率。

在辅流视频YUV格式数据的发送速率与主流视频YUV格式数据的发送速率相同时，将该多个主流视频YUV格式数据和辅流视频YUV格式数据拼接组合为一个多画面的YUV格式数据，并对该多画面的YUV格式数据进行编码、流量控制，最后将经过流量控制的多画面的YUV格式数据通过主流发送通道发送给所有与会的视频会议终端。

作为本发明的另一个实施例，在MCU将辅流视频信息转发至所有与会的视频会议终端的步骤之前还包括步骤：接收与会者发送的辅流视频信息发送指令。若与会者希望接收到MCU发送的辅流视频信息，则对该MCU发送辅流视频信息发送指令，该MCU接收到与会者发送的辅流视频信息发送指令之后，将从视频会议终端接收到的辅流视频信息转发至参与会议中其他视频会议终端上，以便参与会议中的其他视频会议终端可以同时显示主流视频信息和辅流视频信息。若MCU没有接收到与会者发送的辅流视频信息发送指令，则仅将主流视频信息发送至与会者所对应的视频会议终端上。当与会者希望同时收看主流视频和辅流视频时，触发辅流视频收看按钮，则MCU根据辅流视频信息中包含的端口信息，将该辅流视频信息发送至相应的视频会议终端。在本实施例中，由于将辅流视频信息加入到多画面上，改变了原主流视频信息在视频会议终端上的画面，因此，MCU中的MC通过信令通知该视频会议终端凝固图像，再请求MCU中的MP重新编一个参考帧，即I帧，发送至凝固图像的视频会议终端，在该视频会议终端接收到MP发送的I帧之后，自动将凝固的图像解固，有效防止了加入辅流视频后，改变主流画面没有参考帧产生的花屏现象。

作为本发明的另一个实施例，若在视频会议开始后，参与视频会议的一个或多个会场退出该视频会议，则退出该视频会议的会场在多画面上所处的位置将显示为黑屏。假设编号为1的会场显示在多画面上的左上角，当该编号为1的会场中途退出该视频会议后，多画面上的左上角将显示为黑屏。

在本发明第一实施例中，MCU接收各个会场发送的主流RTP包和辅流RTP包，该主流RTP包中包含各个会场中的主流视频信息，该辅流RTP包中包含各个会场中的辅流视频信息，在接收到该主流RTP包和辅流RTP包后，再排序、解码接收的主流RTP包和辅流RTP包，并将解码辅流RTP包获得的辅流视频YUV格式数据进行速率控制，使该辅流视频YUV格式数据发送速率和主流视频YUV格式数据发送速率相同，最后将该主流视频YUV格式数据和辅流视频YUV格式数据拼接为多画面YUV格式数据，并对该多画面YUV格式数据编码以及对该编码后的多画面YUV格式数据中的主流视频YUV格式数据的发送速率进行流量控制，再发送至各个会场的视频会议终端上。进一步地，在MCU将包含主流视频信息和辅流视频信息的多画面YUV格式数据转发至具有接收辅流视频信息的视频会议终端之前，若没有接收到与会者发送的辅流视频信息发送指令，则仅将主流视频信息转发至该与会者对应的视频会议终端上，若接收到与会者发送的辅流视频信息发送指令，则将主流视频信息和辅流视频信息同时转发至该与会者对应的视频会议终端上，以使该视频会议终端同时显示主流视频信息和辅流视频信息。由于与会者可以根据实际情况的需求，方便地选择观看主流视频信息或者同时观看主流视频信息和辅流视频信息，因此有效增强与会者的良好体验。

实施例二：

图2示出了本发明第二实施例提供的在多画面中显示辅流视频的***结构，为了便于说明，仅示出了与本实施例相关的部分。

该在多画面中显示辅流视频的***可以用于通过有线或者无线网络连接服务器的各种信息处理终端，例如移动电话、口袋计算机（Pocket PersonalComputer，PPC）、掌上电脑、计算机、笔记本电脑、个人数字助理（PersonalDigital Assistant，PDA）等，可以是运行于这些终端内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到这些终端中或者运行于这些终端的应用***中。

在视频会议开始前，MCU接收会议***或者Web控制台发送的画面模式选择指令，根据该画面模式选择指令选择在视频会议终端上显示的多画面模式。在视频会议开始后，MCU接收一个或多个视频会议终端发送的辅流发送请求，并响应该辅流发送请求，以使该视频会议终端打开辅流通道并发送对应的辅流RTP包。

该在多画面中显示辅流视频的***包括RTP包接收单元21、RTP包发送单元22。

其中，RTP包接收单元21接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包；

RTP包发送单元22对RTP包接收单元21接收的主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使该视频会议终端在多画面中同时显示主流视频信息和辅流视频信息。

其中，该RTP包发送单元22包括：RTP包排序解码模块221、数据拼接模块222以及流量控制模块223。

该RTP包排序解码模块221，用于在接收的主流RTP包或者辅流RTP包为乱序时，按照时间顺序重新排序该主流RTP包或者辅流RTP包，并解码排序后的主流RTP包或者辅流RTP包。

本实施例中，MCU根据不同的码流格式解码接收的主流RTP包和辅流RTP包。

该数据拼接模块222，用于将解码该主流RTP包和辅流RTP包获得的主流YUV格式数据和辅流YUV格式数据拼接为一个多画面YUV格式数据。

该流量控制模块223，用于对该多画面YUV格式数据进行流量控制。

本实施例中，MCU根据已有的带宽控制该多画面的YUV格式数据的发送速率。若主流视频YUV格式数据的发送速率和辅流视频YUV格式数据的发送速率所占用的带宽超出已有的带宽，则控制该主流视频YUV格式数据的发送速率，以使该多画面的YUV格式数据的发送速率所占用的带宽不超出现有的带宽。

作为本发明的另一个实施例，该RTP包发送单元22还包括速率控制模块224。

本实施例中，在解码主流RTP包和辅流RTP包后，获得各个会场中视频会议终端的主流视频和辅流视频的YUV格式数据，其中，Y表示亮度信号值，U、V则表示色度值，用于描述影像色彩和饱和度。由于辅流视频发送的码率不同于主流视频发送的码率，因此在将各个会场的主流视频YUV格式数据和辅流视频YUV格式数据拼接为一个多画面时，需控制该辅流视频YUV格式数据的发送速率，使得该辅流视频YUV格式数据的发送速率与主流视频YUV格式数据的发送速率相同，以便保证与会者在视频会议终端观看的多画面没有发生跳跃。

若辅流视频YUV格式数据的发送速率大于主流视频YUV格式数据的发送速率，则缓存部分辅流RTP包以减小该辅流视频YUV格式数据的发送速率。

该速率控制模块224用于通过缓存辅流RTP包控制辅流YUV格式数据的发送速率。

若在视频会议开始后，参与视频会议的一个或多个会场退出该视频会议，则退出该视频会议的会场在多画面上所处的位置将显示为黑屏。假设编号为1的会场显示在多画面上的左上角，当该编号为1的会场中途退出该视频会议后，多画面上的左上角将显示为黑屏。

在本发明第二实施例中，RTP包接收单元21接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包，RTP包发送单元22再对RTP包接收单元21接收的主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使该视频会议终端在多画面中同时显示主流视频信息和辅流视频信息。由于与会者可以根据实际情况的需求，方便地选择观看主流视频或者辅流视频，因此增强了与会者的良好体验。

本发明实施例中，MCU接收各个会场发送的主流RTP包和辅流RTP包，该主流RTP包中包含各个会场中的主流视频信息，该辅流RTP包中包含各个会场中的辅流视频信息，在接收到该主流RTP包和辅流RTP包后，再排序、解码接收的主流RTP包和辅流RTP包，并将解码辅流RTP包获得的辅流视频YUV格式数据进行速率控制，使该辅流视频YUV格式数据发送速率和主流视频YUV格式数据发送速率相同，最后将该主流视频YUV格式数据和辅流视频YUV格式数据拼接为多画面YUV格式数据，并对该多画面YUV格式数据编码以及对该编码后的多画面YUV格式数据中的主流视频YUV格式数据的发送速率进行流量控制，再发送至各个会场的视频会议终端上。进一步地，在MCU将包含主流视频信息和辅流视频信息的多画面YUV格式数据转发至所有与会的视频会议终端之前，若没有接收到与会者发送的辅流视频信息发送指令，则仅将主流视频信息转发至该与会者对应的视频会议终端上，若接收到与会者发送的辅流视频信息发送指令，则将主流视频信息和辅流视频信息同时转发至该与会者对应的视频会议终端上，以使该视频会议终端同时显示主流视频信息和辅流视频信息。由于与会者可以根据实际情况的需求，方便地选择观看主流视频信息或者同时观看主流视频信息和辅流视频信息，因此有效增强与会者的良好体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种在多画面中显示辅流视频的方法，其特征在于，所述方法包括步骤：

接收一个或多个视频会议终端发送的辅流发送请求，并响应所述辅流发送请求，以使所述视频会议终端打开辅流通道并发送对应的辅流RTP包；

接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包；

对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使所述视频会议终端在多画面中同时显示主流视频信息和辅流视频信息；

通过信令通知所述视频会议终端凝固图像，重新编一个参考帧，并发送所述参考帧至所述凝固图像的视频会议终端，以使所述视频会议终端接收到所述参考帧之后，自动将所述凝固图像解固；

其中，对所述主流RTP包和辅流RTP包进行处理的步骤具体为：

排序、解码所述主流RTP包和辅流RTP，并将解码获得的主流YUV格式数据和辅流YUV格式数据拼接为一个多画面YUV格式数据；

且在将主流YUV格式数据和辅流YUV格式数据拼接为一个多画面YUV格式数据的步骤之前进一步包括下述步骤：

通过缓存辅流RTP包控制辅流YUV格式数据的发送速率，具体地，若辅流视频YUV格式数据的发送速率大于主流视频YUV格式数据的发送速率，则缓存部分辅流RTP包以减小所述辅流视频YUV格式数据的发送速率，以在辅流视频YUV格式数据的发送速率与主流视频YUV格式数据的发送速率相同时，将所述多个主流视频YUV格式数据和辅流视频YUV格式数据拼接组合为一个多画面的YUV格式数据。

2.如权利要求1所述的方法，其特征在于，在接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包的步骤之前进一步包括下述步骤：

接收会议***或者Web控制台发送的画面模式选择指令，根据所述画面模式选择指令选择在视频会议终端上显示的多画面模式；

根据选择的多画面模式指定辅流视频信息在多画面中显示的位置和编号。

3.一种在多画面中显示辅流视频的***，其特征在于，所述***包括：

RTP包接收单元，接收一个或多个视频会议终端发送的辅流发送请求，并响应所述辅流发送请求，以使所述视频会议终端打开辅流通道并发送对应的辅流RTP包，接收单个或多个视频会议终端发送的主流实时传送协议RTP包和辅流RTP包；

RTP包发送单元，对所述主流RTP包和辅流RTP包进行处理并发送至会场的视频会议终端，以使所述视频会议终端在多画面中同时显示主流视频信息和辅流视频信息；

MC，通过信令通知所述视频会议终端凝固图像；

MP，重新编一个参考帧，并发送所述参考帧至所述凝固图像的视频会议终端，以使所述视频会议终端接收到所述参考帧之后，自动将所述凝固图像解固；

其中，所述RTP包发送单元包括：

RTP包排序解码模块，用于排序、解码所述主流RTP包和辅流RTP；

数据拼接模块，用于将解码所述主流RTP包和辅流RTP包获得的主流YUV格式数据和辅流YUV格式数据拼接为一个多画面YUV格式数据；

速率控制模块，用于通过缓存辅流RTP包控制辅流YUV格式数据的发送速率，具体地，若辅流视频YUV格式数据的发送速率大于主流视频YUV格式数据的发送速率，则缓存部分辅流RTP包以减小所述辅流视频YUV格式数据的发送速率，以在辅流视频YUV格式数据的发送速率与主流视频YUV格式数据的发送速率相同时，将所述多个主流视频YUV格式数据和辅流视频YUV格式数据拼接组合为一个多画面的YUV格式数据。

Images