CN109309805A - 一种视频会议的多窗口显示方法、装置、设备和*** - Google Patents

Abstract

本发明公开了一种视频会议的多窗口显示方法，包括：检测客户端是否订阅了显示相同会议成员的主窗口和副窗口；主窗口的视频质量高于副窗口的视频质量，主窗口和副窗口设有会议成员的ID信息；将会议成员的ID信息添加至所述主窗口的待显示视频流；将带有会议成员的ID信息的主窗口的待显示视频流发送至客户端，并禁止将副窗口的待显示视频流发送给客户端，使得客户端将主窗口的待显示视频流分别在主窗口和副窗口进行显示。本发明实施例还公开了视频会议的多窗口显示装置、视频会议的多窗口显示设备和视频会议的多窗口显示***。采用本发明实施例，能够减少服务器的上行，提升服务器的负载能力。

Description

一种视频会议的多窗口显示方法、装置、设备和***

技术领域

本发明涉及多媒体播放领域，尤其涉及一种视频会议的多窗口显示方法、装置、设备和***。

背景技术

在视频会议中根据客户端窗口的布局设计，可以出现两个窗口显示同一个成员的情况。不管是对发言人进行放大显示的自动模式还是客户端手动选择窗口进行放大。一般的窗口布局是中央一个大窗口显示一个成员，大窗口周围的小窗口显示包括大窗口显示的成员在内的所有会议成员。在这种情况下，为了达到最佳会议体验的同时减少服务器的上行，一般会让小窗口接收视频质量比较小，大窗口接收的视频质量比较大。按照以上方法，大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢。

发明内容

本发明实施例的目的是提供一种视频会议的多窗口显示方法、装置、设备和***，能够减少服务器的上行，提升服务器的负载能力。

为实现上述目的，本发明实施例提供了一种视频会议的多窗口显示方法，包括：

响应于客户端发送的窗口订阅指令，检测客户端是否订阅了显示相同会议成员的主窗口和副窗口；其中，所述主窗口的视频质量高于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

在确定所述客户端订阅了显示相同会议成员的主窗口和副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，并禁止将所述副窗口的待显示视频流发送给客户端，使得所述客户端将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方法，首先通过检测存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；然后，在确定所述主窗口与所述副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流；最后，将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，使得所述客户端将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

作为上述方案的改进，所述方法还包括：

当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，获取所述会议成员的ID信息，并将所述会议成员的ID信息分别分配给所述主窗口与所述副窗口。

作为上述方案的改进，所述将所述会议成员的ID信息添加至所述主窗口的待显示视频流，包括：

将所述会议成员的ID信息添加至所述主窗口的待显示视频流的实时传输协议的标识符中。

为实现上述目的，本发明实施例还提供另一种视频会议的多窗口显示方法，包括：

响应于订阅指令，向服务器订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，所述主窗口的视频质量大于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方法，首先，响应于订阅指令时，订阅主窗口和副窗口；然后，发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；最后，接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

作为上述方案的改进，所述发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流，包括：

发送所述会议成员的ID信息，以使得服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流的实时传输协议的标识符中。

作为上述方案的改进，所述接收带有所述会议成员的ID信息的所述主窗口的待显示视频流后，还包括：

对带有所述会议成员的ID信息的所述主窗口的待显示视频流进行解析，提取所述会议成员的ID信息。

为实现上述目的，本发明实施例还提供了一种视频会议的多窗口显示装置，包括：

会议成员检测单元，用于响应于客户端发送的窗口订阅指令，检测客户端是否订阅了显示相同会议成员的主窗口和副窗口；其中，所述主窗口的视频质量高于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

ID信息添加单元，用于在确定所述客户端订阅了显示相同会议成员的主窗口和副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

待显示视频流禁止发送单元，用于禁止将所述副窗口的待显示视频流发送给客户端；

待显示视频流发送单元，用于将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，使得所述客户端将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示装置，首先，通过会议成员检测单元检测存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；然后，ID信息添加单元将所述会议成员的ID信息添加至所述主窗口的待显示视频流；最后，待显示视频流发送单元将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，使得所述客户端将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

作为上述方案的改进，所述装置还包括ID信息分配单元，所述ID信息分配单元用于当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，获取所述会议成员的ID信息，并将所述会议成员的ID信息分别分配给所述主窗口与所述副窗口；

所述ID信息添加单元，用于在确定所述客户端订阅了显示相同会议成员的主窗口和副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流的实时传输协议的标识符中。

为实现上述目的，本发明实施例还提供了另一种视频会议的多窗口显示装置，包括：

窗口订阅单元，用于响应订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，所述主窗口的视频质量大于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

ID信息发送单元，用于发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

视频流显示单元，用于接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方装置，首先，响应于订阅指令时，窗口订阅单元订阅主窗口和副窗口；然后，ID信息发送单元发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；最后，视频流显示单元接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

作为上述方案的改进，所述装置还包括ID信息提取单元，所述ID信息提取单元用于对带有所述会议成员的ID信息的所述主窗口的待显示视频流进行解析，提取所述会议成员的ID信息。

为实现上述目的，本发明实施例还提供一种视频会议的多窗口显示设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的视频会议的多窗口显示方法。

为实现上述目的，本发明实施例还提供视频会议的多窗口显示***，包括服务器和至少一个客户端；其中，

所述服务器为如上述实施例中任一项所述的视频会议的多窗口显示装置。

所述客户端为如上述实施例中任一项所述的视频会议的多窗口显示装置。

附图说明

图1是本发明实施例提供的一种视频会议的多窗口显示方法的流程图；

图2是本发明实施例提供的一种视频会议的多窗口显示方法的客户端的成员显示窗口示意图；

图3是本发明实施例提供的一种视频会议的多窗口显示方法的另一流程图；

图4是本发明实施例提供的另一种视频会议的多窗口显示方法的流程图；

图5是本发明实施例提供的一种视频会议的多窗口显示装置10的结构框图；

图6是本发明实施例提供的另一种视频会议的多窗口显示装置20的结构框图；

图7是本发明实施例提供的一种视频会议的多窗口显示设备30的结构框图；

图8是本发明实施例提供的另一种视频会议的多窗口显示设备40的结构框图；

图9是本发明实施例提供的一种视频会议的多窗口显示***50的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

值得说明的是，本发明实施例所述的视频会议包括两种情况，一种是视频会议中每一参加视频会议的客户端上都显示有每个成员显示窗口，即各个客户端同步显示，比如远程视频会议。另一种是视频会议中只有一个客户端上显示有每个成员显示窗口，其余客户端只作为摄像头拍摄视频，然后汇总到一个客户端中显示，比如在同一个会议室的视频会议。

本发明实施例所述的成员显示窗口有两种类型，包括固定窗口和活动窗口。固定窗口可以是视频质量较小的成员显示窗口，这种是用来显示每一参加视频会议的成员，与参加视频会议的成员一一对应；另一种活动窗口可以是视频质量较大的成员显示窗口，这种是用来突出显示其中一个参加视频会议的成员，显示的成员可以与任一会议成员相同，或者与任一会议成员都不相同。则在本发明实施例中订阅了相同会议成员的两个成员显示窗口中主窗口为活动窗口，副窗口为固定窗口。

所述客户端在订阅所述成员显示窗口时，服务器一般不会分配给窗口质量高于视频质量的视频流，防止超出客户端最大解码能力。但是在本发明中，允许一个成员显示窗口的视频流超出一个成员显示窗口的视频质量，但不会超过客户端请求的一系列成员显示窗口中最大的视频质量，因此还是可以保证不超出客户端的最大解码能力。

在现有技术中，视频会议开始时，客户端会订阅成员显示窗口，服务器获取成员显示窗口的视频质量，服务器会获取到参加了视频会议的客户端发送过来的与成员显示窗口的视频质量对应的待显示视频流，此时一个客户端发送一路待显示视频流，然后服务器对所有待显示视频流进行汇总后再将汇总后的待显示视频流转发到客户端的成员显示窗口中。在上述过程中，当存在两个成员显示窗口需要显示同一个会议成员时，此时，服务器会接收到与该会议成员对应的客户端发送的两路待显示视频流，然后服务器再将该两路待显示视频流分别发送到需要显示同一个会议成员的成员显示窗口中进行显示。

而本发明的方案是，当存在两个成员显示窗口需要显示同一个会议成员时，此时，与该会议成员对应的客户端依旧只发送一路待显示视频流给服务器，服务器会接收到与该会议成员对应的客户端发送的一路待显示视频流，服务器再将与该会议成员对应的待显示视频流同时渲染到需要显示同一个会议成员的成员显示窗口中进行显示。此时服务器则不用再接收多一路待显示视频流，从而能够减少服务器的上行，提升服务器的负载能力。

实施例一

本实施例所提供的视频会议的多窗口显示方法可以通过服务器执行实现，则所述服务器与所述客户端的信息交互的协议可以采用DTLS(Datagram Transport LayerSecurity)，即数据包传输层安全性协议。优选的，所述客户端包括但不限于手机、电脑和投影装置。

参见图1，图1是本发明实施例提供的一种视频会议的多窗口显示方法的流程图；包括：

S11、响应于客户端发送的窗口订阅指令，检测客户端是否订阅了显示相同会议成员的主窗口和副窗口；其中，所述主窗口的视频质量高于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

S12、在确定所述客户端订阅了显示相同会议成员的主窗口和副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

S13、将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，并禁止将所述副窗口的待显示视频流发送给客户端，使得所述客户端将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

具体的，在步骤S11中，当有任一客户端加入到视频会议时，客户端会订阅所述成员显示窗口，当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，将所述会议成员的ID信息分别分配给所述主窗口与所述副窗口。

具体的，检测是否存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口，即检测此时所述客户端中是否有两个成员显示窗口显示相同的会议成员。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口。

具体的，可以通过判断两个成员显示窗口之间的视频质量来确定主窗口与副窗口。此时，当有任一客户端加入到视频会议时，订阅所述成员显示窗口的同时服务器获取每个成员显示窗口的视频质量，所述客户端上的每个成员显示窗口都预设有对应的视频质量，比如360P、720P或1080p等。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，判断该成员显示窗口的视频质量是否大于所述另一成员显示窗口的视频质量；当该成员显示窗口的视频质量大于所述另一成员显示窗口的视频质量时，判定该成员显示窗口为订阅了相同会议成员的两个成员显示窗口中的主窗口，所述另一成员显示窗口为副窗口。

具体的，在步骤S12中，在确定好所述主窗口与所述副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流。优选的，所述主窗口的待显示视频流所携带的会议成员的ID信息为服务器预先编码进所述主窗口的待显示视频流的实时传输协议(RTP：Real Time Transport Protocol)的标识符(CSRC)中的，所述标识符(CSRC)是用来标识所述待显示视频流的来源的唯一标识。

具体的，在步骤S13中，禁止将所述副窗口所对应的待显示视频流发送给所述客户端，而其余剩下的待显示视频流都是被允许发送的。参见图3，成员显示窗口A(主窗口)和成员显示窗口D(副窗口)订阅了同一个客户端a，成员显示窗口B订阅了客户端b，成员显示窗口C订阅了客户端c，所述客户端在接收到服务器发送过来的多路待显示视频流时，有一路待显示视频(即带有所述会议成员的ID信息的所述主窗口的待显示视频流)需要同时渲染成员显示窗口A和成员显示窗口D，带有所述会议成员的ID信息的所述主窗口的待显示的视频流的视频质量为所述成员显示窗口A的视频质量。若此时所述成员显示窗口D已经订阅有内容，则此时所述客户端将所述成员显示窗口D的订阅内容置空(服务器已经停止发送所述成员显示窗口D的视频质量对应的待显示视频流)。使得所述客户端将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将与所述成员显示窗口A对应的所述主窗口待显示的视频流同时渲染到所述成员显示窗口A与所述成员显示窗口D进行显示。

优选的，上述步骤S11～S13的过程可参考图3。

进一步的，在步骤S11中，检测是否存在订阅了相同会议成员的成员显示窗口的方法包括但不限于检测音频信息和检测控制指令。

具体的，当检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测音频信息时，服务器确定哪路待显示视频流的音频信息超过预设值(客户端需要将自身拍摄的会议成员的视频流发送给服务器，再由服务器统一汇总，因此服务器能够检测到发送过来的待显示视频流的音频信息)，所述预设值可以是10db，此时服务器判定检测到存在订阅了相同会议成员的成员显示窗口。比如当有会议成员正在发言，则在获取到该会议成员对应的待显示视频流中的音频信息超过预设值时，可确定该会议成员需要订阅两个显示相同会议成员的成员显示窗口，即此时客户端存在订阅了相同会议成员的成员显示窗口。通过检测音频信息自动检测是否存在订阅了相同会议成员的成员显示窗口，在会议过程中不需要用户手动选择，方便快捷。

具体的，当检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测控制指令时，即客户端可以手动选择任一会议成员需要在客户端订阅两个相同会议成员的成员显示窗口，此时客户端发送需要订阅两个相同会议成员的成员显示窗口的控制指令给服务器，服务器在接收到所述控制指令时则判定检测到存在订阅了相同会议成员的成员显示窗口，上述过程需要会议成员手动选择。

具体实施时，首先通过检测存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；然后，在确定所述主窗口与所述副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流；最后，将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，使得所述客户端将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方法，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

实施例二

本实施例所提供的视频会议的多窗口显示方法可以通过客户端执行实现，则所述客户端与所述服务器的信息交互的协议可以采用DTLS(Datagram Transport LayerSecurity)，即数据包传输层安全性协议。优选的，所述客户端包括但不限于手机、电脑和投影装置。

参见图4，图4是本发明实施例提供的另一种视频会议的多窗口显示方法的流程图；包括：

S21、响应于订阅指令，向服务器订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，所述主窗口的视频质量大于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

S22、发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

S23、接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

具体的，在步骤S21中，当有任一客户端加入到视频会议时，响应订阅指令，会订阅客户端上的成员显示窗口，当任一客户端订阅了两个显示相同会议成员的成员显示窗口时，该两个显示相同会议成员的成员显示窗口即为所述主窗口和所述副窗口。

具体的，在步骤S22中，发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流。优选的，所述主窗口的待显示视频流所携带的会议成员的ID信息为服务器预先编码进所述主窗口的待显示视频流的实时传输协议(RTP：Real Time Transport Protocol)的标识符(CSRC)中的，所述标识符(CSRC)是用来标识所述待显示视频流的来源的唯一标识。

具体的，在步骤S23中，接收带有所述会议成员的ID信息的所述主窗口的待显示视频流后，还包括：对带有所述会议成员的ID信息的所述主窗口的待显示视频流进行解析，提取所述会议成员的ID信息，从而能够将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对。

具体实施时，首先，响应于订阅指令时，订阅主窗口和副窗口；然后，发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；最后，接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方法，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

实施例三

本实施例所提供的视频会议的多窗口显示装置10可以通过服务器执行实现，则所述视频会议的多窗口显示装置10与所述客户端的信息交互的协议可以采用DTLS(DatagramTransport Layer Security)，即数据包传输层安全性协议。优选的，所述客户端包括但不限于手机、电脑和投影装置。

参见图5，图5是本发明实施例提供的一种视频会议的多窗口显示装置10的结构框图；包括：

会议成员检测单元11，用于响应于客户端发送的窗口订阅指令，检测客户端是否订阅了显示相同会议成员的主窗口和副窗口；其中，所述主窗口的视频质量高于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

ID信息添加单元12，用于在确定所述客户端订阅了显示相同会议成员的主窗口和副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

待显示视频流禁止发送单元13，用于禁止将所述副窗口的待显示视频流发送给客户端；

待显示视频流发送单元14，用于将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，使得所述客户端将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

优选的，所述装置还包括ID信息分配单元15，所述ID信息分配单元用于当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，获取所述会议成员的ID信息，并将所述会议成员的ID信息分别分配给所述主窗口与所述副窗口。所述ID信息添加单元12，用于在确定所述客户端订阅了显示相同会议成员的主窗口和副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流的实时传输协议的标识符中。

具体的，当有任一客户端加入到视频会议时，客户端会订阅所述成员显示窗口，当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，所述ID信息分配单元15将所述会议成员的ID信息分别分配给所述主窗口与所述副窗口。

具体的，所述会议成员检测单元11检测是否存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口，即检测此时所述客户端中是否有两个成员显示窗口显示相同的会议成员。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口。

具体的，所述会议成员检测单元11可以通过判断两个成员显示窗口之间的视频质量来确定主窗口与副窗口。此时，当有任一客户端加入到视频会议时，订阅所述成员显示窗口的同时服务器获取每个成员显示窗口的视频质量，所述客户端上的每个成员显示窗口都预设有对应的视频质量，比如360P、720P或1080p等。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，判断该成员显示窗口的视频质量是否大于所述另一成员显示窗口的视频质量；当该成员显示窗口的视频质量大于所述另一成员显示窗口的视频质量时，判定该成员显示窗口为订阅了相同会议成员的两个成员显示窗口中的主窗口，所述另一成员显示窗口为副窗口。

具体的，在确定好所述主窗口与所述副窗口后，所述ID信息添加单元12将所述会议成员的ID信息添加至所述主窗口的待显示视频流。优选的，所述主窗口的待显示视频流所携带的会议成员的ID信息为所述ID信息添加单元12预先编码进所述主窗口的待显示视频流的实时传输协议(RTP：Real Time Transport Protocol)的标识符(CSRC)中的，所述标识符(CSRC)是用来标识所述待显示视频流的来源的唯一标识。

具体的，所述待显示视频流禁止发送单元13禁止将所述副窗口所对应的待显示视频流发送给所述客户端，而其余剩下的待显示视频流都是被允许发送的，所述待显示视频流发送单元14将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端。

参见图3，成员显示窗口A(主窗口)和成员显示窗口D(副窗口)订阅了同一个客户端a，成员显示窗口B订阅了客户端b，成员显示窗口C订阅了客户端c，所述客户端在接收到所述待显示视频流发送单元14发送过来的多路待显示视频流时，有一路待显示视频(即带有所述会议成员的ID信息的所述主窗口的待显示视频流)需要同时渲染成员显示窗口A和成员显示窗口D，带有所述会议成员的ID信息的所述主窗口的待显示的视频流的视频质量为所述成员显示窗口A的视频质量。若此时所述成员显示窗口D已经订阅有内容，则此时所述客户端将所述成员显示窗口D的订阅内容置空(服务器已经停止发送所述成员显示窗口D的视频质量对应的待显示视频流)。使得所述客户端将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将与所述成员显示窗口A对应的所述主窗口待显示的视频流同时渲染到所述成员显示窗口A与所述成员显示窗口D进行显示。

进一步的，所述会议成员检测单元11检测是否存在订阅了相同会议成员的成员显示窗口的方法包括但不限于检测音频信息和检测控制指令。

具体的，当检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测音频信息时，所述会议成员检测单元11确定哪路待显示视频流的音频信息超过预设值(客户端需要将自身拍摄的会议成员的视频流发送给服务器，再由服务器统一汇总，因此服务器能够检测到发送过来的待显示视频流的音频信息)，所述预设值可以是10db，此时所述会议成员检测单元11判定检测到存在订阅了相同会议成员的成员显示窗口。比如当有会议成员正在发言，则在获取到该会议成员对应的待显示视频流中的音频信息超过预设值时，可确定该会议成员需要订阅两个显示相同会议成员的成员显示窗口，即此时客户端存在订阅了相同会议成员的成员显示窗口。通过检测音频信息自动检测是否存在订阅了相同会议成员的成员显示窗口，在会议过程中不需要用户手动选择，方便快捷。

具体的，当检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测控制指令时，即客户端可以手动选择任一会议成员需要在客户端订阅两个相同会议成员的成员显示窗口，此时客户端发送需要订阅两个相同会议成员的成员显示窗口的控制指令给所述会议成员检测单元11，所述会议成员检测单元11在接收到所述控制指令时则判定检测到存在订阅了相同会议成员的成员显示窗口，上述过程需要会议成员手动选择。

具体实施时，首先，通过会议成员检测单元11检测存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；然后，ID信息添加单元12将所述会议成员的ID信息添加至所述主窗口的待显示视频流；最后，待显示视频流发送单元14将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，使得所述客户端将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示装置10，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

实施例四

本实施例所提供的视频会议的多窗口显示装置20可以通过客户端执行实现，则所述客户端与所述服务器的信息交互的协议可以采用DTLS(Datagram Transport LayerSecurity)，即数据包传输层安全性协议。优选的，所述客户端包括但不限于手机、电脑和投影装置。

参见图6，图6是本发明实施例提供的另一种视频会议的多窗口显示装置20的结构框图；包括：

窗口订阅单元21，用于响应订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，所述主窗口的视频质量大于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

ID信息发送单元22，用于发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

视频流显示单元23，用于接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

具体的，当有任一客户端加入到视频会议时，响应订阅指令，所述窗口订阅单元21会订阅客户端上的成员显示窗口，当任一客户端订阅了两个显示相同会议成员的成员显示窗口时，该两个显示相同会议成员的成员显示窗口即为所述主窗口和所述副窗口。

具体的，所述ID信息发送单元22发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流。优选的，所述主窗口的待显示视频流所携带的会议成员的ID信息为服务器预先编码进所述主窗口的待显示视频流的实时传输协议(RTP：Real Time Transport Protocol)的标识符(CSRC)中的，所述标识符(CSRC)是用来标识所述待显示视频流的来源的唯一标识。

优选的，所述装置还包括ID信息提取单元24，所述ID信息提取单元24用于在接收带有所述会议成员的ID信息的所述主窗口的待显示视频流后，对带有所述会议成员的ID信息的所述主窗口的待显示视频流进行解析，提取所述会议成员的ID信息，从而能够将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对。

具体实施时，首先，响应于订阅指令时，窗口订阅单元21订阅主窗口和副窗口；然后，ID信息发送单元22发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；最后，视频流显示单元23接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示方装置20，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

实施例五

参见图7，图7是本发明实施例提供的一种视频会议的多窗口显示设备30的结构框图；该实施例的视频会议的多窗口显示设备30包括：处理器31、存储器32以及存储在所述存储器中并可在所述处理器31上运行的计算机程序。所述处理器31执行所述计算机程序时实现上述实施例一中视频会议的多窗口显示方法中的步骤，例如图1所示的步骤S11～S13。或者，所述处理器31执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如会议成员检测单元11。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器32中，并由所述处理器31执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述视频会议的多窗口显示设备30中的执行过程。例如，所述计算机程序可以被分割成会议成员检测单元11、ID信息添加单元12、待显示视频流禁止发送单元13、待显示视频流发送单元14和ID信息分配单元15。各模块具体功能参考上述实施例三所述的视频会议的多窗口显示装置10的功能，在此不再赘述。

所述视频会议的多窗口显示设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述视频会议的多窗口显示设备30可包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，所述示意图仅仅是视频会议的多窗口显示设备30的示例，并不构成对视频会议的多窗口显示设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视频会议的多窗口显示设备30还可以包括输入输出设备、网络接入设备、总线等。

所称处理器31可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器31是所述视频会议的多窗口显示设备30的控制中心，利用各种接口和线路连接整个视频会议的多窗口显示设备30的各个部分。

所述存储器32可用于存储所述计算机程序和/或模块，所述处理器31通过运行或执行存储在所述存储器32内的计算机程序和/或模块，以及调用存储在存储器32内的数据，实现所述视频会议的多窗口显示设备30的各种功能。所述存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述视频会议的多窗口显示设备30集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器31执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

实施例六

参见图8，图8是本发明实施例提供的另一种视频会议的多窗口显示设备40的结构框图；该实施例的视频会议的多窗口显示设备40包括：处理器41、存储器42以及存储在所述存储器中并可在所述处理器41上运行的计算机程序。所述处理器41执行所述计算机程序时实现上述实施例二中视频会议的多窗口显示方法中的步骤，例如图4所示的步骤S21～S23。或者，所述处理器41执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如窗口订阅单元21。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器42中，并由所述处理器41执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述视频会议的多窗口显示设备40中的执行过程。例如，所述计算机程序可以被分割成窗口订阅单元21、ID信息发送单元22、视频流显示单元23和ID信息提取单元24。各模块具体功能参考上述实施例四所述的视频会议的多窗口显示装置20的功能，在此不再赘述。

所述视频会议的多窗口显示设备40可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述视频会议的多窗口显示设备40可包括，但不仅限于，处理器41、存储器42。本领域技术人员可以理解，所述示意图仅仅是视频会议的多窗口显示设备40的示例，并不构成对视频会议的多窗口显示设备40的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述视频会议的多窗口显示设备40还可以包括输入输出设备、网络接入设备、总线等。

所称处理器41可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器41是所述视频会议的多窗口显示设备40的控制中心，利用各种接口和线路连接整个视频会议的多窗口显示设备40的各个部分。

所述存储器42可用于存储所述计算机程序和/或模块，所述处理器41通过运行或执行存储在所述存储器42内的计算机程序和/或模块，以及调用存储在存储器42内的数据，实现所述视频会议的多窗口显示设备40的各种功能。所述存储器42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述视频会议的多窗口显示设备40集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器41执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

实施例七

参见图9，图9是本发明实施例提供的一种视频会议的多窗口显示***50的结构框图，包括服务器51和至少一个客户端52；其中，

所述服务器51为如上述实施例三中所述的视频会议的多窗口显示装置10；所述客户端52为如上述实施例四中所述的视频会议的多窗口显示装置20。所述服务器51与所述客户端52的信息交互的协议可以采用DTLS(Datagram Transport Layer Security)，即数据包传输层安全性协议。优选的，所述客户端52包括但不限于手机、电脑和投影装置。

具体的，当有任一客户端52加入到视频会议时，所述客户端52会订阅所述成员显示窗口，当所述客户端52订阅了两个显示相同会议成员的成员显示窗口时，所述客户端52发送所述会议成员的ID信息给所述服务器51。当所述服务器51检测到参加视频会议的客户端52订阅了两个显示相同会议成员的成员显示窗口时，所述服务器51将所述会议成员的ID信息分别分配给所述主窗口与所述副窗口。

当所述服务器51检测到存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，所述服务器51确定该两个成员显示窗口中的主窗口与副窗口。

具体的，所述服务器51可以通过判断两个成员显示窗口之间的视频质量来确定主窗口与副窗口。此时，当有任一客户端52加入到视频会议时，所述客户端52订阅所述成员显示窗口的同时，所述服务器51获取每个成员显示窗口的视频质量，所述客户端上的每个成员显示窗口都预设有对应的视频质量，比如360P、720P或1080p等。当存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，所述服务器51判断该成员显示窗口的视频质量是否大于所述另一成员显示窗口的视频质量；当该成员显示窗口的视频质量大于所述另一成员显示窗口的视频质量时，所述服务器51判定该成员显示窗口为订阅了相同会议成员的两个成员显示窗口中的主窗口，所述另一成员显示窗口为副窗口。

具体的，在确定好所述主窗口与所述副窗口后，所述服务器51将所述会议成员的ID信息添加至所述主窗口的待显示视频流。优选的，所述主窗口的待显示视频流所携带的会议成员的ID信息为服务器预先编码进所述主窗口的待显示视频流的实时传输协议(RTP：Real Time Transport Protocol)的标识符(CSRC)中的，所述标识符(CSRC)是用来标识所述待显示视频流的来源的唯一标识。

所述服务器51禁止将所述副窗口所对应的待显示视频流发送给所述客户端52，而其余剩下的待显示视频流都是被允许发送的。所述客户端52接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

进一步的，在所述服务器51发送待显示视频流给所述客户端52进行显示后，还包括：当订阅了相同会议成员的两个成员显示窗口中的任一窗口的订阅内容发生变化时，所述服务器51分别发送两个成员显示窗口对应的两路待显示视频流各所述客户端52，以使客户端52根据两个成员显示窗口对应的两路待显示视频流将两个成员显示窗口分别渲染。

进一步的，所述服务器51检测是否存在订阅了相同会议成员的成员显示窗口的方法包括但不限于检测音频信息和检测控制指令。

具体的，当所述服务器51检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测音频信息时，服务器51确定哪路待显示视频流的音频信息超过预设值(客户端52需要将自身拍摄的会议成员的视频流发送给服务器51，再由服务器51统一汇总，因此服务器51能够检测到发送过来的待显示视频流的音频信息)，所述预设值可以是10db，此时服务器51判定检测到存在订阅了相同会议成员的成员显示窗口。比如当有会议成员正在发言，则所述服务器51在获取到该会议成员对应的待显示视频流中的音频信息超过预设值时，可确定该会议成员需要订阅两个显示相同会议成员的成员显示窗口，即此时客户端52存在订阅了相同会议成员的成员显示窗口。通过检测音频信息自动检测是否存在订阅了相同会议成员的成员显示窗口，在会议过程中不需要用户手动选择，方便快捷。

具体的，当所述服务器51检测是否存在订阅了相同会议成员的成员显示窗口的方法为检测控制指令时，即客户端可以手动选择任一会议成员需要在客户端订阅两个相同会议成员的成员显示窗口，此时客户端52发送需要订阅两个相同会议成员的成员显示窗口的控制指令给服务器51，服务器51在接收到所述控制指令时则判定检测到存在订阅了相同会议成员的成员显示窗口，上述过程需要会议成员手动选择。

具体实施时，首先通过服务器51检测存在与该成员显示窗口订阅了相同会议成员的另一成员显示窗口时，确定该两个成员显示窗口中的主窗口与副窗口；然后，在确定所述主窗口与所述副窗口后，服务器51将所述会议成员的ID信息添加至所述主窗口的待显示视频流；最后，服务器51将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端52，使得所述客户端52将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

与现有技术相比，本发明公开的视频会议的多窗口显示***50，解决了现有技术中大窗口和小窗口显示同一个人时，实际上会向客户端发送高质量和低质量两路视频，这样会增加服务器的上行，导致服务器的运行速度变慢的问题，能够减少服务器的上行，提升服务器的负载能力。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (13)

1.一种视频会议的多窗口显示方法，其特征在于，包括：

响应于客户端发送的窗口订阅指令，检测客户端是否订阅了显示相同会议成员的主窗口和副窗口；其中，所述主窗口的视频质量高于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

在确定所述客户端订阅了显示相同会议成员的主窗口和副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，并禁止将所述副窗口的待显示视频流发送给客户端，使得所述客户端将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

2.如权利要求1所述的视频会议的多窗口显示方法，其特征在于，所述方法还包括：

当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，获取所述会议成员的ID信息，并将所述会议成员的ID信息分别分配给所述主窗口与所述副窗口。

3.如权利要求1所述的视频会议的多窗口显示方法，其特征在于，所述将所述会议成员的ID信息添加至所述主窗口的待显示视频流，包括：

将所述会议成员的ID信息添加至所述主窗口的待显示视频流的实时传输协议的标识符中。

4.一种视频会议的多窗口显示方法，其特征在于，包括：

响应于订阅指令，向服务器订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，所述主窗口的视频质量大于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

5.如权利要求4所述的视频会议的多窗口显示方法，其特征在于，所述发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流，包括：

发送所述会议成员的ID信息，以使得服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流的实时传输协议的标识符中。

6.如权利要求4所述的视频会议的多窗口显示方法，其特征在于，所述接收带有所述会议成员的ID信息的所述主窗口的待显示视频流后，还包括：

对带有所述会议成员的ID信息的所述主窗口的待显示视频流进行解析，提取所述会议成员的ID信息。

7.一种视频会议的多窗口显示装置，其特征在于，包括：

会议成员检测单元，用于响应于客户端发送的窗口订阅指令，检测客户端是否订阅了显示相同会议成员的主窗口和副窗口；其中，所述主窗口的视频质量高于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

ID信息添加单元，用于在确定所述客户端订阅了显示相同会议成员的主窗口和副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

待显示视频流禁止发送单元，用于禁止将所述副窗口的待显示视频流发送给客户端；

待显示视频流发送单元，用于将带有所述会议成员的ID信息的所述主窗口的待显示视频流发送至客户端，使得所述客户端将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

8.如权利要求7所述的视频会议的多窗口显示装置，其特征在于，所述装置还包括ID信息分配单元，所述ID信息分配单元用于当检测到参加视频会议的客户端存在两个订阅了相同会议成员的成员显示窗口时，获取所述会议成员的ID信息，并将所述会议成员的ID信息分别分配给所述主窗口与所述副窗口；

所述ID信息添加单元，用于在确定所述客户端订阅了显示相同会议成员的主窗口和副窗口后，将所述会议成员的ID信息添加至所述主窗口的待显示视频流的实时传输协议的标识符中。

9.一种视频会议的多窗口显示装置，其特征在于，包括：

窗口订阅单元，用于响应订阅指令，订阅主窗口和副窗口；其中，所述主窗口和所述副窗口显示相同会议成员，所述主窗口的视频质量大于所述副窗口的视频质量，所述主窗口和副窗口设有所述会议成员的ID信息；

ID信息发送单元，用于发送所述会议成员的ID信息，以使服务器将所述会议成员的ID信息添加至所述主窗口的待显示视频流；

视频流显示单元，用于接收带有所述会议成员的ID信息的所述主窗口的待显示视频流，将所述会议成员的ID信息分别与所述主窗口和副窗口的ID信息进行配对后，将所述主窗口的待显示视频流分别在所述主窗口和所述副窗口进行显示。

10.如权利要求9所述的视频会议的多窗口显示装置，其特征在于，所述装置还包括ID信息提取单元，所述ID信息提取单元用于对带有所述会议成员的ID信息的所述主窗口的待显示视频流进行解析，提取所述会议成员的ID信息。

11.一种视频会议的多窗口显示设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任意一项所述的视频会议的多窗口显示方法。

12.一种视频会议的多窗口显示设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求4至6中任意一项所述的视频会议的多窗口显示方法。

13.一种视频会议的多窗口显示***，其特征在于，包括服务器和至少一个客户端；其中，

所述服务器为如权利要求7～8中任一项所述的视频会议的多窗口显示装置；

所述客户端为如权利要求9～10中任一项所述的视频会议的多窗口显示装置。