CN102077587A - 合成视频流 - Google Patents

Abstract

方法和装置用于基于公共布局的规则将多个视频流合成到具有至少一个对象的背景图像上，同时保持所述多个视频流的正确的比例、顺序以及与所述对象基本对准中的至少一个。背景被限定为用所述对象的适当结构填充所述多个视频流之间的间隙的会晤空间。背景创建了会晤空间的情境。

Description

合成视频流

对相关申请的交叉引用

对相关申请的交叉引用

本申请要求2008年6月30日提交的美国临时申请No.61/076941的权益。此外，本申请涉及2008年3月24日提交的要求2008年3月17日提交的美国临时申请No.61/037321的权益的国际申请No. PCT/US2008/058006，它们二者通过引用合并于此。

背景技术

视频会议是远程定位的参与者之间的模拟的面对面协作的已制定方法。远程环境的视频图像广播到本地显示器上，从而允许本地用户看见一个或多个远程定位的参与者并且与所述参与者交谈。

面对面协作期间的社会互动是人们工作的方式的重要部分。有必要允许人们远距离地在模拟的面对面会晤中进行有效的社会互动。其关键方面是团体的成员之间的非语言交流以及共同存在于相同位置的感觉，即使一些参与者在远程位置并且仅仅通过视频而被看见。已经开发了试图实现这点的许多***。然而，关键的问题阻止这些***成功或被广泛使用。

例如，社会非语言交流涉及人们收集信息的多种方式，所述信息关乎他人所思和所感以及使用身体语言、面部表情、团体中的位置和进行的活动所交流的内容。从认知科学家到感知科学家的许多研究者研究了人类有能力观察人群和看见他们的活动和表情并且从这些活动和表情对人群中的人们的所思和所感产生强烈的感觉的方式。环境是使得人们能够“阅读”其他人的关键部分。许多视频会议***未能将该环境因素考虑进它们的实现方式中。因此，有必要在视频会议会话期间保留这些认知和感知线索。

出于上述原因并且出于本领域技术人员在阅读和理解本说明书后变得清楚明白的其他原因，在本领域中存在对于可替换的视频会议方法的需要。

附图说明

图1A-1C为各个实施例使用的公共会晤拓扑布局图。

图2A为各个实施例使用的示例背景图像的表示。

图2B为要从一个或多个端点接收的用于合成到图2A的背景图像中的视频流的表示。

图2C为依照一个实施例的将视频流合成到图2A的背景图像上的表示。

图2D为依照另一个实施例的将视频流合成到图2A的背景图像上的表示。

图3A为各个实施例使用的另一背景图像的表示。

图3B为依照一个实施例的将视频流合成到图3A的背景图像上的表示。

图4A-4C绘出了依照一个实施例的校正视频流以及将校正的视频流合成到背景上。

图5A-5D绘出了依照另一个实施例的校正视频流以及将校正的视频流合成到背景上。

图6A-6C绘出了依照各个实施例的合成到背景图像上的附加视频流的示例。

图7为依照一个实施例的视频会议方法的流程图。

图8为依照一个实施例的视频会议***的框图。

具体实施方式

在本实施例的以下详细描述中，参照了形成其一部分并且其中通过示例示出可以实施的本公开内容的特定实施例的附图。这些实施例足够详细地加以描述，以使得本领域技术人员能够实施本公开内容的主题，并且应当理解的是，在不脱离本公开内容的范围的情况下可以利用其他实施例并且可以做出过程或机械的变化。因此，以下详细描述不应当在限制性意义上进行理解，并且本公开内容的范围由所附权利要求及其等效物限定。

本文描述的各个实施例有利于用于改进社会协作的联合会晤空间视图。这样的实施例使得本地端点能够通过将多个远程端点的视频流混合到提供社会交流情境的会晤空间中而创建该多个远程端点的视图。会晤空间在参与者之间被协调以便鼓励精确的社会交流。

各个术语在本说明书中用来描述本发明的各个实施例。为了帮助澄清这些术语的含义，给出以下定义并且当用在本说明书中时对所述定义进行详细叙述。

“端点”定义为任何视频会议位置。在本说明书中，其可以是事件中的参与者。

“事件”意欲被广义地理解为包括任何指定的时间和虚拟会晤场所，其为***提供交换信息的框架。事件允许至少一个节点发送和接收媒体信息。依照一个示例性实施例，事件的存在独立且有别于参与协作的所有节点。此外，事件可以在节点交换信息时存在，并且也可以在没有节点参与时存在。

“会晤拓扑”是通过服务组合成逻辑联合“虚拟”空间的会晤出席者/位置的特定布置。参与者的相对位置和空间关系（房间/桌子形状以及其内的位置）、公共会晤背景元素（桌子、墙壁等等）、标称观察距离和观察角度都取决于该布置。例如，第一位置可以“放置”到第二位置的右边和第三位置的左边，并且在第四位置的正对面以形成圆桌布置的组合虚拟空间（参见图1A）。位置可以是会晤端点或者会晤端点的子集。

“虚拟会晤布局服务”是在网络上提供的中心软件服务，其在形成和执行会晤以及会晤的变化的计算机实现的过程中完成上面拓扑的形成。

“多点视频会晤”是其中超过两个位置加入到单个会晤中的视频会议会晤。

“源侧合成”是指来自相机侧的视频图像组合和操纵，其利用端点的外发视频流从端点创建和发送以便提供通过会晤拓扑规则确定的该端点位置的适当视图。

“接收侧合成”是指在接收端点处创建以便提供通过会晤拓扑规则确定的进入流的特定视图的视频图像组合和操纵。

“会晤背景”是基于对象或空间引用的某个元素或者视觉元素的组合，用来从感知上将视频参与者锚定到隐含的会晤拓扑中。

“虚拟协作”定义为其中会晤的至少一些参与者在远程地点处并且借助于视频和音频媒体流通过网络互连的会晤。

“混合空间”被定义为使得它将一个出席者集合的本地物理环境与从两个或更多远程环境传输的其他出席者集合的相应表观空间组合，以便为协作事件创建几何上一致的共享空间，其维持诸如眼神接触和方向凝视感知之类的自然协作线索。也就是说，其他出席者的远程环境以几何上与本地出席者的本地物理环境一致的方式表示在所述本地物理环境中。通过维持几何一致性，得到的混合空间自然地且与利用其自身的混合空间可能类似地扩展远程环境的方式一致地扩展了本地物理环境。通过这种方式，每个出席者集合的每个混合空间经历自然的协作线索，例如充分的眼神接触和有关其他事件出席者正在观看何处的充分的方向感知（例如凝视感知）。因此，每个混合空间为所有出席者集合提供了维度一致性，即对于不管在本地位置还是在远程位置的所有出席者集合都充分相似的表观共享空间。

“中心管理***”定义为包括任意数量的硬件、软件、固件部件或者其任意组合的主计算机。当在本说明书中使用时，中心管理***可以是一个或多个计算设备的一部分或者由其主控（host），所述计算设备包括但绝不限于服务器、个人计算机、个人数字助理或者包括举几个例子而言诸如编码器、交换机和路由器之类的装置的任何其他处理器。中心管理***的各个子***和模块可以实现不同的功能或作用并且一起仍然是单个单元、程序、设备或***。

“本地管理***”定义为包括任意数量的硬件、软件、固件部件或者其任意组合的客户端计算机。当在本说明书中使用时，本地管理***可以是一个或多个计算设备的一部分或者由其主控，所述计算设备包括但绝不限于服务器、个人计算机、个人数字助理或者包括举几个例子而言诸如编码器、交换机和路由器之类的装置的任何其他处理器。本地管理***的各个子***和模块可以实现不同的功能或作用并且一起仍然是单个单元、程序、设备或***。

“公共布局”是由其拓扑定义的会晤参与者的空间布置，其在加入的视频会议端点之间共享。该公共布局可以被认为是会晤空间“主题”，比如会晤室、会堂、会议空间等等。

“本地布局”是任何位置将具有的视频会议会晤的特定视图，该视图从他们的角度看对于他们在公共布局和会晤拓扑中的位置是适当的。

“事件管理客户端”是事件管理请求的发起者。它可以是例如利用用户界面的人类驱动事件，或者来自另一主机或客户端的机器请求，所述另一主机或客户端例如运行事件管理应用的接待（concierge）***。各个端点处的主机或客户端可以改变它们参与事件的方式。因此，“事件管理客户端”不管是人类驱动的还是机器驱动的都允许请求在虚拟协作事件中启动和/或更新事件。

亲自协作会晤典型地发生在适合于会晤类型的某类环境中。该环境可以由会晤拓扑描述，该会晤拓扑限定了由各个端点实现的公共布局主题以创建虚拟会晤空间。小的会晤可能在围绕小的桌子的简单房间中虚拟化。较大的正式会晤可能在会议室中虚拟化。向观众的演示可能在会堂中虚拟化。环境是重要的，因为它提供了连续的几何上一致的空间，其中参与者可以看见作为虚拟会晤空间中的参与者的其他人。在这种会晤拓扑中，参与者可以看见保留会晤拓扑的几何一致性的其他人相对于彼此以及相对于他们自己的位置。此外，他们也可以看见环境中的对象。这些简单的活动实现了社会非语言交流以及与其他人的接近感，这些是聚集在一起的主要原因。希望的是，与相应本地事件环境无关地维持这样的关系，不管这些环境是整个会议室、模块***，还是个人终端（仅举几个例子）。

例如，人们需要知道其他人在何处以及他们在注视谁。人们需要看见正确尺寸和形状的其他人并且看见他们可能谈及环境中的什么对象。在其中会晤的参与者处于远程地点的常规虚拟协作中，一些人如何阅读其他人的关键非语言因素通常是不可获得的。利用常规多点视频会议，一系列视频窗口被放置在类数据（data-like）显示器上。也就是说，看见参与者占据显示器上的分离的视频窗口，并且参与者没有集成到单个几何上一致的环境中。该分离的视频窗口显示意味着在其他参与者针对会晤团体中的不同参与者时人们不能精确地解释所述其他参与者的面部表情。人们可以看见他们，但是不能确定其他参与者在注视谁。会晤中的其他参与者典型地分别以不同的尺寸和放大率并且以不同的高度和位置显示，这取决于特定视频窗口放置在类数据显示器上的何处。这些人工分割的视频窗口加强了会晤参与者之间的分开的感觉，并且因而没有创建其中聚集参与者的几何上一致的共享或“混合”空间的感觉。

对于各个的实施例而言，会晤空间部分地借助于背景图像来限定。该背景可以包含像会晤环境常见的桌子或平台那样的对象。背景图像还可以显示诸如照明、椅子、墙壁和用于像名称、协作数据和场所以及时日那样的信息的场所之类的信息和项目。该背景图像可以由像素（例如固定的图像数据集合）限定，或者它可以在逻辑上限定，例如按尺寸、放置、颜色、浓淡等等限定元素。来自网络的视频流被带到本地地点并且正确地合成到该会晤拓扑环境中。可替换地，视频流完全地或者部分地在主机地点处合成并且然后进一步合成或直接显示以供观看。本文描述的方法包括协调该虚拟会晤空间中的信息和各个视频流中的信息。例如，如果会晤围绕桌子，那么会晤空间可以在背景图像中示出该桌子，并且视频流也可能具有正确尺寸的桌子片段以便与背景桌子对准。在一些情况下，远程视频流创建满足会晤拓扑要求的有效流可能有困难。本文描述的方法可以进一步提供“将信息添加到”缺乏要求的正确结构的这样的视频流或者“从这样的视频流移除信息”。

在各个实施例中，通过“虚拟会晤布局服务”协调视频流中的信息以创建保留社会非语言交流的引人注目的多点视频会晤环境。协调会晤空间的方法通过用于在源侧端点和/或接收侧端点处合成正确信息的规则建立。

大多数常规多点视频会议应用将参与者显示视频分开为尤其是显示器上的桌面窗口。这些参与者窗口以某种不协调或者预定的方式布置，但是没有努力将视频混合到几何上一致的环境桌面图像主题中。

例如，一个常规的视频会议应用可以为各种类型的信息创建桌面上的窗口的布置。例如，单个参与者的视频流可以显示在视频显示器的左上角处的单个窗口中。来自一个房间的全景图像可以显示在视频显示器的底部的另一窗口中，等等。因此，来自不同地点的视频流被分开地显示。

在其他示例中，其他常规视频会议应用可以创建布置多点视频流的比例（perspective）方法。桌面被制成黑色的背景，其中视频流放置在合乎比例（in perspective）示出的窗口中以便创建该视频为弯曲空间或多面体空间的一部分的幻觉。然而，这样的比例方法没有解决若干问题。在视频的大小与桌面的相对尺寸之间不存在关系。视频窗口以一般的尺寸显示，而不是以适合于流的内容的尺寸显示。这些比例方法具有一个背景并且不能够根据会晤类型改变背景。背景和布置对于所有会晤是相同的并且不存在参与者的位置的协调，因而团体中人们的相对位置没有在所有参与者之间得到维持。因此，他们在几何上不一致，他们也不共享公共混合空间。

本文描述的方法和装置通过创建与特定会晤类型协调的适当会晤背景以及借助于以保留相对于来自其他端点和会晤元素（比如桌子）的其他视频流的尺度、形状和位置的方式将参与者视频流合成到这些背景上创建参与者的几何和相对定位而解决了这些现有***的问题。

会晤拓扑通过几何上一致的参与者位置来限定，其具有在虚拟会晤内的各个端点之间一致地共享的环境的公共布局。该公共布局包括布局中的座位位置和端点的相对取向。该公共布局可以示为图1A-1C中绘出的显式图。可替换地，该公共布局可以由例如2006年11月13日提交并且题为“Blended Space for Aligning Video Streams”的共同受让的美国专利申请11/559348中的数学关系限定，该文献通过引用合并于此。图1A示出了端点的圆形布局，其围绕桌子100分配相对位置。在该公共布局中，端点101在其左边具有端点102，端点103在正对面，并且端点104在其右边。与该公共布局相一致，端点101于是可以从左至右显示来自端点102、103和104的图像。应当指出的是，该布局不受各个端点的实际物理位置的限制，而是与它们在虚拟会晤空间内的相对放置有关。类似地，端点102于是可以从左至右显示来自端点103、104和101的图像，并且对于其余端点，依次类推。对于这种会晤类型，如在这里更详细地描述的，每个端点可以显示来自其他端点的合成到描绘桌子的背景上的图像。

图1B示出了端点的会堂公共布局，其将相对位置分配成仿佛就座于会堂中。在这种公共布局中，“指导者”端点101可以显示来自所有其余端点102-113的合成到描绘会堂的阶梯型座位的背景上的图像，而每个“学生”端点102-113仅可以显示来自端点101的合成到描绘平台的背景上的图像。描绘会堂的背景可以被描绘成给出具有几何一致性的深度外观，使得朝向会堂后面的端点（例如109-113）将比朝向会堂前面的端点（例如端点102-104）使用更小的尺度。

图1C示出了端点的教室公共布局，其将相对位置分配成仿佛就座于包含两个桌子100的教室设置中。在该示例公共布局中，“指导者”端点101可以显示来自所有其余端点102-109的合成到描绘两个供参与者就座的桌子的背景上的图像。该背景可以进一步地合乎比例地描绘成具有几何一致性，使得后面的桌子将显得更小。可以使用模拟参与者位置的物理取向的其他公共布局并且本公开内容并不受限于任何特定布局。应当指出的是，公共布局可以是例如由主机服务器上的主控服务维护的单一定义，或者它可以是具有例如由对等网络中连接的不同端点处的客户端成员维护的相同的总体公共会晤拓扑定义的两个或更多相关布局。

不管端点的数量或者选择的会晤类型如何，各个实施例都利用每个端点共同的会晤拓扑的公共布局。该公共布局将依照会晤拓扑限定每个端点的合成图像中的参与者的相对放置和视频流的相应几何形状以及要用于每个端点的相应背景图像以便构造总体虚拟会晤空间。然而，如上面例如关于会堂会晤类型所指出的，背景图像不必对于每个端点都是相同的，而是仅仅依照会晤拓扑中的公共布局对于每个端点进行限定。

对于一个实施例而言，公共布局在中心管理***处限定，例如主控服务，在端点之间协调视频会议。每个端点的本地管理***与中心管理***协调以便至少确定：a）正在举行什么类型的会晤，b）从该本地端点希望什么视频流，以及c）从远程端点将接收什么视频流，以及d）将使用什么背景。该背景图像可以显示诸如照明、桌子、椅子、墙壁和用于像名称、协作数据和场所以及时日那样的信息的场所之类的信息和项目。因此，每个背景图像对于每个端点可以是不同的，但是对于会晤拓扑内的公共布局保持一致。对于另一个实施例而言，端点之一除了是视频源和端点客户端之外还包括中心管理***的功能。

对于一个实施例而言，本地客户端端点提供与会晤拓扑的公共布局建立的几何和内容规则一致的视频流（源侧合成）。例如，几何规则包括但不限于捕获场、变焦放大率、相机角度和纵横比。内容规则可以包括针对公共布局建立的会晤拓扑处理像适当颜色的背景、桌子和椅子那样的项目的规则。可替换地，在接收侧合成中，视频流可以由中心管理***或者由远程接收端点编辑以便满足公共布局的规则。

在其中本地客户端端点不能直接从利用其相机捕获的图像创建用于会晤拓扑规则的有效流的情况下，本地客户端端点也可以有机会编辑该视频流。该视频流编辑可以包括缩放到希望的图像尺寸、裁剪以移除不希望的元素或者填补以将图像填充到希望的尺寸，包括添加背景的可能性。

在从参与端点创建用于会晤拓扑规则的希望的视频流之后，对于合乎会晤拓扑规则的希望的视频流，将每个本地端点的视频流合成到相应会晤空间背景上。会晤空间背景用适当结构填充图像之间的间隙并且创建用于会晤空间的情境。

对于一些实施例而言，本地端点的捕获场（即捕获图像的几何形状）由会晤拓扑规则中的公共布局限定。例如，公共布局可以限定每个本地端点具有要在图像中放置四个座位位置的捕获场。从标准捕获场创建视频流可以通过对相机的平移-倾斜-缩放-聚焦控制来物理地完成，或者通过对较大图像的数字裁切或其他操纵来数字地完成。多个场可以从单个本地空间端点捕获并且用作公共布局中的分离的模块。公共布局可以例如通过将具有多个场的本地端点作为会晤拓扑中的分离的本地端点看待来计及所述具有多个场的本地端点。

参与虚拟视频会议的每个本地端点将具有其自身的事件视图。对于一些实施例而言，每个本地端点将具有不同的视图，即本地布局，该本地布局与其在会晤拓扑内的公共布局中限定的定位相对应。

本地布局是建立用于显示符合这些规则的视频流的位置的***。下面的各个实施例将通过使用围绕圆桌的会晤空间的示例加以描述。到诸如会堂或教室之类的其他会晤空间几何形状的扩展根据这样的示例将是清楚明白的。

图2A为圆桌会晤拓扑的各个实施例使用的示例背景图像204的表示。背景图像204包括与背景幕203对照的前景中的桌子图像202。背景图像204可以用来描绘例如与图1A的公共布局相对应的虚拟会晤空间。如图2A中所示，桌子图像202是合乎比例的桌面的抽象表示。然而，桌子图像202可以呈现更真实的外观，例如合并了腿、纹理、颜色等等。类似地，背景幕203也可以通过合并诸如窗户、门、椅子、壁缝等之类的其他建筑元素而呈现更真实的外观。

图2B为要从一个或多个端点接收的用于合成到图2A的背景图像中的视频流206a-206c的表示。例如，视频流206a-206c可以从诸如图1A的端点102、103和104之类的三个端点接收。可替换地，视频流206a-206c可以从具有捕获相同端点的三个不同视图的三个相机的单个端点接收。每个视频流206被捕获或编辑以符合公共布局的几何规则，例如在该示例中图1A的公共布局圆桌会晤拓扑。对于使用视频流的捕获后编辑以符合公共布局的规则的各个实施例而言，视频流206可以在源端点处、由中心管理***或者由接收端点编辑。对于该示例实施例，公共布局可以限定几何规则，作为一些示例，例如视频流206的放大、旋转、比例、它们的纵横比以及每个流内桌子200边缘的放置。公共布局还可以限定审美内容规则，例如诸如桌子200的颜色匹配桌子图像202的颜色以及背景幕201的颜色匹配背景图像204的背景幕203的颜色。

图2C为将视频流206a-206c合成到背景图像204上的表示。如图2C中所示，其在每个视频流206中的放置由公共布局限定的桌子200的边缘被定位成与桌子图像202的边缘对准以便给出视频流206的参与者就座于单个桌子处的印象，即创建其中观看合成背景图像的本地端点的参与者能够将远程参与者感知为相对于本地参与者就座于桌子对面的虚拟会晤空间。通过限定背景图像204的几何形状，接收的视频流206的希望的几何形状将由其在背景图像204中的放置限定。例如，通过知道桌子图像202的几何形状，要被合成以便显现其参与者就座于桌子图像202之后的任何视频流206的几何形状可以被限定成使得桌子200的边缘正确地与桌子图像202的边缘对准。

尽管图2B的视频流被示为根据其在图2C的合成背景图像中的放置而具有不同的几何形状，但是为每个接收端点维持端点的相对定位可能涉及从每个端点创建多个视频流。例如，参照图1A的公共布局，来自端点102的视频流在从端点101观看时将具有视频流206a的几何形状，在从端点104观看时将具有视频流206b的几何形状，并且在从端点103观看时将具有视频流206c的几何形状。尽管该合成图像可以通过使用其中每个相机被配置成捕获适当的视频流几何形状的多个相机实现或者通过单个视频流的非矩形裁切实现，但是一种可替换方案可以是合乎比例地显示视频流206以使其桌子200的边缘与桌子图像202的边缘对准。图2D为合成背景图像的表示，其中视频流206a-206c中的每一个符合单一几何形状，例如视频流206b的几何形状，但是视频流206a和206c合乎比例地显示以使其桌子200的边缘与桌子图像202的边缘对准。

应当指出的是，尽管桌子200的边缘基本上与图2C或图2D的桌子图像202的边缘对准，但是不存在绝对对准的要求。目的仅仅是有利于单个会晤空间的感知。为了降低从绝对对准的任何转移（distraction），通常可以柔化桌子图像202的边缘。图3A为背景图像204的表示，其示出具有柔化的边缘的桌子图像202。背景图像204还包括分别在背景图像204的上面部分和下面部分处的元素208和210。被示为通常从较暗逐渐变成较亮的元素208和210可以用来集中对端点的视频流的注意。图3B示出了合成到图3A的背景图像204上的视频流206a-206c。

尽管图2C、图2D和图3B绘出了具有相同图像尺寸的视频流206，但是来自一些端点的捕获的视频流可能不能够提供正确的尺寸，或者可能存在包含于视频流内容中的不希望的元素。图4A为依照一个实施例的从一个或多个端点接收的用于在背景图像中合成的视频流206a-206c的表示。图4A中绘出的视频流206b被示为只有两个参与者，留下空椅子在图像中作为不希望的内容。视频流206a-206c进一步被绘出在其图像内包括壁缝212。为了从视频流206b中移除空椅子，可以如虚线214所示裁切图像。视频流206b的裁切可以产生如图4B中所示的视频流206b1。应当指出的是，视频流206b的裁切不仅移除了空椅子，而且移除了这个示例中的壁缝212。应当指出的是，视频流206b1也可以代表不能够产生具有希望的尺寸的图像的端点的视频流。例如，对于被配置用于两个参与者而不是四个参与者的端点而言，其捕获场可能不能扩展得足够远以便在与被配置用于四个参与者的端点的捕获场相同的尺度下捕获其两个参与者。

图4B的视频流206a、206b1和206c可以照现在的样子合成到背景图像204上，如图4C中所绘。如图4C中所示，背景元素208具有与视频流206a和206c的壁缝212对准的边缘216。这种对准在合成图像中承载了该建筑人工产物（即壁缝212）的感觉。然而，视频流206b1缺乏来自其端点的壁缝212的捕获。如果该壁缝是希望的，那么可以采用抠图（matting）或者其他操纵以便从裁切的视频流添加希望的元素，或者简单地将希望的元素放回到几何上比希望的小的视频流。

图5A为具有如公共布局（例如在该示例中图1A的公共布局）所限定的希望的几何形状的面层(mat)218的表示。面层218也合并了壁缝图像220和桌子图像222。可以将面层218变暗和变模糊（图5A中未绘出，但是参见关于图3B的讨论）以便使其在视觉上没有要校正的视频流那么重要并且不使观看者分心。图5B为源侧合成视频流206b2的表示，其中视频流206b1在创建视频流的端点处合成到面层218上。通过这种方式，图5C的视频流206a、206b2和206c可以提供连续几何空间的感知。图5D为合成图像的表示，其示出合成到背景图像204上的图5C的视频流206a、206b2和206c。与图4C的合成图像不同的是，每个视频流206现在维持与视频流206a和206c的壁缝212以及视频流206b2的壁缝图像220一致的外观，所述壁缝与背景元素208的边缘216对准。

除了来自参与端点的视频流之外，合成图像还可以包括添加诸如信息元素或者标识信息之类的内容。图6A绘出了背景图像204的一个示例，该背景图像包括桌子图像202、三个视频流206a-206c以及白板224，其全部合成到单个合成图像中。图6B绘出了另一示例，其中白板224放置在与示出远程参与者的视频流206相同的空间中。图6C绘出了包含在合成图像中以便标识分别与视频流206a-206c相对应的起始位置的标识信息226a-226c的示例。可替换地，标识信息226a-226c可以用来标识参与视频会议的部门、团队或公司。信息元素或标识信息的其他示例对于涉及视频会议的那些技术人员而言将是清楚明白的。

图7为依照一个实施例的视频会议方法的流程图。

在770处，对于与选择的会晤类型相对应的视频会议的参与者限定用于会晤拓扑的公共布局。该公共布局对于会晤拓扑内的每个参与端点的位置在每个参与端点之间是一致的并且限定虚拟会晤空间的几何形状。然而，如上面例如关于图1B和图1C的公共布局所指出的，不同的端点可以是会晤空间内的不同角色。

在772处，限定符合公共布局的一个或多个背景图像。从每个参与端点的视点来看，用于该参与端点的背景图像绘出了选择的会晤类型的会晤空间的视图。公共布局限定了用于每个参与端点的背景图像的类型，其通常符合公共布局的几何形状。如上面所指出的，多个背景图像可能可用于每个公共布局。类似地，背景图像不必对于每个端点是一致的，而是由用于全局会晤类型的会晤拓扑基于每个端点在全局会晤类型中扮演的角色来确定。例如，在教室会晤类型中，充当指导者的一个端点可以利用与充当学生的其余端点不同的背景图像，但是从参与者在该会晤中的角色的角度来看，每一个都符合公共布局的几何形状。

在774处，对于要从参与视频会议的端点接收的视频流限定几何规则。这些规则符合公共布局和选择的背景图像以便允许将视频流与背景图像合成以对于公共布局限定的会晤类型促进虚拟会晤空间的感知。视频流的几何规则的实施可以由源端点实现，例如在传输该视频流之前捕获具有希望的几何形状的图像或者捕获图像并且编辑该图像以获得希望的几何形状。如上面所指出的，校正可以包括对图像的裁切、抠图或者其他操纵以获得希望的几何形状。可替换地，中心管理***或者甚至接收端点可以校正不符合公共布局规则的接收的视频流以便获得希望的几何形状。例如，中心管理***可以获得来自不能够提供希望的几何形状的端点之一的视频流。接着，中心管理***可以校正该不符合的视频流以获得希望的几何形状。然后，将该校正的视频流提供给一个或多个其他端点。在另一个示例中，接收端点可以在将该不符合的视频流合成到背景图像中之前校正该视频流。

在776处，对于每个参与端点限定其背景图像中的位置以便放置来自其他参与端点的视频流。这些位置由公共布局内端点的相对定位以及视频流和背景图像的几何形状确定。

在778处，将来自一个或多个远程端点的视频流合成到本地端点的背景图像上。将具有希望的几何形状的视频流合成到背景图像上，使得每个视频流的一个或多个元素的边缘与背景图像的对应的一个或多个元素的边缘对准，以促进由每个端点的参与者共享的单个虚拟会晤空间的感知。此外，可以将诸如信息元素或标识信息之类的附加的图像或内容合成到背景图像上。

图8为依照一个实施例的视频会议***880的框图。视频会议***880包括用于参与视频会议的一个或多个端点101-104。端点101-104与网络884通信，该网络例如电话网络、局域网（LAN）、广域网（WAN）或者因特网。对于端点101-104中的每一个而言，通信可以是有线的和/或无线的。视频会议***880被配置成执行本文描述的方法。视频会议***880包括通常称为主控服务的中心管理***882以及本地管理***883。端点101-104中的每一个包括其自身的本地管理***883。中心管理***882限定哪些端点参与视频会议。这可以通过中心调度完成，或者通过处理来自本地端点的请求完成，或者由任何事件管理客户端完成。中心管理***882限定用于参与事件的每个本地端点101-104的对应背景图像以及事件会晤拓扑的公共布局。中心管理***882还可以提供将背景图像中的位置与参与事件的远程端点的视频流发生器相联系的流连接信息。对于源侧合成，本地管理***883将各个接收的视频流合成到背景图像上以产生其合成图像。可替换地，中心管理***882可以将接收的视频流合成到背景图像上并且向每个参与端点提供与其在公共布局中的视图相对应的合成图像。

本地管理***883可以是端点的一部分，例如与每个端点关联的客户端计算机，或者它可以是分离的部件，例如服务器计算机。中心管理***882充当主计算机并且可以是端点的一部分或者与所有端点分离，例如，中心管理***882可以是网络884上的服务器计算机的功能。本地管理***883可以包括具有一个或多个处理器以提供客户端能力和服务器能力的单个计算机。

例如，客户端端点可以具有工作于虚拟会晤内的计算机***上的本地管理***883。可选地，客户端端点可以为虚拟协作事件中的另一客户端端点提供主机服务。计算机包括计算机可读存储器，其被配置成允许计算机实现用于虚拟协作事件的本地布局的合成功能。计算机接收来自主机中心管理***882的信息以便设置用于在计算机处接收的多个视频流的公共布局的规则。通过以下方式创建合成图像：基于公共布局的规则将所述多个视频流合成到包含对象的背景上，同时保持所述多个视频流的正确的比例、顺序以及与所述对象基本对准中的至少一个。背景是用所述对象的适当结构填充所述多个视频流之间的间隙的会晤空间。背景有助于为虚拟协作事件的参与者创建会晤空间的情境。合成图像在客户端端点内的显示器上显示或者如果客户端端点充当主机服务的话，则发送到远程客户端。

客户端计算机也可以针对给定会晤类型和给定数量的参与者向主机请求用于公共布局的规则。如果客户端计算机不执行该请求，则其由事件中的另一客户端计算机或者其他事件管理客户端完成。

客户端计算机也可以对接收的视频流进行抠图以替换或者添加希望的元素，使得视频流满足公共布局的规则。客户端计算机也可以基于公共布局的规则通过使用相机定位、缩放、角度、比例、捕获场或者纵横比中的至少一种技术产生至少一个视频流。客户端计算机也可以利用抠图对接收或产生的视频流进行捕获后编辑以便替换或添加希望的元素以允许它们符合公共布局。此外，公共布局的背景可以包含视频流要对准的多个对象。这些对象可以具有至少一个柔化的边缘或者可以存在从较暗淡逐渐变到较亮的对象元素。

中心管理***充当为虚拟协作事件提供虚拟会晤公共布局服务的主机。当这样做时，接收来自客户端的请求以便基于事件类型、事件端点列表和端点能力中的至少一个组织联合会晤空间事件，例如在联合会晤空间中发生的事件。主机确定用于包含对准对象的背景的背景规则，所述一个或多个事件端点中的每一个要将视频流基本上与所述对准对象对准。确定的背景规则作为联合会晤空间事件的公共布局的规则被发送到每个事件端点。

主机也可以基于组织的联合会晤空间确定用于事件端点之间的或者主机和端点之间的视频流管理的规则。主机可以将所确定的用于视频流对准的规则作为用于公共布局的规则的一部分而发送。主机也可以接收来自一个或多个事件端点的视频流以便基于用于公共布局的规则创建至少一个合成流。如果主机也充当客户端端点，那么它可以在其本地显示器上显示该合成流。如果主机将合成服务提供给另一事件端点，那么它可以将该合成流发送到该事件端点以便在该位置处显示。

主机也可以接收来自至少一个端点的视频流并且对接收的视频流进行抠图以替换或添加与用于公共布局的规则一致的希望的元素。然后，主机可以将该经过抠图的视频流发送到另一事件端点以便显示。

背景可以包括视频流要与其对准的多个对象。这些对准对象可以具有一个或多个柔化的边缘和/或从较暗逐渐变到较亮的其他元素。

中心管理***可以被配置成充当具有应用编程接口（API）的主机以便通过经由网络与客户端端点以及可能地与其他事件管理客户端通信而提供设置和配置用于事件的联合会晤空间所需的各个功能。API被配置成接收来自客户端的请求并且将对于这些请求的响应提供回到相应的客户端。来自客户端的请求可以使得主机执行以下一个或多个动作：

a. 限定用于与网络通信并且参与视频会议的两个或更多端点的公共布局，其中该公共布局与限定具有一致几何形状的会晤拓扑以及所述两个或更多端点的相对定位的选择的会晤类型相对应；

b. 限定符合公共布局的一个或多个背景图像，其中用于每个参与端点的背景图像描绘了从该参与端点的视点来看的选择的会晤类型的会晤空间的视图；

c. 限定用于要从所述两个或更多端点接收的视频流的几何规则，其中这些几何规则符合公共布局；以及

d. 对于每个参与端点限定相应背景图像内的相对位置以便放置来自一个或多个其他参与端点的视频流，其中用于放置视频流的背景图像内的相对位置包括限定位置，使得每个视频流的至少一个元素的边缘被放置成与该背景图像的至少一个对应元素的边缘对准。

此外，主机API可以被配置成编辑参与端点的不符合几何规则的视频流。而且，API可以被配置成将来自一个或多个端点的视频流合成到符合公共布局的背景图像上。API也可以被配置成将一个或多个背景图像限定成具有一个或多个元素的柔化的边缘或者具有一个或多个从较暗逐渐变为较亮的元素。

所描述的各个实施例相对于其他现有解决方案具有优势。源侧合成可以用来在传输视频流之前校正图像尺寸和内容。这使得接收端点容易将源侧合成视频流布置到适当背景图像上的最终合成全景多点图像中。

端点处的接收侧合成允许对照背景布置许多尺寸的流，这提高了环境和连通性的感觉。通过中心管理协调这些合成操作允许会晤中的所有参与者具有更好地模拟公共会晤环境的一致性视图和布置。

因此，可以存在至少两个合成级别：

1. 创建代表单独端点的视频流。用于视频流的信息仅仅来自该地点。

2. 将来自多个地点的流组合到事件背景上。

在一个实施例中，可以在源侧进行以上所述的（1），将多个视频流与本地背景图像组合。这种类型1的合成用来针对与事件所需的尺寸的尺寸失配“校正”图像。在主机处或者在由主机提供的服务处进行类型1的合成的优点在于，可以调节视频流以适合本身不能处理视频流以满足公共布局的接收客户端端点。例如，一些常规视频会议终端或房间当前不能够裁切图像或者改变图像的尺寸。因此，一个端点可能需要给非顺从的（non-compliant）公共布局端点的显示器创建用于直接显示的有效视频流。

在一个实施例中，类型（2）的合成在客户端端点侧完成。来自多个端点的流被每个客户端端点接收。然后，每个客户端端点将这些流合成到为事件限定的公共布局中。背景类型和公共布局的布置与会晤中心管理***协调，无论会晤中心管理***在网络上什么地方。

存在事件端点实施或请求主机服务提供的不同级别的操作，可以为全部需要有关公共布局事件的信息（公共布局规则）的视频流限定所述不同级别的操作。

对于单独的视频流操作，事件端点或主机可以通过以下方式对视频流进行操作以便满足公共布局规则：

a）相机配置：捕获来自本地主机的原始实况视频流。相机的正确的流生成配置（放大率（缩放）、带宽、视图等等）基于主机提供的规则中的公共布局会晤配置信息来选择。

b）非相机配置：对实况图像的操作：视频流校正以校正放大率和分辨率。

a. 可以包括对视频图像的任何调节，例如选择子区或缩放。这里的关键是基于主机/中心配置公共布局规则执行该操作以实现规定的流几何形状。

c）非相机配置：将流与背景或子背景（背景的部分）合成以创建正确的尺寸、分辨率、放大率和背景类型以便满足公共布局规则。

对于多个流操作而言，事件端点或主机可以通过以下方式对视频流操作以便满足公共布局规则：

d）收集来自网络上各个端点的正确原始流。基于公共布局规则从多个可用视频流中选择。

e）基于公共布局规则选择正确的会晤布置和背景。

f）将视频流布局和对准到公共布局会晤背景上的窗口中并且依照公共布局规则合成。

这些操作可以发生在源（主机）或接收（客户端）端点处或者充当主机服务的计算机上的某个过程处。通常，存在一定的操作顺序，其中这些操作通常如上面所指出的从a）到f）进行。

在一个实施例中，协调主机和客户端以便分配上面的操作a）-f）。例如，在一个实施例中，视频会议端点主要在主机处执行a-c并且在客户端处执行d-f。在另一个实施例中，所有步骤都在一个主机或客户端中执行。在另一个实施例中，操作a）-d）在端点客户端处进行并且操作e）-f）基于来自中心管理服务器的公共布局规则进行。操作b）-c）可以在主机服务或者端点客户端处执行。例如，较旧的视频远程出席 会议端点可能只能依照公共布局规则提供非顺从的视频流。主机服务或客户端可以在操作d）-f）之前在操作b）和c）中修复所述流。

Claims (20)

1. 一种用于虚拟会晤的计算机，所述计算机具有被配置成允许该计算机执行包括以下的步骤的计算机可读存储器：

接收来自主机的信息以便设置用于在该计算机处接收的多个视频流的公共布局的规则；

通过以下方式创建合成图像：基于所述公共布局的规则将所述多个视频流合成到具有对象的背景上，同时保持所述多个视频流的正确的比例、顺序以及与所述对象基本对准中的至少一个，其中所述背景是用所述对象的适当结构填充所述多个视频流之间的间隙的会晤空间，并且其中所述背景创建所述会晤空间的情境；以及

在显示器上显示所述合成图像。

2. 权利要求1的计算机，其中计算机可读存储器进一步被配置成使得该计算机执行步骤：针对给定会晤类型和给定数量的参与者向主机请求用于公共布局的规则。

3. 权利要求2的计算机，其中计算机可读存储器进一步被配置成使得该计算机执行以下步骤中的至少一个：抠图以替换希望的元素以及抠图以便将希望的元素添加到不满足用于公共布局的规则的视频流上。

4. 权利要求1的计算机，其中计算机可读存储器进一步被配置成使得该计算机执行步骤：基于用于公共布局的规则通过使用相机定位、缩放、角度、比例、捕获场和/或纵横比中的至少一个产生至少一个视频流。

5. 权利要求1的计算机，其中计算机可读存储器进一步被配置成使得该计算机执行以下至少一个步骤：捕获后编辑、抠图以替换希望的元素以及抠图以便将希望的元素添加到至少一个产生的视频流以及接收的多个视频流中的至少一个以符合用于公共布局的规则。

6. 权利要求1的计算机，其中所述背景包含所述多个视频流要对准的多个对象。

7. 权利要求6的计算机，其中所述对象具有柔化的边缘以及从较暗逐渐变到较亮的元素中的至少一个。

8. 一种用于提供虚拟会晤公共布局服务的方法，包括：

接收来自客户端的请求以便基于事件类型、事件端点列表和端点能力中的至少一个组织联合会晤空间事件；

为包含对准对象的背景确定背景规则，其中所述一个或多个事件端点中的每一个要将视频流基本上与所述对准对象对准；以及

将确定的背景规则作为用于联合会晤空间事件的公共布局的规则发送到每个事件端点。

9. 权利要求8的方法，还包括基于组织的联合会晤空间确定用于事件端点和/或主机之间的视频流管理的规则以及将所确定的用于视频流对准的规则作为用于公共布局的规则的一部分而发送。

10. 权利要求8的方法，还包括接收来自一个或多个事件端点的视频流以及基于用于公共布局的规则创建至少一个合成流。

11. 权利要求10的方法，还包括将所述合成流发送到另一事件端点以便显示。

12. 权利要求8的方法，还包括接收来自至少一个事件端点的视频流并且对该视频流进行抠图以便实现以下至少一个：替换与用于公共布局的规则一致的希望的元素以及添加所述希望的元素。

13. 权利要求12的方法，还包括将所述抠图的视频流发送到另一事件端点以便显示。

14. 权利要求8的方法，其中背景包括将视频流与其对准的多个对象。

15. 权利要求9的方法，其中所述对准对象具有柔化的边缘以及从较暗逐渐变到较亮的元素中的至少一个。

16. 一种用于视频会议的主控服务器，包括：

服务器计算机，其用于与网络通信，被配置成接收来自客户端的请求并且提供响应给客户端，所述请求使得该服务器执行以下步骤中的一个或多个，所述步骤包括：

限定用于与所述网络通信并且参与视频会议的两个或更多端点的公共布局，其中该公共布局与限定具有一致几何形状的会晤拓扑以及所述两个或更多端点的相对定位的选择的会晤类型相对应；

限定符合所述公共布局的一个或多个背景图像，其中用于每个参与端点的背景图像描绘了从该参与端点的视点来看的选择的会晤类型的会晤空间的视图；

限定用于要从所述两个或更多端点接收的视频流的几何规则，其中所述几何规则符合所述公共布局；以及

对于每个参与端点限定相应背景图像内的相对位置以便放置来自一个或多个其他参与端点的视频流，其中用于放置视频流的背景图像内的相对位置包括限定位置，使得每个视频流的至少一个元素的边缘被放置成与该背景图像的至少一个对应元素的边缘对准；并且

其中该服务器计算机将该请求的限定的结果返回到相应客户端。

17. 权利要求16的主控服务器，还包括：

其中所述服务器被配置成提供编辑参与端点的不符合几何规则的视频流。

18. 权利要求16的主控服务器，其中所述请求进一步使得服务器执行步骤：

将来自一个或多个端点的视频流合成到符合公共布局的背景图像上。

19. 权利要求16的主控服务器，其中限定一个或多个背景图像包括将一个或多个背景图像限定成具有所述背景图像的一个或多个元素的柔化的边缘。

20. 权利要求16的主控服务器，其中限定一个或多个背景图像包括将一个或多个背景图像限定成具有所述背景图像的一个或多个从较暗逐渐变到较亮的元素。

Images