CN117321985A - 具有多种空间交互模式特征的视频会议*** - Google Patents

具有多种空间交互模式特征的视频会议*** Download PDF

Info

Publication number
CN117321985A
CN117321985A CN202280035254.XA CN202280035254A CN117321985A CN 117321985 A CN117321985 A CN 117321985A CN 202280035254 A CN202280035254 A CN 202280035254A CN 117321985 A CN117321985 A CN 117321985A
Authority
CN
China
Prior art keywords
user
mode
users
virtual
computing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280035254.XA
Other languages
English (en)
Inventor
C·皮特斯
A·M·东斯巴赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN117321985A publication Critical patent/CN117321985A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

描述了用于多出席者视频会议的***和方法。***可以从靠拢视频会议模式转换为空间视频会议模式。特别地，通过分配用户角色，与其他用户相比，特定用户可以具有对视频会议的更大控制。例如，主持人可以具有对视频会议***的更高水平的控制。因此，在本公开的示例实施方式中，特定用户可以影响两个或更多个视频会议模式之间的转换，诸如在靠拢视频会议模式和空间视频会议模式之间的转换。

Description

具有多种空间交互模式特征的视频会议***
优先权声明
本申请基于申请日为2021年8月4日的美国申请17/394,321并要求其优先权，其通过引用并入本文。
技术领域
本公开总体上涉及视频会议技术。更具体地，本公开涉及用于视频会议的***和方法，其包括或提供多种空间交互模式，诸如具有虚拟交互空间的视频会议内的不同观看和布置模式。
背景技术
多出席者视频会议***可以向客户端设备提供针对视频会议的多个出席者的视听流。通常，存在许多参与视频会议的参与者，并且参与者可以在显示器屏幕上可视化(例如，来自其他参与者的视觉数据、所呈现的内容、共享的内容等)。
然而，在现有的视频会议技术中，视频会议工具适合于传统的会议和讲座。例如，在某些现有的视频会议***中，每个视听流的音频部分始终放置在与视频会议相关联的音频音场(soundstage)的前部和中心，并且每个视听流的视频部分以具有完整相机视图的布局(例如，矩阵、网格、并排等)布置。无论会议类型、内容类型、屏幕上的参与者可能所在的位置或参与者在会议中的角色如何，通常都保持该表示。这种传统的视频会议布局不能很好地作用于非传统会议，如社交聚会、小组教育、协作冲刺(sprint)、网络事件或大型事件。
特别地，在现有的视频会议布局中，参与者可能艰难地参与非传统会议的体验或目的。这种完全参与到视频会议内的艰难可能导致误解、疲劳、中断、无法分离多个扬声器/音频源等。这些缺点中的每一个都可能导致更长的视频会议，这可能导致计算资源的使用增加，诸如处理器使用、存储器使用、网络带宽等。此外，参与者可能没有接入参与非传统会议所要求的应用、软件或工具。这可能导致参与者无法参加社交聚会、小组教育、协作冲刺、网络活动等。另外，所有参与者可以暴露于相同的共享资产，而不管他们在视频会议中的角色如何。
发明内容
本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中学习，或者可以通过实施例的实践来学习。
本公开的一个示例方面针对一种计算***，包括一个或多个处理器和存储指令的一个或多个非暂时性计算机可读介质，指令在由一个或多个处理器执行时使得计算***执行操作。操作包括接收分别与多个用户相关联的多个视听流。操作包括在第一操作模式下提供视频会议，其中，在第一操作模式下，多个用户中的每个用户能够遍布视频会议的虚拟会议空间自由移动其相应虚拟位置。操作包括从视频会议的多个用户中的第一用户接收请求视频会议从第一操作模式转换到第二操作模式的输入，其中，在第二操作模式中，多个用户中的每个用户的相应虚拟位置被分配给虚拟会议空间中的锚点的限定集合中的一个锚点。操作包括响应于来自第一用户的输入，使得视频会议从第一操作模式转换到第二操作模式。
本公开的另一示例方面针对一种用于具有多个空间模式的视频会议的计算机实现的方法。方法包括由包括一个或多个计算设备的计算***接收分别与多个用户相关联的多个视听流。该方法包括由计算***在第一操作模式下提供视频会议，其中，在第一操作模式下，多个用户中的每个用户能够遍布视频会议的虚拟会议空间或在虚拟会议空间内的锚点的集合当中自由移动其相应虚拟位置。该方法包括由计算***从视频会议的多个用户中的第一用户接收输入，该输入请求视频会议从第一操作模式转换到第二操作模式，其中，在第二操作模式下，多个用户中的至少一个用户的相应虚拟位置被分配并固定到虚拟会议空间中的锚点的集合中的一个锚点。该方法包括响应于来自第一用户的输入，由计算***使得视频会议从第一操作模式转换到第二操作模式。
本公开的另一示例方面针对一个或多个非暂时性计算机可读介质，其存储可由一个或多个处理器执行以执行操作的指令。操作包括接收分别与多个用户相关联的多个视听流。操作包括以第一操作模式提供视频会议，其中，在第一操作模式下，多个用户中的每个用户能够遍布视频会议的虚拟会议空间自由移动其相应虚拟位置，并且其中，针对视频会议的多个用户中的第一用户并且在第一操作模式下，每个其他用户的相应视听流的音频回放的相应音量与第一用户的虚拟位置和虚拟会议空间内的每个其他用户的相应虚拟位置之间的相应距离负相关。该操作包括从第一用户接收输入以将虚拟会议空间内的第一用户的虚拟位置从第一位置移动到第二位置；并且响应于该输入：确定第一用户的虚拟位置与虚拟会议空间内的每个其他用户的相应虚拟位置之间的更新的相应距离；以及基于更新的相应距离来动态地改变每个其他用户的相应视听流的音频回放。
本公开的另一示例方面针对一种用于具有空间和非空间模式的视频会议模式的计算***。该计算***包括一个或多个处理器和一个或多个非暂时性计算机可读存储介质，该一个或多个非暂时性计算机可读存储介质存储可由一个或多个处理器执行以执行操作的指令。操作包括接收分别与多个用户相关联的多个视听流。操作包括在靠拢(huddle)操作模式中提供视频会议，其中，在靠拢操作模式中，针对多个用户的每个视听流的音频回放的相应音量是相等的。操作包括从视频会议的多个用户中的第一用户接收请求视频会议从靠拢操作模式转换到空间操作模式的输入，其中，在空间操作模式中，多个用户中的每个用户在视频会议的虚拟会议空间内具有相应虚拟位置，并且其中，在空间操作模式中，每个用户的音频回放的相应音量是每个用户在虚拟会议空间内的相应虚拟位置的函数。操作包括响应于来自第一用户的输入，使得视频会议从靠拢操作模式转换到空间操作模式。
本公开的另一示例方面针对一种用于具有空间和非空间模式的视频会议的计算机实现的方法。方法包括由包括一个或多个计算设备的计算***接收分别与多个用户相关联的多个视听流。方法包括：由计算***以靠拢操作模式提供视频会议，其中，在靠拢操作模式下，针对多个用户的每个视听流的音频回放的相应音量是相等的。该方法包括由计算***接收来自视频会议的多个用户中的第一用户的输入，该输入请求视频会议从靠拢操作模式转换到空间操作模式，其中，在空间操作模式下，多个用户中的每个用户在视频会议的虚拟会议空间内具有相应虚拟位置，并且其中，在空间操作模式下，每个用户的音频回放的相应音量是每个用户在虚拟会议空间内的相应虚拟位置的函数。该方法包括响应于来自第一用户的输入，由计算***使得视频会议从靠拢操作模式转换到空间操作模式。
本公开的另一示例方面针对一个或多个非暂时性计算机可读介质，其共同存储指令，指令在由包括一个或多个计算设备的计算***执行时使得计算***执行操作。操作包括由计算***接收分别与多个用户相关联的多个视听流。操作包括由计算***在靠拢操作模式下提供视频会议，其中，在靠拢操作模式下，针对多个用户的每个视听流的音频回放的相应音量是相等的。操作包括由计算***从视频会议的多个用户中的第一用户接收输入，该输入请求视频会议从靠拢操作模式转换到空间操作模式，其中，在空间操作模式下，多个用户中的每个用户在视频会议的虚拟会议空间内具有相应虚拟位置，并且其中，在空间操作模式下，每个用户的音频回放的相应音量是每个用户在虚拟会议空间内的相应虚拟位置的函数。操作包括响应于来自第一用户的输入，由计算***使得视频会议从靠拢操作模式转换到空间操作模式。
本公开的其他方面针对各种***、装置、非暂时性计算机可读介质、用户界面和电子设备。
参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与说明书一起用于解释相关原理。
附图说明
在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，在附图中：
图1描绘了根据本公开的示例实施例的示例计算***的框图。
图2描绘了根据本公开的示例实施例的靠拢操作模式的示例。
图3A描绘了根据本公开的示例实施例的第一空间操作模式的示例。
图3B描绘了根据本公开的示例实施例的视频会议中的第一空间操作模式的示例。
图3C描绘了根据本公开的示例实施例的在第一操作模式下的动态环的示例
图4A描绘了根据本公开的示例实施例的第一操作模式中的聚焦特征的示例。
图4B描绘了根据本公开的示例实施例的将参与者分类到分组讨论房间(breakoutroom)中的能力的示例。
图5A、图5B和图5C描绘了根据本公开的示例实施例的第二操作模式下的虚拟会议空间的示例性布局。
图6描绘了根据本公开的示例实施例的第二操作模式下的多个预定义结构模式的示例。
图7描绘了描绘根据本公开的示例实施例的切换到第二操作模式的示例过程的流程图。
在多个附图中重复的附图标记旨在标识各种实施方式中的相同特征。
具体实施方式
本公开的示例方面针对用于视频会议的***和方法，其包括或提供多种空间交互模式，诸如具有虚拟交互空间的视频会议内的不同观看和布置模式。例如，当以各种形式的空间交互模式操作时，视频会议可包括本质上为二维或三维的虚拟会议空间。可以使视频会议中的参与者能够在虚拟会议空间内移动。例如，在一些模式下，用户可能能够遍布虚拟会议空间自由移动(例如，没有限制)，而在其他模式下，用户能够在虚拟空间内的限定锚点之间移动(或请求移动)。例如，每个用户可以在虚拟空间的图形表示内移动他们的头像(avatar)以改变他们在虚拟空间内的相应定位。
根据本公开的一个方面，从给定用户的角度来看，可以以以给定用户与虚拟空间内的其他用户之间的空间关系的函数的方式来修改或以其他方式呈现与每个其他用户的视听流相关联的音频和/或视频。例如，从给定用户的角度，在一些模式(例如，第一空间操作模式)下，每个其他用户的视听流的音频回放的音量与给定用户的虚拟位置和虚拟会议空间内的每个其他用户的虚拟位置之间的相应距离负相关。因此，在虚拟会议空间内更近的用户可以更响亮，而在虚拟会议空间中更远的用户可以更柔和(或完全静音)。在其他示例中(例如，在第二空间操作模式中)，从给定用户的角度，某个其他用户的音频回放的音量可以基于给定用户是否被分配到与虚拟会议空间中的其他用户相同的锚点。因此，给定用户可以听到和/或看到仅与位于虚拟会议空间内的相同锚点处的其他用户相关联的音频和/或视频。
另外的示例方面还针对用于基于从使用***的一个或多个用户接收的输入在多个不同的视频会议模式之间进行模式转换的技术。特别地，在一些实施方式中，可以将用户角色分配给至少一些用户。这些用户角色可以包括例如主持人、参与者等。特别地，通过分配用户角色，与其他用户相比，特定用户可以具有对视频会议的更大控制。例如，主持人可以具有对视频会议***的更高级别的控制。因此，在本公开的示例实施方式中，特定用户可以影响两个或更多个视频会议模式之间的转换，诸如在靠拢视频会议模式和空间视频会议模式之间的转换，而其他用户不能影响这样的转换。因此，在本公开的示例实施方式中，每个特定用户可以具有对视频会议模式的控制。然后，可以接收来自至少一个特定用户的输入，使得模式从例如靠拢视频会议模式切换到空间视频会议模式或者从空间视频会议模式切换到靠拢视频会议模式。以这种方式，视频会议的用户可以在同一视频会议呼叫中参与靠拢和非传统会议模式。
更具体地，视频会议***可以接收分别与视频会议中的多个参与者相关联的多个视听流。每个视听流可以包括音频数据和视觉数据。在一些实施方式中，参与者中的一些或全部可以是人类参与者。例如，视觉数据可以对应于描绘人类参与者的视频，而音频数据可以对应于在人类参与者所在的环境中捕获的音频。在一些实施方式中，一些参与者可以对应于在一些或所有其他参与者当中共享的内容。例如，视听流可以对应于共享显示器或其他共享内容(例如，由特定人类参与者从其设备共享或从第三方源或集成共享)。在另一示例中，一个视听流可以对应于多个人类参与者(例如，位于同一房间中使用视听装备集的多个人类)。
在一些实施方式中，视听流(例如，由参与者共享的显示器(display)流)可以包括动态视觉数据，而流的音频数据为空或空白。在其他实施方式中，视听流可以包括动态音频数据，而流的视觉数据是空的或空白的(例如，如在人类参与者“关闭”其视频的情况下)。因此，如本文所使用的，术语视听流通常是指可以包括音频和/或视频的定义的内容流。多个内容流可以源自相同的设备(例如，如在用户具有针对其视频/音频出席(presence)的第一视听流和将内容从其设备共享给其他参与者的第二视听流的情况下)。
在一些实施方式中，对于包括在视频会议中的一些或全部视听流，视频会议***可以在靠拢操作模式内操作。在一些实施方式中，靠拢操作模式可以以矩阵布局布置多个用户。靠拢操作模式还可以以相等的水平提供音频回放，而不管用户在视频会议中的定位如何。作为示例，靠拢操作模式可以以矩阵布局显示视听流。在矩阵布局中，视听流的视频数据可以被布置在具有相等行和相等列(例如，1x1、2x2、3x3、4x4等)的表中，并且被提供用于显示给用户。
根据本公开内容的方面，对于包括在视频会议中的视听流中的一些或全部视听流，视频会议***可以以第一空间操作模式提供视频会议。第一空间操作模式可以在视频会议的虚拟会议空间中显示视听流。在第一操作模式下，可以为用户分配视频会议的虚拟会议空间中的虚拟位置。作为示例，当在第一操作模式下时，可以允许用户遍布视频会议的虚拟会议空间自由移动其相应虚拟位置。例如，可以使用户能够将他们相应头像拖放或以其他方式操纵到虚拟会议空间中的新位置。在一些实施方式中，第一空间操作模式可以被称为“课后”(recess)模式，其中每个人自由地到处移动并创建和离开对话群聚(pod)。
在一些情况下，第二空间操作模式可以将视频会议的每个用户分配给虚拟会议空间中的锚点的限定集合中的一个锚点。例如，每个用户可以被随机地分配到锚点，或者可以被分配到在转换到第二空间操作模式之前最接近其先前定位的锚点。锚点可以是虚拟会议空间中的预定义空间或区域。作为一个示例，用户可以被锁定到虚拟会议空间中分配的锚定点。作为另一示例，用户可以能够在锚点之间移动。在更具体的示例中，用户可能能够仅在规定的(即，有限的)数量的锚点之间移动。
在一些实现中，第二操作模式将视频会议的每个用户分配给最接近用户的先前位置的锚点。因此，用户可以能够容易地识别他们在虚拟会议空间中的虚拟位置，因为它可以类似于他们在第一操作模式下的位置。在另一实施方式中，第二操作模式可以将每个用户分配给他们在虚拟会议空间中的先前定位(例如，如果先前在当前视频会议中使用了第二操作模式，则第二操作模式可以将每个用户分配用户在虚拟会议空间中的先前定位)。在一些实施方式中，可以根据预定义的分配将某些用户或用户组分配给锚。例如，在将视频会议技术应用于虚拟教室的示例中，可以根据预定义的分配将用户组(例如，学生)分配给每个锚。例如，一个班级中的不同数学分轨(tracks)或不同阅读组可以被分配给(并且因此自动对应地定位在)与不同教室/班级对应的不同锚点。
在一些实施方案中，第二操作模式可能包含“行”模式或以“行”模式组织。在行模式中，可以将多个用户单独分配给视频会议的虚拟会议空间中的锚点集合中的一个锚点。在某些情况下，音频回放可以专门限于用户的当前锚点。在行模式下，用户可以能够与另一用户切换锚点以改变他们的相对虚拟位置。在某些情况下，用户可能能够移动到可用锚点以改变他们的相对虚拟位置。管理用户还可以能够将用户重新分配到另一个锚点以改变他们的虚拟位置。在另一实施方式中，在行模式中，除了管理用户之外的所有用户可以被单独地分配给锚点的集合中的一个锚点。
行模式的一个示例用例是使管理员(例如，教师)能够单独地和/或选择性地访问其他会议参与者(例如，学生)。行模式可以用于例如专心的学生工作。每个学生可以与其他学生分开，以便专注于他们自己的工作。教师和具有管理权限的其他人可以观察房间中的任何人并与其交互。这促进了问答并为1：1交互创造机会。
在一些实施方式中，第二操作模式可以包含“群聚”模式或以“群聚”模式组织。在群聚模式中，两个或更多个用户被分配给锚点的集合中的至少一个锚点。音频回放可以排他地限制于分配的锚点的用户的当前集合。在群聚模式下，用户可以在分配的锚点的集合当中自由地移动他们的虚拟位置。在群聚模式下，管理用户可以控制包含在群聚中的总用户，群聚是被锁定还是解锁以供新用户加入，以及群聚在虚拟会议空间中的虚拟位置。管理用户即使在处于锁定状态时也能够加入群聚。在群聚模式中，每个用户的音频回放是与他们当前被分配的群聚相关联的音频，但是用户可能能够以减小的音量听到其他群聚。
在一些示例中，群聚模式可以用于促进小组工作。例如，可以将小学生的小组分配给群聚，其中它们可以与群聚中的其他人交互。教师和具有管理权限的其他人可以观察房间中的任何人并与其交互。
在群聚模式的一些实施方式中，管理用户可以控制群聚中包含的总用户和群聚在虚拟会议空间中的虚拟位置。管理用户即使在处于锁定状态时也能够加入群聚。在群聚模式的一些实施方式中，音频回放可以限于管理用户的音频。
根据本公开的另一方面，群聚模式可以包含共享资产功能。共享资产功能可以允许用户共享诸如共享资产(例如，白板、黑板、幻灯片、文档、电子表格等)的资产。管理用户可以控制用户或群聚是否可以利用共享资产功能。共享资产功能可以自动向虚拟会议空间中的其他用户授予诸如编辑特征、查看特征和交互特征的权限。编辑特征将允许共同位于锚点的集合处的用户写入或改变共享资产。
根据本公开的另一方面，视频会议***可以至少部分地基于用户和其他用户的虚拟位置来确定虚拟会议空间内的每个视听流的虚拟音频位置。视频会议***可以修改与每个视听流相关联的音频数据，以使音频数据的回放具有针对视听流确定的虚拟会议空间内的虚拟音频位置。视频会议***然后可以提供具有经修改的音频数据的视听流以用于视频会议中的视听回放。
在一些实施方式中，视频会议***可以修改与虚拟会议空间内的每个视听流相关联的音频数据。在一些实施方式中，每个用户的视听流的音频回放音量可以与第一用户的虚拟位置和虚拟会议空间内的每个其他用户的虚拟位置之间的相应距离负相关。在一些示例中，第一用户的音频回放音量可以基于另一用户与第一用户的距离或者第一用户是否被分配到与虚拟会议空间中的另一用户相同的锚点。
在一些实施方式中，视频会议***可以不修改与虚拟会议空间内的每个视听流相关联的音频数据。音频回放对于所有用户可以是相等的，并且不会反映用户的虚拟位置。在一个示例中，如果用户以矩阵布局布置，则音频回放对于视频会议中的所有用户将是相等的。
根据本公开的另一方面，用户可以将他们的本地视图修改为多个不同的样式。其视图模式的改变可以是仅在用户的实例上可见的本地改变。存在许多可能的视图模式。一个示例视图模式是邻域视图。在该视图中，用户被“缩小”，并且可以看到整个虚拟会议空间和参与者集合。另一示例视图模式是对话视图模式。在该视图中，用户在他们自己的对话上被“放大”。对话中的参与者和协作资产被最大化，而其他参与者和资产可能不可见。
根据本公开的另一方面，第一空间操作模式或第二空间操作模式中的视频会议***可以包含小地图。小地图可显示虚拟会议空间的缩放视图。虚拟空间可以操作或具有类似于数字地图应用的地图的控件。与示出用户的特定位置的虚拟空间的主要放大视图相比，小地图可以使用户能够通过看到空间的更大视图来导航通过虚拟空间。
根据本公开的另一方面，视频会议的虚拟会议空间中的用户可以具有围绕用户的相应头像的动态环。动态环可以提供与属于相应用户的度量相关联的信息。度量可以是诸如用户已经说话的总时间的数据。作为示例，用户讲话越多，相应用户的头像周围的动态环将生长或改变颜色。
在一些实施方式中，当处于空间操作模式时，每个用户的视图可以从广角转换到面部跟踪。在空间聊天中，通过裁剪到用户面部附近的区域来尝试并最小化“浪费的”像素可能是有利的。
根据本公开的另一方面，视频会议***可以从视频会议的用户之一接收请求视频会议在不同操作模式之间(例如，在靠拢操作模式和/或一个或多个不同空间操作模式之间)转换的输入。在一些示例中，任何用户可以请求视频会议在第一和第二操作模式之间的转换。在其他实施例中，用户必须在与视频会议相关联的预定义接入控制列表上，以请求视频会议在第一和第二操作模式之间的转换。在一些实施方式中，可以在视频会议期间确定接入控制列表。接入控制列表可以定义能够在视频会议中引起模式转换的第一用户的结合。更具体地，接入控制列表可以定义视频会议的管理用户集合。这些用户被预先批准以影响视频会议的控制。在某些情况下，视频会议***可以确定请求转换的用户是否列在接入控制列表上。如果请求转换的用户列在接入控制列表上，则视频会议***然后可以响应于该请求使视频会议从第一模式转换到第二模式。
因此，视频会议***可以从视频会议中的用户接收输入。输入可以针对允许用户切换到多个不同的预定义锚点布置、加入新的群聚并创建新的锚点、加入可用的开放空间、加入虚拟会议空间中的另一个锚点、放大以聚焦于当前虚拟位置，以及缩小到虚拟会议空间的扩展视图。作为示例，在第二操作模式下，用户可以能够自由地移动并加入虚拟会议空间中的开放空间，用户可以使用聚焦特征和缩小特征来改变虚拟会议空间的当前本地视图。
本公开中描述的技术(例如，通常归属于视频会议***的技术)可以在各种不同的设备处执行。作为一个示例，本文描述的技术(例如，在视频会议模式之间切换)可以在促进视频会议的服务器计算***处执行。例如，当视频会议应用用于教育时，该场景可能是有利的。作为另一示例，本文描述的技术(例如，在视频会议模式之间切换)可以在客户端计算设备(例如，与用户之一相关联的设备)处执行。例如，当会议需要从靠拢或专业设置切换到社交或团队工作设置时，该场景可能是有利的。在一个示例中，可以经由由执行视频会议网页应用的浏览器应用执行的插件或其他计算机可读代码在客户端计算设备上执行将视频会议切换到不同的操作模式。在另一示例中，可以在专用视频会议应用中执行客户端操作。
本公开提供了许多技术效果和益处。作为一个示例技术效果和益处，本公开的***和方法使得用户能够参与非传统会议。以这种方式，用户可以参与社交聚会、小组教育、协作泉、网络事件等，而不必切换到不同的应用。同一视频会议应用中的改进的功能可以导致用户不需要购买或下载附加软件。此外，所有用户可以根据需要在视频会议内工作或参与，并且无论他们在视频会议中的角色如何，都不会被困在相同的共享资产上。
作为另一示例技术效果，本公开的***和方法实现了多出席者视频会议中的参与者的改进的音频理解。更具体地，本公开修改来自视频会议中包括的一些或所有源(例如，每个视听流)的音频数据，使得音频数据的回放与虚拟会议空间中的用户的虚拟位置相关。以这种方式，视频会议的参与者可以容易地专注于当前虚拟位置，并且对视频会议中包括的每个音频信号的源进行归属。对音频源属性的改进和直观理解可以减少疲劳并提供更可理解和一致的用户体验，这对于具有视觉缺陷的用户可能是特别有利的。
作为另一示例技术效果，本公开的***和方法还导致计算资源的节省。特别地，本公开的***和方法使得视频会议的参与者能够更容易地识别包括在视频会议中的每个音频信号并将其归属于特定源。这可以减少视频会议中的混淆，这可以减少视频会议的长度，因为可能需要澄清更少的误解。较短的视频会议可以节省计算资源，例如处理器使用、存储器使用、网络带宽等。另外，用户可以像“听众”一样消费视频会议，其中基于内容类型、用户角色和可访问性设置的音频的这种空间分布可能足以理解和跟随会议，从而通过省略视觉数据来节省带宽。
本文中所提出的技术可以对视力受损用户具有特定帮助，视力受损用户可能无法在视觉上确定当前说话者或音频源的身份。因此，作为示例，通过将音频空间中的虚拟位置分配给用户，视力受损的用户可以判断当前锚的集合中的用户或虚拟会议空间的另一区域中的用户是否正在说书和/或声音是否属于共享资产或集成应用程序。
现在参考附图，将更详细地讨论本公开的示例实施例。
图1描绘了根据本公开的示例实施例的示例客户端-服务器环境100。客户端-服务器环境100包括由网络180连接并通过网络180通信的客户端计算设备102和服务器计算***130。尽管描绘了单个客户端计算设备102，但是任何数量的客户端计算设备102可以被包括在客户端-服务器环境100中并且通过网络180连接到服务器计算***130。
在一些示例实施例中，客户端计算设备102可以是任何合适的设备，包括但不限于智能电话、平板电脑、膝上型电脑、台式计算机、游戏控制台或被配置为使得其可以允许用户参与视频会议的任何其他计算机设备。客户端计算设备102可以包括一个或多个处理器112、存储器114、相关联的显示设备120、视频会议应用122、相机124、麦克风126和音频回放设备128(例如，诸如立体声扬声器的扬声器)。
一个或多个处理器112可以是任何合适的处理设备，诸如微处理器、微控制器、集成电路或其他合适的处理设备。存储器114可以包括任何合适的计算***或介质，包括但不限于非暂时性计算机可读介质、RAM、ROM、硬盘驱动器、闪存驱动器或其他存储器设备。存储器114可以存储可由一个或多个处理器112访问的信息，包括可以由一个或多个处理器112执行的指令。指令可以是当由一个或多个处理器112执行时使一个或多个处理器112提供期望的功能的任何指令集合。
特别地，在一些设备中，存储器114可以存储用于客户端计算设备102和服务器计算设备130之间的视频会议的指令(例如，一个或多个视频会议应用122等)。客户端计算设备102可以实现指令以执行本公开的各方面，包括引导与服务器计算***130的通信，向用户提供视频会议应用122和/或视频流，将接收到的视频流缩放到不同分辨率的显示区域，和/或生成并向服务器计算***发送请求显示区域的新视频流的指令。
将理解，术语“***”可以指代专用硬件、在更一般的处理器上执行的计算机逻辑或其某种组合。因此，***可以在控制通用处理器的硬件、专用电路、固件和/或软件中实现。在一个实施例中，***可以实现为存储在存储设备上、加载到存储器中并由处理器执行的程序代码文件，或者可以从存储在有形计算机可读存储介质(诸如RAM、硬盘或光学或磁性介质)中的计算机程序产品(例如计算机可执行指令)提供。
存储器114还可以包括可以由一个或多个设备112检索、操纵、创建或存储的数据116，诸如视频会议数据(例如，在客户端计算处理器102处捕获的或从服务器计算***130接收的)。在一些示例实施例中，这样的数据可以在视频会议期间被访问并显示给客户端计算设备102的一个或多个用户，或者被传输到服务器计算***130。
客户端计算设备102可以执行视频会议应用122。在一个示例中，视频会议应用122是专用的、特制的视频会议应用。在另一示例中，视频会议应用122是在本地(例如，通过处理器112)执行计算机可读代码以提供视频会议作为网页应用的浏览器应用。
视频会议应用122可以从相机124和/或麦克风126捕获视觉数据，并将该数据发送到服务器计算***130。客户端计算设备102可以从服务器计算***130接收来自视频会议的一个或多个其他参与者(例如，其他客户端计算设备102)的视听数据(例如，音频数据和/或视觉数据)。然后，客户端计算设备102可以在相关联的显示设备120上向客户端计算设备102的用户显示所接收的视觉数据和/或利用音频回放设备128使得向客户端计算设备102的用户回放接收的音频数据。在一些示例实施例中，相机124从一个或多个用户收集视觉数据。相机124可以是能够捕获视觉数据的任何设备。麦克风126可以是能够捕获音频数据的任何设备。在一个示例中，网络摄像头可以用作相机和麦克风两者。
根据一些示例实施例，服务器计算***130可以包括一个或多个处理器132、存储器134和视频会议***140。存储器134可以存储可由一个或多个处理器132访问的信息，包括可以由处理器执行的指令138和数据136。
服务器计算***130可以使用未示出的网络通信设备与一个或多个客户端计算设备102通信。网络180可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合。通常，客户端计算设备102与服务器计算***130之间的通信可以使用任何类型的有线和/或无线连接、使用各种通信协议(例如，TCP/IP、HTTP、RTP、RTCP等)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)经由网络接口来携带。
服务器计算***130可以包括视频会议***140。在一些实施方式中，视频会议***140可以被配置为促进由一个或多个客户端计算设备102执行的视频会议应用122的操作。作为示例，视频会议***140可以从分别与多个视频会议出席者相关联的多个客户端计算设备102(例如，经由网络180)接收视听流。视频会议***140可以向客户端计算设备102中的每一个提供视听流。
视频会议应用122和/或视频会议***140可以独立地或协作地操作以执行本文描述的任何技术。
图2描绘了根据本公开的示例实施例的靠拢操作模式的示例。特别地，图2示出了用于靠拢操作模式下的视频会议应用的基本用户界面200。用户界面200显示来自分别与视频会议中的多个参与者相关联的多个视听流的视觉数据。每个视听流可以包括音频数据和视觉数据。在一些实施方式中，参与者中的一些或全部可以是人类参与者。例如，视觉数据可以对应于描绘人类参与者的视频，而音频数据可以对应于在人类参与者所在的环境中捕获的音频。例如，用户界面的区域202和204对应于描绘视频会议的两个不同人类参与者的视频。例如，靠拢操作模式可以具有矩阵布局206。
在一些实施方式中，一些参与者(未示出)可以对应于在一些或所有其他参与者之间共享的内容。例如，视听流可以对应于共享显示器或其他共享内容(例如，由特定人类参与者从其设备共享或从第三方源或集成共享)。在另一示例中，一个视听流可以对应于多个人类参与者(例如，位于同一房间中使用视听装备集的多个人)。
在一些实施方式中，视听流(例如，由参与者共享的显示流)可以包括动态视觉数据，而流的音频数据为空或空白。在其他实施方式中，视听流可以包括动态音频数据，而流的视觉数据是空的或空白的(例如，如在人类参与者“关闭”其视频的情况下)。因此，如本文所使用的，术语视听流通常是指可以包括音频和/或视频的定义的内容流。多个内容流可以源自相同的设备(例如，如在用户具有用于其视频/音频出席的第一视听流和将内容从其设备共享给其他参与者的第二视听流的情况下)。在一些实施方式中，第一用户的视听流可以由相应用户的视觉流周围的图标(未示出)或框来指示。突出显示的框或图标可以指示用户在接入控制列表上。
图3A描绘了根据本公开的示例实施例的第一空间操作模式的示例。特别地，图3A示出了用于第一操作模式下的视频会议应用的基本用户界面300。用户界面300显示来自分别与视频会议中的多个参与者相关联的多个视听流的视觉数据。
在第一操作模式下，多个用户能够在虚拟会议空间302周围自由移动。例如，由头像304表示的用户可以在虚拟会议空间302中的任何地方点击并拖放她的头像304。具体地，图3A和图3B一起描绘了根据本公开的示例实施例的第一操作模式下的移动的示例。具体地，图3A和图3B示出了用户304移动到虚拟会议空间302中的新虚拟位置。
在一些实施方式中，每个其他用户的视听流的音频回放音量可以与第一用户的虚拟位置和虚拟会议空间302内的每个其他用户的相应虚拟位置之间的相应距离负相关。另一用户离第一用户越远，每个其他用户的音频回放越柔和。另一用户离第一用户越近，每个其他用户的音频回放越响亮。
图3C描绘了根据本公开的示例实施例的在第一操作模式下的动态环。更具体地，动态环322提供信息。在一些实施方式中，当用户最近没有说话时，动态环将不会视觉地显示。当用户正在讲话并且之前已经讲话时，动态环322可以出现在用户的头像周围，其中内环324指示用户当前正在说话。当用户最近已经说话但当前没有说话时，动态环322可以显示，但可以不具有内环(例如，如326所示)。通常，在一些示例中，当用户说话时，动态环322可以增长，然后当用户不说话时可以衰减。
图4A示出了用户在虚拟会议空间400内导航的能力。例如，地图式缩放和平移控件可以使用户能够放大和缩小虚拟会议空间400并在虚拟会议空间400周围平移。这将允许用户本地显示虚拟会议空间400的当前区域的减小视图。类似地，用户可以缩小当前视图。缩小特征(未示出的特定控件小部件)可以允许用户本地显示虚拟会议空间的展开视图(未示出)。小地图402可以向用户提供关于他们在会议空间400内本地显示的位置的快速参考。在一些实施方式中，如果用户使用缩小特征来示出整个虚拟会议空间，则小地图402将不显示。
图4B描绘了根据本公开的示例实施例的将参与者分类到分组讨论房间中的能力的示例。例如，用户头像450可被分类到在虚拟会议空间内限定的多个不同的分组讨论房间中。在所图示的示例中，两个分组讨论房间被示出为452和454。每个分组讨论房间可以具有其自己的音频和/或视频。用户可以通过移动他们的头像来在分组讨论房间(例如，受到管理控制)之间切换。
图5A、图5B和图5C表示第二操作模式中的多个模式。在一些情况下，第二空间操作模式可以将视频会议的每个用户分配给虚拟会议空间中的限定锚点集合中的一个锚点。例如，每个用户可以被随机地分配到锚点，或者可以被分配到在转换到第二空间操作模式之前最接近其先前定位的锚点。锚点可以是虚拟会议空间中的预定义空间或区域。作为一个示例，用户可以被锁定到虚拟会议空间中分配的锚点。作为另一示例，用户可以能够在锚点之间移动。在更具体的示例中，用户可能能够仅在规定的(即，有限的)数量的锚点之间移动。
更具体地参考图5A，在一些实施方式中，第二操作模式可以包含“群聚”模式或以“群聚”模式组织。在群聚模式中，两个或更多个用户被分配给锚点的集合中的至少一个锚点。例如，用户550和552被分配给与锚点554相关联的群聚，而用户556和558被分配给与锚点560相关联的群聚。
在一些实施方式中，音频回放可以排他地限制于用户的分配的锚点的当前集合。在群聚模式中，用户可以在分配的锚点的集合当中自由地移动他们的虚拟位置。在群聚模式下，管理用户可以控制包含在群聚中的总用户，群聚是否被锁定或解锁以供新用户加入，以及群聚在虚拟会议空间中的虚拟位置。即使在处于锁定状态时管理用户也能够加入群聚。在群聚模式下，每个用户的音频回放是与他们当前被分配的群聚相关联的音频，但是用户可能能够以减小的音量听到其他群聚。
在一些示例中，群聚模式可以用于促进小组工作。例如，可以将小学生的小组分配给群聚，其中它们可以与群聚中的其他人交互。教师和具有管理权限的其他人可以观察房间中的任何人并与其交互。
根据本公开的另一方面，群聚模式可以包含共享资产功能。例如，对于与锚点560相关联的群聚，文档562在锚点560处的用户当中共享。共享资产功能可以允许用户共享诸如共享资产(例如，白板、黑板、幻灯片、文档、电子表格等)的资产。管理用户可以控制用户或群聚是否可以利用共享资产功能。共享资产功能可以自动向虚拟会议空间中的其他用户授予诸如编辑特征、查看特征和交互特征的许可。编辑特征将允许共同位于锚点的集合处的用户写入或改变共享资产。
现在更具体地参考图5B和图5C，在一些实施方式中，第二操作模式可以包含“行”模式或以“行”模式组织。在行模式中，可以将多个用户单独分配给视频会议的虚拟会议空间中的锚点的集合中的一个锚点。例如，如图5B所示，用户504被单独地分配给虚拟空间500中的她自己的锚点。然而，管理员502可以能够在空间500中自由移动和/或选择性地访问每个不同的锚点。例如，如图5C所示，管理员502已经与用户510加入锚点。
在某些情况下，在行模式中，音频回放可以排他地限制于用户的当前锚点。在行模式中，用户可以能够与另一用户切换锚点以改变他们的相对虚拟位置。在某些情况下，用户可能能够移动到可用锚点以改变他们的相对虚拟位置。管理用户还可以能够将用户重新分配到另一个锚点以改变他们的虚拟位置。在另一实施方式中，在行模式中，除了管理用户之外的所有用户可以被单独地分配给锚点的集合中的一个锚点。
行模式的一个示例用例是使管理员(例如，教师)能够单独地和/或选择性地访问其他会议参与者(例如，学生)。行模式可以用于例如专心的学生工作。每个学生可以与其他学生分开，以便专注于他们自己的工作。教师和具有管理权限的其他人可以观察房间中的任何人并与其交互。这促进了问答并为1：1交互创造机会。
图6描绘了根据本公开的示例实施例的视频会议中的多个预定义结构模式的示例。图6示出了可在多个预定义锚点布置之间切换的锚点的多个集合。锚点布置可以包括网格布置602或蜂巢布置606。在网格布置602中，网格锚点600以垂直或水平布局布置。在蜂巢布置606中，蜂巢锚点604被布置成六边形形状。
图7示出了根据本公开的示例实施例的在第一操作模式下呈现视听流并且切换至第二操作模式的示例过程700。该方法被示出为指定所执行的操作的框的集合，但不一定限于所示出的用于由相应框执行操作的顺序或组合。过程700的一个或多个部分可以由一个或多个计算设备实现，诸如例如，如图1所示的计算环境100的一个或多个计算设备。而在以下讨论的部分中，可以参考特定的计算环境，对其的参考仅作为示例。这些技术不限于由在一个设备上操作的一个实体或多个实体执行。
在702处，过程700可以包括由一个或多个处理器接收分别与多个用户相关联的多个视听流，其中，每个视听流包括音频数据和视觉数据。
在704处，过程700可以包括由一个或多个处理器以第一操作模式提供视频会议，其中，在第一操作模式下，多个用户中的每一个用户能够遍布视频会议的虚拟会议空间自由移动其相应虚拟位置。
在706处，过程700可以包括由一个或多个处理器接收来自视频会议的多个用户中的第一用户的输入，该输入请求视频会议从第一操作模式转换到第二操作模式，其中，在第二操作模式下，多个用户中的每个用户的相应虚拟位置被分配给虚拟会议空间中的锚点的限定集合中的一个锚点。
在708处，响应于来自第一用户的输入，一个或多个处理器可以使视频会议从第一操作模式转换到第二操作模式。
本文讨论的技术参考服务器、数据库、软件应用和其他基于计算机的***，以及所采取的动作和发送到这些***和从这些***发送的信息。基于计算机的***的固有灵活性允许组件之间和之中的任务和功能的各种可能的配置、组合和划分。例如，本文讨论的过程可以使用单个设备或组件或组合工作的多个设备或组件来实现。数据库和应用可以在单个***上实现或者跨多个***分布。分布式组件可以顺序地或并行地操作。
虽然已经关于本主题的各种具体示例实施例详细描述了本主题，但是每个示例是通过解释而不是限制本公开的方式提供的。在获得对前述内容的理解后，本领域技术人员可以容易地产生对这些实施例的改变、变化和等同物。因此，本主题公开不排除包括对本主题的这样的修改、变化和/或添加，这对于本领域普通技术人员来说是清晰的。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，本公开旨在覆盖这样的改变、变化和等同物。

Claims (20)

1.一种用于具有多种空间模式的视频会议的计算***，所述计算***包括：
一个或多个处理器；以及
存储指令的一个或多个非暂时性计算机可读存储介质，所述指令可由一个或多个处理器执行以执行操作，所述操作包括：
接收分别与多个用户相关联的多个视听流；
在第一操作模式下提供视频会议，其中，在第一操作模式下，所述多个用户中的每个用户能够遍布视频会议的虚拟会议空间自由移动其相应虚拟位置；
从视频会议的多个用户中的第一用户接收请求将视频会议从第一操作模式转换到第二操作模式的输入，其中，在第二操作模式下，所述多个用户中的每个用户的相应虚拟位置被分配给虚拟会议空间中的锚点的限定集合中的一个锚点；以及
响应于来自第一用户的输入，使得视频会议从第一操作模式转换到第二操作模式。
2.根据权利要求1所述的计算***，其中，对于第一用户并且在第一操作模式下，每个其他用户的相应视听流的音频回放的相应音量与第一用户的虚拟位置和虚拟会议空间内的每个其他用户的相应虚拟位置之间的相应距离负相关。
3.根据权利要求1-2中任一项所述的计算***，其中，对于第一用户并且在第二操作模式下，与每个其他用户相关联的相应视听流的音频回放的相应音量是每个其他用户的相应虚拟位置是被分配给与第一用户的虚拟位置相同还是不同的锚点的函数。
4.根据权利要求1-3中任一项所述的计算***，其中，所述视频会议从第一操作模式转换到第二操作模式包括：
将多个用户中的每个用户分配到离其在虚拟会议空间中的相应虚拟位置最近的锚点。
5.根据权利要求1-4中任一项所述的计算***，其中，所述操作还包括：
响应于来自第一用户的、请求将视频会议从第一操作模式转换到第二操作模式的输入，确定第一用户是否在与视频会议相关联的接入控制列表上，其中，所述接入控制列表定义能够在视频会议中引起模式转换的管理用户的集合。
6.根据权利要求1-5中任一项所述的计算***，其中，第二操作模式包括行模式，在行模式中，除了一个或多个管理用户之外，多个用户中的每个用户被单独地分配给锚点的集合中的一个锚点。
7.根据权利要求6所述的计算***，其中，在所述行模式中，每个用户的音频回放排他地限制于与用户的当前锚点相关联的音频。
8.根据权利要求6所述的计算***，其中，在所述行模式中：
除了一个或多个管理用户之外的每个用户的相应虚拟位置被固定到锚点的集合中的一个锚点；以及
一个或多个管理用户中的每个管理用户的相应虚拟位置在锚点的集合当中是可移动的。
9.根据权利要求1-8中任一项所述的计算***，其中，第二操作模式包括群聚模式，在群聚模式中，多个用户中的两个或更多个用户被分配给锚点的集合中的至少一个锚点。
10.根据权利要求9所述的计算***，其中，在所述群聚模式中，多个用户中的每个用户能够在锚点的集合当中自由地移动其相应虚拟位置。
11.根据权利要求9所述的计算***，其中，每个用户的音频回放排他地限制于与用户的当前锚点相关联的音频。
12.根据权利要求9所述的计算***，其中，每个用户的音频回放包括处于第一音频音量的、与用户的当前锚点相关联的音频以及处于减小的第二音量的、与一个或多个其他锚点相关联的音频。
13.根据权利要求1-12中任一项所述的计算***，其中，所述锚点的集合在多个不同的预定义锚点布置之间可切换。
14.根据权利要求1-13中任一项所述的计算***，其中，至少第二操作模式包括共享资产功能，所述共享资产功能包括在共同位于锚点的集合中的一个锚点处的用户之间共享视图特征、编辑特征和交互特征中的至少一个。
15.根据权利要求1-14中任一项所述的计算***，其中，从第一操作模式转换到第二操作模式包括基于用户在虚拟会议空间内的虚拟位置的音量的动态改变、一个或多个用户的相对虚拟位置的改变、或者对一个或多个用户的视听流中的视觉流的裁剪。
16.根据权利要求1-15中任一项所述的计算***，其中，在第二操作模式期间，指令还可由一个或多个处理器执行以执行至少一个操作，所述操作从以下中可选择：
从第一用户接收切换到不同锚点的第二输入；
从第一用户接收加入一个或多个用户以创建新锚点的第三输入；以及
从第一用户接收加入虚拟会议空间中的可用开放空间的第四输入。
从第一用户接收放大到虚拟会议空间的减小视图的第五输入；以及
从第一用户接收缩小以扩展虚拟会议空间的视图的第六输入。
17.根据权利要求1-16中任一项所述的计算***，其中，所述视频会议还包括虚拟会议空间的小地图，其中，所述小地图显示虚拟会议空间的缩放视图。
18.根据权利要求1-17中任一项所述的计算***，其中，所述多个用户中的至少一个用户在用户界面中具有动态环，其中，所述动态环被配置为提供与关于多个用户中的至少一个用户的度量相关联的信息。
19.一种用于具有多个空间模式的视频会议的计算机实现的方法，所述方法包括：
由包括一个或多个计算设备的计算***接收分别与多个用户相关联的多个视听流；
由计算***以第一操作模式提供视频会议，其中，在第一操作模式下，多个用户中的每个用户能够遍布视频会议的虚拟会议空间或在虚拟会议空间内的锚点的集合当中自由移动其相应虚拟位置；
由计算***从视频会议的多个用户中的第一用户接收输入，所述输入请求将视频会议从第一操作模式转换到第二操作模式，其中，在第二操作模式下，多个用户中的至少一个用户的相应虚拟位置被分配并固定到虚拟会议空间中的锚点的集合中的一个锚点；以及
响应于来自第一用户的输入，由计算***使得视频会议从第一操作模式转换到第二操作模式。
20.一个或多个非暂时性计算机可读存储介质，存储指令，所述指令可由一个或多个处理器执行以执行操作，所述操作包括：
接收分别与多个用户相关联的多个视听流；
在第一操作模式下提供视频会议，其中，在第一操作模式下，多个用户中的每个用户能够遍布视频会议的虚拟会议空间自由移动其相应虚拟位置，并且其中，针对视频会议的多个用户中的第一用户并且在第一操作模式下，每个其他用户的相应视听流的音频回放的相应音量与第一用户的虚拟位置和虚拟会议空间内的每个其他用户的相应虚拟位置之间的相应距离负相关；
从第一用户接收输入以将虚拟会议空间内的第一用户的虚拟位置从第一位置移动到第二位置；以及
响应于输入：
确定第一用户的虚拟位置与虚拟会议空间内的每个其他用户的相应虚拟位置之间的更新的相应距离；以及
基于更新的相应距离来动态地改变每个其他用户的相应视听流的音频回放。
CN202280035254.XA 2021-08-04 2022-08-04 具有多种空间交互模式特征的视频会议*** Pending CN117321985A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/394,321 2021-08-04
US17/394,321 US11849257B2 (en) 2021-08-04 2021-08-04 Video conferencing systems featuring multiple spatial interaction modes
PCT/US2022/039449 WO2023014900A1 (en) 2021-08-04 2022-08-04 Video conferencing systems featuring multiple spatial interaction modes

Publications (1)

Publication Number Publication Date
CN117321985A true CN117321985A (zh) 2023-12-29

Family

ID=83049771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280035254.XA Pending CN117321985A (zh) 2021-08-04 2022-08-04 具有多种空间交互模式特征的视频会议***

Country Status (4)

Country Link
US (1) US11849257B2 (zh)
EP (1) EP4298784A1 (zh)
CN (1) CN117321985A (zh)
WO (1) WO2023014900A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11799926B2 (en) * 2022-02-11 2023-10-24 Motorola Mobility Llc Methods, systems, and devices for presenting demonstration objects in a videoconference
US20230353402A1 (en) * 2022-04-29 2023-11-02 Zoom Video Communications, Inc. Providing member interactions in persistent hybrid virtual collaborative workspaces
US12034554B2 (en) * 2022-04-29 2024-07-09 Zoom Video Communications, Inc. Enhanced conference rooms for persistent hybrid virtual collaborative workspaces

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US7012630B2 (en) 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
GB2349055B (en) 1999-04-16 2004-03-24 Mitel Corp Virtual meeting rooms with spatial audio
US7190775B2 (en) 2003-10-29 2007-03-13 Broadcom Corporation High quality audio conferencing with adaptive beamforming
US7688345B2 (en) 2004-10-15 2010-03-30 Lifesize Communications, Inc. Audio output in video conferencing and speakerphone based on call type
TW200743385A (en) 2006-05-05 2007-11-16 Amtran Technology Co Ltd Method of audio-visual communication using television and television using the same
WO2007005752A2 (en) 2005-07-01 2007-01-11 Dennis Christensen Visual and aural perspective management for enhanced interactive video telepresence
NO20071401L (no) 2007-03-16 2008-09-17 Tandberg Telecom As System og arrangement for naturtro videokommunikasjon
US20080252637A1 (en) 2007-04-14 2008-10-16 Philipp Christian Berndt Virtual reality-based teleconferencing
WO2008125593A2 (en) 2007-04-14 2008-10-23 Musecom Ltd. Virtual reality-based teleconferencing
KR101617192B1 (ko) 2007-09-26 2016-05-18 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
US9176579B2 (en) 2008-12-29 2015-11-03 Avaya Inc. Visual indication of user interests in a computer-generated virtual environment
US9853922B2 (en) 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
US10737185B2 (en) * 2009-03-18 2020-08-11 Microsoft Technology Licensing, Llc Virtual environment controls based on voice chat audio inputs
US8237771B2 (en) 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
AU2010234435B2 (en) 2009-04-07 2016-03-24 Learning Tree International, Inc. System and method for hybrid course instruction
US8351589B2 (en) 2009-06-16 2013-01-08 Microsoft Corporation Spatial audio for audio conferencing
WO2011038285A2 (en) * 2009-09-24 2011-03-31 etape Partners, LLC Three dimensional digitally rendered environments
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US8848028B2 (en) 2010-10-25 2014-09-30 Dell Products L.P. Audio cues for multi-party videoconferencing on an information handling system
US20120216129A1 (en) 2011-02-17 2012-08-23 Ng Hock M Method and apparatus for providing an immersive meeting experience for remote meeting participants
US9412375B2 (en) 2012-11-14 2016-08-09 Qualcomm Incorporated Methods and apparatuses for representing a sound field in a physical space
CN104469256B (zh) 2013-09-22 2019-04-23 思科技术公司 沉浸式和交互式的视频会议房间环境
US9318121B2 (en) 2014-04-21 2016-04-19 Sony Corporation Method and system for processing audio data of video content
EP3254453B1 (en) 2015-02-03 2019-05-08 Dolby Laboratories Licensing Corporation Conference segmentation based on conversational dynamics
US20190354170A1 (en) * 2018-05-18 2019-11-21 High Fidelity, Inc. Generation of relative reputation scores within virtual reality environments
JP7206688B2 (ja) 2018-08-16 2023-01-18 富士フイルムビジネスイノベーション株式会社 遠隔会議システムおよび端末装置
US11128484B2 (en) 2019-08-23 2021-09-21 Mitel Networks (International) Limited Advising meeting participants of their contributions based on a graphical representation
US11575531B2 (en) * 2020-06-02 2023-02-07 Preciate Inc. Dynamic virtual environment
US11076128B1 (en) * 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof

Also Published As

Publication number Publication date
EP4298784A1 (en) 2024-01-03
WO2023014900A1 (en) 2023-02-09
US11849257B2 (en) 2023-12-19
US20230045116A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US11556224B1 (en) System and method for cooperative sharing of resources of an environment
US9749367B1 (en) Virtualization of physical spaces for online meetings
US10917613B1 (en) Virtual object placement in augmented reality environments
Nguyen et al. CollaVR: collaborative in-headset review for VR video
CN113170076B (zh) 一种用于通信会话的方法和***
US11849257B2 (en) Video conferencing systems featuring multiple spatial interaction modes
US11637991B2 (en) Video conferencing systems featuring multiple spatial interaction modes
US11265181B1 (en) Multi-point video presentations with live annotation
US11394925B1 (en) Automated UI and permission transitions between presenters of a communication session
US20130290421A1 (en) Visualization of complex data sets and simultaneous synchronization of such data sets
US11595448B1 (en) Method and apparatus for automatically creating mirrored views of the video feed of meeting participants in breakout rooms or conversation groups during a videoconferencing session
CN113196239A (zh) 对与在通信会话内所显示的对象相关的内容的智能管理
CN113302581A (zh) 交互式查看***
CN113196219A (zh) 交互式编辑***
CN116918305A (zh) 用于管理针对呈现者的消息通信的动态控制的许可
US11621979B1 (en) Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants
Yao et al. Focalspace: multimodal activity tracking, synthetic blur and adaptive presentation for video conferencing
CN114868107A (zh) 针对通信会话视频流的动态控制的纵横比
CN113196221A (zh) 交互式查看和编辑***
WO2013062581A1 (en) Layout for groups of participants
Liao et al. Shared interactive video for teleconferencing
WO2023229738A1 (en) 2d and 3d transitions for renderings of users participating in communication sessions
WO2016053311A1 (en) Artifact projection
Handberg et al. SharedSpaces mingle
CN117413502A (zh) 对标识多个用户的接口的消息内容的目标定位

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination