CN102362269A - 实时内核 - Google Patents
实时内核 Download PDFInfo
- Publication number
- CN102362269A CN102362269A CN2009801501692A CN200980150169A CN102362269A CN 102362269 A CN102362269 A CN 102362269A CN 2009801501692 A CN2009801501692 A CN 2009801501692A CN 200980150169 A CN200980150169 A CN 200980150169A CN 102362269 A CN102362269 A CN 102362269A
- Authority
- CN
- China
- Prior art keywords
- network node
- stream
- real
- plug
- real time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- A63F13/12—
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/764—Media network packet handling at the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1059—Inter-group management mechanisms, e.g. splitting, merging or interconnection of groups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
实时内核(20)支持在相应网络节点(12,14)上操作的通信者之间的实时通信。该实时内核(20)处置连接到通信者、虚拟区域(28)、以及其它网络资源、响应于用户输入开关这些连接、以及混合实时数据流的复杂任务。该实时内核(20)使开发者能够专注于开发高级通信功能而非低级衔接代码。实时内核(20)施加相对低的计算资源要求,以便实时通信性能能使用当前可用的宽范围计算设备和网络连接来达成。
Description
发明背景
对基于化身的虚拟现实通信***的兴趣已随具有高处理能力和高带宽网络连接的计算***的可用性的增加而成长。此种虚拟现实***的主要目标是创建虚拟空间,其中用户可使用实时数据流(诸如音频、视频和文本聊天流)进行交互和通信。虚拟空间一般由计算机图形描述定义,该图形描述描述了该空间的虚拟几何形状、映射到该虚拟几何形状上的颜色和纹理、控制用户如何在该空间中移动的碰撞属性、以及该空间的听觉属性(诸如混响和声音吸收属性)。
在典型的虚拟现实***中,用户从相应计算机通过接口彼此通信,该接口是该***所支持的一个或更多个实时数据流的源、阱、或者源和阱两者。运行在每一台用户计算机上的虚拟现实软件应用基于描述虚拟空间中的化身的位置的位置信息来配置其自身的音频和图形呈现。该位置信息通常直接从其他用户的计算机接收或间接从中央存在***器接收。默认地,虚拟现实软件应用通常将虚拟空间中表示的每个源连接到该虚拟空间中表示的每个阱,这受到全局开关规则、局部用户偏好、以及该虚拟空间中的对象属性中指定的条件的影响。这些条件通常以对象间的相对距离的方式指定。例如,一些虚拟现实软件应用被配置成使得如果化身间的分开距离超过最大阈值距离则不建立实时数据流连接。
成功的虚拟现实通信***通常应具有相对低的计算资源要求,以便实时通信性能可使用当前可用的计算设备和网络带宽限制来达成。此外,此种***通常应当以鼓励区域设计者开发提高用户对该***的采用的虚拟区域的方式来实现。
发明概述
在一方面,本发明的特征在于一种方法,根据该方法在本地网络节点接收来自远程网络节点的一个或更多个流处置指令。这一个或更多个流处置指令包括对用于处理至少一个实时数据流的流处理机的描述。在本地网络节点,根据该描述创建流处理机。在本地网络节点产生所得数据流。在此过程中,实时数据流通过所创建的流处理机处理。
在另一方面,本发明特征在于一种方法,根据该方法从一个或更多个流处置指令解析对实时流处理机的描述。在此过程中,从该一个或更多个流处置指令解析输入源标识符、输出阱标识符、以及一个或更多个数据处理对象中的每一者的相应标识符。对应于相应一些标识符的实时流处置对象被实例化。根据该描述被创建包括一些被实例化的实时流处置对象的有向图。从对应于输入源标识符的输入源接收实时数据流。在对应于输出阱标识符的输出阱产生所得数据流。在此过程中,实时数据流通过该有向图处理。
在另一方面,本发明特征在于一种方法,根据该方法在本地网络节点和至少一个远程网络节点之间建立至少一个实时数据流连接。在本地网络节点,源自远程网络节点的至少一个实时数据流被处理。在此过程中,通过一个或更多个实时数据处理操作处理该至少一个实时数据流以产生所得数据流。该处理被监视。响应于基于该监视确定该处理偏离性能目标,根据实时性能目标例程修改该处理。
在另一方面,本发明特征在于一种方法,根据该方法,在本地网络节点,根据无连接传输协议在传输流上建立与远程网络节点的第一会话。代表本地网络节点上的一个或更多个软件实体,自动打开在第一会话中在本地网络节点和远程网络节点之间传送数据的一个或更多个信道。在第一会话中,维护一表。该表标识打开的一些信道并将相应的属性值与所标识的信道相关联。响应于确定第一会话已经失败,根据无连接传输协议自动尝试在第二传输流上建立与远程网络节点的第二会话。响应于成功建立第二会话,自动打开该表中标识的每个信道。
在另一方面,本发明特征在于一种方法,根据该方法解析包括一个或更多个内核服务组件的内核组件的列表。确定被解析的列表中在本地储存库中缺少的所有内核组件。检索被确定为缺少的每个内核组件。从一些内核服务内核组件实例化内核服务。执行被实例化的内核服务以在关于虚拟区域定义的通信环境中与一个或更多个远程网络节点通信。
在另一方面,本发明特征在于一种在本地网络节点上执行的方法。根据该方法,本地网络节点被配置为支持在由虚拟区域定义的上下文中与至少一个远程网络节点实时通信。该配置过程包括:响应于对枚举支持指定的应用编程接口(API)的所有插件的调用,返回包含插件数据库中与该指定的API相关联的所有插件的标识符的列表;响应于对枚举所标识的一个插件支持的给定API的变量的调用,传递包含由所标识的插件支持的该给定API的所有变量的标识符的列表;以及响应于对实例化由所标识的一个插件支持的所标识的API的所标识的一个变量的调用,加载所标识的插件并提供至所标识的变量的实例的指针。在所配置的本地网络节点和该至少一个远程网络节点之间建立至少一个实时数据流连接。
本发明的特征还在于用于实现上述的发明方法的装置和存储致使计算机实现上述发明方法的计算机可读指令的计算机可读介质。
本发明的其他特征和优点将从包括附图和权利要求的以下描述而变得显而易见。
附图简述
图1是包括由网络互连的第一客户端网络节点、第二客户端网络节点、以及区域服务器网络节点16的虚拟区域通信环境的实施例的图示。
图2是由实时内核的实施例执行的方法的实施例的流程图。
图3A是其中网络节点以对等架构通信的虚拟区域通信环境的实施例的图示。
图3B是其中网络节点以服务器仲裁架构通信的虚拟区域通信环境的实施例的图示。
图4是包括呈现对虚拟区域的描绘的图形用户界面的网络节点的实施例的图示。
图5A是抬头显示器(HUD)叠加在呈现对虚拟区域的描绘的图形用户界面上的实施例的图示。
图5B是图5A中所示的HUD的图示。
图5C是图5A中所示的HUD的展开视图的图示。
图6是由区域网络基础结构服务的实施例实现的方法的实施例的流程图。
图7是由实时内核的实施例实现的方法的实施例的流程图。
图8是包括实时内核的实施例的客户端网络节点的实施例的框图。
图9是由图8的实时内核的实施例响应于请求至虚拟区域的连接的实时内核API调用而实现的方法的实施例的流程图。
图10是由图8的实时内核的实施例响应于请求进入虚拟区域的实时内核API调用而实现的方法的实施例的流程图。
图11是由图8的实时内核的实施例响应于从区域服务接收的流处置指令而实现的方法的实施例的流程图。
图12是由流处理机配置管理器创建的流处理机的实施例的框图。
图13是由图8的实时内核的实施例在调度由实时内核执行的任务的过程中实现的方法的实施例的流程图。
图14是由图8的实时内核的实施例基于对至少一个实时数据流的处理的监视而实现的方法的实施例的流程图。
图15是图8的实时内核的实施例的框图。
图16是通过帐户服务器的凭证来认证帐户服务器的方法的实施例的流程图。
图17是由图8的实时内核的实施例的加载器组件实现的方法的实施例的流程图。
图18是由图8的实时内核的实施例的STRAW服务组件实现的会话管理方法的实施例的流程图。
图19是由图8的实时内核的实施例的组件响应于从区域网络基础结构服务接收的远程流处置指令而实现的方法的实施例的流程图。
图20是由图8的实时内核的实施例的STRAW服务组件实现的传输协议组件的图示。
图21示出在客户端网络节点344和服务器346之间建立服务器流的方法的实施例。
参照图22,每个会话由发起服务器生成的新GUID所标识。
图23示出四通信者音频处理图的示例性实施例的元素。
图24示出使人们能经由基于非虚拟区域的通信应用与虚拟区域通信者通信的计算机***的实施例。
图25示出插件类等级的实施例的图示。
图26是插件基类的集合的实施例的图示,其中每个插件基类与相应的一个或更多个导出变量类的集合相关联。
图27是插件架构的实施例的框图。
图28是包括插件管理器、包含一组插件容器的插件目录、插件数据库、以及调用程序的插件架构的实施例的框图。
图29是由图28的插件管理器的实施例在客户端网络节点上登记可用插件的过程中实现的方法的实施例的流程图。
图30是插件数据库的实施例的图示。
图31是由图28的插件管理器的实施例响应于收到来自调用程序的API调用而实现的方法的实施例的流程图。
发明详细描述
在以下描述中,相同的附图标记被用于标识相同的元素。此外,附图旨在以图解方式解说示例性实施例的主要特征。附图并不旨在描绘实际实施例的每个特征以及所描绘元件的相对尺寸,且并不是按比例绘制的。
I.术语定义
“计算机”是根据临时或永久地存储在计算机可读介质上的计算机可读指令来处理数据的任何机器、设备、或装置。
“计算机操作***”是管理和协调任务执行以及软件和硬件资源共享的计算机的软件组件。“内核”是可由软件应用调用以提供用于访问计算机资源(例如,CPU、存储器、网络链路、以及***资源)的特定功能的软件组件的集合。“软件应用”(也称为软件、应用、计算机软件、计算机应用、程序、以及计算机程序)是计算机能解读并执行以执行一个或更多个任务的指令集。
“应用编程接口”(或API)是操作***、库、或服务提供以支持软件应用作出的请求的功能(或规程)声明集。API指定一接口以及该接口中指定的标识符的行为。API的实现指提供该API描述的功能性的软件应用代码。“计算机数据文件”是持久存储数据以供软件应用使用的信息块。
“服务”是自主地执行任务的过程(独立于其他过程)。
“管理器”是服务执行任务的网关。管理器不自主地执行任务。
“数据库”是以标准化格式呈现的能够被计算机搜索的记录的组织化集合。数据库可被存储在单台计算机上的单个计算机可读数据存储介质上,或者可以跨一台或更多台计算机上的多个计算机可读数据存储介质分布。
“数据阱”(本文中简称为“阱”)是接收数据的设备、设备(例如,计算机)的一部分、或软件中的任一者。
“数据源”(本文中简称为“源”)是始发数据的设备、设备(例如,计算机)的一部分、或软件中的任一者。
“网络节点”(也被简称作“节点”)是通信网络中的接合点或连接点。示例性网络节点包括但不限于终端、计算机、以及网络交换机。“服务器网络节点”是网络上对信息或服务请求进行响应的主计算机。“客户端网络节点”是网络上向服务器请求信息或服务的计算机。“网络连接”是两个通信网络节点之间的链路。术语“本地网络节点”是指当前为首要讨论主体的网络节点。术语“远程网络节点”是指通过网络通信链路连接至本地网络节点的网络节点。
“存在性”是指联网实体(例如,通信者、服务、或设备)进行通信的能力或意愿,其中此类意愿影响在网络上检测和获得关于该实体的状态的信息的能力以及连接到该实体的能力。
“实时数据流”是以连续流的形式进行结构化和处理并且被设计成无延迟或者只有察觉不到的延迟地接收的数据。实时数据流包括语音、视频、用户移动、面部表情及其他物理现象的数字表示,以及计算环境内可得益于迅速传输、迅速执行、或迅速传输和迅速执行两者的数据,包括例如化身移动指令、文本聊天、实时数据馈送(例如,传感器数据、机器控制指令、交易流以及股价信息馈送)、以及文件传递。
“流混合”是相同或语义上一致的类型(例如,音频、视频、聊天、和运动数据)的两个或更多个实时数据流的组合。例如,一组语音流可被混合成单个语音流,或语音流可被混合到视频流的音频部分中。
“开关规则”是遵照一个或多个条件先例指定一个或多个实时数据源与一个或多个实时数据阱的连接或断开连接的指令。
“虚拟区域”(也被称作“区域”或“地方”)是由计算机管理的空间或场景的表示。虚拟区域通常是一维、二维、或三维的表示;尽管在一些实施例中虚拟区域也可对应于单个点。虚拟区域经常被设计成模拟物理的真实世界空间。例如,使用传统的计算机监视器,虚拟区域可被可视化为由计算机生成的三维空间的二维图形。然而,虚拟区域并不要求相关联的可视化就能实现开关规则。虚拟区域通常是指虚拟区域模式的实例,其中模式以变量的方式定义虚拟区域的结构和内容,而实例以已从特定上下文求解出的值的方式来定义虚拟区域的结构和内容。
“虚拟区域应用”(也被称作“虚拟区域描述”)是在创建虚拟区域通信环境时使用的虚拟区域的描述。虚拟区域应用通常包括对与虚拟区域的一个或多个地带相关联的几何学、物理学、以及实时开关规则的定义。
“虚拟通信环境”是包括至少一个虚拟区域并且支持通信者之间的实时通信的由计算机管理的空间的表示。
“地带”是虚拟区域中与至少一个开关规则或支配规则相关联的区划。开关规则控制在虚拟区域的上下文中通信的网络节点之间的实时数据流的开关(例如,路由、连接、和断开连接)。支配规则控制通信者对资源(例如,区域、区域的区划、或该区域或区划的内容)的访问,该访问的范围、以及该访问的后继结果(例如,必须记录关于该访问的审计记录的要求)。
虚拟区域中的“位置”是指该虚拟区域中的点或面积或体积的位置。点通常是由定义虚拟区域中的点的一维、二维、或三维坐标(例如,x、y、z)单个集合表示的。面积通常由定义虚拟区域中闭合的二维形状的边界的三个或更多个共面顶点的三维坐标来表示的。体积通常由定义虚拟区域中的三维形状的闭合边界的四个或更多个非共面的顶点的三维坐标来表示。
在虚拟区域的上下文中,“对象”是虚拟区域中可被有效对待且与虚拟区域的几何形状无关的离散要素。示例性的对象包括门、门户、窗、查看屏、以及扩音器。对象通常具有与虚拟区域的属性和特性分离且不同的属性和特性。“化身”是虚拟区域中代表通信者的对象。
“通信者”是在网络连接上与其他人通信或以其他方式交互的人,其中该通信或交互可以或者也可以不发生在虚拟区域的上下文中。“用户”是正在操作出于描述性目的而定义了一特定观点的特定网络节点的通信者。
“区域服务器”是包括区域网络基础结构服务的网络节点,该区域网络基础结构服务通过管理与虚拟区域中的对象相关联的客户端节点的会话来管理主存虚拟区域应用的虚拟区域。
如本文所使用,术语“包括”意指包括但不限于,且“包含”意指包含但不限于。
II.引言
本文描述的实施例提供支持在相应网络节点上操作的通信者之间的实时通信的实时内核。该实时内核处置连接到通信者、虚拟区域、以及其他网络资源、响应于用户输入开关这些连接、以及混合实时数据流的复杂任务。实时内核使开发者能够专注于开发高级通信功能而非低级衔接代码。实时内核施加相对低的计算资源要求,从而实时通信性能可使用当前可用的宽泛计算设备和网络连接来达成。
在一些实施例中,实时内核支持响应于从远程主存的虚拟区域应用接收的指令(也称为定义)来远程配置和执行音频和图形呈现引擎、以及开关实时数据流。这样,实时内核使得虚拟区域设计者能维持对远程客户端网络节点上的沉浸性虚拟通信环境的呈现的控制,由此鼓励开发众多不同类型的虚拟区域并增加将希望采用该通信***的用户的数量。
在一些实施例中,实时内核监视实时数据流的处理并基于该处理与性能目标的偏差适配该处理。这样,无论其中正执行实时数据流处理的计算环境如何,内核增加了实时性能能够达成的可能性。
在一些实施例中,实时内核实现在连接和断开连接、以及在传输时高效的流传输协议。在这样一些实施例中,流传输协议在无连接传输协议(例如,UDP)上提供面向连接的加密连接。实时内核另外在客户端应用和传输层之间提供重连机制,该重连机制自动尝试重新建立失败了的连接而无需客户端应用的干预,由此在固有不可靠的通信协议上增加了可靠性。
在一些实施例中,实时内核具有插件架构,该插件架构允许由一个或更多个可被动态加载到客户端网络节点上的插件提供内核组件的功能性。这样,内核组件可被独立开发并被远程管理和更新。插件架构另外允许实时内核的安装覆盖区域实质上减小,由此允许内核被安装在宽泛的包括那些具有显著计算和存储资源限制的客户端设备上。
III.概览
A.引言
图1示出了包括由网络18互连的第一客户端网络节点12、第二客户端网络节点14、和区域服务器网络节点16的示例性虚拟区域通信环境10的实施例。第一客户端网络节点12包括包含一个或更多个可配置的流处理机22的实时内核20的实施例、以及输入/输出(I/O)硬件24。第二客户端网络节点14通常以与第一客户端网络节点12基本相同的方式进行配置。区域服务器网络节点16包括通过管理虚拟区域28中第一和第二客户端节点12、14的会话来管理虚拟区域28的区域网络基础结构服务26(也简称为“区域服务”)。虚拟区域28主存包括用于创建虚拟区域通信环境的虚拟区域的描述的虚拟区域应用30。区域服务26根据虚拟区域应用30来管理虚拟区域28。
在创建共享虚拟区域通信环境的过程中,区域服务26根据远程虚拟区域应用30受虚拟区域应用30上的一组限制32影响地远程配置第一和第二客户端网络节点12、14中的实时内核。限制32通常包括对访问虚拟区域的控制。访问控制一般基于一个或更多个能力(其中对具有适当能力或许可的通信者或客户端节点准许访问)和访问控制列表(其中对具有列表上的身份的通信者或客户端节点准许访问)。在一些实施例中,限制32由安全网络基础结构服务所管理(在以下描述)。在第一和第二客户端网络节点12、14上操作的客户端软件应用允许通信者访问共享虚拟区域通信环境,这通过根据经由实时内核20从区域服务26接收的数据呈现虚拟区域的相应视图以及通过提供用于从通信者接收命令的接口来实现。通信者通常在虚拟区域32中由相应的化身来表示,这些化身响应于由通信者在其相应的网络节点处输入的命令而在虚拟区域中四处移动。每个通信者看到的虚拟区域的视图通常是从该通信者的化身的角度来呈现的,这增强了通信者体验到的沉浸感级别。每个通信者通常能够看到在他或她的化身周围的任何虚拟区域部分。在第一和第二客户端网络节点12、14上操作的实时内核至少部分地基于虚拟区域中通信者的化身的位置来建立与共享该虚拟区域通信环境的其他网络节点的实时数据流连接。
图2示出了由实时内核20实现的方法的示例性实施例。根据该方法,实时内核20建立与区域服务26的会话(图2,框34)。无论响应于通信者输入还是自动地,实时内核20请求进入虚拟区域28的实例(图2,框36)。如果对通信者访问虚拟区域实例的限制32得到满足,则区域服务26向实时内核20传送包括当前状态信息的配置数据,其中当前状态信息包括虚拟区域中化身的位置。实时内核20从区域服务26接收配置数据(图2,框38)。实时内核20根据从区域服务26接收的指令来配置I/O硬件24以呈现人类可感知的虚拟区域通信者环境(图2,框40)。
在一些实施例中,配置I/O硬件24的过程涉及根据从远程网络节点14接收的指令和位置数据动态配置至少一个流处理机22。例如,虚拟区域应用30可指定一个或更多个应被应用于与虚拟区域中当前的对象相关联的音频流的音频效果,在这种情况下,区域服务26向在第一和第二客户端网络节点12、14上执行的实时内核发送指令,该指令根据虚拟区域中相应对象的位置来配置其相应音频流处理机以实现指定的效果。
实时内核20通过每个配置的流处理机22处理与通信者对象相关联的实时数据流以产生相应输出33。取决于其内容,输出33可被存储在计算机可读介质上或由在第一和第二网络节点12、14上操作的I/O硬件转换成人类可感知的输出。例如,音频输出信号由音频硬件(例如,声卡和扬声器)转换成可听的声音,而图形输出信号由图形硬件(例如,视频卡和显示器)转换成可见的图像。在一些实施例中,由至少一个流处理机22产生的输出33被一个或更多个下游软件组件处理,该下游软件组件依次产生可被存储在计算机可读介质上或被转换成人类可感知的输出的输出。
B.示例性操作环境
实时内核20在虚拟区域通信环境10的上下文中操作,虚拟区域通信环境10包括网络18和网络基础结构服务环境,后者包括包含区域服务26的若干网络基础结构服务。实时内核20和网络基础结构服务环境构成用于为通信者创建虚拟区域通信环境的平台。
1.网络环境
网络18可包括局域网(LAN)、城域网(MAN)、以及广域网(WAN)(例如,因特网)的任一者。网络18通常包括若干支持网络节点之间的各种不同媒体类型(例如,文本、语音、音频、和视频)的传输的计算平台和传输设施。
实时内核20通常在包括软件和硬件资源的网络节点上操作,该软件和硬件资源与管理性策略、用户偏好(包括关于用户存在性的出口以及用户至区域和连接对象的连接的偏好)、以及其他设置一起来定义影响与其他网络节点的实时连接的管理的本地配置。网络节点之间的网络连接可安排在各种不同的流处置拓扑中,包括对等架构、服务器仲裁架构、以及组合了对等和服务器仲裁架构的各方面的混合架构。
图3A示出虚拟区域通信环境10的实施例42,其中第一和第二网络节点12、14以及远程网络节点16由对等架构的通信网络18互连。在此架构中,网络节点12-16的每一个向其他网络节点的每一个传送状态变化(例如,虚拟区域28中的化身运动)。网络节点之一(通常为发起通信会话的网络节点)作为“区域服务器”操作。在所解说的实施例中,网络节点16承担了区域服务器的角色。区域服务器网络节点16维护全局状态信息并用作其他网络节点12、14的数据服务器。全局状态信息包括虚拟区域中的所有对象的列表及其在虚拟区域中的相应位置。区域服务器网络节点16发送配置其他网络节点12、14的指令。区域服务器网络节点16也登记并向请求加入通信会话的其他网络节点传送初始化信息。在此过程中,区域服务器网络节点16根据虚拟区域应用30向每个加入的客户端网络节点传送在客户端网络节点上呈现虚拟区域28所需的组件(例如,插件)的列表。客户端网络节点12、14上的实时内核通常从远程服务器(例如,插件服务器)检索列表上的任何缺失的组件。区域服务器网络节点16也确保若发生通信故障,其他网络节点12、14能同步到全局状态。
图3B示出虚拟区域通信环境10的实施例44,其中网络节点12-16(在此架构中也称为“区域客户端”网络节点)在由区域服务器46仲裁的架构中通信。在此实施例中,区域服务器46承担在图3A所示的对等架构实施例中由网络节点16执行的区域服务器功能。这样,区域服务器46维护全局状态信息并用作区域客户端网络节点12-16的数据服务器。该架构允许将在各种拓扑(包括对等拓扑、其中区域服务器46作为网络节点12-16之间的通信代理操作的全服务器仲裁拓扑、以及组合了对等拓扑和全服务器仲裁拓扑的各方面的混合拓扑)中处理的区域客户端节点12-16之间的实时数据流交换。这些类型的示例性拓扑在美国申请号为11/923,629和11/923,634的申请中描述,两者都在2007年10月24日提交。
2.网络基础结构服务
在建立和管理与其他网络节点的网络连接的过程中,一个或更多个网络基础结构服务通常与实时内核20协作。网络基础结构服务可运行在单个网络节点上或可跨多个网络节点分布。网络基础结构服务通常运行在一个或更多个专用的网络节点上(例如,执行诸如路由和交换等边缘服务的服务器计算机或网络设备)。然而,在一些实施例中,一个或更多个网络基础结构服务运行在至少一个通信者网络节点上。虚拟区域通信环境10的示例性实施例中所包括的网络基础结构服务有帐户服务、安全***、区域服务26、集合服务、以及交互服务等。
帐户服务管理网络基础结构服务环境中的通信者帐户。帐户服务也管理可由客户端网络节点用于向任何网络基础结构服务认证它们自己的认证令牌的创建和发出。
安全***控制通信者对虚拟区域通信环境10的资产和其他资源的访问。由安全***实现的访问控制方法通常基于一个或更多个能力(其中对具有适当能力或许可的实体准许访问)和访问控制列表(其中对具有列表上的身份的实体准许访问)。在已经准许特定通信者访问资源后,该通信者通常使用由其他网络基础结构服务提供的功能性在虚拟区域通信环境10中交互。
区域服务26管理虚拟区域。在此过程中,区域服务26根据请求实体的能力来管理与虚拟区域相关联的连接、维护虚拟区域的全局状态信息、以及用作参与由虚拟区域定义的上下文中的共享通信会话的客户端网络节点的数据服务器。全局状态信息包括虚拟区域中的所有对象的列表及其在虚拟区域中的相应位置。区域服务26发送配置客户端网络节点的指令。区域服务26也登记并向请求加入通信会话的其他客户端网络节点传送初始化信息。在此过程中,区域服务26根据虚拟区域应用30向每个加入的客户端网络节点传送在客户端网络节点上呈现虚拟区域28所需的组件(例如,插件)的列表。区域服务26也确保若发生通信故障,客户端网络节点能同步到全局状态。
集合服务根据请求实体的能力来管理存在性信息的收集、存储和分发并为网络节点提供用于彼此通信的机制(例如,通过管理连接句柄的分发)。集合服务通常在存在性数据库中存储存在性信息。
交互服务根据请求实体的能力来维护记录通信者之间的交互的交互数据库并支持对交互数据库的查询。对通信者之间的每个交互,虚拟区域通信环境10中的一个或更多个服务(例如区域服务26)向交互服务传送交互数据。作为响应,交互服务在关系数据库中生成一个或更多个相应交互记录。每个交互记录描述交互的上下文。例如,在一些实施例中,交互记录包含每个通信者的标识符、交互场所的标识符(例如,虚拟区域实例)、交互场所的等级的描述(例如描述交互空间如何与较大区域相关)、交互的起始和结束时间、以及在交互期间共享的所有文件和其他流的列表。因此,对于每个实时交互,交互服务跟踪其在何时发生,在何处发生、以及在交互期间就所涉及的通信者而言发生了什么(例如,进入和退出)、被激活/禁用的对象、以及共享的文件。
交互服务能基于场所以分类次序(例如,最频繁的或最近的)呈现对交互数据库记录的查询结果。查询结果能被用于导出通信者已经在哪些虚拟区域内遇到的联系人的频率分类,以及不论虚拟区域通信者已经遇到的联系人的分类、以及通信者最经常出入的虚拟区域的分类。查询结果还可被应用开发者用作基于关系使某些任务自动化的启发式***的一部分。此类型的启发的示例是允许已经到访特定虚拟区域超过5次的通信者不必经默认的敲门就能进入的启发,或者是允许在特定时间存在于一区域中的通信者修改和删除由在相同时间存在于相同区域中的另一通信者创建的文件的启发。对交互数据库的查询可与其他搜索相组合。例如,对交互数据库的查询可与针对使用在网络基础结构服务环境的域之外的通信***(例如,Skype、Facebook、以及Flickr)与联系人交互而生成的联系历史数据的查询相组合。
3.虚拟区域
实时内核20管理由虚拟区域的实例定义的通信上下文中与网络节点的实时连接。虚拟区域实例可对应关于抽象坐标所定义的抽象(非几何)虚拟空间。替换地,虚拟区域实例可对应关于与特定可视化相关联的一维、二维、或三维几何坐标所定义的视觉虚拟空间。抽象虚拟区域可以与相应可视化相关联或者也可不相关联,而视觉虚拟区域与相应可视化相关联。
如上所解释的,通信者通常在具有相关联的可视化的虚拟区域中由相应的化身来表示。化身响应于由通信者在其各自相应的网络节点处输入的输入命令在虚拟区域中四处移动。通信者看到的具有相关联的可视化的虚拟区域实例的视图通常是从该通信者的化身的观点呈现的,且每个通信者通常能够观看到他或她的化身周围的任何视觉虚拟区域部分,从而增强了通信者体验到的沉浸感级别。
图4示出了由计算机***48实现的示例性网络节点的实施例。计算机***48包括显示监视器50、计算机鼠标52、键盘554、扬声器56、58、以及话筒60。显示监视器50显示图形用户界面62。图形用户界面62是基于窗口的图形用户界面,其可包括多个窗口、图标、和指针64。在所解说的实施例中,图形用户界面62呈现对与表示艺廊的三维可视化相关联的共享虚拟区域66的二维描绘。通信者在该虚拟区域66中由各自相应的化身68、70、72来表示,每个化身可在该虚拟区域66的上下文中具有各自相应的角色(例如,馆长、艺术家、和游客)。
如以下详细解释的,虚拟区域66包括与支配在虚拟区域66中由化身68-72表示的网络节点间的实时数据流开关的相应规则相关联的地带74、76、78、80、82。(在典型的通信会话期间,图4中划界出地带74-82的虚线对于通信者而言是不可见的,尽管可以有与此类地带边界相关联的视觉线索。)开关规则规定在每一个网络节点上执行的本地连接过程如何基于通信者的化身68-72在虚拟区域66的地带74-82中的位置来建立与其他网络节点的通信。
虚拟区域由包括对该虚拟区域的几何要素的描述以及一个或多个规则(包括开关规则和支配规则)的规范来定义。开关规则支配网络节点之间的实时流连接。支配规则控制通信者对诸如虚拟区域本身、具有虚拟区域的区划、以及虚拟区域内的对象之类的资源的访问。在一些实施例中,虚拟区域的几何要素根据COLLADA-Digital Asset Schema Release 1.4.1 April 2006 specification(2006年4月数字资产计划版本1.4.1规范,从http://www.khronos.org/collada/得到)进行了描述,而开关规则根据在美国申请号11/923,629和11/923,634中描述的COLLADA流参考规范使用可扩展标记语言(XML)文本格式(在本文称作虚拟空间描述格式(VSDL))进行了描述。
虚拟区域的几何要素通常包括虚拟区域的物理几何和碰撞几何。物理几何描述虚拟区域的形状。物理几何通常由三角形、四边形、或多边形的表面形成。颜色和纹理被映射到物理几何上以创建虚拟区域的更真实表观。例如可通过在视觉几何上描绘光线并修改光线附近的纹理、颜色、或亮度来提供光照效果。碰撞几何描述确定对象可在虚拟区域中移动的方式的不可见表面。碰撞几何可与视觉几何一致、对应于视觉几何的更简单的近似、或者与对虚拟区域设计者的因应用而异的要求有关。
开关规则通常包括对用于按照虚拟区域中的位置来连接实时数据流的源和阱的条件的描述。每个规则通常包括定义该规则所适用的实时数据流类型以及该规则在该虚拟区域中所适用的(诸)位置的属性。在一些实施例中,每个规则任选地可包括指定源的所要求角色、阱的所要求角色、流的优先级别、和所请求的流处置拓扑的一个或多个属性。在一些实施例中,如果没有为虚拟区域的特定部分定义的显式开关规则,则可向虚拟区域的该部分应用一个或多个隐式或缺省开关规则。一个示例性缺省开关规则是依照策略规则将区域内的每个源连接至每个相兼容的阱的规则。策略规则可全局地适用于区域客户端之间的所有连接、或者仅适用于与个体区域客户端的相应连接。策略规则的示例是接近度策略规则,该规则仅允许与虚拟区域中彼此在规定距离(或半径)内的相应对象相关联的源和兼容阱的连接。
在一些实施例中,支配规则与虚拟区域相关联以控制谁能访问该虚拟区域、谁能访问其内容、对该虚拟区域的内容的访问的范围是什么(例如,用户关于该内容能做什么)、以及访问这些内容的后继结果是什么(例如,记录保持,诸如审计日志、和支付要求)。在一些实施例中,整个虚拟区域或该虚拟区域的地带与“支配网格”相关联。在一些实施例中,支配网格是用类似于在美国申请号11/923,629和11/923,634中描述的地带网格的实现的方式来实现的。支配网格使得软件应用开发者能够将支配规则与虚拟区域或虚拟区域的地带相关联。这避免了为虚拟区域中的每个文件创建个体许可的需求并且避免了处理在需要取决于上下文不同地对待同一文档时可能产生的复杂度的需求。
在一些实施例中,虚拟区域与将该虚拟区域的一个或多个地带与数字版权管理(DRM)功能相关联的支配网格相关联。DRM功能控制对虚拟区域或该虚拟区域内的一个或多个地带或该虚拟区域内的对象中的一者或多者的访问。每次通信者越过该虚拟区域内的支配网格边界时DRM功能被触发。DRM功能确定该触发动作是否被许可,并且如果许可,则确定所许可动作的范围、是否需要支付、以及是否需要生成审计记录。在虚拟区域的示例性实现中,相关联的支配网格被配置成使得如果通信者能够进入该虚拟区域,则他或她能够对与该虚拟区域相关联的所有文档执行动作,包括操控文档、查看文档、下载文档、删除文档、修改文档和重新上载文档。这样,虚拟区域可变成在由该虚拟区域定义的背景中共享和讨论的信息的储存库。
关于虚拟区域的规范的附加细节在美国申请号61/042714(提交于2008年4月4日)、11/923,629(提交于2007年10月24日)、和11/923,634(提交于2007年10月24日)中记载。
4.其他平台组件
实时内核20被设计为作为客户端软件包的一部分的本地网络节点的组件来工作,其中客户端软件还包括:
a.抬头显示器(HUD)软件应用;
b.本地人类接口设备(HID)和音频回放设备;
c.So3D图形显示、化身、和物理学引擎;
d.***数据库和存储设施。
a.抬头显示器(HUD)
抬头显示器(HUD)是在每一个客户端网络节点上操作的对实时内核20的应用接口。HUD是用户能够在他或她的桌面上一直保持和运行的小型、轻量级接口。它是用于启动虚拟区域应用、为他或她提供对实时联系人和实时协作场所(或区域)的即时访问的用户接口。虚拟区域通过HUD和实时内核20与用户的桌面整合在一起,从而使得用户能将文件拖放到虚拟区域通信环境中、利用独立于虚拟区域通信环境的原生客户端软件应用来使用与虚拟区域关联地存储同时又存在于虚拟区域中的文件、以及更一般地将虚拟区域内的存在性和位置作为其操作环境中类似于其他操作***功能的一方面而不只是若干应用中的一个应用来对待。
图5A和5B示出了通过坐落在通信者的桌面的右下角的半透明用户接口来实现的HUD的实施例84。HUD 84是通往平台的应用接口。HUD 84的特性包括:
·意欲在用户桌面上一直运行的小型、轻量级应用;以及
·为用户提供便于查看联系人并与联系人交互以及查看发生交互的虚拟区域并与虚拟区域交互的接口。
在此实施例中,HUD 84通过提供对控件的永久接口和访问的基本透明的(半透明)用户接口覆盖来实现。在图5A所示的实施例中,HUD 84是透明的,除了该接口的以下半透明要素中的一个或多个要素的有限集合:
·渐进式沉浸感控件的轮廓;
·用户当前位置的轮廓;
·表示虚拟区域86中的实时联系人的子图形;以及
·划界出HUD区域的边界的线条。
在实时内核260和HUD 84正在运行而并准备好发起实时通信会话的同时,通信者能够在普通桌面计算环境中工作。例如,通信者可与诸如微软Excel之类的其他应用合作以创建稍后可以在实时通信会话中共享的文档。虚拟区域86与通信者的桌面整合在一起,从而使得该通信者能将文件拖放到虚拟区域中、利用独立于虚拟区域通信环境的原生客户端软件应用来使用与虚拟区域关联地存储同时又存在于虚拟区域中的文件、以及更一般地将虚拟区域内的存在性和位置作为其操作环境中类似于其他操作***功能的一方面而不是若干应用中的一个应用来对待。
当通信者在虚拟区域86中交互时,HUD 84为通信者提供对他或她所期望的可视化的独立控制。例如,通信者可显示虚拟区域的最小化视图(被最小化至桌面的右下角)并参与同该虚拟区域中的另一通信者的音频交谈,同时又工作在诸如微软Excel之类的不同应用中。通信者随后可改变他或她的可视化模式并进入对虚拟区域86的更加沉浸的三维呈现。这是通过将HUD 84中的渐进式沉浸感滑块88的设置从“桌面”改为“3D”来实现的。一旦处在3D可视化模式下,通信者的桌面就显示对虚拟区域86的3D呈现(如图5A中所示)。通信者(在桌面模式下由子图形90、92、94表示)现在采取如图5A中所示的三维化身96、98、100的形式。
与虚拟区域86相关联的任何数据皆可被显示在观看屏102、104、106上。观看屏是可被用于呈现任何随意数据的通用数据呈现组件。可在观看屏上呈现的数据类型的示例包括:
·微软PowerPoint报告书
·视频
·网络摄像机的输出
·直接来自组织的企业资源规划(ERP)***的实时数据
如图5C中所示,HUD 84被设计成充当显示信息并提供对控件的访问的真实接口,且对呈现在通信者的显示监视器上的图形用户界面62的底层部分只有最小的遮挡。HUD 84高效地显示:
·该通信者的当前在线的实时联系人,
·该通信者与该通信者的实时联系人当前“位于”该虚拟区域86中的何处,
·控制虚拟区域86的可视化的渐进式沉浸感控件,以及
·使得用户能快速连接至特定场所的导航控件。
具体地,HUD 84为通信者提供对其实时联系人以及在发生实时协作的虚拟区域的即时访问。HUD 84允许基于人的位置在区域中导航以及允许对虚拟区域的查看。这些虚拟区域可以许多方式访问:最频繁使用的、最近使用的、或应用指定方式。
HUD 84显示一组有序的场所瓦片108、110、112。点击场所瓦片中的一个将用户带到由所选择的场所瓦片所表示的虚拟区域。对于人而言,具有去(往通信者的区域)和取(将他们带到用户的区域)的基本隐喻。这在HUD 84中通过允许通信者对去或取请求进行排队以及在无需“移动”的情况下经由文本或语音与人通信来完善。HUD 84在从另一通信者收到每个通信请求时通知该通信者。该通信者可以接受该请求、忽略它、或将它添加到通信队列。这样,通信者能在稍后的时间响应非优先通信。例如,通信者可将在该通信者繁忙(例如,忙于当前通信会话)的时间期间收到的通信进行排队,并且在该通信者空闲之后,该通信者可响应该通信队列中的通信请求。
如上所述,交互网络基础结构服务维护记录通信者遇到谁以及在哪里遇到的交互数据库。交互服务用可按基于场所的分类次序(例如,最常或最近)呈现的查询结果来响应对关系数据库的查询。这样,关系数据库信息可被用于导出该通信者在哪些区域遇见的人的频率分类、以及在不论区域的情况下该通信者已经遇见的人的分类、和该通信者最常出入的区域的分类。此数据被用在HUD 84中。该数据也可被用虚拟区域应用开发者用作启发式***的一部分(例如,准许已经拜访特定虚拟区域超过5次的人进入而无需默认的敲门的规则、或者允许在特定时间存在于虚拟区域中的人修改和删除由在同一时间在那里的另一通信者创建的文件的规则)。
在图5C中,HUD 84呈现一系列表示相应虚拟区域的场所瓦片108、110、112。这些虚拟区域中的每一个被纽带联系到对关系数据库的查询。关于每个虚拟区域,集合服务对关系数据库查询用户已在该虚拟区域中遇见过的所有联系人。集合服务通常在按频率或按交互的最近性(例如,该通信者最后交互的联系人)来分类的列表中呈现所标识的联系人。在其他实施例中,联系人可以其他某种取决于应用的方式来分类。
对关系数据库的查询可与其他搜索相组合。例如,对关系数据库的查询可以与对针对使用另一通信***(例如,Skype、Facebook、和Flickr)与联系人的交互所生成的联系人历史数据的查询相组合。在一个示例中,Skype虚拟区域112可以与对通信者的关联于Skype虚拟区域112的关系数据和该通信者的Skype历史数据的查询相关联,以产生该用户的与Skype虚拟区域112相关联的实时联系人的分类列表。
图5C示出了对HUD 84中的联系人和虚拟区域的基本导航。点击与虚拟区域瓦片108-112中的每一个相关联的朝左箭头显示在给定场所中按交互频率分类的实时联系人的列表。例如,点击主HUD瓦片84(标记为“办公室”)的朝左箭头114显示该用户在虚拟区域86中最频繁通信的实时联系人。联系人(由各自相应的图标瓦片表示)的列表按照频率进行分类。列表中的第一位联系人(在此示例中为DVW)代表该用户在虚拟区域86中合作最频繁的联系人、继之以PJB、Tim等等。点击朝上箭头116显示代表该通信者已经到访过的一些或所有虚拟区域的一组场所瓦片。该组场所瓦片通常按频率、最近性、或其他排序来分类。虚拟区域场所瓦片显示当前发生在相应虚拟区域中的实时活动。例如,DVW、Kim和Joe(由主虚拟区域瓦片108中的相应子图形表示)皆在该主虚拟区域中并且正在进行实时谈话,而Jeff、Ann和Jane(由虚拟区域瓦片110中的相应子图形表示)全部在Facebook虚拟区域中。
假定任何通信者退出虚拟区域或进入虚拟区域,此虚拟区域中的存在性指示器(即,由圆形所示出的小图形,通常与名称或其他标识符相关联)将自动被实时更新。该特征证明虚拟区域设计者向场所瓦片输入应用专用实时数据的能力。场所瓦片可看起来与通信者相关联,或与通信者的场所相关联。例如,游戏开发者可输出通信者在其游戏环境中所在地的地图,由此通过关系数据库连接到该通信者的其他人接收对该通信者当前活动的实时馈送。这些人可使用该虚拟区域瓦片来导航至该通信者,与他或她通信、或联络他或她(例如,发送进入虚拟区域的邀请)。HUD84同时为许多不同的虚拟区域管理与联系人和虚拟区域的此接口。
HUD虚拟区域瓦片84、108、110、112中使用的实时数据由主存相关区域的区域服务所管理的接口经由实时内核120来提供。每个区域服务可基于通信者察看所主存的虚拟区域的许可向通信者提供对不同的相应HUD虚拟区域瓦片数据。例如,如果通信者进入不允许该通信者察看的虚拟区域,则HUD虚拟区域瓦片可显示受限或没有详细信息。此外,由主存区域服务提供的HUD虚拟区域瓦片数据馈送可由操作该区域服务的虚拟区域提供商定制以向订阅HUD呈现该虚拟区域的应用指定视图。
b.本地人类接口设备(HID)和音频回放设备;
本地HID设备使通信者在参与虚拟区域通信会话时能向客户端网络节点输入命令和其他信号。示例性的HID设备包括计算机键盘、计算机鼠标、触摸屏显示器、以及话筒。
音频回放设备使通信者能回放在虚拟区域通信会话期间接收的音频信号。示例性的音频回放设备包括用于操纵(例如,混频和施加特殊效果)音频信号的音频处理硬件(例如,声卡),以及用于输出声音的扬声器。
c.So3D图形显示、化身、和物理学引擎
So3D引擎是控制虚拟区域和虚拟区域内的对象在显示监视器上的相应视图显示的三维可视化引擎。So3D引擎通常与图形用户界面驱动器和HID设备接口以呈现虚拟区域的视图并允许通信者控制HUD应用的操作。
So3D引擎通常经由实时内核20接收来自区域服务26的图形呈现指令。在一些实施例中,So3D引擎也读取包含呈现通信者在虚拟区域中的化身所需要的图像的通信者化身数据库。基于此信息,So3D引擎从虚拟区域内的通信者的化身角度(位置和取向)生成虚拟区域和该虚拟区域内的对象的视觉表示(即,图像)。该视觉表示通常被传递给操作***的图形呈现组件,该图形呈现组件驱动图形呈现硬件在客户端网络节点上呈现虚拟区域的视觉表示。
通信者可通过从HID设备(例如,计算机鼠标)向实时内核20传送命令(实时内核20将视图控制命令传送给So3D引擎)来控制虚拟区域的所呈现视图。So3D引擎根据视图控制命令来更新虚拟区域的视图。So3D引擎还根据经由实时内核20从区域服务26接收的经更新的对象位置信息来更新虚拟区域在显示监视器上的图形表示。
d.***数据库和存储设施
***数据库和存储设施存储平台使用的各种类型的信息。通常由存储设施存储的示例性的信息包括存在性数据库、交互数据库、化身数据库、真实用户id(RUID)数据库、样式(art)缓冲数据库、以及虚拟区域描述数据库。信息可在单个网络节点上存储或者可以跨多个网络节点分布。
C.示例性的通信会话
再次参见图4,在通信会话期间,每个客户端网络节点生成相应的实时数据流集(例如,运动数据流、音频数据流、聊天数据流、文件传递数据流、以及视频数据流)。例如,每个通信者操纵一个或更多个生成运动数据流的输入设备(例如,计算机鼠标52和键盘54),运动数据流控制他或她的化身在虚拟区域66中的移动。此外,在计算机***48附近本地生成的通信者语音和其他声音由话筒60捕获。话筒60生成可被转换为实时音频流的音频信号。音频流的相应副本被传送给由虚拟区域66中的化身表示的其他网络节点。在这些其他网络节点本地生成的声音被转换成实时音频信号并被传送给计算机***48。实时内核20将其他网络节点生成的音频流转换为由扬声器56、58呈现的音频信号。运动数据流和音频数据流可直接或间接从每一个通信者节点传送至其他客户端网络节点。在一些流处置拓扑中,每个客户端网络节点接收由其他客户端网络节点传送的实时数据流的副本。在其他流处置拓扑中,一个或更多个客户端网络节点接收从源自(发源于)其他一些网络节点的实时数据流导出的一个或更多个流混合。
在一些实施例中,区域服务26维护包括虚拟区域的当前描述、该虚拟区域中的对象的当前登记、以及当前正由主存区域服务26的网络节点生成的任何流混合的列表的全局状态信息。对象登记通常包括针对虚拟区域中的每个对象的相应对象标识符(例如,唯一地标识对象的标签)、能与关联于该对象的网络节点建立网络连接的连接句柄(例如、URI,诸如IP地址)、以及标识与该对象相关联的实时数据源和阱(例如,与该对象相关联的网络节点的源和阱)的接口数据。对象登记还通常包括针对每个对象的一个或更多个可选角色标识符,该可选角色标识符可由通信者或区域服务26明确指派给对象,或者可从对象的其他属性推断出。在一些实施例中,对象登记还包括每个对象在虚拟区域中的当前位置,这由区域服务26从对接收自与虚拟区域中的对象相关联的网络节点的实时运动数据流的分析中确定。就此,区域服务26从与虚拟区域中的对象相关联的网络节点接收实时运动数据流、并基于该运动数据跟踪通信者的化身和进入、离开和在虚拟区域中四处移动的其他对象。区域服务26根据被跟踪对象的当前位置来更新对象登记。
在管理与其他网络节点的实时数据流连接的过程中,区域服务26维护针对每个客户端网络节点的配置数据集,包括接口数据、地带列表、以及当前位于虚拟区域内的对象的位置。接口数据包括针对与每个客户端网络节点相关联的每个对象的关于关联于该对象的实时数据流类型的所有源和阱的相应列表。地带列表是虚拟区域中当前被与相应客户端网络节点相关联的化身占据的所有地带的登记。当通信者首次进入虚拟区域中时,区域服务26通常用位置初始化信息初始化当前对象位置数据库。之后,区域服务26用对象在虚拟区域中的当前位置来更新当前对象位置数据库,该当前位置从对接收自共享虚拟区域的其他客户端网络节点的实时运动数据流的分析中确定。
图6示出一种方法的实施例,根据该方法,区域服务26的实施例确定当用户进入虚拟区域或穿过虚拟区域的地带之间的边界时要建立的一组所要求的实时数据流连接。区域服务26根据虚拟区域描述和每个通信者的化身在虚拟区域实例中的位置来建立该通信者的所占据地带的列表(图6,框180)。在此过程中,区域服务26从当前对象位置数据库中检索用户化身在虚拟区域实例中的当前位置,该位置包含化身在虚拟区域实例中的当前位置的坐标。区域服务26随后比较通信者的化身的当前位置和虚拟区域描述中的地带定义。区域服务26根据虚拟区域描述中与通信者化身的当前位置一致的所有地带来编辑所占据地带列表。例如,在一些实施例中,所占据地带列表包括其网格包含通信者化身的当前位置的所有地带。
区域服务26确定为所占据地带列表中的地带定义的一组目标实时数据流类型(图6,框182)。区域服务26随后从该组目标实时数据流类型、对象在虚拟区域实例中的位置、以及虚拟区域描述中定义的开关规则确定所要求的实时数据流数据集(图6,框184)。
在一些示例性实施例中,在区域服务26已经确定使用户能在共享虚拟区域实例中参与与其他网络节点的协作通信会话的实时数据流数据集(图6,框184)后,区域服务26确定将导致向计算机***120传递所要求的数据流数据的实时数据流连接。
在一些实施例中,区域服务26确定实时数据流处置拓扑,该处置拓扑至少部分地基于计算机***120的带宽能力将实时数据流集传递给计算机***120。在此过程中,区域服务26确定从未混合的实时数据流以及根据实时数据流的组合导出的流混合接收每个实时数据流的相应形式。区域服务26还确定从直接对等网络路线和由一个或更多个其他网络节点仲裁的网络路线接收每个实时数据流的网络路线。在已确定流处置拓扑后,区域服务26向在计算机***120上操作的实时内核发送指令。该指令根据所确定的流处置拓扑指定计算机***120和其他一些网络节点之间所要求的实时数据流连接。
图7示出由实时内核20在确定向计算机***120传递所要求的数据流数据的实时数据流连接的拓扑过程中实现的方法的实施例。
根据该方法,实时内核20确定计算机***120是否具有直接从其他网络节点接收所要求的实时数据流数据集186的足够带宽(图7,框188)。在此过程中,其他网络节点向计算机***120传送链路请求。该链路请求指示计算机***120传送相应的实时数据流集所需要的相应带宽要求。实时内核20将建立所要求的直接连接所需要的总带宽与当前计算机***120可用的下载带宽进行比较。
如果可用带宽至少等于总要求带宽,则实时内核20建立与提供所要求的实时数据流数据的其他网络节点的直接连接(图7,框190)。在此过程中,实时内核20创建计算机***120与一个或更多个其他网络节点之间的套接字(例如,TCP套接字或性能最优化的专用实时套接字)。实时内核20处理实时数据流,包括加密它们、记录它们、以及将经处理的数据流传递给呈现在用户界面中及在网络18上传送所需的下游软件组件。
如果可用带宽小于所要求带宽(图7,框188),则实时内核20检查流混合列表以确定区域服务26是否正在生成提供所要求实时数据流数据的流混合(图7,框192)。如果需要的流混合可用,则实时内核20与区域服务26建立将所需实时数据流混合的副本从区域服务器28传送到计算机***120的连接(图7,框194)。如果所需流混合不可用,则实时内核20向区域服务26发送流混合请求(图7,框196)。如果可能,区域服务26响应于流混合请求生成所需流混合。
IV.***架构
A.引言
通信者通常从客户端网络节点连接到网络18,客户端网络节点通常由通用计算机***或专用通信计算机***(或“控制台”,诸如网络使能的视频游戏控制台)来实现。网络节点执行建立与其他网络节点的实时数据流连接的通信过程且通常执行呈现通信者进入的每个虚拟区域的视图的可视化呈现过程。
图8示出了由计算机***120实现的客户端网络节点的实施例。计算机***120包括处理单元122、***存储器124和将处理单元122耦合至计算机***120的各种组件的***总线126。处理单元122可包括一个或更多个数据处理器,每个数据处理器可以是任一种商业上可用的计算机处理器的形式。***存储器124可包括存储包含计算机***120的启动例程的基本输入/输出***(BIOS)的只读存储器(ROM)和随机存取存储器(RAM)。***总线126可以是存储器总线、***总线或本地总线,并且可与任何总线协议(包括PCI、VESA、Microchannel、ISA和EISA)兼容。计算机***120还包括连接至***总线126并包含一个或更多个提供对数据、数据结构和计算机可执行指令的非易失或永久存储的计算机可读介质盘的永久存储存储器128(例如,硬盘驱动器、软盘驱动器、CD ROM驱动器、磁带驱动器、闪存设备、以及数字视频驱动器)。
通信者可使用一个或更多个输入设备130(例如,一个或更多个键盘、计算机鼠标、话筒、摄像头、操纵杆、诸如Wii输入设备的物理运动传感器、以及触摸垫等)与计算机***120交互(例如,输入命令或数据)。信息可通过在显示监视器132上呈现给通信者的图形用户界面(GUI)来呈现,这由显示控制器134控制。计算机***120还可包括其他输入/输出硬件136(例如,诸如扬声器和打印机等***输出设备)。计算机***120通过网络适配器138(也称为“网络接口卡”或NIC)连接至其他网络节点138、140和142。
若干程序模块可被存储在***存储器124中,包括操作***(OS)144(例如,可从美国华盛顿雷蒙德的微软公司获得的Windows XP操作***)、实时内核20、驱动程序146(例如,GUI驱动程序)、网络协议148、本地软件应用150(例如,HUD 84)、以及数据(例如,输入数据、输出数据、程序数据、注册表156、以及配置设定152)。
B.操作***
操作***144通过提供用于创建计算机***120上的运行时执行环境的基础操作***服务来主存软件应用。通常由操作***提供的示例性类型的服务是资源管理、文件管理、安全性、认证、验证、通知、以及用户接口(例如、窗口、菜单、对话等)。
与计算机***120的资源(例如,存储器、处理器、以及I/O设备)管理有关的服务通常由操作***内核实现。文件管理可由操作***内核实现或可用分离的文件***管理器(例如,可安装的文件***,其在一些MicrosoftWindows操作***中提供)实现。在打开文件(例如,计算机数据文件或软件应用文件)的过程中,文件***管理器通常调用适当的文件***驱动程序,该文件***驱动程序在映射出文件在磁盘上的存储位置的数据库(例如,诸如FAT、FAT98、VFAT、MFT以及CDFS等文件分配表)中查找该文件的磁盘存储位置。诸如安全性、认证、验证、通知、以及用户接口的其他操作***功能可由操作***的一个或更多个其他组件(例如,一些MicrosoftWindows操作***中的可执行服务层)提供。
通常由操作***内核提供的示例性类型的服务是过程管理、存储器管理、设备管理、以及***调用处置。过程管理包括运行应用并向计算机***的硬件组件提供应用编程接口(API)。在运行软件应用的过程中,操作***内核通常在存储器中建立用于该软件应用的地址空间、在该地址空间中加载包含该软件应用代码的文件、以及执行加载的软件应用代码。存储器管理涉及管理软件应用对***存储器124的访问。设备管理涉及提供通过设备驱动器对硬件设备的访问。***调用处置涉及提供向用户模式软件应用暴露操作***内核服务的API。通过调用API(例如,通过过程间通信机制和***调用),软件应用可向操作***内核请求服务、传递参数、以及接收响应于请求由服务生成的结果。
操作***144通常在注册表156中存储硬件和软件配置信息、用户偏好、以及设置信息。例如,注册表156通常包含以下信息:引导和配置***所需的参数值、控制操作***144的操作的***范围的软件设置、安全性数据库、以及每用户简档设置。在一些实施例中,连接规则32被存储在注册表156而非分离的数据库中。
C.网络协议
网络协议148控制或使能计算机***120和其他网络节点之间的连接、通信、和数据传递。示例性的网络协议类型包括传输控制协议/网际协议(TCP/IP)、用户数据报协议/网际协议(UDP/IP)、实时传输协议(RTP)、以及会话发起协议(SIP)。
TCP/IP包括TCP部分和IP部分。该协议的TCP部分通过将消息***成较小分组、在通信网络另一端重新组装分组、以及重新发送任何在路上丢失的分组来提供传输功能。该协议的IP部分通过向这些数据分组指派目的地网络以及该目的地网络处的目标节点的地址来提供路由功能。使用TCP/IP传递的每个数据分组包括包含TCP和IP信息的头部。IP不向通信栈的上层提供分组传递的保证。另一方面,TCP提供有保证的排队分组传递下面向连接的端对端传输服务。这样,TCP协议提供可靠的传输层连接。
UDP是面向消息的传输层协议,其提供应用层和因特网层之间的接口。UDP不保证消息传递到应用层。UDP是无连接协议,因为对建立专用端对端连接并无建树。UDP发送方在发送UDP消息后,不保留关于这些UDP消息的状态信息。通信是基于从源到目的地的一个方向上的消息传输,不会检查接收机的状态。
RTP定义用于通过网络连接传递音频和视频的标准化分组格式。各种网络协议可被用于在网络节点之间传送和接收RTP数据,包括对等连网框架、单独使用TCP套接字或与UDP联用的集中式服务器、以及多播协议。
SIP向用户提供用于彼此定位、建立通信会话、以及终止活动会话的手段。有了SIP事务,根据会话描述协议(SDP)来处置话商定过程。
D.设备驱动程序
设备驱动程序146通常由使其他软件应用(例如,用户模式的软件应用和操作***)与连接至计算机***120的硬件设备交互的软件应用来实现。设备驱动程序通常向可由软件过程作出的调用所调取的功能提供API,以便转换在软件过程和硬件设备之间传递的命令和数据。
E.实时内核
1.引言
实时内核20包括控制计算机***120和共享虚拟区域通信环境的其他网络节点之间的实时数据流的处理和开关的服务,以及虚拟区域和该虚拟区域中的对象在显示监视器132上的相应视图呈现的服务。在这些过程中,实时内核与和驱动程序148进行通信的操作***功能接口以向和从计算机***120的硬件组件传递命令和数据,以便与其他网络节点交换实时数据流并向通信者呈现沉浸性虚拟区域通信体验。
实时内核20的实现包括一个或更多个分立模块或分立库(例如,动态链接的库),这并不限于任何特定的硬件、固件、或软件配置。一般来说,这些模块可在任何计算或数据处理环境中实现,包括在数字电子电路(例如,应用专用集成电路,诸如数字信号处理器(DSP))中或在计算机硬件、固件、设备驱动器、或软件中。在一些实施例中,模块的功能性被组合进单个数据处理组件。在一些实施例中,一个或更多个模块的每一者的相应功能性由多个数据处理组件的相应集执行。在一些实现中,用于实现实时内核20的实施例执行的方法的过程指令(例如,诸如计算机软件等计算机可读代码),以及它们生成的数据被存储在一个或更多个计算机可读介质上。适用于有形地表达这些指令和数据的存储设备包括所有形式的非易失性计算机可读存储器,包括例如诸如EPROM、EEPROM和闪存设备的半导体存储设备;诸如内部硬盘和可移动硬盘的磁盘;磁光盘;DVD-ROM/RAM以及CD-ROM/RAM。
2.示例性实时内核功能性
实时内核20与一个或更多个网络基础结构服务协作以建立并管理计算机***120与共享虚拟区域通信环境的其他网络节点之间的网络连接。在建立并管理网络连接过程中涉及的示例性功能性有会话管理、远程控制流处置、以及实时任务调度。
e.会话管理
图9示出由实时内核20响应于请求连接至虚拟区域的实时内核API调用实现的方法的实施例。
根据图9的方法,实时内核20确定虚拟区域的指定(图9,框160)。在一些实施例中,实时内核20的该功能性通过向实时内核服务发起包括虚拟区域指定的实时内核API调用来调取。实时内核API调用可由任何软件应用、操作***服务作出。
实时内核20建立与主存指定的虚拟区域的网络基础结构服务的会话(图9,框162)。在此过程中,实时内核20建立与区域服务26的会话。实时内核20随后向区域服务26传送对连接至指定的虚拟区域的请求。区域服务26确定从实时内核20接收的请求中指定的虚拟区域的实例。在确定虚拟区域实例的实例后,区域服务46确定用户能力是否满足与虚拟区域实例相关联的能力要求。如果用户能力符合能力要求,则区域服务46传送指示描述虚拟区域实例的当前状态的状态数据的可用性的消息(例如,当前在虚拟区域实例中的对象的列表、以及与这些对象相关联的通信者的名称)。
实时内核20订阅描述虚拟区域实例的当前状态的状态数据(图9,框164)。响应于订阅请求,区域服务26向实时内核20和区域服务26之间的链路上的信道公布状态信息。
在一些实施例中,实时内核20的So3D引擎调用操作***144的用户接口服务以呈现状态数据的人类可感知的视图。例如,So3D引擎可调用接口服务以在显示器132上呈现与当前在该区域内的对象相关联的每个通信者的表示。在一些实施例中,通信者可由图标、缩略图、或可选地用该通信者名称标记的其他图形来表示。在一些实施例中,状态数据在触发了实时内核20的调用的软件应用的图形界面中呈现。在一些实施例中,状态数据在抬头显示器(HUD)界面84的实施例中呈现(参见图5A-5C)。
在已经建立与虚拟区域实例的连接后,触发实时内核20调用的软件应用可给予用户请求进入虚拟区域实例内的选项或可代表该用户自动请求进入该虚拟区域实例内。
图10示出由实时内核20响应于请求进入虚拟区域的实时内核API调用实现的方法的实施例。
根据图10的方法,实时内核20向主存虚拟区域的网络基础结构服务宣称进入该虚拟区域的意图(图10,框168)。在此过程中,实时内核20向区域服务26发送包含该宣称的消息。该消息可在与区域服务26的现有链路的信道上发送,或者在实时内核20建立的与区域服务26的新链路上发送。作为相应,区域服务26确定用户能力是否满足与虚拟区域实例相关联的能力要求。如果用户能力符合能力要求,则区域服务26向实时内核20返回配置数据。根据虚拟区域实例的描述,配置数据通常包括虚拟区域实例的定义、当前在该虚拟区域实例内的对象的登记、以及与虚拟区域中的对象相关联的实时数据流源和阱的集合。
实时内核20发起至少一个实时数据流在与至少一个实时数据流源的至少一个网络连接上的传递,其中该至少一个数据流源分别与虚拟区域中的至少一个对象相关联(图10,框170)。在此过程中,实时内核20基于从区域服务26接收的配置数据确定与虚拟区域的实例相关联的一个或更多个网络节点。实时内核20随后发起至少一个实时数据流在与至少一个所确定的网络节点的至少一个网络连接上的传递。实时内核20和其他网络节点之间的连接可以是对等连接或服务器仲裁的连接。关于对等连接,连接目标网络节点和实时内核20通常彼此认证,并且随后建立链路,经由该链路向或从连接目标传送至少一个实时数据流。链路通常是单向的且由发射机请求并由接收机接受或拒绝。
在所解说的实施例中,实时内核20根据虚拟区域实例的描述中的至少一个流处置定义来处理发起的实时数据流(图10,框172)。在此过程中,实时内核20根据虚拟区域描述中定义的流处理配置将流处理对象集组装成有向图。
f.远程控制的流处置
图11示出由实时内核20响应于从虚拟区域服务26接收的处置指令实现的方法的实施例。
根据图11的方法,实时内核20从在远程网络节点上操作的区域服务26接收一个或更多个流处置指令,其中该流处置指令包括用于处理至少一个实时数据流的流处理机的描述(图11,框200)。实时内核20根据流处理机描述创建流处理机(图11,框202)。流处理机通常包括一个或更多个流处置指令中描述的混合功能。该混合功能用于将实时数据流与至少一个其他实时数据流混合以产生混合的实时数据流。实时内核20在包括通过所创建的流处理机处理实时数据流的过程中产生所得数据流(图11,框204)。在一些实施例中,该过程涉及从一个或更多个流处置指令中指定的实时状态信息中确定配置参数值、以及用该配置参数值动态地配置流处理机。
图12示出由流处理机配置管理器208(其为实时内核20的组件)根据从区域服务26接收的流处置指令210创建的流处理机206的实施例。流处理机配置管理器208通常由一个或更多个构成服务和实时内核20的其他组件构成。流处理机配置管理器208从一组处理对象(也称为处理图元或PGE)构造流处理机206。每个处理对象是能够对数据流执行特定功能(例如,变换功能、分立功能、以及混合功能)的软件对象。流处理机配置管理器208实例化一个或更多个流处置指令中指定的处理对象并根据描述将实例化的处理对象组装成流处理机206的有向图组件212。在一些实施例中,流处置指令用相应的唯一标识符来指定处理对象且流处理机配置管理器208通过向处理对象API发起包括相应一些标识符的调用来实例化处理对象。流处理机206被配置成通过相应处理链216-218处理特定数据类型(例如,音频、视频、以及运动数据类型)的多个数据流214,这些处理链由相应一些处理对象构成。流处理机206另外包括混合对象220(其在一个或更多个流处置指令中指定)。在操作中,流处理机206执行混合对象220以从经处理实时数据流216-218的组合产生混合实时数据流222。在一些实施例中,至少一个实例化的处理对象将相应的调用封装到驱动程序模块224,该驱动程序模块至少部分地基于所得数据流222控制本地网络节点的硬件组件。
g.实时任务调度
图13示出由实时内核20在调度由实时内核20执行的任务的过程中实现的方法的实施例。
根据图13的方法,实时内核20建立与至少一个远程网络节点的至少一个实时数据流连接(图13,框230)。
实时内核20处理源自远程网络节点的至少一个实时数据流(图13,框232)。在此过程中,实时内核10通过一个或更多个实时数据处理操作处理该至少一个实时数据流以产生所得数据流。
实时内核20监视该至少一个实时数据流的处理(图13,框234)。在一些实施例中,实时内核10监视一个或更多个以下参数:所得数据产生的速率、本地网络节点的至少一个处理器的利用、以及本地网络节点的至少一个连网资源的带宽利用。在一些实施例中,实时数据流被分组成帧且实时内核20在根据本地时钟设定的每一相继固定长度间隔期间监视每一帧的处理,该本地时钟通常与远程主时钟服务同步。基于该监视,实时内核20确定实时数据流的处理是否偏离性能目标。在一些实施例中,性能目标包括对产生所得数据流的基于时间的阈值。例如,在一些实施例中,性能目标是对产生所得数据流的帧的速率的谓项(即,条件)。该类型的示例性的性能目标包括目标阈值和目标范围。
响应于确定该至少一个实时数据流的处理偏离性能目标,实时内核20根据实时性能目标例程修改该处理(图13,框236)。
图14示出由实时内核20基于对至少一个实时数据流的处理的监视而执行的方法的实施例。响应于确定对该至少一个实时数据流的处理没有满足性能目标(图14,框238),实时内核20将计算资源负载减少至较低水平(图14,框240)。取决于实时性能目标例程的设计,实时内核20通常以下列方式中的一种或更多种来减少计算资源:实时内核20可忽略实时数据流的一个或更多个部分的处理(图14,框242);实时内核20可忽略一个或更多个实时数据处理操作(图14,框244);以及实时内核20可用不同的相应数据处理操作替代至少一个实时数据处理操作(图14,框246)。在忽略实时数据流的一个或更多个部分的处理的过程中(图14,框242),实时内核20通常执行以下操作中的至少一个:忽略一个或更多个由性能目标之外的相应性能值表征的数据处理操作;以及基于分别指派给各个数据处理操作的优先级值优先忽略一个或更多个数据处理操作。
如果该至少一个实时数据流的处理满足性能目标(图14,框238)且计算负载已经通过以上描述的任一种方法被减少至较低水平(图14,框248),则实时内核20从该较低水平增加计算负载(图14,框250)。实时内核20通常根据启发通过反转一个或更多个用于在框240减少计算资源负载的操作来增加计算资源。如果该至少一个实时数据流的处理满足性能目标(图14,框238)且计算负载并未通过以上描述的任一种方法被减少至较低水平(图14,框248),则实时内核20维持对实时数据流的当前处理。
在一些实施例中,实时内核20实例化对至少一个实时数据流执行相应一些数据处理操作的处理对象。实时内核20从一些被实例化的处理对象建立有向图并通过该有向图处理该至少一个实时数据流。取决于实时性能目标例程,实时内核20可通过从有向图中删除一个或更多个被实例化的处理对象而修改实时数据流的处理。在一些实施例中,处理对象被指派相应的优先级值,且实时内核20通过基于被指派的优先级值从有向图中移除一些被实例化的处理对象来删除处理对象。例如,在这些实施例中的一些中,该删除包括从有向图中移除一些被实例化的处理对象,这些被实例化的处理对象被指派的相应优先级值不满足优先级阈值。
在一些实施例中,实时内核20从一些被实例化的处理对象建立第二有向图,第二有向图被用于处理源自本地网络节点和至少一个远程网络节点之一的第二实时数据流。在这些实施例的一些中,第一和第二有向图被指派相应的优先级值,且实时内核通过基于被指派的优先级值优先修改第一和第二有向图之一来修改第一和第二实时数据流的处理。例如,实时内核可卸下第一和第二有向图中被指派最低优先级值的那一个。
在一些实施例中,实时内核20通过有向图处理第二实时数据流,其中第二实时数据流源自本地网络节点和至少一个远程网络节点之一。在这些实施例的一些中,第一和第二实时数据流被指派相应的优先级值,且实时内核20基于被指派的优先级值优先修改对第一和第二实时数据流之一的处理。
在一些实施例中,实时内核20建立本地网络节点和多个远程网络节点之间的相应实时数据流连接。实时内核20通过有向图处理源自相应一些远程网络节点的实时数据流。在这些实施例的一些中,实时数据流被指派相应的优先级值,且实时内核20基于被指派的优先级值优先修改对一个或更多个实时数据流的处理。有向图通常包括相应一些被实例化的处理对象的多个有向链。实时内核20通常通过每个有向链处理相应的一个实时数据流。在这些实施例的一些中,实时内核20迭代地修改实时数据流的处理直至处理落在指定的性能目标之内。在每次迭代期间,该修改通常包括执行以下一者或更多:(i)从有向图中移除一个或更多个链以及(ii)从有向图中删除一个或更多个被实例化的处理对象。
V.示例性实时内核实施例
A.引言
图15示出实时内核20的实施例260。实时内核260支持2D/3D图形呈现引擎、音频混合及开关引擎在不同网络节点上的远程配置和执行以创建两个或更多个通信者之间的物理存在性的感觉。在管理在同一时间在单个虚拟区域实例中交互的所有通信者的过程中,区域服务26经由实时内核260的分组传输组件(本文称为STRAW服务268)远程配置实时内核260和其他网络节点之间的会话。在一些实施例中,实时内核260点对点(P2P)配置数据流(例如,实时音频数据流)以便最小化与区域服务26的通信。区域服务26也可混合数据流并在必要时将其输送至客户端网络节点。实时内核260将向区域服务26报告P2P连接故障以便区域服务26可确定何时为客户端网络节点混合数据流。实时内核260具有小初始覆盖区域,并在网络连接上加载更新和增加功能性作为插件。
实时内核260包括一组管理器和服务。实时内核管理器有连接和服务混合管理器262、区域/地带管理器264、以及插件管理器266。实时内核服务有STRAW服务268、SODA处理机服务270、媒体服务271、音频流服务272、So3D接口服务274、资产缓存服务275、一个或更多个社交服务器277,记录、回放及传输总线服务276、实时调度器服务278、时间服务280、SIP服务282、本地HID/RDS驱动程序处理机服务284,以及用于包括本地音频回放286、本地扬声器288、本地话筒290和Skype音频的本地音频设备的接口服务。在一个示例性实施例中,实时内核260由以下运行时封装组件实现:
库:
其他插件:
加密算法
压缩算法
认证算法:
凭证
音频混合
音频源
音频编解码器
音频计算
图形效果
物理延伸
脚本延伸
输入设备主存
B.实时内核设计
如图15所示,实时内核260被设计为服务、插件和实时调度器的集合,其构成用于根据从区域服务26接收的指令呈现虚拟区域通信环境的平台。各服务协作以通过音频和图形呈现配置根据网络特性实现工作在不同级别的该平台。插件是不同种类的,每个种类附着于插件管理API且每个种类具有其自己的种类API。实时调度器278确保音频和图形呈现以均匀帧速率发生。根据虚拟区域的实例由区域服务26通过在STRAW UDP套接字(参见VI部分,其包含关于SODA记录的示例性集合的SODA定义)上传送的SODA定义记录来配置该平台。STRAW服务268使用公布/订阅模型来多路分解SODA记录流。SODA记录仅在订户存在于STRAW套接字的另一端时才被传送。收到的SODA记录在抵达时被传递给一个或更多个订户。服务支持供So3D图形引擎和HUD 84使用的本地API。
以下小节描述了实时内核260及其组件的实施例的安装、设计以及操作。
1.安装
a.概览
在一些实施例中,基于虚拟区域的呈现平台经由因特网作为软件包被下载为安装包。其被HTTP下载从下载服务器传递。在操作Microsoft Windows操作***的客户端网络节点上,平台软件包是.msi包。初始安装是在更新变为可用时在下载服务器上被修改的单个包。当新的客户端网络节点执行当前安装时,不需要其他更新直至创建作为后续更新的此种时间。
实时内核260利用插件来定制应用。必要的插件包括在安装包内。组件可不时地被独立更新(例如,实时内核服务可以是修正发布的且可以增加插件)。在这种情况下,可为修正发布创建分离的Windows.msi安装包并向更新服务器登记。安装的平台软件将被通知该更新,并将为通信者提供升级选项。一些通信者可延迟升级直至一个以上更新可用。当通信者最终同意升级时,所有可用的更新将被加载并被顺序应用。
插件的多个版本可在同一时间在客户端网络节点上呈现。这是因为客户端网络节点通常商定特征,并选择适合API和版本要求的插件。每个插件广告其API和变量。这些插件将具有不同的文件名以避免文件***中的名称冲突。具有相同API和不同变量的两个插件是不同的实现,且由请求该插件的服务作出选择(或许例如通过与服务器商定)。当加载与现有插件具有相同API和变量的插件时,这是隐错修正。新的插件替代旧的插件。服务始终由升级替代。从来没有具有相同API的两个服务。Windows安装使用清单和捆绑的Windows相关的DLL以保证无论Windows环境的更新状态如何皆起效的产品。Windows并排(side-by-side)特征被用于避免与其他产品安装要求相冲突。
b.更新服务器
更新服务器包含针对每个支持的主存操作环境的安装包,以及针对之前支持的每个安装包的升级包。
客户端网络节点和更新服务器在可靠的STRAW信道上通信。更新服务器公布针对每个支持的主存操作环境的可用升级定义。安装在客户端网络节点上的基于虚拟区域的呈现平台软件随后可订阅升级。更新服务器开始发送合需的软件块。
在一些实施例中,客户端版本和升级工具被安装在每个客户端网络节点上以允许用户察看当前客户端软件版本、列出可用的升级以及启动并监视升级过程。客户端网络节点将保留已被应用的升级包的GUID的表。该表将向更新服务器呈现该列表,且作为回报,得到以应用顺序排列的按照GUID的待决升级的列表。它们将具有所附的描述、大小和日期属性。
升级仅在下载完成且自动安装报告成功时被标记为“已应用”。自动安装过程包括停止任何运行的SORK服务以便DLL可被重写。通过一系列SODA记录完成下载一升级,因此该过程可被打断并恢复而无需重复任何数据传递。记录包括升级GUID和偏移。
升级工具将产生注册表项或保留一文件,该文件包含被应用的升级的GUID、任何当前加载升级的GUID、其偏移以及对磁盘上包含“迄今为止”的数据的文件的引用。一旦被应用,升级包就被删除。如果期望为多个客户端网络节点缓存升级包,则在将进行该缓存的同一客户端代理处指向它们的每一个。
c.更新本地数据库
客户端网络节点在本地文件***中的资产目录中存储基于虚拟区域的呈现平台服务和插件。这些服务和插件是通过API和所附资源自描述的。不保留关于客户端网络节点软件状态的其他信息。当客户端网络节点重新安装基于虚拟区域的呈现平台软件时,或许在OS(操作***)升级后,现有插件通常被重新验证。新的安装包括所有基础服务和插件,但或许在机器上存在可选插件或应用专用插件,此可选插件或应用专用插件通常被删除或被重验证。在一些实施例中,有效插件的二进制内容被散列并被单向加密,且结果值被存储为用于检查该插件是否可信的所附资源。为了验证可疑插件,当前插件内容被重新散列和加密,且将结果值与现有资源比较。如果该内容与资源不匹配,则该插件是无效的。
d.客户端认证
网络认证通常在每次实时内核260一启动时就进行。在一些实施例中,运行帐户网络基础结构服务的帐户服务器被用于认证通信者并为该通信者建立真实用户标识符(RUID)。帐户服务器创建令牌(随后被包括为RUID的一部分)并将该令牌给予客户端网络节点以向其他服务器认证自己。在此过程中,客户端网络节点在安装时被安全地发出一凭证。该凭证通常是由证书权威机构签发的CA定义的凭证。该证书包含私钥和公钥。基于虚拟区域的呈现平台安装包创建仅包含公钥的新凭证。私钥被安全存储在客户端网络节点上。基于虚拟区域的呈现平台安装包使用私钥创建签名以加密通信者提供的口令的摘要,并将签名安全传送给帐户服务器。帐户服务器恢复摘要并将其存储为客户端标识秘密。
当建立连接时,实时内核260与帐户服务器共享凭证。帐户服务器用其凭证(例如,服务器侧的证书)作出响应。客户端网络节点和帐户服务器使用注册权威机构验证该凭证。一旦得到验证,服务器侧的凭证对任何地点的任何服务器都是有效的。
在一些实施例中,帐户服务器还向客户端网络节点提供随机的128位的质询短语。客户端网络节点用通信者提供的口令的加密摘要散列该质询短语并将其返回作为响应。帐户服务器还用先前获得的该通信者的摘要散列质询短语并验证来自客户端网络节点的响应是匹配的。网络连接现在被认证且通信者被标识为私钥的拥有者。
在一些实施例中,帐户服务器向通信者指派具有所附签名的随机客户端ID。该签名是使用该帐户服务器私钥加密的客户端ID的128位散列。该签名仅可由该帐户服务器创建。接收令牌的任何人可通过使用由帐户服务器公布的公钥解密摘要并将该摘要与客户端ID比较来验证通信者。
e.帐户服务器认证
图16示出了通过帐户服务器的凭证来认证帐户服务器296的方法的实施例。根据该方法,客户端网络节点294和帐户服务器296交换凭证(图16,框298、300)。客户端网络节点294向帐户服务器296发出服务器ID和服务器令牌用于后来向客户端网络节点294快速验证帐户服务器296(图16,框302)。帐户服务器296随后向客户端网络节点294发出客户端ID和所附的标识令牌(图16,框304)。使用参与者的公钥来加密在至帐户服务器的流上的认证短语。
2.初始化序列
图17示出由实时内核260的加载器组件在每次启动客户端网络节点上的操作***时实现的方法的实施例。在此过程中,加载器解析包括一个或更多个内核服务组件的静态内核组件列表(图17,框320)。加载器确定所解析列表中的在本地储存库(例如,本地文件***中的目录)中缺少的所有内核组件(图17,框322)。加载器检索被确定为缺少的每个内核组件(图17,框324)。在一些实施例中,加载器在客户端网络节点上实例化从远程网络节点(例如,下载服务器或更新服务器)检索缺少的内核组件的更新服务。在已经检索到缺少的内核组件后,加载器从相应一些内核服务组件实例化内核服务(图17,框326)。被实例化的内核服务被执行以在关于虚拟区域定义的通信环境中与一个或更多个远程网络节点通信(图17,框328)。例如,在一些实施例中,HUD84调用内核服务以与区域服务器通信以便建立如本文详细描述的HUD会话或区域会话。
·STRAW服务268
·SODA服务270
·媒体服务271
·音频流服务272
·连接和服务器混合管理器262
·区域/地带管理器264
·资产缓存服务275
·实时调度器服务278
·HUD 84
·默认插件
在这些实施例中,服务通过名称而非通过GUID被加载。一次在客户端网络节点上仅呈现每个服务的一个副本。加载后,SODA信道服务270、媒体服务271、音频流服务272、区域/地带管理器、以及实时调度器服务等待空闲。连接和服务器混合管理器使音频不被配置并等待至区域服务器的连接的定义。默认插件通过GUID登记为API类对象。当由GUID在定义中引用时默认插件被加载。HUD 84联络帐户服务器、认证并标识通信者。HUD 84创建去往集合网络基础结构服务和交互网络基础结构服务的流并填充其最近使用的(MRU)朋友和区域列表及其频繁朋友和区域列表。资产缓存服务275通常根据启发来联络样式数据库服务器并开始缓存数字资源以及更新其GUID映射。
3.会话
实时内核260管理客户端网络节点和其他网络节点之间的会话。在会话期间,数据在服务器和客户端网络节点之间作为STRAW套接字上的SODA定义记录被共享。数据在公布/订阅模型中共享。实时内核260仅订阅客户端网络节点所需的数据。为了订阅,实时内核260创建与合需服务器的STRAW信道。STRAW信道通过公知的针对特定虚拟区域的GUID商定。在一些实施例中,STRAW套接字使用通过所配置的DNS提供的地址来连接。
区域服务将发送公布消息,该消息指示通信者可用的数据流并用GUID句柄标签化每个数据流。实时内核260随后发送针对合需数据流的订阅消息。任何针对订阅信道的区域服务数据的变化作为SODA定义记录被发送给已经订阅那些信道的所有客户端网络节点。
存在两种主要类型的会话:(a)HUD会话,其涉及在HUD 84中显示当前关系和存在性信息;以及(b)区域会话,其涉及潜伏或进入虚拟区域实例。
a.HUD会话
在HUD会话中,HUD 84联络帐户服务器、RUID服务器、以及集合服务器,并通过STRAW信道订阅通信者自身的帐户和关系信息。HUD 84随后订阅针对密切相关的联系人和虚拟区域的存在性信息。在该点,HUD 84可显示针对密切相关的联系人的动态存在性信息。
b.区域会话
在区域会话中,HUD 84订阅关于相关虚拟区域的信息。在一些实施例中,咨询目录服务器以确定主存由HUD指定的虚拟区域的当前区域服务器。创建去往当前区域服务器的STRAW流。
HUD订阅与虚拟区域相关联的存在性数据并用当前参与该虚拟区域的其他通信者的名称更新其2D抬头显示器。在该点,通信者“潜伏”在虚拟区域中。通信者的存在可被显示在弹出列表中,且图标被显示在HUD区域表示中(例如,在图5A-5C示出的办公场所中)。
如果通信者指导HUD 84进入虚拟区域,随后实时内核向集合服务通知通信者请求进入虚拟区域。订阅与虚拟区域相关联的存在性信息的其他通信者被通知已进入该虚拟区域的新通信者。
实时内核260引导So3D引擎启动交互环境。So3D引擎订阅区域服务器环境数据(例如,呈现和运动数据)。区域服务器开始向实时内核260流送所请求的区域服务器环境数据。实时内核将所请求数据传递给So3D引擎,该引擎根据当前可视化模式(例如,2D俯视图、低分辨率视图、或全沉浸性3D视图)呈现数据。
区域服务器定义与虚拟区域中的对象相关联的客户端网络节点之间的原始话筒音频媒体流。区域服务器还根据虚拟区域描述中的音频处置指令(例如,空间效果定义和地带定义)创建音频混合元件的定义。连接和服务器混合管理器262侦听音频定义并创建针对每个定义的媒体流,其中该定义包括针对每个P2P音频流的GUID句柄。向本地传输总线276登记每个媒体流并用音频流服务272创建适当的音频混合组件。区域/地带管理器264还订阅针对音频和针对化身运动和定向数据的SODA定义。当通信者的化身在该虚拟区域中导航时,区域/地带264控制每个音频流的增益/静音。
在一些实施例中,区域/地带管理器264另外订阅关系数据,区域/地带管理器264使用该关系数据经由社交处理器277来控制化身在虚拟区域中的定向/移动/姿势(参见图15)。在此过程中,区域/地带管理器264基于化身在虚拟区域中的位置和关系数据库设定社交处理器277的参数值。这样,当通信者讲话时,可通过改变化身头部的位置和定向来指示关系(例如,当化身进入虚拟区域的地带时将其转向成面对另一化身,或者当进入虚拟区域的媒体地带时将化身定向为获得观看屏上的最佳视图)。在一些实施例中,社交处理器277被第三方开发者定义并经由插件被传递给客户端网络节点。每个社交处理器277是在特定事件发生(例如,由靠近其他化身、或区域中的位置、或二者触发的自动运动)时被自动执行的指令集。社交处理器277可为控制化身或对象在虚拟区域中的运动的任何任意程序性例程。例如,在一些实施例中,如果化身靠近观看屏,一种类型的社交处理器自动迅速将化身移到虚拟区域描述中定义的网络并将该化身在观看屏的前面居中以便用户可容易地看到观看屏的内容。这样,对于移动化身的复杂操纵的需要便消除了。另一种类型的社交处理器277自动旋转和转动化身以确认另一用户的存在性。例如,此类型的社交处理器的实施例被配置为自动将虚拟区域中的化身从彼此面对重定向为其中化身响应于新的通信者进入虚拟区域而面对新的通信者的相应取向。在这种情形中,与原来在虚拟区域中的化身相关联的通信者不必手动操纵其化身;相反,社交处理器自动旋转其头部以确认存在新的通信者。
4.管理会话
图18示出了由STRAW服务268实现的会话管理方法的实施例。
根据图18的方法,在本地网络节点,STRAW服务268根据无连接传输协议(例如UDP)在传输流上建立与远程网络节点的第一会话(例如,图18,框362)。STRAW服务268创建该会话的定义,其中该定义包括网际协议(IP)地址、端口地址、以及传输协议的全局唯一标识符。STRAW服务268向远程网络节点发送该定义。STRAW服务268确定指派给远程网络节点的第一站定义,并将第一站定义存储在表中作为每个打开信道的属性。在此过程中,STRAW服务268解析从远程网络节点接收的站定义记录。站定义记录包括一组字段,其中每个字段被相应字段类型以及相关联的字段值所定义,且每个字段类型被相应的全局唯一标识符(GUID)标识。
代表本地网络节点上的一个或更多个软件实体,STRAW服务268自动打开在第一会话中在本地网络节点和远程网络节点之间传送数据的一个或更多个信道(图18,.框364)。在此过程中,STRAW服务268向远程网络节点发送定义本地公布信道的记录和具有与远程公布信道之一的标识符匹配的标识符的每一个本地订阅信道的记录。
在第一会话中,STRAW服务268维护标识打开的一些信道的表并将相应的属性值与所标识的信道相关联(图18,框366)。STRAW服务268记录从本地网络节点可用的本地公布信道、一个或更多个软件实体请求的本地订阅信道、从远程网络节点可用的远程公布信道、以及远程网络节点请求的远程订阅信道的属性。在此过程中,STRAW服务268为每个本地公布信道维护一记录,该记录包括指示在本地公布信道上公布数据的能力的软件实体之一的标识符、订阅本地公布信道的远程网络节点的标识符、以及本地公布信道的标识符。STRAW服务268为每个本地订阅信道维护一记录,该记录包括订阅本地订阅信道的软件实体之一的标识符、指示在本地订阅信道上公布数据的能力的远程网络节点的标识符、本地订阅信道的标识符、以及一个或更多个与本地订阅信道相关联的网络传输参数。STRAW服务268为每个远程公布信道维护一记录,该记录包括指示在远程公布信道上公布数据的能力的远程网络节点的标识符、以及远程公布信道的标识符。
STRAW服务268在会话中在一个或更多个打开的信道上在本地网络节点和远程网络节点之间传送数据。在一些实施例中,以每一记录包括一组字段的形式传送数据。记录的每个字段由相应的字段类型以及相关联的字段值所定义,且每个字段类型被相应的GUID标识。一些记录是包含媒体数据的媒体记录,该媒体数据包括可呈现数据的分组。其他记录是包含配置数据的配置记录,该配置数据包括配置设置的定义。媒体记录和配置记录通常被封装在传输流上的传输记录中。媒体记录通常使用第一数据压缩服务来压缩,而配置记录通常使用第二数据压缩服务来压缩。在传输时,STRAW服务268将传输记录与传送传输记录的相应一些信道的标识符相关联,加密该传输记录,以及按顺序排列加密的传输记录。在接收时,STRAW服务268解密传输记录并将包含在解密的传输记录中的媒体记录和配置记录分派给订阅的一些软件实体。
响应于确定第一会话失败,STRAW服务268根据无连接传输协议自动尝试在第二传输流上建立与远程网络节点的第二会话(图18,框368)。在一些实施例中,STRAW服务268响应于确定指派给远程网络节点的当前站定义不同于建立第一会话时指派给远程网络节点的第一站定义而确定第一会话失败。
响应于成功建立第二会话,STRAW服务268自动打开该表中标识的每个信道(图18,框370)。
5.处理数据流
实时内核260支持用于处理由客户端网络节点从其他网络节点接收的数据流的流处理机的远程配置。响应于从区域服务26接收的指令,实时内核260的各种服务和其他组件协同将处理元件的有向图构造和配置成用于处理数据流的流处理机。区域服务指令根据由区域服务26管理的虚拟区域所主存的虚拟区域应用来配置流处理机。
图19示出由实时内核260的组件响应于从区域服务26接收的远程流处置指令实现的方法的实施例。
根据图19的方法,实时内核260从一个或更多个流处置指令解析实时流处理机的描述(图19,框330)。在此过程中,STRAW服务268从区域服务26接收用于配置流处理机的SODA定义。STRAW服务268将SODA定义分派至连接和服务器混合管理器262以及区域/地带管理器264。连接和服务器混合管理器262从一个或更多个流处置指令解析输入源标识符、输出阱标识符、以及一个或更多个数据处理对象的每一者的相应标识符。
连接和服务器混合管理器262实例化对应于这些标识符中相应一些标识符的实时流处置对象(图19,框332)。连接和服务器混合管理器262向传输总线276登记实例化的对象。
传输总线276根据描述创建包括一些被实例化的实时流处置对象的有向图(图19,框334)。区域/地带管理器264将音频计算SODA定义传递至有向图内指定的音频计算对象。
STRAW服务268从对应于输入源标识符的输入源接收实时数据流(图19,框336)。STRAW服务268将该实时数据流传递至媒体服务271,该媒体服务处理该流并将其传递至传输总线276。传输总线276顺序执行流处理机的处理图元以执行对实时数据流的指定处理。
流处理机在对应于输出阱标识符的输出阱产生所得数据流(图19,框338)。所得数据流随后被传递给客户端网络节点的呈现组件。
6.实时内核的服务和其他组件
实时内核260的组件包括服务、插件、以及库。
a.压缩器库
压缩器库实现针对传输数据的可任选压缩层。并非旨在压缩协议头部或链路商定交换。
压缩器库被SODA信道服务270和被媒体服务271使用。当配置加密时,这些服务270、271创建两个压缩器实例并以管道输送信道数据。一个压缩器实例被用于传送而另一个压缩器实例被用于接收。
压缩器库使用由变量配置的压缩/解压缩插件。由服务商定压缩变量,并将其提供给压缩器。
b.音频流服务
音频流服务272管理音频流混合。它定义用于创建和配置音频处理图元(也称为音频组件对象)的API,该音频处理图元由区域/地带管理器264操纵。音频流服务272是传输总线276的客户端。向传输总线276登记所有音频处理图元。
音频处理图元经由以下API调用通过插件管理器266(PlugInMgr)来创建:
插件管理器::API枚举(gui插件Api)
插件管理器::变量枚举(guid标识符,guid插件Api)
插件管理器::创建实例(guid标识符,guid插件Api,guid变量)
插件管理器的调用::创建实例()API产生guid插件,其表示API的合需变量的实例。
用于音频处理图元的插件API为:
音频混合
音频源
音频***
音频发送
调用程序提供变量,该变量仅由音频流服务272传递。变量表示音频处理图元的实现,如虚拟区域应用中所定义的。音频流服务272随后创建封装插件实例(guid插件)的音频组件对象。该音频组件使用插件管理器266来访问插件的方法。音频流服务272为每个音频API创建正确类型的导出音频组件:
音频混合
音频源
音频***
音频发送
向传输总线276登记音频组件对象。传输总线API被用于将组件链接成图。音频组件API支持传输总线276和区域/地带管理器264的操作。基类音频组件具有音频源和音频阱的API,两者都是相同插件的方面。
c.STRAW服务
(i)概览
STRAW服务268实现STRAW传输协议,该协议实现网络节点之间通过无连接传输协议(例如,UDP)的面向连接的加密安全套接字连接。STRAW传输协议使用固定长度的全局唯一标识符(GUID)来识别所有记录和记录中的所有字段类型。例如,在一些实施例中,网络节点(或站)由IP_地址和端口定义。在这些实施例中,STRAW站标识记录定义具有以下GUID集的特定网络节点:{GUID1,GUID2,GUID3,GUID4,GUID5,GUID6},其中
·GUID1将STRAW记录标识为SODA记录;
·GUID2将STRAW记录标识为网络节点标识记录;
·GUID3是IP地址字段标记;
·GUID4是网络节点的IP地址;
·GUID5是端口号字段标记;以及
·GUID6是网络节点的端口号
在这些实施例中,站标识符记录包含可易于被压缩为较小尺寸的二进制数据。在一些实施例中,一个或更多个STRAW记录的尺寸可通过省略字段标记被进一步减小。在这些实施例中,STRAW记录的发射机和接收机知晓该STRAW记录的格式以便字段值的语义是已知的而无需参考任何字段标记。
参考图20,STRAW服务268管理传输流342上的会话340。在一些实施例中,STRAW会话的上下文中的流由一对(IP,端口)地址和传输GUID定义。会话包括零或更多个逻辑信道,其中信道是一系列适于特定内核管理器(例如,So3D图形引擎274、连接和服务器混合管理器262、以及区域/地带管理器264)的记录。超过一个内核管理器可从同一流接收记录,这些记录由信道区分。
STRAW服务268管理两种类型的信道:包含流送数据(例如,音频)的媒体信道;以及包含SODA定义记录(或指令)的SODA信道。STRAW记录在流上封装SODA记录和媒体记录。STRAW记录被加密、序列化,且包括消息完整性字段。该序列独立于记录源或目的,其是用于检测无序或丢失记录的链路级特征。
STRAW记录由信道标识。GUID被用作信道标识符。SODA和媒体记录可在信道级被压缩为无关于STRAW记录封装的流。每个SODA记录包含一个或更多个SODA定义344。SODA定义的示例包括处理图元(例如,音频混合和音频效果)、3D呈现资产(例如,纹理和网格)、以及RDS(例如,化身运动检查点)。每个媒体记录包含一个媒体分组346。媒体分组的示例包括音频编解码器和文本。
应用在会话上使用公知的GUID ID公布信道。内核管理器订阅信道。公布/订阅模型是无连接的。订阅信道的内核管理器进行登记以在信道状态变化和信道记录到达时接收对它们的通知。
(ii)流-会话-信道-记录
在STRAW会话的上下文中,流是由两个IP地址/端口对和传输GUID定义的两个网络节点之间的双向UDP套接字。流支持信道的会话。会话是逻辑的节点对节点连接。会话为两个节点传输信道。会话可穿过一个或更多个代理站并通过可包含多个会话的流来传输。
信道是在会话中在两个网络节点间传递SODA或媒体记录的逻辑结构。信道可以是可靠的或不可靠的,压缩的或非压缩的。信道的内容由内容GUID标识。信道记录在共享同一头部信道_客户端ID并具有顺序分组号和MAC字段的一系列STRAW记录中传输。MAC计算取决于仅在一个方向上的给定信道上的分组序列。单个信道上传送的所有记录共享单个配置参数集(例如,{客户端,可靠的,压缩的})。单个信道上的记录被压缩为串行流。通常仅可靠信道可被压缩。在一些实施例中,不可靠信道可用其中在每个关键帧上重启压缩的压缩过程来进行压缩。在不可靠信道上丢失分组的情况下,在该信道上的记录被丢弃直至到达关键帧(因为它们不能被无序解压缩)。
压缩使用压缩.库(compress.lib)。为了改善压缩,信道定义可包括预加载数据,该预加载数据可贯穿压缩器但并不被传送。目的是用共用短语填装压缩状态表。压缩状态表在每次收到关键帧时被重设和重建。
(iii)SODA记录
SODA记录是具有初始GUID ID及一个或更多个SODA定义的嵌套结构。SODA定义具有定义类型、定义长度以及一个或更多个字段。定义类型是公知的GUID(例如,guid资产)。长度指示字段的总尺寸。字段是因类型而异的固定字段和嵌套的SODA定义的组合。即,
SODA记录:
guid ID
SODA定义
…
SODA定义:
Guid定义类型
长的长度
[字段]-取决于定义类型
字段:
固定字段
或者SODA定义
例如,
SODA记录被封装在STRAW记录中:
(iv)信道可靠性和链路级协议
STRAW记录被编号且包含信道ID。在接收分组和短时间延迟后,传输发送包含针对每一信道的下一期望分组号的ACK记录,以便发送方可确认所传送的记录被接收到并可释放本地资源。除周期性传输外,没有针对该ACK的可靠性特征。该方案使用最少的网络资源实现可靠性,假定几乎所有记录都被成功接收。
MAC字段针对每个被传送的STRAW记录被计算。它在接收时被检查。
对于可靠信道:
如果信道中的记录被无序接收,则为丢失的记录传送NACK。MAC失败也导致为期望的记录传送NACK。单个记录最高允许四个NACK,且随后该传输将失败消息排队至任何订阅内核管理器并擦除信道定义。
对于不可靠信道:
如果信道中的记录被无序接收,则丢失的分组号被发信号至订阅该信道的任何管理器且不发送NACK。MAC失败也作为丢失分组指示给订阅该信道的任何内核管理器且不发送NACK。不存在针对丢失分组的阈值,且该信道从不被该传输关闭。
不需要“关闭”信道。如果所有内核管理器没有订阅,则信道上的数据传输停止。既然信道是逻辑实体,那么未使用操作***资源。
(v)公布/订阅
STRAW服务268维护本地公布和订阅项的列表。每个项包含:
创建该项的本地管理器
服务器标识符
信道标识符
公布或订阅
传输参数(用于订阅)
用以下初始化列表
{STRAW服务,GUID_空,会话,订阅,可靠,未压缩}
这样,STRAW服务268订阅在任何会话信道上到达的所有到达SODA记录。这些记录包括公布和订阅定义。GUID_空信道从不被公布并由每一服务器假定在每一流上用公知信道ID来订阅。
STRAW服务268还维护所有到达公布定义的表,用于后来在本地列表中登记订阅的情况所用。
{ID客户端,ID服务器,ID信道}
在ID客户端为信道旨在的特定客户端的(可能为空的)GUID的情况下,ID服务器是信道记录的远程源而ID信道是信道的公知GUID。
当STRAW服务268接收针对至另一站的合需连接的会话定义时,STRAW服务268建立流,发送会话定义,并在会话信道上发送SODA记录中的所有本地表公布项。当公布定义到达STRAW服务268时,STRAW服务268将该定义输入公布定义表,并随后发送针对本地列表中在公布记录中具有匹配信道ID的每个订阅项的会话信道的订阅定义。当订阅定义到达时,STRAW服务268开始在给定信道上发送定义更新(从公布应用管道传送)作为包含对该定义的SODA记录的STRAW记录。这些记录可在多于一个信道上被发送。
当内核管理器想要参与与服务器的信道时,该内核管理器定义订阅请求,无论是否存在去往任何服务器的任何STRAW流。如果虚拟区域应用后来公布(即,在建立流之后),则本地表中的变化触发表格中公布项的重新发送,这自动触发任何在链路的另一端的潜在订阅。如果内核管理器后来订阅且公布表中存在项,则STRAW服务268自动发送订阅请求。该过程确保仅在接收机需要信道数据时才在链路上发送。
(vi)信道记录分派
STRAW记录在其到达时被解密。如果是有效的,则其嵌入记录被解压缩并随后被分派给所有订阅内核管理器。检查本地订阅项的列表,且匹配信道ID(在订阅传输信息中)的所有项在其消息队列中接收该记录的副本。
订阅内核管理器负责在消息被处理时释放消息。消息的大块数据部分不被复制,但指向包含STRAW记录的原网络缓冲器。每个内核管理器释放消息,以便当消息都被释放时,网络缓冲器可被重复利用。
(vii)建立STRAW流
客户端网络节点在流上连接与服务器和对等网络节点的会话。在此过程中,每一方向其他方认证自己。
STRAW流是可信和安全的。这意味着:
·客户端网络节点对伙伴的身份是确定的;
·消息是私有的;
·收到消息可证明曾被发送的消息(未在中间某处被修改);以及
·消息将由双方以相同方式解释。
会话定义的一部分是流传输插件GUID的列表。如果响应于该定义的客户端网络节点支持这些GUID中的至少一个,则其加载插件并使用该插件来建立会话。创建该定义的服务器可检查每个所涉及的客户端网络节点的支持列表并决定将哪个传输插件GUID包括在该定义中。
会话定义的一部分是流加密插件GUID的列表。如果响应于该定义的客户端网络节点支持这些GUID中的至少一个,则其加载插件并使用该插件来加密会话。创建该定义的服务器可检查每个所涉及的客户端网络节点的支持列表并决定将哪个流加密插件GUID包括在该定义中。
(viii)服务器流
在一些实施例中,从客户端网络节点344到服务器346的流使用从服务器(诸如,目录服务器、映射服务器、或区域服务器)获得的地址来建立。该流的示例性目的包括获得存在性信息,使用来自映射服务器的呈现定义呈现公共空间,以及使用来自区域服务器的呈现定义呈现虚拟区域。
图21示出在客户端网络节点344和服务器346之间建立服务器流的方法的实施例。根据该方法,客户端网络节点344向服务器346发送客户端凭证和流ID(图21,框348)。服务器346用服务器凭证和预主秘密来回复(图21,框350)。一旦创建流,连接的客户端网络节点344商定密码集,并随后通过呈现其标识令牌来认证(图21,框352)。服务器346呈现适合于该客户端网络节点344的服务器令牌(由流ID选择并由帐户服务器传递至服务器346)(图21,框354)。
(ix)客户端流
参考图22,每个会话被由发起服务器生成的新GUID所标识。将会话定义通知流中涉及的网络节点,且每个网络节点使用会话GUID和客户端ID的散列作为流加密密钥与另一节点通信。在图22示出的示例性实施例中,区域服务器356定义两个客户端网络节点358、360之间的会话。客户端网络节点358、360的每一个向区域服务器认证,并使用加密信道来传递定义(包括会话定义)。客户端网络节点358、360不需要彼此共享任何进一步的认证信息。客户端网络节点358、360的每一个被服务器346用相应GUID来标识。每个会话定义用其GUID标识客户端网络节点358、360两者。客户端网络节点358、360可使用该信息决定在会话上公布哪一信道。
如果针对客户端网络节点358、360之一的流或会话失败,该客户端网络节点使用会话失败SODA定义来通知区域服务器356该失败。失败的原因包括,例如,没有兼容的传输、没有可用信道、以及可靠信道故障等。在一些实施例中,区域服务器356通过尝试重新路由该流(例如,通过经代理或服务器反射音频流)来响应会话失败SODA定义。
在一些实施例中,客户端网络节点358、360根据UDP对网络地址翻译器(NAT)的简单穿越(简称为STUN)网络协议来传递P2P。在这些实施例中,客户端358、360通过响应NAT来操作。服务器(例如区域服务器356)充当STUN服务器,该STUN服务器在NAT的公共侧在网络中的两个IP地址侦听并报告NAT外部的被映射IP地址和端口。从该信息中,客户端网络节点358、360能发现NAT的存在和特定类型,并获得NAT已经为该客户端至远程主机的UDP连接分配的被映射(外部)IP地址(NAT地址)和端口号。客户端网络节点358、360随后根据UDP协议使用该外部IP地址与另一P2P通信。有关STUN协议的其他细节可从Jonathan Rosenberg等人的“STUN-SimpleTraversal of User Datagram Protocol(UDP)Through Network AddressTranslators(NATs)”(STUN-用户数据报协议(UDP)对网络地址翻译器(NAT)的简单穿越,因特网提议标准RFC 3489(2003年3月))来获得。
(x)保持有效
在一些实施例中,一旦建立流,客户端网络节点上的传输发出周期性空闲流保持有效定义。伙伴网络节点返回具有设为估计为它能忍受的最大间隔的超时的流保持有效定义。该消息的目的是保持任何NAT防火墙孔为活动的。伙伴网络节点记录合需的超时并每次延长该间隔。如果下一消息来自不同的IP和端口,则NAT超时并由保持有效创建新的孔。然后应缩短该间隔。
如果客户端网络节点或伙伴网络节点注意到流保持有效因空闲定时器过期且没有收到消息、或没有收到对保持有效消息的应答而丢失,则它发出具有极小超时的立即流保持有效。这是为了在丢失站和丢失UDP分组之间进行区分。可尝试若干重试。如果在重试之后未收到应答,则用失败会话ID生成本地流故障事件,并删除流定义。
在一些实施例中,STRAW服务268通过在没有应用(或客户端)干预的情况下基于本地公布和订阅表项自动重新建立链路并重新链接所有订阅和数据流来响应打断的链路。
f.媒体信道服务
媒体信道服务271被用于健壮地传递P2P音频和文本聊天。媒体信道服务271将压缩流,如果配置为如此做的话。压缩器库按要求完成压缩。媒体信道服务使用由变量配置的音频编解码器插件。变量GUID从流定义中取出。
g.SODA信道服务
SODA信道服务270被用于健壮地传递SODA定义。SODA信道服务270将压缩流,如果配置为如此做的话。压缩器库按要求完成压缩。这是数据结构被转换为网络字节序的场所。在一些实施例中,使用小端(英特尔)网络字节序。
h.连接和服务器混合管理器
在一些实施例中,连接和服务器混合管理器262输出本地会议调度工具可用的程序API以发起与区域服务器的会话。此API是用于创建会话的初始项。连接和服务器混合管理器262公布活动会话定义。区域服务器在SODA信道上接收会话定义。
连接和服务器混合管理器262还从音频图处理元构造音频图。该音频图处理元由区域服务器26或直接通过SODA记录或间接通过VSDL脚本来配置。在任何情况下,SODA定义是结果。在一些实施例中,连接和服务器混合管理器262处理由区域服务26发送的以下SODA定义:
·音频设备
·音频流
·音频混合
·音频效果
·音频计算
·音频记录
·音频回放
这些SODA定义在以下段落中描述。
音频设备是要向音频传输总线(其为传输总线276的组件)登记为音频源的本地音频设备的定义。提供标准本地音频源(话筒、耳机)或登记的本地音频记录(文件、流送CD音频)的公知ID、连同实例ID(如果有多个耳机可用的话,则其指明为哪个耳机)。该设备被给定新的ID以在音频传输总线上使用。连接和服务器混合管理器262使用公知音频源ID创建音频设备插件的适当变量的实例并将其移交给音频传输总线。
音频流是将向音频传输总线登记为音频源的传入音频流的定义。传入音频流被传送该音频流的信道ID定义。出于动态混合的目的(由区域/地带管理器264进行),必须将流与化身ID相关联。该设备使用信道ID作为其音频传输总线ID。连接和服务器混合管理器262基于信道类型ID创建音频流插件的适当变量的实例并将其移交给音频传输总线。
音频混合是组合音频源和音频阱插件的定义。该定义全面指定了插件APIID、变量ID、一个或两个音频传输总线源ID、以及相关联的化身ID(针对区域/地带管理器264)。连接和服务器混合管理器262基于提供的ID创建音频混合插件的所指示变量并将其移交给音频传输总线。
音频效果是组合音频源和音频阱插件的定义。该定义全面指定了插件APIID、变量ID、一个音频传输总线源ID、以及相关联的化身ID(针对区域/地带管理器264)。连接和服务器混合管理器262基于提供的ID创建音频效果插件的所指示变量并将其移交给音频传输总线。
音频计算是音频计算插件的定义。该定义全面指定了插件API ID、变量ID、相关联的音频传输总线源对象ID、该组件自己的音频传输总线ID、以及两个因情形而异的参数。音频计算对象不直接在音频链中处理音频数据。相反,音频计算对象基于“域对象模型”、诸如手动设定(HUD中的静音、音量控制)等外部信息、化身位置和运动、混响空间以及Windows设置(例如,控制面板中的扬声器选择)来计算其他音频图组件的设定。基于不同的呈现定时器事件(通常比普通音频呈现更少)执行音频计算对象。这是因为它们用作计算输入的数据变化很慢。连接和服务器混合管理器262基于提供的ID创建音频计算插件的所指示变量并将其移交给音频传输总线。
音频记录是音频阱插件的定义。该定义将音频图中的点链接至存储组件。在呈现时间,音频记录组件不自己触发呈现。但是若呈现由另一音频阱组件触发,则将呈现的音频数据提供给音频记录对象用于传递给所指示的存储组件。连接和服务器混合管理器262创建该音频阱插件并将其移交给音频传输总线。
音频回放是音频源插件的定义。该定义将音频图中的点链接至存储组件。如果音频链参考该组件,则在帧准备时间从存储组件中取出一个时间片的音频数据并将其提供为该组件的输出。连接和服务器混合管理器262创建该音频源插件并将其移交给音频传输总线。
连接和服务器混合管理器262根据从区域服务器接收的定义配置传输总线276和音频流服务272。每个定义导致创建音频处理图元,该音频处理图元是音频流插件、音频计算插件、或音频源插件。本地音频设备(例如,话筒、扬声器、和Skype音频)可根据通过HID配置工具选择的设置来配置。HID配置工具允许用户选择键盘和鼠标选项用于在3D协作空间中导航。例如,可定义快捷键,且鼠标姿势限制于化身行为。在一些实施例中,音频输出选择遵循Windows控制面板中针对音频和语音的“声音和音频设备”设置。这确保用于虚拟区域通信的音频设置与用于常规VOIP会话的音频设置相同。
如果区域服务器会话传输失败,则连接和服务器混合管理器262尝试恢复。它卸下该会话并在不同区域服务器上重新启动该会话。如果媒体流失败,则连接和服务器混合管理器262尝试恢复。在此过程中,连接和服务器混合管理器262尝试重新连接至客户端网络节点。如果重新连接尝试失败,则连接和服务器混合管理器262将通信者状态定义为对区域服务器不可听的。
i.区域/地带管理器
区域/地带管理器264根据地带定义和化身位置定义调整音频流服务272混合参数。区域服务26向区域/地带管理器264公布将每个化身与响应于该化身的运动的音频处理图元联系在一起的SODA定义。化身位置数据被用于根据本地地带定义以允许每个通信者在适当音频位置以适当音量听到其他通信者的方式混合来自参与虚拟区域的每个客户端网络节点的音频流。应用到音频处理图元的参数值通常取决于包括相对位置、通信者的取向、地带定义、虚拟区域的音频属性、以及由通信者配置的手动设置(例如,静音、音量)的计算。
在一些实施例中,区域/地带管理器264处理以下SODA定义,这些SODA定义属于其中呈现当前音频图的模拟音频空间的总特征。
·音频混响
·音频孔径
·音频障碍
这些SODA定义在以下段落中描述。
音频混响是导致某些混响或回声效果的“中空空间”的混响空间的定义。该定义用位置标识简单的几何形状。在调用音频计算对象时,该定义在域对象模型(DOM)中被提供给所有音频计算对象。
音频孔径是两个混响空间之间的连接的定义。它通过ID标识两个混响空间,并指定两个空间之间的音频连接。该连接在某一位置和方向上为圆形。在调用音频计算对象时,该定义在域对象模型(DOM)中被提供给所有音频计算对象。
音频障碍是对声音传播的物理障碍物的定义。它被建模为一位置处的球体。在调用音频计算对象时,该定义在域对象模型(DOM)中被提供给所有音频计算对象。
以上描述的SODA定义是对音频计算对象的输入,音频计算对象是采用以下参数作为自变量的脚本计算插件:
声音源和声音阱两者的物理性质;
针对源和阱的地带定义;
手动设置(单独静音、音量/AGC);
环境设置(全局静音、音量);以及
房间音频特性。
初始音频计算插件包括:
手动静音;
手动音量;
位置;
多普勒偏移;
取向(朝向/背离);
地带;以及
房间混响。
一些计算对于单独音频源是适当的;而一些计算对于整个房间的最终混合是适当的。虚拟区域应用可通过在音频定义中参考新插件而随意引入新插件。区域/地带管理器264将订阅其不具有的插件,并从区域服务器接收其定义。
图23示出四通信者音频处理图380的示例,该音频处理图可由区域服务器应用指定。出于简化,通常在完整音频处理图中存在的某些音频处理图元(例如,编解码器、网络、滤波、特殊效果、以及差错消除图元)已被从此示例中省去。
箭头382、384、386、388、390表示音频源,它们都是单声道干音频源。化身1、2和3是来自远程客户端网络节点的网络流。密谈是来自指定源的可选本地音频馈送。音频声像控制(panner)左边的所有东西都是具有一系列附加效果的单声道。这些效果包括根据地带和扬声器取向调整音量并施加多普勒偏移以考虑讲话者和倾听者的相对速度。音频声像控制将每个经调整的单声道信号安置在虚拟区域的当前占据地带的三百六十度音频空间内。使用讲话者相对于倾听者的位置。音频声像控制右边的所有东西是5.1音频。房间音频处理图元计算对音频信号的房间声学效果。它考虑讲话者和倾听者的位置、房间特性、以及障碍。最终混合音频处理图元将所有经处理的音频信号加在一起以产生被管道传送至指定音频输出设备(即,SPKR,其在所解说的示例中表示本地扬声器)的所得流。
一些音频处理图元(***物)具有固定参数且,因此,与任何运行时计算插件脚本不相关联。这些元件包括回声和噪声消除、自动增益控制(AGC)、寂静检测、固定源声像控制、以及最终混合。
j.资产缓存服务
资产被记录在由GUID索引的本地数据库或表服务中。资产数据被保留在非晶存储池中。关于特定资产的ID从不会改变,由此避免了任何缓存一致性问题。资产由SODA记录缓存。这意味着大资产可存储为许多片,因为SODA记录被限制在UDP MTU的大小(大约1000字节)。资产缓存必须通过GUID和数据偏移来索引记录,数据偏移是SODA记录中的字段。
(i)资产索引
资产在类表、以及可选的属性表中表示。
资产类表将资产GUID映射至类GUID和数据存储参考。
资产ID | 资产类 | 数据存储 |
guid表面 | guid类纹理 | <图像1> |
guid会议表表面 | guid类纹理 | <图像2> |
guidSococo会议表表面 | guid类纹理 | <图像3> |
guidDog显示网格 | guid类网格 | <图像4> |
guid名称Soeoco会议名称 | guid类文本 | “会议” |
guid作者DVW | guid类文本 | “David Van Wie” |
资产属性表向资产附加被标记的属性标量值。
(ii)数据存储
基于虚拟区域的呈现平台的资产存储接口允许堆积数据、事务性地存储分离索引、以及提取未用资产存储以重新使用。数据库和文件的组合将用于资产存储。数据库包含两个表:存储分配表,以及GUID/偏移索引。文件是根据配置的缓存大小以固定大小创建的。使用堆一存储段(heap-bucket)算法将资产存储在文件中。
资产缓存数据存储将通过GUID和偏移来索引。堆由以2的幂的数据大小被划分成存储段。最小的存储段为32字节;最大的存储段为2k字节,其共构成7个存储段。每个存储段被预算编制相同量的存储,这意味着每个连继存储段中存在一半的数据项。每个存储段是大到足以散列足够数据项来完成存储预算的堆表,该存储预算使散列冲突的机会相当小。
(iii)SODA资产定义记录
资产被封装在SODA记录中供传输。定义包括资产GUID、其内容(未结构化数据)及其偏移(如果大于一个记录的话)、以及属性表。封装资产的SODA记录从不包含对存储***的任何参考。
偏移和数据字段可重复只要它们适合一个记录。
对资产的查询是定义。
使用定义忽略资产
(iv)属性等级
资产具有属性,最重要的属性是类型和默认。类型指定资产的用途。默认指定可被用于代替给定资产的基础资产。示例性的属性等级在下表中示出:
名称 | 类型 | 默认 | 值 |
空白 | 纹理 | 空 | <图像5> |
木材粒度7 | 纹理 | 空白 | <图像6> |
表顶部1 | 纹理 | 木材粒度7 | <图像7> |
会议表木材 | 纹理 | 表顶部1 | <图像8> |
Sococo表 | 纹理 | 会议表木材 | <图像9> |
在此示例中,包括Sococo表纹理的虚拟区域场景将使用第一可用纹理来呈现,从Sococo表到会议表木材、然后是表顶部1等之中搜索。
样式基础将具有基于默认资产的巨大资产等级树,所有资产最终基于较小数目的基础资产。这些基础资产被安装作为客户端软件包的一部分。该特征旨在允许设计具有指定样式资产被调出的等级,以及允许在实际设计所有样式资产之前呈现该资产。可能还期望在加载所有样式资产之前启动虚拟区域的呈现。
可选属性包括默认、作者、应用和作为对从中导出资产的Collada源的参考的Collada ID。作者站上运行的浏览工具将通过任何和所有属性来索引资产。
k.音频传输总线
音频传输总线是处置音频流的传输总线276的组件。在一些实施例中,音频传输总线由作为组件对象集合管理音频图的库实现。所有音频图对象通过唯一ID向音频传输总线登记。音频传输总线负责在呈现音频时管理音频图对象。音频传输总线通过ID跟踪音频图组件。在此过程中,音频传输总线依次调用每个音频图组件,提供来自由ID命名的输入组件的音频数据。
音频传输总线缓冲客户端网络节点上可用的每个音频流的一个时间间隔。音频传输总线馈送这些流至由音频流服务272配置的零或更多个订户。流送数据使用拖拉模型,其中最终输出级调用之前的级以获得需要的数据。每级调用一个之前的级直至到达原音频流源。如果源需要控制速率(流控制),通常进行其自身的缓冲并具有其自身的特定信令方案。例如,本地文件源可双缓冲并在处理之前一个时间间隔的同时向前读取一个时间间隔。网络文件源可通过网络向服务器信号通知流速率和缓冲器限制。另一方面,本地话筒源根本没有控制流速率的能力。
音频传输总线在两个阶段操作:一旦出现呈现定时器事件,其向音频阱组件提供现有的呈现数据;音频传输总线随后遍历音频图,致使下一时间片的音频数据被呈现并被缓存。该技术给予音频图一个提供连续回放的很好机会,甚至在存在可变等待时间音频源数据时也是如此。
在一些实施例中,音频传输总线测量每个音频音频图组件的呈现等待时间,并通过合计所有相关(源)音频组件等待时间来聚集每个呈现链等待时间。音频传输总线收集并登记呈现等待时间统计。基于这些统计,实时调度器278确定应当何时以及如何修改音频图才能达成音频图处理目标。在一些实施例中,实时调度器278在确定应当何时以及如何修改音频图才能达成音频图处理目标的过程中执行以上结合图13和14描述的一种或更多种方法。
音频传输总线的另一个功能是周期性调用音频计算对象。音频计算对象被用于改变相关联的一些音频图处理元件的设置。音频计算执行的周期通常比音频图呈现周期要长的多(频繁度更低)。
音频传输总线通常具有记录流和重放被记录的流的能力。原音频流通常被记录以便在回放期间,可根据观看者的角度来重新呈现混合。一些实施例包括接收所有原音频流的中枢。在这些实施例中,该中枢通常处置会话记录。当不期望重新呈现会话时,音频传输总线通常仅在客户端网络节点上记录音频流。
音频源对象是所有音频源的基础。该对象在被轮询时传递数据,并定义其期望等待时间和信道(例如,单声道、立体声、5.1)。导出对象包括话筒、媒体流、剪辑、波形文件、DirectX音频、以及混合插件的输出侧。
音频阱对象是音频输出设备的基础对象。该对象在被轮询时请求来自音频源的数据。导出对象包括扬声器、媒体流以及混合插件的输入侧。
(i)音频插件API
在一些实施例中,音频插件结合可从Steinberg媒体技术GmbH获得的VST音频效果C++对象。特别是,音频插件结合包装为插件的VST对象。提供填充库(shim library)用于包装VST对象作为音频插件。该包装提供音频插件API。VST对象的API将被用作音频插件类专用API。该API包括:
设定总线排列(输入、n输入、输出、n输出)
获得总线排列(方向、索引、扬声器&)
能处理样本大小(大小)
获得等待时间样本()
建立处理(处理)
设定处理(状态)
处理(数据&)
获得尾部样本()
在这些实施例中,VST插件被包装为音频源和音频阱。例如,音频源::帧(数据&,大小)调用将作为对之前音频源::帧(数据&,大小&)、继之以建立处理(处理)和处理(数据&)的调用来实现。配置(等待时间&,信道布局&)调用根据针对每个支持信道的获得等待时间样本()和获得总线排列(输出,i,信道布局&)来实现。包装的存在意味着需要VST源代码来将现有的VST插件填充入音频总线。
(ii)OpenAL(打开音频库)
使用可从www.openal.org获得的OpenAL跨平台音频API来执行大部分音频处理图混合和效果元件。该OpenAL库能够使用可用声卡的最佳特征来计算以上在区域/地带管理器部分列出的所有参数以实现这些特征。特别是,为音频图中从静音到最终混合的每个操作创建OpenAL源、倾听者、以及程序缓冲器。在每次更新之前,根据计算插件修改缓冲器参数。
在一些实施例中,使用可从Global IP Solutions,Inc.(全局IP方案公司)获得的GIPS组件化音频库来实现流处理组件(***物)。GIPS音频库直接支持以下音频插件:编解码器、差错消除、抖动控制、回声和噪声消除、AGC、以及寂静检查。
I.本地流源
本地流源是话筒、诸如记录的波形文件和音乐之类的本地声源、以及声音样式资源。Windows操作***API被用于附连这些源的每一者并将其呈现给音频传输总线用于分发。每个源被“包装”为音频源导出类。当接收定义时(参见第VI部分的音频设备SODA定义),创建源对象包装。针对话筒、剪辑、Skype、以及CD声音在基于Windows的计算***上使用直接声音API。RTP流送仅仅是实时协议(RTP)服务周围的音频源包装,该实时协议服务用于通过UDP套接字传递流送数据(例如,音频)。通过因特网的流送音频支持基于web的下载及播放以及还有微软媒体服务器流。
在一些实施例中,实时内核260支持基于虚拟区域的通信与基于非虚拟区域的通信(例如,Skype和VOIP音频)的会话的发源和混合。在这些实施例中,实时内核截取基于非虚拟区域的通信并将其呈现为本地音频源。基于非虚拟区域的通信会话由通信者之一在负责与其他网络节点共享该基于非虚拟区域的通信会话的原始音频的客户端网络节点上发起。主存客户端网络节点还混合与虚拟区域通信环境相关联的音频,该通信环境针对经由该基于非虚拟区域的通信应用通信的通信者。
图24示出使人们能经由不同通信应用(例如,Skype和VOIP)与虚拟区域通信者通信的计算机***389(标记为“***2”)的实施例。在图24中,在共享虚拟区域的四个网络节点(即,***1、***2、***3和***4)之间建立音频通信信道。***1表示不运行基于虚拟区域的通信应用的客户端网络节点;相反,***1被配置为操作一替换通信应用(例如,Skype)。***2表示正运行实时内核260的实施例的通信者网络节点,该实时内核包括发出并混合与***1的基于虚拟区域的会话的流处理机391。在此过程中,流处理机391使用虚拟化***1的回放和音频捕获流的集成组件393。***3和4表示正运行基于虚拟区域的通信应用的两个其他客户端终端。图24中示出的***的诸组件包括:
·流处理机391:由以下音频图处理元件构成的:
○集成组件393虚拟化替换回放和捕获流。在此过程中,集成组件393发送话筒(Mic)1至接收自虚拟化替换回放的C拆分1,从P混合接收话筒2、3和4混合,以及发送虚拟化替换捕获用于传输至***1。
○C拆分1从集成组件393接收话筒1并将话筒1发送至P路由和I/O多路复用器/多路分解器两者。
○C拆分2从***2捕获接收话筒1并将话筒2发送至P混合和I/O多路复用器/多路分解器两者。
○P路由从C拆分1接收话筒1以及从I/O多路复用器/多路分解器接收话筒2和3。P路由还向***2回放发送话筒1、3和4以及向P混合发送话筒3和4。
○P混合从C拆分2接收话筒2以及从P路由接收话筒3和4,向流处理机391发送话筒2、3、4的混合用于虚拟化之外的传输。
·C:由基于虚拟区域的通信应用进行的音频捕获
·P:由基于虚拟区域的通信应用进行的音频回放
·CA:由***1的替换音频应用进行的音频捕获
·PA:由***2的替换音频应用进行的音频回放
·虚拟话筒:与***2的替换音频相关联的虚拟话筒
·虚拟扬声器:与***2的替换音频相关联的虚拟扬声器
在计算机***389的操作中,I/O多路复用器/多路分解器将接收自***1和2的音频信号1和2发送至***3和4两者。I/O多路复用器/多路分解器还将接收自***3和4的音频信号3和4发送至流处理机391的P路由组件。P路由组件向***2的回放组件发送音频信号1、3和4并将音频信号3和4传递给***2的P混合组件。流处理机391的P混合组件混合音频信号2、3、4并将经混合的信号传递给***2的集成组件。集成组件393将经混合的信号传递给正在***2上运行并对应于***1使用的通信应用395(例如,Skype)的替换通信应用(例如,Skype)的音频捕获组件。替换音频捕获***(CA)将捕获的经混合信号2+3+4传递给在***1上运行的替换通信应用395的回放组件。
在通信基础结构389的一些实施例中,P混合直接订阅I/O多路复用器/多路分解器以使该***更对称。在这些实施例中,P路由变为P混合1,并从I/O接收3、4,以及从C拆分1接收1。因为这些信号作为独立信道发送,则C拆分1的输出可能直接被发送至回放组件,但这是不够灵活的(因为P混合可能执行实际的混合而非独立信道的传递,参见以下3)。在此情况下,P混合变为P混合2,并从I/O接收3、4,以及从C拆分2接收2。该混合器的输出是真实混合,因为替换音频***是单声道通信***(即使该声道是立体声的,另一端不存在组合来自多个源的信号的多轨混合器)。
图24并未示出***3和***4彼此之间的交互,仅仅示出与***2以及通过延伸而与***1的交互。***3和4之间的交互可以如上所述,是对等的或是服务器仲裁的。
在图24中,在任何时间,两个流用逗号分隔(意指它是多信道路由),该***也可发送经混合的流以节约内部通信资源(例如,在I/O多路复用器/多路分解器之外)。将被混合的流用加号来指示(即,由集成组件393向替换捕获组件CA发送的虚拟化话筒信号)。
m.实时调度器
在一些实施例中,实时调度器服务278是Windows服务DLL。
在一些实施例中,音频和3D场景的呈现在逐帧基础上进行。最初,流被启动,随后在一延迟后,实时调度器服务278开始处理第一帧。该延迟是由每个音频和视频处理链的组合期望等待时间校准的。实时调度器服务278发起对之前准备帧的消耗并随后在具有50毫秒周期的时间计时上处理下一帧。
将每一链中的最终呈现对象向实时调度器服务278登记。从SoFrameRenderer类导出这些对象,SoFrameRenderer类是一种方法
帧呈现(时间帧Ms)
该方法从呈现链特有的数据源(音频或视频)准备具有所指示时间的一帧。SoFrameRenderer类包括另一种方法
帧传递()
该方法将之前准备的帧传递至最终目的地,该最终目的地是该呈现链特有的。SoFrameRenderer对象并不要求能够缓冲多于一个完整帧。实时调度器服务278将按调度来帧传递该之前准备的帧,并随后调用帧呈现以准备下一间隔的帧。
Windows操作***没有“硬调度”能力。在一些实施例中,实时调度器服务278被配置为调用一个或更多个SoFrameRenderer类,其包括音频处理器、图形处理器、物理建模和脚本。SoFrameRenderer类使实时调度器服务278能响应于确定客户端网络节点不能跟上目标处理级别而重新调整帧处理。在一些实施例中,实时调度器278实现以上结合图13和14描述的一种或更多种方法。在一些实施例中,实时调度器服务278测量所有帧的呈现时间,并作出通过SODA接口可用的统计。如果统计落在范围之外(例如,采用了太长时间来准备帧),则生成日志事件。启发将被触发以尝试“追上”,或许通过跳过一帧、丢弃范围之外的呈现链(这通常是因硬件或网络差错导致的范围之外)、或者通过丢弃低优先级呈现链。出于实现基于优先级的调度的目的,SoFrameRenderer类定义该方法:
帧优先级()
该方法返回一数字,越小的数字越重要。启发可从链的等待时间和优先级确定应该丢弃哪个(些)链以产生对总优先级具有最小影响的最大收益。
在一些实施例中,实时调度器服务278另外能丢弃链中的级。为此,实时调度器服务278能调用方法:
等待时间=帧删除(优先级)
其中处理链负责“丢弃”低于所指示的优先级的“链路”。实时调度器服务278可启动在最大优先级处的调用并倒数直至所有帧在期望总等待时间内呈现。迭代丢弃低优先级链并删除这些链本身的组合启发通常在某一优先级级别终止。如果优先级级别在阈值之下,则可作出日志项以及,在某些情况下,关闭该会话。
实时调度器服务278还负责管理至SIS时间服务(网络资源)的接口,以使客户端网络节点时钟与网络中的其他客户端网络节点的时钟同步。在一些实施例中,时间服务由插件实现,如下所述。
7.故障恢复
实时内核260进行尽力尝试以在出现网络和服务器故障的情况下继续操作。在此过程中,实时内核260实现两层故障恢复算法。首先,在故障时,SODA信道服务270和媒体服务271独立尝试重新建立连接。媒体恢复将允许会议在出现单个音频信道故障时继续,或者在NAT超时的情况下恢复。其次,如果SODA信道服务270和媒体服务271未能重新建立连接,则它们将向其客户端信号通知该故障。在一些实施例中,多个通信者同时尝试恢复的动作可通过向可同步恢复尝试的区域vault服务器登记该客户端节点会话来协调。
在一些实施例中,区域/地带管理器264还尝试在服务器故障的情况下进行恢复。区域/地带管理器264接手该流故障并随后卸下该会话并在不同区域服务器上重新启动该会话。
8.插件
在一些实施例中,实时内核260具有组件化的、开放的、以及平台无关的架构,该架构允许开发者独立开发并远程增加和更新实时内核260的组件。
a.插件设计
插件是因平台而异的二进制图像,该图像是从插件服务器下载的。在基于Windows的计算机***上,插件实现为DLL(例如,.NET或COM样式插件)。然而,插件与普通动态链接库的加载方式不同。特别是,在加载期间,不需要链接至插件库;也不需要对软件代码进行任何编译。相反,插件管理器266简单加载包含在插件目录中的插件。这样,插件可被增加到客户端网络节点或从其移除,而不需要对站进行任何进一步的配置(例如,注册表项),这简单地通过下载或删除可执行件来实现。这些插件以定义好的方式连接到每个插件主机。
如图25所示,从相应插件变量类394导出插件392的活动实例,该插件变量类又是从相应插件基类396导出的。在一些实施例中,通过创建基础插件对象以及通过继承将该基础插件对象投向被标识的变量来实例化插件实例392。每个基类396和变量类394通过宣称实现一接口来表示它提供服务。
图26示出插件基类398、400的示例性集,每个插件基类与相应的一个或更多个导出变量类402、404以及406、408的集合相关联。每个插件基类398、400定义特定的功能性类别,而每个插件变量类定义相应基类的功能性的特定用途或类别的行为(例如,API=人类接口设备,变量=鼠标)。插件通常使用头部文件来定义接口、接口功能的功能原型、以及用于调用该接口功能的宏。
插件由GUID以及人类可读的名称来标识。单个插件可具有支持的多个API以及同一API上的多个变量。在一些实施例中,插件API是包含至实现由接口定义的服务的插件功能的函数指针的C语言数据结构。
下表示出被标识为guid物理设定1的假想物理插件的示例。
文件名 | 内部名称 | 标识符 | API | 变量 |
物理.DLL | 无摩擦物理设定1.0 | guid物理设定1 | guid接合 | Guid接合球 |
物理.DLL | 无摩擦物理设定1.0 | guid物理设定1 | guid接合 | guid接合铰链 |
物理.DLL | 无摩擦物理设定1.0 | guid物理设定1 | guid接合 | guid接合游标 |
物理.DLL | 无摩擦物理设定1.0 | guid物理设定1 | guid接合 | guid接合弹簧 |
物.DLL | 无摩擦物理设定1.0 | guid物理设定1 | guid冲突 | guid冲突八树 |
物理.DLL | 无摩擦物理设定1.0 | guid物理设定1 | guid冲突 | guid冲突动态 |
在此示例中,存在“接合”API的四个变量和“冲突检测”API的两个变量。文件名是插件以其被存储在文件***中的名称。内部名称意图整体描述插件。标识符标识整个插件二进制图像,且仅由插件管理器266使用。API是指定由插件支持的程序API的公知GUID。变量是客户端应用可使用以选择针对特定用途的插件的公知GUID。例如,SODA信道服务270可商定压缩插件变量以供会话上使用。
图27示出与Microsoft COM(组件对象模型)架构兼容的插件410的示例性架构。插件410包括一组入口点函数412,包括第一和第二变量416、418的第一API类414,以及第二API类420。插件410实现在所有支持的API类414、420中和在每个API类中的所有变量中的所有函数。每个API类和API类中的每个变量与相应入口点函数(也称为“工厂”)相关联。当插件410被加载时,针对每个支持的API类向插件主机登记相应的入口点函数。插件主机使用与API类相关联的入口点函数以实例化该API类并获得至其Iunknown接口的指针。插件主机使用Iunknown接口来搜索由该API类所支持的变量的入口点函数。插件主机使用与变量相关联的入口点函数以实例化该变量并获得至其Iunknown接口的指针。插件主机使用Iunknown接口向该变量查询该接口的接口函数表。该函数表给予主机对变量的API实现的访问。
每个插件可执行件支持允许插件管理器266管理该插件的核心插件API。核心插件API使得该插件可执行件是自描述的。特别是,每个插件输出可由插件管理器266调用以允许该插件自己登记的函数。在一些实施例中,每个插件可执行件输出以下核心插件API:
(i)插件变量
插件变量的活动实例从类“插件变量”导出。总是使用插件对象来创建插件变量。所有有用插件将该类扩展至包括因API而异的方法。唯一共用的方法是普通配置方法。
插件变量:配置() | 启动对话 |
插件变量:配置设定(参数) | 设定配置参数 |
插件变量:配置获得(参数&) | 获得配置参数 |
(ii)插件管理器
图28示出包括插件管理器266、包含一组插件容器424的插件目录422、插件数据库426、以及调用程序428的插件架构的实施例。插件管理器266查询插件目录422中的插件容器424、在插件数据库426中登记插件、以及对来自调用程序428的对发送有关可用插件的信息以及实例化指定插件变量的请求作出响应。调用程序428通常是内核组件(例如,安装加载程序组件、诸如连接和服务器混合管理器262和区域/地带管理器264等内核管理器、以及内核服务);尽管在一些实施例中,调用程序428可对应于在客户端节点或远程网络节点(例如服务器)上运行的软件应用或服务。
图29示出了由插件管理器266在登记客户端网络节点上的可用插件的过程中实现的方法的实施例。
根据图29的方法,插件管理器266发现客户端网络节点上可用的插件(图29,框430)。在一些实施例中,所有插件被存储在在客户端网络节点的文件***中创建的共享插件目录中。在这些实施例中,插件管理器266通过检查该共享插件目录发现可用插件。在其他实施例中,插件管理器266可被配置为检查其他文件位置以发现可用插件。
插件管理器266查询所发现的插件以发现它们支持的所有API(图29,框432)。在此过程中,插件管理器266进行对核心API的调用以枚举与可用插件相关联的参数值。例如,插件管理器266用返回插件GUID、所支持API的GUID、以及针对给定API的所支持变量的GUID的核心API调用来查询插件。
基于查询结果,插件管理器266将诸插件与这些插件分别支持的API之间的关联存储在插件数据库426中(图29,框434)。在此过程中,插件管理器266通过插件所支持的API对目录422中的所有插件进行分类。插件管理器266自动将插件输入到插件数据库426中所有支持的API下面。这样,插件数据库426允许对具有相同API的插件进行变量查询。此外,插件数据库426中的插件可由API和变量以及在由虚拟区域应用参考时创建的实例来枚举。图30示出创建数据库436的示例性实施例。
插件管理器输出以下API:
图31示出由插件管理器266响应于收到来自调用程序428的API调用实现的方法的实施例。根据该方法,响应于收到对枚举支持指定的一个API的所有插件的调用(图31,框440),插件管理器266返回包括插件数据库中与该指定的API相关联的所有插件的标识符的列表(图31,框442)。响应于收到对枚举由所标识的一个插件支持的所标识的一个API的变量的调用(图31,框444),插件管理器266返回包括由所标识的插件支持的该给定API的所有变量的标识符的列表(图31,框446)。响应于收到对实例化由所标识的一个插件支持的所标识的一个API的所标识的一个变量的调用(图31,框448),插件管理器266加载所标识的插件并返回至所标识的变量的实例的指针(图31,框450)。在此过程中,定位指定的变量,该指定的变量被加载至调用程序的地址空间中,并用实现由该API定义的服务的变量函数的函数表地址来填充内部指针表。
(iii)插件服务器
插件以适合每个所支持平台的可下载形式存在于服务器上。服务器始终支持加密、压缩以及认证插件的最小集,因此客户端网络节点在尝试服务器连接时始终成功。
当首次由第三方开发者在服务器上登记时,由自动化工具检查插件以确保它符合API描述,并检查不可接受的客户端站点API参考。例如,不允许动态绑定至不是已经在插件环境中的任何本地接口。随后扫描插件是否有病毒。服务器上的所有图像随后在病毒方面是安全的。
插件通过认证用户进行访问控制。这样,已经支付该访问的用户可在任何位置使用该插件。在一些实施例中,经由电子商务引擎为插件下载认证用户。
b.插件类
所有插件符合插件API。一些插件专用于某些工具(例如,OpenGL)并具有其自身标准。每个插件类具有因类而异的API。在一些实施例中,插件取决于所有客户端站点访问的本地应用运行时。在使用插件的每个组件中,协议允许商定使用GUID命名空间的特征。例如,在一些实例中,当连接网络流时,提供方客户端网络节点以偏好顺序提供其加密插件GUID列表,而接收方网络节点在这些提供中选择并用选择或拒绝来响应。
在一些示例性实施例中,以下插件类被定义并由开发者用于开发在创建虚拟区域通信者环境中使用的插件。
·加密算法
·压缩算法
·认证算法
·凭证
·图形效果
·物理延伸
·脚本延伸
·输入设备主存
·音频混合
·音频源
·音频***
·流传输
·时间服务
这些插件类在以下段落中定义。
加密算法
加密是流传输特征,并在流创建时间被商定。会话定义将包括加密变量ID。示例性加密变量包括AES和RC4块加密。
压缩算法
压缩是可选的信道内容特征。信道在传输商定信道定义时选择压缩。订阅站提供可用压缩选项,而公布站在提供公布时指示其选择。音频编解码器选择跳过压缩,因为它们的内容已经被压缩。示例性的音频压缩插件变量对因信道而异的预备(priming)流实现ITU-T V.44压缩处理。
认证算法
网络基础结构服务器要求某些认证协议以便连接。第三方服务器可具有特定认证要求。认证协议可被随时修改。除核心插件API外,认证插件具有用于执行认证协议并得到对本地凭证的访问的API。示例性的认证插件变量包括支持对初始服务器的SSL类型的认证以及支持使用经签名ID作为令牌的后续服务器登录的的插件变量。
凭证
凭证可被创建并且必须被封装在插件中以由认证算法存储和使用。示例性的凭证是包含公钥的凭证。
图形效果
OpenGL和Collada支持脚本式着色器、取样器、简档和注释。一些实施例支持为着色器的Collada cg_表面_类型和glsi_表面_类型,以及为取样器的gl_取样器X和cg_取样器X。
物理延伸
在一些实施例中,开放动态引擎(ODE)被修改为在动态行为环中包括特定钩子(hook)。虚拟区域应用通常通过对场景图中的实体施加物理属性来指定物理性质。物理延伸插件具有用于查询由该插件处理的相关联的属性GUID的API。这样,仅为有关对象和虚拟区域调用物理插件。一些实施例支持为模型内的接合的Collada刚性_约束,以及为针对化身和假象的全局运动算法的OpenGL冲突检查。
脚本延伸
脚本延伸插件具有允许包装脚本运行时(例如,Java或JavaScript)并向其提供本地应用运行时的附加API。脚本通过包括脚本延伸插件的GUID的SODA记录来定义。
输入设备主存
输入设备插件生成针对由应用逻辑处理的标准输入事件(例如由计算机键盘、计算机鼠标、Xbox控制器、以及Wii控制器生成的事件)的SODA记录。
音频混合、音频源、以及音频***
音频处理在起点(例如,话筒)处是合需的并在终点(例如,扬声器)处生效并混合。音频插件通常不能改变音频网络路由,因为这会影响其他用户的体验。Windows平台上的音频插件是符合音频插件API的DLL。它们向实时内核260登记并可供SODA参考。虚拟区域开发者可请求音频插件作为虚拟区域应用的一部分(例如,使用延伸的Collada字段或VSDL语义)。
化身脚本同样可请求音频插件。
混合变量包括回声、回声消除、混响以及合成。
源变量包括话筒、剪辑、媒体、Skype以及流送文件。
***变量包括声像控制、音量、iLBC、RCU、iPCM-wb、均衡器、LPF、HPF、AGC、噪声消除、差错消除、抖动控制、静音、延迟、寂静检查、舒适噪声。
流传输
STRAW使用流传输插件来主存网络上的会话。流传输分组并提供可靠性、认证和加密。
时间服务
实时调度器260对同步客户端网络节点之间的时间感兴趣。为此,每个客户端网络节点将与因特网时间标准(诸如SIS、NTP(网络时间协议)、或ITS(因特网时间服务))同步。
c.插件类API
所有插件类对象基于插件变量。
加密算法
该插件是基于插件变量的。它执行包括键控的块加密算法。该插件除密钥以外是无状态的,即每个加密是独立于其他加密的。
加密::Ctor(算法,密钥)
加密::加密(数据,大小,目标)
加密::解密(数据,大小,目标)
加密::Dtor()
压缩算法
该插件是基于插件变量的。它执行一个或更多个无损压缩/解压缩算法。它压缩连续流,并可保持内部状态表。该算法在每个关键帧重新开始,可包括处理没有发出但有助于压缩状态的“预备”块。
压缩::Ctor(算法)
压缩::关键帧(预加载)
压缩::压缩(数据,大小,目标)
压缩::解压(数据,大小,目标)
压缩::Dtor()
认证算法:
该插件是基于插件变量的。它访问本地凭证,并实现一个或更多个状态的客户端认证状态机。该认证状态机不控制至认证服务器的通信链路。它仅处理消息并产生后续消息。
认证::Ctor(算法,凭证)
认证::初始状态()
认证::状态(状态)
认证::提前(消息数据,消息消费者&)
认证::会话密钥(密钥&)
认证::Dtor()
凭证
该插件是基于插件变量的。它访问因平台而异的凭证存储。
凭证::Ctor()
凭证::选择(索引)
凭证::接受(数据,大小,索引&)
凭证::私钥(密钥&)
凭证::公钥(密钥&)
凭证::密码短语(密码短语&)
凭证::Dtor()
图形效果-着色器
该插件是基于插件变量的。它影响3D呈现。
着色器API支持着色器(脚本程序表面生成器)。
着色器::Ctor(gl&)
着色器::初始化(格式,大小,mip,类型,代码,技术)
着色器::设定纹理参数(纹理)
着色器::设定纹理流(id流)
着色器::呈现(传递)
着色器::Dtor()
图形效果-取样器
该取样器API是基于插件变量的。它支持将纹理映射至表面。
取样器::Ctor(gl&)
取样::初始化(类型,包装,小滤波器,大滤波器,mip滤波器,颜色,mip映射_最大级别,mip映射_偏置)
取样器::Dtor()
物理延伸-接合
该插件是基于插件变量的。它扩展运动的动态特性。
接合API支持对化身和假象子组件的接合约束和动态特性。
接合::Ctor(ode&,尺寸,n无界的)
接合::初始化(身体1,锚1,取向1,身体2,锚2,取向2,轴,erp,cfm)
接合::扭矩(扭矩)
接合::获得状态(fps&,erp&,jLin1&,jAng1&,jLin2&,jAng2&,c&,cfm&,低&,高&)
物理延伸-冲突
该冲突API是基于插件变量的。它支持快速计算冲突检测。在一些实施例中,冲突插件变量可在开放动态引擎(ODE)中实现四叉树类dx空间算法。
冲突::Ctor(ode&,空间)
冲突::步骤()
脚本延伸
该插件是基于插件变量的。它支持由虚拟区域应用提供的代码的执行。该代码是二进制形式,且由语言和该特定代码定义支持的API来标记。该插件随语言而变。它加载特定的代码定义并调用该代码定义,提供适合该API的本地应用运行时对象。
脚本延伸::Ctor(sonar&)
脚本延伸::执行(代码,api)
脚本延伸::Dtor()
输入设备主存
该插件是基于插件变量的。它支持用户事件捕获(除音频之外)。这包括从鼠标到具有面部识别的视频照相机的所有东西。该插件向队列生成用户事件。
输入设备::Ctor(arg,队列)
输入设备::配置(arg)
音频混合
该插件是基于音频组件的。它组合两个音频流。
音频混合::Ctor(音频场景1,音频场景2,参数)
音频混合::配置(参数)
音频混合::Dtor()
音频源
该插件是基于音频组件的。它提供可轮询的音频流。
音频源::Ctor()
音频源::配置(arg)
音频源::获得等待时间(等待时间&)
音频源::轮询(数据)
音频***
该插件是基于音频组件的。它翻译音频流。它可压缩、解压缩或简单地修改流。
音频***::Ctor(音频源&)
音频***::获得等待时间(等待时间&)
音频***::过程()
音频发送
该插件是基于音频组件的。它将音频流分为两个相等的流(复制该流)。任何音频源可被路由至任何其他音频元件。
音频发送::Ctor(音频源&)
音频发送::Dtor()
音频发送::复制(数据&)
流传输
该插件是基于插件变量的。示例性的流传输插件变量支持具有可配置的认证和加密的IP UDP传输。
传输::Ctor(端口,站,会话,加密)
传输::MTU()
传输::Hello()
传输::质询(凭证)
传输::回应(质询,加密)
传输::响应(响应,加密)
传输::标识令牌()
传输::标识令牌(令牌)
传输::发送(数据,大小,id信道)
传输::接收(记录)
传输::Dtor()
时间服务
该插件是基于插件变量的。它将客户端网络节点时间与因特网标准同步。
时间服务::Ctor()
时间服务::同步()
时间服务::Dtor()
VI.SODA定义
会话
ID站1 GUID
ID站2 GUID
ID会话 GUID
会话故障
ID会话 GUID
原因 长
参数 长
站
ID GUID
STRAW_地址 IP,端口
STRAW_传输 [GUID]
公布
ID客户端 GUID
ID服务器 GUID
ID信道 GUID
ID压缩 [GUID]
订阅
流保持有效
ID会话 GUID
超时 长
流故障
ID会话 GUID
信道故障
ID信道索引 GUID
通信者状态
ID本身 GUID
ID通信者 GUID
状态 短
HID
ID设备类 GUID
ID设备 GUID
ID GUID
音频参数
ID GUID
ID参数 GUID
值 短
音频设备
ID设备类 GUID
ID设备 GUID
ID GUID
区域会话
ID区域 GUID
ID GUID
物理检查点
地带
ID GUID
形状 网格
起点 双X3
化身 [GUID]
音频孔径
ID GUID
半径 双
起点 双X3
取向 双X3
音频障碍
ID GUID
半径 双
起点 双X3
音频混响
ID GUID
形状 网格
起点 双X3
音频混合
音频效果
音频流
ID音频 GUID
化身 GUID
音频计算
插件
类型 GUID
名称 文本
ID GUID
支持的API [GUID]
升级相关性列表
基础安装 GUID
描述 文本
升级ID [GUID]
升级
ID GUID
偏移 长
数据 []
音频记录
ID GUID
ID音频 GUID
ID存储 GUID
音频回放
ID GUID
ID音频 GUID
ID存储 GUID
网络DNS
地址 串
网络代理
地址 串
调试信息
ID GUID
统计 GUID
复位 布尔
调试陷阱
ID GUID
陷阱 GUID
重新装备 布尔
HID
IDKvm GUID
HID 事件
VII.结论
本文描述的实施例提供支持在相应网络节点上操作的通信者之间的实时通信的实时内核。该实时内核处置连接到通信者、虚拟区域、以及其它网络资源、响应于用户输入开关这些连接、以及混合实时数据流的复杂任务。该实时内核使开发者能够专注于开发高级通信功能而非低级衔接代码。实时内核施加相对低的计算资源要求,以便实时通信性能能使用宽范围的当前可用的计算设备和网络连接来达成。
其他实施例也落在权利要求的范围之内。
Claims (139)
1.一种用于远程控制的实时数据流处置的计算机实现的方法,包括:
在本地网络节点(12)从远程网络节点(16)接收一个或更多个流处置指令,其中所述一个或更多个流处置指令包括对用于处理至少一个实时数据流的流处理机(22)的描述;
在所述本地网络节点(16)根据所述描述创建流处理机(22);以及
在所述本地网络节点(16)产生所得数据流,其中所述产生包括通过所创建的流处理机(22)处理实时数据流。
2.如权利要求1所述的方法,其特征在于,所述产生包括
从在所述一个或更多个流处置指令中指定的实时状态信息确定配置参数值,以及
用所述配置参数值动态配置所述流处理机(22)。
3.如权利要求1所述的方法,其特征在于,所述创建包括建立具有在所述一个或更多个流处置指令中指定的混合功能的所述流处理机(22),且所述产生包括根据所述混合功能将所述实时数据流与至少一个其他实时数据流混合以产生经混合的实时数据流。
4.如权利要求1所述的方法,其特征在于:
所述创建包括实例化在所述一个或更多个流处置指令中指定的处理对象并根据所述描述将被实例化的处理对象组装成所述流流处理机(22)的有向图组件;以及
所述处理包括通过所述有向图处理所述实时数据流。
5.如权利要求4所述的方法,其特征在于,所述产生包括
从在所述一个或更多个流处置指令中指定的实时状态信息确定针对被实例化的处理对象的配置参数值,以及
用所述配置参数值配置所述处理对象。
6.如权利要求4所述的方法,其特征在于,所述实例化包括实例化在所述一个或更多个流处置指令中指定的混合对象,且所述产生包括执行所述混合对象以从所述实时数据流和至少一个其他实时数据流的组合产生经混合的实时数据流。
7.如权利要求4所述的方法,其特征在于,至少一个被实例化的处理对象将相应的调用封装到驱动程序模块中,所述驱动程序模块至少部分地基于所述所得数据流控制所述本地网络节点(16)的硬件组件。
8.如权利要求4所述的方法,其特征在于,所述一个或更多个流处置指令用相应的唯一标识符指定所述处理对象且所述实例化包括向处理对象应用程序接口程序(API)发出包括相应一些所述标识符的调用。
9.如权利要求1所述的方法,其特征在于,所述一个或更多个流处置指令包括用于处理具有不同于所述第一实时数据流的数据类型的至少一个实时数据流的第二流处理机(22)的第二描述,所述创建包括根据所述第二描述创建第二流处理机(22),且所述产生包括通过所述第二流处理机(22)处理实时数据流。
10.如权利要求1所述的方法,其特征在于,所述本地网络节点(16)与虚拟区域(28)中的第一对象相关联,且所述方法进一步包括从与所述虚拟区域(28)中的第二对象相关联的第二远程网络节点接收实时数据流。
11.如权利要求10所述的方法,其特征在于,所述一个或更多个流处置指令包括描述所述虚拟区域(28)中的所述第一和第二对象的相应位置的实时位置信息,并且所述产生包括从所述实时位置信息确定配置参数值并用所述配置参数值配置所述流处理机(22)。
12.如权利要求11所述的方法,其特征在于,进一步包括从与所述虚拟区域(28)中的第三对象相关联的第三远程网络节点接收第二实时数据流,其中所述创建包括建立具有在所述一个或更多个流处置指令中指定的混合功能的所述流处理机(22),且所述产生包括根据所述混合功能组合所述第一实时数据流和所述第二实时数据流。
13.如权利要求11所述的方法,其特征在于,
所述一个或更多个流处置指令包括用于处理具有不同于所述第一实时数据流的数据类型的至少一个实时数据流的第二流处理机(22)的第二描述,
所述方法还包括从第三远程网络节点接收第二实时数据流。
其中所述创建包括根据所述第二描述创建第二流处理机(22),且所述产生包括根据一个或更多个所述配置参数值配置所述第二流处理机(22)并通过所述第二流处理机(22)处理所述第一实时数据流和所述第二实时数据流。
14.如权利要求10所述的方法,其特征在于:
所述一个或更多个流处置指令包括描述所述虚拟区域(28)中的所述第一和第二对象的相应位置的实时位置信息;
所述创建包括建立具有在所述一个或更多个流处置指令中指定的一个或更多个对象属性处理功能的所述流处理机(22);
所述产生包括从所述实时位置信息确定对象配置参数值,以及在产生所述所得数据流的同时用所述对象配置参数值动态配置所述一个或更多个对象属性处理功能;以及
所述生成包括至少部分地基于所述所得数据流呈现包括所述虚拟区域(28)内的所述第一和第二对象的视觉表示的可见输出。
15.如权利要求14所述的方法,其特征在于,所述一个或更多个对象属性处理功能中的至少一个被配置为基于所述第一对象在所述虚拟区域(28)中的位置在取向、位置、移动以及姿势中的至少一者上动态控制所述第一对象的所述视觉表示。
16.如权利要求1所述的方法,其特征在于,所述指定的数据类型是音频且所述生成包括生成可听的输出。
17.如权利要求16所述的方法,其特征在于,所述创建包括建立具有在所述一个或更多个流处置指令中指定的一个或更多个音频处理功能的所述流处理机(22)。
18.如权利要求17所述的方法,其特征在于,所述网络节点与虚拟区域(28)中的第一对象相关联,所述方法进一步包括从与所述虚拟区域(28)中的第二对象相关联的第二网络节点接收所述实时数据流,且其中所述一个或更多个流处置指令包括描述所述虚拟区域(28)中的所述第一和第二对象的相应位置的实时位置信息,以及所述产生包括从所述实时位置信息确定音频处理配置参数值并用所述音频处理配置参数值配置所述流处理机(22)。
19.如权利要求16所述的方法,其特征在于,所述创建包括建立具有在所述一个或更多个流处置指令中指定的混合功能的所述流处理机(22),且所述产生包括根据所述混合功能将所述实时数据流与至少一个其他实时音频数据流相组合。
20.如权利要求1所述的方法,其特征在于,还包括在所述本地网络节点(16):
存储从所述远程网络节点接收的远程公布定义,其中所述定义描述可从一个或更多个远程网络节点获得的实时数据流;
存储由所述本地网络节点(16)的本地实时内核组件所请求的实时数据流的本地订阅定义;以及
向一个或更多个所述远程网络节点发送对具有匹配的远程公布定义的每个所述本地订阅定义的相应实时数据流请求。
21.如权利要求20所述的方法,进一步包括在所述本地网络节点(16),根据所述本地订阅定义将响应于所述请求从所述一个或更多个远程网络节点接收的实时数据流引导至相应的所述本地实时内核组件。
22.如权利要求1所述的方法,进一步包括至少部分地基于所述所得数据流在所述本地网络节点(16)生成人类可感知的输出。
23.一种装置,包括:
存储计算机可读指令的计算机可读介质;以及
耦合至存储器的数据处理单元,用于执行所述指令,并至少部分地基于所述指令的执行来执行操作,所述操作包括:
在本地网络节点(16)从远程网络节点接收一个或更多个流处置指令,其中所述一个或更多个流处置指令包括对用于处理至少一个实时数据流的流处理机(22)的描述;
在所述本地网络节点(16)根据所述描述创建流处理机(22),以及
在所述本地网络节点(16)产生所得数据流,其中所述产生包括通过所创建的流处理机(22)处理实时数据流。
24.其中含有计算机可读程序代码的至少一种计算机可读介质,所述计算机可读程序代码适于被计算机执行以实现包括以下动作的方法:
在本地网络节点(16)从远程网络节点接收一个或更多个流处置指令,其中所述一个或更多个流处置指令包括对用于处理至少一个实时数据流的流处理机(22)的描述;
在所述本地网络节点(16)根据所述描述创建流处理机(22);以及
在所述本地网络节点(16)产生所得数据流,其中所述产生包括通过所创建的流处理机(22)处理实时数据流。
25.一种用于实时数据流处置的计算机实现的方法,包括:
从一个或更多个流处置指令(210)中解析对实时流处理机(206)的描述,其中所述解析包括从所述一个或更多个流处置指令(210)解析输入源标识符、输出阱标识符、以及一个或更多个数据处理对象中的每一者的相应标识符;
实例化对应于相应一些所述标识符的实时流处置对象;
根据所述描述创建包括一些被实例化的实时流处置对象的有向图(212);
从对应于所述输入源标识符的输入源接收实时数据流;以及
在对应于所述输出阱标识符的输出阱产生所得数据流,其中所述产生包括通过所述有向图(212)处理所述实时数据流。
26.如权利要求25所述的方法,其特征在于,所述解析包括从所述一个或更多个流处置指令(210)中提取数据处理对象的标识符,以及所述创建包括从对应于所提取的标识符的实时流处置对象的实例化组装所述有向图(212)。
27.如权利要求25所述的方法,其特征在于,所述解析包括从所述一个或更多个流处置指令(210)中提取音频处理对象的标识符,以及所述处理包括通过对应于相应一些所提取的标识符的一个或更多个被实例化的音频处理对象来处理所述实时数据流。
28.如权利要求25所述的方法,其特征在于,所述实例化包括向对象库查询所述相应标识符,响应于所述查询从所述对象库检索对象,以及实例化所检索的对象。
29.如权利要求28的方法,其特征在于,所述实例化包括向处理对象应用程序接口(API)程序发出包括相应一些所述标识符的调用。
30.如权利要求25所述的方法,其特征在于,所述产生包括
从在所述一个或更多个流处置指令(210)中指定的实时状态信息确定配置参数值,以及
用所述配置参数值动态配置所述有向图(212)中的一个或更多个所述被实例化的实时流处置对象。
31.如权利要求25所述的方法,其特征在于:
所述接收包括从对应于所述描述中的第二输入源标识符的第二输入源接收第二实时数据流;以及
所述产生包括通过所述有向图(212)处理所述第二实时数据流。
32.如权利要求31的方法,其特征在于,所述实例化包括实例化对应于相应一个被解析的标识符的实时流混合对象(220),所述创建包括将被实例化的实时流混合对象合并到所述有向图(212)中,且所述产生包括执行所述被实例化的实时流混合对象(220)以组合所述第一所述实时数据流和所述第二实时数据流。
33.如权利要求32所述的方法,其特征在于,所述第一输入源对应于来自第一远程网络节点的传入实时数据流(214)的定义,而所述第二输入源对应于来自第二远程网络节点的传入实时数据流(214)的定义。
34.如权利要求25所述的方法,其特征在于:
所述解析包括从所述一个或更多个流处置指令(210)中解析对第二实时流处理机(22)的第二描述,所述第二描述包括第二输入源标识符、第二输出阱标识符、以及一个或更多个数据处理对象中的每一者的相应标识符;
所述创建包括根据所述第二描述从一些被实例化的实时流处置对象创建第二有向图;
所述接收包括从对应于所述第二输入源标识符的第二输入源接收第二实时数据流,其中所述第一和第二实时数据流在数据类型方面不同;以及
所述产生包括通过所述第二有向图处理所述第二实时数据流至对应于所述第二输出阱标识符的第二输出阱。
35.如权利要求34所述的方法,其特征在于,所述第一实时数据流和所述第二实时数据流被并发处理。
36.如权利要求25所述的方法,其特征在于,至少一个所述被实例化的实时流处置对象封装对控制本地硬件组件的驱动程序模块的相应调用。
37.如权利要求25所述的方法,其特征在于,所述解析、所述实例化、所述创建、所述接收、所述产生、以及所述生成在与虚拟区域(28)中的第一对象相关联的本地网络节点(16)上执行,且所述接收包括从与所述虚拟区域(28)中的第二对象相关联的远程网络节点接收所述实时数据流。
38.如权利要求37所述的方法,其特征在于,所述一个或更多个流处置指令(210)包括描述所述虚拟区域(28)中的所述第一和第二对象的相应位置的实时位置信息,并且所述产生包括从所述实时位置信息确定配置参数值并用所述配置参数值动态配置所述有向图中的一个或更多个所述被实例化的实时流处置对象。
39.如权利要求38所述的方法,其特征在于,所述接收包括从与所述虚拟区域(28)中的第三对象相关联的第二远程网络节点接收第二实时数据流,所述创建包括建立具有对应于相应一个被解析的标识符的被实例化的混合对象的所述有向图,且所述产生包括执行所述被实例化的混合对象(220)以组合所述第一实时数据流和所述第二实时数据流。
40.如权利要求38所述的方法,其特征在于:
所述解析包括从所述一个或更多个流处置指令(210)中解析对第二实时流处理机(22)的第二描述,所述第二描述包括第二输入源标识符、第二输出阱标识符、以及一个或更多个数据处理对象中的每一者的相应标识符;
所述创建包括根据所述第二描述从一些被实例化的实时流处置对象创建第二有向图;
所述接收包括从对应于所述第二输入源标识符的第二输入源接收第二实时数据流,其中所述第二输入源对应于来自第二远程网络节点的传入实时数据流的定义,且所述第一和第二实时数据流在数据类型方面不同;以及
所述产生包括通过所述第二有向图处理所述第二实时数据流至对应于所述第二输出阱标识符的第二输出阱。
41.如权利要求38所述的方法,其特征在于:
所述解析包括从所述一个或更多个流处置指令(210)中提取图形对象外观处理对象的标识符;以及
所述产生包括通过对应于相应一些所述被提取的标识符的一个或更多个被实例化的图形对象外观处理对象来处理所述实时数据流,以及至少部分地基于所述第一对象在所述虚拟区域(28)中的位置动态配置所述被实例化的图形对象外观处理对象以在取向、位置、移动以及姿势中的至少一者上控制所述第一对象的视觉表示。
42.如权利要求25所述的方法,其特征在于,所述解析、所述实例化、所述创建、所述接收、所述产生、以及所述生成是在远程网络节点上执行的,且所述方法进一步包括将在本地网络节点(16)上执行的用户级应用的接口元件与所述实时数据流相关联,并将所述实时数据流从所述本地网络节点(16)传送至所述远程网络节点。
43.如权利要求42所述的方法,其特征在于,进一步包括将所述一个或更多个流处置指令从所述本地网络节点(16)传送至所述远程网络节点。
44.如权利要求43所述的方法,其特征在于,所述用户级应用是桌面应用程序。
46.如权利要求25所述的方法,其特征在于,所述流处置指令(210)在不引用函数的情况下指定所述实时流处理机(22)。
47.如权利要求25所述的方法,其特征在于,所述流处置指令(210)在不引用流类型的情况下指定所述实时流处理机(22)。
48.如权利要求25所述的方法,其特征在于,所述产生包括在每个相继的固定长度间隔期间从所述输出阱到所述输入源地遍历所述有向图(212)。
49.如权利要求25所述的方法,其特征在于,所述解析包括解析一个或更多个记录,每个记录包括相应的定义类型、相应的定义长度、以及因定义类型而异的字段和相应的因定义类型而异的定义中的至少一者。
50.如权利要求25所述的方法,进一步包括至少部分地基于所述所得数据流生成人类可感知的输出。
51.一种装置,包括:
存储计算机可读指令的计算机可读介质;以及
耦合至存储器的数据处理单元,用于执行所述指令,并至少部分地基于所述指令的执行来执行操作,所述操作包括:
从一个或更多个流处置指令(210)解析对实时流处理机(22)的描述,其中所述解析包括从所述一个或更多个流处置指令解析输入源标识符、输出阱标识符、以及一个或更多个数据处理对象中的每一者的相应标识符,
实例化对应于相应一些所述标识符的实时流处置对象,
根据所述描述创建包括一些被实例化的实时流处置对象的有向图(212),
从对应于所述输入源标识符的输入源接收实时数据流(214),以及
在对应于所述输出阱标识符的输出阱产生所得数据流,其中所述产生包括通过所述有向图(212)处理所述实时数据流。
52.其中含有计算机可读程序代码的至少一种计算机可读介质,所述计算机可读程序代码适于被计算机执行以实现包括以下动作的方法:
从一个或更多个流处置指令(210)解析对实时流处理机(22)的描述,其中所述解析包括从所述一个或更多个流处置指令解析输入源标识符、输出阱标识符、以及一个或更多个数据处理对象中的每一者的相应标识符;
实例化对应于相应一些所述标识符的实时流处置对象;
根据所述描述创建包括一些被实例化的实时流处置对象的有向图(212);
从对应于所述输入源标识符的输入源接收实时数据流(214);以及
在对应于所述输出阱标识符的输出阱产生所得数据流,其中所述产生包括通过所述有向图(212)处理所述实时数据流。
53.一种用于实时数据流处置的计算机实现的方法,包括:
建立本地网络节点(16)和至少一个远程网络节点(230)之间的至少一个实时数据流连接;
在所述本地网络节点(16)处,处理源自所述远程网络节点的至少一个实时数据流,其中所述处理包括通过一个或更多个实时数据处理操作处理所述至少一个实时数据流以产生所得数据流(232);
监视所述处理(234);以及
响应于基于所述监视确定所述处理偏离性能目标,根据实时性能目标例程修改(236)所述处理。
54.如权利要求53所述的方法,其特征在于,所述修改(236)包括响应于确定所述处理没有满足所述性能目标而省略对所述实时数据流的一个或更多个部分的处理。
55.如权利要求53所述的方法,其特征在于,所述修改(236)包括响应于确定所述处理没有满足所述性能目标而省略一个或更多个所述实时数据处理操作。
56.如权利要求55所述的方法,其特征在于,所述省略包括省略由所述性能目标之外的相应性能值所表征的一个或更多个所述数据处理操作。
57.如权利要求55所述的方法,其特征在于,所述数据处理操作中的一些被指派相应的优先级值,且所述省略包括基于所述被指派的优先级值优先省略一个或更多个所述数据处理操作。
58.如权利要求53所述的方法,其特征在于,所述修改(236)包括响应于确定所述处理没有满足所述性能目标用不同的相应实时数据处理操作替换至少一个所述实时数据处理操作。
59.如权利要求53所述的方法,其特征在于,一个或更多个所述实时数据处理操作被指派相应的优先级值,所述实时性能目标例程包括启发,该启发基于所述被指派的优先级值确定所述数据处理操作中要省略的数据处理操作,且所述修改(236)是根据所述启发来执行的。
60.如权利要求59所述的方法,其特征在于,所述启发基于所述被指派的优先级值按基于时间的性能统计的加权来确定所述数据处理操作中要省略的数据处理操作。
61.如权利要求53所述的方法,其特征在于,所述修改(236)包括迭代地修改所述处理直至所述处理落在指定的性能目标之内。
62.如权利要求53所述的方法,其特征在于,所述处理(232)包括:实例化处理对象,所述处理对象中的一些用于执行相应一些所述数据处理操作;从一些被实例化的处理对象建立有向图;以及通过所述有向图处理所述实时数据流。
63.如权利要求62所述的方法,其特征在于,所述修改(236)包括从所述有向图中删除一个或更多个所述被实例化的处理对象。
64.如权利要求63所述的方法,其特征在于,所述处理对象中的一些被指派相应的优先级值,且所述删除包括基于所述被指派的优先级值从所述有向图中移除一些所述被实例化的处理对象。
65.如权利要求64所述的方法,其特征在于,所述删除包括从所述有向图中移除被指派没有满足优先级阈值的相应优先级值的一些被实例化的处理对象。
66.如权利要求62所述的方法,其特征在于,所述处理(232)包括从一些被实例化的处理对象建立第二有向图,并通过所述第二有向图处理源自所述本地网络节点(16)和所述至少一个远程网络节点之一的第二实时数据流。
67.如权利要求66所述的方法,其特征在于,所述第一和第二有向图被指派相应的优先级值,且所述修改(236)包括基于所述被指派的优先级值优先修改所述第一和第二有向图中的一者。
68.如权利要求67所述的方法,其特征在于,所述修改(236)包括在所述第一和第二有向图中被指派最低优先级值的相应有向图中省略对所述第一和第二实时数据流之一的处理。
69.如权利要求62所述的方法,其特征在于,所述处理(232)包括通过所述有向图处理源自所述本地网络节点(16)和所述至少一个远程网络节点之一的第二实时数据流。
70.如权利要求69所述的方法,其特征在于,所述第一和第二实时数据流被指派相应的优先级值,且所述修改(236)包括基于所述被指派的优先级值优先修改对所述第一和第二实时数据流中的一者的处理。
71.如权利要求62所述的方法,其特征在于,所述建立(230)包括在所述本地网络节点(16)和多个远程网络节点之间建立相应的实时数据流连接,且所述处理(232)包括通过所述有向图处理源自相应一些所述远程网络节点的实时数据流。
72.如权利要求71所述的方法,其特征在于,所述实时数据流被指派相应的优先级值,且所述修改(236)包括基于所述被指派的优先级值优先修改对一个或更多个所述实时数据流的处理。
73.如权利要求71所述的方法,其特征在于,所述有向图包括相应一些所述被实例化的处理对象的多个有向链,且所述处理(232)包括通过每个所述有向链处理相应一个所述实时数据流,其中每个所述实时数据流源自所述本地网络节点(16)和所述远程网络节点中的相应一个。
74.如权利要求73所述的方法,其特征在于,所述修改(236)包括迭代地修改所述处理直至所述处理落在所述指定的性能目标之内,并且在每次迭代期间,所述修改包括执行以下一者或更多:(i)从所述有向图中移除一个或更多个所述链以及(ii)从所述有向图中删除一个或更多个所述被实例化的处理对象。
75.如权利要求53所述的方法,其特征在于,所述性能目标包括对产生所述所得数据流的基于时间的阈值。
76.如权利要求53所述的方法,其特征在于,进一步包括在所述本地网络节点(16)处从远程网络节点接收一个或更多个流处置指令,所述流处置指令包括向所述一个或更多个实时数据处理操作指派相应的优先级值,其中所述修改(236)包括基于所述被指派的优先级值修改所述处理。
77.如权利要求53所述的方法,其特征在于,所述修改(236)包括响应于确定所述处理没有满足所述性能目标而将计算资源负载减少至较低水平。
78.如权利要求77所述的方法,其特征在于,所述修改(236)包括响应于确定所述处理满足所述性能目标而从所述较低水平增加所述计算资源负载。
79.如权利要求53所述的方法,其特征在于,所述实时数据流被分组成帧,且在每个所述帧上执行所述监视。
80.如权利要求79所述的方法,其特征在于,所述处理(232)包括在根据本地时钟设定的每个相继固定长度间隔期间处理所述实时数据流的所述帧。
81.如权利要求80所述的方法,其特征在于,还包括在所述本地网络节点(16)将所述本地时钟与远程主时钟服务同步。
82.如权利要求53所述的方法,其特征在于,所述监视(234)包括监视所述本地网络节点(16)的至少一个处理器的利用。
83.如权利要求53所述的方法,其特征在于,所述监视(234)包括监视所述本地网络节点(16)的至少一个连网资源的带宽利用。
84.如权利要求53所述的方法,进一步包括在所述本地网络节点(16)生成响应于所述所得数据流的人类可感知的输出。
85.如权利要求84所述的方法,其特征在于,所述本地网络节点(16)和所述远程网络节点与虚拟区域(28)中的相应对象相关联,且所述人类可感知的输出是在显示器上对所述虚拟区域(28)中的对象的可视化。
86.一种装置,包括:
存储计算机可读指令的计算机可读介质;以及
耦合至存储器的数据处理单元,用于执行所述指令,并至少部分地基于所述指令的执行来执行操作,所述操作包括:
建立本地网络节点(16)和至少一个远程网络节点(230)之间的至少一个实时数据流连接,
在所述本地网络节点(16)处,处理源自所述远程网络节点的至少一个实时数据流,其中所述处理包括通过一个或更多个实时数据处理操作处理所述至少一个实时数据流以产生所得数据流(232);
监视所述处(234),以及
响应于基于所述监视确定所述处理偏离性能目标,根据实时性能目标例程(236)修改所述处理。
87.其中含有计算机可读程序代码的至少一种计算机可读介质,所述计算机可读程序代码适于被计算机执行以实现包括以下动作的方法:
建立本地网络节点(16)和至少一个远程网络节点(230)之间的至少一个实时数据流连接;
在所述本地网络节点(16)处,处理源自所述远程网络节点的至少一个实时数据流,其中所述处理包括通过一个或更多个实时数据处理操作处理所述至少一个实时数据流以产生所得数据流(232);
监视所述处理(234);以及
响应于基于所述监视确定所述处理偏离性能目标,根据实时性能目标例程(236)修改所述处理。
88.一种计算机实现的方法,包括:
在本地网络节点(16)上根据无连接传输协议在传输流上建立与远程网络节点的第一会话(362);
代表所述本地网络节点(16)上的一个或更多个软件实体,自动打开在所述第一会话中在所述本地网络节点(16)和所述远程网络节点之间传送数据的一个或更多个信道(364);
在所述第一会话中,维护标识打开的一些所述信道的表并将相应的属性值与所标识的信道相关联(366);
响应于确定所述第一会话失败,根据所述无连接传输协议自动尝试在第二传输流上建立与所述远程网络节点的第二会话(368);以及
响应于成功建立所述第二会话,自动打开所述表中标识的每个所述信道(370)。
89.如权利要求88所述的方法,其特征在于,所述建立(362)包括确定指派给所述远程网络节点的第一站定义且所述维护包括将所述第一站定义存储在所述表中作为每个所述打开的信道的属性。
90.如权利要求89所述的方法,其特征在于,进一步包括发现所述第一会话的失败,其中所述发现包括确定指派给所述远程网络节点的当前站定义并响应于确定所述当前站定义不同于所述第一站定义而确定所述第一会话失败。
91.如权利要求89所述的方法,其特征在于,所述确定包括解析从所述远程网络节点接收的站定义记录,其中所述站定义记录包括一组字段,每个字段由相应字段类型以及相关联的字段值所定义,且每个字段类型被相应的全局唯一标识符(GUID)所标识。
92.如权利要求88所述的方法,其特征在于,进一步包括记录从所述本地网络节点(16)可用的本地公布信道、所述一个或更多个软件实体所请求的本地订阅信道、从所述远程网络节点可用的远程公布信道、以及所述远程网络节点所请求的远程订阅信道的属性。
93.如权利要求92所述的方法,其特征在于,所述记录包括为每个所述本地公布信道维护一记录,所述记录包括指示在所述本地公布信道上公布数据的能力的所述软件实体中的一者的标识符、订阅所述本地公布信道的远程网络节点的标识符、以及所述本地公布信道的标识符。
94.如权利要求92所述的方法,其特征在于,所述记录包括为每个所述本地订阅信道维护一记录,所述记录包括订阅所述本地订阅信道的所述软件实体中的一者的标识符、指示在所述本地订阅信道上公布数据的能力的远程网络节点的标识符、所述本地订阅信道的标识符、以及一个或更多个与所述本地订阅信道相关联的网络传输参数。
95.如权利要求92所述的方法,其特征在于,所述记录包括为每个所述远程公布信道维护一记录,所述记录包括指示在所述远程公布信道上公布数据的能力的远程网络节点的标识符、以及所述远程公布信道的标识符。
96.如权利要求92所述的方法,其特征在于,所述打开包括向所述远程网络节点发送定义所述本地公布信道的记录。
97.如权利要求92所述的方法,其特征在于,所述打开包括向所述远程网络节点发送具有与所述远程公布信道中的一者的标识符匹配的标识符的每个所述本地订阅信道的记录。
98.如权利要求88所述的方法,其特征在于,所述建立(362)包括:创建所述会话的定义,其中所述定义包括网际协议(IP)地址、端口地址、以及传输协议的全局唯一标识符;并向所述远程网络节点发送所述定义。
99.如权利要求88所述的方法,其特征在于,进一步包括在所述会话中在所述一个或更多个打开的信道上在所述本地网络节点(16)和所述远程网络节点之间传送数据。
100.如权利要求99所述的方法,其特征在于,所述传送包括在记录中传送所述数据,每个所述记包括一组字段,每个所述字段由相应的字段类型以及相关联的字段值所定义,且每个所述字段类型被相应的GUID所标识。
101.如权利要求99所述的方法,其特征在于,所述传送包括传送包含包括可呈现数据的分组的媒体数据的媒体记录,以及传送包含包括配置设置的定义的配置数据的配置记录。
102.如权利要求101所述的方法,其特征在于,所述传送包括将媒体记录和配置记录封装在所述传输流上的传输记录中。
103.如权利要求102所述的方法,其特征在于,所述封装包括使用第一数据压缩服务压缩一些所述媒体记录,以及使用第二数据压缩服务压缩一些所述配置记录。
104.如权利要求102所述的方法,其特征在于,所述封装包括将所述传输记录与传送所述传输记录的相应一些所述信道的标识符相关联,加密所述传输记录,以及按顺序排列所述经加密的传输记录。
105.如权利要求102所述的方法,其特征在于,进一步包括在所述本地网络节点(16)接收从所述远程网络节点传送的一些所述传输记录,其中所述接收包括解密所述传输记录并向所述软件实体中的一些订阅软件实体分派包含在所述经解密的传输记录中的所述媒体记录和所述配置记录。
106.一种装置,包括:
存储计算机可读指令的计算机可读介质;以及
耦合至存储器的数据处理单元,用于执行所述指令,并至少部分地基于所述指令的执行来执行操作,所述操作包括:
在本地网络节点(16)上根据无连接传输协议在传输流上建立与远程网络节点的第一会话(362);
代表所述本地网络节点(16)上的一个或更多个软件实体,自动打开在所述第一会话中在所述本地网络节点(16)和所述远程网络节点之间传送数据的一个或更多个信道(364);
在所述第一会话中,维护标识打开的一些所述信道的表并将相应的属性值与所标识的信道相关联(366);
响应于确定所述第一会话失败,根据所述无连接传输协议自动尝试在第二传输流上建立与所述远程网络节点的第二会话(368);以及
响应于成功建立所述第二会话,自动打开所述表中标识的每个所述信道(370)。
107.其中含有计算机可读程序代码的至少一种计算机可读介质,所述计算机可读程序代码适于被计算机执行以实现包括以下动作的方法:
在本地网络节点(16)上根据无连接传输协议在传输流上建立与远程网络节点的第一会话(362);
代表所述本地网络节点(16)上的一个或更多个软件实体,自动打开在所述第一会话中在所述本地网络节点(16)和所述远程网络节点之间传送数据的一个或更多个信道(364);
在所述第一会话中,维护标识打开的一些所述信道的表并将相应的属性值与所标识的信道相关联(366);
响应于确定所述第一会话失败,根据所述无连接传输协议自动尝试在第二传输流上建立与所述远程网络节点的第二会话(368);以及
响应于成功建立所述第二会话,自动打开所述表中标识的每个所述信道(370)。
108.一种在本地网络节点(16)上执行的方法,所述方法包括:
解析包含一个或更多个内核服务组件的内核组件的列表(320);
确定所述被解析的列表中在本地储存库中缺少的所有内核组件(322);
检索被确定为缺少的每个所述内核组件(324);
从一些所述内核服务内核组件实例化内核服务(326);
执行所述被实例化的内核服务以在关于虚拟区域(28)定义的通信环境中与一个或更多个远程网络节点通信(328)。
109.如权利要求108所述的方法,其特征在于,所述实例化(326)包括实例化流连接内核服务,且所述执行(328)包括执行所述流连接内核服务以动态加载提供可靠性功能、认证功能、以及加密功能中的至少一者的至少一个流传输插件。
110.如权利要求109所述的方法,其特征在于,所述执行(328)包括响应于从所述远程网络节点中的一者接收的网络连接定义动态加载所述至少一个流传输插件。
111.如权利要求108所述的方法,其特征在于,所述实例化(326)包括实例化实时调度器内核服务,且所述执行(328)包括执行所述实时调度器内核服务以动态加载提供时间同步功能的时间服务插件。
112.如权利要求111所述的方法,其特征在于,所述执行(328)包括响应于从所述远程网络节点中的一者接收的网络连接定义动态加载所述时间服务插件。
113.如权利要求108所述的方法,其特征在于,所述实例化(326)包括实例化一个或更多个流处置内核服务,且所述执行(328)包括执行所述一个或更多个流处置内核服务以从提供流处理功能的一个或更多个插件动态创建和配置至少一个流处理机(22)。
114.如权利要求113所述的方法,其特征在于,所述执行(328)包括响应于从所述远程网络节点中的一个远程网络节点接收的流处理机描述动态创建和配置所述流处理机(22)。
115.如权利要求114所述的方法,其特征在于,所述执行(328)包括根据所述流处理机描述将多个所述插件组装到有向图中。
116.如权利要求115所述的方法,其特征在于,所述执行(328)包括根据从所述一个远程网络节点接收的第二流处理机描述将所述插件中的一者组装到第二有向图中,所述第一和第二有向图具有不同的相应插件拓扑。
117.如权利要求114所述的方法,其特征在于,所述配置包括在所述流处理机(22)正处理从所述一个远程网络节点接收的实时数据流的同时动态配置所述流处理机(22)。
118.如权利要求114所述的方法,其特征在于,所述一个或更多个远程网络节点与所述虚拟区域(28)中的相应对象相关联,且所述配置包括基于所述虚拟区域(28)中的对象的位置确定配置参数值并用所述配置参数值配置所述流处理机(22)中的所述插件中的一些。
119.如权利要求108所述的方法,其特征在于,进一步包括在所述本地网络节点(16)上:
向网络基础结构服务宣称要进入所述虚拟区域(28)的意图,以及
从所述网络基础结构服务接收对用于呈现所述虚拟区域(28)所需的插件的标识。
120.如权利要求119所述的方法,其特征在于,进一步包括在所述本地网络节点(16)上:
从远程网络节点检索所述本地网络节点(16)中缺少的一些所述插件。
121.如权利要求119所述的方法,其特征在于,进一步包括在所述本地网络节点(16)上呈现所述虚拟区域(28)的过程中加载至少一个所述插件并调用被加载的插件的一个或更多个函数。
122.如权利要求108所述的方法,其特征在于,进一步包括在所述本地网络节点(16)和所述远程网络节点中的一个远程网络节点之间建立网络会话,其中所述建立包括接收对所标识的传输应用程序接口(API)的变量集的标识、从所述集中选择一个变量、以及在所述会话中在所述本地网络节点(16)和所述一个远程网络节点之间传递实时数据流的过程中调用所选择变量的一个或更多个函数。
123.如权利要求122所述的方法,其特征在于,所述调用包括加载支持所标识的传输API的传输插件并调用所述传输插件的一个或更多个函数。
124.一种装置,包括:
存储计算机可读指令的计算机可读介质;以及
耦合至存储器的数据处理单元,用于执行所述指令,并至少部分地基于所述指令的执行来执行操作,所述操作包括:
解析包含一个或更多个内核服务组件的内核组件的列表(320),
确定所述被解析的列表中在本地储存库中缺少的所有内核组件(322),
检索被确定为缺少的每个所述内核组件(324),
从一些所述内核服务内核组件实例化内核服务(326),以及
执行所述被实例化的内核服务以在关于虚拟区域(28)定义的通信环境中与一个或更多个远程网络节点通信(326)。
125.其中含有计算机可读程序代码的至少一个计算机可读介质,所述计算机可读程序代码适于被计算机执行以实现包括以下动作的方法:
解析包含一个或更多个内核服务组件的内核组件的列表(320);
确定所述被解析的列表中在本地储存库中缺少的所有内核组件(322);
检索被确定为缺少的每个所述内核组件(324);
从一些所述内核服务内核组件实例化内核服务(326),以及
执行所述被实例化的内核服务以在关于虚拟区域(28)定义的通信环境中与一个或更多个远程网络节点通信(328)。
126.一种在本地网络节点(16)上执行的方法,包括:
配置所述本地网络节点(16)以支持在由虚拟区域(28)定义的上下文中与至少一个远程网络节点实时通信,所述配置包括
响应于对枚举支持指定的应用编程接口(API)的所有插件的调用,返回包含插件数据库中与所指定的API相关联的所有插件的标识符的列表(442),
响应于对枚举由所述插件中所标识的一个插件支持的给定API的变量的调用,传递包括由所标识的插件支持的所述给定API的所有变量的标识符的列表(446),以及
响应于对实例化由所述插件中所标识的一个插件支持的所标识的API的所标识的一个变量的调用,加载所标识的插件并提供至所标识的变量的实例的指针(450);以及
建立所述配置的本地网络节点(16)和所述至少一个远程网络节点之间的至少一个实时数据流连接。
127.如权利要求126所述的方法,其特征在于
所述加载(450)包括创建基础插件对象以及所返回的指向所述基础插件对象的指针,以及
进一步包括执行所标识的变量实例,其中所述执行包括通过继承向所标识的变量投掷所述基础插件对象。
128.如权利要求126所述的方法,其特征在于,所述通信包括响应于调用而实例化集合中的所述插件中的一些,以及将所述被实例化的插件组装到有向图中,所述调用包括所述集合中的所述插件的标识符和由所述集合中的所述插件分别支持的API中的一个或更多个的标识符。
129.如权利要求128所述的方法,其特征在于,根据从远程网络节点接收的流处置描述执行所述组装。
130.如权利要求126所述的方法,其特征在于,所述返回、所述传递、和所述加载是独立于API类型而执行的。
131.如权利要求126所述的方法,其特征在于,所述插件中的至少一个插件支持多个API和该插件支持的所述多个API中的至少一个API的多个变量。
132.如权利要求126所述的方法,其特征在于,进一步包括在关于虚拟区域(28)定义的通信环境中与一个或更多个远程网络节点通信,其中所述通信包括执行所标识的变量实例。
133.如权利要求132所述的方法,其特征在于,所述通信包括实例化提供流传输功能的至少一个所述插件。
134.如权利要求132所述的方法,其特征在于,所述通信包括实例化提供音频流处理功能的至少一个所述插件。
135.如权利要求132所述的方法,其特征在于,所述通信包括实例化提供视觉图形效果功能的至少一个所述插件。
136.如权利要求132所述的方法,其特征在于,所述通信包括实例化提供冲突检测功能的至少一个所述插件。
137.如权利要求126所述的方法,其特征在于,还包括:
发现所述本地网络节点(16)上可用的插件(430);
向所述插件查询其支持的所有应用编程接口(API)(432);以及
基于所述查询,在计算机可读介质上的插件数据库中存储所述插件与它们分别支持的API之间的关联(434)。
138.一种装置,包括:
存储计算机可读指令的计算机可读介质;以及
耦合至存储器的数据处理单元,用于执行所述指令,并至少部分地基于所述指令的执行来执行操作,所述操作包括:
配置本地网络节点(16)以支持在由虚拟区域(28)定义的上下文中与至少一个远程网络节点实时通信,所述配置包括
响应于对枚举支持指定的应用编程接口(API)的所有插件的调用,返回包含插件数据库中与所指定的API相关联的所有插件的标识符的列表(442),
响应于对枚举由所述插件中所标识的一个插件支持的给定API的变量的调用,传递包括由所标识的插件支持的所述给定API的所有变量的标识符的列表(446),以及
响应于对实例化由所述插件中所标识的一个插件支持的所标识的API的所标识的一个变量的调用,加载所标识的插件并提供至所标识的变量的实例的指针(450);以及
建立所述配置的本地网络节点(16)和所述至少一个远程网络节点之间的至少一个实时数据流连接。
139.其中含有计算机可读程序代码的至少一种计算机可读介质,所述计算机可读程序代码适于被计算机执行以实现包括以下动作的方法:
配置本地网络节点(16)以支持在由虚拟区域(28)定义的上下文中与至少一个远程网络节点实时通信,所述配置包括
响应于对枚举支持指定的应用编程接口(API)的所有插件的调用,返回包含插件数据库中与所指定的API相关联的所有插件的标识符的列表(442),
响应于对枚举由所述插件中所标识的一个插件支持的给定API的变量的调用,传递包括由所标识的插件支持的所述给定API的所有变量的标识符的列表(446),以及
响应于对实例化由所述插件中所标识的一个插件支持的所标识的API的所标识的一个变量的调用,加载所标识的插件并提供至所标识的变量的实例的指针(450);以及
建立所述配置的本地网络节点(16)和所述至少一个远程网络节点之间的至少一个实时数据流连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610521839.9A CN106131178A (zh) | 2008-12-05 | 2009-12-04 | 实时内核 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12037208P | 2008-12-05 | 2008-12-05 | |
US61/120,372 | 2008-12-05 | ||
PCT/US2009/066764 WO2010065848A2 (en) | 2008-12-05 | 2009-12-04 | Realtime kernel |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610521839.9A Division CN106131178A (zh) | 2008-12-05 | 2009-12-04 | 实时内核 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102362269A true CN102362269A (zh) | 2012-02-22 |
CN102362269B CN102362269B (zh) | 2016-08-17 |
Family
ID=42232283
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610521839.9A Pending CN106131178A (zh) | 2008-12-05 | 2009-12-04 | 实时内核 |
CN200980150169.2A Expired - Fee Related CN102362269B (zh) | 2008-12-05 | 2009-12-04 | 实时内核 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610521839.9A Pending CN106131178A (zh) | 2008-12-05 | 2009-12-04 | 实时内核 |
Country Status (7)
Country | Link |
---|---|
US (6) | US8578000B2 (zh) |
EP (1) | EP2377031A4 (zh) |
JP (3) | JP5721634B2 (zh) |
KR (3) | KR20130010910A (zh) |
CN (2) | CN106131178A (zh) |
IL (1) | IL213038A0 (zh) |
WO (1) | WO2010065848A2 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014507697A (ja) * | 2010-12-14 | 2014-03-27 | マイクロソフト コーポレーション | リモート・セッションにおけるリアルタイム・メディア最適化 |
CN104144221A (zh) * | 2014-08-19 | 2014-11-12 | 湖北盛天网络技术股份有限公司 | 文件访问方法及装置 |
CN105373221A (zh) * | 2014-08-11 | 2016-03-02 | 英派尔科技开发有限公司 | 增强现实信息管理 |
CN106034370A (zh) * | 2015-03-20 | 2016-10-19 | 立锜科技股份有限公司 | 用于驱动led数组的驱动电路 |
CN106708634A (zh) * | 2016-12-09 | 2017-05-24 | 福建省天奕网络科技有限公司 | Vr应用设备与厂家设备的通讯方法及其*** |
CN107430430A (zh) * | 2014-12-22 | 2017-12-01 | 英特尔公司 | 多触摸虚拟鼠标 |
CN108028829A (zh) * | 2015-07-02 | 2018-05-11 | 瑞典爱立信有限公司 | 用于获得对网络的初始接入的方法以及相关的无线设备和网络节点 |
CN108806675A (zh) * | 2017-04-27 | 2018-11-13 | 丰田自动车株式会社 | 语音输入输出装置、无线连接方法、语音对话*** |
CN109739728A (zh) * | 2019-01-08 | 2019-05-10 | 益模(东莞)智能科技有限公司 | 一种mes***性能和日志数据监控方法 |
CN110475272A (zh) * | 2019-07-31 | 2019-11-19 | 苏州星际靶战网络信息技术有限公司 | 一种虚拟化网络设备库信息传输方法及*** |
CN113082710A (zh) * | 2021-04-23 | 2021-07-09 | 杭州雾联科技有限公司 | 一种音频播放方法、装置、电子设备及存储介质 |
WO2024114534A1 (zh) * | 2022-11-30 | 2024-06-06 | 京东方科技集团股份有限公司 | 数据、视频处理方法及装置 |
Families Citing this family (160)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8407605B2 (en) | 2009-04-03 | 2013-03-26 | Social Communications Company | Application sharing |
US11876707B2 (en) * | 2007-10-24 | 2024-01-16 | Sococo, Inc. | Routing virtual area based communications |
US8397168B2 (en) | 2008-04-05 | 2013-03-12 | Social Communications Company | Interfacing with a spatial virtual communication environment |
US7769806B2 (en) | 2007-10-24 | 2010-08-03 | Social Communications Company | Automated real-time data stream switching in a shared virtual area communication environment |
US9514444B2 (en) | 2009-01-15 | 2016-12-06 | Sococo, Inc. | Encapsulating virtual area based communicant assemblies |
US9401937B1 (en) | 2008-11-24 | 2016-07-26 | Shindig, Inc. | Systems and methods for facilitating communications amongst multiple users |
US8390670B1 (en) | 2008-11-24 | 2013-03-05 | Shindig, Inc. | Multiparty communications systems and methods that optimize communications based on mode and available bandwidth |
KR20130010910A (ko) * | 2008-12-05 | 2013-01-29 | 소우셜 커뮤니케이션즈 컴퍼니 | 실시간 커널 |
US20130283169A1 (en) | 2012-04-24 | 2013-10-24 | Social Communications Company | Voice-based virtual area navigation |
US9069851B2 (en) | 2009-01-15 | 2015-06-30 | Social Communications Company | Client application integrating web browsing and network data stream processing for realtime communications |
US9853922B2 (en) * | 2012-02-24 | 2017-12-26 | Sococo, Inc. | Virtual area communications |
TWI534633B (zh) | 2009-03-31 | 2016-05-21 | 萬國商業機器公司 | 管理一虛擬物件的方法、電腦程式產品及伺服器裝置 |
US9344745B2 (en) | 2009-04-01 | 2016-05-17 | Shindig, Inc. | Group portraits composed using video chat systems |
WO2010121945A2 (en) * | 2009-04-21 | 2010-10-28 | International Business Machines Corporation | Method and system for interaction with unmodified 3d graphics applications |
US8779265B1 (en) | 2009-04-24 | 2014-07-15 | Shindig, Inc. | Networks of portable electronic devices that collectively generate sound |
US8629866B2 (en) * | 2009-06-18 | 2014-01-14 | International Business Machines Corporation | Computer method and apparatus providing interactive control and remote identity through in-world proxy |
US8675019B1 (en) * | 2009-12-03 | 2014-03-18 | Innoventions, Inc. | View navigation guidance system for hand held devices with display |
US8244754B2 (en) * | 2010-02-01 | 2012-08-14 | International Business Machines Corporation | System and method for object searching in virtual worlds |
US8869141B2 (en) * | 2010-03-09 | 2014-10-21 | Avistar Communications Corp. | Scalable high-performance interactive real-time media architectures for virtual desktop environments |
US9021390B1 (en) * | 2010-05-05 | 2015-04-28 | Zynga Inc. | Methods and apparatus for optimized pausing of an embedded application to render pop-up window |
JP5204155B2 (ja) * | 2010-06-21 | 2013-06-05 | 株式会社スクウェア・エニックス | ビデオゲームシステム |
US9444620B1 (en) * | 2010-06-24 | 2016-09-13 | F5 Networks, Inc. | Methods for binding a session identifier to machine-specific identifiers and systems thereof |
US8782434B1 (en) | 2010-07-15 | 2014-07-15 | The Research Foundation For The State University Of New York | System and method for validating program execution at run-time |
WO2012027020A1 (en) | 2010-08-24 | 2012-03-01 | Exxonmobil Upstream Research Company | System and method for planning a well path |
EP2614482A4 (en) * | 2010-09-11 | 2014-05-14 | Social Communications Co | RELATIONSHIP-BASED PRESENCE DISPLAY IN VIRTUAL AREA CONTEXTS |
US9100385B1 (en) * | 2010-10-01 | 2015-08-04 | Google Inc. | Management and synchronization of electronic media content information |
US8949717B2 (en) * | 2010-10-18 | 2015-02-03 | Yehonatan Rafael Maor | Method of controlling avatars |
US9560141B2 (en) * | 2010-12-29 | 2017-01-31 | Open Invention Network, Llc | Method and apparatus of performing peer-to-peer communication establishment |
US20120192088A1 (en) * | 2011-01-20 | 2012-07-26 | Avaya Inc. | Method and system for physical mapping in a virtual world |
EP2668641B1 (en) | 2011-01-26 | 2020-04-15 | Exxonmobil Upstream Research Company | Method of reservoir compartment analysis using topological structure in 3d earth model |
EP2678802A4 (en) | 2011-02-21 | 2017-12-13 | Exxonmobil Upstream Research Company | Reservoir connectivity analysis in a 3d earth model |
US8521860B2 (en) | 2011-03-29 | 2013-08-27 | Microsoft Corporation | Providing a witness service |
KR101312954B1 (ko) * | 2011-03-31 | 2013-10-01 | 주식회사 리코시스 | 3차원 테마를 표현하는 커버페이지를 제공하는 사용자 인터페이스 장치 및 그 구동 방법 |
EP3462286A1 (en) | 2011-05-06 | 2019-04-03 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
US8799898B2 (en) * | 2011-05-31 | 2014-08-05 | Adobe Systems Incorporated | Methods and apparatus for binding applications to a cloud computing environment |
US8799788B2 (en) * | 2011-06-02 | 2014-08-05 | Disney Enterprises, Inc. | Providing a single instance of a virtual space represented in either two dimensions or three dimensions via separate client computing devices |
US9323871B2 (en) * | 2011-06-27 | 2016-04-26 | Trimble Navigation Limited | Collaborative development of a model on a network |
US20130166766A1 (en) * | 2011-06-30 | 2013-06-27 | The Board Of Trustees Of The University Of Illinois | Streaming Service for Correlated Multi-Streaming |
US9223594B2 (en) * | 2011-07-01 | 2015-12-29 | Exxonmobil Upstream Research Company | Plug-in installer framework |
US8984156B2 (en) * | 2011-07-21 | 2015-03-17 | Salesforce.Com, Inc. | Multi-party mesh conferencing with stream processing |
WO2013039748A2 (en) * | 2011-09-16 | 2013-03-21 | Social Communications Company | Capabilities based management of virtual areas |
US20130097244A1 (en) * | 2011-09-30 | 2013-04-18 | Clearone Communications, Inc. | Unified communications bridging architecture |
EP2780892B1 (en) | 2011-11-15 | 2016-10-05 | Trimble Navigation Limited | Controlling rights to a drawing in a three-dimensional modeling environment |
EP2780816B1 (en) | 2011-11-15 | 2018-03-21 | Trimble Inc. | Providing a real-time shared viewing experience in a three-dimensional modeling environment |
US9460542B2 (en) | 2011-11-15 | 2016-10-04 | Trimble Navigation Limited | Browser-based collaborative development of a 3D model |
EP2783296A4 (en) | 2011-11-22 | 2015-06-03 | Trimble Navigation Ltd | BETWEEN THE WEB BROWSER OF A CLIENT DEVICE AND A SERVER DISTRIBUTED 3D MODELING SYSTEM |
US9654821B2 (en) | 2011-12-30 | 2017-05-16 | Sonos, Inc. | Systems and methods for networked music playback |
US8452901B1 (en) * | 2011-12-30 | 2013-05-28 | Emc Corporation | Ordered kernel queue for multipathing events |
CN102571634A (zh) * | 2012-01-18 | 2012-07-11 | 孙明昭 | 利用标识实现网络平台信息交互的*** |
KR101335711B1 (ko) | 2012-01-20 | 2013-12-04 | 연세대학교 산학협력단 | 서버, 연산 처리 방법 및 연산 처리 시스템 |
DE102012201505B4 (de) * | 2012-02-02 | 2013-08-22 | Siemens Aktiengesellschaft | Authentisierungssystem für mobile Geräte zum Datenaustausch von medizinischen Daten |
WO2013119802A1 (en) * | 2012-02-11 | 2013-08-15 | Social Communications Company | Routing virtual area based communications |
SE537794C2 (sv) * | 2012-03-20 | 2015-10-20 | Propellerhead Software Aktiebolag | Förfaranden för att distribuera en dataprogramprodukt och ett datorsystem |
US9626710B1 (en) | 2012-05-23 | 2017-04-18 | Amazon Technologies, Inc. | Best practice analysis, optimized resource use |
US8954574B1 (en) | 2012-05-23 | 2015-02-10 | Amazon Technologies, Inc. | Best practice analysis, migration advisor |
US8769059B1 (en) * | 2012-05-23 | 2014-07-01 | Amazon Technologies, Inc. | Best practice analysis, third-party plug-ins |
US10740765B1 (en) | 2012-05-23 | 2020-08-11 | Amazon Technologies, Inc. | Best practice analysis as a service |
WO2013181026A1 (en) | 2012-06-02 | 2013-12-05 | Social Communications Company | Interfacing with a spatial virtual communications environment |
US9674587B2 (en) | 2012-06-26 | 2017-06-06 | Sonos, Inc. | Systems and methods for networked music playback including remote add to queue |
TWI567563B (zh) * | 2012-08-10 | 2017-01-21 | A user input screen generation system and a method thereof | |
US9063721B2 (en) | 2012-09-14 | 2015-06-23 | The Research Foundation For The State University Of New York | Continuous run-time validation of program execution: a practical approach |
US9069782B2 (en) | 2012-10-01 | 2015-06-30 | The Research Foundation For The State University Of New York | System and method for security and privacy aware virtual machine checkpointing |
US9031953B2 (en) * | 2012-11-19 | 2015-05-12 | Realnetworks, Inc. | Method and system to curate media collections |
US20140195672A1 (en) * | 2013-01-09 | 2014-07-10 | Microsoft Corporation | Automated failure handling through isolation |
US20140278911A1 (en) * | 2013-03-15 | 2014-09-18 | Telemetry Limited | Method and apparatus for determining digital media audibility |
US9438638B2 (en) * | 2013-03-15 | 2016-09-06 | Silicon Graphics International Corp. | Method for transparently connecting augmented network socket operations |
US9432485B2 (en) * | 2013-03-15 | 2016-08-30 | Srinivasan Viswanathan | Method and system of an accelerated application-oriented middlewarelayer |
US20140285519A1 (en) * | 2013-03-22 | 2014-09-25 | Nokia Corporation | Method and apparatus for providing local synchronization of information for augmented reality objects |
US20140310606A1 (en) * | 2013-04-11 | 2014-10-16 | Xiaomi Inc. | Method and device for providing plugin in contact list |
US9501533B2 (en) | 2013-04-16 | 2016-11-22 | Sonos, Inc. | Private queue for a media playback system |
US9361371B2 (en) | 2013-04-16 | 2016-06-07 | Sonos, Inc. | Playlist update in a media playback system |
US9247363B2 (en) | 2013-04-16 | 2016-01-26 | Sonos, Inc. | Playback queue transfer in a media playback system |
US10584570B2 (en) | 2013-06-10 | 2020-03-10 | Exxonmobil Upstream Research Company | Interactively planning a well site |
US10749761B1 (en) * | 2013-09-27 | 2020-08-18 | Amazon Technologies, Inc. | Unique user session tracking in adaptive bitrate video delivery |
US9864098B2 (en) | 2013-09-30 | 2018-01-09 | Exxonmobil Upstream Research Company | Method and system of interactive drill center and well planning evaluation and optimization |
WO2015059736A1 (ja) * | 2013-10-23 | 2015-04-30 | 株式会社シナジードライブ | Snsユーザーインタフェースシステム |
US10271010B2 (en) * | 2013-10-31 | 2019-04-23 | Shindig, Inc. | Systems and methods for controlling the display of content |
US9276959B2 (en) * | 2013-11-11 | 2016-03-01 | Amazon Technologies, Inc. | Client-configurable security options for data streams |
CN104703049A (zh) * | 2013-12-09 | 2015-06-10 | 中兴通讯股份有限公司 | 媒体流报文的nat穿越方法、mdu及iptv*** |
US9462329B2 (en) * | 2013-12-20 | 2016-10-04 | Mediatek Inc. | Method and apparatus for frame rate control in transmitter of wireless communications system |
US9421461B2 (en) * | 2013-12-26 | 2016-08-23 | Microsoft Technology Licensing, Llc | Player avatar movement assistance in a virtual environment |
US9791485B2 (en) * | 2014-03-10 | 2017-10-17 | Silver Spring Networks, Inc. | Determining electric grid topology via a zero crossing technique |
US9916188B2 (en) * | 2014-03-14 | 2018-03-13 | Cask Data, Inc. | Provisioner for cluster management system |
CN103877726B (zh) * | 2014-04-10 | 2017-09-26 | 北京蚁视科技有限公司 | 一种虚拟现实组件*** |
US9733333B2 (en) | 2014-05-08 | 2017-08-15 | Shindig, Inc. | Systems and methods for monitoring participant attentiveness within events and group assortments |
GB2530472A (en) * | 2014-05-21 | 2016-03-30 | Euronet Usa Llc | Financial switching engine |
US20150348177A1 (en) * | 2014-05-29 | 2015-12-03 | International Business Machines Corporation | Managing lease transactions in distributed systems |
US9749447B2 (en) * | 2014-06-30 | 2017-08-29 | Mark Spence | Distributed Process Framework |
US9396698B2 (en) * | 2014-06-30 | 2016-07-19 | Microsoft Technology Licensing, Llc | Compound application presentation across multiple devices |
CN105323534B (zh) * | 2014-07-14 | 2019-04-23 | 深圳市潮流网络技术有限公司 | 一种第三方应用的会议处理方法和通讯设备 |
US10225245B2 (en) * | 2014-11-18 | 2019-03-05 | Auth0, Inc. | Identity infrastructure as a service |
US10609105B2 (en) * | 2015-01-29 | 2020-03-31 | Spotify Ab | System and method for streaming music on mobile devices |
US11516340B2 (en) * | 2015-01-30 | 2022-11-29 | Vonage America Llc | System and method for playing buffered audio of a dropped telephone call |
WO2016138470A1 (en) * | 2015-02-26 | 2016-09-01 | Kazanchian Armen E | Radio frequency module |
FR3034608A1 (fr) * | 2015-03-31 | 2016-10-07 | Orange | Procede de priorisation de flux medias dans un reseau de communications |
KR101581776B1 (ko) * | 2015-05-14 | 2015-12-31 | 주식회사 티맥스 소프트 | 웹 서버에서 파일 디스크립터를 분배하는 방법, 이를 사용한 웹 서버 및 컴퓨터 판독 가능한 기록 매체 |
US9900275B2 (en) * | 2015-06-01 | 2018-02-20 | Apple Inc. | Tracking object across processes |
KR20170010574A (ko) * | 2015-07-20 | 2017-02-01 | 삼성전자주식회사 | 정보처리장치, 영상처리장치 및 그들의 제어방법 |
WO2017035511A1 (en) * | 2015-08-27 | 2017-03-02 | Drop In, Inc. | Methods and systems for live video streaming from a remote location utilizing keep alive messages |
CN105187943B (zh) * | 2015-09-21 | 2018-06-15 | 三星电子(中国)研发中心 | 电视频道追加方法和装置 |
US10482231B1 (en) * | 2015-09-22 | 2019-11-19 | Amazon Technologies, Inc. | Context-based access controls |
JP6659944B2 (ja) * | 2015-11-18 | 2020-03-04 | アイコム株式会社 | データ設定システム、データ更新システムおよびデータ設定方法 |
US9699226B1 (en) * | 2015-12-17 | 2017-07-04 | 8X8, Inc. | Display dependent analytics |
US10095669B1 (en) | 2015-12-22 | 2018-10-09 | Amazon Technologies, Inc. | Virtualized rendering |
WO2017220165A1 (en) | 2016-06-24 | 2017-12-28 | Rwe International Se | Augmented reality system |
US10860347B1 (en) | 2016-06-27 | 2020-12-08 | Amazon Technologies, Inc. | Virtual machine with multiple content processes |
CN109641150B (zh) * | 2016-07-05 | 2022-06-07 | 乐高公司 | 用于创建虚拟对象的方法 |
US11433310B2 (en) | 2016-07-05 | 2022-09-06 | Lego A/S | Method for creating a virtual object |
US20180063205A1 (en) * | 2016-08-30 | 2018-03-01 | Augre Mixed Reality Technologies, Llc | Mixed reality collaboration |
US10680902B2 (en) * | 2016-08-31 | 2020-06-09 | At&T Intellectual Property I, L.P. | Virtual agents for facilitation of network based storage reporting |
US10133916B2 (en) | 2016-09-07 | 2018-11-20 | Steven M. Gottlieb | Image and identity validation in video chat events |
CN106452784B (zh) * | 2016-09-28 | 2019-07-23 | 苏州超块链信息科技有限公司 | 一种数字资产原始属性的匿名对等互证方法 |
US11063758B1 (en) | 2016-11-01 | 2021-07-13 | F5 Networks, Inc. | Methods for facilitating cipher selection and devices thereof |
US11290572B2 (en) * | 2016-11-07 | 2022-03-29 | Constructive Labs | System and method for facilitating sharing of virtual three-dimensional space |
US10764367B2 (en) * | 2017-03-15 | 2020-09-01 | Hewlett Packard Enterprise Development Lp | Registration with a storage networking repository via a network interface device driver |
US10592215B1 (en) | 2017-08-17 | 2020-03-17 | NanoVMs, Inc. | Unikernel cross-compilation |
CA3083923A1 (en) * | 2017-12-07 | 2019-06-13 | Mcom Media Communications Dmcc | Managing content casting |
US10897489B2 (en) | 2017-12-07 | 2021-01-19 | Mcom Media Comunications Dmcc | Managing content casting |
US20190260826A1 (en) * | 2018-02-21 | 2019-08-22 | Artem Gurtovoy | P2p video communication with a third-parties |
US10628177B1 (en) * | 2018-04-11 | 2020-04-21 | NanoVMs, Inc. | Unikernel provisioning |
US11989569B2 (en) * | 2018-04-11 | 2024-05-21 | NanoVMs, Inc. | Unikernel provisioning |
US10965444B2 (en) * | 2018-04-24 | 2021-03-30 | Microsoft Technology Licensing, Llc | Mitigating timing attacks via dynamically triggered time dilation |
US11017078B2 (en) * | 2018-04-24 | 2021-05-25 | Microsoft Technology Licensing, Llc | Environmentally-trained time dilation |
EP3777110A1 (en) * | 2018-05-07 | 2021-02-17 | Convida Wireless, Llc | Mechanisms for an intelligent service layer request abstraction service |
CN110633155A (zh) * | 2018-05-31 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种插件化框架的通信方法、装置、介质及电子设备 |
US20220101619A1 (en) * | 2018-08-10 | 2022-03-31 | Nvidia Corporation | Cloud-centric platform for collaboration and connectivity on 3d virtual environments |
WO2020061087A1 (en) * | 2018-09-20 | 2020-03-26 | Ocelot Laboratories Llc | Method and device for attenuation of co-user interactions in simulated reality (sr) space |
KR102119509B1 (ko) * | 2018-10-02 | 2020-06-05 | 주식회사 한글과컴퓨터 | 안정적인 실행을 보장하는 OpenCL 가상화 실행환경 제공 방법 및 장치 |
US10963331B2 (en) * | 2018-12-13 | 2021-03-30 | Microsoft Technology Licensing, Llc | Collecting repeated diagnostics data from across users participating in a document collaboration session |
WO2020153960A1 (en) | 2019-01-24 | 2020-07-30 | Halliburton Energy Services, Inc. | Operating wellbore equipment using data from mediator computing devices |
US10554596B1 (en) * | 2019-03-28 | 2020-02-04 | Wormhole Labs, Inc. | Context linked messaging system |
CN111835685B (zh) * | 2019-04-19 | 2022-10-28 | 厦门网宿有限公司 | 一种监控Nginx网络隔离空间的运行状态的方法和服务器 |
CN111835684B (zh) * | 2019-04-19 | 2023-01-20 | 厦门网宿有限公司 | 一种haproxy设备的网络隔离监控方法及*** |
WO2020252081A1 (en) * | 2019-06-10 | 2020-12-17 | Argos Labs Inc. | Systems and methods for robotic process automation |
CN110365546B (zh) * | 2019-08-22 | 2022-03-22 | 广州大学 | 节点数据流的监控方法、存储介质和计算设备 |
US11027197B2 (en) * | 2019-09-30 | 2021-06-08 | Sony Interactive Entertainment Inc. | Serverless gaming through zero-knowledge proofs |
US11297147B2 (en) * | 2019-11-22 | 2022-04-05 | Amazon Technologies, Inc. | Managed data export to a remote network from edge devices |
US11120702B2 (en) | 2019-12-01 | 2021-09-14 | Salesforce.Com, Inc. | Systems and methods for validating localized assessments in an external system |
SE2030252A1 (en) * | 2020-08-13 | 2022-02-14 | Nagoon AB | Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world |
US11012482B1 (en) * | 2020-08-28 | 2021-05-18 | Tmrw Foundation Ip S. À R.L. | Spatially aware multimedia router system and method |
US12034785B2 (en) | 2020-08-28 | 2024-07-09 | Tmrw Foundation Ip S.Àr.L. | System and method enabling interactions in virtual environments with virtual presence |
US11343136B2 (en) | 2020-10-01 | 2022-05-24 | Bank Of America Corporation | System for real time recovery of resource transfers over a distributed server network |
US11893541B2 (en) * | 2020-10-15 | 2024-02-06 | Prezi, Inc. | Meeting and collaborative canvas with image pointer |
US20220134222A1 (en) * | 2020-11-03 | 2022-05-05 | Nvidia Corporation | Delta propagation in cloud-centric platforms for collaboration and connectivity |
US20220147433A1 (en) * | 2020-11-12 | 2022-05-12 | New Relic, Inc. | Automation solutions for event logging and debugging on kubernetes |
CN112860345B (zh) * | 2021-02-26 | 2024-06-21 | 中国银行股份有限公司 | 插件管理方法及装置 |
CN113515255B (zh) * | 2021-05-17 | 2023-02-07 | 英华达(上海)科技有限公司 | 音频播放控制方法、***、电子设备及存储介质 |
US11743198B1 (en) * | 2021-06-09 | 2023-08-29 | T-Mobile Usa, Inc. | Systems and methods for traffic classification |
CN113590217B (zh) * | 2021-07-26 | 2022-12-02 | 北京百度网讯科技有限公司 | 基于引擎的函数管理方法、装置、电子设备及存储介质 |
US20230222010A1 (en) * | 2022-01-10 | 2023-07-13 | Nvidia Corporation | Application programming interface to indicate execution of graph nodes |
US11871208B2 (en) * | 2022-01-14 | 2024-01-09 | Verizon Patent And Licensing Inc. | Methods and systems for spatial rendering of multi-user voice communication |
US20230310995A1 (en) * | 2022-03-31 | 2023-10-05 | Advanced Micro Devices, Inc. | Detecting personal-space violations in artificial intelligence based non-player characters |
US20230353401A1 (en) * | 2022-04-29 | 2023-11-02 | Zoom Video Communications, Inc. | Providing presence in persistent hybrid virtual collaborative workspaces |
US12034554B2 (en) | 2022-04-29 | 2024-07-09 | Zoom Video Communications, Inc. | Enhanced conference rooms for persistent hybrid virtual collaborative workspaces |
US11995787B2 (en) * | 2022-07-06 | 2024-05-28 | Journee Technologies Gmbh | Systems and methods for the interactive rendering of a virtual environment on a user device with limited computational capacity |
US20240098122A1 (en) * | 2022-09-16 | 2024-03-21 | International Business Machines Corporation | Unplanned remote collaboration |
US20240129595A1 (en) * | 2022-10-12 | 2024-04-18 | Selina Porter | Video Monitoring Assembly |
JP7281012B1 (ja) | 2022-12-26 | 2023-05-24 | グリー株式会社 | プログラム、情報処理方法及び情報処理システム |
US20240232516A1 (en) * | 2023-01-06 | 2024-07-11 | Salesforce, Inc. | Generating Structured Data Containers for Communication Platform |
WO2024151732A1 (en) * | 2023-01-11 | 2024-07-18 | Qualcomm Incorporated | Protecting augmented reality call content |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020178096A1 (en) * | 1992-09-30 | 2002-11-28 | Marshall Paul Steven | Virtual reality generator for use with financial information |
US20060067500A1 (en) * | 2000-05-15 | 2006-03-30 | Christofferson Frank C | Teleconferencing bridge with edgepoint mixing |
CN101001678A (zh) * | 2004-02-17 | 2007-07-18 | 国际商业机器公司 | 基于sip的voip多玩家网络游戏 |
US20080170065A1 (en) * | 2007-01-16 | 2008-07-17 | Motorola, Inc. | Method and Apparatus To Facilitate Multi-Setting Virtual Reality Experiences |
Family Cites Families (231)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU650242B2 (en) * | 1989-11-28 | 1994-06-16 | International Business Machines Corporation | Methods and apparatus for dynamically managing input/output (I/O) connectivity |
JP2852817B2 (ja) | 1991-02-04 | 1999-02-03 | 中小企業事業団 | 加熱炉 |
US5745711A (en) | 1991-10-23 | 1998-04-28 | Hitachi, Ltd. | Display control method and apparatus for an electronic conference |
JP2521016B2 (ja) * | 1991-12-31 | 1996-07-31 | インターナショナル・ビジネス・マシーンズ・コーポレイション | マルチメディア・デ―タ処理システム |
US6594688B2 (en) * | 1993-10-01 | 2003-07-15 | Collaboration Properties, Inc. | Dedicated echo canceler for a workstation |
US5434913A (en) * | 1993-11-24 | 1995-07-18 | Intel Corporation | Audio subsystem for computer-based conferencing system |
US5491743A (en) | 1994-05-24 | 1996-02-13 | International Business Machines Corporation | Virtual conference system and terminal apparatus therefor |
US6343263B1 (en) * | 1994-08-02 | 2002-01-29 | Apple Computer, Inc. | Real-time signal processing system for serially transmitted data |
JP3183496B2 (ja) * | 1995-06-16 | 2001-07-09 | 日本電信電話株式会社 | 仮想空間共有システム |
US5721922A (en) * | 1994-10-13 | 1998-02-24 | Intel Corporation | Embedding a real-time multi-tasking kernel in a non-real-time operating system |
US5903752A (en) * | 1994-10-13 | 1999-05-11 | Intel Corporation | Method and apparatus for embedding a real-time multi-tasking kernel in a non-real-time operating system |
US5619733A (en) * | 1994-11-10 | 1997-04-08 | International Business Machines Corporation | Method and apparatus for synchronizing streaming and non-streaming multimedia devices by controlling the play speed of the non-streaming device in response to a synchronization signal |
US6260057B1 (en) * | 1995-03-01 | 2001-07-10 | Sun Microsystems, Inc. | Apparatus and method for high performance implementation of system calls |
US6466962B2 (en) * | 1995-06-07 | 2002-10-15 | International Business Machines Corporation | System and method for supporting real-time computing within general purpose operating systems |
US5874960A (en) | 1995-07-05 | 1999-02-23 | Microsoft Corporation | Method and system for sharing applications between computer systems |
US6219045B1 (en) * | 1995-11-13 | 2001-04-17 | Worlds, Inc. | Scalable virtual world chat client-server system |
US5880731A (en) | 1995-12-14 | 1999-03-09 | Microsoft Corporation | Use of avatars with automatic gesturing and bounded interaction in on-line chat session |
US5960173A (en) * | 1995-12-22 | 1999-09-28 | Sun Microsystems, Inc. | System and method enabling awareness of others working on similar tasks in a computer work environment |
IL116708A (en) * | 1996-01-08 | 2000-12-06 | Smart Link Ltd | Real-time task manager for a personal computer |
US6405255B1 (en) * | 1996-07-01 | 2002-06-11 | Sun Microsystems, Inc. | Mixing and splitting multiple independent audio data streams in kernel space |
US6335927B1 (en) | 1996-11-18 | 2002-01-01 | Mci Communications Corporation | System and method for providing requested quality of service in a hybrid network |
US7145898B1 (en) | 1996-11-18 | 2006-12-05 | Mci Communications Corporation | System, method and article of manufacture for selecting a gateway of a hybrid communication system architecture |
US5913038A (en) * | 1996-12-13 | 1999-06-15 | Microsoft Corporation | System and method for processing multimedia data streams using filter graphs |
US5995745A (en) * | 1996-12-23 | 1999-11-30 | Yodaiken; Victor J. | Adding real-time support to general purpose operating systems |
US6317774B1 (en) * | 1997-01-09 | 2001-11-13 | Microsoft Corporation | Providing predictable scheduling of programs using a repeating precomputed schedule |
US6006279A (en) * | 1997-01-21 | 1999-12-21 | Canon Information Systems, Inc. | Plug-in module host framework |
US6016515A (en) * | 1997-04-04 | 2000-01-18 | Microsoft Corporation | Method, computer program product, and data structure for validating creation of and routing messages to file object |
US5991836A (en) * | 1997-05-02 | 1999-11-23 | Network Computing Devices, Inc. | System for communicating real time data between client device and server utilizing the client device estimating data consumption amount by the server |
US6904110B2 (en) * | 1997-07-31 | 2005-06-07 | Francois Trans | Channel equalization system and method |
JP3753207B2 (ja) | 1997-08-11 | 2006-03-08 | 富士ゼロックス株式会社 | 共同作業支援システムおよび共同作業支援方法 |
US5991402A (en) * | 1997-09-23 | 1999-11-23 | Aegisoft Corporation | Method and system of dynamic transformation of encrypted material |
GB9721667D0 (en) | 1997-10-14 | 1997-12-10 | Philips Electronics Nv | Virtual environment navigation aid |
US6349344B1 (en) * | 1997-12-16 | 2002-02-19 | Microsoft Corporation | Combining multiple java class files into a run-time image |
US6216173B1 (en) * | 1998-02-03 | 2001-04-10 | Redbox Technologies Limited | Method and apparatus for content processing and routing |
US6148336A (en) * | 1998-03-13 | 2000-11-14 | Deterministic Networks, Inc. | Ordering of multiple plugin applications using extensible layered service provider with network traffic filtering |
US6141686A (en) * | 1998-03-13 | 2000-10-31 | Deterministic Networks, Inc. | Client-side application-classifier gathering network-traffic statistics and application and user names using extensible-service provider plugin for policy-based network control |
US6380952B1 (en) | 1998-04-07 | 2002-04-30 | International Business Machines Corporation | System for continuous display and navigation in a virtual-reality world |
US7065553B1 (en) * | 1998-06-01 | 2006-06-20 | Microsoft Corporation | Presentation system with distributed object oriented multi-user domain and separate view and model objects |
US6243753B1 (en) * | 1998-06-12 | 2001-06-05 | Microsoft Corporation | Method, system, and computer program product for creating a raw data channel form an integrating component to a series of kernel mode filters |
US6604136B1 (en) * | 1998-06-27 | 2003-08-05 | Intel Corporation | Application programming interfaces and methods enabling a host to interface with a network processor |
US5999208A (en) | 1998-07-15 | 1999-12-07 | Lucent Technologies Inc. | System for implementing multiple simultaneous meetings in a virtual reality mixed media meeting room |
US6119147A (en) | 1998-07-28 | 2000-09-12 | Fuji Xerox Co., Ltd. | Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space |
US6731314B1 (en) | 1998-08-17 | 2004-05-04 | Muse Corporation | Network-based three-dimensional multiple-user shared environment apparatus and method |
JP2000076487A (ja) | 1998-09-03 | 2000-03-14 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
US7159222B1 (en) * | 1998-09-09 | 2007-01-02 | Microsoft Corporation | Highly componentized system architecture with object mutation |
US6807667B1 (en) * | 1998-09-21 | 2004-10-19 | Microsoft Corporation | Method and system of an application program interface for abstracting network traffic control components to application programs |
US6470397B1 (en) * | 1998-11-16 | 2002-10-22 | Qlogic Corporation | Systems and methods for network and I/O device drivers |
US6490611B1 (en) * | 1999-01-28 | 2002-12-03 | Mitsubishi Electric Research Laboratories, Inc. | User level scheduling of inter-communicating real-time tasks |
US6862735B1 (en) * | 1999-02-11 | 2005-03-01 | Sun Microsystems, Inc. | Mechanism by which platform independent software may bind to and access platform dependent software |
JP2000244487A (ja) * | 1999-02-18 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 多人数参加型仮想空間コミュニケーションシステム |
US7168048B1 (en) | 1999-03-24 | 2007-01-23 | Microsoft Corporation | Method and structure for implementing a layered object windows |
US6615278B1 (en) * | 1999-03-29 | 2003-09-02 | International Business Machines Corporation | Cross-platform program, system, and method having a global registry object for mapping registry equivalent functions in an OS/2 operating system environment |
US6493324B1 (en) * | 1999-03-29 | 2002-12-10 | Worldcom, Inc. | Multimedia interface for IP telephony |
US7007235B1 (en) | 1999-04-02 | 2006-02-28 | Massachusetts Institute Of Technology | Collaborative agent interaction control and synchronization system |
US6388688B1 (en) | 1999-04-06 | 2002-05-14 | Vergics Corporation | Graph-based visual navigation through spatial environments |
US6779027B1 (en) * | 1999-04-30 | 2004-08-17 | Hewlett-Packard Development Company, L.P. | Intelligent management module application programming interface with utility objects |
US7006616B1 (en) * | 1999-05-21 | 2006-02-28 | Terayon Communication Systems, Inc. | Teleconferencing bridge with EdgePoint mixing |
US6742176B1 (en) * | 1999-06-14 | 2004-05-25 | Lycos, Inc. | Secure flexible plugin software architecture |
US6292188B1 (en) | 1999-07-28 | 2001-09-18 | Alltrue Networks, Inc. | System and method for navigating in a digital information environment |
US6442748B1 (en) * | 1999-08-31 | 2002-08-27 | Accenture Llp | System, method and article of manufacture for a persistent state and persistent object separator in an information services patterns environment |
US7140015B1 (en) * | 1999-09-29 | 2006-11-21 | Network Appliance, Inc. | Microkernel for real time applications |
US20010044904A1 (en) * | 1999-09-29 | 2001-11-22 | Berg Ryan J. | Secure remote kernel communication |
US7581191B2 (en) | 1999-11-15 | 2009-08-25 | Xenogen Corporation | Graphical user interface for 3-D in-vivo imaging |
JP2001154966A (ja) | 1999-11-29 | 2001-06-08 | Sony Corp | コンピュータ・ネットワーク上で構築・提供される共有仮想空間上で複数ユーザが参加可能な仮想会話を支援する会話支援システム及び会話支援方法、並びに、プログラム記憶媒体 |
US7213054B2 (en) * | 1999-12-15 | 2007-05-01 | Microsoft Corporation | Methods and apparatuses for handling single-user applications in multi-user computing environments |
US6708172B1 (en) | 1999-12-22 | 2004-03-16 | Urbanpixel, Inc. | Community-based shared multiple browser environment |
SE517156C2 (sv) * | 1999-12-28 | 2002-04-23 | Global Ip Sound Ab | System för överföring av ljud över paketförmedlade nät |
US7069590B1 (en) * | 2000-02-17 | 2006-06-27 | Microsoft Corporation | System and method for protecting data streams in hardware components |
US7240093B1 (en) | 2000-02-29 | 2007-07-03 | Microsoft Corporation | Use of online messaging to facilitate selection of participants in game play |
US6990669B1 (en) * | 2000-03-21 | 2006-01-24 | Microsoft Corporation | Real-time scheduler |
US6871345B1 (en) * | 2000-04-04 | 2005-03-22 | Motive, Inc. | Self managing software agents with introspection |
US8020176B2 (en) * | 2000-04-06 | 2011-09-13 | Infineon Technologies Ag | Virtual machine interface for hardware reconfigurable and software programmable processors |
JP3345600B2 (ja) | 2000-04-10 | 2002-11-18 | コナミ株式会社 | ゲームシステムおよびコンピュータ読取可能な記憶媒体 |
US6646195B1 (en) * | 2000-04-12 | 2003-11-11 | Microsoft Corporation | Kernel-mode audio processing modules |
US6961631B1 (en) * | 2000-04-12 | 2005-11-01 | Microsoft Corporation | Extensible kernel-mode audio processing architecture |
EP1170673A1 (en) * | 2000-07-05 | 2002-01-09 | Sony International (Europe) GmbH | Portal application |
JP2002063601A (ja) * | 2000-08-15 | 2002-02-28 | Shinji Shimojo | 仮想空間システム |
US6763176B1 (en) * | 2000-09-01 | 2004-07-13 | Matrox Electronic Systems Ltd. | Method and apparatus for real-time video editing using a graphics processor |
US7599753B2 (en) * | 2000-09-23 | 2009-10-06 | Microsoft Corporation | Systems and methods for running priority-based application threads on a realtime component |
US7263550B1 (en) * | 2000-10-10 | 2007-08-28 | Juniper Networks, Inc. | Agent-based event-driven web server architecture |
US7203741B2 (en) | 2000-10-12 | 2007-04-10 | Peerapp Ltd. | Method and system for accelerating receipt of data in a client-to-client network |
JP2002123478A (ja) | 2000-10-17 | 2002-04-26 | Isao:Kk | チャットシステム、チャット情報処理装置、チャット情報処理方法、および、記録媒体 |
US7313593B1 (en) * | 2000-10-24 | 2007-12-25 | International Business Machines Corporation | Method and apparatus for providing full duplex and multipoint IP audio streaming |
US6961942B1 (en) * | 2000-11-06 | 2005-11-01 | Microsoft Corporation | Bluetooth TDI and winsock interface |
US7149314B2 (en) * | 2000-12-04 | 2006-12-12 | Creative Technology Ltd | Reverberation processor based on absorbent all-pass filters |
US20020116458A1 (en) | 2000-12-14 | 2002-08-22 | Jonathan Bricklin | Web-based dating service |
US20020075305A1 (en) | 2000-12-18 | 2002-06-20 | Beaton Brian F. | Graphical user interface for a virtual team environment |
US7925703B2 (en) | 2000-12-26 | 2011-04-12 | Numedeon, Inc. | Graphical interactive interface for immersive online communities |
US7296226B2 (en) * | 2001-02-15 | 2007-11-13 | Accenture Gmbh | XML-based multi-format business services design pattern |
US7107110B2 (en) * | 2001-03-05 | 2006-09-12 | Microsoft Corporation | Audio buffers with audio effects |
US7386356B2 (en) * | 2001-03-05 | 2008-06-10 | Microsoft Corporation | Dynamic audio buffer creation |
US7376475B2 (en) * | 2001-03-05 | 2008-05-20 | Microsoft Corporation | Audio buffer configuration |
US20020165922A1 (en) | 2001-04-13 | 2002-11-07 | Songxiang Wei | Application based screen sampling |
US20020178072A1 (en) | 2001-05-24 | 2002-11-28 | International Business Machines Corporation | Online shopping mall virtual association |
US6996832B2 (en) * | 2001-05-30 | 2006-02-07 | Bea Systems, Inc. | System and method for software component plug-in framework |
US7562306B2 (en) * | 2001-05-31 | 2009-07-14 | International Business Machines Corporation | System and method for reducing memory use associated with the graphical representation of a list control |
US6918093B2 (en) * | 2001-05-31 | 2005-07-12 | International Business Machines Corp. | Inheritance of background color in a containment hierarchy of objects in a graphical user interface |
US7017162B2 (en) * | 2001-07-10 | 2006-03-21 | Microsoft Corporation | Application program interface for network software platform |
US20030043200A1 (en) | 2001-08-09 | 2003-03-06 | Urbanpixel Inc | Interactive multi-level mapping in a multiple browser environment |
JP2003058482A (ja) | 2001-08-14 | 2003-02-28 | Fujitsu Ltd | エリアチャットルーム提供方法,端末側エリアチャット処理方法,エリアチャットルーム提供処理プログラム記録媒体,エリアチャットルーム提供装置 |
US20030065558A1 (en) | 2001-09-12 | 2003-04-03 | Cameron Shaw | Method and apparatus for multi-vendor powered business portal with intelligent service promotion and user profile gathering |
US7254610B1 (en) * | 2001-09-19 | 2007-08-07 | Cisco Technology, Inc. | Delivery of services to a network enabled telephony device based on transfer of selected model view controller objects to reachable network nodes |
US7254814B1 (en) * | 2001-09-28 | 2007-08-07 | Emc Corporation | Methods and apparatus for managing plug-in services |
US20030077561A1 (en) | 2001-10-18 | 2003-04-24 | Abraham Alsop | Web server for printable whiteboards |
US7415502B2 (en) | 2001-11-16 | 2008-08-19 | Sbc Technology Resources, Inc. | Method and system for intelligent routing based on presence detection |
US7673246B2 (en) | 2001-12-12 | 2010-03-02 | Canon Kabushiki Kaisha | Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof |
US6679848B2 (en) | 2002-03-07 | 2004-01-20 | Koninklijke Philips Electronics N.V. | Method for allowing plug-in architecture for digital echocardiography lab image processing applications |
US7418664B2 (en) | 2002-04-03 | 2008-08-26 | Microsoft Corporation | Application sharing single document sharing |
US7483945B2 (en) * | 2002-04-19 | 2009-01-27 | Akamai Technologies, Inc. | Method of, and system for, webcasting with just-in-time resource provisioning, automated telephone signal acquisition and streaming, and fully-automated event archival |
US7036089B2 (en) | 2002-04-23 | 2006-04-25 | Hewlett-Packard Development Company, L.P. | Distribution of application windows in a computing device display |
US7899915B2 (en) | 2002-05-10 | 2011-03-01 | Richard Reisman | Method and apparatus for browsing using multiple coordinated device sets |
US6935959B2 (en) * | 2002-05-16 | 2005-08-30 | Microsoft Corporation | Use of multiple player real-time voice communications on a gaming device |
KR100918782B1 (ko) | 2002-05-17 | 2009-09-23 | 한라공조주식회사 | 열교환기용 핀 |
US7293243B1 (en) | 2002-05-22 | 2007-11-06 | Microsoft Corporation | Application sharing viewer presentation |
US8165959B2 (en) * | 2002-06-24 | 2012-04-24 | Siebel Systems, Inc. | Method and apparatus for pricing calculation |
JP4408635B2 (ja) * | 2002-06-27 | 2010-02-03 | ナヴィゲイション テクノロジーズ コーポレイション | 経路情報と共に位置に基づく広告を提供する方法 |
US7631318B2 (en) * | 2002-06-28 | 2009-12-08 | Microsoft Corporation | Secure server plug-in architecture for digital rights management systems |
US6782424B2 (en) * | 2002-08-23 | 2004-08-24 | Finite State Machine Labs, Inc. | System, method and computer program product for monitoring and controlling network connections from a supervisory operating system |
US7035942B2 (en) | 2002-09-17 | 2006-04-25 | Bellsouth Intellectual Property Corp. | Server-based message protocol translation |
US7434167B2 (en) | 2002-09-30 | 2008-10-07 | Microsoft Corporation | Accessibility system and method |
US6724416B1 (en) | 2002-10-01 | 2004-04-20 | Jianxin Liu | Image transceiving telephone with integrated digital camera |
US20040064210A1 (en) * | 2002-10-01 | 2004-04-01 | Puryear Martin G. | Audio driver componentization |
US20040088704A1 (en) * | 2002-10-30 | 2004-05-06 | Advanced Simulation Technology, Inc. | Method for running real-time tasks alongside a general purpose operating system |
US8176186B2 (en) * | 2002-10-30 | 2012-05-08 | Riverbed Technology, Inc. | Transaction accelerator for client-server communications systems |
US20060100881A1 (en) | 2002-11-13 | 2006-05-11 | Intel Corporation | Multi-modal web interaction over wireless network |
US20040179039A1 (en) | 2003-03-03 | 2004-09-16 | Blattner Patrick D. | Using avatars to communicate |
AU2004241581B2 (en) | 2003-05-16 | 2010-12-16 | Google Llc | Networked chat and media sharing systems and methods |
US20050060137A1 (en) * | 2003-09-12 | 2005-03-17 | Lanus Mark S. | Method and apparatus to emulate an execution environment |
WO2005027383A1 (en) | 2003-09-16 | 2005-03-24 | Research In Motion Limited | Handheld electronic device and associated method providing availability data in a messaging environment |
US7503006B2 (en) | 2003-09-25 | 2009-03-10 | Microsoft Corporation | Visual indication of current voice speaker |
US7813488B2 (en) | 2003-09-29 | 2010-10-12 | Siemens Enterprise Communications, Inc. | System and method for providing information regarding an identity's media availability |
DE60326285D1 (de) | 2003-10-27 | 2009-04-02 | Nokia Corp | Verfahren und einrichtung für weitergeleitete peer-to-peer-kommunikation zwischen endgeräten in mobil-netzwerken |
US7433885B2 (en) | 2003-12-15 | 2008-10-07 | Quantum Matrix Holdings, Llc | System and method for multi-dimensional organization, management, and manipulation of data |
US7707503B2 (en) | 2003-12-22 | 2010-04-27 | Palo Alto Research Center Incorporated | Methods and systems for supporting presentation tools using zoomable user interface |
JP2005196286A (ja) * | 2003-12-26 | 2005-07-21 | Okuma Corp | リアルタイムアプリケーションプログラムを動作可能なオペレーティングシステム及びその制御方法、共有ライブラリをロードする方法 |
US20100005531A1 (en) * | 2004-12-23 | 2010-01-07 | Kenneth Largman | Isolated multiplexed multi-dimensional processing in a virtual processing space having virus, spyware, and hacker protection features |
KR100566263B1 (ko) | 2004-03-26 | 2006-03-29 | 삼성전자주식회사 | 스케쥴 내용에 따라 메신저 상태 정보를 변경하는 메신저서비스 제공 시스템 및 방법 |
JP2005286749A (ja) * | 2004-03-30 | 2005-10-13 | Matsushita Electric Ind Co Ltd | 映像復号化装置およびそれを用いた映像伝送システム |
US20060031779A1 (en) | 2004-04-15 | 2006-02-09 | Citrix Systems, Inc. | Selectively sharing screen data |
JP2005326987A (ja) * | 2004-05-13 | 2005-11-24 | Sony Corp | オーディオ信号伝送システム、オーディオ信号伝送方法、サーバー、ネットワーク端末装置、プログラム及び記録媒体 |
US7945619B1 (en) | 2004-09-20 | 2011-05-17 | Jitendra Chawla | Methods and apparatuses for reporting based on attention of a user during a collaboration session |
US7342587B2 (en) | 2004-10-12 | 2008-03-11 | Imvu, Inc. | Computer-implemented system and method for home page customization and e-commerce support |
WO2006042300A2 (en) * | 2004-10-12 | 2006-04-20 | Mindego, Inc. | System and method for creating, distributing, and executing rich multimedia applications |
US20060168114A1 (en) * | 2004-11-12 | 2006-07-27 | Arnaud Glatron | Audio processing system |
KR20070086037A (ko) | 2004-11-12 | 2007-08-27 | 목3, 인크. | 장면 간 전환 방법 |
EP1872242A4 (en) * | 2005-04-19 | 2009-10-21 | Fairlight Au Pty Ltd | SYSTEM AND METHOD FOR PROCESSING MEDIA |
US20070064851A1 (en) * | 2005-09-02 | 2007-03-22 | Sbc Knowledge Ventures Lp | Method for synchronizing a customer edge router or customer premise equipment associated therewith |
US20060244818A1 (en) * | 2005-04-28 | 2006-11-02 | Comotiv Systems, Inc. | Web-based conferencing system |
US7506264B2 (en) | 2005-04-28 | 2009-03-17 | International Business Machines Corporation | Method and apparatus for presenting navigable data center information in virtual reality using leading edge rendering engines |
JP2006012127A (ja) * | 2005-05-16 | 2006-01-12 | Sony Corp | コンテンツ配信システム及びコンテンツ配信方法、並びに端末装置 |
US8606950B2 (en) * | 2005-06-08 | 2013-12-10 | Logitech Europe S.A. | System and method for transparently processing multimedia data |
KR100686382B1 (ko) | 2005-07-08 | 2007-02-22 | 엔에이치엔(주) | 싱크 서버를 이용한 메신저 알림 시스템 및 방법 |
US7734692B1 (en) | 2005-07-22 | 2010-06-08 | Oracle America, Inc. | Network collaboration system with private voice chat |
ATE550756T1 (de) * | 2005-08-04 | 2012-04-15 | Nuance Communications Inc | Sprachdialogsystem |
AU2006280934B2 (en) * | 2005-08-19 | 2012-06-28 | Google Llc | Software architecture for displaying information content from plug-in modules in a user interface |
JP2007072739A (ja) * | 2005-09-07 | 2007-03-22 | Hitachi Communication Technologies Ltd | 多地点会議システム、多地点会議装置およびクライアント端末 |
US20080214204A1 (en) | 2005-11-01 | 2008-09-04 | Jorey Ramer | Similarity based location mapping of mobile comm facility users |
US8429630B2 (en) * | 2005-09-15 | 2013-04-23 | Ca, Inc. | Globally distributed utility computing cloud |
US9454735B2 (en) | 2005-09-26 | 2016-09-27 | Nokia Corporation | Integrating data with a contact |
US7509654B2 (en) * | 2005-09-29 | 2009-03-24 | Avaya Inc. | Data-driven and plug-in defined event engine |
US8498629B2 (en) * | 2005-10-18 | 2013-07-30 | Harris Corporation | Extensible human machine interface (HMI) plugin architecture for radio software system and related method |
US20070098238A1 (en) | 2005-10-31 | 2007-05-03 | Pere Obrador | Imaging methods, imaging systems, and articles of manufacture |
US20070127668A1 (en) * | 2005-12-02 | 2007-06-07 | Ahya Deepak P | Method and system for performing a conference call |
US7489772B2 (en) | 2005-12-30 | 2009-02-10 | Nokia Corporation | Network entity, method and computer program product for effectuating a conference session |
JP4643454B2 (ja) | 2006-01-10 | 2011-03-02 | 株式会社東芝 | 動画像復号装置及び動画像復号方法 |
US8185437B2 (en) | 2007-07-12 | 2012-05-22 | Utbk, Inc. | Systems and methods to provide communication connections via partners |
US20070184855A1 (en) | 2006-02-03 | 2007-08-09 | Research In Motion Limited | Visual representation of contact location |
US20070192427A1 (en) | 2006-02-16 | 2007-08-16 | Viktors Berstis | Ease of use feature for audio communications within chat conferences |
US20070240134A1 (en) * | 2006-02-28 | 2007-10-11 | Joydeep Buragohain | Software packaging model supporting multiple entity types |
JP4617268B2 (ja) * | 2006-03-14 | 2011-01-19 | キヤノン株式会社 | 記憶装置および記憶装置の処理方法 |
US20070286366A1 (en) | 2006-03-17 | 2007-12-13 | Scott Deboy | Chat presence system |
US20070250540A1 (en) | 2006-04-20 | 2007-10-25 | Hsu Mike S C | A Computer System with File Attribute Extension |
US8199761B2 (en) * | 2006-04-20 | 2012-06-12 | Nokia Corporation | Communications multiplexing with packet-communication networks |
US20080052373A1 (en) | 2006-05-01 | 2008-02-28 | Sms.Ac | Systems and methods for a community-based user interface |
ATE527810T1 (de) * | 2006-05-11 | 2011-10-15 | Global Ip Solutions Gips Ab | Tonmischung |
US20070280206A1 (en) * | 2006-05-31 | 2007-12-06 | Samsung Electronics Co., Ltd. | Method for consuming heterogeneous services on heterogeneous devices using script plugins |
US7643459B2 (en) | 2006-06-16 | 2010-01-05 | Alcatel-Lucent Usa Inc. | Methods, devices and architectures for establishing peer-to-peer sessions |
US20070291034A1 (en) | 2006-06-20 | 2007-12-20 | Dones Nelson C | System for presenting a navigable virtual subway system, and method for operating and using the same |
US20070299778A1 (en) | 2006-06-22 | 2007-12-27 | Microsoft Corporation | Local peer-to-peer digital content distribution |
US20080005721A1 (en) * | 2006-06-29 | 2008-01-03 | Augusta Systems, Inc. | Method and System for Rapidly Developing Sensor-Enabled Software Applications |
US7469641B2 (en) * | 2006-07-19 | 2008-12-30 | Asf-Keystone, Inc. | Bolster and spring pockets for use with rail truck |
US8869027B2 (en) | 2006-08-04 | 2014-10-21 | Apple Inc. | Management and generation of dashboards |
US20080033941A1 (en) | 2006-08-07 | 2008-02-07 | Dale Parrish | Verfied network identity with authenticated biographical information |
US7991401B2 (en) | 2006-08-08 | 2011-08-02 | Samsung Electronics Co., Ltd. | Apparatus, a method, and a system for animating a virtual scene |
US8817668B2 (en) | 2006-09-15 | 2014-08-26 | Microsoft Corporation | Distributable, scalable, pluggable conferencing architecture |
US20080085502A1 (en) * | 2006-10-04 | 2008-04-10 | Ecollege.Com | Web service api for student information and course management systems |
WO2008067075A2 (en) | 2006-10-20 | 2008-06-05 | Citrix Systems, Inc. | Systems and methods for responding to the occurrence of an event |
CN101170572A (zh) | 2006-10-23 | 2008-04-30 | 日电(中国)有限公司 | 基于p2p sip技术实现的多媒体网络通信*** |
WO2008064483A1 (en) | 2006-11-30 | 2008-06-05 | James Andrew Wanless | A method and system for providing automated real-time contact information |
US8706169B2 (en) | 2006-12-28 | 2014-04-22 | Yahoo! Inc. | Interface overlay |
WO2008085203A2 (en) | 2006-12-29 | 2008-07-17 | Prodea Systems, Inc. | Presence status notification from digital endpoint devices through a multi-services gateway device at the user premises |
US8554868B2 (en) | 2007-01-05 | 2013-10-08 | Yahoo! Inc. | Simultaneous sharing communication interface |
US20080209075A1 (en) | 2007-02-22 | 2008-08-28 | Yahoo! Inc. | Synchronous delivery of media content and real-time communication for online dating |
US20080215975A1 (en) | 2007-03-01 | 2008-09-04 | Phil Harrison | Virtual world user opinion & response monitoring |
US20080263460A1 (en) | 2007-04-20 | 2008-10-23 | Utbk, Inc. | Methods and Systems to Connect People for Virtual Meeting in Virtual Reality |
US8601386B2 (en) | 2007-04-20 | 2013-12-03 | Ingenio Llc | Methods and systems to facilitate real time communications in virtual reality |
ATE550854T1 (de) | 2007-08-09 | 2012-04-15 | Markport Ltd | Verwaltung von netzwerkressourcen |
CN101110780A (zh) * | 2007-08-24 | 2008-01-23 | 张建中 | 一种传输控制数据流的方法和装置以及*** |
US8245241B2 (en) | 2007-10-02 | 2012-08-14 | International Business Machines Corporation | Arrangements for interactivity between a virtual universe and the world wide web |
US7844724B2 (en) | 2007-10-24 | 2010-11-30 | Social Communications Company | Automated real-time data stream switching in a shared virtual area communication environment |
US8397168B2 (en) | 2008-04-05 | 2013-03-12 | Social Communications Company | Interfacing with a spatial virtual communication environment |
US9357025B2 (en) | 2007-10-24 | 2016-05-31 | Social Communications Company | Virtual area based telephony communications |
US8407605B2 (en) | 2009-04-03 | 2013-03-26 | Social Communications Company | Application sharing |
US7769806B2 (en) | 2007-10-24 | 2010-08-03 | Social Communications Company | Automated real-time data stream switching in a shared virtual area communication environment |
US8095680B2 (en) * | 2007-12-20 | 2012-01-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Real-time network transport protocol interface method and apparatus |
CN101499080A (zh) | 2008-02-01 | 2009-08-05 | 网秦无限(北京)科技有限公司 | 在移动终端上快捷获取信息服务的方法和*** |
US20090222742A1 (en) | 2008-03-03 | 2009-09-03 | Cisco Technology, Inc. | Context sensitive collaboration environment |
KR101467767B1 (ko) | 2008-03-31 | 2014-12-03 | 엘지전자 주식회사 | 단말기 및 이것의 인스턴트 메시징 서비스 수행 방법 |
US8531447B2 (en) | 2008-04-03 | 2013-09-10 | Cisco Technology, Inc. | Reactive virtual environment |
US8312380B2 (en) | 2008-04-04 | 2012-11-13 | Yahoo! Inc. | Local map chat |
US20120246582A1 (en) | 2008-04-05 | 2012-09-27 | Social Communications Company | Interfacing with a spatial virtual communications environment |
JP5368547B2 (ja) | 2008-04-05 | 2013-12-18 | ソーシャル・コミュニケーションズ・カンパニー | 共有仮想エリアコミュニケーション環境ベースの装置および方法 |
US8042051B2 (en) | 2008-05-30 | 2011-10-18 | International Business Machines Corporation | Apparatus for navigation and interaction in a virtual meeting place |
US20100058202A1 (en) | 2008-08-28 | 2010-03-04 | Mohamed Rostom | Method system and program product for providing enabling an interactive and social search engine |
US7962627B2 (en) | 2008-12-04 | 2011-06-14 | Microsoft Corporation | Peer-to-peer network address translator (NAT) traversal techniques |
EP2377089A2 (en) | 2008-12-05 | 2011-10-19 | Social Communications Company | Managing interactions in a network communications environment |
KR20130010910A (ko) | 2008-12-05 | 2013-01-29 | 소우셜 커뮤니케이션즈 컴퍼니 | 실시간 커널 |
US9065874B2 (en) | 2009-01-15 | 2015-06-23 | Social Communications Company | Persistent network resource and virtual area associations for realtime collaboration |
US8396960B2 (en) | 2009-05-08 | 2013-03-12 | Canon Kabushiki Kaisha | Efficient network utilization using multiple physical interfaces |
WO2010143286A1 (ja) | 2009-06-10 | 2010-12-16 | パイオニア株式会社 | 通信端末、アドレス解決サーバ、及びコンピュータプログラム |
US7921150B1 (en) | 2009-10-23 | 2011-04-05 | Eastman Kodak Company | Method for viewing videos on distributed networks |
US8924261B2 (en) | 2009-10-30 | 2014-12-30 | Etsy, Inc. | Method for performing interactive online shopping |
US20110169927A1 (en) | 2010-01-13 | 2011-07-14 | Coco Studios | Content Presentation in a Three Dimensional Environment |
WO2012024205A2 (en) | 2010-08-16 | 2012-02-23 | Social Communications Company | Promoting communicant interactions in a network communications environment |
EP2614482A4 (en) | 2010-09-11 | 2014-05-14 | Social Communications Co | RELATIONSHIP-BASED PRESENCE DISPLAY IN VIRTUAL AREA CONTEXTS |
US8863256B1 (en) | 2011-01-14 | 2014-10-14 | Cisco Technology, Inc. | System and method for enabling secure transactions using flexible identity management in a vehicular environment |
US9270784B2 (en) | 2011-02-16 | 2016-02-23 | Masque Publishing, Inc. | Peer-to-peer communications |
WO2012135231A2 (en) | 2011-04-01 | 2012-10-04 | Social Communications Company | Creating virtual areas for realtime communications |
US8837483B2 (en) | 2011-04-11 | 2014-09-16 | Alcatel Lucent | Mapping private and public addresses |
US8612279B2 (en) | 2011-06-27 | 2013-12-17 | Cisco Technology, Inc. | Ad hoc generation of work item entity for geospatial entity based on symbol manipulation language-based workflow item |
WO2013039748A2 (en) | 2011-09-16 | 2013-03-21 | Social Communications Company | Capabilities based management of virtual areas |
-
2009
- 2009-12-04 KR KR1020127031897A patent/KR20130010910A/ko not_active Application Discontinuation
- 2009-12-04 JP JP2011539734A patent/JP5721634B2/ja not_active Expired - Fee Related
- 2009-12-04 US US12/630,973 patent/US8578000B2/en active Active
- 2009-12-04 WO PCT/US2009/066764 patent/WO2010065848A2/en active Application Filing
- 2009-12-04 KR KR1020117015551A patent/KR101490548B1/ko not_active IP Right Cessation
- 2009-12-04 EP EP09831186A patent/EP2377031A4/en not_active Withdrawn
- 2009-12-04 CN CN201610521839.9A patent/CN106131178A/zh active Pending
- 2009-12-04 CN CN200980150169.2A patent/CN102362269B/zh not_active Expired - Fee Related
- 2009-12-04 KR KR1020127031898A patent/KR20130010911A/ko not_active Application Discontinuation
-
2011
- 2011-05-19 IL IL213038A patent/IL213038A0/en unknown
-
2012
- 2012-11-30 JP JP2012262550A patent/JP2013084283A/ja active Pending
- 2012-11-30 JP JP2012262551A patent/JP2013065341A/ja active Pending
-
2013
- 2013-10-03 US US14/045,562 patent/US9055131B2/en active Active
-
2015
- 2015-05-27 US US14/722,156 patent/US10158689B2/en active Active
-
2018
- 2018-12-14 US US16/221,334 patent/US10972523B2/en active Active
-
2021
- 2021-03-01 US US17/188,831 patent/US11882165B2/en active Active
-
2023
- 2023-12-07 US US18/533,134 patent/US20240114064A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020178096A1 (en) * | 1992-09-30 | 2002-11-28 | Marshall Paul Steven | Virtual reality generator for use with financial information |
US20060067500A1 (en) * | 2000-05-15 | 2006-03-30 | Christofferson Frank C | Teleconferencing bridge with edgepoint mixing |
CN101001678A (zh) * | 2004-02-17 | 2007-07-18 | 国际商业机器公司 | 基于sip的voip多玩家网络游戏 |
US20080170065A1 (en) * | 2007-01-16 | 2008-07-17 | Motorola, Inc. | Method and Apparatus To Facilitate Multi-Setting Virtual Reality Experiences |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9276972B2 (en) | 2010-12-14 | 2016-03-01 | Microsoft Technology Licensing, Llc | Real-time media optimization over remoted sessions |
JP2014507697A (ja) * | 2010-12-14 | 2014-03-27 | マイクロソフト コーポレーション | リモート・セッションにおけるリアルタイム・メディア最適化 |
US9699225B2 (en) | 2010-12-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Real-time media optimization over remoted sessions |
CN105373221A (zh) * | 2014-08-11 | 2016-03-02 | 英派尔科技开发有限公司 | 增强现实信息管理 |
CN105373221B (zh) * | 2014-08-11 | 2018-07-24 | 英派尔科技开发有限公司 | 增强现实信息管理 |
CN104144221A (zh) * | 2014-08-19 | 2014-11-12 | 湖北盛天网络技术股份有限公司 | 文件访问方法及装置 |
CN104144221B (zh) * | 2014-08-19 | 2017-07-14 | 湖北盛天网络技术股份有限公司 | 文件访问方法及装置 |
CN107430430A (zh) * | 2014-12-22 | 2017-12-01 | 英特尔公司 | 多触摸虚拟鼠标 |
CN106034370A (zh) * | 2015-03-20 | 2016-10-19 | 立锜科技股份有限公司 | 用于驱动led数组的驱动电路 |
CN106034370B (zh) * | 2015-03-20 | 2018-06-26 | 立锜科技股份有限公司 | 用于驱动led数组的驱动电路 |
US11290879B2 (en) | 2015-07-02 | 2022-03-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Method for obtaining initial access to a network, and related wireless devices and network nodes |
CN108028829A (zh) * | 2015-07-02 | 2018-05-11 | 瑞典爱立信有限公司 | 用于获得对网络的初始接入的方法以及相关的无线设备和网络节点 |
CN106708634A (zh) * | 2016-12-09 | 2017-05-24 | 福建省天奕网络科技有限公司 | Vr应用设备与厂家设备的通讯方法及其*** |
CN106708634B (zh) * | 2016-12-09 | 2020-08-25 | 福建省天奕网络科技有限公司 | Vr应用设备与厂家设备的通讯方法及其*** |
CN108806675A (zh) * | 2017-04-27 | 2018-11-13 | 丰田自动车株式会社 | 语音输入输出装置、无线连接方法、语音对话*** |
CN109739728A (zh) * | 2019-01-08 | 2019-05-10 | 益模(东莞)智能科技有限公司 | 一种mes***性能和日志数据监控方法 |
CN109739728B (zh) * | 2019-01-08 | 2023-06-13 | 武汉益模科技股份有限公司 | 一种mes***性能和日志数据监控方法 |
CN110475272A (zh) * | 2019-07-31 | 2019-11-19 | 苏州星际靶战网络信息技术有限公司 | 一种虚拟化网络设备库信息传输方法及*** |
CN113082710A (zh) * | 2021-04-23 | 2021-07-09 | 杭州雾联科技有限公司 | 一种音频播放方法、装置、电子设备及存储介质 |
CN113082710B (zh) * | 2021-04-23 | 2024-05-28 | 杭州雾联科技有限公司 | 一种音频播放方法、装置、电子设备及存储介质 |
WO2024114534A1 (zh) * | 2022-11-30 | 2024-06-06 | 京东方科技集团股份有限公司 | 数据、视频处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US10158689B2 (en) | 2018-12-18 |
KR20130010910A (ko) | 2013-01-29 |
US20100146085A1 (en) | 2010-06-10 |
US10972523B2 (en) | 2021-04-06 |
JP5721634B2 (ja) | 2015-05-20 |
US11882165B2 (en) | 2024-01-23 |
US20150281348A1 (en) | 2015-10-01 |
JP2013084283A (ja) | 2013-05-09 |
US20140136726A1 (en) | 2014-05-15 |
WO2010065848A3 (en) | 2010-09-16 |
JP2012511213A (ja) | 2012-05-17 |
KR101490548B1 (ko) | 2015-02-05 |
WO2010065848A2 (en) | 2010-06-10 |
KR20130010911A (ko) | 2013-01-29 |
CN102362269B (zh) | 2016-08-17 |
EP2377031A2 (en) | 2011-10-19 |
KR20110106870A (ko) | 2011-09-29 |
EP2377031A4 (en) | 2012-11-21 |
JP2013065341A (ja) | 2013-04-11 |
US20240114064A1 (en) | 2024-04-04 |
US8578000B2 (en) | 2013-11-05 |
US9055131B2 (en) | 2015-06-09 |
CN106131178A (zh) | 2016-11-16 |
US20190132373A1 (en) | 2019-05-02 |
WO2010065848A9 (en) | 2010-11-04 |
IL213038A0 (en) | 2011-07-31 |
US20210185105A1 (en) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102362269A (zh) | 实时内核 | |
US11785056B2 (en) | Web browser interface for spatial communication environments | |
US20210349604A1 (en) | Shared Virtual Area Communication Environment Based Apparatus and Methods | |
US9813463B2 (en) | Phoning into virtual communication environments | |
US8280948B1 (en) | System and method for enabling online collaboration amongst a plurality of terminals using a web server | |
CN108512814B (zh) | 媒体数据处理方法、装置和*** | |
CN102823196A (zh) | 管理网络节点之间的网络通信以及流传输协议 | |
CN111651418B (zh) | 一种文档内容下载方法、装置、计算机设备和存储介质 | |
Capra | Reflective mobile middleware for context-aware applications | |
CN109948082A (zh) | 直播信息处理方法及装置、电子设备、存储介质 | |
WO2023142601A1 (zh) | 一种基于区块链的数据处理方法、设备以及可读存储介质 | |
US20230339816A1 (en) | Visual Communications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1165582 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160817 Termination date: 20161204 |
|
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1165582 Country of ref document: HK |