CN102132578A

CN102132578A - 在管理网络上把电视广播和在非管理网络上把交互式内容提供给客户端设备

Info

Publication number: CN102132578A
Application number: CN2009801331314A
Authority: CN
Inventors: 莱娜·Y·帕夫洛夫斯卡娅; 安德烈亚斯·伦纳特松; 查尔斯·劳伦斯; 约书亚·达尔比; 安德烈·马尔沙文; 格里高利·E·布朗; 杰里米·埃德蒙德斯; 李学民; 弗拉迪·沙姆金
Original assignee: ACTIVE VIDEO NETWORKS Inc
Current assignee: ACTIVE VIDEO NETWORKS Inc
Priority date: 2008-06-25
Filing date: 2009-06-22
Publication date: 2011-07-20
Also published as: WO2010044926A2; JP2016001911A; BRPI0914564A2; EP2304953A2; KR20110030640A; CA2728797A1; WO2010044926A3; US20090328109A1; JP5795404B2; JP2011526134A; JP2014168296A; EP2304953A4

Abstract

客户端设备在客户端设备处通过管理网络接收包含交互式标识符的广播内容信号。交互式标识符可以是在头部中包括的或者在数字视频数据内嵌入的触发器。触发器可以具有时间分量，其中所述触发器可以在某个时间段之后期满。响应于触发器的标识，客户端设备通过非管理网络发送对交互式内容的用户请求。例如，管理网络可以是单向***网络、IP电视网络或有线电视网络，并且非管理网络可以是因特网。客户端设备在从管理网络接收数据和从非管理网络接收数据之间进行切换。

Description

在管理网络上把电视广播和在非管理网络上把交互式内容提供给客户端设备

优先权

本国际专利申请要求于2008年6月25日提交的题为“Providing Television Broadcasts over a Managed Network and Interactive Content over an Unmanaged Network to a Client Device”的美国临时专利申请No.61/133,102的优先权，通过引用的方式将其整体合并于此。

技术领域

本发明涉及用于向远程设备提供交互式内容的***和方法，并且更具体地涉及采用管理和非管理网络的***和方法。

背景技术

在有线电视***中，有线电视***头端(cable head-end)向一个或多个订户传送内容，其中所述内容采用编码形式来传送。通常，所述内容被编码为数字MPEG视频并且每个订户具有机顶盒或有线卡，其能够解码MPEG视频流。除提供线性内容之外，有线提供商现在可以提供交互式内容，诸如网页或“围墙花园(walled-garden)”内容。随着因特网变得更加动态化，在网页上包括视频内容并且要求用于解码所述视频内容的应用或脚本，有线提供商适合于使订户具有观看这些动态网页的能力。为了采用编码形式向请求订户传送动态网页，电缆顶端器检索所请求的网页并且渲染所述网页。因此，电缆顶端器必须首先解码在动态网页内出现的任何编码内容。例如，如果在网页上播放视频，则顶端器必须检索编码的视频并且解码所述视频的每个帧。然后，电缆顶端器渲染每个帧以形成因特网网页的位图图像序列。因此，如果首先解码形成网页的所有内容，则只能够把网页合成在一起。一旦合成帧是完整的，合成视频就被发送到诸如MPEG编码器之类的编码器以便重新编码。然后，在MPEG视频流中向用户的机顶盒发送已压缩的MPEG视频帧。

在有线电视网络中创建此类合成的编码视频帧要求大量的CPU和存储器处理，这是由于所有编码的内容必须首先被解码、然后被合成、渲染和重新编码。特别地，有线电视顶端器必须实时解码并重新编码所有内容。因此，由于所要求的处理，所以允许用户在交互式环境中操作动态网页对有线电视运营商者来说代价相当大。另外，此类***的其他缺点在于由于编码视频被重新编码而造成图像质量降级。

******的问题在于它们仅限于单向传输。因此，***提供商无法提供“点播(on-demand)”或交互式服务。结果，***网络仅限于向它们的订户提供管理网络并且无法提供用户所请求的对交互式信息的访问。其它通信***无法向例如具有单向有线卡或不支持双向通信的有线***的有线订户提供交互式内容。

发明内容

在本发明的第一实施例中，在非管理网络上将交互式内容提供给用户的显示设备。客户端设备在客户端设备处的管理网络上接收包含交互式标识符的广播内容信号。交互式标识符可以是在头部中包括的或者在数字视频数据内嵌入的触发器(trigger)。所述触发器可以具有取决于触发器在数据流内的时间位置的时间分量或者指定的帧或时间以便激活。另外，触发器可以具有期满时间，其中触发器可能在某个时段之后期满。响应于触发器的标识，客户端设备通过非管理网络发送对交互式内容的请求。例如，管理网络可以是单向***网络、IP电视网络或广播有线电视网络，并且非管理网络可以是因特网。客户端设备在从管理网络接收数据和从非管理网络接收数据之间进行切换。向与用户的客户端设备相关联的显示设备提供在非管理网络上接收到的交互式内容。广播内容信号可以包含多个广播节目并且客户端设备有选择地向相关联的显示设备输出所述广播节目之一。交互式内容可以来源于一个或多个源。例如，交互式内容可以由在处理局发起的模板以及来自远程服务器的视频内容组成。处理局可以采集交互式内容，将交互式内容缝合(stitch)在一起，将所述交互式内容编码为可被客户端设备解码的格式并且在非管理网络上将所述交互式内容传送到所述客户端设备。

在某些实施例中，管理和非管理网络可以在单个通信链路上操作。例如，非管理网络可以是在电缆或DSL链路上使用IP协议的因特网，并且管理网络可以是广播电视节目的IP协议电视网。在本发明的实施例中，客户端设备包括用于非管理和管理网络两者的端口，并且包括用于当出现诸如存在触发器之类的事件时使交换机在两个网络之间切换的处理器。客户端设备还包括一个或多个解码器。每个解码器可以对来自不同网络的数据进行操作。客户端设备还可以包括用于接收来自用户输入设备的指令的红外端口。

在一些实施例中，触发器可能不是在广播内容信号内发起。相反，触发器可以作为用户与输入设备交互作用的结果而发起，所述输入设备与客户端设备通信并且使所述客户端设备在网络之间切换。例如，用户可以观看卫星广播，所述卫星广播通过客户端设备被呈现给用户的电视。当接收到对由于用户按压遥控设备上的按钮导致的对交互式会话的请求时，客户端设备在呈现卫星广播以及在非管理网络上提供内容之间进行切换。客户端设备将请求与处理局的交互式会话并且将通过所述处理局来提供交互式内容。客户端设备将接收来自处理局的传输并且将解码交互式内容并将其呈现给用户的电视。

在另一实施例中，诸如QAM调谐器之类的调谐器在被耦合到电视的独立盒中或作为电视的一部分来提供。QAM调谐器接收广播有线内容。被耦合到电视的是IP设备，该IP设备使用IP(因特网协议)通信提供到因特网的连接。IP设备可以在电视外部或内部。广播内容包含触发器，该触发用于使电视内的处理器将信号引导到IP设备，所述IP设备在IP连接山将对交互式会话的请求转发到处理局。处理局指配处理器，所述处理器然后检索交互式内容并将其缝合在一起并且将所述交互式内容提供到IP设备。然后，IP设备将交互式内容提供给电视。电视可以包括解码器，或者IP设备可以包括解码器。

附图说明

通过参考附图以及以下详细描述，本发明的上述特征将更加容易被理解，在附图中：

图1是示出用于实现本发明一个版本的通信环境的框图；

图1A示出了区域处理局和视频内容分发网络；

图1B是采样合成流呈现和交互布局文件；

图1C示出了在创作环境内帧的构造；

图1D示出了按照宏块将帧分解为元素；

图2是示出被合成到显示器上的多个源的视图；

图3是合并修整的***的视图；

图4是示出在修整之前、在修整之后以及在修整部分中具有视频覆盖的视频帧的视图；

图5是示出怎样完成修整的视图，例如去除B帧；

图6是示出MPEG帧结构的视图；

图7是示出I帧、B帧和P帧的修整过程的流程图；

图8是描述去除区域边界运动向量的视图；

图9是示出重新排序DCT系数的视图；

图10示出了替代修整器；

图11是视频帧的例子；

图12是示出在相互彼此随机的位置开始的视频帧的视图；

图13是具有在图片内合成的多个MPEG元素的显示器的视图；

图14是示出由多个元素组成的图片的片段分解的视图；

图15是示出为缝合准备的基于片段的编码的视图；

图16是详细描述将视频元素合成为图片的视图；

图17是详细描述将16x16大小的宏块元素合成为由24x24大小的宏块组成的背景的视图；

图18是示出在编码和构建合成图片中涉及的步骤的流程图；

图19是提供修整的简单例子的视图；

图20是示出合成的元素既不需要是矩形也不需要连续的视图；

图21示出了其中单个元素是不连续的屏幕上的元素的视图；

图22示出了用于修整线性广播内容以便多播到多个处理局和/或会话处理器的修整器；

图23示出了定制的马赛克当在显示设备上显示时的例子；

图24是用于提供交互式MPEG内容的基于IP的网络的视图；

图25是用于提供交互式MPEG内容的基于有线的网络的视图；

图26是供基于有线的网络使用的负载平衡器的资源分配过程的流程图；

图27是用于示出在用于负载平衡的有线网络元素之间通信的***图；

图28示出了可以通过非管理IP网络向订户提供交互式内容的管理广播内容卫星网络；以及

图29示出了其中客户端设备通过管理网络接收广播内容并且交互式内容可以被请求并且通过非管理网络被提供的另一环境。

具体实施方式

如在以下详细描述以及权利要求中所使用，术语“区域(region)”意指连续或不连续的MPEG(活动图片专家组)片段的逻辑组。当使用术语MPEG时，它指的是MPEG标准的所有变体，包括MPEG-2和MPEG-4。如在下面实施例中描述的本发明提供了用于交互式MPEG内容的环境以及在处理局(processing office)和具有相关联显示器(诸如电视)的客户端设备之间的通信。尽管本发明特别参考了MPEG规范和编码，但是可以利用根据基于块变换的其它编码技术来采用本发明的原理。如在以下说明书和权利要求中使用的，术语编码、已编码和正编码应当指的是压缩数字数据信号并且将已压缩的数字数据信号格式化为协议或标准的过程。已编码的视频数据可以处于除空间表示之外的任何状态。例如，已编码的视频数据可以被变换编码、量化和熵编码或其任何组合。因此，已经变换编码的数据将被认为是已编码的。

尽管本申请所指显示设备是电视机，但是显示设备可以是蜂窝电话、个人数字助理(PDA)或包括显示器的其它设备。包括诸如可以解码MPEG内容的机顶盒的解码设备的客户端设备与用户的显示设备相关联。在某些实施例中，解码器可以是显示设备的一部分。在允许应用设计者设计交互式MPEG内容的创作环境(authoring environment)中创建交互式MPEG内容，所述交互式MPEG内容根据包括来自内容提供商和线性广播者的视频内容的各个元素来创建具有一个或多个场景的应用。采用活动视频标记语言(Active Video Markup Language，AVML)来形成应用文件。由创作环境产生的AVML文件是基于XML的文件，用于定义在单个帧/页面内的视频图形元素(即MPEG片段)、视频图形元素的大小、在每个场景的页面/帧内的视频图形元素的布局、到视频图形元素的链接以及场景的任何脚本。在某些实施例中，不是在文本编辑器中创作或者由创作环境生成，而是可以直接创作AVML文件。视频图形元素可以是静态图形、动态图形或视频内容。应当认识到，在场景内的每个元素实际上是图像序列，并且静态图形是重复显示并且不会随时间改变的图像。每个元素可以是MPEG对象，其可以包括用于图形以及与所述图形相关联的操作的MPEG数据。交互式MPEG内容可以包括场景内的多个交互式MPEG对象，其中用户可以与之相交互。例如，所述场景可以包括用于提供形成对象的视频图形的已编码MPEG数据的按钮MPEG对象，并且还包括用于跟踪所述按钮状态的过程。MPEG对象可以与脚本配合地工作。例如，MPEG按钮对象可以跟踪其状态(开/关)，但是场景内的脚本将确定当该按钮被按压时会发生什么。脚本可以使按钮状态与视频节目相关联，使得所述按钮将指示是播放还是停止视频内容。MPEG对象始终具有相关联的动作作为该对象的一部分。在某些实施例中，诸如按钮MPEG对象之类的MPEG对象可以执行除掌握按钮状态之外的动作。在此类实施例中，MPEG对象还可以包括对外部程序的调用，其中当按钮图形被接合时所述MPEG对象将访问所述程序。因此，对于播放/暂停MPEG对象按钮来说，MPEG对象可以包括用于掌握按钮状态、根据状态变化提供图形覆盖和/或取决于按钮状态来使视频播放器对象播放或暂停视频内容的代码。

一旦在创作环境内创建了应用，并且由请求客户端设备请求了交互式会话，则处理局就为所述交互式会话分配处理器。

在处理局操作的指配的处理器运行虚拟机并且访问和运行所请求的应用。处理器准备场景的图形部分以便采用MPEG格式传输。当客户端设备收到MPEG传输并且在用户显示器上显示时，用户可以通过使用与所述客户端设备通信的输入设备来与所显示的内容相交互。客户端设备通过通信网络向在处理局或其它远程位置处所指配的处理器上运行的应用发送来自用户的输入请求。作为响应，所指配的处理器基于所述请求和MPEG对象的状态来更新图形布局，所述MPEG对象的状态在下文中全部被称为应用状态。新的元素可以被添加到场景或者在所述场景内替换，或者可以创建全新的场景。所指配的处理器收集所述场景的元素和对象，并且所指配的处理器或另一处理器根据所述对象(多个)处理数据和操作并且产生MPEG格式的修正的图形表示，所述图形表示被传送到收发器以便在用户的电视上显示。尽管以上段落表明所指配的处理器位于处理局，但是所指配的处理器也可以位于远程位置并且只需要通过网络连接来与所述处理局通信。类似地，尽管所指配的处理器被描述为处理与客户端设备的所有事务，但是其它处理器也可以涉及应用的图形布局的内容(MPEG对象)的请求和装配。

图1是示出用于实现本发明的一个版本的通信环境100的框图。通信环境100允许应用程序员创建与最终用户进行双向交互的应用。最终用户在诸如电视之类的客户端设备110上观看应用，并且可以通过上游网络120向上游发送命令来与内容相交互，其中上游和下游可以是相同网络的一部分或者是用于提供到处理局的返回路径链路的独立网络。应用程序员创建包括一个或多个场景的应用。除在场景内的每个元素是视频序列之外，每个场景是HTML网页的等同物。应用程序员设计场景的图形表示并且将链接并入元素，诸如音频和视频文件和对象，诸如所述场景的按钮和控制。应用程序员使用图形创作工具130来图解选择对象和元素。创作环境130可以包括图形接口，用于允许应用程序员把方法与创建视频对象的元素相关联。图形可以是采用另一格式的MPEG编码的视频、修整的MPEG视频、静止图像或视频。应用程序员可以把来自包括内容提供商160(新闻源、电影工作室、RSS馈送等)和线性广播源(广播媒介和有线、视频点播源和基于网络的视频源)170的多个源的内容结合到应用中。应用程序员采用AVML(活动视频标记语言)创建应用作为文件并且向视频内容分发网络150内的代理/高速缓存发送应用文件。所述AVML文件格式是一种XML格式。例如参见示出采样AVML文件的图1B。

内容提供商160可以把视频内容编码为MPEG视频/音频，或者内容可以采用另一种图形格式(例如JPEG、BITMAP、H263、H264、VC-1等)。所述内容随后可以在修整器/缩放器190中被修整和/或缩放以把所述内容置于优选编码的MPEG格式，所述格式允许缝合。如果所述内容并未置于优选的MPEG格式，则当要求内容的应用被客户端设备请求时，处理局将修整所述格式。来自广播媒体服务的线性广播内容170也将被修整，如同来自内容提供商的内容。优选在修整器/缩放器180中修整和/或缩放线性广播内容，所述修整器/缩放器180把所述内容编码为优选的MPEG格式以便在把内容传递到处理局之前缝合。

来自内容制作者160的视频内容以及由应用程序员创建的应用通过视频内容分发网络150被分发并且被存储在分发点140。这些分发点被表示为图1内的代理/高速高速缓存。内容提供商把供视频内容分发网络中的交互式处理局使用的内容放置在代理/高速高速缓存140的位置。从而，内容提供商160可以向视频内容分发网络150的高速缓存140提供它们的内容，并且实现当前架构的一个或多个处理局可以在应用需要时通过视频内容分发网络150来访问所述内容。视频内容分发网络150可以是局部网络、区域网络或全球网络。从而，当在处理局的虚拟机请求应用时，可以从分发点之一检索所述应用并且可以从相同或不同的分发点检索如在应用的AVML文件内定义的内容。

***的最终用户可以通过诸如机顶盒之类的客户端设备110向处理局105发送命令来请求交互式会话。在图1中，只示出了单个处理局。然而，在现实应用中，可能存在位于不同区域中的多个处理局，其中每个处理局与如图1B所示的视频内容分发网络进行通信。处理局105为交互式会话的最终用户指配处理器。处理器保持包括所有寻址和资源分配的会话。如在说明书和权利要求中所使用的，术语“虚拟机”106指的是所指配的处理器，以及在处理局的其它处理器，所述处理器用于执行诸如在处理局和客户端设备之间的会话管理以及资源分配(即指配用于交互式会话的处理器)之类的功能。

虚拟机106将其地址传送给客户端设备110并且建立交互式会话。然后，用户可以通过客户端设备110请求呈现交互式应用(AVML)。所述请求由虚拟机106接收，并且作为响应，虚拟机106使AVML文件从代理/高速缓存140中检索并且被安装到可被虚拟机106访问的存储器高速缓存107中。应当认识到，虚拟机106可以与多个客户端设备110同时通信并且所述客户端设备可以是不同的设备类型。例如，第一设备可以是蜂窝式电话，第二设备可以是机顶盒，并且第三设备可以是个人数字助理，其中每个设备访问相同的或不同的应用。

响应于对应用的请求，虚拟机106处理所述应用并且请求元素和MPEG对象，所述元素和MPEG对象是将从代理/高速缓存移动到与虚拟机106相关联的存储器107中的场景的一部分。MPEG对象包括视觉组件和可行动组件。视觉组件可以被编码为一个或多个MPEG片段或者采用另一图形格式来提供。可行动组件可以存储对象的状态，可以包括执行计算、访问相关联的程序、或者显示覆盖图形以把图形组件标识为活动的。覆盖图形可以通过把信号传送到客户端设备来产生，其中所述客户端设备在显示设备上的覆盖平面中创建图形。应当认识到场景不是静态图形，而是包括多个视频帧，其中帧的内容可以随时间改变。

虚拟机106基于场景信息来进行确定，包括应用状态、场景的各个元素和对象的大小和位置。每个图形元素可以由连续或不连续的MPEG片段形成。虚拟机跟踪每个图形元素的所有片段的位置。用于定义图形元素的所有片段形成区域。虚拟机106跟踪每个区域。基于在AVML文件内的显示位置信息，设置在视频帧内元素和背景的片段位置。如果图形元素并未采用修整格式准备好，则虚拟机把该元素传递到元素渲染器。渲染器把图形元素渲染为位图并且渲染器把所述位图传递到MPEG元素编码器109。MPEG元素编码器把位图编码为MPEG视频序列。MPEG编码器处理位图，使得它输出一系列P帧。并未预编码且预修整的内容的例子是个性化内容。例如，如果用户已经在处理局存储了音乐文件并且要呈现的图形元素是用户音乐文件的列表，则可能会由虚拟机实时创建此图形作为位图。虚拟机将把位图传递到元素渲染器108，所述元素渲染器108将渲染所述位图并且把所述位图传递到MPEG元素编码器109以便修整。

在MPEG元素编码器修整图形元素之后，所述MPEG元素编码器109把所述图形元素传递到存储器107以供虚拟机106稍后检索用于其它用户的其它交互式会话。MPEG编码器109还把MPEG编码的图形元素传递到缝合器115。可以在与虚拟机106相同或独立的处理器中实现元素的渲染和元素的MPEG编码。虚拟机106还确定在应用内是否存在任何需要解释的脚本。如果存在脚本，则由虚拟机106来解释所述脚本。

应用中的每个场景可以包括多个元素，所述元素包括静态图形、基于用户交互改变的对象图形以及视频内容。例如，场景可以包括背景(静态图形)，以及具有多个按钮、用于播放音频视频和多媒体内容(对象图形)的媒体播放器，和用于显示流送视频内容的视频内容窗口(视频内容)。媒体播放器的每个按钮自身可以是包括其自己相关联的方法的独立的对象图形。

虚拟机106获取帧的每个图形元素(背景、媒体播放器图形和视频帧)并且确定每个元素的位置。一旦获取了所有对象和元素(背景，视频内容)，则连同用于元素和MPEG对象的定位信息一起把所述元素和图形对象传递到缝合器/合成器115。缝合器115根据由虚拟机106提供的映射来把每个元素(视频内容，按钮，图形，背景)缝合在一起。每个元素放置在宏块边界上并且当被缝合在一起时所述元素形成MPEG视频帧。基于周期性，场景帧的所有元素被编码以形成基准P帧以便刷新序列并且避免丢弃的宏块。然后，通过下游网络把MPEG视频流传送到客户端设备的地址。对每个视频帧来说继续该过程。尽管说明书把MPEG作为编码过程，但是此***也可以使用其它编码过程。

在处理局105处的虚拟机106或其它处理器或过程保持关于每个元素的信息以及所述元素在屏幕上的位置。虚拟机106还可以访问用于与每个元素相关联的对象的方法。例如，媒体播放器可以具有包括多个例程的媒体播放器对象。所述例程可以包括播放、停止、快进、快退和暂停。每个例程包括代码并且当用户向处理局105发送请求以便激活例程之一时，访问对象并且运行所述例程。所述例程可以是能够在与虚拟机相关联的操作***内运行的基于JAVA的小应用程序、要解释的脚本或独立的计算机程序。

处理局105还可以创建链式数据结构，用于根据由处理器从与电视相关联的客户端设备接收的信号来确定要执行或解释的例程。链式数据结构可以由包括的映射模块来形成。数据结构把每个资源和相关联的对象相对于每个其它资源和对象相关联。例如，如果用户已经从事播放控制，则激活媒体播放器对象并且显示视频内容。当在媒体播放器窗口中播放视频内容时，用户可以按下在用户遥控装置上的方向键。在此例子中，按下方向键表示按压停止按钮。收发器产生方向信号并且所指配的处理器接收所述方向信号。在处理局105处的虚拟机106或其它处理器访问链式数据结构并且在按下方向键的方向上定位元素。数据库指示所述元素是作为媒体播放器对象一部分的停止按钮，并且处理器实现用于停止视频内容的例程。所述例程将使所请求的内容停止。最后的视频内容帧将被冻结，并且按下的停止按钮图形将被缝合器模块交织到所述帧中。所述例程还可以包括用于在停止按钮周围提供焦点的焦点图形。例如，虚拟机可以使缝合器利用1个宏块宽的边框来封闭具有焦点的图形。从而，当解码并显示视频帧时，用户将能够标识用户可以与之相交互的图形/对象。然后，帧被传递到复用器并且通过下游网络发送到客户端设备。MPEG编码的视频帧由在客户端设备(蜂窝电话，PDA)或独立的显示设备(监视器，电视)上显示的客户端设备来解码。此过程以最小延迟出现。从而，来自应用的每个场景产生多个视频帧，每个视频帧表示媒体播放器应用状态的快照。虚拟机106将重复地接收来自客户端设备的命令并且响应于所述命令将直接或间接地访问对象，并且响应于用户交互和应用交互模型来执行或解释对象的例程。在此类***中，在用户的电视上显示的视频内容材料仅仅是解码的MPEG内容，并且交互作用的所有处理出现在处理局并且由所指配的虚拟机协调。从而，客户端设备只需要解码器并且不需要缓存或处理任何内容。

应当认识到通过来自客户端设备的用户请求，处理局可以把视频元素替换为另一视频元素。例如，用户可以从电影列表中选择以进行显示，并且因此如果用户选择在两部电影之间进行切换，则第一视频内容元素将由第二视频内容元素来替换。用于保持每个元素和形成元素的区域的位置列表的虚拟机可以容易地替换在创建新MPEG视频帧的场景内的元素，其中所述帧被缝合在一起以便把新的元素包括在缝合器115中。

图1A示出了在数字内容分发网络100A、内容提供商110A和处理局120A之间的相互操作。在此例子中，内容提供商130A把内容分发到视频内容分发网络100A中。内容提供商130A或与视频内容分发网络相关联的处理器把内容转换为与处理局120A创建交互式MPEG内容兼容的MPEG格式。如果内容属于全球/国家范围，则数字内容分发网络100A的内容管理服务器140A在位于不同区域的代理/高速缓存150A-154A当中分发MPEG编码的内容。如果内容属于区域/本地范围，则所述内容将驻留在区域/本地代理/高速缓存。所述内容可以在不同的位置在整个国家或世界被镜像以便增加访问次数。当最终用户通过他们的客户端设备160A请求来自区域处理局的应用时，所述区域处理局将访问所请求的应用。所请求的应用可以位于视频内容分发网络内，或者所述应用可以本地驻留在区域处理局或者在互连处理局的网络内。一旦检索到应用，则在区域处理局处指配的虚拟机将确定需要检索的视频内容。内容管理服务器140A辅助虚拟机在视频内容分发网络内定位内容。内容管理服务器140A可以确定所述内容是否位于区域或本地代理/高速缓存上并且还定位最接近的代理/高速缓存。例如，所述应用可以包括广告并且内容管理服务器将指导虚拟机从局域代理/高速缓存检索广告。如图1A所示，中西部和东南部区域处理局120A也具有本地代理/高速缓存153A、154A。这些代理/高速缓存可以包含本地新闻和本地广告。从而，被呈现给东南部最终用户的场景可能不同于呈现给中西部最终用户的场景。可以向每个最终用户呈现不同的本地新闻故事或不同的广告。一旦检索到内容和应用，则虚拟机处理所述内容并且创建MPEG视频流。然后，把MPEG视频流导向请求客户端设备。然后，最终用户可以与内容相交互以便请求具有新内容的已更新场景，并且在处理局处的虚拟机将通过从视频内容分发网络的代理/高速缓存请求新的视频内容来更新场景。

创作环境

创作环境包括如图1C所示的用于开发交互式应用的图形编辑器。应用包括一个或多个场景(scene)。如图1B所示，应用窗口示出了应用由三个场景(scene1，scene2，scene3)组成。图形编辑器允许开发者选择将要置于场景中的元素以便形成最终在与用户相关联的显示设备上示出的显示。在一些实施例中，元素被拖放到应用窗口中。例如，开发者可能想要包括媒体播放器对象和媒体播放器按钮对象，并且将从工具条中选择这些元素并且把所述元素拖放到窗口中。一旦图形元素处于窗口中，开发者就可以选择元素并且提供用于所述元素的属性窗口。属性窗口至少包括图形元素的位置(地址)和图形元素的大小。如果图形元素与对象相关联，则属性窗口将包括用于允许开发者切换到位图事件屏幕并且更改相关联的对象参数的制表符。例如，用户可以改变与按钮相关联的功能或者可以定义与所述按钮相关联的节目。

如图1D所示，***的缝合器基于作为创作环境输出的AVML文件来创建用于场景的一系列MPEG帧。场景内的每个元素/图形对象由用于定义区域的不同片段组成。用于定义元素/对象的区域可以是连续或不连续的。***抓拍用于在宏块边界上形成图形的片段。每个元素不必具有连续的片段。例如，背景具有多个不连续的片段，每个片段由多个宏块组成。如果背景是静态的，则它可以由帧内编码宏块来定义。类似地，每个按钮的图形可以被帧内编码；然而所述按钮与状态相关联并且具有多个可能的图形。例如，所述按钮可以具有第一状态“关闭”和第二状态“开启”，其中第一图形示出了处于未按压状态的按钮的图像并且第二图形示出了处于按压状态的按钮。图1C还示出了第三图形元素，其是电影的窗口。电影片段利用帧内编码和帧间编码宏块的混合来进行编码并且基于内容动态地改变。类似地如果背景是动态的，则所述背景可以利用帧内编码和帧间编码宏块来编码，其也服从下面关于修整的要求。

当用户通过客户端设备选择应用时，处理局将依照来自创作环境的图形编辑器的布局把元素缝合在一起。创作环境的输出包括活动视频标记语言文件(AVML)。AVML文件提供关于多状态元素的状态信息，诸如按钮、相关联图形的地址和图形的大小。AVML文件指示在每个元素的MPEG帧内的位置，指示与每个元素相关联的对象，并且包括用于定义MPEG帧基于用户动作的改变的脚本。例如，用户可以向处理局发送指令信号并且所述处理局将使用AVML文件来基于所接收到的指令信号构造新的MPEG帧集合。用户可能想要在各个视频元素之间切换并且可以向处理局发送指令信号。处理局将去除帧布局内的视频元素，并且将选择第二视频元素以便把第二视频元素缝合到在第一视频元素的位置的MPEG帧中。下面将描述此过程。

AVML文件

应用编程环境输出AVML文件。AVML文件具有基于XML的句法。AVML文件句法包括根对象<AVML>。其它顶级标签包括<initialscene>，用于指定将在应用开始时加载的第一场景。<script>标签标识脚本并且<scene>标签标识场景。在每个顶级标签下还可能存在下级标签，使得在所述标签内存在用于应用数据的体系。例如，顶级流标签可以包括视频流的<aspect ratio>、<video format>、<bit rate>、<audio format>和<audio bit rate>。类似地，场景标签可以包括所述场景内的每个元素。例如，<background>用于背景、<button>用于按钮对象，并且<static image>用于静止图形。其它标签包括用于元素大小和位置的<size>和<pos>并且可以是场景内每个元素的下级标签。在图1B中提供了AVML文件的例子。

修整器

图2是可以被提供到请求客户端设备的电视的代表性画面的视图。显示器200示出了在屏幕上出现的三个独立的视频内容元素。元素#1211是其中***有元素#2215和元素#3217的背景。

图3示出了可以生成图2的画面的***的第一实施例。在此视图中，进入三个视频内容元素作为编码的视频：元素#1303，元素#2305和元素#3307。修整器310均接收编码的视频内容元素，并且修整器在缝合器340把修整的视频内容元素组合到单个合成视频380中之前处理每个元素。本领域普通技术人员应当理解，修整器310可以是单个处理器或者并行操作的多个处理器。修整器可以位于处理局、内容提供商的设施，或者线性广播提供商的设施内。修整器可以不直接连接到缝合器，如图1所示，其中修整器190和180并未直接耦合到缝合器115。

下面描述了缝合过程并且如果首先已经修整了元素则可以以更加有效的方式来执行该缝合过程。

修整去除了存在于压缩视频中的一些依存性。修整器将把I和B帧转换为P帧并且将固定任何杂散运动向量，所述杂散运动向量引用已经被切割或去除的另一视频帧的一部分。从而，可以结合其它修整的视频流和编码的静止图像来使用修整的视频流以形成合成的MPEG视频流。每个修整的视频流包括多个帧并且所述帧可以被容易地***到另一修整帧中，其中把合成帧分组到一起以形成MPEG视频流。应当注意，修整的帧可以由一个或多个MPEG片段形成并且其大小可以比MPEG视频流中的MPEG视频帧更小。

图4是包含多个元素410、420的合成视频帧的例子。为了说明性目的提供了此合成视频帧。如图1所示的修整器只接收单个元素并且修整所述元素(视频序列)，使得所述视频序列可以在缝合器中被缝合在一起。修整器并不同时接收多个元素。在此例子中，背景视频帧410包括每个片段1行(这只是例子；所述行可以由任何数目的片段组成)。如图1所示，包括场景内所有元素位置的视频帧的布局由应用程序员在AVML文件中定义。例如，应用程序员可以为场景设计背景元素。从而，应用程序员可以使背景被编码为MPEG视频并且可以在把所述背景置于代理高速缓存140之前修整所述背景。因此，当请求应用时，应用场景内的每个元素可以是修整的视频并且可以容易地把修整的视频缝合在一起。应当注意，尽管在图1内示出了对内容提供商和线性广播电台的两个修整器，但是在***的其它部分也可以存在修整器。

如图所示，把视频元素420***到背景视频帧410内(也只是例如；此元素也可以由每行多个片段组成)。如果原始视频帧410内的宏块引用另一宏块来确定其值，并且因为把视频图像420***到基准宏块的位置中，所以从帧中去除所述基准宏块，则需要重新计算宏块值。类似地，如果宏块引用随后帧中的另一宏块和去除该宏块并且把其它源材料***到它的位置中，则需要重新计算宏块值。这通过修整视频430来解决。处理视频帧使得一行包含多个片段，其中一些片段被明确调整大小和位置以便匹配替换的视频内容。在完成此过程之后，利用覆盖视频代替一些当前片段以产生具有覆盖440的修整视频是一个很简单的任务。已经特别地定义了修整的视频流来解决该特定的覆盖。不同的覆盖指示不同的修整参数。从而，这种类型的修整解决把视频帧分段为片段以准备缝合的过程。应当注意，从不需要把片段添加到覆盖元素。片段只被添加到接收元素，也就是其中将放置覆盖的元素。修整的视频流可以包含关于流的修整特性的信息。可以提供的特性包括：1.修整窗口的左上方和右下方边角的位置。2.只是左上方边角的位置以及窗口的大小。片段的大小精确到像素级。

还存在两种方式用于在视频流中提供特性信息。第一是在片段头部中提供该信息。第二是在延长的数据片段结构中提供该信息。这两个选项中的任何一个可以用来把必要的信息成功地传递到将来的处理阶段，诸如虚拟机和缝合器。

图5示出了在修整前后的视频图形元素的视频序列。原始的进入编码流500具有如本领域普通技术人员所知的MPEG I帧510、B帧530550和P帧570序列。在此原始流中，I帧被用作所有其它帧的基准512，B和P两者。这经由从I帧到所有其它帧的箭头来示出。而且，P帧被用作两个B帧的基准帧572。修整器处理流并且利用P帧代替所有帧。首先原始的I帧510被转换为帧内编码P帧520。接下来，B帧530、550被转换535为P帧540和560并且被修改为只引用紧接着的先前帧。而且，P帧570被修改为把它们的基准574从原始的I帧510移动到在它们前面刚刚新创建的P帧560。在修整的编码帧590的输出流中示出了所产生的P帧580。

图6是标准的MPEG-2比特流文法的视图。MPEG-2被用作例子并且本发明不应当被视为仅限于此例子。比特流的分级结构起始于序列级。这包含序列头部600，后面是图片组(GOP)数据605。GOP数据包含GOP头部620，后面是图片数据625。图片数据625包含图片头部640，后面是片段数据645。片段数据645由后面是宏块数据665的一些片段开销660组成。最后，宏块数据665由后面是数据块685的一些宏块开销680组成(数据块被进一步分解，但是对于此引用的目的来说并不要求这样)。序列头部在修整器中充当规范(normal)。然而，由于所有帧都是P帧，所以不存在修整器的GOP头部输出。头部的余项可以被修改为满足所要求的输出参数。

图7提供了用于修整视频序列的流程。首先，确定700帧类型：I帧703、B帧705或P帧707。I帧703像B帧705一样需要被转换为P帧。另外，I帧需要匹配缝合器所要求的图片信息。例如，此信息可以指示在图片头部中设置的编码参数。因此，第一步骤是修改图片头部信息730使得在图片头部中的信息对所有修整的视频序列来说都是一致的。缝合器设置是可以包括在应用中的***级设置。这些是将用于所有级别的比特流的参数。在下表中提供了要求修改的项：

表1：图片头部信息

#	名称	值
			A	图像编码类型	P帧
B	帧内DC精度	匹配缝合器设置
			C	图片结构	帧
D	帧预测帧DCT	匹配缝合器设置
			E	数量上的缩放类型	匹配缝合器设置
F	帧内VLC格式	匹配缝合器设置
			G	交替扫描	正常扫描
H	逐行帧	逐行扫描

接下来，必须修改片段开销信息740。在下表中给出了要修改的参数。

表2：片段开销信息

接下来，宏块开销750信息可以要求修改。在下表中给出了要修改的值。

表3：宏块信息

#	名称	值
			A	宏块类型	把可变长度码从用于I帧改变为用于P帧
B	DCT类型	如果尚未被设置，则设置为帧
			C	隐蔽运动向量	去除

最后，块信息760可以要求修改。在下表中给出了要修改的项。

表4：块信息

一旦完成了块改变，则所述处理就可以对下一视频帧重新开始。

如果帧类型是B帧705，则I帧要求的相同步骤也被B帧所要求。然而，另外，还需要修改运动向量770。存在两个方案：B帧立即跟在I帧或P帧后面，或者B帧跟在另一B帧后面。如果B帧跟在I帧或P帧后面，则使用I或P帧作为基准的运动向量可以保持相同并且只需要改变余项。这可以与把前视(forward looking)运动向量转换为余项一样简单。

对于跟在另一B帧后面的B帧，将需要修改运动向量及其余项两者。现在第二B帧必须把新转换的B帧引用到紧接在其前面的P帧。首先，解码B帧及其基准并且重新计算运动向量和余项。必须注意，虽然帧被解码以更新运动向量，但是不必重新编码DCT系数。这些保持相同。只计算和修改运动向量和余项。

最后的帧类型是P帧。此帧类型也遵循与I帧相同的路径。图8图示了与区域边界邻近的宏块的运动向量修改。应当认识到，在区域边界上的运动向量与背景元素最为相关，其中在背景元素中***其它视频元素。因此，可以由应用创建者来实现背景元素的修整。类似地，如果视频元素被修剪并且***到背景元素中的“孔”中，则修剪的元素可以包括指向在“孔”外位置的运动向量。如果内容创建者知道视频元素需要被修剪的大小，则可以由所述内容创建者来完成修整修剪图像运动向量，或者如果要***的视频元素大于背景中“孔”的大小，则由虚拟机结合元素渲染器和MPEG编码器来实现修整。

图8图解示出了在包围从背景元素中去除的区域的运动向量出现的问题。在图8的例子中，场景包括两个区域：#1800和#2820。存在不适当的运动向量基准的两个例子。在第一种情况下，***区域#1800(背景)的区域#2820使用区域#1800(背景)作为运动840的基准。从而，需要校正区域#2中的运动向量。不适当的运动向量基准的第二实例出现在区域#1800使用区域#2820作为运动860的基准的情况下。修整器通过使用在相同区域内的帧重新编码这些不适当的运动向量基准或者把宏块转换为帧内编码块来去除这些不适当的运动向量基准。

除更新运动向量和改变帧类型之外，修整器还可以把基于场(field)的编码宏模块转换为基于帧(frame)的编码宏模块。图9示出了把基于场的编码宏模块转换为基于帧的编码宏模块。仅供参考，压缩基于帧的块集合900。压缩的块集合910在相同的块中包含相同的信息，只是现在以压缩形式被包含。另一方面，也压缩基于场的宏块940。当完成这点时，所有偶数行(0，2，4，6)被置于上块(0和1)中，而奇数行(1，3，5，7)被置于下块(2和3)中。当压缩的基于场的宏块950被转换为基于帧的宏块970时，需要把系数从一个块移动到另一块980。也就是，必须依照数字次序而不是奇偶次序来重构行。行1和3在基于场的编码中处于块2和3中，但是现在分别被向后移到块0或1。相应地，行4和6从块0和1被移动并且向下被置于块2和3中。

图10示出了修整平台的第二实施例。所有组件与第一实施例的相同：修整器1110A和缝合器1130A。输入也是相同的：输入#11103A、输入#21105A和输入#31107A以及合成的输出1280。此***中的差异在于缝合器1140A向每个修整器1110A提供了反馈：同步和帧类型信息。利用同步和帧类型信息，缝合器1240可以定义修整器1110A所遵循的GOP结构。利用此反馈和GOP结构，修整器的输出不再只是P帧而且还可以包括I帧和B帧。没有反馈的实施例的限制在于没有修整器知道缝合器正在构建何种类型的帧。在具有来自缝合器1140A的反馈的此第二实施例中，修整器1110A将知道缝合器正在构建何种图片类型并且因此所述修整器将提供匹配的帧类型。这在假定相同的数据速率的情况下改进了图片质量，并且假定由于基准帧较多并且现有帧的修改较少而保持质量等级恒定，可以降低数据速率，同时由于允许B帧所以减小了比特率。

缝合器

图11示出了用于实现缝合器模块的环境，所述缝合器模块诸如在图1中所示出的缝合器。缝合器1200接收来自不同源的视频元素。未压缩的内容1210在其到达缝合器1200之前在诸如图1中所示出的MPEG元素编码器之类的编码器1215中编码。不需要编码已压缩或编码的视频1220。然而，在这两种情况中需要把音频1217、1227从视频1219、1229中分离出来。音频被馈送到音频选择器1230中以被包括在流中。视频在被放入缓冲器1250中之前被馈送到帧同步块1240中。帧构造器1270基于来自控制器1275的输入从缓冲器1250拉出数据。在已经延迟1260音频以对准视频之后，来自帧构造器1270的视频连同音频一起被馈送到复用器1280。复用器1280组合音频和视频流并且输出已合成编码的输出流1290，所述输出流1290可以在任何标准解码器上播放。把数据流复用到节目或传输流中对那些本领域技术人员来说是公知的。已编码的视频源可以是实时的，来自存储单元，或者两者的组合。并不要求所有源实时到达。

图12示出了在时间上不同步的三个视频内容元素的例子。为了同步三个元素，元素#11300被用作“锚”或“基准”帧。也就是，它被用作主帧并且所有其它帧将与之对准(这只是例子；***可以使其自己的主帧基准与任何进入视频源相分离)。输出帧定时1370、1380被设置为匹配元素#11300的帧定时。元素#2和31320和1340并未对准元素#1 1300。因此，定位它们的帧开端并且把它们存储在缓冲器中。例如，元素#21320将被延迟一个帧，因此整个帧在与基准帧一起被合成之前是可用的。元素#3比基准帧慢得多。元素#3在两个帧上收集并且在两个帧上呈现。也就是，对两个连续帧显示元素#31340的每个帧以便匹配基准帧的帧速率。相反地，如果帧(未示出)以基准帧速率的二倍运行，则可能会丢弃每个其它帧(未示出)。很可能所有元素以几乎相同的速度运行，因此只是偶尔需要重复或丢弃帧以便保持同步。

图13示出了示例的合成视频帧1400。在此例子中，所述帧由每行1410有40个宏块并且每个图片1420有30行来组成。所述大小只被用作例子，并且并不意在限制本发明的范围。所述帧包括背景1430，所述背景1430具有在各个位置合成的元素1440。这些元素1440可以是视频元素、静态元素等。也就是，所述帧由整个背景构造，然后利用不同的元素来替换特定的区域。此特定的例子示出了在背景上合成的四个元素。

图14示出了用于图示图片内片段的屏幕的更详细版本。该图描述了由每行40个宏块并且每个图片有30行组成的图片(非限制性的，只用于说明目的)。然而，它还示出了被划分为片段的图片。片段的大小可以是整个行1590(被示为阴影的)或者在行1580内的几个宏块(被示为在元素#41528内部具有对角线的矩形)。背景1530已经被分割为多个区域，其中片段大小匹配每个区域的宽度。这可以通过观察元素#11522来更好地看出。元素#11522已经被定义为十二个宏块宽。然后用于背景1530和元素#11522两者的此区域的片段大小被定义为该精确数目的宏块。于是元素#11522由六个片段组成，每个片段包含12个宏块。以类似的方式，元素#21524由每个片段八个宏块的四个片段组成；元素#31526是每个片段23个宏块的十八个片段；并且元素#41528是每个片段五个宏块的十七个片段。显然，背景1530和元素可以被定义为由任何数目的片段组成，所述片段进而可以是任何数目的宏块。这给出了全面的灵活性来以任何想要的方式布置图片和元素。由图1的虚拟机使用AVML文件来确定用于确定每个元素的片段内容以及定位视频帧内的元素的过程。

图15示出了由虚拟机准备背景1600以便用于在缝合器中进行缝合。虚拟机基于AVML文件采集未压缩的背景并且把所述背景转发到元素编码器。虚拟机转发背景内的位置，其中将把元素置于帧中。如图所示，背景1620已经被虚拟机利用孔(多个)分解为特定的片段配置，所述孔精确地对准所述元素(多个)在把所述背景传递到元素编码器之前将被放置的位置。编码器压缩背景，留下其中将放置元素的一个或多个“孔”。编码器把已压缩的背景传递到存储器。然后，虚拟机访问存储器并且检索场景的每个元素，并且连同每个元素的每个片段的位置列表一起把已编码的元素传递到缝合器。缝合器取得每个片段并且把所述片段放置到适当的位置。

这种特定类型的编码被称作“基于片段的编码”。基于片段的编码器/虚拟机是知道输出帧的期望片段结构并且适当地执行其编码的基于片段的编码器/虚拟机。也就是，编码器知道片段的大小以及它们所属的位置。如果要求的话，它知道在哪留下孔。通过知道期望输出片段配置，虚拟机提供了易于被缝合的输出。

图16示出了在已经压缩背景元素之后的合成过程。背景元素1700已经被压缩为七个片段，其具有用于放置元素1740的孔。合成图像1780示出了背景元素1700和元素1740的组合结果。合成视频帧1780示出了已经用灰色***的片段。尽管此视图描述了被合成到背景上的单个元素，但是可以合成任何数目的元素，所述元素将适于在用户的显示器上。此外，背景或元素的每行的片段数目可以大于所示出的那些。背景和元素的片段开端和片段端点必须对准。

图17是用于示出在背景元素1800(24像素乘24像素)和已添加的视频内容元素1840(16像素乘16像素)之间不同的宏块大小的视图。已合成的视频帧1880示出了两种情况。在水平方向上，因为在背景800中存在24像素/块×4块＝96像素宽并且对于视频内容元素1840来说是16像素/块*6块＝96像素宽，所以像素对准。然而在垂直方向上，存在一定差异。背景1800是24像素/块*3块＝72像素高。元素1840是16像素/块*4块＝64像素高。这留下8像素的垂直间隙1860。缝合器知道此类差异并且可以外插元素或背景以填充该间隙。也可以留下间隙，使得存在黑暗或光亮的边界区域。即使此例子使用24x24和16x16的宏块大小，任何宏块大小的组合也是可接受的。在不脱离本发明所希望的范围的情况下，基于DCT的压缩格式可以依赖于除16x16之外大小的宏块。类似地，在不脱离本发明所希望的范围的情况下，基于DCT的压缩格式还可以依赖于用于时间预测的可变大小的宏块。最后，在不脱离本发明所希望的范围的情况下，也可以使用其它傅立叶相关变换来实现内容的频域表示。

在已合成的视频帧中也可以存在重叠。返回参照图17，元素1840由四个片段组成。如果此元素实际上是五个片段，则它可能与已合成视频帧1880中的背景元素1800重叠。存在多种方式来解决此冲突，最容易的方式是只合成元素的四个片段并且丢弃第五个。还可以把第五片段合成到背景行中，把冲突的背景行分解为片段并且去除与第五元素片段冲突的背景片段(然后或许添加第六元素片段以填充任何间隙)。

不同的片段大小的可能性要求合成功能以对进入的背景和视频元素执行检查以便确认它们是否是适当的。也就是，确保每一个都是完整的(例如，完全帧)，不存在大小冲突等。

图18是用于描述帧的元素的视图。简单的合成图像1900由元素1910和背景元素1920组成。为了控制对所请求的场景构建视频帧，缝合器基于如由虚拟机提供的每个元素的位置信息来构建数据结构1940。数据结构1940包含用于描述有多少宏块并且所述宏块所处位置的链接列表。例如，数据行11943示出了缝合器应当从缓冲器B中取得40个宏块，所述缓冲器B是用于背景的缓冲器。数据行21945应当从缓冲器B中取得12个宏块，然后从缓冲器E(用于元素1910的缓冲器)取得8个宏块，并且然后从缓冲器B中取得另外20个宏块。这继续向下至最后一行1947，其中缝合器使用数据结构来从缓冲器B中取得40个宏块。缓冲器结构1970具有用于每个背景或元素的独立区域。B缓冲器1973包含用于在B宏块中进行缝合的所有信息。E缓冲器1975具有用于在E宏块中进行缝合的信息。

图19是描述用于根据多个编码元素构建图片的过程的流程图。序列2000通过启动视频帧合成2010而开始。首先，同步2015所述帧，并且然后通过抓取适当的片段2030来建立每行2020。然后，***2040片段，并且所述***检查它是否在行的末端2050。如果不是，则所述过程返回“取出下一片段”块2030，直到到达行的末端2050。一旦所述行是完整的，则所述***检查它是否是帧的末端2080。如果不是，则所述过程就返回到“对每行”2020的块。一旦帧是完整的，则所述***检查它是否是该场景的序列的末端2090。如果不是，则它返回到“合成帧”2010的步骤。如果是，则用于该场景的帧或视频帧序列是完整的2090。如果不是，则它重复帧构建过程。如果已经到达序列末端2090，则场景是完整的并且所述过程结束，或者它可以启动另一帧的构造。

可以通过提供关于帧格式的缝合器高级信息来改进缝合器的性能(以较少的处理器能力更快地构建帧)。例如，虚拟机可以向缝合器提供在要***的帧中区域的开始位置和大小。替代地，所述信息可以是每个片段的开始位置并且缝合器然后可以算出大小(两个开始位置之差)。此信息可以由虚拟机从外部提供或者所述虚拟机可以把所述信息并入到每个元素中。例如，片段标题的一部分可以用于携带此信息。缝合器可以使用此预知的帧结构来在要求元素之前便把所述元素很好地合成在一起。

图20示出了对***的进一步改进。如上面在修整器部分中所解释的，可以修整图形视频元素由此提供可缝合的元素，所述元素已经被压缩并且不必被解码以便被缝合在一起。在图20中，帧具有多个编码的片段2100。每个片段是一整行(这只是用作例子；在修整之前所述行可以由多个片段组成)。虚拟机结合AVML文件确定应当有特定大小的元素2140被置于已合成视频帧内的特定位置中。修整器处理进入的背景2100并且把整行编码的片段转换为更小的片段，所述更小的片段匹配在期望元素2140位置周围和之中的区域。所产生的修整视频帧2180具有匹配期望元素2140的片段配置。然后，缝合器通过从修整的帧2180中选择除#3和#6之外的所有片段来构造流。代替那些片段，缝合器抓取元素2140的片段并且在其位置使用那些片段。以这种方式，背景从不会留下已压缩的域并且***仍能把元素2140合成到帧中。

图21示出了可用于定义要合成的元素的灵活性。元素可以具有不同的形状和大小。元素不必连续驻留并且实际上单个元素可以由被背景分隔的多个图像形成。此图示出了背景元素2230(灰色区域)，其具有在上面合成的单个元素2210(白色区域)。在此视图中，已合成的元素2210具有变换的、不同大小的区域，甚至其中在单个行上存在元素的多个部分。缝合器可以执行此缝合就好像存在用于创建画面的多个元素一样。帧的片段被连续地标记为S1-S45。这些包括其中将放置元素的片段位置。所述元素还将其片段从ES1到ES14编号。所述元素片段可以在期望的情况下被置于背景中，即使从单个元素文件拉出它们。

用于元素片段的源可以是多个选项中的任何一个。它可以来自实时编码的源。它可以是根据独立片段构建的复合片段，一个具有背景并且另一个具有文本。它可以是从高速缓存中取出的预编码的元素。这些例子仅用于说明性目的并且不意在限制元素源的选项。

图22示出了使用修整器2340来修整线性广播内容的实施例。所述内容由修整器2340实时地接收。每个频道由修整器2340修整，使得可以容易地把所述内容缝合在一起。图22的修整器2340可以包括用于修整所有线性广播频道的多个修整器模块。然后，可以向一个或多个处理局2310、2320、2330以及每个处理局内的一个或多个虚拟机多播已修整的频道以便在应用中使用。如图所示，客户端设备请求应用接收到由客户端选择的线性广播源和/或其它修整的内容的马赛克(mosaic)2350。马赛克2350是包括背景帧2360的场景，其允许同时观看多个源2371-2376，如图23所示。例如，如果存在用户想要观看的多个体育事件，则用户可以请求每个携带体育事件的频道以便同时在马赛克内观看。用户甚至可以选择MPEG对象(编辑)2380，并且然后编辑所期望的内容源以便显示。例如，可以从线性/实况广播以及还可以从其它视频内容(即电影，预记录的内容等)中选择已修整的内容。马赛克甚至可以包括用户选择的材料和由处理局/会话处理器提供的材料，诸如广告。如图22所示，客户端设备2301-2305均请求包括频道1的马赛克。从而，用于频道1的多播修整的内容由不同的虚拟机和不同的处理局用来构造个性化的马赛克。

当客户端设备发送对马赛克应用的请求时，与所述客户端设备相关联的处理局为所述客户端设备指配处理器/虚拟机来用于所请求的马赛克应用。所指配的虚拟机通过使用缝合器合成来自所期望的频道的修整内容来构造个性化的马赛克。虚拟机向客户端设备发送MPEG流，其具有客户端已经请求的频道的马赛克。从而，通过首先修整内容使得可以把内容缝合在一起，创建马赛克的虚拟机不必首先解码所期望的频道，把背景内的频道作为位图渲染，并且然后编码所述位图。

可以直接通过客户端设备或者间接地通过另一设备(诸如PC)来请求诸如马赛克之类的应用，以便在与客户端设备相关联的显示器上显示应用。用户可以通过提供关于用户的帐号的信息来登录到与处理局相关联的网站中。与处理局相关联的服务器将向用户提供用于选择应用的选择屏幕。如果用户选择马赛克应用，则服务器将允许用户选择该用户想要在所述马赛克内观看的内容。响应于为马赛克所选择的内容并且使用用户的帐户信息，处理局服务器将把请求导向会话处理器并且与用户的客户端设备建立交互式会话。然后，由期望应用的处理局服务器来通知会话处理器。会话处理器将检索期望的应用，在此例子中为马赛克应用，并且将获得所要求的MPEG对象。然后，处理局服务器向会话处理器通知所请求的视频内容，并且所述会话处理器将结合缝合器操作以构造马赛克并且向所述客户端设备提供所述马赛克作为MPEG视频流。从而，处理局服务器可以包括用于执行客户端设备的功能以建立交互式会话、请求应用以及选择要显示的内容的脚本或应用。虽然可以由应用预先确定马赛克元素，但是它们也可以是用户可配置的以便产生个性化的马赛克。

图24是基于IP的内容递送***的视图。在此***中，内容可以来自广播源2400、由内容提供商2410馈送的代理高速缓存2415、包含配置和管理文件2420的网络附加储存器(NAS)2425或者其它未示出的源。例如，NAS可以包括用于提供关于内容位置的信息的资产元数据。此内容可以通过负载平衡交换机2460可用。刀片会话处理器/虚拟机2460可以对内容执行不同的处理功能以准备将其进行递送。由用户经由诸如机顶盒2490之类的客户端设备请求内容。此请求由控制器2430处理，然后控制器2430配置资源和路径以便提供此内容。客户端设备2490接收所述内容并且在用户的显示器2495上呈现它。

图25提供了基于有线的内容递送***的视图。许多组件是相同的：控制器2530、广播源2500、用于经由代理高速缓存2515提供其内容的内容提供商2510、经由文件服务器NAS 2525的配置和管理文件2520、会话处理器2560、负载平衡交换机2550、诸如机顶盒2590之类的客户端设备和显示器2595。然而，还存在由于不同的物理介质所要求的多个附加设备部件。在这种情况下，所添加的资源包括：QAM调制器2575、返回路径接收机2570、组合器和双工器2580以及会话和资源管理器(SRM)2540。要求QAM上转换器2575在下游向用户传送数据(内容)。这些调制器把数据转换为可以跨过转向用户的同轴电缆携带的形式。相应地，返回路径接收机2570还用来解调从机顶盒2590进入电缆的数据。组合器和双工器2580是用于组合下游QAM频道并且分离上游返回频道的无源设备。SRM是用于控制怎样配置和指配QAM调制器以及怎样把流路由到客户端设备的实体。

这些附加资源增加了***的成本。结果，想要使附加资源的数目最小化，其中要求所述附加资源向用户递送性能的级别，其模仿诸如IP网络之类的不堵塞***。由于在有线网络资源和网络上的用户之间没有一对一的对应性，所以必须共享所述资源。必须管理共享资源，因此当用户要求资源时可以指配所述资源，并且然后当用户完成利用资源时释放所述资源。适当地管理这些资源对操作者来说是关键，这是因为如果不这样，则所述资源可能在最需要时是不可用的。如果出现这种情况，则用户接收“请等待”消息，或者在最糟情况下接收“服务不可用”消息。

图26是示出用于基于来自用户的输入来配置新的交互式会话所要求的步骤的视图。此图只描述了那些必须分配或管理或用来进行分配或管理的项。典型的请求可能会遵循下列步骤：

(1)机顶盒2609从控制器2607请求内容2610

(2)控制器2607从SRM 2603请求QAM带宽2620

(3)SRM 2603检查QAM可用性2625

(4)SRM 2603分配QAM调制器2630

(5)QAM调制器返回确认2635

(6)SRM 2603向控制器确认QAM分配成功2640

(7)控制器407分配会话处理器2650

(8)会话处理器确认分配成功2653

(9)控制器2607分配内容2655

(10)控制器2607配置2660机顶盒2609。这包括：

a.调谐的频率

b.用于获取的节目或替代地用于解码的PID

c.用于连接到会话处理器以用于击键捕获的IP端口

(11)机顶盒2609调谐到频道2663

(12)机顶盒2609向控制器2607确认成功2665

控制器2607基于对来自机顶盒2609的服务的请求来分配资源。当机顶盒或服务器发送“结束会话”时控制器释放这些资源。虽然控制器2607可以以最小延迟迅速地反应，但是SRM 2603每秒只能分配一组QAM会话，即200个。超过此速率的要求导致对用户来说不可接受的延迟。例如，如果同时进入500个请求，则最后的用户在其请求被准许之前可能必须等待5秒。还可以不是准许请求，而是可以显示诸如“服务不可用”之类的错误消息。

虽然以上例子描述了在有线电视网络上用于AVDN会话的请求和响应序列，但是下面的例子描述了在IPTV网络上的类似序列。注意，序列本身并非是权利要求，而是图示了AVDN在IPTV网络上将怎样工作。

(1)客户端设备经由会话管理器(即控制器代理)从控制器请求内容。

(2)会话管理器把请求转发到控制器。

(3)控制器经由会话管理器(即客户端代理)用所请求的内容作出响应。

(4)会话管理器打开单播会话并且通过单播IP会话向客户端转发控制器响应。

(5)客户端设备获取通过单播IP会话发送的控制器响应。

(6)会话管理器可以同时通过多播IP会话窄播响应以与节点组上的其它客户端共享，所述其它客户端同时请求相同的内容作为带宽使用优化技术。

图27是用于卸空(break out)每个区域以便改进性能的简化***图。此视图只集中于要管理的数据和设备并且去除所有其它非管理的项。因此，为了清楚起见，去除了交换机、返回路径、组合器等。此视图将用来单步调试每个项，从最终用户工作回到内容起点。

第一问题是由SRM 2720指配QAM 2770和QAM频道2775。特别地是，必须管理资源以防止SRM过载，也就是，消除当对SRM 2720的请求超过其每秒会话速率时用户可能看到的延迟。

为了防止SRM“过载”，可以使用“基于时间的建模”。对于基于时间的建模来说，控制器2700监视过去事务的历史，特别地是高负荷时段。通过使用此先前历史，控制器2700可以预测何时可能出现高负荷时段，例如在一小时后。控制器2700使用此知识来在出现该时段之前预分配资源。也就是，它使用预测算法来确定未来的资源要求。作为例子，如果控制器2700认为475个用户将要在特定时间加入，则它可以提前5秒开始分配那些资源，使得当碰到负载时，所述资源已经被分配并且没有用户看见延迟。

第二，可以基于来自操作者的输入来预先分配资源。如果操作者知道主要事件正在到来，例如付费节目体育事件，则他可能想要预先分配资源。在这两种情况中，在资源未使用时以及在事件之后，SRM2720释放未使用的QAM 2770资源。

第三，可以基于独立于先前历史的“变化率”来分配QAM 2770。例如，如果控制器2700认识到业务中的突然峰值，则它可以请求比所需要的更多的QAM带宽，以便在添加附加会话时避免QAM分配步骤。突然、意外的峰值的例子可以是作为节目一部分的按钮，用于指示如果用户选择此按钮则可以赢得奖品。

目前，对于要添加的每个会话来说，存在对SRM 2720的一个请求。作为替代，控制器2700可以请求整个QAM 2770或单个QAM带宽的大部分，并且允许本发明处理在该QAM频道2775内的数据。由于此***的一个方面是创建只有1、2或3Mb/sec的频道的能力，所以这通过利用单个请求代替高达27个请求而减少了对SRM 2720请求的数目。

当用户请求不同的内容时，即使他们已经处于活动会话中，所述用户也将经历延迟。目前，如果机顶盒2790处于活动会话中并且请求新的内容集合2730，则控制器2700必须告诉SRM 2720解分配QAM2770，于是控制器2700必须解分配会话处理器2750和内容2730，并且然后从SRM 2720请求另一QAM 2770并且然后分配不同的会话处理器2750和内容2730。作为替代，控制器2700可以改变用于馈送QAM调制器2770的视频流2755，由此把预先建立的路径保持原样。存在用于实现该改变的两种方式。第一，由于QAM调制器2770在网络上，因此控制器2700可以仅改变用于驱动QAM 2770的会话处理器2750。第二，控制器2700可以把到机顶盒2790连接的会话处理器2750保持原样，但是改变用于馈送到会话处理器2750的内容2730，例如，“CNN标题新闻”到“CNN现在世界”。这两种方法消除了QAM初始化和机顶盒调谐延迟。

从而，智能地管理资源以便使用于提供这些交互式服务所要求的设备量最小化。特别地，控制器可以操纵馈送到QAM 2770的视频流2755。通过仿型(profiling)这些流2755，控制器2700可以使QAM 2770内的频道使用最大化。也就是，它可以使每个QAM频道2775中的节目数目最大化，减少了浪费的带宽以及要求的QAM 2770的数目。存在仿型流的三种主要手段：公式化、预仿型和实况反馈。

第一仿型方法是公式化，由累加用于填充QAM频道2775的各个视频流的比特率组成。特别地，可以存在用于创建单个视频流2755的许多视频元素。每个元素的最大比特率可以被加到一起以获得视频流2755的聚合比特率。通过监视所有视频流2755的比特率，控制器2700可以创建视频流2755的组合，其最有效地使用QAM频道2775。例如，如果存在四个视频流2755：两个16Mb/sec并且两个20Mb/sec，则控制器可以通过为每个频道分配每个比特率之一来填充38.8Mb/secQAM频道2775。于是这将要求两个QAM频道2775递送视频。然而，在没有公式化仿型的情况下，所述结果可能以3个QAM频道2775结束，两个16Mb/sec视频流2755被组合到单个38.8Mb/sec QAM频道2775中，并且然后每个20Mb/sec视频流2755必须具有其自己的38.8Mb/sec QAM频道2775。

第二种方法是预仿型。在此方法中，内部接收或生成用于内容2730的仿型(profile)。可以在具有流的元数据中或者在独立文件中提供仿型信息。可以根据整个视频或根据代表样本来生成仿型信息。然后，控制器2700知道在流中各个时间的比特率，并且可以使用此信息来把视频流2755有效地组合在一起。例如，如果两个视频流2755均具有20Mb/sec的峰值速率，则它们可能需要被分配给不同的38.8Mb/secQAM频道2775，如果基于它们的峰值来为它们分配带宽的话。然而，如果控制器知道额定比特率是14Mb/sec并且知道它们各自的仿型，因此不存在同时的峰值，则控制器2700可以把流2755组合到单个38.8Mb/sec QAM频道2775中。特定的QAM比特率仅用于以上例子并且不应当被解释为限制性的。

用于仿型的第三种方法是经由***提供的反馈。***可以向控制器2700通知用于构建流的所有视频元素的当前比特速率以及在已经构建之后的流的聚合比特率。此外，它可以向控制器2700通知在存储的元件使用之前它们的比特率。使用此信息，控制器2700可以以最有效的方式来组合视频流2755以填充QAM频道2775。

应当注意，组合地使用三种仿型方法中的任何一些或全部也是可接受的。也就是，并未限制必须独立地使用它们。

所述***还可以解决资源本身的使用。例如，如果会话处理器2750可以支持100个用户并且目前存在350个活动的用户，则它要求四个会话处理器。然而，当要求下降到比如80个用户时，它把那些资源重新分配给单个会话处理器2750可能是有意义的，由此节省了三个会话处理器的剩余资源。这在故障情况中也是有用的。如果资源出现故障，则本发明可以把会话重新指配给其它可用的资源。以这种方式，对用户的打扰被最小化。

所述***还可以取决于预计的使用来重新规划功能。会话处理器2750可以实现多个不同的功能，例如处理视频、处理音频等。由于控制器2700具有使用历史，所以它可以调整会话处理器2700上的功能以满足预计的需求。例如，如果在下午开始一般存在对音乐的高度需要，则控制器2700可以预计该需要而重新指配附加的会话处理器2750来处理音乐。相应地，如果傍晚存在对新闻的高度需要，则控制器2700预计所述需要并且相应地重新指配会话处理器2750。***的灵活性和预见性使得它以最少量的设备提供最优的用户体验。也就是，没有设备是空闲的，这是因为它只具有单一用途并且该用途不是被请求的。

图28示出了管理广播内容卫星网络，其可以通过非管理IP网络向订户提供交互式内容。管理网络是通信网络，其中传送的内容仅由服务提供商而不是最终用户来确定。从而，服务提供商具有对所呈现的内容的管理控制。此定义独立于物理互连并且是逻辑关联的。实际上，两个网络可以在相同的物理链路上操作。在管理网络中，用户可以选择来自由服务供应商广播的多个频道的频道，但是整个内容由服务提供商确定并且所述用户无法访问在网络之外的任何其它内容。管理网络是封闭网络。非管理网络允许用户从除服务提供商之外的一方请求和接收内容。例如，因特网是非管理网络，其中与因特网通信的用户可以选择从多个源之一接收内容并且不受由因特网服务提供商(ISP)提供的内容的限制。管理网络例如可以是卫星网络、有线网络和IP电视网。

如图28所示，管理网络局2801在一个或多个指定频道上将广播内容上传到卫星2800。频道可以是独立的频率或者频道可以是借助分界符(即头部信息)相关在一起的数据的关联。接收卫星2800重传包括订户可以选择的多个频道的广播内容。在订户家的卫星接收机2802接收传输并且把所述传输转发到客户端设备2803，诸如机顶盒。客户端设备解码卫星传输并且提供所选择的频道以在订户的显示设备2804上观看。

在广播传输的广播内容内是一个或多个触发器。触发器是交互式内容的指示符。例如，触发器可以伴随广告，所述广告被***到广播内容内或者是包含广播内容的帧的一部分。触发器可以与一个或多个视频帧相关联并且可以被嵌入到一个或多个视频帧的头部内，取决于用于传送广播内容的介质可以是模拟传输信号的一部分或者是数字数据的一部分。响应于广告，用户可以使用诸如遥控装置之类的用户输入设备(未示出)来请求与广告相关的交互式内容。在其它实施例中，触发器可以自动地使交互式会话开始并且使用于接收内容的网络在管理和非管理网络之间进行切换。作为响应，客户端设备2803在从卫星网络2800接收广播内容2805和经由诸如因特网之类的非管理网络2806接收和传送内容之间进行切换。客户端设备可以包括用于接收和解码来自管理网络的传输的单个盒，并且还包括与非管理网络的双向通信。从而，客户端设备可以包括两个独立的接收机和至少一个发射机。客户端设备可以具有用于管理和非管理网络的单个共享处理器或者可以在客户端设备内具有独立的处理器。软件模块控制在两个网络之间的切换。

因而，软件模块是与两个网络通信的中央组件。在替代实施例中，对于管理和非管理网络可以采用独立的客户端解码盒，其中两个盒包括通信频道。例如，两个盒可以经由IP或UDP协议通信，其中第一盒可以向第二盒发送中断或者发送输出抑制信号。所述盒可以装备有发现代理，用于识别何时端口被连接在一起以及识别所有这两个盒以协商连接。通信频道允许两个盒通信使得可以切换盒的输出。从而，每个盒使用公共的通信协议操作，所述通信协议允许所述盒发送命令并且至少控制其它盒的输出端口。应当认识到，本实施例相对于基于卫星的***的描述只是用于示例性目的，并且该描述可以容易地被应用于包括管理和非管理网络的实施例。

当用户通过向客户端设备2802发送传输来请求交互式内容时，客户端设备2802提取该触发器并且通过非管理网络把所述触发器传送到处理局2810。处理局2810在查找表中查找交互式内容相关联的因特网地址或者从客户端设备接收到的传输中提取因特网地址。处理局通过因特网2830把请求转发到适当的内容服务器2820。交互式内容被返回到处理局2810并且处理局2810把交互式内容处理为与客户端设备2803兼容的格式。例如，处理局2810可以通过把缝合内容缩放为如上所述的MPEG视频流来编码转码。然后，视频流可以作为一系列IP分组通过非管理网络2806从处理局2810被传送到客户端设备2803。在此类实施例中，客户端设备2802包括卫星解码器以及用于经由非管理IP网络发送和接收通信的端口。当客户端设备2803接收到所请求的交互式内容时，所述客户端设备可以在输出卫星广播频道和输出经由非管理网络接收到的交互式内容之间进行切换。在某些实施例中，音频内容可以继续由卫星传输来接收并且在卫星通信频道和IP通信频道之间只切换视频。来自卫星传输的音频频道将与通过非管理IP网络接收到的视频混合。在其它实施例中，在管理和非管理网络之间切换音频和视频信号。

本领域普通技术人员应当认识到，触发器不必限于广告，而是可以涉及其它形式的交互式内容。例如，广播传输可以包括在体育事件期间的触发器，其允许用户检索关于进行体育事件的团队的统计数值的交互式内容。

在一些实施例中，当在传输内标识触发器时，如上所解释的自动地建立交互式会话并且合并来自两个或多个源的交互式内容。然后，交互式内容通过通信网络被提供到客户端设备并且被解码。从而，用户不需要在建立交互式会话之前向客户端设备提供输入。

在某些实施例中，客户端设备可以从管理和非管理网络两者接收内容并且可以把来自一个网络的信息用来自另一个网络的信息来替换。例如，广播内容可以利用广告可标识的***点(例如时间代码，头部信息等)在管理网络上传送。广播内容可以包含在***点处的广告并且客户端设备可以利用在管理网络上传送的广告来代替广播广告，其中客户端设备由于广告的长度而在管理和非管理网络之间进行切换。

图29示出了其中客户端设备2902通过管理网络2900接收广播内容并且交互式内容可以被请求并且通过非管理网络2901被提供的另一环境。在此实施例中，处理局2910经由有线***2900递送广播内容。广播内容可由用户基于与机顶盒2902的交互来选择，机顶盒2902支持多个广播节目之一的选择。一个或多个广播节目包括广播内(即在与广播相关联的头部内、在数字数据内或者在模拟信号内)的触发器。当客户端设备2910接收广播信号并且输出所选择的广播内容时，在客户端设备2902上运行的节目标识触发器并且把触发器存储在临时缓冲器中。如果触发器随着广播节目进展而改变，则客户端设备将更新缓冲器。例如，触发器可能具有期满时间。触发器可以与来自视频内容的多个视频帧相关联，并且因此在时间上是有限的。在其它实施例中，触发器可以被发送到处理局并且存储在上面。在此类实施例中，只需要为每个广播频道存储触发器的一个拷贝。

用户可以使用与客户端设备2902通信的用户输入设备(即遥控装置)来请求交互式内容。例如，客户端设备可以是机顶盒、媒体网关或视频游戏***。当客户端设备接收请求时，所述客户端设备通过访问用于保持触发器的临时缓冲器来识别与所述请求相关联的触发器。触发器可以只是通过非管理网络2901向上传递到处理局2910的标识符，或者触发器可以包含路由信息(即IP地址)。客户端设备2902连同客户端设备的标识符一起向处理局传送触发器。处理局2910接收对交互式内容的请求并且使用触发器标识符来访问包含IP地址列表的查找表，或者处理局通过因特网2930对位于内容服务器2920的交互式内容的IP地址发出请求。在客户端设备和处理局之间耦合的非管理网络可以被认为是因特网的一部分。交互式内容从因特网上的服务器或从内容服务器被发送到处理局。处理局把交互式内容处理为与客户端设备兼容的格式。交互式内容可以被转换为MPEG视频流，并且作为多个IP分组从处理局向下发送到客户端设备。MPEG视频流是服从MPEG的并且可以容易地被标准的MPEG解码器解码。交互式内容可以来源于一个或多个源并且内容可以被重新格式化、缩放和缝合在一起以形成一系列视频帧。交互式内容可以在组成交互式内容的一个或多个视频帧中包括静态元素、动态元素以及静态和动态元素两者。当客户端设备2902接收交互式内容时，客户端设备从管理网络接收的广播内容进行切换并且切换到从非管理网络接收交互式内容。客户端设备2902解码所接收到的交互式内容并且用户可以与交互式内容相交互，其中处理局从客户端设备接收对内容改变的请求。响应于所述请求，处理局检索内容，把所述内容编码为视频流并且经由非管理网络把所述内容发送到客户端设备。

在其它实施例中，用于导致请求交互式会话的触发器可以出现在广播内容以外。例如，所述请求可以响应于用户与诸如遥控装置之类的输入设备的交互产生。由遥控装置产生的信号被发送到客户端设备，并且所述客户端设备通过在管理网络上接收广播内容到在非管理网络上请求交互式会话之间进行切换来作出响应。交互式会话的请求通过通信网络被传送到处理局。处理局指配处理器并且在所述处理器和客户端设备之间协商连接。客户端设备可以是机顶盒、媒体网关、消费者电子设备或其它设备，其可以通过诸如因特网之类的网络传送遥控信号并且接收和解码标准MPEG编码的视频流。在处理局的处理器从两个或多个源采集交互式内容。例如，可以使用包括MPEG对象的AVML模板，并且可以从本地存储的源或可通过网络连接到达的源来检索MPEG视频内容。例如，所述网络可以是IP网络并且MPEG视频内容可以被存储在因特网内的服务器上。所指配的处理器使交互式内容被缝合在一起。然后，已缝合的内容经由网络连接被传送到客户端设备，所述客户端设备解码并向显示设备呈现已解码的内容。

作为例子，包括内部或外部QAM调谐器的电视接收广播有线电视信号。广播有线电视信号包括一个或多个触发器，或者用户使用输入设备来创建请求信号。电视在解码广播有线电视信号期间解析触发器或者从输入设备接收请求并且作为结果使信号被生成到与因特网(非管理网络)耦合的IP设备。电视抑制把广播有线电视信号输出到显示器。IP设备可以是独立的外部盒或者位于在电视内部，用于通过请求与位于因特网连接上的处理局的交互式会话来对触发器或请求信号作出响应。处理器由处理局指配并且在IP设备和所指配的处理器之间协商连接。所指配的处理器从两个或多个源生成交互式内容，并且产生MPEG基本流。MPEG基本流被传送到IP设备。然后，IP设备向电视输出MPEG基本流，所述电视解码交互式内容并将其呈现给电视显示器。响应于用户与输入设备的进一步交互，可以由所指配的处理器来实现基本流的更新。当用户决定返回到广播电视内容或者交互式内容完成时，电视暂停抑制广播电视内容信号并且所述电视解码广播电视信号并将其呈现给显示器。从而，作为触发器或请求信号的结果，***在管理网络和非管理网络之间进行切换，其中在远离电视的位置从两个或多个源创建交互式内容信号。

本领域普通技术人员应当认识到，前述实施例不局限于卫星和有线电视***，并且所述实施例可以同样地适用于IPTV网络，诸如使用电话***的IPTV网络。在此类实施例中，IPTV网络将是管理网络并且非管理网络将是到因特网的连接(例如DSL调制解调器，无线因特网网络连接；以太网因特网连接)。

本发明可以以许多不同的形式来体现，包括但绝不限于，用于与处理器(例如，微处理器，微控制器，数字信号处理器或通用计算机)一起使用的计算机程序逻辑，用于可编程逻辑器件(例如，现场可编程门阵列(FPGA)或其它PLD)一起使用的可编程序逻辑，分立组件，集成电路(例如，专用集成电路(ASIC))或包括其任何组合的任何其它装置。在本发明的一个实施例中，主要地是，所有重新排序逻辑可以被实现为计算机程序指令集合，所述计算机程序指令集合被转换为计算机可执行形式，被原样存储在计算机可读介质中，并且在操作***的控制下由阵列内的微处理器执行。

用于实现这里预先描述的所有或部分功能的计算机程序逻辑可以以各种形式来体现，包括但绝不限于源代码形式、计算机可执行形式以及各种中间形式(例如，由汇编器、编译器、网络符或定位符生成的形式)。源代码可以包括与各种操作***或操作环境一起使用的各种编程语言(例如，对象代码，汇编语言或高级语言，诸如FORTRAN，C，C++，JAVA或HTML)中的任何一种实现的一系列计算机程序指令。源代码可以定义并使用各种数据结构和通信消息。源代码可以是计算机可执行形式(例如，经由解释器)，或者源代码可以被转换为(例如，经由翻译器，汇编器或编译器)计算机可执行形式。

计算机程序可以以任何形式(例如，源代码形式、计算机可执行形式或中间形式)被永久地或暂时地固定在有形的储存介质中，诸如半导体存储设备(例如，RAM，ROM，PROM，EEPROM或闪速可编程的RAM)，磁存储器件(例如，盘片或固定盘)，光存储器设备(例如，CD-ROM)，PC卡(例如，PCMCIA卡)或其它存储设备。计算机程序可以以任何形式被固定在可使用各种通信技术中的任何一种传送到计算机的信号中，所述通信技术包括但绝不限于模拟技术、数字技术、光技术、无线技术、联网技术和网间互连技术。计算机程序可以以任何形式作为带有印刷或电子文档的可拆卸储存介质(例如，热塑软件或磁带)被分发，被预加载到计算机***(例如，在***ROM或固定盘上)，或者通过通信***(例如，因特网或万维网)从服务器或电子公告板被分发。

用于实现这里预先描述的所有或部分功能的硬件逻辑(包括用于与可编程逻辑器件一起使用的可编程序逻辑)可以使用传统的手动方法来设计，或者可以使用各种工具来设计、捕获、模拟或电子归档，所述工具诸如计算机辅助设计(CAD)、硬件描述语言(例如，VHDL或AHDL)或PLD编程语言(例如，PALASM，ABEL，或CUPL)。

虽然已经参考具体实施例特别示出并描述了本发明，但是本领域技术人员将理解，在不脱离如权项定义的本发明的精神和范围的情况下，其中可以在形式和细节上进行各种改变。对本领域技术人员来说将显而易见的是，用于全景的上述技术可以应用于已经作为非全景图像捕获的图像，并且反之亦然。

可以由权项没有限制地描述本发明的实施例。虽然在权项中已经按照过程步骤描述了这些实施例，但是在本发明中还包括这样的设备，所述设备包括具有能够执行在权项中的过程步骤并且具有相关联画面的计算机。同样，在本发明内还包括计算机程序产品，所述计算机程序产品包括用于执行权项中的过程步骤的计算机可执行指令并且被存储在计算机可读介质上。

Claims

1.一种用于通过非管理网络向与用户相关联的显示设备提供交互式内容的方法，所述显示设备通过管理网络接收广播视频内容，所述方法包括：

通过所述非管理网络从连接网络的客户端设备接收对交互式内容的请求；

通过所述非管理网络向所述连接网络的客户端设备发送具有交互式内容的第一编码数据流；

在从所述管理网络接收广播内容信号和从所述非管理网络接收具有交互式内容的所述第一编码数据流之间进行切换；以及

在所述用户的显示设备上输出所述交互式内容以显示。

2.根据权利要求1所述的方法，其中，所述广播内容信号包含多个广播节目。

3.根据权利要求2所述的方法，其中，所述联网的客户端设备选择性地输出广播节目之一。

4.根据权利要求1所述的方法，其中，所述管理网络具有单向传输路径。

5.根据权利要求1所述的方法，其中，所述管理网络是卫星网络。

6.根据权利要求1所述的方法，其中，所述管理网络是IP电视网络。

7.根据权利要求1所述的方法，其中，所述管理网络是有线电视网络。

8.根据权利要求1所述的方法，其中，所述非管理网络和所述管理网络通过单个通信链路操作。

9.根据权利要求1所述的方法，其中，所述交互式内容标识符是触发器。

10.根据权利要求9所述的方法，其中，所述触发器位于广播节目内。

11.根据权利要求9所述的方法，其中，所述触发器具有期满时间。

12.根据权利要求11所述的方法，进一步包括：

当从用户输入设备接收到交互式内容请求信号时，标识在所选择的广播节目内的所述触发器。

13.根据权利要求12所述的方法，其中，从所述客户端设备发送包括

在对交互式内容的用户请求内向处理局至少发送所述触发器的记号。

14.一种用于通过管理网络接收广播节目并且通过非管理网络请求和接收交互式内容的客户端设备，所述客户端设备包括：

管理网络端口，用于接收具有一个或多个相关联触发器的广播节目；

处理器，用于创建对交互式内容的请求，其中所述处理器基于与所述广播节目相关联的当前触发器来创建所述请求；

非管理网络端口，用于向处理局传送对交互式内容的所述请求并且用于从所述处理局接收所述交互式内容。

15.根据权利要求14所述的客户端设备，进一步包括：

用户输入接收机，用于接收用于表示交互式内容的选择的用户输入信号。

16.根据权利要求15所述的客户端设备，其中，当所述用户输入接收机从用户输入设备接收用户输入信号时，所述处理器创建对交互式内容的请求。

17.根据权利要求15所述的客户端设备，其中，响应于用户输入，所述处理器发送对更新的交互式内容的请求。

18.根据权利要求14所述的客户端设备，其中，不在所述客户端设备上渲染所述交互式内容。

19.根据权利要求14所述的客户端设备，进一步包括：

切换模块，用于响应于所述用户输入信号在所述管理网络端口和所述非管理网络端口之间进行切换。

20.根据权利要求14所述的客户端设备，其中，所述处理器在向显示设备输出所述交互式内容之前解码所述交互式内容。

21.根据权利要求14所述的客户端设备，其中，所述管理网络端口是卫星网络端口并且所述处理器解码从卫星传送的第一格式的广播节目。

22.根据权利要求21所述的客户端设备，其中，所述处理器解码以第二格式编码的交互式内容。

23.根据权利要求21所述的客户端设备，其中，所述用户输入接收机是用于从用户的遥控装置接收传输的红外接收机。

24.一种在计算机可读储存介质上具有计算机代码的计算机程序产品，所述计算机代码可与处理器一起操作以通过非管理网络向用户的显示设备提供交互式内容，所述计算机代码包括：

用于在客户端设备处通过管理网络接收包含交互式标识符的广播内容信号的计算机代码；

用于通过所述非管理网络基于所述交互式标识符从所述客户端设备发送对交互式内容的请求的计算机代码；

用于在所述客户端设备处从所述管理网络接收数据和从所述非管理网络接收数据之间进行切换的计算机代码；

用于在所述客户端设备处从所述非管理网络接收所请求的交互式内容的计算机代码；以及

用于输出所述交互式内容以在所述用户的显示设备上显示的计算机代码。

25.根据权利要求24所述的计算机程序产品，其中，所述广播内容信号包含多个广播节目。

26.根据权利要求24所述的计算机程序产品，进一步包括：

用于选择性地输出所述广播节目之一的计算机代码。

27.根据权利要求24所述的计算机程序产品，其中，所述管理网络是卫星网络。

28.根据权利要求24所述的计算机程序产品，其中，所述管理网络是IP电视网络。

29.根据权利要求24所述的计算机程序产品，其中，所述管理网络是有线电视网络。

30.根据权利要求24所述的计算机程序产品，其中，所述交互式标识符具有期满时间。

31.根据权利要求24所述的计算机程序产品，进一步包括：

用于当从用户输入设备接收到交互式内容请求信号时标识在所选择的广播节目内的所述交互式标识符的计算机代码。

32.根据权利要求24所述的计算机程序产品，其中，用于从所述客户端设备发送的所述计算机代码包括：

用于在交互式内容的用户请求内向处理局至少发送所述交互式标识符的记号的计算机代码。

33.根据权利要求1所述的方法，其中，所述客户端设备包括两个独立的附件，其中第一附件从所述管理网络接收数据并且第二附件从所述非管理网络传送和接收数据。

34.根据权利要求33所述的方法，其中，切换要求在所述第一附件和所述第二附件之间传送的信号。

35.一种用于向与客户端设备相关联的显示设备提供修改的视频内容的方法，所述客户端设备通过管理网络接收视频内容，所述方法包括：

在远离与订户相关联的客户端设备的位置接收视频内容信号的传输；

通过把至少一个其它视频信号连同所述视频内容信号缝合在一起来修改所述视频内容信号；

在非管理网络上向耦合到所述管理网络的客户端设备传送已修改的视频内容信号；

其中，已修改的视频内容信号包括信号分量，用来向所述客户端设备指示在从所述管理网络输出所述视频节目和在所述非管理网络上输出已修改的视频节目之间进行切换。

36.根据权利要求1所述的方法，其中，具有交互式内容的第一编码数据流包括广播内容。