CN1441929A

CN1441929A - 传送多媒体描述

Info

Publication number: CN1441929A
Application number: CN01812645A
Authority: CN
Inventors: 厄恩斯特·Y·C·万
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-07-10
Filing date: 2001-07-05
Publication date: 2003-09-10
Anticipated expiration: 2021-07-05
Also published as: WO2002005089A1; EP1299805A1; JP3880517B2; AUPQ867700A0; US20040024898A1; US20100138736A1; JP2004503191A; CN100432937C; EP1299805A4

Abstract

公开的是处理以标记语言(例如XML)描述的文档(20)的方法。开始，文档的结构(21a)和文本内容(21b)分开，然后结构(22)在文本内容(23)之前传输，例如通过以流的形式传送。在接收文本内容(23)之前开始解析接收到的结构(22)。同样公开的是一种从至少一个具有内容(31，32)和描述(33)分量的媒体对象形成流形式表示(37，38)的方法。表示描述(35)从媒体对象的至少一个分量描述产生(36)，然后被处理(34)以调度表示的分量描述和内容的传送，以产生与分量描述(38)和内容(37)相关联的基本数据流。也公开另一种形成具有内容和描述分量的至少一个媒体对象的流形式表示的方法。给出定义表示描述(56)的结构的表示模板(53)。然后模板应用(54)于相关媒体对象的至少一个描述分量(52)以从各个描述分量形成表示描述。然后表示描述与各个相关媒体对象(51)一起流编码以形成流形式的表示(57，58)，由此媒体对象可以使用表示描述来再现。

Description

传送多媒体描述

技术领域

本发明一般地涉及多媒体的发布，尤其涉及在不同类型的应用中多媒体描述的传送。本发明对正在演变的MPEG-7标准具有特殊的应用，但并不局限于此。

背景技术

多媒体可以定义为提供或访问媒体，例如文本，声音和图象，其中应用可以处理或操作一定范围的媒体类型。在期望访问视频的地方，应用总是必须处理声音和图象。这样的媒体经常伴有描述内容的文本，并且可能包括到其它内容的引用。因而，多媒体可以方便地认为是由内容和描述形成。描述典型地由元数据形成，元数据实际上就是用来描述其它数据的数据。

万维网(WWW或，“Web”)使用客户机/服务器模式。在Web上对多媒体的传统访问涉及各个客户机通过服务器访问可用的数据库。客户机将多媒体(内容和描述)下载到本地处理***，在本地处理***中，多媒体可以典型地通过借助于描述编译并重放内容来使用。描述是“静态的”，因为通常整个描述必须在客户机是可用的，以便内容或内容的部分可以再现。这种传统的访问在客户机请求和真实再现之间的延迟方面，以及当传送媒体分量时在服务器和链接服务器与本地处理***的任何通信网络上的零散加载方面是未决的。多媒体的实时传送和再现在这种方式中典型地无法得到。

正在演变的MPEG-7标准已经标识了MPEG-7描述许多可能的应用。多种MPEG-7“拉出”或取回应用，涉及客户机对数据库和音频-视频存档的访问。“推入”应用涉及内容选择和过滤并且在广播和新兴概念“互联网广播”中使用，在“互联网广播”中，传统地由无线电频率传播在空中广播的媒体在Web的结构化链路上广播。最基本形式的互联网广播，需要静态的描述和流形式的内容。但是互联网广播通常必须在可以接收任何内容之前下载整个描述。期望地，互联网广播需要与内容一起或者与内容相结合而接收的流形式的描述。两种类型的应用都从元数据的使用中获益匪浅。

Web可能是大多数人搜索和取得音频-视频(AV)内容的主要媒介。典型地，当定位信息时，客户机发出查询而搜引用擎在它的数据库和/或其它远程数据库中搜索相关内容。使用XML文档来构造的MPEG-7描述，能够使搜索更有效，因为在MPEG-7中使用的标准化描述符和描述方案清楚明白的语义。然而，期望MPEG-7描述仅仅形成在Web上可获得的所有内容描述的一(小)部分。人们希望MPEG-7描述可以用与Web上其它XML文档相同的方式搜索和取得(或下载)，因为Web用户不期望AV内容与描述一起下载。在一些情况下，可能需要的是描述而不是AV内容。在其它情况下，用户将希望在决定是否下载或以流形式传送内容之前检查描述。

MPEG-7描述符和描述方案仅仅是在Web上使用的(众所周知的)符号集的子集。使用XML的术语，MPEG-7描述符和描述方案是定义在MPEG-7名字空间中的元素和类型。进一步，Web用户将期望MPEG-7的元素和类型可以和其它名字空间的元素和类型一起使用。排除其它广泛使用的字符，并限制所有MPEG-7描述仅由标准化的MPEG-7描述符和描述方案以及它们的派生词组成，将使得MPEG-7标准过度地僵硬和不可用。一种广泛接受的方法是让描述包括来自多个名字空间的字符，并且允许应用处理应用理解的元素(来自任何名字空间，包括MPEG-7)而忽略那些不理解的元素。

为了使多媒体(例如MEGP-7)描述的下载和任何随后的存储更加有效，描述可以压缩。已经为XML提出许多编码格式，包括来源于无线应用协议(WAP)的WBXML。在WBXML中，经常使用的XML标记，属性和值从全局代码空间指定一组固定的代码。遍及文档实例重复的专用标记名，属性名和某些属性值从某些局部代码空间指定代码。WBXML保留XML文档的结构。没有在文档类型定义(DTD)中定义的内容和属性值可以以行或以字符串表格来存储。使用WBXML编码的一个实例在图1A和1B中显示。图1A描述XML源文档10如何由解释器14根据定义XML编码规则的各个代码空间12来处理。解释器14根据WBXML标准产生适合于通信的编码文档16。图1B给出由文档16形成的数据流中每个记号的描述。

当WBXML将XML标记和属性编码成记号时，在XML描述的任何文本内容上没有执行任何压缩。这可以使用传统文本压缩算法来实现，优选地利用XML模式和数据类型使得能够更好地压缩原始数据类型的属性值。

发明内容

本发明的一个目的是基本上克服，或者至少改进现有方案的一个或多个缺点以支持多媒体描述的流形式传送。

本发明的一般方面规定流形式的描述，并且规定将描述与AV(音频-视频)内容一起以流形式传送。当描述与AV内容一起以流形式传送时，流可以是“以描述为中心的”或者“以媒体为中心的”。流也可以用逆流通道单播或广播。

根据本发明的第一方面，给出一种方法，用于从至少一个具有内容和描述分量的媒体对象形成流形式的表示，所述方法包括步骤：

从所述至少一个媒体对象的至少一个分量描述产生表示描述；

处理所述表示描述以调度所述表示的分量描述和内容的传送，以产生与所述分量描述和内容相关的基本数据流。

根据本发明的另一个方面，公开一种方法，形成用于将内容和描述一起以流形式传送的表示描述，所述方法包括：

给出定义表示描述结构的表示模板；

将所述模板应用于至少一个相关媒体对象的至少一个描述分量以从每个所述描述分量形成所述表示描述，所述表示描述定义期望以流形式再现的描述分量和与所述期望描述相关的内容分量之间的顺序关系。

根据本发明的另一个方面，公开一种流形式的表示，包括散布于多个描述对象中的多个内容对象，所述描述对象包括可以从所述内容对象再现的多媒体内容的引用。

根据本发明的另一个方面，公开一种方法，用于传送XML文档，所述方法包括步骤：

划分文档将XML结构和XML文本分开；

在多个数据流中传送所述文档，至少一个所述流包括所述XML结构和至少另一个所述流包括所述XML文本。

依照本发明另一个方面，公开一种方法，用于处理以标记语言描述的文档，所述方法包括步骤：

将所述文档的结构和文本内容分开；

文本内容之前发送结构；

在接收文本内容之前开始解析接收到的结构。

本发明的其它方面也公开了。

附图说明

现在将参考附图描述本发明的至少一种实施方案，其中：

图1A和图1B显示XML文档现有技术编码的实例；

图2说明以流形式传送XML文档的第一方法；

图3说明“以描述为中心”的流的第二方法，其中流由表示描述驱动；

图4A说明现有技术的流；

图4B显示根据本公开内容一种实施的流；

图4C显示描述流的优选划分；

图5说明“以媒体为中心”的流的第三方法；

图6是设计者应用的一个实例；

图7是可以实现本公开内容一种实施的通用计算机的示意框图；

图8示意地表现MPEG-4流。

具体实施方式

期望的实施是建立在相关多媒体描述上的XML文档。XML文档主要以它们原始的文本格式来存储和传输。在一些应用中，XML文档使用一些传统文本压缩算法来压缩以存储和传输，并且在它们被解析和处理之前解压缩回XML。虽然压缩可以大大地减小XML文档的大小，并且因而减少读和传输文档的时间，但是应用仍然必须在文档可由被解析和处理之前接收整个XML文档。传统的XML解析程序期望XML文档是合式的(即文档具有匹配的和非交叠的开始标记和结束标记)，并且不能够完成XML文档的解析直到接收整个XML文档。流形式的XML文档增加的解析不能使用传统的XML解析程序来执行。

以流形式传送XML文档允许一旦接收到XML文档足够多的部分就开始解析和处理。这种能力在窄带通信链路和/或具有非常有限资源的设备的情况下非常有用。

完成XML文档增加的解析的一种方法是以宽度优先或深度优先的方式发送XML文档的树型层次(例如文档的主要对象模型(DOM)表示)。为了使这一处理更有效，文档的XML(树型)结构可以和文档的文本分量分开，编码，并在文本之前发送。XML结构对于为解释文本而提供上下文是关键的。将两个分量分开允许解码器(解析程序)更快地解析文档的结构并忽略不需要或者不能解释的元素。这种解码器(解析程序)可选地可以选择不缓冲在后一阶段到达的任何不相关文本。解码器是否将编码的文档转换回XML依赖于应用。

XML结构对于文本的解释非常重要。另外，因为对结构和文本通常使用不同的编码方案，一般而言，比文本内容有更少结构信息，所以两个(或多个)独立流可以用于传送结构和文本。

图2显示一种以流形式传输XML文档20的方法。首先，文档20转换成DOM表示21，然后以深度优先的方式以流形式传输。由DOM表示21的树21a描绘的文档20的结构，和文本内容21b，被分别编码成两个独立的流22和23。结构流23由代码表24开头。每个编码的结点25，代表DOM表示21的一个结点，具有表示它大小的大小域，该大小包括相应子孙结点的总大小。在适当的地方，编码的叶子结点和属性结点包含指向它们在文本流23中相应的编码内容27的指针26。文本流中每个编码的串由表示串大小的大小域开头。

并不是所有的多媒体(例如MPEG-7)描述都需要与内容一起以流形式传送或者用作表示。例如，电视和电影档案存储几种不同格式，包括模拟磁带的大量多媒体材料。将电影的描述和真实的电影内容一起以流形式传送，其中电影记录在模拟磁带上，是不可能的。类似地，将病人医疗记录的多媒体描述看作多媒体表示是没有意义的。作为类比，同步多媒体综合语言(SMIL)表示本身是XML文档，但并不是所有的XML文档都是SMIL表示。事实上，只有非常少的XML文档是SMIL表示。SMIL可以用于创建表示脚本，该表示脚本使局部处理器能够编译来自多个局部文件或资源。SMIL指定定时和同步模型，但是不具有对内容或描述流的任何内部支持。

图3显示将描述和内容以流形式传送的方案30。显示了多个多媒体资源包括音频文件31和视频文件32。与资源31和32相关的是描述33，每个典型地由多个描述符和描述符关系形成。重要地，在描述33和内容文件31和32之间不需要一对一的关系。例如，单个描述可以涉及多个文件31和/或32，或者任何一个文件31或32可以具有与其关联的不止一个描述。

如在图3中看到的，表示描述35用来描述期望通过以描述为中心的流再现的多媒体表示的时间行为。表示描述35可以通过使用编辑工具和标准化表示描述方案36手工地或者交互式地创建。方案36使用元素和属性来定义多媒体对象和期望的多媒体表示的布局之间的超链接。表示描述35可以用来驱动流处理。优选地，表示描述是使用基于SMIL描述方案的XML文档。

编码器34，使用表示描述方案36的知识，解释表示描述35，以构造期望的多媒体表示的内部时距图。时距图形成各种资源之间的表示调度和同步关系的模型。使用时距图，编码器34调度所需要的分量的传送，然后生成可以传输的基本数据流37和38。优选地，编码器34将内容的描述33划分成多个数据流38。编码器34优选地通过构造URI表来操作，URI表将包含于AV内容31，32和描述33中的URI-引用映射到相应的基本(比特)流37和38中的局部地址(例如偏移量)。已经传输的流37和38接收到解码器(没有显示)，解码器当试图解码任何URI-引用时使用URI表。

在一些实施中，表示描述方案36可以基于SMIL。MPEG-4中的当前发展使得基于SMIL的表示描述能够处理成MPEG-4流。

MPEG-4表示由场景组成。MPEG-4场景遵循称作场景图的分层结构。场景图的每个结点是复合或原始媒体对象。复合媒体对象将原始媒体对象分组在一起。原始媒体对象对应于场景图中的叶子，并且是AV媒体对象。场景图不需要是静态的。结点属性(例如定位参数)可以改变，结点可以增加，替换或删除。因此，场景描述流可以用来传输场景图和对场景图的更新。

AV媒体对象可以依赖于在一个或多个基本流(ES)中传送的流形式的数据。与一个媒体对象相关联的所有流由一个对象描述符(OD)来标识。但是，表示不同内容的流必须通过不同的对象描述符来引用。额外的辅助信息可以以文本形式作为OCI(对象内容信息)描述符附着于对象描述符。将OCI流附着于对象描述符也是可能的。OCI流传送一组由它们的开始时间和持续时间限定的OCI事件。MPEG-4表示的基本流在图8中示意地说明。

在MPEG-4中，关于AV对象的信息使用对象内容信息(OCI)描述符或流来存储和传输。AV对象包括到相关OCI描述符或流的引用。如在图4A中看到的，这种方案需要描述和内容之间特定的时间关系以及AV对象和OCI之间一对一的关系。

但是，典型地，多媒体(例如MPEG-7)描述不是为特殊的MPEG-4AV对象或场景图而编写，并且事实上在没有任何构成表示的MPEG-4AV对象和场景图的知识的情况下编写。描述通常给出AV内容信息的高级示图。因此，描述的时间范围可能与MPEG-4AV对象和场景图的时间范围不对齐。例如，由MPEG-7描述所描述的视频/音频段可能不对应于任何MPEG-4视频/音频流或场景描述流。这个段可能描述一个视频流的最后部分和下一个视频流的开始部分。

本公开内容给出更灵活和一致的方法，其中多媒体描述，或它的每个部分，看作另一类AV对象。简而言之，象其它AV对象一样，每个描述将具有它自己的时间范围和对象描述符(OD)。场景图被扩展以支持新的(例如MPEG-7)描述结点。有了这样的结构，将具有不同时间范围子段的多媒体(例如MPEG-7)描述段作为单一数据流或者作为独立的流发送，而不管其它AV媒体对象的时间范围是可能的。这一任务由编码器执行，这一结构的实例在图4B中显示，其应用于图4A的MPEG-4实例。在图4B中，OCI流也用来包含所需要的相关描述段和其它AV对象特殊信息的引用。

以与其它AV对象相同的方式对待MPEG-7描述也意味着它们都可以映射到表示描述方案36的媒体对象元素，并受以相同的定时和同步模型。特别地，在基于SMIL表示描述方案36的情况下，可以定义新的媒体对象元素，例如<mpeg7>标记。可选地，MPEG-7描述可以看作特殊类型的文本(例如以斜体表示)。注意，一组公共媒体对象元素<video>，<audio>，<animation>，<text>等在SMIL中预定义。描述流可能进一步分成结构流和文本流。

在图4C中，显示包括音频流41和视频流42的多媒体流40。也包括高级场景描述流46，其包括媒体对象的(复合或原始)结点并且具有指向构成对象描述符流47的对象描述符OD的叶子结点(叶子结点是原始媒体对象)。也显示许多低级描述流43，44和45，每个都具有指向或链接到对象描述流47对象的分量，音频和视频流41和42也一样。这种面向对象的流将内容和描述都看作媒体对象，所以描述和内容之间时间上的不规则关系可以通过构造成流的时间对象描述来调节。

上面将描述和内容一起以流形式传送的方法适用于描述和内容具有某种时间关系的情况。一个这样的实例是电影中特殊场景的描述，其规定观察的多个摄像机物镜视角，从而允许观察者访问多个视频流，而事实上其中只有一个视频流可以在实时进行的电影中被观察到。这和与流形式的内容没有可定义的时间关系任意描述形成对照。这样的实例可以是电影报纸评论家的文本评论。这样的评论可以产生文本引用，与到场景和人物的时间和空间引用相反。将任意描述转换成表示是重要的(并且经常不可能)的任务。AV内容的大多数描述不是在脑中有表示的情况下写出的。他们简单地描述内容以及它与其它对象在不同粒度级和从不同观点的关系。从没有使用表示描述方案36的描述产生表示涉及任意决策，最好通过用户操作特殊的应用来作，这与表示描述35的***的产生相反。

图5显示本发明称作“以媒体为中心”的将描述和内容一起以流形式传送的另一种方案50。AV内容51和内容51的描述52提供给设计者54，也和表示模板53一起输入，并且具有表示描述方案55的知识。虽然内容51显示视频而它的音频轨道作为初始的AV媒体对象显示，初始的AV对象可以实际地为多媒体表示。

在以媒体为中心的流中，AV媒体对象提供AV内容51和最终表示的时间线。这与以描述为中心的流相反，在以描述为中心的流中表示描述提供表示的时间线。与AV内容相关的信息由设计者54从内容的一组描述52拉入，并在最终的表示中与内容一起传送。从设计者54输出的最终表示是以基本流57和58的形式，与先前图3中的结构相同，或者作为所有相关内容的表示描述56。

表示模板53用来指定所需要的描述元素以及应该为最终的描述省略的那些描述元素的类型。模板53也可以包含关于所需要的描述应该如何并入表示的指示。现有的语言例如XSL变换(XSLT)可以用于指定模板。设计者54，可以作为软件应用来实现，解析描述内容的一组所需要的描述，并且释放所需元素(以及任何相关子元素)以将元素并入表示的时间线。所需元素优选地是包含关于对表示有用的AV内容的描述信息的那些元素。另外，由所选元素(由IDREF或URI-引用)指向的元素(来自相同的一组描述)也被包括并且在它们的相关引用元素(它们的“指向者”)之前以流形式传送。所选元素又由它引用的元素来引用(直接地或者间接地)是可能的。所选元素具有到另一个所选元素的向前引用也是可能的。适当的搜索法可用来确定这种元素以流形式传送的顺序。也可以配置表示模板53以避免这种情况。

设计者54可以直接产生基本流57，58，或者将最终表示作为符合已知表示描述方案55的表示描述56来输出。

图6是显示设计者应用54如何使用基于XSLT的表示模板60来从电影描述62提取所需的描述段以生成类似SMIL的表示描述64(或表示脚本)的实例。SMIL的<par>容器指定将要并行出现的一组媒体对象的开始时间和持续时间。在表示描述64中作为例子显示的<mpeg7>元素标识MPEG-7描述段。描述可以内联给出或由URI引用指向。src属性包含到相关描述(段)的URI引用。表示描述64的content属性描述所包括的描述的上下文。特殊的元素，例如<tmpeg7>标记可以在表示描述方案55中定义，用于指定可以独立地和/或在表示描述64中的不同时间以流形式传送的描述段。

表示描述方案36和55的使用，每个都作为多媒体表示编辑语言，连通了所描述的以描述为中心和以媒体为中心的流的两种方法。方案36和55也允许应用和***层之间清晰的分离。特别地，图5的设计者应用54，当表示作为(表示)描述56输出时，允许描述56用作图3方案中的输入表示描述35，从而允许位于***层的编码器34从表示描述56生成所需的基本流37，38。

在将描述与AV内容一起以流形式传送的情况下，是否需要非常有效的压缩描述的方法是有疑问的，因为与AV内容的大小相比，描述的大小可能无关紧要。然而，描述的流形式传送仍然是必须的，因为在AV内容之前传输(并在广播，重复的情况下)整个描述可能导致高等待时间并需要在解码器有大的缓冲区。

对于形成部分多媒体表示的描述，可能出现相应的内容沿着表示的时间线改变。但是，描述实际上并不是“动态的”(即它不随时间改变)。更恰当地，来自不同描述或者描述的不同部分的不同信息在不同的时间传送和并入表示。实际上，如果可以获得足够的资源和带宽，所有“静态的”描述都可以同时发送到接收器，以在随后的时间并入表示。然而，在表示过程中传送和表示的信息可以认为生成短暂的“动态”描述。

如果从一个时间实例到下一个时间实例所给出的信息的大部分保持不变，可以发送更新以使改变生效而不重复不变的信息。给出的元素可以像其它AV对象一样用开始时间和持续时间(或结束时间)来标记。其它属性例如元素的位置(或上下文)也可以指定。一种可能的方法是使用SMIL的扩展，用于指定AV对象和描述(段)的定时和同步。

例如，与足球队的视频剪辑一起的描述段可以根据下面类似SMIL的XML代码的实例1来指定：

实例1：

    ＜！--在队伍的视频剪辑过程中，队伍的描述是相关的--＞

    ＜par                    begin＝”teamAIntroductionVideo.begin”
end＝”teamAIntroductionVideo.end”＞

　　＜text
src＝”soccerTeam/teamA.xml#pointer(/soccerTeam/teamInfo)”

　　     context＝”/soccerTeam/teamInfo”/＞

　　＜！--给出运动员的描述，每个持续15秒--＞

　　＜seq＞

　　＜text
src＝”soccerTEam/teamA.xml#xpointer(/soccerTeam/player[1])”

　　      dur＝”15s”context＝”/soccerTeam/player”/＞

　　＜text
src＝”soccerTEam/teamA.xml#xpointer(/soccerTeam/player[2])”

　　      dur＝”15s”context＝”/soccerTeam/player”/＞

　　…
				
				<dp n="d11"/>
　　＜/sep＞

　　＜/par＞

到“动态”描述的更新必须小心应用。部分更新可能使描述处于不一致的状态。对于视频和音频，因为在Web上传输过程中数据报丢失通常作为噪声出现，或者甚至未被注意到。但是不一致的描述可能导致具有严重后果的错误解释。例如，在气象报告中，如果在描述的城市元素从“东京”更新成“悉尼”之后，到温度元素的更新丢失了，描述将把东京的温度作为悉尼的温度来报告。作为另一个实例，如果更新了流形式的视频游戏的近似飞行器的坐标，描述的分类元素丢失了，那么“友好的”飞行器可能错误地标记为“敌对的”。

仍然作为另一个实例，显示在下面的实例2中，在销售目录中的项目号可能变成用错误价格来标记。因此，到描述的所有相关更新必须立刻应用，或者在明确定义的时段中应用，或者根本不应用。例如，在下面销售目录的实例中，每10秒钟，给出新项目的匹配描述和价格。SMIL元素par用来容纳所有的相关描述元素。新的sync属性用来确保匹配的描述和价格将给出或根本不给出。dur属性确保信息应用于适当时段，然后从显示中移去。

实例2：

　　＜！--

　　销售目录。销售的每个项目呈现10秒钟。可以指定更复杂

　　的同步模型，例如，每个par容器的开始和结束时间可以与项目

　　的视频剪辑的开始和结束时间一起同步。

　　--＞

　　＜seq＞

　　＜par dur＝”10s”sync＝”true”＞

　　＜text
src＝”products.xml#xpointer(/products/item[1]/description)”

　　       context＝”/products/item/description”/＞

　　＜text src＝”products.xml#xpointer(/products/item[1]/price)”
				
				<dp n="d12"/>
　　    context＝”/products/item/price”/＞

　　＜/par＞

　　＜par dur＝”10s”sync＝”true”＞

　　＜text
src＝”products.xml#xpointer(/produets/item[2]]/description)”

　　       context＝”/products/item/description”/＞

　　＜text src＝”products.xml#xpointer(/products/item[2]/price)”

　　     context＝”/products/item/price”/＞

　　＜/par＞

　　…

　　＜/seq＞

流解码器必须缓冲元素的同步组，并将它们作为整体应用。可以容忍丢失的信息，只要不完整的信息是一致的，并且sync属性将不需要。在这种情况下，相关元素也可以在一段时间上传送和/或给出。这可以使用下面实例3来说明：

实例3：

　　＜！--

　　销售目录。销售的每个项目呈现10秒钟。价格只在它的描

　　述之后3秒钟可用。(N.B.只有当元素直接映射屏幕上的文本时，

　　涉及一组更新的定时信息才有用。)

　　--＞

　　＜seq＞

　　＜par dur＝”10s”＞

　　＜text
src＝”products.xml#xpointer(/products/item[1]/description)”

　　      region＝”description”

　　      context＝”/products/item/description”/>

　　＜text src＝”products.xml#xpointer(/products/item[1]/price)”

　　      region＝”price”
				
				<dp n="d13"/>
　　    context＝”/products/item/price”

　　    begin＝”3s”/＞

　　＜/par＞

　　＜par dur＝”10s”＞

　　＜text
src＝”products.xml#xpointer(/products/item[1]/description)”

　　      region＝”description”

　　      context＝”/products/item/description”/＞

　　＜text src＝”products.xml#xpointer(/products/item[1]/price)”

　　      region＝”price”

　　      context＝”/products/item/price”

　　      begin＝”3s”/＞

　　＜/par＞

　　…

　　＜/seq＞

在***层决定到文档树的什么更新被涉及和应当被分组而没有来自描述的任何提示，如果不是不可能的，也是非常困难的。因此，当***层可以允许更新在数据流中分组并给出方法(例如在上面表示描述实例中的syn属性)以允许应用程序指定这种分组时，确切分组应该留给特殊的应用。

如果可以获得从客户机到服务器的逆流通道，客户机可以选择为任何丢失或损坏的更新包而向服务器发信号并要求那些更新包重新传输，或者忽略整组更新。

在描述与AV内容一起广播的情况下，描述的XML结构和文本期望地应该以描述与AV内容相关的整个过程中以规则的间隔重复。这允许用户在没有预先确定的时间访问(或进入)描述。描述不需要象AV内容一样经产重复，因为描述并不经产改变，同时，在解码器端较少地消耗计算资源。然而，描述应当足够频繁地重复使得用户在进入广播节目之后能够使用描述而没有可察觉的延迟。如果描述以与它被重复相同的频率，或者较低的频率改变，那么“动态”更新描述的能力是重要的或实际需要的这一点是有问题的。

上面所描述的将描述与内容一起以流形式传送的方法可以使用通用计算机***700，例如图7中所显示的计算机***来实现，其中图2～6的处理可以作为软件来实现，例如在计算机***700中执行的应用程序。特别地，方法的步骤由计算机所执行的软件中的指令来实现。软件可以划分成两个独立的部分；一个部分用于执行编码/设计/以流形式传送的方法；而另一个部分管理前者和用户之间的用户接口。软件可以存储在计算机可读介质中，包括下面作为例子描述的存储设备。软件从计算机可读介质载入计算机，然后由计算机执行。记录有这种软件或计算机程序的计算机可读介质是一种计算机程序产品。计算机程序产品在计算机中的使用优选地实现了依照本发明实施方案的将描述与内容一起以流形式传送的有利装置。

计算机***700包括计算机模块701，输入设备例如键盘702和鼠标703，输出设备包括打印机715和显示设备714。调制-解调(Modem)收发设备716由计算机模块701使用，用于与通信网络720通信，例如可以通过电话线721或者其它功能介质来连接。调制解调器716可用来获得到因特网和其它网络***，例如局域网(LAN)或广域网(WAN)的访问。正是通过设备716，流形式的多媒体可以从计算机模块701广播或互联网广播。

计算机模块701典型地包括至少一个处理部件705，一个存储器部件706，例如由半导体随机存储器(RAM)和只读存储器形成的存储器部件，输入/输出(I/O)接口包括视频接口707，键盘702和鼠标703以及可选地游戏杆(没有显示)的接口，以及调制解调器716的接口708。存储设备709被给出并典型地包括硬盘驱动器710和软盘驱动器711。磁带驱动器(没有显示)也可以使用。CD-ROM驱动器712典型地作为非易失性数据源给出。计算机模块701的各组件705～713，典型地通过连通的总线704来通信，并采用导致计算机***700方便操作模式的方式，其中计算机***700是相关领域技术人员众所周知的。可以实现实施方案的计算机平台的实例包括IBM-PC及其兼容机，Sun Sparc工作站或从其发展的类似计算机***，特别地当作为服务器形式给出时。

典型地，优选实施方案的应用程序位于硬盘驱动器710上，并且在它执行过程中由处理器705读取和控制。程序和任何从网络720取来的数据的中间存储器可以使用半导体存储器706来实现，可能与硬盘驱动器710一致。硬盘驱动器710和CD-ROM712可以形成多媒体描述和内容信息的源。在一些实例中，应用程序可以编码在CD-ROM712或软盘上提供给用户，并通过相应的驱动器712或711来读取，或者可选地可以由用户通过调制解调器716从网络720上读取。更进一步，软件也可以从其它计算机可读介质载入计算机***700，这些介质包括磁带，ROM或集成电路，磁光盘，计算机模块701和其它设备之间的射频或红外线传输通道，计算机可读卡例如PCMCIA卡，以及因特网和内部网包括电子邮件传输和记录在互联网站点上的信息等等。上述的只是相关计算机可读介质的示范。也可以实践其它计算机可读介质而不背离本发明的范围和精神。

流方法的一些方面可以在专用硬件例如执行所描述的功能或子功能的一个或多个集成电路中实现。这些专用硬件可以包括图形处理机，数字信号处理机，或者一个或多个微处理器及相关存储器。

工业实用性

从上面明显看出，本发明的实施方案可以适用于多媒体内容和描述的广播，并与计算机，数据处理和电信工业直接相关。

上面的描述仅是本发明的一些实施方案，可以对其作修改和/或改变而不背离本发明的范围和精神，实施方案是说明性的且不是限制性的。

Claims

1.一种方法，用于从具有内容和描述分量的至少一个媒体对象形成流形式的表示，所述方法包括步骤：

2.根据权利要求1的方法，其中所述处理进一步包括将所述分量描述编入多个所述数据流。

3.根据权利要求1的方法，其中所述表示描述包括到所述描述分量的引用，并且所述描述分量与所述至少一个媒体对象一起形成流的形式。

4.根据权利要求1的方法，其中所述表示描述通过导入所述描述分量来形成，并且所述产生仅将所述表示描述和所述至少一个媒体对象形成流的形式。

5.一种方法，用于形成具有内容和描述分量的至少一个媒体对象的流形式的表示，所述方法包括步骤：

给出定义表示描述的结构的表示模板；

将所述模板应用于至少一个相关媒体对象的至少一个描述分量以从每个所述描述分量形成所述表示描述；以及

将所述表示描述与每个所述相关媒体对象一起进行流编码以形成所述流形式的表示，由此所述至少一个媒体对象可以使用所述表示描述来再现。

6.一种形成流形式的表示描述的方法，用于将内容和描述一起形成流形式，所述方法包括下列步骤：

给出定义表示描述的结构的表示模板；

将所述模板应用于至少一个相关媒体对象的至少一个描述分量以从每个所述描述分量形成所述表示描述，所述表示描述定义期望以流形式再现的描述分量和与所述期望的描述相关的内容分量之间的顺序关系。

7.根据权利要求6的方法，进一步包括将所述表示描述应用于权利要求1的方法。

8.根据权利要求1，5或6的方法，其中所述的流形式的表示包括具有至少一个引用描述对象的结点的描述树。

9.根据权利要求8的方法，其中所述流形式的表示进一步包括引用至少一个所述媒体对象的至少一个另外的结点。

10.根据权利要求1，5或6的方法，其中所述流编码包括：

解析所述表示描述以形成多个表示顺序描述对象，每个所述描述对象可以与至少一个相关媒体对象联合；

形成所述描述对象及相关的所述相关媒体对象的流序列，所述流序列是所述流形式的表示。

11.根据权利要求10的方法，其中所述描述对象和所述相关媒体对象之间的关系由形成部分所述流形式的表示的另外的对象来定义，每个所述另外的对象包括一个树结构，其具有每个都引用至少一个所述描述对象和所述媒体对象的结点。

12.根据权利要求1，5或6的方法，其中所述表示描述包括描述以时间顺序方式再现为目标的内容的XML文档。

13.根据权利要求1，5或6的方法，其中所述表示描述通过改进用于指定所述媒体对象和所述描述的定时和同步的SMIL描述来形成。

14.一种流形式的表示，包括散布于多个描述对象中的多个内容对象，所述描述对象包括对可以从所述内容对象再现的多媒体内容的引用。

15.一种流形式的多媒体表示，包括第一流，表示所述表示的树型结构，至少一个第二流，具有每个都是从所述树型结构引用的对象描述符，至少一个第三流，包括从所述对象描述符引用并且以在所述表示中再现为目标的内容，以及至少一个第四流包括从所述对象描述符引用的所述内容的描述。

16.根据权利要求15的流形式的表示，其中所述第三流包括一个MPEG-4基本流。

17.根据权利要求16的流形式的表示，其中所述第二流包括对象内容信息流，其具有表示于所述第四流中的URI的引用MPEG-7信息。

18.一种方法，用于传送XML文档，所述方法包括步骤：

划分文档以将XML结构和XML文本分开；

在多个数据流中传送所述文档，至少一个所述流包括所述XML结构，并且至少另一个所述流包括所述XML文本。

19.根据权利要求18的方法，其中所述划分包括将所述XML文档转换成树型表示。

20.根据权利要求19的方法，其中所述树型表示以宽度优先方式来划分。

21.根据权利要求19的方法，其中所述树型表示以深度优先方式来划分。

22.一种方法，用于处理以标记语言描述的文档，所述方法包括步骤：

将所述文档的结构和文本内容分开；

在文本内容之前发送结构；

在接收文本内容之前开始解析接收到的结构。

23.根据权利要求22的方法，进一步包括，如果发现它是不需要的或者不能解释为相应结构的解析结果，则忽略接收的文本内容的步骤。

24.根据权利要求23的方法，其中所述忽略步骤包括禁止对要被忽略的文本进行缓冲存储。

25.根据权利要求22的方法，其中标记语言是XML。

26.根据权利要求22的方法，其中所述分离步骤包括将结构和文本内容编码成两个独立的流。

27.根据权利要求26的方法，其中所述文档形成为树型层次表示，并且所述分离步骤进一步包括以深度优先方式解释所述文档以形成所述两个流。

28.根据权利要求26的方法，其中所述文档形成为树型层次表示，并且所述分离步骤进一步包括以宽度优先方式解释所述文档以形成所述两个流。

29.用于执行权利要求1～12或17～28中任何一个的方法的装置。

30.一种计算机可读介质，程序记录于其上，其中程序被配置为使计算机执行一个过程形成流形式的表示，所述过程根据权利要求1～12或17～28中任何一个的方法。

31.一种方法，用于形成基本上如同在此参考附图2，3和4C所描述的具有流形式描述的流形式表示。

32.一种方法，用于形成基本上如同在此参考附图2，5和4C所描述的具有流形式描述的流形式表示。

33.一种基本上如同在此参考附图4B或4C所描述的流形式的表示。