CN102177484B

CN102177484B - 提供基于结构化富媒体数据的用户界面的装置和方法

Info

Publication number: CN102177484B
Application number: CN200980139814.0A
Authority: CN
Inventors: 黄棲煐; 朴勍模; 宋在涓; 李国熙
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2008-10-10
Filing date: 2009-10-09
Publication date: 2014-05-07
Anticipated expiration: 2029-10-09
Also published as: CN102177484A; EP2335135A4; KR20100040545A; US20100095228A1; WO2010041887A3; WO2010041887A2; EP2335135A2

Abstract

提供一种用于提供基于结构化富媒体的用户界面(UI)的装置和方法，用于产生具有由包括多样化多媒体和交互的富媒体数据组成的结构化UI格式的状况自适应UI，该UI格式。创建包括首标和场景数据的UI格式。首标包括关于该UI的基本信息，而且场景数据包括该UI。编码UI格式。发送已编码的UI格式。首标进一步包括初始信息、配置信息、和布局信息。

Description

提供基于结构化富媒体数据的用户界面的装置和方法

技术领域

本发明一般涉及图形用户界面(UI)，且更具体地，涉及用于提供基于结构化富媒体的UI的装置和方法，其能够产生具有由包括多样化多媒体和交互的富媒体数据组成的结构化UI格式的状况自适应UI。

背景技术

UI是创建用于用户与***(机器、计算机程序等)之间的临时或经常的交互的物理或虚拟媒介。UI提供由用户用于操作***的输入手段、以及由***用于指示用户的操作的效果的输出手段。UI是厂商特定的专有技术。因此，它们一般仅操作于厂商生产的设备，并且未经许可不能被再现或修改。

由于用户的需要及由此对应的服务提供商已经多样化、以及不同的媒体(包括视频、语音、数据等)、服务和网络已经融合的事实，需要公共的用户友好界面。该公共界面将操作于异构的、甚至于远程的设备中而超出传统的单个UI用于单个设备的概念。术语用户友好意味着用户、甚至于初学者需要很少的训练来利用UI处理设备和服务。

用户与设备之间的交互已经从用户与设备之间执行的简单动作演进为智能的行为，其能够识别用户的状况并且基于用户的状况依据关于用户能够做什么、想做什么、以及必须做什么的信息来提供服务。该新UI不同于考虑用户和设备的能力以提供服务并且使用户适应或学习设备和功能的传统的用户为中心的界面。具体地，新UI意图提供更知晓上下文的交互式界面。

当前的技术倾向已经关注于富媒体服务的开发，其中以集成的格式提供包括文字、音频、视频、图片、图形的各种媒体内容。正式地称为ISO/IEC14496-20(MPEG-420)的轻量级应用场景表示(LASeR)、以及称为ISO/IEC14496-11(MPEG-411)的用于场景的二进制格式(BIFS)是代表性的富媒体服务标准。

富媒体服务使用诸如场景描述、视频、音频、图像、字体、文本、元数据、和脚本的数据连同各种多媒体元素的自由表示、以及与用户的交互作用一起提供富集的内容。

图1是说明接收传统富媒体服务的终端的操作的流程图。

参考图1，终端在步骤100接收LASeR，并且在步骤110解码LASeR服务的LASeR内容。终端检查包含在解码的LASeR内容中的LASeR命令。在步骤120由终端执行LASeR命令，并且处理事件以按照预定的格式向用户提供LASeR内容。终端在步骤130通过视频和/或音频处理手段(例如，通过渲染场景)来输出LASeR内容。

LASeR内容可以表示为表1中提供的句法。

表1

参考表1，终端在每次执行LASeR命令(<NewScene>)时渲染和显示包含在对应的LASeR命令中的场景(<svg></svg>)。

发明内容

技术问题

由于传统UI仅是用于用户与终端之间的交互的工具，所述交互是通过诸如键击和按压按钮的动作来执行。然而，用户行为以及五种感觉(即，听觉、视觉、触觉、嗅觉、和味觉)的活动将很快被用作交互的工具。同样，简单的图形UI正演进为包括用户可消费的内容，其扩展到诸如所见即所得(WYSIWYG)界面的用户可配置界面之外。该内容向用户提供类似于最终结果的视图同时该界面被装饰和配置。

因此需要基于富媒体技术使用多样化多媒体元素动态提供支持自由表示和终端-用户交互的富媒体UI。考虑到终端能力和特征、以及用户和终端的服务环境和条件，同样需要提供这样的UI。

技术方案

本发明已经实现来解决至少以上的问题和/或不足并且提供至少以下所述的优点。因此，本发明的一方面提供基于结构化富媒体数据提供UI的装置和方法，其能够适配于用户和终端能力和状况来动态呈现富集的数据。

依据本发明的一方面，提供一种用于提供结构化富媒体UI的方法。在接收终端已经连接到的通信网络上的发送终端处创建包括基本配置信息、具有用于提供UI所需的类型和标识信息的富媒体内容。编码已创建的富媒体UI。将已编码的富媒体UI发送到接收终端。

依据本发明的另一方面，提供一种用于提供结构化富媒体UI的方法。创建包括首标和场景数据的UI格式。首标包括关于该UI的基本信息，而场景数据包括该UI。编码UI格式。发送已编码的UI格式。首标还包括初始信息、配置信息、和布局信息。

依据本发明的另一方面，提供一种用于处理结构化富媒体UI的方法。接收并解码UI场景信息。该场景信息包括诸如UI的类型和标识信息的用于提供富媒体界面的基本配置信息、以及关于包含用于提供UI的各种多媒体和交互的富媒体数据的信息。根据UI模块的判断适配于服务和用户环境提供已解码的富媒体UI。

依据本发明的另一方面，提供一种用于提供结构化富媒体UI的发送终端的装置。该装置包括UI格式产生单元，其产生具有UI场景信息的UI格式。UI场景信息包括具有用于提供UI所需的UI的类型和标识信息的基本配置信息、具有用于提供UI的各种多媒体和交互的富媒体数据相关信息、与UI的功能有关的信息、以及终端和用户信息。该装置还包括编码单元，其编码已产生的富媒体UI格式。该装置还包括发送单元，其发送已编码的富媒体UI。

依据本发明的另一方面，提供一种用于提供结构化富媒体UI的装置。该装置包括：内容产生器，其产生包括首标和场景数据的UI格式。首标包含关于该UI的基本信息，并且场景数据包括该UI。该装置还包括编码器，其编码由内容产生器产生的UI格式。该装置还包括内容发送器，其发送由编码器编码的UI格式。首标还包括初始信息、配置信息、和布局信息。

依据本发明的另一方面，提供一种用于处理结构化富媒体UI的接收终端的装置。该装置包括：解码单元，其解码UI场景信息。该UI场景信息包括诸如UI的类型和标识信息的用于提供富媒体界面的基本配置信息、以及关于包括用于提供UI的各种多媒体和交互的富媒体数据的信息。该装置还包括执行适配于服务和用户环境提供已解码的富媒体UI的操作的UI模块、输出UI的输出单元、以及处理交互的输入单元。

有益效果

用于提供基于结构化富媒体数据的UI的本发明适配于终端的能力和特征和服务环境以及终端和用户的状况的使用多样化多媒体元素来支持自由呈现和与用户的交互。同样，用于提供基于结构化富媒体数据的UI的本发明能够将结构化富媒体UI发送和适配到各种类型的终端和用户，从而通过实时传输和更新提供灵活和动态的UI。

附图说明

通过结合附图的以下详细描述，本发明的以上和其它方面、特征和优点将更明了，其中：

图1是说明接收传统富媒体服务的终端的操作的流程图；

图2是说明根据本发明的第二实施例的接收终端的富媒体UI处理方法的流程图；

图3是说明根据本发明的第三实施例的接收终端的富媒体UI处理方法的流程图；

图4是说明根据本发明的实施例的发送终端的配置的框图；以及

图5是说明根据本发明的实施例的接收终端的配置的框图。

具体实施方式

通过参考附图详细描述本发明的实施例。全部附图中将以相同或类似的引用数字表示相同或类似的部件。为避免模糊本发明的主题，本领域公知的构造和过程的详细说明将被省去。

以下说明书和权利要求书中使用的术语和字词不限于字典意义，而是，仅由发明人用来使得本发明的理解清楚和一致。因此，本领域普通技术人员显然可知，本发明的示范实施例的以下说明是提供仅用于说明的目的而不是限制本发明的目的，本发明由所附权利要求书及其等价物限定。

本发明的实施例中，提供一种用于提供控制连接到网络的多个设备的基于结构化富媒体数据的UI的方法。本发明的实施例中，基于富媒体数据的UI按照诸如UI-Header(首标)＞UI-Command(命令)＞UI-Scene(场景)＞UI-Event(事件)的等级模块方式构成。本发明的实施例描述如何设计每个模块的结构以及如何使用所述模块表示UI。UI的呈现设计为遵守当前正在标准化的LASeR格式。本发明的实施例中，描述与UI关联的终端的操作。

本发明的实施例中，UI信息包括本地和远程数据的呈现以及用于更新和交互的应用程序，例如，窗口小插件(widget)和分布场景组件对象(DISCO)。

虽然以下描述的基于结构化富媒体的UI关注于基于诸如富媒体引擎(RME)的LASeR引擎的终端，但是终端也可以采用其他类型的RME。另外，虽然利用LASeR标准的术语和元素来描述基于结构化富媒体的UI，但是本领域技术人员显然可知，当采用LASeR以外的其他RME或***时，可以改变组成引擎、***、和数据的术语和元素。

在第一实施例中，首先定义基于结构化富媒体的用户界面。基于结构化富媒体的用户界面包括首标和场景数据，而且作为最高节点的UI节点可以包括诸如基于富媒体的用户界面的ID、版本、以及垂直和水平长度(即，宽高比)的信息。

基于结构化富媒体的用户界面的首标可以包括初始信息、配置信息、和布局信息。初始信息可以包括包括格式创建时间(creationTime)、最后更新时间、版本、协议、压缩状态、内容类型、数字签名、和设置在内的信息元素中的至少一个。首标的配置信息可以包括包括名称、描述、创建者、文件扩展、富媒体用户界面格式图标、场景渲染技术信息、访问相关信息、许可证、更新或校正可用性、以及可用语言在内的实际用户界面数据信息中的至少一个。可以将布局信息包括在富媒体用户界面格式的首标区域、或场景数据区域中。布局信息可以包括root_Layout(根布局)和区域信息。root_Layout可以包括包含整个用户界面的区域的尺寸。

富媒体用户界面的场景数据描述组成实际用户界面的数据。场景数据可以包括以下至少一个：场景呈现技术的名称空间、类型信息、富媒体界面格式的首标区域的信息中描述的解码器信息、以及布局信息。富媒体用户界面的场景数据可以划分为用户界面场景首标和场景单元。该情况下，可以将场景呈现数据的首标信息包括在用户界面场景首标单元中，而且可以将实际场景数据包括在用户界面场景单元中。可以将媒体数据包括在场景单元中、或各个富媒体用户界面的单独的媒体首标和媒体单元中。用户界面的场景单元可以划分为用户界面命令和事件单元。用户界面命令和命令单元可以不单独设计。用户界面命令可以利用与用户界面的动作相关的命令来设置，而且可以将场景元素数据连同用户界面的场景元素数据的命令一起包括在用户界面命令中。事件单元可以包括关于与用户界面有关的事件、以及关于在事件发生时处理该事件的方法的内容的描述。可以将事件单元单独形成或包括在场景单元中。可以将场景呈现单元和媒体单元包括在该场景单元中或包括在单独的场景单元中。

在本发明的第二实施例中，以LASeR作为示范性富媒体场景呈现技术来定义和描述富媒体用户界面格式的场景呈现方法。

终端检查当前正接收的结构化富媒体用户界面格式的首标以获取用于对用户渲染的基本信息，并且将用于用户界面的富媒体数据转译为场景。为了区分用户界面数据的场景信息和事件信息，可以定义新的富媒体元素(诸如SceneUnit(场景单元)、EventDescriptor(事件描述符)、和EventHandler(事件处理器))。在转译场景之后，终端执行用于渲染数据的服务渲染操作，其中终端检查和执行命令并且处理事件。

在本发明的第三实施例中，描述发送通过发送器按照统一的格式产生的结构化用户界面格式的方法。

可以通过将多个逻辑媒体流复用到单个物理流中来提供LASeR内容。在LASeR中，将简单聚合格式(SAF)用于复用和同步LASeR基本流(ES)。可以以访问单元(AU)为单位来处理每个流。AU是在按照复用的格式服务LASeR内容(或流)时每次要处理的数据的基本单元。可以在SAF流中发送结构化富媒体用户界面格式。该情况下，接收终端可以通过检查UI配置单元(UIConfigurationUnit)的信息来标识SAF流。终端解码组成富媒体用户界面的数据，并且通过执行处理解码的数据(例如，运行富媒体引擎)、参考结构数据、和执行用户交互所需的模块来提供富媒体用户界面服务。

根据本发明的示范实施例的结构化富媒体的用户界面提供方法包括：在接收终端已经连接到的通信网络上的发送终端处创建包括具有用于提供用户界面所需的类型和标识信息的基本配置信息的富媒体内容的过程；编码已创建的富媒体用户界面的过程；以及向接收终端发送已编码的富媒体用户界面的过程。

根据本发明的示范实施例的结构化富媒体的用户界面处理方法包括：接收和解码包括诸如用户界面的类型和标识信息的用于提供富媒体界面的基本配置信息、以及关于包含用于提供用户界面的各种多媒体和交互的富媒体数据的信息的用户界面场景信息的过程；以及根据用户界面模块的判断适配于服务和用户环境提供已解码的富媒体用户界面的过程。

根据本发明的示范实施例的用于提供结构化富媒体用户界面的发送终端的装置包括：用户界面格式产生单元，其产生包括包含具有用于提供用户界面所需的用户界面的类型和标识信息的基本配置信息和具有用于提供用户界面的各种多媒体和交互的富媒体数据相关信息的用户界面场景信息、与用户界面的功能有关的信息、以及终端和用户信息的用户界面格式；编码单元，其编码已产生的富媒体用户界面格式；以及发送单元，其发送已编码的富媒体用户界面。

根据本发明的示范实施例的用于处理结构化富媒体用户界面的接收终端的装置包括：解码单元，其解码包括诸如用户界面的类型和标识信息的用于提供富媒体界面的基本配置信息和关于包含用于提供用户界面的各种多媒体和交互的富媒体数据的信息的用户界面场景信息；用户界面模块，其执行适配于服务和用户环境提供已解码的富媒体用户界面的操作；输出单元，其输出用户界面；以及输入单元，其处理交互。

第一实施例

本发明的第一实施例中，首先利用基本富媒体UI格式描述结构化富媒体UI提供方法。表2示出富媒体UI格式。

表2

参考表2，富媒体UI格式由首标和场景数据组成。作为最高节点的UI节点可以包括富媒体UI的ID、版本(version)信息、以及水平和垂直长度。UI节点构造为<UI xmlns＝“urn:2009:mpeg:uif”id＝“widget()1”version＝“1.0”height＝“200”width＝“200”>。首标可以包括如表3中所示的额外信息。

表3

表3中，富媒体UI的首标包括初始信息、配置信息、和布局信息。可以将初始信息和配置信息组成为单个配置信息元素。可以将配置信息形成为与富媒体界面格式分开的数据并且在初始信息中引用。初始信息可以包括富媒体UI的创建时间(creationTime)、最后更新时间、版本信息、通信协议信息、压缩状态信息、内容类型、数字签名、以及指向配置信息的指针中的至少一个。压缩状态信息和内容类型信息可以用于验证具有富媒体UI格式的数据类型(如，MIME类型)的格式。例如，当接收的数据的内容类型未知时，不会处理该数据。富媒体UI格式的数字签名和配置信息可以包括用于引用特定信息的指针或该配置信息自身。

表4示出表3的配置信息元素的内容。配置信息可以作为与富媒体格式分开的数据来提供。

表4

如表4所示，富媒体UI格式的配置信息可以包括实际UI数据信息、访问信息、许可证、更新或修改可用性、以及可用的语言中的至少一个。UI数据信息包括名称、描述、创建者、文件扩展、富媒体UI格式图标、以及用于渲染场景的场景呈现技术。

在可以包括作为配置信息的信息元素当中，文件扩展信息可以包括富媒体UI格式的名称空间和文件扩展名称。在可以包括作为配置信息的信息元素当中，图标信息可以包括关于图像或动画的信息、将要用作图标的数据的内容类型、水平和垂直长度、以及将要一起使用的视觉效果(例如，下降阴影(drop shadow))。配置信息的内容信息可以包含关于实际UI的数据的信息并且还包括用作富媒体UI的场景渲染信息的场景呈现技术的内容类型和引用信息。内容信息还可以包括用于场景呈现技术的解码器信息。可以将富媒体UI格式设计为使得将内容信息包括在UI场景数据区域中而不是配置信息中。根据场景数据区域的设计结构，可以将内容信息包括在场景数据区域的首标中或在另一部分中。访问信息涉及用于访问交换数据的限制条件，并且包括本地或网络数据交换可用性、插件可用性、以及***可访问性。访问信息还可以包括诸如可用于数据交换的协议、主机地址、端口号、和路径的信息。可用语言信息可以包括关于能够在富媒体UI格式中使用的语言的信息。例如，可用语言信息可以包括语言代码、字体相关信息、以及该语言是否是默认的。配置信息还可以包括关于该富媒体UI是否是单个UI、下载的、或安装的信息。

表5示出表3的布局信息元素的内容。可以将布局信息包括在富媒体UI格式的首标区域中、或场景数据区域中。

表5

如表5所示，布局信息包括root_Layout信息和区域信息。root_Layout可以指示整个UI的尺寸。可以将区域信息配置为使得每个UI引用对应的区域信息，或使得UI的每个部分引用对应的区域信息。同样，每个区域可以引用UI内容。区域信息可以包括区域的形状、尺寸、和位置、以及在对应的区域处形成的UI的形状，如，定位于中央，填满整个区域，激活滚动条，以及即使UI大于该区域仍维持比例。同样，可以指示对应的区域的各层的顺序。例如，在显示器的顶部呈现在具有指示各层的顺序中的最低层的z索引属性值的区域的UI。

表6示出富媒体UI的场景数据的内容。

表6

如表6所示，富媒体UI的场景数据可以包括富媒体UI格式的首标区域的信息中描述的场景呈现技术的名称空间、类型信息、解码器信息、和布局信息中的至少一个。

富媒体UI的场景数据可以划分为UI场景首标和场景单元。将场景呈现数据的首标信息包括在UI场景首标中，并且可以将实际场景数据包括在UI场景单元中。可以将媒体数据包括在场景单元中、或每个富媒体UI的单独的媒体首标和媒体单元中。UI的场景单元可以划分为UI命令和事件单元。UI命令和事件单元可以不单独指定。UI命令可以利用与UI的操作相关的命令来设置，并且包括场景元素数据，其包括UI的场景元素数据的命令。事件单元可以包含关于与UI有关的事件的描述和用于处理该事件的方法。事件单元可以如表6一样单独形成或者包括在场景单元中。

场景呈现单元和媒体单元被包括在场景单元中，如表6的示例中所示，或者可以包括在各个单独的场景单元中。

可以使用LASeR、BIFS、和SVG中的一个作为用于UI的场景呈现技术。可以从配置信息的内容信息获得关于场景呈现技术的基本信息。

表7示出关于与UI有关的功能的信息。

表7

如表7中所示，功能信息可以包括每个功能的名称以及关于对应的功能引用的实际操作的信息。例如，如果具有场景编号#1的富媒体UI的场景包含关于数据复制或事件的信息，则功能信息可以引用描述数据复制功能的功能信息。功能信息可以包括关于能够被引用的场景组成信息的引用信息。也可以将功能信息设计为链接到UI、或由UI引用。

表8示出与UI有关的用户、终端、网络、和服务信息。

表8

如表8中所示，终端信息可以包括基本信息(诸如，制造信息、终端的模型名称、和序列号)、能力信息(诸如，显示尺寸、声音、存储器、照相机)、关于用于用户交互的输入设备的信息、以及关于由终端提供的服务列表的信息。这些信息项可以结合于终端专用的场景单元来使用。

关于终端、用户、网络和服务的信息是富媒体UI的引用信息，并且可以包括终端的规范和能力、UI的等级、以及服务列表信息。

本发明的第一实施例的富媒体UI格式的可以包括上述的单元、或仅有引用单元信息的引用信息。

第二实施例

本发明的第二实施例中，描述富媒体UI格式的场景呈现方法，其中LASeR是富媒体场景呈现技术。

图2是说明根据本发明的第二实施例的接收终端的富媒体UI处理方法的流程图。

参考图2，接收终端在步骤200接收服务内容并在步骤210解码接收的服务内容。在解码服务内容后，接收终端在步骤220检查已解码的UI信息的首标以获取用于渲染UI的基本信息。接收终端接着在步骤230检查UI命令。根据数据的格式可以跳过检查UI命令的步骤。接收终端检查UI的富媒体数据并向富媒体引擎提供富媒体数据。富媒体引擎在步骤240分析富媒体数据。可以将新元素(诸如，SceneUnit、EventDescriptor、和EventHandler)定义为用于区分UI数据的场景信息和事件信息的富媒体元素。在获取分析结果中的场景信息和事件信息之后，接收终端在步骤250通过检查和执行包含在场景和事件信息中的命令和事件来执行服务渲染，以向用户提供富媒体服务。

表9示出如参考图2描述的在接收终端中接收和处理的LASeR内容。

表9

第三实施例

可以以复用到一个物理流中的多个逻辑媒体流的形式来服务LASeR内容。简单聚合格式(SAF)是复用和同步LASeR基本流(ES)的格式。每个流可以在访问单元(AU)中处理。AU是以复用的格式服务LASeR内容(或流)时一次处理的数据的基本单元。可以以SAF流的形式发送在发送终端处创建的结构化富媒体UI格式。如图3所示接收终端处理SAF流。

图3是说明根据本发明的第三实施例的接收终端的富媒体UI处理方法的流程图。

参考图3，接收终端在步骤310接收服务数据流并且在步骤320解码接收的服务数据流。接收终端在步骤330标识已解码的SAF流。可以通过检查本发明第三实施例中定义的UIConfigurationUnit来执行SAF流标识。在基于UIConfigurationUnit标识SAF流之后，接收终端在步骤340解码组成UI的数据。最后，接收终端在步骤350通过使用对应的模块渲染解码的数据(即，执行富媒体引擎、参照结构化数据、以及执行用户交互)来向用户提供富媒体UI服务。

表10示出作为用于递送关于集成富媒体UI数据的信息的新的类型的集成格式访问单元的UIConfigurationUnit的内容。发送终端***UIConfigurationUnit以指示对应流携带富媒体UI。通过检查UIConfigurationUnit，接收终端可以识别出接收到富媒体UI数据。接收UIConfigurationUnit的接收终端执行操作以使得将具有0x04的数据类型的有效载荷在接收UIConfigurationUnit之后发送到UI分析器。

表10

参考表10，接收终端通过参照UIConfigurationUnit的objectTypeIndication(对象类型指示)和streamType(流类型)来标识数据类型，通过参照mimeType来检查内容类型，并且确定接收的数据是否可以在接收终端中处理。接收终端通过参照版本信息检查UIConfigurationUnit的版本。updateData(更新数据)是指示UIConfigurationUnit之后的数据是否为用于更新的标志。permanent指示如何处理UIConfigurationUnit之后的数据。如果permanent被设置为真，则将UI数据存储在终端中。参照url以获取将作为简化UI或图标使用的UI信息。SimpleDecoderSpecificInfo可以包括可以包含在UI数据的首标单元中的信息。表11示出表10的UIConfigurationUnit的修改的UIConfigurationUnit。

表11

表11中，接收终端从UIConfigurationUnit获取上述信息，并从集成格式的首标类型访问单元获取实际UI首标信息。接收终端可以通过参照ObjectTypeIndicator或与mimeType相关的字段来标识UI首标信息。

如上所述，本发明的实施例中，提供用于提供基于富媒体数据的UI的方法，该UI能够控制连接到网络的多个终端。本发明的实施例中，基于富媒体数据的UI按照如UI-Header＞UI-Command＞UI-Scene＞UI-Event的等级模块方式构成。本发明的实施例描述如何设计每个模块的结构以及如何使用模块表示UI。UI的呈现设计为遵守当前处于标准化中的LASeR格式。

等级结构化UI可以以文件的形式发送或可以流传输，并且可以将多个UI文件组合和划分用于处理。多个图像可以在单个屏幕上可见，并且提供不同的编解码器操作用于呈现UI。本发明的实施例中，可以以mxn层的形式将等级结构化UI提供给终端以控制连接到网络的多个设备。

图4是说明根据本发明的实施例的发送终端的配置的框图。

参考图4，发送终端包括内容产生器400、编码器410、和内容发送器420。

内容产生器400产生一种UI格式，其包括：包含UI的类型和标识信息的基本配置信息、包含诸如各种多媒体和交互的富媒体数据的UI场景信息、与UI的功能有关的信息、以及与UI有关的终端和用户信息。内容产生器400将UI格式输出到编码器410。

编码器410编码由内容产生器400输入的UI格式，并且输出已编码的UI格式到内容发送器420。

内容发送器420发送由编码器410输入的已编码的UI格式。本发明的实施例中，可以使用SAF发送UI格式。内容发送器420可以将UIConfigurationUnit***到SAF流中。UIConfigurationUnit可以包括“mimeType”、“version”、“updateData”、“permanent”、和“SimpleDecoderSpecificInfo”中的至少一个。

图5是说明根据本发明的实施例的接收终端的配置的框图。

参考图5，接收终端包括解码器500、UI管理器510、富媒体引擎520、和渲染器530。

在接收终端接收的UI格式被输入到解码器500。解码器500解码UI格式，并且将已解码的UI数据输出到UI管理器510。UI管理器510分析由解码器500输入的UI数据以检查包含UI的类型和标识信息的基本配置信息、包含诸如各种多媒体和交互的富媒体数据的UI场景信息、与UI的功能有关的信息、以及与UI有关的终端和用户信息。UI管理器510首先从配置信息中提取用于渲染UI所需的基本信息，并且根据UI场景呈现技术输出基本信息到富媒体引擎520。富媒体引擎520提取场景成分信息并且输出场景成分信息到渲染器530。渲染器530使用场景成分信息渲染UI，并且结果输出该UI。当UI格式中没有包括UI的场景成分信息时，渲染器530转译通过UI格式引用的场景信息或功能信息，并且从远程或本地存储器获取由场景或功能信息指示的UI的场景成分信息。

如上所述，用于提供基于结构化富媒体数据的UI的装置和方法适配于终端的能力和特征以及服务环境和终端和用户状况使用多样化多媒体元素来支持自由呈现和与用户的交互。同样，用于提供基于结构化富媒体数据的UI的装置和方法能够发送和适配结构化富媒体UI到各种类型的终端和用户，从而通过实时传输和更新提供灵活和动态的UI。

虽然已经参考其某些实施例示出和描述本发明，但是本领域技术人员不难理解，这里可以在形式和细节上进行各种改变而不背离由所附权利要求书限定的本发明的精神和范围。

Claims

1.一种提供用于通信***的发送终端的结构化富媒体用户界面（UI）的方法，包括步骤：

创建包括首标和场景数据的UI格式，该首标包括关于该UI的基本信息，并且该场景数据包括该UI，其中场景数据包括场景首标和场景单元；

编码该UI格式；以及

发送已编码的UI格式，

其中该首标进一步包括初始信息、配置信息、和布局信息，

其中场景单元包括UI命令信息和UI事件信息，

其中利用与UI的操作相关的命令来设置UI命令信息，并且

其中UI事件信息包括关于与UI有关的事件以及用于处理所述事件的方法的描述。

2.如权利要求1所述的方法，其中该初始信息包括创建时间、最后更新时间、版本信息、通信协议信息、压缩状态、内容类型、数字签名信息、以及用于检查该配置信息的信息中的至少一个。

3.如权利要求1所述的方法，其中该配置信息包括实际UI数据信息、访问信息、许可证、使用的语言、以及更新和修改可用性中的至少一个，其中该实际UI数据信息包括名称、描述、创建者、文件扩展、富媒体UI格式图标、以及关于将用于渲染场景的场景呈现技术的信息。

4.如权利要求1所述的方法，其中该布局信息包括包含UI的区域的尺寸(root_Layout）、和关于该区域中UI的形状的信息中的至少一个。

5.如权利要求1到4中任意一个所述的方法，其中所述创建UI格式的步骤包括：产生场景数据，其包括以下的至少一个：场景呈现技术的名称空间、类型信息、UI格式的首标的信息中描述的解码器信息、以及布局信息。

6.如权利要求1所述的方法，其中所述创建UI格式的步骤包括产生用于指示UI的流的指示信息，而且其中所述发送已编码的UI格式的步骤包括以集成格式来流传输该UI格式。

7.如权利要求6所述的方法，其中该指示信息包括以下中的至少一个：“对象类型指示（ObjectTypeIndication）”、“流类型（streamType）”、“多用途互联网邮件扩充类型（mimeType）”、“版本（version）”、“更新数据（updateData）”、“永久（permanent）”、和“简单解码器特定信息（SimpleDecoderSpecificInfo）”。

8.一种用于提供结构化富媒体用户界面（UI）的装置，包括：

内容产生器，用于产生包括首标和场景数据的UI格式，该首标包括关于该UI的基本信息，并且该场景数据包括该UI，其中场景数据包括场景首标和场景单元；

编码器，其编码由内容产生器产生的UI格式；以及

内容发送器，其发送由编码器编码的UI格式，

其中该首标进一步包括初始信息、配置信息、和布局信息，

其中场景单元包括UI命令信息和UI事件信息，

其中利用与UI的操作相关的命令来设置UI命令信息，并且

9.如权利要求8所述的装置，其中该初始信息包括创建时间、最后更新时间、版本信息、通信协议信息、压缩状态、内容类型、数字签名信息、以及用于检查该配置信息的信息中的至少一个。

10.如权利要求8所述的装置，其中该配置信息包括实际UI数据信息、访问信息、许可证、使用的语言、以及更新和修改可用性中的至少一个，其中该实际UI数据信息包括名称、描述、创建者、文件扩展、富媒体UI格式图标、以及关于将用于渲染场景的场景呈现技术的信息。

11.如权利要求8所述的装置，其中该布局信息包括包含UI的区域的尺寸(root_Layout）、和关于该区域中UI的形状的信息中的至少一个。

12.如权利要求8到11中任意一个所述的装置，其中该场景数据包括以下中的至少一个：场景呈现技术的名称空间、类型信息、UI格式的首标的信息中描述的解码器信息、以及布局信息。

13.如权利要求8所述的装置，其中该内容产生器产生用于指示UI的流的指示信息，而且该内容发送器以集成格式来发送已编码的UI格式。

14.如权利要求13所述的装置，其中该指示信息包括以下中的至少一个：“对象类型指示（ObjectTypeIndication）”、“流类型（streamType）”、“多用途互联网邮件扩充类型（mimeType）”、“版本（version）”、“更新数据（updateData）”、“永久（permanent）”、和“简单解码器特定信息（SimpleDecoderSpecificInfo）”。