CN104471562B - 组成用于排列多媒体元素的标记的方法和装置 - Google Patents
组成用于排列多媒体元素的标记的方法和装置 Download PDFInfo
- Publication number
- CN104471562B CN104471562B CN201380037083.5A CN201380037083A CN104471562B CN 104471562 B CN104471562 B CN 104471562B CN 201380037083 A CN201380037083 A CN 201380037083A CN 104471562 B CN104471562 B CN 104471562B
- Authority
- CN
- China
- Prior art keywords
- multimedia
- information
- region
- scene
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002123 temporal effect Effects 0.000 claims description 19
- 230000001965 increasing effect Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims 2
- 238000004891 communication Methods 0.000 abstract description 35
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 6
- 239000007787 solid Substances 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
- G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
提供一种在多媒体通信***中配置用于多媒体元素的组成的标记的方法,所述方法包括:配置与在场景中包含的多个区域中的每个区域对应的区域描述信息,配置与在所述多个区域中的每个区域中包含的至少一个多媒体对应的多媒体描述信息,配置描述所述多个区域中的每个区域的空间组成和时间组成的场景组成信息,配置包含所述场景组成信息、所述区域描述信息和所述多媒体描述信息的标记。
Description
技术领域
本发明涉及多媒体元素,更具体说,本发明涉及一种组成用于在空间和时间上排列和同步多媒体元素的标记的方法和装置。
背景技术
对于多媒体服务的需求在持续增加,同时为当前显示设备提供各种多媒体服务以及配置用于提供各种多媒体服务的新标记的需求也在增加。
定义网络上多媒体元素的技术主要包括超文本链接标记语言(HTML)和同步多媒体集成语言(SMIL)。以下,将参照图1和2更详细描述HTML和SMIL。
图1图解根据现有技术的在多媒体通信***中的HTML文档结构。
参照图1,HTML是定义超文本文档结构的标记语言,对应于当今在网络上最广泛使用的技术,其版本5的修订工作正在实施。HTML版本5具有对多媒体服务(诸如视频、音频等)的增强的支持,但是由于HTML基本上是定义静态文档结构的语言,因此不支持诸如媒体的时间组合或交互、同步等之类的功能。
如图1中所示,HTML文档结构包含<header>、<nav>、<section>、<article>、<footer>和<aside>。
<header>指示标识区域,<nav>指示菜单区域,<section>指示本体的内容,<article>指示在本体内的主要内容区域,<footer>指示网站的下部,<aside>指示子区域或广告内容区域。
图2图解根据现有技术的在多媒体通信***中通过使用SMIL来排列多媒体元素的示例。
参照图2,SMIL是通过使用可扩展标记语言(XML)在时间和空间上组合并控制诸如视频、音频、图像、文本等之类的多媒体数据所建立的网际网路联盟(W3C)标准。
如图2中所示,通过使用SMIL在时间和空间上组合并控制多媒体数据是有优点的。然而,由于通过XML来定义SMIL,所以SMIL要求单独的播放器以再现通过SMIL定义的文件,并且因而对应于在当前工业领域中实际并不使用的标准。
如上所述,虽然通过上述HTML或SMIL来定义多媒体元素,但是HTML和SMIL两者都只能组成多媒体,并且两者都不能配置包含多个区域的场景。因此,需要将多媒体元素划分为场景、区域和媒体级别以配置标记的装置及方法。
发明内容
技术问题
提供以上信息作为背景信息仅用来帮助理解本公开。对于以上所述的任何内容是否可用作本公开的现有技术,不作任何决定和任何主张。
技术方案
本公开的各方面解决至少以上提到的问题和/或缺点,并提供至少以下所述的优点。相应地,本公开一个方面提供将多媒体元素划分为场景、区域和多媒体级别以配置标记的装置及方法。
本公开另一方面提供在多媒体通信***中在时间和/或空间上组成多媒体元素并配置可支持多媒体之间的同步的标记的方法及装置。
根据本公开一个方面,提供一种在多媒体通信***中配置用于组成多媒体元素的标记的方法。所述方法包括:配置包含场景组成信息、区域描述信息和多媒体描述信息的标记并根据所配置标记在时间和空间上组成多媒体元素。
根据本公开另一方面,提供一种在多媒体通信***中配置用于多媒体元素的组成的标记的显示设备。所述显示设备包括:标记配置单元,被配置成配置与在场景中包含的多个区域中的每个区域对应的区域描述信息、配置与在所述多个区域中的每个区域中包含的至少一个多媒体对应的多媒体描述信息、配置描述所述多个区域中的每个区域的空间组成和时间组成的场景组成信息、以及配置包含所述场景组成信息、所述区域描述信息和所述多媒体描述信息的标记;以及显示单元,被配置成基于所述标记显示场景。
本公开不仅能在空间和/或时间上组成多媒体元素,而且能提供在多媒体之间的同步方式。并且,可在不支持扩展标记的浏览器中配置基本场景。另外,本公开提供其中通过将场景描述信息和实际区域描述和多媒体表达信息分开而在将来在多个设备中不同地配置和使用场景信息的方式。
从以下结合附图进行的、公开了本公开各种实施例的详细描述中,本公开的其它方面、优点和突出特征对于本领域技术人员来说将变得清楚。
附图说明
从以下结合附图进行的描述中,本公开的以上和其它方面、特性和优点将更加清楚,在附图中:
图1图解根据现有技术的在多媒体通信***中的超文本链接标记语言(HTML)文档结构;
图2图解根据现有技术的在多媒体通信***中的通过使用同步多媒体集成语言(SMIL)来组成多媒体元素的示例;
图3图解根据本公开一实施例的在多媒体通信***中为显示设备配置场景的示例;
图4A图解根据本公开第一实施例的在多媒体通信***中配置标记的示例;
图4B图解根据本公开第二实施例的在多媒体通信***中配置标记的示例;
图5A图解根据本公开第一实施例的在多媒体通信***中配置的标记和基于所述标记运行的场景的示例;
图5B图解根据本公开第二实施例的基于在多媒体通信***中配置的标记运行的场景的示例;
图6A图解根据本公开一实施例的在支持多媒体通信***中配置的标记的浏览器中配置的场景的示例;
图6B图解根据本公开一实施例的在仅支持多媒体通信***中的HTML的浏览器中配置的场景的示例;
图7是图解根据本公开一实施例的其中显示设备基于在多媒体通信***中配置的标记而在空间上配置场景的过程的流程图;
图8A是图解根据本公开第一实施例的其中显示设备基于在多媒体通信***中配置的标记在时间上配置场景的过程的流程图;
图8B是图解根据本公开第二实施例的其中显示设备基于在多媒体通信***中配置的标记在时间上配置场景的过程的流程图;
图9图解根据本公开一实施例的根据在多媒体通信***中配置的标记配置场景的示例;
图10图解根据本公开一实施例的场景组成(诸如在图9中所示的场景组成)的示例的时间配置信息;以及
图11图解根据本公开一实施例的基于在多媒体通信***中配置的标记在空间上和时间上配置场景的显示设备。
贯穿附图,相似的附图标号被理解为指代相似的部分、组件和结构。
具体实施方式
提供下列参考附图的描述以帮助全面理解由权利要求及其等效内容定义的本公开的各个实施例。它包括各种特定细节以帮助理解,但是这些将被认为是示例性的。因此,本领域普通技术人员应该认识到:在不脱离本公开的范围和精神的前提下,可以对在此描述的各种实施例进行各种变化和修改。另外,为了清楚和简洁,可能省略对公知功能和结构的描述。
在下列描述和权利要求中使用的术语和词汇不限于字面含义,而是仅被发明人用来使得能够清楚和一致地理解本公开。因此,本领域普通技术人员应当清楚:提供下列对本公开的各种实施例的描述仅仅是出于说明的目的,而不是出于限制由所附权利要求及其等效内容定义的本公开的目的。
应当理解,单数形式“一”、“一个”和“所述”,除非文中清楚地指明,否则包括多个指代,因此,例如,对“一部件表面”的指代包括对一个或多个这样的表面的指代。
图3图解根据本公开一实施例的在多媒体通信***中为显示设备配置场景的示例。
参照图3,示出的场景300是在文档结构中的最上端,在该文档内可能存在多个场景300。例如,当假定一小时的广播节目由多个场景组成时,可通过包含在第一个30分钟中的场景1#和包含在第二个30分钟中的场景2#来配置该广播节目。
一个场景300被划分为多个区域。区域的个数基于一个场景可以是一到n。而且,区域可以被认为是独立单元,当前独立广播节目、视频点播(VoD)服务或者网络服务的文档可被认为是一个区域。也就是说,独立区域310、320和330聚集起来以形成一个场景300。
一个区域由多个多媒体组成。该多媒体可包含所有多媒体数据,诸如视频、音频、图像、文本等。也就是说,区域310、320和330分别包含多媒体315、325和335。
下文中,将参照图4A和4B描述根据本公开实施例的配置用于在图3中示出的场景300的标记的方法。
图4A图解根据本公开第一实施例的在多媒体通信***中配置标记的示例。
参照图4A,示出的标记文档包含场景组成信息400、场景描述信息410和在场景300中包含的区域。而且,多媒体信息以一对一的关系对应关于标记文档的信息。也就是说,区域310和多媒体315的每一元素通过区域描述信息420和多媒体描述信息425来表达,区域320和多媒体325的每一元素通过区域描述信息430和多媒体描述信息435来表达,区域330和多媒体335的每一元素通过区域描述信息440和多媒体描述信息445来表达。
场景组成信息400描述在场景中包含的每一区域的空间组成和时间组成。关于每个区域的实际信息分开存在以便区域可独立运行。而且,可通过分开描述场景的空间组成和时间组成而在一个文档中配置多个场景。
虽然在图4A中示出了一个场景组成信息400,但是场景组成信息400的数目可以是表达包含场景#1、场景#2等多个场景的多个。而且,虽然在图4A中场景组成信息400与时间信息和空间信息一起描述,但是时间信息和空间信息可分开描述。下文中,将参照图4B描述根据本公开一实施例的分开描述时间信息和空间信息的示例。
图4B图解根据本公开第二实施例的在多媒体通信***中配置标记的示例。
参照图4B,配置了包含场景组成信息450和描述在场景中包含的每个多媒体的时间信息的多媒体时间信息455的单独标记文档401,包含基本区域描述信息470、480和490以及多媒体描述信息475、485和495的场景描述信息460被描述为一个标记文档。在这种情况下,浏览器读取指示场景描述信息460的标记文本和一起指示场景组成信息450与多媒体时间信息455的单独标记文本401以配置最终场景。如上所述,当场景组成信息450和多媒体时间信息455被配置成单独标记文档时,不能支持本公开提供的方法的浏览器也能显示场景描述信息460。
图5A图解根据本公开第一实施例的在多媒体通信***中配置的标记和基于所述标记运行的场景的示例。也就是说,图5A图解基于根据图4A的方法配置的标记运行的场景的示例。
参照图5A,示出的标记文档包含场景组成信息、场景描述信息、区域描述信息、多媒体描述信息和支持传统浏览器的描述信息。
(1)场景组成信息
场景组成信息包含<mmt-ci:composition>元素和<mmt-ci:divLocation>元素。<mmt-ci:composition>元素描述场景组成信息并且包含<mmt-ci:divLocation>元素作为低层元素,<mmt-ci:divLocation>元素描述每个区域的组成信息并且具有下表1所示的属性。
【表1】
(2)场景描述信息
场景描述信息包含<body>元素,不具有对场景描述新增加的内容,并且使用超文本标记(HTML)的<body>元素作为场景描述的最高单位。
(3)区域描述信息
区域描述信息包含<div>和<section>元素,并且在区域描述信息中直接使用HTML的<div>和<section>元素。然而,可以额外定义如在下表2中示出的新属性。
【表2】
(4)多媒体描述信息
多媒体描述信息不具有对多媒体描述新增的内容,并且在多媒体描述信息中直接使用HTML的<video>、<audio>、<source>、<canvas>、<svg>和<track>元素。当然,如果存在通过其它标准定义的其它多媒体,则该多媒体可被直接使用。
(5)支持传统浏览器的描述信息
上述场景组成信息、场景描述信息、区域描述信息和多媒体描述信息仅对能完全分析和支持新标记的浏览器有效。场景的区域描述和时间描述信息不能被HTML浏览器完全支持,但是最小量的场景描述信息可被配置以被HTML浏览器所支持。
HTML浏览器支持的属性如下表3和表4所述。也就是说,表3描述由<body>元素支持的属性,而表4描述由<div>和<section>元素支持的属性。
【表3】
方式 | 位置 | 绝对值、相对值 |
width | 元素的水平尺寸 | |
height | 元素的垂直尺寸 | |
background | 元素的背景色彩 |
【表4】
方式 | 位置 | 绝对值、相对值 |
left | 元素的x轴偏移 | |
right | 元素的y轴偏移 | |
width | 元素的水平尺寸 | |
height | 元素的垂直尺寸 | |
background | 元素的背景色彩 | |
border | 元素的边界 |
也就是说,在标记的示出的场景描述信息中,<body>元素包含三个区域,以便三个区域可被排列在一个场景中。
图5B图解根据本公开第二实施例的基于在多媒体通信***中配置的标记运行的场景的示例。也就是说,图5B图解了根据图4B的方法配置的标记的示例。
参照图5B,示出的标记文档包含像图5A的标记的场景组成信息、场景描述信息、区域描述信息、多媒体描述信息和支持传统浏览器的描述信息,并且还包含多媒体时间信息。
(6)多媒体时间信息
多媒体时间信息包含<mmt-ci:MediaSync>元素和<Asset>元素。<mmt-ci:MediaSync>元素是配置多媒体时间信息的最高元素,并且包含<Asset>作为低级元素。<Asset>元素与多媒体一一对应,并且指示在多媒体描述信息中包含的每个多媒体时间信息。由<Asset>元素支持的属性通过下表5进行描述。
【表5】
图6A图解根据本公开一实施例的支持在多媒体通信***中配置的标记的浏览器中配置的场景的示例。
参照图6A,当使用根据本公开的实施例配置的标记时,支持新元素和属性的浏览器可显示与场景切换与时间和空间组成有关的所有功能。而且,当与多媒体元素的空间描述的提供(provision)有关的事件生成时或在特定时间之后,支持根据本发明的实施例配置的标记(也就是可扩展标记)的浏览器可改变空间描述。
图6B图解根据本公开一实施例的在仅支持多媒体通信***中的HTML的浏览器中配置的场景的示例。
参照图6B,仅支持HTML的浏览器仅能显示最小量的场景描述信息。也就是说,不支持可扩展标记的浏览器只能提供场景描述信息。
图7是图解根据本公开一实施例的显示设备基于在多媒体通信***中配置的标记在空间上配置场景的过程的流程图。
参照图7,在操作700,显示设备读取标记的场景组成信息,并在操作702获取在场景中包含的区域的宽度和高度信息。当场景组成信息被实现为单独文档时,从该单独文档中获取区域的宽度和高度信息。在操作704,显示设备配置包含依据在操作702获取的宽度和高度信息配置的区域的整个场景。
显示设备在操作706读取标记的区域描述信息,并在操作708读取分区(下文中被称为div)参考标识符。显示设备在操作710加载div元素,在操作712获取div元素的宽度和高度信息。
在操作714,显示设备确定在操作702获取的区域是宽度和高度是否大于等于div元素的宽度和高度。当作为确定结果区域的宽度和高度大于或等于div元素的宽度和高度时,显示设备在操作716缩小区域的宽度和高度以匹配div元素的宽度和高度,并进行到操作720。
然而,当作为确定结果区域的宽度和高度小于div元素的宽度和高度时,显示设备在操作718扩大区域的宽度和高度以匹配div元素的宽度和高度,并进行到操作720。显示设备在操作720依据缩小后或扩大后的div元素的宽度和高度配置区域,并进行到操作722。
显示设备在操作722读取多媒体描述信息,并在操作724获取多媒体的宽度和高度信息。在操作726,显示设备确定在操作724获取的多媒体的宽度和高度是否大于等于在操作720配置的区域的宽度和高度。当作为确定结果多媒体的宽度和高度大于或等于区域的宽度和高度时,显示设备在操作728缩小多媒体的宽度和高度以匹配区域的宽度和高度。
然而,当作为确定结果多媒体的宽度和高度小于区域的宽度和高度时,显示设备在操作730通过场景的空间描述完成场景组成。
图8A是图解根据本公开第一实施例的显示设备基于在多媒体通信***中配置的标记在时间上配置场景的过程的流程图。在图8A中,依据第一实施例配置的标记是指依据图4A的方法配置的标记。
参照图8A,显示设备在操作800读取标记的场景组成信息,并在操作802获取场景的时间信息。在操作804,显示设备依据在操作802获取的场景的时间信息配置整个场景。
显示设备在操作806读取标记的区域描述信息,并在操作808获取在整个场景中包含的每个区域的时间信息。显示设备在操作810依据在操作808获取的每个区域的时间信息配置每个区域,并在操作812读取div参考标识符。
显示设备在操作814加载div元素,并在操作816获取每个多媒体的时间信息。在操作818,显示设备依据在操作816获取的每个多媒体的时间信息配置每个多媒体以完成场景组成。
图8B是图解根据本公开第二实施例的显示设备基于在多媒体通信***中配置的标记在时间上配置场景的过程的流程图。在图8B中,依据第二实施例配置的标记是指依据图4B的方法配置的标记。
参照图8B,显示设备在操作850读取标记的场景组成信息,并在操作852获取场景的时间信息。在操作854,显示设备依据在操作852获取的场景的时间信息配置整个场景。
显示设备在操作856读取标记的区域描述信息,并在操作858获取在整个场景中包含的每个区域的时间信息。显示设备在操作860依据在操作858获取的每个区域的时间信息在时间上配置每个区域,并在操作862读取div参考标识符。
显示设备在操作864加载div元素,并在操作866获取多媒体的标识符信息。显示设备从分开提供的标记文档的多媒体的时间信息中读取多媒体的时间信息,并在操作868检测匹配多媒体的标识符的时间信息。在操作890,显示设备通过将所检测到的时间信息反映到多媒体中,获取与在操作816获取的多媒体的时间信息相同的信息。此后,显示设备在操作892在时间上配置每个多媒体以完成场景组成。
如上所述,操作850至864与第一实施例的操作800至814基本相同,只有操作866至890与第一实施例的操作816不相同。
图9图解根据本公开一实施例的依据在多媒体通信***中配置的标记配置场景的示例。在图9中,假定场景由三个区域组成,并且区域3被再现100秒,并且然后被划分为区域4和区域5。而且,假定当区域3的再现完成时,区域4被立即再现,而区域5在0.2秒后被再现。
参照图9,场景1包含区域1、区域2和区域3。其中,区域1再现视频和音频,区域2再现文本形式的信息,而区域3再现广告图像。在区域3的广告图像被再现达100秒后,场景被切换,并且因此区域4再现广告图像,区域5在0.2秒后再现文本形式的信息。
配置图9的场景的标记的示例编码可如表6所示。
【表6】
<html>
<head>
//场景信息
<mmt-ci:composition>
<area id=”Area1_s”left=”0”top=”0”begin=“0”/>
<area id=”Area2_s”left=”0”top=”810”begin=“0”/>
<area id=”Area3_s”left=”1440”top=”0”begin=“0”dur=”100s”/>
<area id=”Area4_s”left=”1440”top=”0”beginAfter=”area3”/>
<area id=”Area5_s”left=”1440”top=”410”beginAfter=”area3”/>
</mmt-ci:composition>
//场景描述
<body style=”position:absolute;width:1920px;height:1080px;background:#ffff00”>
//区域描述
<div id="areal"style="position:absolute;left:0px;top:0px;width:1440px;height:810px;background:#ff0000;border:1px solid#eee"mmt-ci:ref_spacial=”area1_s”mmt-ci:ref_temporal=”area1_t”width=”1440”height=”810”begin=”0”>
//资源描述
<par>
<video id=”video1”src=”video1.mp4”>
<video id=”video2”src=”video2.mp4”>
</par>
</div>
<div id="area2"style="position:absolute;left:0px;top:810px;width:1920px;height:270px;background:#00ff00;border:1px solid#eee"mmt-ci:ref_spacial=”area2_s”mmt-ci:ref_temporal=”area2_t”width=”1920”height=”270”begin=”0”>>
<par>
<p>Text information</p>
</par>
</div>
<div id="area3"style="position:absolute;left:1440px;top:0px;width:480px;height:810px;background:#0000ff;border:1px solid#eee"mmt-ci:ref_spacial=”area3_s”mmt-ci:ref_temporal=”area3_t”width=”480”height=”810”begin=”0”>
<par>
<img id=”Ad”src=”image.png”>
</par>
</div>
<div id="area4"style="position:absolute;left:1440px;top:0px;width:480px;height:410px;background:#0000ff;border:1px solid#eee"left=”1440”top=”0”mmt-ci:ref_spacial=”area4_s”mmt-ci:ref_temporal=”area4_t”>
<par>
<img id=”Ad”src=”image2.png”>
</par>
</div>
<div id="area5"style="position:absolute;left:1440px;top:410px;width:480px;height:400px;background:#0000ff;border:1px solid#eee"mmt-ci:ref_spacial=”area5_s”mmt-ci:ref_temporal=”area5_t”width=”480”height=”400”>
<par>
<p>This is Text Area</p>
</par>
</div>
</body>
</html>
图10图解根据本公开一实施例的场景组成(诸如图9中示出的场景组成)的示例的时间配置信息。
参照图10,水平轴指时间轴,区域1和区域2在整个时间区域被再现,区域3直到所选时间后才被再现,而区域4和区域5在所选时间之后被同时再现。
图11图解根据本公开一实施例的基于在多媒体通信***中配置的标记在空间和时间上配置场景的显示设备。
参照图11,显示设备1100包括标记配置单元1110和显示单元1120。
标记配置单元1110配置与在场景中包含的多个区域中的每个区域对应的区域描述信息,配置与在多个区域中的每个区域中包含的至少一个多媒体对应的多媒体描述信息,并配置描述多个区域中的每个区域的空间组成和时间组成的场景组成信息。然后,标记配置单元配置包含场景组成信息、区域描述信息和多媒体描述信息的标记。
显示单元1120从场景组成信息中获取多个区域中的每个区域的宽度和高度信息,从区域描述信息中获取多媒体元素的宽度和高度信息,并通过考虑区域的宽度和高度信息和多媒体元素的宽度和高度信息配置区域。然后,显示单元1120从多媒体描述信息中获取多媒体的宽度和高度信息并通过考虑区域的宽度和高度信息和多媒体的宽度和高度信息配置场景。
可以认识到:根据本公开实施例的配置用于在空间和时间上组成和同步多媒体组件的标记的方法可以以软件、硬件或它们的组合来实现。任何这样的软件可被存储在例如易失性或非易失性存储设备(诸如ROM、如RAM的存储器、存储芯片、存储设备或存储IC、或可记录光或磁介质(如CD、DVD、磁盘或磁带)中,而不考虑其被删除的能力或其被重新记录的能力。也可以认识到:在移动终端中包含的存储器是适合存储包含被处理设备运行以由此执行本公开的实施例的指令的程序的机器可读设备的一个示例。因此,本公开的实施例提供包含实现在所附权利要求书中的任一权利要求中所要求的***或方法的代码的程序和存储这样的程序的机器可读设备。而且,可通过任何媒体(诸如经由有线或无线连接传递的通信信号)来电子传送所述程序,本公开实施例适合包含其等价物。
因此,本公开包括包含用于实现在本说明书的权利要求中所声明的装置和方法的代码的程序和存储该程序的机器(计算机)可读存储介质。而且,可通过随机介质(诸如通过有线或无线连接传输的通信信号)电子传送所述程序,本公开适当包含其等价物。
而且,根据本发明实施例的用于配置在空间和时间上组成和同步多媒体组件的标记的设备可从提供无线或有线连接到该设备的装置的程序中接收到该程序,并存储所接收的程序。提供装置的程序可包括存储器,用于存储包含允许设备执行预定内容保护方法的程序和该内容保护方法所要求的信息,通信单元,用于执行与设备有线或无线连接,以及控制器,用于根据设备的请求或自动向设备发送对应程序。
虽然已参考本公开的各种实施例对本公开进行了展示和描述,但是本领域技术人员应该理解,在不脱离由所附权利要求及其等效内容定义的本公开的精神和范围的前提下,可以在形式和细节上对其做各种变化。
Claims (16)
1.一种在多媒体***中配置用于组合多媒体元素的标记的方法,所述方法包括:
配置与在场景中包含的多个区域相关的区域描述信息、与多媒体相关的多媒体描述信息、和与所述多个区域的组成相关的场景组成信息;
基于场景组成信息获得所述多个区域的每一个的宽度和高度信息;
基于区域描述信息获得div元素的宽度和高度信息;
基于所述多个区域的每一个的宽度和高度以及所述div元素的宽度和高度来配置所述多个区域;
基于所配置区域的宽度和高度信息和所述多媒体描述信息来组成包括所述多个区域的场景;并且
显示所组成的场景。
2.如权利要求1所述的方法,其中,所述区域描述信息包括关于所述多个区域的空间和时间信息。
3.如权利要求2所述的方法,其中,包含在所述区域描述信息中的关于多个区域的空间信息包括可变值,以及所述区域描述信息包括定义所述多个区域的区域属性,以及
其中,所述可变值通过所述区域属性来确定。
4.如权利要求3所述的方法,其中,所述区域的尺寸被增加或减小所述可变值。
5.如权利要求3所述的方法,其中,所述区域属性指示区域的起始时间、区域的结束时间、和区域的持续时间。
6.如权利要求1所述的方法,其中,所述多媒体描述信息包括关于多媒体的时间信息。
7.如权利要求6所述的方法,其中,所述多媒体描述信息包括定义多媒体的多媒体属性。
8.如权利要求7所述的方法,其中,所述多媒体属性指示多媒体的起始时间、多媒体的结束时间、多媒体的持续时间、多媒体的再现开始的位置和多媒体的再现结束的位置。
9.一种在多媒体***中配置用于组合多媒体元素的场景的显示设备,所述显示设备包括:
控制器,被配置成:
配置与在场景中包含的多个区域相关的区域描述信息、与多媒体相关的多媒体描述信息、和与所述多个区域的组成相关的场景组成信息;
基于场景组成信息获得所述多个区域的每一个的宽度和高度信息;
基于区域描述信息获得div元素的宽度和高度信息;
基于所述多个区域的每一个的宽度和高度以及所述div元素的宽度和高度来配置所述多个区域;
基于所述区域的宽度和高度信息和所述多媒体描述信息来组成包括所述多个区域的场景;并且
显示所组成的场景。
10.如权利要求9所述的显示设备,其中,所述区域描述信息包括关于所述多个区域的空间和时间信息。
11.如权利要求10所述的显示设备,其中,包含在所述区域描述信息中的关于多个区域的空间信息包括可变值,以及所述区域描述信息包括定义所述多个区域的区域属性,以及
其中,所述可变值通过所述区域属性来确定。
12.如权利要求11所述的显示设备,其中,所述区域的尺寸被增加或减小所述可变值。
13.如权利要求11所述的显示设备,其中,所述区域属性指示区域的起始时间、区域的结束时间、和区域的持续时间。
14.如权利要求9所述的显示设备,其中,所述多媒体描述信息包括关于多媒体的时间信息。
15.如权利要求14所述的显示设备,其中,所述多媒体描述信息包括定义多媒体的多媒体属性。
16.如权利要求15所述的显示设备,其中,所述多媒体属性指示至少一个多媒体的起始时间、至少一个多媒体的结束时间、至少一个多媒体的持续时间、至少一个多媒体的再现开始的位置和至少一个多媒体的再现结束的位置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2012-0076304 | 2012-07-12 | ||
KR20120076304 | 2012-07-12 | ||
KR1020130031673A KR102069538B1 (ko) | 2012-07-12 | 2013-03-25 | 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법 |
KR10-2013-0031673 | 2013-03-25 | ||
PCT/KR2013/006259 WO2014010984A1 (en) | 2012-07-12 | 2013-07-12 | Method and apparatus for composing markup for arranging multimedia elements |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104471562A CN104471562A (zh) | 2015-03-25 |
CN104471562B true CN104471562B (zh) | 2018-11-09 |
Family
ID=50142628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380037083.5A Expired - Fee Related CN104471562B (zh) | 2012-07-12 | 2013-07-12 | 组成用于排列多媒体元素的标记的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10152555B2 (zh) |
EP (1) | EP2873002A4 (zh) |
JP (1) | JP6218825B2 (zh) |
KR (1) | KR102069538B1 (zh) |
CN (1) | CN104471562B (zh) |
WO (1) | WO2014010984A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2963892A1 (en) * | 2014-06-30 | 2016-01-06 | Thomson Licensing | Method and apparatus for transmission and reception of media data |
CN106464337B (zh) | 2015-03-03 | 2020-01-21 | 华为技术有限公司 | 传输数据的方法、装置和设备 |
US20170344523A1 (en) * | 2016-05-25 | 2017-11-30 | Samsung Electronics Co., Ltd | Method and apparatus for presentation customization and interactivity |
CN108023632B (zh) | 2016-11-04 | 2022-06-28 | 华为技术有限公司 | 数据处理方法和发送设备 |
JP2020504177A (ja) * | 2017-01-04 | 2020-02-06 | ナノティックス,エルエルシー | 捕捉粒子をアセンブルするための方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1311580A (zh) * | 2000-01-24 | 2001-09-05 | 松下电器产业株式会社 | 数据接收装置、数据接收方法、数据传输方法及数据存储媒体 |
CN101111898A (zh) * | 2005-02-25 | 2008-01-23 | 株式会社东芝 | 内容再现装置和字幕再现方法 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3171632B2 (ja) * | 1991-01-29 | 2001-05-28 | 富士通株式会社 | 動画表示処理装置 |
JPH05242143A (ja) * | 1992-02-26 | 1993-09-21 | Hitachi Ltd | マルチメディアプレゼンテーションシステム |
US5515490A (en) * | 1993-11-05 | 1996-05-07 | Xerox Corporation | Method and system for temporally formatting data presentation in time-dependent documents |
JPH0981361A (ja) * | 1995-09-12 | 1997-03-28 | Toshiba Corp | 画像表示方法、データ収集方法及び対象物特定方法 |
US6038573A (en) | 1997-04-04 | 2000-03-14 | Avid Technology, Inc. | News story markup language and system and process for editing and processing documents |
US6961954B1 (en) * | 1997-10-27 | 2005-11-01 | The Mitre Corporation | Automated segmentation, information extraction, summarization, and presentation of broadcast news |
JP4151158B2 (ja) * | 1999-06-14 | 2008-09-17 | ソニー株式会社 | シーン記述生成装置及び方法 |
US6411724B1 (en) * | 1999-07-02 | 2002-06-25 | Koninklijke Philips Electronics N.V. | Using meta-descriptors to represent multimedia information |
US7610559B1 (en) * | 1999-07-27 | 2009-10-27 | Samsung Electronics Co., Ltd. | Device customized home network top-level information architecture |
US7254825B1 (en) | 1999-08-23 | 2007-08-07 | Xperex Corporation | Method and device with DVD and HTML control environments |
JP4411730B2 (ja) * | 2000-02-29 | 2010-02-10 | ソニー株式会社 | ユーザインターフェースシステム、サーバ装置、及び、リモート端末装置 |
US7725812B1 (en) * | 2000-03-31 | 2010-05-25 | Avid Technology, Inc. | Authoring system for combining temporal and nontemporal digital media |
JP2002064802A (ja) * | 2000-08-21 | 2002-02-28 | Sony Corp | データ伝送システム、データ伝送装置及び方法、シーン記述処理装置及び方法 |
US7039875B2 (en) * | 2000-11-30 | 2006-05-02 | Lucent Technologies Inc. | Computer user interfaces that are generated as needed |
FR2819604B3 (fr) * | 2001-01-15 | 2003-03-14 | Get Int | Procede et equipement pour la gestion des interactions multimedias mono-ou multi-uitilisateurs entre des peripheriques de commande et des applications multimedias exploitant la norme mpeg-4 |
US20040021684A1 (en) * | 2002-07-23 | 2004-02-05 | Dominick B. Millner | Method and system for an interactive video system |
KR100607949B1 (ko) * | 2002-09-11 | 2006-08-03 | 삼성전자주식회사 | 계층화된 정보 구조를 이용한 멀티미디어 데이터 기록장치, 재생 장치 및 그 정보저장매체 |
KR101009629B1 (ko) * | 2003-03-13 | 2011-01-21 | 한국전자통신연구원 | 디지털 방송 프로그램 서비스를 제공하기 위한 확장메타데이터의 데이터 구조와 이를 이용한 적응적 프로그램서비스 제공 시스템 및 그 방법 |
CA2461118C (en) * | 2003-03-15 | 2013-01-08 | Oculus Info Inc. | System and method for visualizing connected temporal and spatial information as an integrated visual representation on a user interface |
EP1503299A1 (en) * | 2003-07-31 | 2005-02-02 | Alcatel | A method, a hypermedia communication system, a hypermedia server, a hypermedia client, and computer software products for accessing, distributing, and presenting hypermedia documents |
TWI310545B (en) * | 2003-10-04 | 2009-06-01 | Samsung Electronics Co Ltd | Storage medium storing search information and reproducing apparatus |
ATE399429T1 (de) * | 2004-04-12 | 2008-07-15 | Ind Academic Coop | Verfahren, vorrichtungen und speichermedien zur bereitstellung von multimedia-diensten unter berücksichtung der endeinrichtungsfähigkeiten |
FR2898707B1 (fr) * | 2006-03-17 | 2009-05-15 | Streamezzo Sa | Procede, dispositif et systeme de gestion d'informations structurees au sein d'une scene graphique |
CN101554049B (zh) * | 2006-09-25 | 2011-10-26 | 韩国电子通信研究院 | 用于使用场景表现语言的数字项描述和处理的设备和方法 |
US8452801B2 (en) * | 2006-10-19 | 2013-05-28 | Lg Electronics Inc. | Encoding method and apparatus and decoding method and apparatus |
KR101317204B1 (ko) * | 2006-11-27 | 2013-10-10 | 삼성전자주식회사 | 동적 영상물의 프레임 정보를 생성하는 방법 및 이를이용한 장치 |
KR101058040B1 (ko) * | 2006-12-21 | 2011-08-19 | 삼성전자주식회사 | 컨텐츠 출력 방법 및 그 장치 |
KR20080089119A (ko) * | 2007-03-30 | 2008-10-06 | 삼성전자주식회사 | Mpeg 기반의 ui 장치 및 이를 이용한 기능 제어 방법 |
US20080301545A1 (en) * | 2007-06-01 | 2008-12-04 | Jia Zhang | Method and system for the intelligent adaption of web content for mobile and handheld access |
KR20080114496A (ko) * | 2007-06-26 | 2008-12-31 | 삼성전자주식회사 | 레이저 콘텐츠를 이용하여 장면을 구성하는 방법 및 장치 |
KR101445074B1 (ko) * | 2007-10-24 | 2014-09-29 | 삼성전자주식회사 | 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치 |
US7831579B2 (en) * | 2007-12-28 | 2010-11-09 | Microsoft Corporation | Adaptive page layout utilizing block-level elements |
CN102017651B (zh) * | 2008-04-21 | 2014-01-29 | 三星电子株式会社 | 使用富媒体内容组成场景的装置和方法 |
WO2009136888A1 (en) * | 2008-05-06 | 2009-11-12 | Hewlett-Packard Development Company, L.P. | Spatiotemporal media object layouts |
KR101621092B1 (ko) * | 2008-07-15 | 2016-05-16 | 한국전자통신연구원 | 구조화된 정보의 장면 표시 장치 및 그 방법 |
KR20100040545A (ko) * | 2008-10-10 | 2010-04-20 | 삼성전자주식회사 | 구조화된 리치 미디어 데이터 기반의 사용자 인터페이스를 제공하기 위한 장치 및 방법 |
KR101472591B1 (ko) * | 2008-11-14 | 2014-12-17 | 삼성전자주식회사 | 컨텐츠의 확대 영역 선택 방법, 컨텐츠 제공 장치 및 시스템 |
US8171401B2 (en) | 2009-06-19 | 2012-05-01 | Microsoft Corporation | Resizing an editable area in a web page |
JP5528121B2 (ja) | 2010-01-05 | 2014-06-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US20120159314A1 (en) * | 2010-12-16 | 2012-06-21 | Microsoft Corporation | Adaptive content layout |
-
2013
- 2013-03-25 KR KR1020130031673A patent/KR102069538B1/ko active IP Right Grant
- 2013-07-12 US US13/940,988 patent/US10152555B2/en active Active
- 2013-07-12 CN CN201380037083.5A patent/CN104471562B/zh not_active Expired - Fee Related
- 2013-07-12 JP JP2015521552A patent/JP6218825B2/ja not_active Expired - Fee Related
- 2013-07-12 WO PCT/KR2013/006259 patent/WO2014010984A1/en active Application Filing
- 2013-07-12 EP EP13817005.5A patent/EP2873002A4/en not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1311580A (zh) * | 2000-01-24 | 2001-09-05 | 松下电器产业株式会社 | 数据接收装置、数据接收方法、数据传输方法及数据存储媒体 |
CN101111898A (zh) * | 2005-02-25 | 2008-01-23 | 株式会社东芝 | 内容再现装置和字幕再现方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2015530000A (ja) | 2015-10-08 |
EP2873002A4 (en) | 2016-04-13 |
CN104471562A (zh) | 2015-03-25 |
JP6218825B2 (ja) | 2017-10-25 |
US20140019408A1 (en) | 2014-01-16 |
KR20140009012A (ko) | 2014-01-22 |
EP2873002A1 (en) | 2015-05-20 |
KR102069538B1 (ko) | 2020-03-23 |
US10152555B2 (en) | 2018-12-11 |
WO2014010984A1 (en) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104471562B (zh) | 组成用于排列多媒体元素的标记的方法和装置 | |
CN101998167B (zh) | 电子节目菜单展示管理方法及*** | |
CN100596174C (zh) | 电子节目单界面订制方法 | |
CN105677313A (zh) | 通知消息的显示方法、装置及终端设备 | |
US20120128334A1 (en) | Apparatus and method for mashup of multimedia content | |
CN106804011B (zh) | 一种播放视频时加载字幕文件的方法及*** | |
CN103729784B (zh) | 交互式的广告管理的方法及*** | |
JP2014057246A (ja) | 表示制御装置、記録制御装置および表示制御方法 | |
CN103686454A (zh) | 一种信息获取方法和装置 | |
CN106507159A (zh) | 显示设备及其控制方法 | |
CN104584014B (zh) | 信息显示方法及记录介质 | |
CN101770371A (zh) | 应用主题内容预览方法及装置 | |
JP5857449B2 (ja) | 画像処理装置及び録画装置 | |
KR20170040148A (ko) | 네트워크를 통한 컨텐츠 제공 방법 및 장치, 컨텐츠 수신 방법 및 장치 | |
CN103810199B (zh) | 一种目录的制作方法及装置 | |
CN106951405B (zh) | 基于排版引擎的数据处理方法及装置 | |
JP2010147507A (ja) | コンテンツ再生装置 | |
CN104768083B (zh) | 一种章节内容展示的视频播放方法及装置 | |
CN101710971A (zh) | 生成页面的方法和装置 | |
KR101385105B1 (ko) | N-스크린을 통한 콘텐츠-광고 통합 배포 관리 방법 및 시스템 | |
WO2009022782A1 (en) | Method and apparatus for generating and accessing metadata in media file format | |
Teixeira et al. | Discrimination of media moments and media intervals: sticker-based watch-and-comment annotation | |
US9560103B2 (en) | Custom video content | |
KR101546329B1 (ko) | 모바일 서비스용 화면 제공 서버 및 그 방법 | |
CN107197335A (zh) | 获取导航栏信息的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181109 |