CN101300810A - 用于将svg内容嵌入进iso基本媒体文件格式以便渐进地下载或流式传输富媒体内容的方法 - Google Patents
用于将svg内容嵌入进iso基本媒体文件格式以便渐进地下载或流式传输富媒体内容的方法 Download PDFInfo
- Publication number
- CN101300810A CN101300810A CNA2006800409106A CN200680040910A CN101300810A CN 101300810 A CN101300810 A CN 101300810A CN A2006800409106 A CNA2006800409106 A CN A2006800409106A CN 200680040910 A CN200680040910 A CN 200680040910A CN 101300810 A CN101300810 A CN 101300810A
- Authority
- CN
- China
- Prior art keywords
- sample
- svg
- media
- iso base
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000000750 progressive effect Effects 0.000 title abstract description 8
- 230000005540 biological transmission Effects 0.000 claims description 42
- 230000001360 synchronised effect Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims 7
- 238000004806 packaging method and process Methods 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 7
- 239000002775 capsule Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 229910002056 binary alloy Inorganic materials 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 101100328463 Mus musculus Cmya5 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
- G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Computer Hardware Design (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种将例如SVG的矢量图形内容嵌入进3GPP ISO基本媒体文件格式以便通过MMS/PSS/MBMS服务渐进地下载或流式传输直播富媒体内容的方法。本发明的方法允许文件格式用于分组化包括图形、视频、文本和图像的富媒体内容;使流式传输服务器能够生成RTP分组;以及使客户端能够实现、播放、或渲染富媒体内容。
Description
技术领域
本发明一般地涉及嵌入内容以便渐进地下载和流式传输。更具体地,本发明涉及嵌入SVG内容以便对富媒体内容的渐进下载和流式传输。
背景技术
富媒体内容通常指的是图形丰富并且包含混合物或多媒体的内容,包括图形、文本、视频和音频,并且优选地通过单个的接口来递送。富媒体在时间上动态地改变并且可响应于用户交互。富媒体内容的流式传输对于递送用于实时内容的视觉丰富内容来说愈发重要,尤其在MBMS/PSS服务架构内。
多媒体广播/多播服务(MBMS)流式传输服务有助于在3G移动环境中将受欢迎的实时内容资源有效的递送到多个接收器。替代于使用不同的点对点(PtP)承载将相同的内容递送到不同的移动设备,使用单点对多点(PtM)承载来将相同的内容递送到给定小区内的不同移动设备。流式传输的内容可包括视频、音频、可缩放矢量图形(SVG)、时控文本和其他支持的媒体。可以预先记录内容或从现场报道生成内容。
存在若干种现有解决方案来呈现富媒体,尤其在web服务域内。SVGT 1.2是用于描述XML中二维图形的语言。SVG考虑三种类型的图形对象:(1)矢量图形形状(例如,包括直线和曲线的轨迹);(2)多媒体,例如光栅图像、音频和视频;以及(3)文本。SVG绘图可以是交互的(使用DOM事件模型)并且动态的。可声明式地(即,通过将SVG动画元素嵌入到SVG内容中)或经由脚本来定义和触发动画。通过使用访问SVG微文档对象模型(uDOM)的补充脚本语言,可以进行SVG的复杂应用,该SVG微文档对象模型(uDOM)提供对所有元素、品质和属性的完全访问。一组丰富的事件处理机可以分配给任意的SVG图形对象。由于其对其他Web标准(例如CDF)的兼容性和杠杆作用,例如脚本的特征可以在相同的Web页内的XHTML和SVG元素上同时进行。
同步多媒体集成语言(SMIL)2.0实现交互的视听呈现的简单著作。SMIL通常用于“富媒体”/多媒体呈现,其将流式音频和视频与图像、文本或任意其他的媒体类型进行集成。
复合文档格式(CDF)工作组当前试图将例如XHTML、SVG、MathML和SMIL的单独组件语言(例如,来自单独的词汇表的基于XML的语言、元素和属性)与对用户接口标记的关注进行组合。当组合用户接口标记时,没有被各个标记规范所解决的特定问题必须被解决,例如事件在标记间的传播,将渲染或用户交互模型与组合的文档进行组合。该工作被划分成多个阶段和两个技术解决方案:通过引用和通过包括来组合。
上述的解决方案或机制都没有指定包括SVG内容的富媒体内容可以如何被嵌入进ISO基本媒体文件格式以用于渐进的下载和流式传输目的。
直到目前,用于移动设备的应用是基于文本的,其具有有限的交互性。然而,当更多的无线设备配备有彩色显示器和更为先进的图形渲染库时,消费者不断地从所有他们的无线应用请求丰富的媒体体验。因此实时富媒体内容流式传输服务对于移动终端来说是极为期望的,尤其在MBMS、PSS和MMS服务领域。
SVG被设计为描述分辨率独立的二维矢量图形的解决方案(并且经常嵌入其他的媒体,例如光栅图形、音频、视频等),并且允许使用从SMIL借鉴的事件模型和动画概念来进行交互。其还允许无限的缩放能力并且增强了移动设备上用户接口的功能。作为结果,SVG正在得到重视并且正在成为多媒体呈现的核心元素之一,尤其对于富媒体,例如移动TV、交通信息的实时更新、天气、新闻等。SVG是基于XML的,其允许与其他现有的web技术进行更为透明的集成。SSVG已经由W3C认可而作为推荐,并且Adobe将其作为优选的数据格式。
由3GPP定义的ISO基本媒体文件格式是新的世界范围标准,其用于在第三代、高速无线网络上创建、递送和回放多媒体。该标准试图提供通过新近演进的、宽带移动网络(第三代网络)将富多媒体统一递送到最新的支持多媒体的移动设备。当前的文件格式仅被定义用于音频、视频和时控文本。因此,随着SVG重要性的增长,重要的是将SVG连同传统的媒体(视频、音频等)集成进ISO基本媒体文件格式以便增强和递送真实的富媒体内容,尤其通过移动设备。这意味着富媒体流式传输服务器和客户端将支持该增强的ISO基本媒体文件格式,以用于针对渐进的下载或流式传输解决方案的内容递送。
当前,还不存在这样的解决方案,其用于将SVG中的图形媒体嵌入到用于富媒体内容的渐进的下载或流式传输的3GPP ISO基本媒体文件格式中。PCT公布号No.WO2005/039131介绍了一种用于在容器格式内将包括若干媒体对象的多媒体呈现进行传输的方法。美国公开专利申请号No.2005/0102371讨论了一种用于安排通过服务器和客户端之间的网络对包括元数据和媒体数据的可流式传输的文件进行流式传输或下载的方法,其中文件的至少部分元数据被传送到客户端。然而,用于3GPP中的矢量图形的当前解决方案仅限于下载和播放,另外的就是已知的HTTP流式传输。
发明内容
本发明提供一种方法,其用于将例如SVG的矢量图形内容嵌入进3GPP ISO基本媒体文件格式中以便通过MMS/PSS/MBMS服务渐进的下载或流式传输直播的富媒体内容。本发明的方法允许文件格式用于富媒体内容(图形、视频、文本、图像等)的封装,使流式传输服务器能够生成RTP分组,并且使客户端能够实现、播放、或渲染富媒体内容。
本发明将ISO基本媒体文件格式扩展到适应SVG内容。先前还没有解决方案用于包括基于帧的媒体(例如视频)与基于时间的SVG二者。ISO基本媒体文件格式是新的移动电话文件格式,其用于通过第三代、高速无线网络来创建、递送和回放多媒体。包括SVG有助于更好地向3G移动设备提供富媒体服务。
通过下面结合附图的详细描述,本发明的这些和其他目的、优势和特征,连同其操作的组织和方式将变得明显,其中在下面描述的若干附图中,相同的元件具有相同的标号。
附图说明
图1是其中可实施本发明的***的总体示图;
图2是在本发明的实施中可使用的移动电话的透视图;
图3是图2的移动电话的电话电路的示意图;以及
图4是示出在ISO基本媒体文件上下文中将富媒体服务从服务器提供给客户端的处理的流程图。
具体实施方式
本发明提供一种方法,其用于将例如SVG的矢量图形内容嵌入进3GPP ISO基本媒体文件格式中以便通过MMS/PSS/MBMS服务渐进的下载或流式传输直播的富媒体内容。本发明的方法允许文件格式用于富媒体内容(图形、视频、文本、图像等)的封装,使流式传输服务器能够生成RTP分组,并且使客户端能够实现、播放、或渲染富媒体内容。
存在针对富媒体服务的若干用例。这些用例中的若干如下。
长卡通动画的预览-该服务允许终端用户确定他或她期望全面观看哪个动画之前渐进地下载每个动画的小部分。
交互的移动TV服务-该服务实现包括音频-视频内容、文本、图形、图像和TV以及无线电频道的富媒体内容的确定性的渲染和性态(全部在终端用户接口中)。该服务必须在单个的应用或服务中提供通过内容的方便导航并且必须允许本地的或远程的同步交互,以便例如投票和个性化(例如:终端用户简档或服务订制功能中的相关的菜单或子菜单,广告和内容)。在对应于在iTV移动服务中可用的四个服务和子服务的四个步骤来描述该用例:(1)镶嵌菜单:TV频道景观;(2)电子程序指南和相关iTV服务的触发;(3)iTV服务;以及(4)个性化菜单“体育新闻”。
直播企业数据源-该服务包括证券报价机,其提供实时报价、直播一天内具有技术指示符的图表、新闻监视、天气警报、图表、商务更新的流式传输等。
直播聊天-直播聊天服务可以被集成进web摄像机、视频频道或富媒体blog服务中。终端用户可以登记、保存他们的昵称并且交换消息。消息动态地出现在直播聊天服务中,连同由终端用户提供的富媒体数据。聊天服务可以同时在一个或多个频道中是私有的或公有的。终端用户被动态地提示有来自其他用户的新的消息。在无需重载完整页面的情况下发生服务内消息的动态更新。
卡拉OK-该服务显示音乐TV频道或视频剪辑目录,连同在用于演唱的文本字符上有类似流动的动画(例如,字体的平滑色彩转换、文本的滚动)的歌词。终端用户可以通过选择交互的按键来下载他或她选择的歌曲,连同完整的动画。
图4示出在ISO基本媒体文件上下文中将富媒体服务从服务器100提供到客户端设备110的处理的示图。富媒体(具有其他媒体的SVG)提供给ISO基本媒体文件生成器120,其用于创建富媒体ISO基本媒体文件130。该项目接着被传送通过编码器140并且随后由解码器150解码。接着由富媒体文件提取器160来提取富媒体ISO基本媒体文件130并且接着可由客户端设备110来使用。
本发明的第一实现包括三个步骤:(1)在ISO基本媒体文件格式中定义新的SVG媒体轨道;(2)指定ISO基本媒体文件格式内的提示轨道信息以促进SVG样本的RTP分组化;以及(3)指定可选的阴影同步样本表以促进用于寻道操作的随机访问点。
在ISO基本媒体文件格式中,整个的呈现被称为电影并且在逻辑上被划分为轨道。每个轨道表示媒体的定时序列(例如,视频中的帧,SVG中的场景和场景更新)。每个轨道中的每个定时单元被称为样本。每个轨道具有一个或多个样本描述,其中轨道中的每个样本通过引用连接到相应的样本描述。该文件格式内的所有数据按包(box)的分级结构来封装。包是面向对象构建块,其由唯一的类型标识符和长度来定义。所有的数据包含在包中;文件内没有其他的数据。这包括由特定的文件格式所需的任意初始签名。
表1示出ISO基本媒体文件格式的包分级结构。这些包的排序和准则符合在www.jpeg.org/jpeg2000/j2kpart12.html处公开的ISO/IEC 15444-12:2005规范。在这里详细描述的实施提供将SVG媒体包括在文件格式中所需的描述符和附加的包定义。表1中的所有其他包符合如在规范中所述的它们的定义和语法。由于ISO基本媒体文件格式中的数据可发生在包括呈现、轨道和样本层的若干层处,其需要被分组并且集成进单个的呈现中。在表1中,在本文档中所新定义的包被粗体高亮显示。
表1
moov | * | 用于所有元数据的容器 | ||||||
mvhd | * | 电影报头、全部声明 | ||||||
trak | * | b | 各个轨道或流的容器 | |||||
tkhd | * | 轨道报头、关于轨道的全部信息 | ||||||
mdia | * | 轨道中媒体信息的容器 | ||||||
mdhd | * | 媒体报头,关于媒体的全部信息 | ||||||
hdlr | * | c | 句柄,声明媒体(句柄)类型 | |||||
minf | * | 媒体信息容器 | ||||||
smhb | d | SVG媒体报头,全部信息(仅SVG轨道) | ||||||
dinf | * | 数据信息包,容器 |
dref | * | 数据引用包,声明轨道中媒体数据的源 | ||||||
stbl | * | 样本表包,用于时间/空间映射的容器 | ||||||
stsd | * | f | 样本描述(编解码器类型,初始化等) | |||||
stts | * | e | (解码)时间到样本 | |||||
stsc | * | 样本到组块,部分数据-偏移信息 | ||||||
stco | * | 组块偏移,部分数据-偏移信息\ | ||||||
stss | g | 同步样本表(随机访问点) | ||||||
stsh | g | 阴影同步样本表 | ||||||
udta | 用户数据 | |||||||
hnti | 轨道提示信息容器 | |||||||
fthi | i.3.4 | FLUTE轨道提示信息(FLUTE方案) | ||||||
fdtt | i.5.4 | FLUTE轨道FDT信息(FLUTE方案) | ||||||
sdp | RTP轨道sdp提示信息(RTP方案) | |||||||
udta | 用户数据 | |||||||
hnti | 电影提示信息容器 | |||||||
fmhi | i.3.3 | FLUTE电影提示信息(FLUTE方案) | ||||||
flmf | i.5.3 | FLUTE电影FDT信息(FLUTE方案) | ||||||
rtp | RTP电影提示信息(RTP方案) | |||||||
frmh | i.4.3 | FLUTE RTP电影提示信息(FLUTE+RTP方案) | ||||||
frmf | i.5.3 | FLUTE RTP电影FDT信息(FLUTE+RTP方案) | ||||||
rfmh | i.4.3 | RTP FLUTE电影提示信息(FLUTE+RTP方案) | ||||||
meta | * | a | 元数据包 | |||||
loc | * | 项目位置包 | ||||||
iinf | * | 项目信息包 | ||||||
pitm | * | 原始项目引用 | ||||||
ihib | i.1 | 项目提示信息包 |
rihi | i.2.2 | RTP项目提示信息(RTP方案) | ||||||
fihi | i.3.2 | FLUTE项目提示信息(FLUTE方案) | ||||||
flif | i.5.2 | FLUTE项目FDT信息(FLUTE方案) | ||||||
frih | i.4.2 | FLUTE RTP项目提示信息(FLUTE+RTP方案) | ||||||
frif | i.5.2 | FLUTE RTP项目FDT信息(FLUTE+RTP方案) | ||||||
rfih | i.4.2 | RTP FLUTE项目提示信息(FLUTE+RTP方案) | ||||||
phib | i.1 | 呈现提示信息包 | ||||||
rphi | i.2.1 | RTP呈现提示信息(RTP方案) | ||||||
fphi | i.3.1 | FLUTE呈现提示信息(FLUTE方案) | ||||||
flpf | i.5.1 | FLUTE呈现FDT信息(FLUTE方案) | ||||||
frph | i.4.1 | FLUTE RTP呈现提示信息(FLUTE+RTP方案) | ||||||
rfph | i.4.1 | RTP FLUTE呈现提示信息(FLUTE+RTP方案) | ||||||
frpf | i.5.1 | FLUTE RTP呈现FDT信息(FLUTE+RTP方案) |
本发明的第一实施涉及定义用于SVG媒体的包语法。各种包语法如下:
媒体数据包和元包。在常规的***中,所有的媒体数据(音频、视频、时控文本、光栅图像等)被包含在各个文件或相同文件内的不同媒体数据包(“mdat”)中或二者的组合。“moov”包和“meta”包二者可用于保存元数据。“meta”包的容器可以是文件、“moov”包或“trak”包。根据3GPP文件格式(3GPP TS 26.244),具有扩展呈现的3GP文件包括在文件顶层处的元包(“meta”)。
当原始数据是XML格式并且期望XML被直接存储在meta包中时,“meta”分层结构下的XML包(“xml”和“bxml”)可以被使用,根据数据分别是纯XML或二进制XML。因为SVG是一种类型的XML数据,SVG媒体数据可以存储在各个文件中,相同文件内的不同“mdat”,或XML包(“xml”或“bxml”)中或三者的组合。
轨道包(“trak”)。轨道包包含呈现的单个轨道。每个轨道彼此独立,携带其自身的时间和空间信息。每个轨道包与其自身的媒体包关联。作为默认,呈现寻址电影包的所有轨道。然而,可以通过参考各个媒体轨道的轨道ID来寻址电影包中的各个媒体轨道。通过列举它们的号码来寻址各个轨道,例如“#box=moov;track_ID=1,3”。
句柄参考包。在此引入新的SVG句柄。该句柄定义句柄类型“svxm”和名称“image/svg+xml”。
媒体信息报头包。SVG媒体报头包包含用于SVG媒体的通用呈现信息。该包的定义和语法如下:
包类型:“smhb”
容器:媒体信息包(“minf”)
强制:是
数量:恰一个
aligned(8)class SVGMediaHeaderBox extends FullBox(‘smhb’,version=0,0){
string version_profile;
string base_profile;
unsigned int(8) sdid_threshold;
}
“version_profile”指定使用的SVG的简档,SVGT1.1或SVGT1.2。“base_profile”描述被认为正确地渲染内容(SVG微小或SVG基础)所需的最小SVG语言简档。“sdid_threshold”指定样本描述索引字段(SDID)的阈值。SDID是8比特的索引,其用于标识样本描述(SD)以帮助解码净荷。SDID的最大值是255,并且用于静态和动态SDID的默认阈值是127。
时间到样本包。解码时间到样本包(stts)描述必须如何计算解码时间到样本信息以用于场景和场景更新。解码时间到样本包包含表的压缩版本,其允许从解码时间到样本号来进行编索引。表中的每个条目给出具有相同时间德耳塔的连续样本的数目,以及那些样本的德耳塔。通过添加该德耳塔,可以构建完整的时间到样本映射。通过解码时间戳来对样本条目进行排序;因此所有的德耳塔都是非负的。例如,用于时间到样本包的ISO基本媒体文件格式语法如下:
aligned(8)class TimeToSampleBox extends FullBox(’stts’,version=0,0){
unsigned int(32) entry_count;
int i;
for(i=0;i<entry_count;i++){
unsigned int(32)sample_count;
unsigned int(32)sample_delta;
}
}
在这种情况下,“entry_count”是给出下表中条目数目的整数。“sample_count”是计数具有给定持续时间的连续样本的数目的整数。“sample_delta”是在媒体的时间尺度上给出这些样本的德耳塔的整数。例如,可以检查其中有一个场景,具有第0时间单位的开始时间的情况。在这种情况下,也可以有三个场景更新,具有第5时间单位、第10时间单位和第15时间单位的开始时间。在该情形下,总共有四个条目。在这种情形下,解码时间到样本表条目如下:
entry_count=4
表2
sample_count | 1 | 1 | 1 | 1 |
sample_delta | 0 | 5 | 5 | 5 |
可选地,表2可以如下表示,因为用于场景更新的德耳塔是相同的:
entry_count=4
Table3
sample_count | 1 | 3 |
sample_delta | 0 | 5 |
其中时间间隔不相等的另一个例子如下。一个场景可以具有第0时间单位的开始时间。在该例子中,有四个场景更新,具有第2时间单位、第7时间单位、第12时间单位和第15时间单位的开始时间。在该情况下,解码时间到样本表条目如下。
entry_count=5
Table 4
sample_count | 1 | 1 | 1 | 1 | 1 |
sample_delta | 0 | 2 | 5 | 5 | 3 |
可替代地如下表示:
Table 5
sample_count | 1 | 1 | 2 | 1 |
sample_delta | 0 | 2 | 5 | 3 |
在这样的设置中应该注意到若干项目。场景和场景更新不会在时间上重叠。基于在媒体报头包(“mdhd”)中定义的“时间尺度”来计算“时间单位”。另外,“时间尺度”需要足够的解析度以确保每个解码时间是整数。最后,不同的轨道可具有不同的时间尺度。如果SVG媒体是用于包括音频和视频的所有其他媒体的容器格式,则呈现的时间尺度是原始SVG媒体的时间尺度。然而,如果SVG媒体与其他媒体共存,则呈现尺度不小于呈现中所有媒体间的最大时间尺度。
样本描述包。在ISO基本媒体文件格式中的样本描述包(stsd)下,下面定义SVG样本条目。其定义样本描述格式以表示该场景轨道内的SVG样本。其包含解码SVG样本所需的所有信息。
class SVGSampleEntry() extends SampleEntry(‘ssvg’){//’ssvg’->unique type
identifier for
//SVG Sample
unsigned int(16) pre_defined=0;
const unsigned int(16) reserved=0;
unsigned int(8) type;
string content_encoding;
string text_encoding;
unsigned int(8) content_script_type;
unsigned int(16)format_list[];
}
“type”指定该样本是否代表场景或场景更新。“content_encoding”是具有可能值是“无”、“bin_xml”、“gzip”、“压缩”、“缩小”的空终止串。该规范是根据可在www.w3.org/Protocols/rfc2616/rfc2616-sec3.html#sec3.5找到的RFC2616的章节3.5。“text_encoding”是具有从例如US_ASCII、BS_4730等的IANA规范(可在www.iaua.org/assignments/character-sets)找到)中“名称”或“别名”字段(根据应用)获得的可能值的空终止串。“content_script_type”标识用于给定样本的默认脚本语言。该属性设置文档中所有脚本实例的默认脚本语言。值“content_type”指定媒体类型。如果没有启用脚本,则该字段的值是0。默认值是具有值1的“ecmascript”。“format_list”列举了出现在当前样本中的所有媒体格式。在该情形中不考虑外部嵌入的媒体。
媒体可以被嵌入在SVG中作为
<xlink:href=″ski.avi″volume=″.8″type=″video/x-msvideo″x=″10″y=″170″>或
<xlink:href=″1.ogg″volume=″0.7″
type=″audio/vorbis″begin=″mybutton.click″repeatCount=″3″>。
format_list指示在相应的SVG样本内的内部链接嵌入媒体的格式数目。format_list是阵列,其中SVG样本的格式数目存储在第一位置中,后面是另一嵌入媒体的格式数目。例如,如果SVG呈现的SDP是:
m=svg+xml 12345 RTP/AVP 96
a=rtpmap:96X-SVG+XML/100000
a=fmtp:96 sdid-threshold=63;version_provile=″1.2″;base_profile=″1″....
m=video 49234RTP/AVP 9899100101
a=rtpmap:98h263-2000/90000....
如果一个特定SVG样本包含具有格式数目为99,100的视频媒体,则该样本的format_list顺序包含值:96,99,100。应该注意到在SVG样本条目包中指定的一些参数可以在SVG文件自身内定义,并且ISO基本媒体文件生成器可剖析类似XML的SVG内容以获得关于样本的信息。然而,为了设计的灵活性,该信息被提供为SVG样本条目包内的字段。
同步样本包和阴影同步样本包。同步样本包和阴影同步样本包被定义在ISO基本媒体文件格式中(ISO/IEC 15444-12:2005)。同步样本包提供流内的随机访问点的紧密标记。如果不存在同步样本包,则每个样本是随机访问点。阴影同步表提供可选的一组同步样本,其可用于当寻轨或类似目的时。在常规的前向播放中,它们被忽略。阴影同步样本替换而非增加其遮蔽的样本。处理阴影同步样本,好像其发生在其遮蔽的样本的时刻,具有其遮蔽的样本的持续时间。作为例子,考虑下面的SVG样本序列:
S SU SU SU S SU SU SU S S SU SU SU
sample_index | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
Samples | S | SU | SU | SU | S | SU | SU | SU | S | S | SU | SU | SU |
在该情形下,每个SVG场景(S)是随机访问点。所有的SVG场景能够(但不必)是同步样本。如果具有索引0、4和8的样本被考虑为同步样本,则同步样本列表如下:
entry_index | 0 | 1 | 2 |
sync_sample_number | 0 | 4 | 8 |
阴影同步样本通常放置于在常规播放期间不存在的轨道区域中(即,由编辑列表在编辑中删除的部分),尽管这不是必须的。在常规前向播放期间,阴影同步样本被忽略。shadowed_sample_number可以分配给非同步SVG场景或SVG场景更新。阴影同步样本包中的每对(sync_sample_number,shadowed_sample_number)的一个映射例子如下。
S | SU | SU | SU | S | SU | SU | SU | S | S | SU | SU | SU | |
sample_index | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
shadowed_sample_number | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | |||
sync_sample_number | 0 | 0 | 0 | 4 | 4 | 4 | 8 | 8 | 8 | 8 |
应该注意到尽管具有索引9的样本在本例中是SVG场景,但不将其考虑为同步样本。相反,shadowed_sample_number可以分配给该场景。
指定传输方案和相应的会话描述格式。SVG支持类似于同步的多媒体集成语言(SMIL)媒体元素的媒体元素。所有的嵌入媒体可以被划分成两个部分:动态的媒体和静态的媒体。动态的媒体或实时的媒体元素定义它们的时间容器内的自身时间线。例如,
<audio xlink:href=”1.ogg”volume=”0.7”type=”audio/vorbis”
begin=”mybutton.click”repeatCount=”3”/>
<video xlink:href=”ski.avi”volume=”.8”type=”video/x-msvideo”x=”10”y=”170”/>
例如图像的静态媒体使用“图像”元素嵌入在SVG中,例如:
<image x=″200″y=″200″width=″100px″height=″100px″
xlink:href=″myimage.png″>
SVG也可嵌入其他的SVG文档,接着可通过嵌套嵌入更多的SVG文档。动画元素指定外部嵌入的SVG文档或提供同步的动画矢量图形的SVG文档片段。类似视频元素,动画元素是图形对象,其大小由它的x、y、宽度和高度属性来确定。例如:
<animation begin=″1″dur=″3″repeatCount=″1.5″fill=″″freeze″x=″100″y=″100″
xlink:href=″myIcon.svg″/>
类似地,SVG中的媒体可以被内部或外部地引用。尽管上述的例子被内部地引用,但下面的例子示出外部引用的媒体:
<animate attributeName=”xlink:href’
values=”http://www.example.com/images/1.png;
http://www.example.com/images/2.png;
http://www.example.com/images/3.png”
begin=”15s”dur=”30s”/>
嵌入的媒体元素可通过SVG内容中的内部或外部URL来链接。在该情形下,内部URL表示ISO基本媒体文件自身内的文件路径。外部URL表示ISO基本媒体文件外的文件路径。在该发明中,传输机制仅针对内部嵌入媒体进行描述。会话描述协议(SDP)被相应地指定用于内部嵌入的媒体和场景描述。
这里讨论的传输机制仅提供用于内部嵌入的媒体,而接收器可从外部流式传输服务器外部地请求嵌入的动态媒体。因此,下面定义的会话描述信息仅应用于内部嵌入的媒体。
对于内部嵌入的媒体,动态媒体和静态媒体二者可以由FLUTE(通过非定向传输的文件递送)来传输。然而,仅它们中的动态媒体可以由RTP来传输。仅当静态媒体具有其自身的RTP净荷格式时,静态媒体可以由RTP来传输。可通过下面的操作来明确地传输静态的嵌入媒体文件(例如,图像):(1)将它们预先经由FLUTE会话发送到UE;(2)在流式传输会话前,以类似于在MBMS会话前将安全密钥发送到客户端的方式,在点对点承载上向每个客户端发送静态媒体;(3)如果足够的无线资源可用,具有独立于RTP传输会话的并行FLUTE传输会话;或(4)由于有限的无线资源,令非并行的传输会话传输所有的数据。每个传输会话包含FLUTE数据或RTP数据。此外,RTP SDP格式被指定用于传输SVG场景描述和动态媒体,并且FLUTE SDP格式被指定用于传输SVG场景描述、动态和静态媒体。
会话描述协议是指定会话描述的通用实用格式。下面使用其来指定每个传输协议的会话描述。RTP分组可用于传输场景描述和动态内部嵌入的媒体。对于SVG中的动态嵌入媒体(例如,视频),场景描述可以类似于下面的格式来对文件寻址:
<video xl1nk:href=″video 1.263″....>
<video xlink:href=″video2.263″....>
根据item_ID或item_name,这两个嵌入媒体可以由项目信息包(“iinf”)来寻址。例如,如果媒体分别由项目信息包表示为item_ID=2和item_ID=4,并且相应的item_name是item_name=”video 1.263”并且item_name=″video2.263″,相应的SDP格式可以被定义为:
m=video 49234 RTP/AVP 9899
a=rtpmap:98 h263-2000/90000
a=fmtp:98 item_ID=2;profile=3;level=10
a=rtpmap:99h263-2000/90000
a=fmtp:99item_name=″video2.263″;profile=3;level=10
用于元包的URL形式已经定义在ISO基本媒体文件格式中(ISO/IEC 15444-12:2005,章节8.44.7),其中item_ID和item_name用于寻址项目。item_ID和item_name可用于寻址在另一3GPP文件中出现的外部和内部动态媒体文件二者,因为所有的必需信息在项目位置包和项目信息包中是可用的。项目位置包提供该动态嵌入媒体的位置,并且项目信息包提供该媒体的“content_type”。“content_type”是MIME类型。从该字段,解码器可知道媒体是哪种类型。此外,3GPP的扩展呈现简档需要在元包中必须有项目信息包和项目位置包,并且此类的元包是根层的元包。
在另一例子中,当前的3GPP文件包含具有相同格式的两个视频轨道。该场景描述使用下面的文本来寻址轨道:
<video xlink:href=″#box=moov;track_ID=3″....>
<video xlink:href=″#box=moov;track_ID=5″....>
相应的SDP格式可以被定义为:
m=video 49234RTP/AVP 9899
a=rtpmap:98h263-2000/90000
a=fmtp:98box=moov;track_ID=3;profile=3;level=10
a=rtpmap:99h263-2000/90000
a=fmtp:99box=moov;track_ID=5;profile=3;level=10
FLUTE分组可用于传输场景描述、动态内部嵌入媒体和静态内部嵌入媒体。内部嵌入媒体的URL在FLUTE会话内的文件递送表(FDT)中指示,而不是在会话描述中。用于FLUTE的SDP描述的语法已经在因特网-草案:SDP Descriptors for FLUTE中定义,其可在www.ietf.org/internet-drafts/draft-mehta-rmt-flute-sdp-02.txt.处找到。
用于存储SDP信息的包。在当前的ISO基本媒体文件格式中,分别使用电影提示信息包和轨道提示信息包将SDP信息存储于在电影和轨道层二者处的用户数据包内的一组包中。电影提示信息包包含覆盖由当前电影所寻址的数据的会话描述信息。其包含在“电影包”下的用户数据包中。轨道提示信息包包含覆盖由当前轨道所寻址的数据的会话描述信息。其包含在“轨道包”下的用户数据包中。然而,由于提示信息包(“hnti”)仅在电影和轨道层处定义,对于其中客户端请求服务器在交互期间传输特定项目的数据或如果音频、视频、图像文件和XML包中的XML数据需要被一起传送为呈现的情况,在原始的ISO基本媒体文件格式中没有适当的此类信息。为了解决该问题,这里定义两个附加的提示信息容器:“项目提示信息包”和“呈现提示信息包”。
项目提示信息包包含覆盖由所有的项目所寻址的数据的会话描述信息。其包含在元包中,并且该元包处于文件结构的顶层。语法如下:
aligned(8)class itemhintinformationbox extends box(‘ihib‘){
unsigned int(16) entry_count;
for(i=0;i<entry_count;i++){
unsigned int(16) item_ID;
string item_name;
Box container_box;
}
}
项目提示信息包被存储于在文件层处的元包中的“other_boxes”中。“item_ID”包含针对其指定提示信息的项目的ID。其具有与项目位置包和项目信息包中的相应项目相同的值。“item_name”是UTF-8字符中的空终止串,其包含项目的符号名称。其具有与项目信息包中的相应项目相同的值。当item_ID可用时,其可以是空串。“container_box”是包含给定项目的会话描述信息的容器包,例如SDP。“entry_count”提供下面阵列中条目的数目的计数。
呈现提示信息包包含在整个呈现期间覆盖所寻址的数据的会话描述信息。其可以包含由项目或轨道所寻址的任何数据,以及XML包中的数据。其包含在用户数据包中,并且该用户数据包位于文件结构的顶层。该语法如下:
aligned(8)class presentationhintinformationbox extends box(‘phib‘){
}
各种描述格式可用于RTP。在这些包中,“sdptext”字段被正确地格式化为一系列的行,每个以<crlf>终止,如SDP(ISO/IEC15444-12:2005的章节10.4)所要求。对于传输SVG场景和场景更新以及动态的嵌入媒体,该情形出现。在当前的ISO基本媒体文件格式中,SDP包仅在电影和轨道层处针对RTP定义。因此两个附加的包被定义在呈现和项目层。首先,呈现层提示信息容器定义在“phib”包内并且专用于RTP传输。语法如下:
aligned(8)class rtppresentationhintinformation extends box(‘rphi‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
.}
通过使用′item_ID′,′item_name′,′box′或′track_ID′来标识媒体资源,例如:
....
m=video 49234RTP/AVP 9899100
a=rtpmap:98h263-2000/90000
a=fmtp:98box=moov;track_ID=3;profile=3;level=10
a=rtpmap:99h263-2000/90000
a=fmtp:99item_ID=2;ptofile=3;level=10
a=rtpmap:100h263-2000/90000
a=fmtp:100item_name=″3gpfile.3gp″;box=moov;track_ID=5;profile=3;level=10
...
其次,项目层提示信息容器定义于“ihib”包内并且专用于RTP传输:
aligned(8)class rtpitemhintinformation extends box(‘rihi‘){
uint32)descriptionformat=‘sdp‘;
char sdptext[];
}
存在用于FLUTE的各种描述格式。在当前文档中仅定义SDP。sdptext被正确地格式化为一系列的行,每个以<crlf>终止,如SDP所要求的。该情形出现在传输SVG场景和场景更新和静态嵌入媒体。在当前的ISO基本媒体文件格式在任意的层处(呈现、电影、轨道、项目等)不具有用于FLUTE的SDP容器时,针对所有这些四个层的包被定义为所示出的。
呈现层提示信息容器定义在“phib”包内,专用于FLUTE。这可用于当“当前呈现”中的所有内容经由FLUTE发送时。语法如下。
aligned(8) class flutepresentationhintinformation extends box(‘fphi‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
}
项目层提示信息容器定义在“ihib”包内,专用于FLUTE。当“当前项目”内的所有内容经由FLUTE发送时,这可以使用。语法如下。
aligned(8)class fluteitemhintinformation extends box(‘fihi‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
}
电影层提示信息容器定义在“hnti”包内,专用于FLUTE。当“当前电影”中的所有内容经由FLUTE发送时,这可以使用。语法如下。
aligned(8)class fluternoviehintinformation extends box(‘fmhi‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
}
轨道层提示信息容器定义在“hnti”包内,专用于FLUTE。在当前轨道中的所有内容经由FLUTE发送时,这可以使用。语法如下。
aligned(8)class flutetrackhintinformation extends box(‘fthi‘){
uint(32)descriptionformat =‘sdp‘;
char sdptext[];
}
FLUTE+RTP传输***可用于当SVG媒体包含静态和动态嵌入的媒体二者时。静态媒体经由FLUTE发送,而动态媒体经由RTP发送。相应地,针对FLUTE和RTP的SDP信息可以保存在下面的包中。它们可以由应用来进一步组合。
呈现SDP信息(下面的两个包被包含在“phib”包中)
aligned(8)class flutertppresentationhintinformation extends box(‘fiph‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
}
aligned(8)class rtpflutepresentationhintinformation extends box(‘rfph‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
}
项目SDP信息。(下面的两个包包含在“ihib”包中)
aligned(8)class flutertpitemhintinformation extends box(‘frih‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
}
aligned(8)class rtpfluteitemhintinformation extends box(‘rfih‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
}
电影SDP信息。(下面的两个包被包含在电影层“hnti”包中)
aligned(8)class flutertpmoviehintinformation extends box(‘frmb.‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
}
aligned(8)class rtpflutemoviehintinformation extends box(‘rfmh‘){
uint(32)descriptionformat=‘sdp‘;
char sdptext[];
}
文件递送表(FDT)提供一种机制,其用于描述与将要在文件递送会话中递送的文件关联的各种属性。逻辑上,FDT是用于将在会话中递送的文件的一组文件描述条目。每个文件描述条目必须包括其描述文件的TOI和标识文件的URI。每个文件递送会话必须具有给定会话本地的FDT。在文件递送会话内,FDT作为FDT实例递送。FDT实例包含FDT的一个或多个文件描述条目。这里定义和使用FDT包来存储FDT实例的数据。FDT包被定义用于四个层——呈现、电影、轨道和项目,如下所示。
两个呈现层FDT数据容器定义在“phib”包内,分别专用于FLUTE和FLUTE+RTP传输方案。这些容器被如下定义:
aligned(8) class flutepresentationfdtinformation extends box(‘flpf‘){
unsigned int(32) fdt_instance_count;
for(i=0;i<fdt_instance_count;i++){
char fdttext[];
}
}
aligned(8)class flutertppresentationfdtinformation extends box(‘frpf‘){
unsigned int(32) fdt_instance_count;
for(i=0;i<fdt_instance_count;i++){
char fdttext[];
}
}
嵌入媒体资源的内容-位置通过使用在ISO/IEC 15444-12:2005中的章节8.44.7中定义的URL形式来表示。′item_ID′,′item_name′,′box′,′track_ID′,′#′和′*′可用于指示URL。例如:
...
<File
Content-Location=″3gpfile.3gp#item_name=tree.html*branchl″
TOI=″2″
Content-Type=″text/html″/>
...
两个项目层FDT数据容器定义在“ihib”包内,分别专用于FLUTE和FLUTE+RTP传输方案。这些容器被如下定义:
aligned(8)class fluteitemfdtinformation extends box(‘flif‘){
unsigned int(32) fdt_instance_count;
for(i=0;i<fdt_instance_count;i++){
char fdttext[];
}
}
aligned(8)class flutertpitemfdtinformation extends box(‘frif‘){
unsigned int(32) fdt_instauce_count;
for(i=0;i<fdt_instance_count;i++){
char fdttext[];
}
}
两个电影层FDT数据容器定义在电影层“hnti”包内,分别专用于FLUTE和FLUTE+RTP传输方案。这两个容器被如下定义:
aligned(8)class flutemoviefdtinformation extends box(‘flmf‘){
unsigned int(32) fdt_instance_count;
for(i=0;i<fdt_instance_count;i++){
char fdttext[];
}
}
aligned(8)class flutertpmoviefdtinformation extends box(‘frmf‘){
unsigned int(32) fdt_instance_count;
for(i=0;i<fdt_instance_count;i++){
char fdttext[];
}
}
轨道层FDT数据容器定义在“hnti”包内,专用于FLUTE。其可用于在当前轨道内的所有内容经由FLUTE发送时。容器被如下定义:
aligned(8)class flutetrackfdtinformation extends box(‘fdtt‘){
char fdttext[];
}
提示轨道信息。该提示轨道结构被概括成支持多个数据格式中的提示样本。该提示轨道样本包含建立正确类型的分组报头所需的任意数据,并且也包含到属于分组的数据块的指针。此类的数据可以包括SVG,动态和静态的嵌入媒体。提示轨道样本不是提示轨道包结构的一部分,尽管它们通常在相同的文件中找到。提示轨道数据引用包(“dref”)和样本表包(“stbl”)可用于找到用于特定样本的文件规范和字节偏移。提示轨道样本数据是字节对准的并且总是采取big-endian格式。
在用户交互期间,客户端可以请求服务器经由RTP来发送动态内部嵌入媒体。此类媒体的元数据可以被保存在项目中。RTP提示轨道格式可用于生成针对一个项目的RTP流。为了允许有效的从项目生成RTP分组,针对在项目层处的该类型构建器的语法如下定义。字段基于ISO 15444-12:2005章节10.3.2中的格式。
aligned(8)class RTPitemconstructor extends RTPconstructor(4){
unsigned int(16)item_ID;
unsigned int(16)extent_index;
unsigned int(64)data_offset;//offset in byte within extent
unsigned int(32)data_length;//length in byte within extent
}
也定义新的构建器以允许从XML包或二进制XML包来有效的生成RTP分组。用于该构建器的语法如下:
aligned(8)class RTPxmlboxconstructor extends RTPconstructor(5)
{
unsigned int(64)data_offset;//offset in byte within XMLBox or
BinaryXMLBox
unsigned int(32)data_length;
unsigned int(32)reserved;
}
基于这些构建器格式,提示轨道可有效地从“mdat”包、XML包或嵌入的媒体文件生成用于数据的RTP分组,并且针对所有数据的组合来制作RTP流。
为了促进FLUTE分组的生成,下面定义FLUTE的提示轨道格式。类似于RTP提示轨道的分层结构,定义Flute提示样本条目和FLUTE样本。此外,也定义相关的结构和构建器。
FLUTE提示轨道是具有在“flut”的样本描述中的条目格式的提示轨道(媒体句柄“提示”)。Flute提示样本条目包含在样本描述包(“stsd”)中,具有下面的语法:
class FluteHintSampleEntry() extends SampleEntry(‘flut‘){
uint(16) hinttrackversion=1;
uint(16) highestcompatibleversion =1;
uint(32) maxpacketsize;
box additionaldata[];//optional
}
字段“hinttrackversion,”“highestcompatibleversion”和“maxpacketsize”具有与在ISO/IEC 15444-12:2005规范的章节10.2中所述的“RtpHintSampleEntry”字段相同的解释。附加的数据是来自时间尺度和时间偏移的一组包,其在ISO/IEC 15444-12:2005章节10.2中被引用。对于FLUTE,这些包是可选的。
在提示轨道中的每个FLUTE样本将生成一个或多个FLUTE分组。相比较于RTP样本,FLUTE样本不具有它们自身的特定时间戳,但替代地被按顺序发送。考虑时间到样本包中保存的样本德耳塔,如果FLUTE样本表示嵌入的媒体或SVG内容的多个段,则在当前媒体/SVG的第一样本和先前媒体/SVG的最后样本之间的样本德耳塔具有与当前和先前媒体/SVG属于的场景/更新的开始时间之间的差相同的值。当前媒体/SVG中的连续样本的剩余部分的样本德耳塔是零。然而,如果FLUTE样本代表整个媒体或SVG内容,则将没有跟随该FLUTE样本的具有德耳塔等于零的连续样本(包含来自相同媒体/SVG的连续数据)。因此,对于当前的FLUTE样本,仅存在一个样本德耳塔。每个样本包含两个区域:构成分组的指令,以及当发送这些分组时所需的任意额外数据(例如,媒体数据的加密版本)。应该注意到样本的大小从样本大小表已知。
aligned(8)class FLUTEsample{
unsigned int(16) packetcount;
unsigned int(16) reserved;
FLUTEpacket packets[packetcount];
byte extradata[]; //optional
}
分组条目表中的每个分组具有下面的结构:
aligned(8)class FLUTEpacket{
FLUTEheader flute_header;
unsigned int(16) entrycount;
dataentry constructors[entrycount];
}
aligned(8)class FLUTEheader
{
UDPheader header;
LCTheader lct_header;
variable FEC_payload_ID;
}
“flute_header”字段包含当前FLUTE分组的报头。“entry_count”字段是下面的构建器的计数,并且“constructors”字段定义用于构建FLUTE分组的结构。FEC_payload_ID由必须在会话描述中传送的FEC编码ID来确定。下面使用的“FEC_encoding_ID”必须在会话描述中被信号传输。
下面语法的细节是基于参考网络工作组的请求注解(RFC)3926、3450和3451:
class pseudoheader{
unsigned int(32)source_address;
unsigned int(32)destination_address;
unsigned int(8)zero;
unsigned int(8)protocol;
unsigned int(16)UDP_length;
}
class UDPheader{
pseudoheader pheader;
unsigned int(16)source_port;
unsigned int(16)destination_port;
unsigned int(16)length;
unsigned int(16)checksum;
}
class LCTheader{
unsigned int(4)V_bits;
unsigned int(2)C_dits;
unsigned int(2)reserved;
unsigned int(1)S_bit;
unsigned int(2)O_bits;
unsigned int(1)H_bit;
unsigned int(1)T_bit;
unsigned int(2)R_dit;
unsigned int(2)A_bit;
unsigned int(2)B_bit;
unsigned int(8)header_length;
unsigned int(8)codepoint
unsigned int((C_bits+1)*32)congestion_control_information;
unsigned int(S_bit*32+H_bit*16)transport_session_identifier;
unsigned int(O_bits*32+H_bit*16)transport_object_identifier;//For
EXT_FDT,TOI=0
if(T_bit==1){
unsigned int(32)sender_current_time;
}
if(T_bit==1){
unsigned int(32)expected_residual_time;
}
if(header_length>(32+(C_bits+1)*32+S_bit*32+H_bit*16+O_bits*32
+H_bit*16)){
LCTheaderextentions header_extention;
}
}
class LCTheaderextentions{
unsigned int(8)header_extention_type;//192-EXT_FDT,193-
EXT_CENC,64-EXT_FTI
if(header_extention_type<=127){
unsigned int(8)header_extention_length;
}
if(header_extention_type==64){
unsigned int(48)transfer_length;
if((FEC_encoding_ID==0)||(FEC_encoding_ID==128)||(FEC_encoding_ID==
130)){
unsigned int(16)encoding_dymbol_length;
unsigned int(32)max_source_block_length;
}
else if((FEC_encoding_ID>=128)||(FEC_encoding_ID<=255)){
unsigned int(16)FEC_instance_ID;
}
else if(FEC_encoding_ID==129){
unsigned int(16)encoding_symbol_length;
unsigned int(16)max_source_block_length;
unsigned int(16)max_num_of_encoding_symbol;
}
}
else if(header_extention_type==192){
unsigned int(6)version=1;
unsigned int(20)FDT_instance_ID;
}
else if(header_extention_type==193){
unsigned int(8)content_encoding_algorithm;
//ZLIB,DEFLATE,GZIP
unsigned int(16)reserved=0;
}
else{
byte other_extentions_content[];
}
}
存在各种形式的构建器。每个构建器是16字节,从而更容易进行迭代。第一字节是联合鉴别器。该结构是基于ISO/IEC15444-12:2005的章节10.3.2。
aligned(8)class FLUTEconstructor(type){
unsigned int(8)constructor_type=type;
}
aligned(8)class FLUTEnoopconstructor extends FLUTEconstructor(0)
{
uint(8)pad[15];
}
aligned(8)class FLUTEimmediateconstructor extends FLUTEconstructor(1)
{
unsigned int(8)count;
unsigned int(8)data[count];
unsigned int(8)pad[14-count];
}
aligned(8) class FLUTEsarnpleconstructor extends FLUTEconstructor(2)
{
signed int(8) trackrefindex;
unsigned int(l6)length;
unsigned int(32)samplenumber;
unsigned int(32)sampleoffset;
unsigned int(16)bytesperblock=1;
unsigned int(16)samplesperblock=1;
}
aligned(8) class FLUTEsampledescriptionconstructor extends FLUTEconstructor(3)
{
signed int(8) trackrefindex;
unsigned int(16)length;
unsigned int(32)sampledescriptionindex;
unsigned int(32)sampledescriptionoffset;
unsigned int(32)reserved;
}
aligned(8)class FLUTEitemconstructor extends FLUTEconstructor(4)
{
unsigned int(16)item_ID;
unsigned int(16)extent_index;
unsigned int(64)data_offset;//offset in byte within extent
unsigned int(32)data_length;//length in byte within extent
}
aligned(8)class FLUTExmlboxconstructor extends FLUTEconstructor(5)
{
unsigned int(64)data_offset;//offset in byte within XMLBox or
BinaryXMLBox
unsigned int(32)data_length;
unsigned int(32)reserved;
}
FDT数据是整个FLUTE数据流的一个部分。该数据在FLUTE会话期间以FLUTE分组的形式传输。因此,需要构建器将FDT数据映射到FLUTE分组。该构建器的语法提供如下:
aligned(8)class FLUTEfdtconstructor extends FLUTEconstructor(6)
{
unsigned int(2)fdt_box; //0-′fdtp′,1-′fdtm′,2-′fdti′,3-′fdtt′
if((fdt_box==0)||(fdt_box==1)||(fdt_box==2)){
unsigned int(30)instance_index;//index of the FDT instance
unsigned int(64)data_offset;//offset in byte within the given FDT
instance
unsigned int(32)data_length;//length in byte within the given
FDT instance
}else{
unsigned int(64)data_offset;//offset in byte within the given FDT
box
unsigned int(32)data_length;//length in byte within the given
FDT box
bit pad[30]; //padding bits
}
}
在其中RTP和FLUTE分组二者在呈现期间同时传输的情形下,用于RTP和FLUTE的两个构建器都被使用。RTP分组用于传送动态媒体和SVG内容,而FLUTE分组用于传送静态媒体。不同的提示机制用于该情形。此类的机制可以正确的时间顺序来组合所有的RTP和FLUTE样本。为了促进用于呈现的FLUTE和RTP分组的生成,下面定义用于FLUTE+RTP的提示轨道格式。类似于RTP和FLUTE提示轨道的分层结构,FluteRtp提示样本条目和FLUTERTP样本被定义。此外,时间到样本包中的数据给出每个分组的时间信息。
FLUTE+RTP提示轨道是提示轨道(媒体句柄“hint”),具有在“frhs”的样本描述中的条目格式。FluteRtpSampleEntry在样本描述包“stsd”中被定义。
class FluteRtpHintSampleEntry() extends SampleEntry(‘frhs‘){
uint(16)hinttrackversion=1;
uint(16)highestcompatibleversion=1;
uint(32)maxpacketsize;
box additionaldata[];
}
提示轨道版本当前是1;最高可兼容版本字段指定该轨道后向可兼容的最老版本。Maxpacketsize指示该轨道将生成的最大分组的大小。附加数据是一组包(“tims”和“tsro”),其以ISO基本媒体文件格式来定义。
FLUTERTP样本定义在媒体数据包(“mdat”)内。该包包含多个FLUTE样本、RTP样本、可能的FDT和SDP信息和任意额外的数据。一个FLUTERTP样本可包含FDT数据、SDP数据、FLUTE样本或RTP样本。包含FLUTE样本的FLUTERTP样本仅用于传送静态媒体。此类的媒体总是嵌入在SVG呈现中的场景或场景更新中。它们的开始时间与它们属于的场景/场景更新的开始时间相同。FLUTE样本不具有它们自己的特定时间戳,但替代地按顺序发送,在它们属于的场景/场景更新的RTP样本之后立即进行。因此,在时间到样本包中,对于静态媒体,FLUTERTP样本的样本德耳塔都被设置成零。它们的序列顺序代表它们的发送时间顺序。
UE可能具有有限的功率并且可以在任意的时刻仅支持一个传输会话,并且FLUTE会话和RTP会话需要被逐一交织。在一个会话完成后,另一个会话立即开始。在该情形下,下面的description_text1、description_text2和description_text3字段用于为每个会话提供SDP和FDT信息。
aligned(8)class FLUTERTPSample{
unit(2) sample_type;
unsigned int(6) reserved;
if(sample_type==0){
char fdttext[];//FDT info for following samples
}
else if(sample_type==1){
char sdptext[];SDP info for following samples
}
else if(sample_type==2){
FLUTEsample flute_sample;
}
else{
RTPsample rtp_sample;
}
byte extradata[];
样本组描述包。在一些编码***中,可能在已经解码了多个样本后,随机地访问到流中并且实现正确的解码。这称为逐渐刷新。在SVG中,编码器可以编码两个随机访问点(SVG场景)之间并且具有相同的卷动距离的一组SVG样本(场景和更新)。抽象类被定义用于样本组描述包(sgpd)内的SVG序列。需要此类的描述性目来定义或表征SVG样本组。语法如下:
//SVG序列
abstract class SVGSampleGroupEntry(type)extends SampleGroupDescriptionEntry
(type){
}
随机访问恢复点。可能逐渐刷新的SVG样本通过成为该SVG组的成员来标记。SVG卷动组被定义为具有相同卷动距离的一组SVG样本。相应的语法如下:
class SVGRollRecoveryEntry()extends SVGSampleGroupEntry(’roll’){
signed int(16)roll_distance;
本发明的多个附加的可选实现通常如下:第二实现与上面讨论的第一实现相同,但字段被重新排序。
本发明的第三实现类似于上面讨论的第一实现,除了基于应用依赖性改变字段的长度。特别地,某些字段可以比指定的值更短或更长。
本发明的第四实现基本上与上面详细讨论的第一实现相同。然而,在第四实现中,用于SVG的任意适宜的压缩方法可以用于样本描述包。
在本发明的第五实现中,可以基于较新的版本和SVG的适应性来更新SVG版本和基本简档。
本发明的第六实现也类似于上面讨论的第一实现。然而,在该实现中,在SVG样本条目包中指定的一些或所有的参数可以定义在SVG文件自身内,并且ISO基本媒体文件生成器可解析像XML的SVG内容来获得关于样本的信息。
本发明的第七实现也类似于第一实现。然而,就用于存储SDP信息的包来说,可以在其他层重新定义“hnti”包,例如以包含呈现层inor项目层会话信息。
第八实现也类似于第一实现。然而,对于用于RTP传输机制的SDP包、用于FLUTE传输机制的SDP包、以及用于FLUTE+RTP传输机制的SDP包,可以存储其他的描述格式。在这样的情形下,“sdptext”字段将相应地改变。
在第九实现中,对于用于FLUTE的FDT包,整个FDT数据可以被划分成实例、段或单个文件描述。然而,“FDT实例”通常用在FLUTE传输中。
在本发明的第十实现中,对于用于FLUTE的FDT包,单个的“fdttext”字段可包含所有的FDT数据。接着可选择应用针对所有的层或文件来对该数据分段。
在本发明的第十一实现中,对于用于RTP的提示轨道格式,RTP构建器(4)和RTP构建器(5)的鉴别器是可互换的。
在本发明的第十二实现中,对于用于RTP的提示轨道格式,item_ID字段可以用item_name来替换。
在本发明的第十三实现中,对于用于RTP的提示轨道格式,通过移除保留的字段,data_length字段可以变为64字节。
在本发明的第十四实现中,对于用于RTP的提示轨道格式,data_length字段可以变为16字节并且调节保留的字段到64字节。
在本发明的第十五实现中,对于用于RTP的提示轨道格式,提示轨道版本和最高可兼容版本字段可具有不同的值。
在本发明的第十六实现中,对于用于RTP的提示轨道格式,除了最大分组大小字段以外,可以添加最小分组大小字段。
在本发明的第十七实现中,对于用于RTP的提示轨道格式,通过移除保留的字段,分组计数字段可以变为32比特。
在本发明的第十八实现中,对于用于RTP的提示轨道格式,不同报头包的分层结构(例如,FLUTE报头、UDP报头、LCT报头等)可以不同。
在本发明的第十九实现中,对于用于RTP的提示轨道格式,对于每个FDT_box,FLUTEfdt构建器语法可具有单独的字段定义。
在本发明的第二十实现中,对于用于RTP的提示轨道格式,flute项目构建器可以用item_name来替代item_id。
在本发明的第二十一实现中,对于用于RTP的提示轨道格式,flutexml包构建器通过移除保留的字段来将data_length字段变为64字节。
在本发明的第二十二实现中,对于用于RTP的提示轨道格式,flutexml包构建器可以将data_length字段变成16字节并且将保留字段调节到64字节。
在本发明的第二十三实现中,对于用于RTP的提示轨道格式,FluteRtp提示样本条目可令提示轨道版本和最高可兼容版本字段具有不同的值。
在本发明的第二十四实现中,对于用于RTP的提示轨道格式,除了最大分组大小字段,FluteRtp提示样本条目可添加最小分组大小字段。
在本发明的第二十五实现中,对于用于RTP的提示轨道格式,对于每个sample_type,FLUTERTP样本包可具有单独的字段定义。
图1示出在其中可以利用本发明的***10,该***包括多个可以通过网络进行通信的通信设备。***10可以包括有线或无线网络的任意组合,该网络包括但不限于移动电话网、无线局域网(LAN)、蓝牙个域网、以太网LAN、令牌环LAN、广域网、互联网等。***10可以包括有线和无线通信设备两者。
例如,图1所示的***10包括移动电话网11和互联网28。到该互联网28的连接可以包括但不限于远程无线连接、近程无线连接以及各种有线连接,该有线连接包括但不限于电话线、电缆线、电力线等等。
该***10的示例性通信设备可以包括但不限于移动电话12、PDA和移动电话的组合14、PDA 16、集成消息收发设备(IMD)18、台式计算机20和笔记本计算机22。通信设备可以是固定的或者当由正在移动中的个人携带时可以是移动的。通信设备还可以位于运输方式中,该运输方式包括但不限于汽车、卡车、出租车、公共汽车、船、飞机、自行车、摩托车等。通信设备中的部分或全部可以发送和接收呼叫和消息以及通过到基站24的无线连接25与业务供应商进行通信。基站24可以连接到网络服务器26,其允许移动电话网11和互联网28之间的通信。***10可以包括另外的通信设备和不同类型的通信设备。
通信设备可以使用各种传输技术进行通信,该传输技术包括但不限于,码分多址(CDMA)、全球移动通信***(GSM)、通用移动通信***(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/互联网协议(TCP/IP)、短消息收发服务(SMS)、多媒体消息收发服务(MMS)、电子邮件、即时消息收发服务(IMS)、蓝牙、IEEE 802.11等。通信设备可以使用各种介质进行通信,该介质包括但不限于,无线电、红外、激光、电缆连接等等。
图2和图3示出了在其中可以实现本发明的代表性移动电话12。然而,应当理解,本发明不旨在限定于一个特定类型的移动电话12或其他电子设备。图2和图3中的移动电话12包括壳体30、液晶显示器形式的显示器32、小键盘34、麦克风36、听筒38、电池40、红外端口42、天线44、根据本发明的一个实施例的UICC形式的智能卡46、读卡器48、无线接口电路52、编解码器电路54、控制器56和存储器58。各个电路和元件都是本领域公知的类型,例如Nokia移动电话系列。
在方法步骤的通常环境中描述了本发明,其可以通过包括在联网环境中由计算机执行的计算机可执行指令(例如程序代码)的程序产品在一个实施例中实现。
通常,程序模块包括执行特定任务或实现特定抽象数据类型的例行程序、程序、对象、组件、数据结构等。计算机可执行指令,相关联的数据结构和程序模块代表用于执行在此公开的方法的步骤的程序代码的例子。这种可执行指令或相关联的数据结构的特定序列代表用于执行在这种步骤中描述的功能的相应动作的例子。
本发明的软件和web执行可以使用标准编程技术完成,该标准编程技术具有基于规则的逻辑和其他逻辑用于完成各种数据库搜索步骤、相关性步骤、比较步骤和决定步骤。还应当注意此处和权利要求书中使用的词语“组件”和“模块”旨在包含使用一行或多行软件代码的执行,和/或硬件执行,和/或用于接收手动输入的设备。
为了示意和描述的目的已经对本发明的实施例进行了前述描述。不旨在穷举或者将本发明限制在所公开的精确形式下,并且修改和变化可以参照上述教导做出,或者可以从本发明的实践中获得。选择和描述的实施例用于解释本发明的原理及其实际应用以使本领域技术人员能够在各种实施方式中利用本发明并且可以具有各种修改以适应于特定的预期应用。
Claims (20)
1.一种渐进地向客户端设备提供富媒体内容的方法,包括:
提供包括SVG的富媒体内容;
使用ISO基本媒体生成器从所述富媒体内容创建ISO基本媒体文件;
编码ISO基本媒体文件;以及
将在多个分组中的编码的ISO基本媒体文件传送到所述客户端设备。
2.根据权利要求1所述的方法,进一步包括:
在到达所述客户端设备时,对所述编码的ISO基本媒体文件进行解码;以及
提取所述ISO基本媒体文件。
3.根据权利要求1所述的方法,其中所述ISO基本媒体文件包括描述包含在所述ISO基本媒体文件内的媒体对象的SVG媒体轨道。
4.根据权利要求3所述的方法,其中所述SVG媒体轨道包括样本表包,所述样本表包包含针对在所述SVG媒体轨道内包含的媒体样本编索引的时间和数据。
5.根据权利要求3所述的方法,其中所述SVG媒体轨道包括样本描述包,所述样本描述包包含特定于媒体样本的信息。
6.根据权利要求3所述的方法,其中所述SVG媒体轨道包括解码时间到样本包,所述解码时间到样本包指定所述SVG媒体轨道内每个媒体样本的解码时间。
7.根据权利要求1所述的方法,其中所述ISO基本媒体文件包括提示轨道样本,所述提示轨道样本包含或指向将要在每个分组内发送的数据。
8.根据权利要求1所述的方法,其中所述ISO基本媒体文件包括阴影同步表,所述阴影同步表包括用于支持随机访问的样本。
9.一种渐进地向客户端设备提供富媒体内容的方法,包括:
用于提供包括SVG的富媒体内容的计算机代码;
用于使用ISO基本媒体生成器从所述富媒体内容创建ISO基本媒体文件的计算机代码;
用于编码ISO基本媒体文件的计算机代码;以及
用于将在多个分组中的编码的ISO基本媒体文件传送到所述客户端设备的计算机代码。
10.根据权利要求9所述的计算机程序产品,进一步包括:
用于在到达所述客户端设备时,对所述编码的ISO基本媒体文件进行解码的计算机代码;以及
用于提取所述ISO基本媒体文件的计算机代码。
11.根据权利要求9所述的计算机程序产品,其中所述ISO基本媒体文件包括描述包含在所述ISO基本媒体文件内的媒体对象的SVG媒体轨道。
12.根据权利要求11所述的计算机程序产品,其中所述SVG媒体轨道包括样本表包,所述样本表包包含针对在所述SVG媒体轨道内包含的媒体样本编索引的时间和数据。
13.根据权利要求11所述的计算机程序产品,其中所述SVG媒体轨道包括样本描述包,所述样本描述包包含特定于媒体样本的信息。
14.根据权利要求11所述的计算机程序产品,其中所述SVG媒体轨道包括解码时间到样本包,所述解码时间到样本包指定所述SVG媒体轨道内每个媒体样本的解码时间。
15.根据权利要求9所述的计算机程序产品,其中所述ISO基本媒体文件包括提示轨道样本,所述提示轨道样本包含或指向将要在每个分组内发送的数据。
16.根据权利要求9所述的计算机程序产品,其中所述ISO基本媒体文件包括阴影同步表,所述阴影同步表包括用于支持随机访问的样本。
17.一种电子设备,包括:
处理器;以及
存储器单元,其可操作地连接到所述处理器并且包括:
用于提供包括SVG的富媒体内容的计算机代码;
用于使用ISO基本媒体生成器从所述富媒体内容创建ISO基本媒体文件的计算机代码;
用于编码ISO基本媒体文件的计算机代码;以及
用于将在多个分组中的编码的ISO基本媒体文件传送到所述客户端设备的计算机代码。
18.根据权利要求17所述的电子设备,其中所述ISO基本媒体文件包括描述包含在所述ISO基本媒体文件内的媒体对象的SVG媒体轨道。
19.根据权利要求17所述的电子设备,其中所述ISO基本媒体文件包括提示轨道样本,所述提示轨道样本包含或指向将要在每个分组内发送的数据。
20.根据权利要求17所述的电子设备,其中所述ISO基本媒体文件包括阴影同步表,所述阴影同步表包括用于支持随机访问的样本。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US71330305P | 2005-09-01 | 2005-09-01 | |
US60/713,303 | 2005-09-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101300810A true CN101300810A (zh) | 2008-11-05 |
Family
ID=37808491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006800409106A Pending CN101300810A (zh) | 2005-09-01 | 2006-09-01 | 用于将svg内容嵌入进iso基本媒体文件格式以便渐进地下载或流式传输富媒体内容的方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US20070186005A1 (zh) |
EP (1) | EP1932315A4 (zh) |
KR (1) | KR100927978B1 (zh) |
CN (1) | CN101300810A (zh) |
TW (1) | TW200814665A (zh) |
WO (2) | WO2007028137A2 (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930613A (zh) * | 2009-06-17 | 2010-12-29 | 佳能株式会社 | 将图形路径序列编码和解码成分层方案的方法 |
CN101950427A (zh) * | 2010-09-08 | 2011-01-19 | 东莞电子科技大学电子信息工程研究院 | 一种适用于移动终端的矢量线段轮廓化方法 |
CN101984619A (zh) * | 2010-10-12 | 2011-03-09 | 中兴通讯股份有限公司 | 一种流媒体业务的实现方法及*** |
CN101971639B (zh) * | 2008-02-05 | 2013-04-17 | 三星电子株式会社 | 用于生成和显示媒体文件的装置和方法 |
CN104685894A (zh) * | 2012-10-26 | 2015-06-03 | 英特尔公司 | 基于视频定向的多媒体适应 |
CN105325006A (zh) * | 2013-06-12 | 2016-02-10 | Lg电子株式会社 | 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法以及接收广播信号的方法 |
CN105745899A (zh) * | 2014-02-24 | 2016-07-06 | Lg电子株式会社 | 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法 |
CN110072117A (zh) * | 2009-09-22 | 2019-07-30 | 高通股份有限公司 | 使用可伸缩编码的增强型块请求流送 |
US10432692B2 (en) | 2012-10-26 | 2019-10-01 | Intel Corporation | Streaming with coordination of video orientation (CVO) |
US11477253B2 (en) | 2006-06-09 | 2022-10-18 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
US11743317B2 (en) | 2009-09-22 | 2023-08-29 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070239820A1 (en) * | 2005-11-23 | 2007-10-11 | Nokia Corporation | System and method for providing quality feedback metrics for data transmission in rich media services |
JP5112333B2 (ja) * | 2006-01-05 | 2013-01-09 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | メディアコンテナファイルの管理 |
US9294728B2 (en) | 2006-01-10 | 2016-03-22 | Imagine Communications Corp. | System and method for routing content |
US7917644B2 (en) * | 2006-01-11 | 2011-03-29 | Nokia Corporation | Extensions to rich media container format for use by mobile broadcast/multicast streaming servers |
US8365060B2 (en) * | 2006-08-24 | 2013-01-29 | Nokia Corporation | System and method for indicating track relationships in media files |
US8180920B2 (en) * | 2006-10-13 | 2012-05-15 | Rgb Networks, Inc. | System and method for processing content |
KR100803947B1 (ko) * | 2006-12-01 | 2008-02-15 | 주식회사 코아로직 | 오픈 벡터그래픽 응용 프로그램 인터페이스 변환 장치와방법, 모바일 단말기, 및 그 방법이 기록된 기록매체 |
CN101589630B (zh) * | 2007-01-10 | 2013-07-17 | 诺基亚公司 | 用于在下载递送期间实现mbms切换的***和方法 |
US8090779B2 (en) * | 2007-02-20 | 2012-01-03 | Google Inc. | Systems and methods for viewing media content in instant messaging |
MY157150A (en) * | 2007-03-08 | 2016-05-13 | Ericsson Telefon Ab L M | Seeking and synchronization using global scene time |
CA2684851C (en) * | 2007-05-04 | 2015-11-24 | Nokia Corporation | Media stream recording into a reception hint track of a multimedia container file |
US7802006B2 (en) | 2007-06-13 | 2010-09-21 | Microsoft Corporation | Multi-location buffering of streaming media data |
ATE495631T1 (de) * | 2007-07-02 | 2011-01-15 | Fraunhofer Ges Forschung | Vorrichtung und verfahren zum verarbeiten und lesen einer datei mit mediendatenbehälter und metadatenbehälter |
US8627509B2 (en) | 2007-07-02 | 2014-01-07 | Rgb Networks, Inc. | System and method for monitoring content |
WO2009024926A1 (en) * | 2007-08-20 | 2009-02-26 | Nokia Corporation | Segmented metadata and indexes for streamed multimedia data |
US8390674B2 (en) * | 2007-10-10 | 2013-03-05 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image |
WO2009071978A2 (en) * | 2007-12-03 | 2009-06-11 | Nokia Corporation | Systems and methods for storage of notification messages in iso base media file format |
US20090177942A1 (en) * | 2008-01-09 | 2009-07-09 | Nokia Corporation | Systems and methods for media container file generation |
US20090197238A1 (en) * | 2008-02-05 | 2009-08-06 | Microsoft Corporation | Educational content presentation system |
US8878836B2 (en) * | 2008-02-29 | 2014-11-04 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same |
CN102017651B (zh) * | 2008-04-21 | 2014-01-29 | 三星电子株式会社 | 使用富媒体内容组成场景的装置和方法 |
KR101516020B1 (ko) * | 2008-04-21 | 2015-05-04 | 삼성전자주식회사 | 리치미디어 콘텐츠의 장면 구성장치 및 방법 |
US8775566B2 (en) * | 2008-06-21 | 2014-07-08 | Microsoft Corporation | File format for media distribution and presentation |
KR101525248B1 (ko) * | 2008-07-16 | 2015-06-04 | 삼성전자주식회사 | 리치미디어 서비스를 제공하는 방법 및 장치 |
KR101531417B1 (ko) * | 2008-07-16 | 2015-06-25 | 삼성전자주식회사 | 리치 미디어 컨텐츠 송수신 방법 및 장치 |
US8422509B2 (en) * | 2008-08-22 | 2013-04-16 | Lg Electronics Inc. | Method for processing a web service in an NRT service and a broadcast receiver |
US9473812B2 (en) * | 2008-09-10 | 2016-10-18 | Imagine Communications Corp. | System and method for delivering content |
KR20100036156A (ko) * | 2008-09-29 | 2010-04-07 | 삼성전자주식회사 | 리치미디어 서비스를 제공하는 방법 및 장치 |
WO2010045289A1 (en) * | 2008-10-14 | 2010-04-22 | Ripcode, Inc. | System and method for progressive delivery of transcoded media content |
WO2010085470A1 (en) | 2009-01-20 | 2010-07-29 | Ripcode, Inc. | System and method for splicing media files |
CN101924743A (zh) * | 2009-06-13 | 2010-12-22 | 华为技术有限公司 | 一种获取和提供媒体数据的方法及装置 |
US7982637B2 (en) * | 2009-08-14 | 2011-07-19 | Stephen Allyn Joyce | Data encoding method |
US8976871B2 (en) * | 2009-09-16 | 2015-03-10 | Qualcomm Incorporated | Media extractor tracks for file format track selection |
JP2011087103A (ja) * | 2009-10-15 | 2011-04-28 | Sony Corp | コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供 |
RU2622621C2 (ru) * | 2009-11-04 | 2017-06-16 | Амотек Ко., Лтд. | Система и способ для потоковой передачи воспроизводимого контента |
EP2510669A4 (en) | 2009-12-11 | 2013-09-18 | Nokia Corp | DEVICE AND METHODS FOR DESCRIBING SYNCHRONIZATION REPRESENTATIONS IN CONTINUOUSLY TRANSMITTED MULTIMEDIA FILES |
US8869216B2 (en) * | 2009-12-14 | 2014-10-21 | Lg Electronics Inc. | Method of processing non-real time service and broadcast receiver |
CN102137253A (zh) * | 2010-01-25 | 2011-07-27 | 华为技术有限公司 | 图片处理的方法、终端及服务器 |
US8773470B2 (en) | 2010-05-07 | 2014-07-08 | Apple Inc. | Systems and methods for displaying visual information on a device |
WO2012008792A2 (ko) * | 2010-07-16 | 2012-01-19 | 한국전자통신연구원 | 스트리밍 서비스 송/수신 장치 및 방법 |
KR101711009B1 (ko) | 2010-08-26 | 2017-03-02 | 삼성전자주식회사 | 영상 저장장치, 영상 재생장치, 영상 저장방법, 영상 제공방법, 저장매체 및 촬영장치 |
CN101945106B (zh) * | 2010-09-08 | 2013-03-27 | 东莞电子科技大学电子信息工程研究院 | 一种富媒体场景在广播网中的传输方法 |
EP2702546B1 (en) * | 2011-04-29 | 2021-03-03 | American Greetings Corporation | Systems, methods and apparatuses for creating, editing, distributing and viewing electronic greeting cards |
CN102427562B (zh) * | 2011-10-11 | 2018-07-06 | 中兴通讯股份有限公司 | 电视交互设备、***和方法 |
US9055136B2 (en) * | 2011-10-13 | 2015-06-09 | Qualcomm Incorporated | Controlling streaming delay in networks |
CN103516577A (zh) * | 2012-06-25 | 2014-01-15 | 北京神州泰岳软件股份有限公司 | 即时通信***中的消息传输方法和设备 |
KR102127685B1 (ko) * | 2013-04-17 | 2020-06-29 | 삼성전자주식회사 | 순방향 오류 정정 패킷 송수신 장치 및 방법 |
KR20160030133A (ko) * | 2013-07-05 | 2016-03-16 | 엘지전자 주식회사 | 실시간 전송 프로토콜 기반의 방송 시스템에서 미디어 방송 신호의 송수신 방법 및 장치 |
EP3050304A4 (en) * | 2013-09-27 | 2017-05-31 | LG Electronics Inc. | Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals |
JP2015133615A (ja) * | 2014-01-14 | 2015-07-23 | ソニー株式会社 | 通信装置、通信制御データ送信方法、および通信制御データ受信方法 |
CN104134173B (zh) * | 2014-07-11 | 2017-06-20 | 国家电网公司 | 基于远程调阅和信息交互的主配网图/模/数集成*** |
WO2016097482A1 (en) * | 2014-12-19 | 2016-06-23 | Nokia Technologies Oy | Media encapsulating and decapsulating |
CN104991993A (zh) * | 2015-06-09 | 2015-10-21 | 北京红马传媒文化发展有限公司 | 一种场地信息图形的处理方法 |
GB2539461B (en) | 2015-06-16 | 2020-01-08 | Canon Kk | Image data encapsulation |
US10904313B2 (en) * | 2017-06-20 | 2021-01-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Apparatuses, methods, computer programs, and computer program products for live uplink adaptive streaming |
CN110263301B (zh) * | 2019-06-27 | 2023-12-05 | 北京百度网讯科技有限公司 | 用于确定文字的颜色的方法和装置 |
CN113438200B (zh) * | 2021-05-13 | 2023-01-10 | 荣耀终端有限公司 | 在通话过程中传输富媒体信息的***、方法及设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0322259A (ja) * | 1989-03-22 | 1991-01-30 | Seiko Epson Corp | 小型データ表示・再生装置 |
WO1993021588A1 (en) * | 1992-04-10 | 1993-10-28 | Avid Technology, Inc. | Digital audio workstation providing digital storage and display of video information |
JP3843101B2 (ja) * | 2002-03-04 | 2006-11-08 | 富士通株式会社 | 階層符号化データ配信装置および方法 |
US7599395B1 (en) * | 2002-09-13 | 2009-10-06 | Emblaze V Con | Apparatus, method and a computer readable medium for generating media packets |
US20040205547A1 (en) * | 2003-04-12 | 2004-10-14 | Feldt Kenneth Charles | Annotation process for message enabled digital content |
US7979886B2 (en) * | 2003-10-17 | 2011-07-12 | Telefonaktiebolaget Lm Ericsson (Publ) | Container format for multimedia presentations |
SE0302778D0 (sv) | 2003-10-17 | 2003-10-17 | Ericsson Telefon Ab L M | Container format for multimedia presentations |
US20050102371A1 (en) * | 2003-11-07 | 2005-05-12 | Emre Aksu | Streaming from a server to a client |
CA2506641A1 (en) * | 2004-05-06 | 2005-11-06 | Genieview Inc. | Signal processing methods and systems |
US7778526B2 (en) * | 2004-06-01 | 2010-08-17 | Nero Ag | System and method for maintaining DVD-subpicture streams upon conversion to higher compressed data format |
JP4690400B2 (ja) * | 2004-07-22 | 2011-06-01 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | Saf同期化階層パケット構造とこれを用いるサーバシステム |
CN105812377B (zh) * | 2005-06-27 | 2019-05-17 | 考文森无限许可有限责任公司 | 用于动态丰富媒体场景的传送机制 |
-
2006
- 2006-09-01 KR KR1020087007921A patent/KR100927978B1/ko not_active IP Right Cessation
- 2006-09-01 WO PCT/US2006/034454 patent/WO2007028137A2/en not_active Application Discontinuation
- 2006-09-01 EP EP06795398A patent/EP1932315A4/en not_active Withdrawn
- 2006-09-01 WO PCT/IB2006/002405 patent/WO2007026237A1/en active Application Filing
- 2006-09-01 US US11/515,133 patent/US20070186005A1/en not_active Abandoned
- 2006-09-01 CN CNA2006800409106A patent/CN101300810A/zh active Pending
- 2006-09-04 TW TW095132565A patent/TW200814665A/zh unknown
-
2009
- 2009-08-20 US US12/545,005 patent/US20090313293A1/en not_active Abandoned
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11477253B2 (en) | 2006-06-09 | 2022-10-18 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
CN101971639B (zh) * | 2008-02-05 | 2013-04-17 | 三星电子株式会社 | 用于生成和显示媒体文件的装置和方法 |
CN101930613A (zh) * | 2009-06-17 | 2010-12-29 | 佳能株式会社 | 将图形路径序列编码和解码成分层方案的方法 |
US8930924B2 (en) | 2009-06-17 | 2015-01-06 | Canon Kabushiki Kaisha | Method of encoding and decoding a graphics path sequence into a layered scheme |
CN101930613B (zh) * | 2009-06-17 | 2015-03-25 | 佳能株式会社 | 将图形路径序列编码和解码成分层方案的方法 |
CN110072117B (zh) * | 2009-09-22 | 2022-03-08 | 高通股份有限公司 | 使用可伸缩编码的增强型块请求流送 |
US11770432B2 (en) | 2009-09-22 | 2023-09-26 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
US11743317B2 (en) | 2009-09-22 | 2023-08-29 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
CN110072117A (zh) * | 2009-09-22 | 2019-07-30 | 高通股份有限公司 | 使用可伸缩编码的增强型块请求流送 |
CN101950427A (zh) * | 2010-09-08 | 2011-01-19 | 东莞电子科技大学电子信息工程研究院 | 一种适用于移动终端的矢量线段轮廓化方法 |
CN101984619A (zh) * | 2010-10-12 | 2011-03-09 | 中兴通讯股份有限公司 | 一种流媒体业务的实现方法及*** |
CN104685894A (zh) * | 2012-10-26 | 2015-06-03 | 英特尔公司 | 基于视频定向的多媒体适应 |
US10432692B2 (en) | 2012-10-26 | 2019-10-01 | Intel Corporation | Streaming with coordination of video orientation (CVO) |
US9762938B2 (en) | 2012-10-26 | 2017-09-12 | Intel Corporation | Multimedia adaptation based on video orientation |
US10523982B2 (en) | 2012-10-26 | 2019-12-31 | Intel Corporation | Multimedia adaptation based on video orientation |
CN104685894B (zh) * | 2012-10-26 | 2020-02-04 | 苹果公司 | 基于视频定向的多媒体适应的终端、服务器、方法和装置 |
CN111225256A (zh) * | 2012-10-26 | 2020-06-02 | 苹果公司 | 基于视频定向的多媒体适应的终端、服务器、方法和装置 |
US10448105B2 (en) | 2013-06-12 | 2019-10-15 | Lg Electronics Inc. | Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals |
US10904620B2 (en) | 2013-06-12 | 2021-01-26 | Lg Electronics, Inc. | Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals |
CN105325006A (zh) * | 2013-06-12 | 2016-02-10 | Lg电子株式会社 | 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法以及接收广播信号的方法 |
US10848332B2 (en) | 2014-02-24 | 2020-11-24 | Lg Electronics Inc. | Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals |
US11296901B2 (en) | 2014-02-24 | 2022-04-05 | Lg Electronics Inc. | Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals |
US10476693B2 (en) | 2014-02-24 | 2019-11-12 | Lg Electronics Inc. | Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals |
CN105745899A (zh) * | 2014-02-24 | 2016-07-06 | Lg电子株式会社 | 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法 |
CN105745899B (zh) * | 2014-02-24 | 2023-12-26 | Lg 电子株式会社 | 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法 |
Also Published As
Publication number | Publication date |
---|---|
TW200814665A (en) | 2008-03-16 |
KR100927978B1 (ko) | 2009-11-24 |
US20090313293A1 (en) | 2009-12-17 |
WO2007028137A2 (en) | 2007-03-08 |
EP1932315A1 (en) | 2008-06-18 |
KR20080048054A (ko) | 2008-05-30 |
US20070186005A1 (en) | 2007-08-09 |
EP1932315A4 (en) | 2012-05-09 |
WO2007026237A1 (en) | 2007-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101300810A (zh) | 用于将svg内容嵌入进iso基本媒体文件格式以便渐进地下载或流式传输富媒体内容的方法 | |
US7917644B2 (en) | Extensions to rich media container format for use by mobile broadcast/multicast streaming servers | |
CN101283351B (zh) | 用于媒体数据传输的方法和设备 | |
US20080040498A1 (en) | System and method of XML based content fragmentation for rich media streaming | |
CN109076261A (zh) | 媒体封装和解封装 | |
CN101359996B (zh) | 媒体业务呈现方法及通讯***以及相关设备 | |
Lim et al. | New MPEG transport standard for next generation hybrid broadcasting system with IP | |
CN101243675A (zh) | 用于动态丰富媒体场景的传送机制 | |
CN104509139B (zh) | 用于提供彩信服务的方法 | |
CN104756501A (zh) | Mpeg-2传输流中的iso-bmff事件盒承载 | |
MXPA06003801A (es) | Formato de contenedor para presentaciones de multiples medios informativos. | |
US7555009B2 (en) | Data processing method and apparatus, and data distribution method and information processing apparatus | |
US10873495B2 (en) | Apparatus and method for transmitting or receiving broadcast signal | |
Dufourd et al. | An MPEG standard for rich media services | |
CN102165776A (zh) | 一种可伸缩视频编码文件的传输方法、接收方法及装置 | |
CN102356639A (zh) | 用于广播服务的启用富媒体的服务指南提供方法和*** | |
KR101956113B1 (ko) | 스트리밍 컨텐츠 제공 장치 및 방법 | |
US11310094B2 (en) | Apparatus and method for transmitting or receiving broadcast signal | |
CN103959796A (zh) | 数字视频码流的解码方法拼接方法和装置 | |
Setlur et al. | More: a mobile open rich media environment | |
CN106330667A (zh) | 一种微信明信片生成方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20081105 |