CN1703883A - 传输数据结构、数据接收方法、数据接收装置和数据接收程序 - Google Patents
传输数据结构、数据接收方法、数据接收装置和数据接收程序 Download PDFInfo
- Publication number
- CN1703883A CN1703883A CNA2003801011253A CN200380101125A CN1703883A CN 1703883 A CN1703883 A CN 1703883A CN A2003801011253 A CNA2003801011253 A CN A2003801011253A CN 200380101125 A CN200380101125 A CN 200380101125A CN 1703883 A CN1703883 A CN 1703883A
- Authority
- CN
- China
- Prior art keywords
- data
- text
- information
- transmission
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
为了通过流配送使用时控文本,作为课题,提供一种合适的传输数据结构。PES信息包(1)具有用于传输PM4文件之文本轨道以及在数据接收装置中进行流方式再现的数据结构。轨道头部(111)、样本描述(112)和配置信息(113)是有关文本轨道整体再现的信息。文本帧(114)具有文本样本和段文本头部,文本样本包含文本,段文本头部是针对每个文本样本配置的、有关文本样本各个再现的信息。
Description
技术领域
本发明涉及文本数据的传输数据结构、数据接收方法、数据接收装置和数据接收程序。
背景技术
近年来,正进行配送图像语音等技术的开发。例如为将数字化的图像语音打包传输的方式。现有技术已经公知一种图像语音配送,其使用MPEG-4作为图像语音的编码方式,使用MP4(ISO/IEC 1449 6-1:2001)文件形式作为图像语音文件的形式(例如参考特开2002-199370号公报(第6页))。
第三代移动通信(W-CDMA)国际标准规则制定组织3GPP(ThirdGeneration Partnership Project:第三代合作计划)的SA(Service andSystem Aspect:服务和***方案)WG4制定了图像配送标准TS26.234。在图像配送标准TS26.234的5.0.0版本中,通过扩展在下载型图像配送中可使用的MP4文件来规定文本数据的数据结构(Timed Text:时控文本)。由此,在一边下载MP4文件一边再现的服务中,不仅能够再现视频和音频,而且也能够再现文本。(例如参考:‘3GPP TS26.234 V5.0.0’.Page56.[online].3GPP,2002.[Retrieved on 2002-10-07].Retrieved from the internet:URL:ftp://ftp.3gpp.org/Specs/2002-03/Rel-5/26_series/26234-500.zip)。
利用文本的信息通知,能够将想传输的信息直接传递给使用者,与视频相比,由于数据量极其小,因此其作为信息通知方式是非常重要的。在上述一边下载MP4文件一边再现的服务中,由于不是将视频和文本合成后进行编码传送,而是将文本作为独立轨道来传送,因而破坏文本而不能读出的情况减少,能够有效地进行信息通知。
而且,在由3GPP规定的时控文本(Timed Text)中,可以修饰或者移动一部分文本,或者可以在字符串中粘贴通向其它URL的链接(样式(style)、加亮(highlight)、卡拉OK(Kara OK)、文本框(textbox)、闪烁(blink)、滚动(scroll)、超级链接及其它)。由此,能够通过各种显现形式来再现想传输的信息。
这里,使用图55来说明3GPP规定的时控文本的数据结构。在3GPP规定的时控文本中,可以修饰或者移动一部分文本,或者可以粘贴通向其它URL的链接(样式(style)、加亮(highlight)、卡拉OK(Kara OK)、文本框(textbox)、闪烁(blink)、滚动读(scroll)、超级链接及其它)。因此,时控文本的数据结构由文本数据和与此对应的修饰信息构成。
MP4文件3000由头部3010和数据部3020构成。头部3010包括轨道头部3030、样本描述3040、以及样本表3050。数据部3020包括文本样本3060、3061、…。
轨道头部3030是与时控文本再现有关的信息,包括布局(显示区大小、与视频之间的相对位置)、层(与视频等其它媒体之间的分层关系)、时控文本的再现时间、文件生成日期和时间、后述时间一样本框(time-to-sample-box)3051的时标(time scale)等信息。
样本描述3040具有多个样本入口3041、3042、…。样本入口3041、3042、…是与文本样本3060、3061、…之缺省格式相关的信息,包括滚动的有无及方向、水平/垂直偏移位置、背景色、字体名、字体大小等。
样本表3050具有时间一样本框3051、样本尺寸框(sample-size-box)3052、样本一组块框(sample-to-chunk-box)3053。时间一样本框3051以文本样本3060、3061、…的配置顺序包括涉及文本样本3060、3061、…之各自再现时间的信息3055、3056、…。信息3055、3056、…所保存的值的时标由轨道头部3030指定。具体地,轨道头部3030,作为时标,预先保存1秒的分辨率,例如,当轨道头部3030所保存的时标值为[1000]时,就变成1/1000秒单位的分辨率。因此,将文本样本3060、3061、…各自再现时间的信息3055、3056、…进行秒换算后的值就变成将信息3055、3056、…除以轨道头部3030所保存的时标值之后的值,例如,在时标值是[1000]的情况下,信息3056的表示值[3400]意味着3.4秒再现文本样本3061。下面,作为使时标值设定为[1000]来进行说明。样本尺寸框3052以文本样本3060、3061、…的配置顺序包括涉及文本样本3060、3061、…之各个数据长度的信息3057、3058、…。因此,在再现一侧,能够检测文本样本3060、3061、…各个信息的交接点处。样本一组块框3053包括使每个文本样本3060、3061、…和每个样本入口3041、3042、…相关联的信息。
文本样本3060具有文本3065、文本3065的数据长度3066、以及修饰符3067。文本3065保存了字符信息本身。在统一代码(Unicode)标准中,用UTF-8或者UTF-16的Big Endian来编码字符代码。UTF-8和UTF-16之间的识别通过在文本3065开头2个字节中记述的字节指令标记(BOM)实现。开头2个字节为[0×FEFF]时,表示通过UTF-16进行编码。当在文本3065开头不包含BOM时,表示用UTF-8进行编码。数据长度3066表示字符信息本身字节长度。修饰符3067是文本3065选择的修饰信息,定义了加亮、卡拉OK、闪烁、超级链接等7种修饰类型。其它文本样本3061、…由于是与文本样本3060同样的数据结构,因此省略其说明。
通过使用图56具体说明涉及时控文本的再现。
首先,参考图56(a)说明样本入口3041的详细结构。由于其它样本入口3042、…是同样的数据结构,因此省略其说明。样本入口3041包括:滚动的有无和方向(displayFlags);显示区内的水平/垂直偏移位置(Horizontal justification,Vertical justification);由RGB值和透明度指定的背景色(bgColor);显示区(TextBox)、字体名(fontTable,font-ID);字体大小(fontSize);粗字体/斜体/下划线等样式(faceStyle);由RGB值和透明度指定的字体颜色(fontColor)等。而且,用于指定适用该格式之范围的数据(startChar、EndChar)常常取[0]值,对于适用样本入口3041所指定格式之文本样本中的全范围文本,其表示适用该格式。图56(a)所示样本入口3041的每个值意味着文本3065的缺省格式,其将背景色指定为白色,将字体色指定为黑色,以及将样式指定为标准。
下面,参考图56(b)说明修饰符3067的详细结构。修饰符3067包括:修饰符3067的数据长度(modifierSize);文本3065选择格式的指定(modifierType、entryCount);适用该选择格式之文本3065范围的指定(startChar、EndChar);字体名(font-ID);字体大小(fontSize);粗字体/斜体/下划线等样式(faceStyle);由RGB值和透明度指定的字体颜色(fontColor)等。选择格式的指定优选适用由样本入口3041、3042、…的任何一个所指定的格式。图56(b)所示修饰符3067的每一个值都意味着将文本3065的第5个字符到第8个字符做成“粗体字”。
图56(c)表示适用上述格式之文本样本3060的再现状态。例如,当文本3065所示内容是“It’s fine today”时,则第5个字符到第8个字符“fine”用粗体字再现。根据在时间一样本框3051中最初配置的信息3055的值[1000]可以知道,其再现时间是1000毫秒(参考图55)。
当具有上述结构的MP4文件再现时,预先由接收终端下载MP4文件,下载结束后在接收终端进行MP4文件的再现。
另一方面,在用于配送包含视频及音频之媒体数据的服务中,采用数据流型配送来代替下载型的情况也很多。在数据流型的配送中,并行进行在接收终端接收媒体数据的处理以及再现所接收的媒体数据的处理。因此,具有如下优点:即使是在再现长时间媒体数据的情况下,从进行该媒体数据的要求开始到进行再现为止的等待时间减少。其也适合于被实况中继之媒体数据配送中的配送。
在这种数据流型的配送中,在实现使用时控文本之信息通知时,由于时控文本变成与作为其集装箱文件格式的MP4文件不可分离的数据结构,因此难以使用数据流型的配送。
发明内容
本发明将提供能适合于通过数据流型的配送来使用时控文本的传输数据结构作为课题。另外,本发明还将提供用于接收具有该传输数据结构之数据的数据接收方法、数据接收装置和数据接收程序作为课题。
有关本发明之一的文本传输用数据的传输数据结构,用于传输有关文本数据再现之文本再现用数据并在数据接收装置中顺次再现,包括全体文本头部数据、分割文本数据和分割文本头部数据。全体文本头部数据与文本数据全体的再现相关。分割文本数据包含被分割的文本数据。分割文本头部数据针对每个分割文本数据配置,与分割文本数据的每个再现相关。
这里,文本再现用数据是例如MP4文件等数据。
在数据接收装置中,从全体文本头部数据中取得与文本数据全体的再现相关的信息。而且,从分割文本头部数据中取得与分割文本数据的再现相关的信息。基于全体文本头部数据和分割文本头部数据,顺次再现分割文本数据。
通过本发明的传输数据结构,即使没有接收到所有的文本再现用数据,也能够顺次再现分割文本数据。即,提供了一种适合于流配送的传输数据结构。
有关本发明之二的文本传输用数据的传输数据结构,是在本发明之一的文本传输用数据的传输数据结构中,分割文本头部数据包括与分割文本数据的再现时间相关的再现时间信息。
在数据接收装置中,从分割文本头部数据中取得与分割文本数据的再现时间相关的信息。基于所取得的再现时间信息,顺次再现分割文本头部数据。
通过本发明的传输数据结构,在再现时间信息所具有的再现时间上顺次再现各个分割文本头部数据。
有关本发明之三的文本传输用数据的传输数据结构,是在本发明之一或者之二的文本传输用数据的传输数据结构中,分割文本头部数据包括与分割文本数据的数据长度相关的数据长度信息。
通过本发明的传输数据结构,使得在被顺次传输的文本传输用数据中分割文本数据的数据边界清楚了。由此,能够防止流传输中的错误再现等。
有关本发明之四的文本传输用数据的传输数据结构,是在本发明之一~之三中任一项的文本传输用数据的传输数据结构中,全体文本头部数据包括:文本再现信息,其包含与文本数据的再现区域相关的信息;格式信息,其包含与分割文本数据的格式相关的信息。
这里,再现开始信息是与例如文本数据的布局(显示区大小、与视频等其它媒体之间的相对位置)、层(与其它媒体之间的分层关系)等相关的信息。格式信息是与例如分割文本数据的滚动的有无和方向、再现位置、背景色、字体格式(字体名、大小、颜色、粗体字、下划线、斜体等)等相关的信息。
在数据接收装置中,基于文本再现信息,判断各个分割文本数据的再现区。而且,基于格式信息,判断各个分割文本数据所适用的格式。
有关本发明之五的文本传输用数据的传输数据结构,是在本发明之四的文本传输用数据的传输数据结构中,全体文本头部数据还包括数据长度定制信息,其用于定制分割文本头部数据的数据长度。
在数据接收装置中,基于数据长度定制信息,判断分割文本头部数据的数据长度。数据长度定制信息例如用位单位指定分割文本头部数据的数据长度。
通过本发明的传输数据结构,根据需要,能够定制与分割文本数据的各个再现相关的分割文本头部数据的数据长度。即,能够按需要和足够量来定制分割文本头部数据的信息量。结果,能够减少分割文本数据的各个再现上所需要的信息量。
有关本发明之六的文本传输用数据的传输数据结构,是在本发明之四或者之五的文本传输用数据的传输数据结构中,分割文本头部数据包括表示分割文本数据和格式信息之间关联的索引。
在数据接收装置中,基于索引,从格式信息判断分割文本数据所使用的格式。
通过本发明的传输数据结构,例如,在每个分割文本数据上没有必要传输涉及格式的信息。因此,有可能提高位效率。
有关本发明之七的文本传输用数据的传输数据结构,是在本发明之四~之六中任一项的文本传输用数据的传输数据结构中,文本传输用数据由多个信息包构成。文本再现信息以与分割文本数据和分割文本头部数据不同的形式被打包。
这里,文本再现信息例如以段(section)形式被打包。分割文本数据和分割文本头部数据例如以PES信息被打包。
通过本发明的传输数据结构,有可能提高分割文本数据的传输效率。即,对文本再现信息等以及没有必要频繁传输的信息,通过用与分割文本数据不同的形式传输,对于分割文本数据的传输,能够确保更多的频带。
有关本发明之八的文本传输用数据的传输数据结构,是在本发明之七的文本传输用数据的传输数据结构中,格式信息以与文本再现信息相同的形式被打包。
这里,文本再现信息、格式信息用例如段形式被打包。
通过本发明的传输数据结构,在不需要频繁传输格式信息时,对于分割文本数据的传输,能够确保更多的频带。
有关本发明之九的文本传输用数据的传输数据结构,是在本发明之七的文本传输用数据的传输数据结构中,格式信息以与分割文本数据和分割文本头部数据相同的形式被打包。
这里,格式信息、分割文本数据和分割文本头部数据例如用PES形式被打包。
通过本发明的传输数据结构,由可能使格式信息作为与分割文本数据相同的信息包传输。因此,即使当格式信息有变更时,被变更的格式信息能够比该格式所适用的分割文本数据更早的接收。即,能够更可靠地反映格式信息的变更等。
有关本发明之十的文本传输用数据的传输数据结构,是在本发明之九的文本传输用数据的传输数据结构中,格式信息包括多个格式信息单位。格式信息单位针对每个分割文本数据配置。
在数据接收装置中,取得每个分割文本数据上所配置的格式信息单位,以及判断每个分割文本数据的格式。
通过本发明的传输数据结构,能够更可靠地反映分割文本数据所使用格式的变更等。
有关本发明之十一的文本传输用数据的传输数据结构,是在本发明之一~之十中任一项的文本传输用数据的传输数据结构中,文本传输用数据是作为多路复用数据传输的数据。
在数据接收装置中,通过从多路复用数据中分离,取得了文本传输用数据。
有关本发明之十二的文本传输用数据的数据接收方法,包括接收步骤和再现步骤。接收步骤用于接收具有本发明之一~之十一中任一项的传输数据结构的文本传输用数据。再现步骤基于文本传输用数据包含的全体文本头部数据、分割文本数据和分割文本头部数据,顺次再现分割文本数据包含的被分割的文本数据。
在该数据接收方法中,从全体文本头部数据中取得与文本数据全体的再现相关的信息。而且,从分割文本头部数据中取得与分割文本数据的再现相关的信息。基于全体文本头部数据和分割文本头部数据,顺次再现分割文本数据。
通过本发明的数据接收方法,即使没有接收到所有的文本再现用数据,也能够顺次再现分割文本数据。即,提供了一种适合于流配送的数据接收方法。
有关本发明之十三的文本传输用数据的数据接收装置,包括接收单元和再现单元。接收单元用于接收具有本发明之一~之十一中任一项的传输数据结构的文本传输用数据。再现单元基于文本传输用数据包含的全体文本头部数据、分割文本数据和分割文本头部数据,顺次再现分割文本数据包含的被分割的文本数据。
在该数据接收装置中,从全体文本头部数据中取得与文本数据全体的再现相关的信息。而且,从分割文本头部数据中取得与分割文本数据的再现相关的信息。基于全体文本头部数据和分割文本头部数据,顺次再现分割文本数据。
通过本发明的数据接收装置,即使没有接收到所有的文本再现用数据,也能够顺次再现分割文本数据。即,提供了一种适合于流配送的数据接收装置。
有关本发明之十四的数据接收程序,用于通过计算机实现具有本发明之一~之十一中任一项的传输数据结构之文本传输用数据的数据接收方法,数据接收程序在计算机上实现数据接收方法,该数据接收方法包括接收步骤和再现步骤。接收步骤用于接收具有本发明之一~之十一中任一项的传输数据结构的文本传输用数据。再现步骤基于文本传输用数据包含的全体文本头部数据、分割文本数据和分割文本头部数据,顺次再现分割文本数据包含的被分割的文本数据。
在该数据接收程序中,从全体文本头部数据中取得与文本数据全体的再现相关的信息。而且,从分割文本头部数据中取得与分割文本数据的再现相关的信息。基于全体文本头部数据和分割文本头部数据,顺次再现分割文本数据。
通过本发明的数据接收程序,即使没有接收到所有的文本再现用数据,也能够顺次再现分割文本数据。即,提供了一种适合于流配送的数据接收程序。
有关本发明之十五的文本传输用数据的传输数据结构,用于传输并顺次再现有关文本数据再现之文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含用于再现分割文本数据的信息的文本头部数据。文本传输用数据由多个信息包构成。并且,分割文本数据以显示顺序被配置在各个信息包内。信息包具有各个分割文本数据的再现时刻信息。进一步,第二信息包包括重复其前第一信息包的分割文本数据和再现时刻信息的分割文本数据。
这里,再现时刻信息是由信息包内最初配置的分割文本数据的再现时刻和各个分割文本数据的再现时间构成的信息,或者是由各个分割文本数据的再现时刻构成的信息。
第二信息包和其前的第一信息包包括再现时刻信息重复的分割文本数据。即,准许多次传输具有在不同信息包中重复的再现时刻信息的分割文本数据。因此,能够提高文本传输用数据的抗错性能。
有关本发明之十六的文本传输用数据的传输数据结构,是在本发明之十五的文本传输用数据的传输数据结构中,使信息包所包含的分割文本数据的个数确定作为这样的个数,其使得在与为了文本传输用数据的传输所确保的传输线路频带大致一致的频带上传输信息包。
这样,能够有效利用用于文本传输用数据的传输所确保的传输线路频带,能够多次传输具有重复再现时刻信息的分割文本数据,以及还能够提高文本传输用数据的抗错性能。
有关本发明之十七的文本传输用数据的传输数据结构,是在本发明之十五或者之十六的文本传输用数据的传输数据结构中,文本传输用数据是作为多路复用数据传输的数据。
在数据接收装置中,通过从多路复用数据中分离,取得文本传输用数据。
有关本发明之十八的文本传输用数据的数据接收方法,是具有本发明之十五~之十七中任一项的传输数据结构之文本传输用数据的数据接收方法,包括时刻取得步骤和置换步骤。时刻取得步骤用于取得第一信息包各个分割文本数据之再现时刻信息所表示的时刻Tn和第二信息包最初分割文本数据之再现时刻信息所表示的时刻Ta。置换步骤将第一信息包中的时刻Tn是与时刻Ta相等或者之后的分割文本数据置换成第二信息包中再现时刻信息所重复的分割文本数据。
通过该数据接收方法,能够通过最新的分割文本数据来更新预先传输的分割文本数据,能够始终再现包含最新信息的分割文本数据。
有关本发明之十九的文本传输用数据的数据接收方法,是具有本发明之十五~之十七中任一项的传输数据结构之文本传输用数据的数据接收方法,包括接收延迟判断步骤和再现步骤。接收延迟判断步骤用于判断是否在第一分割文本数据的接收时刻Td比第一分割文本数据之再现时刻信息表示的时刻Tn更迟且比下一个第二分割文本数据之再现时刻信息表示的时刻Tn+1更早被接收。再现步骤,当判断是肯定的时,在从接收时刻Td开始到时刻Tn+1为止的时间上再现第一分割文本数据。
通过该数据接收方法,即使是比再现时刻信息所示时刻更迟接收的分割文本数据,也能够在到达下一个分割文本数据之再现时刻信息之前的时间上进行再现。即,即使从途中也能够再现应该被再现的文本数据,能够防止长时间不再现文本数据的弊端。
有关本发明之二十的文本传输用数据的数据接收方法,在本发明之十九的文本传输用数据的数据接收方法中,在再现步骤,根据在第一分割文本数据中从时刻Tn到接收时刻Td的时间所经过时点的再现状态,开始第一分割文本数据的再现。
通过该数据接收方法,例如,即使从途中也能够再现伴有滚动再现和卡拉OK再现等时刻变化的分割文本数据。由此,能够防止在文本数据再现时应该再现的状态没有被再现之类的弊端。
有关本发明之二十一的文本传输用数据的数据接收装置,该文本传输用数据具有本发明之十五~之十七中任一项的传输数据结构,该数据接收装置包括时刻取得单元和置换单元。时刻取得单元用于取得第一信息包各个分割文本数据之再现时刻信息所表示的时刻Tn和第二信息包最初分割文本数据之再现时刻信息所表示的时刻Ta。置换单元将第一信息包中的时刻Tn是与时刻Ta相等或者之后的分割文本数据置换成第二信息包中再现时刻信息所重复的分割文本数据。
通过该数据接收装置,能够通过最新的分割文本数据来更新预先传输的分割文本数据,能够始终再现包含最新信息的分割文本数据。
有关本发明之二十二的文本传输用数据的数据接收装置,该文本传输用数据具有本发明之十五~之十七中任一项的传输数据结构,该数据接收装置包括接收延迟判断单元和再现单元。接收延迟判断单元用于判断是否在第一分割文本数据的接收时刻Td比第一分割文本数据之再现时刻信息表示的时刻Tn更迟且比下一个第二分割文本数据之再现时刻信息表示的时刻Tn+1更早被接收。再现单元,当判断是肯定的时,在从接收时刻Td开始到时刻Tn+1为止的时间上再现第一分割文本数据。
通过该数据接收方法,即使是比再现时刻信息所示时刻更迟接收的分割文本数据,也能够在到达下一个分割文本数据之再现时刻信息之前的时间上进行再现。即,即使从途中也能够再现应该被再现的文本数据,能够防止长时间不再现文本数据的弊端。
有关本发明之二十三的文本传输用数据的数据接收装置,在本发明之二十二的文本传输用数据的数据接收装置中,在再现单元,根据在第一分割文本数据中从时刻Tn到接收时刻Td的时间所经过时点的再现状态,开始第一分割文本数据的再现。
通过该数据接收装置,例如,即使从途中也能够再现伴有滚动再现和卡拉OK再现等时刻变化的分割文本数据。由此,能够防止在文本数据再现时应该再现的状态没有被再现之类的弊端。
有关本发明之二十四的数据接收程序,用于通过计算机实现具有本发明之十五~之十七中任一项的传输数据结构之文本传输用数据的数据接收方法,数据接收程序在计算机上实现数据接收方法,该数据接收方法包括时刻取得步骤和置换步骤。时刻取得步骤用于取得第一信息包各个分割文本数据之再现时刻信息所表示的时刻Tn和第二信息包最初分割文本数据之再现时刻信息所表示的时刻Ta。置换步骤将第一信息包中的时刻Tn是与时刻Ta相等或者之后的分割文本数据置换成第二信息包中再现时刻信息所重复的分割文本数据。
通过该数据接收程序,能够通过最新的分割文本数据来更新预先传输的分割文本数据,能够始终再现包含最新信息的分割文本数据。
有关本发明之二十五的数据接收程序,用于通过计算机实现具有本发明之十五~之十七中任一项的传输数据结构之文本传输用数据的数据接收方法,数据接收程序在计算机上实现数据接收方法,该数据接收方法包括接收延迟判断步骤和再现步骤。接收延迟判断步骤用于判断是否在第一分割文本数据的接收时刻Td比第一分割文本数据之再现时刻信息表示的时刻Tn更迟且比下一个第二分割文本数据之再现时刻信息表示的时刻Tn+1更早被接收。再现步骤,当判断是肯定的时,在从接收时刻Td开始到时刻Tn+1为止的时间上再现第一分割文本数据。
通过该数据接收程序,即使是比再现时刻信息所示时刻更迟接收的分割文本数据,也能够在到达下一个分割文本数据之再现时刻信息之前的时间上进行再现。即,即使从途中也能够再现应该被再现的文本数据,能够防止长时间不再现文本数据的弊端。
有关本发明之二十六的数据接收程序,在本发明之二十五的数据接收程序中,在再现步骤,根据在第一分割文本数据中从时刻Tn到接收时刻Td的时间所经过时点的再现状态,开始第一分割文本数据的再现。
通过该数据接收程序,例如,即使从途中也能够再现伴有滚动再现和卡拉OK再现等时刻变化的分割文本数据。由此,能够防止在文本数据再现时应该再现的状态没有被再现之类的弊端。
附图说明
图1是表示本发明PES信息包数据结构的示意图(第一实施方式)。
图2是本发明PES信息包数据结构的详细说明图(第一实施方式)。
图3是本发明数据传输装置的框图(第一实施方式)。
图4是本发明数据传输方法的操作流程图(第一实施方式)。
图5是本发明数据传输方法的详细说明图(第一实施方式)。
图6是本发明数据接收装置的框图(第一实施方式)。
图7是本发明数据接收方法的操作流程图(第一实施方式)。
图8是说明本发明数据接收装置中数据分析句法的说明图(第一实施方式)。
图9是说明当多个PES信息包所包括的文本帧(text frame)的再现时刻重复时用于判定应该解码的文本帧之规则的说明图(第一实施方式)。
图10是说明当接收PES信息包时刻正经过该PES信息包的PTS所表示时刻时用于判定应该解码的文本帧之规则的说明图(第一实施方式)。
图11是说明当接收了伴随时间变化包含处理的文本帧时之再现状态的说明图(第一实施方式)。
图12是表示作为本发明变形例的PES信息包数据结构的示意图(第一实施方式)。
图13是表示作为本发明变形例的PES信息包数据结构的示意图(第一实施方式)。
图14是表示作为本发明变形例的样本描述之数据结构的示意图(第一实施方式)。
图15是表示本发明PES信息包数据结构的示意图(第二实施方式)。
图16是本发明数据传输装置的框图(第二实施方式)。
图17是本发明数据接收装置的框图(第二实施方式)。
图18是表示作为本发明变形例的PES信息包数据结构的示意图(第二实施方式)。
图19是表示作为本发明变形例的PES信息包数据结构的示意图(第二实施方式)。
图20是说明RTP/RTSP序列(sequence)之一般处理的说明图(第三实施方式)。
图21是表示在带内(inband)传输中RTP信息包数据结构的示意图(第三实施方式)。
图22是表示在带外(outband)传输中RTP信息包数据结构的示意图(第三实施方式)。
图23是本发明数据传输装置的框图(第三实施方式)。
图24是本发明数据接收装置的框图(第三实施方式)。
图25是说明在获得MP4文件形式的媒体数据时一般处理流程的说明图(第四实施方式)。
图26是说明在将时控文本作为RTP信息包传输时被传输的基本信息包Pt0的说明图(第四实施方式)。
图27是说明分割信息包基本结构的说明图(第四实施方式)。
图28是说明具有文本正文Td0字符代码识别信息的分割头部概要的说明图(第四实施方式)。
图29是说明具有用于表示修饰符Md0开始位置之信息的分割头部概要的说明图(第四实施方式)。
图30是说明具有用于表示修饰符Md0开始位置之信息的分割头部概要的说明图(第四实施方式)。
图31是说明文本样本Ts0的分割变化和修饰符或者修饰符框的开始位置信息之间关系的说明图(第四实施方式)。
图32是说明具有涉及分割文本样本所包含的一部分文本正文包含整个文本正文的第几个字符以后内容之信息的分割头部概要的说明图(第四实施方式)。
图33是概要说明为了分割的修饰符框再现所保存的信息的说明图(第四实施方式)。
图34是说明为了分割的卡拉OK样式之修饰符框再现所保存的信息的说明图(第四实施方式)。
图35是说明为了分割的字符样式之修饰符框再现所保存的信息的说明图(第四实施方式)。
图36是说明为了分割的超级链接样式之修饰符框再现所保存的信息的说明图(第四实施方式)。
图37是说明分割信息包PtN头部HdN结构的一个例子的说明图(第四实施方式)。
图38是用于再现具有本发明数据结构之RTP信息包的数据再现装置710的框图(第四实施方式)。
图39是说明用于再现具有本发明数据结构之RTP信息包的数据再现方法的流程图(第四实施方式)。
图40是用于生成具有本发明数据结构之RTP信息包的数据多路复用装置720的框图(第四实施方式)。
图41是说明用于生成具有本发明数据结构之RTP信息包的数据多路复用方法的流程图(第四实施方式)。
图42是说明与第五实施方式相关的分割头部FhN结构的说明图(第五实施方式)。
图43是说明对于文本指示符和分割头部标志之间的组合,分割头部FhN所包括信息的说明图(第五实施方式)。
图44是说明对于文本指示符和分割头部标志之间的组合,样本头部ShN所包括信息的说明图(第五实施方式)。
图45是文本样本之分割状况表(第五实施方式)。
图46是用于再现具有本发明数据结构之RTP信息包的数据再现装置730的框图(第五实施方式)。
图47是说明用于再现具有本发明数据结构之RTP信息包的数据再现方法的流程图(第五实施方式)。
图48是用于生成具有本发明数据结构之RTP信息包的数据多路复用装置740的框图(第五实施方式)。
图49是说明用于生成具有本发明数据结构之RTP信息包的数据多路复用方法的流程图(第五实施方式)。
图50是用于存储程序的记录介质的说明图(第六实施方式),该程序用于通过计算机***实现上述各个实施方式的数据传输方法或者数据接收方法。
图51是表示内容提供***整体构成的框图(第七实施方式)。
图52是安装了本发明数据接收装置、数据再现装置之移动电话机的例子(第七实施方式)。
图53是移动电话机的框图(第七实施方式)。
图54是数字广播***的例子(第七实施方式)。
图55是说明由3GPP规定的时控文本之数据结构的说明图(背景技术)。
图56是时控文本数据结构的详细说明图(背景技术)。
具体实施方式
【第一实施方式】
作为本发明第一实施方式,说明使用MPEG-2 TS的文本轨道的数据流传输。文本轨道是包括以与3GPP所规定的时控文本(Timed Text)相同的表现形式、用于进行文本再现之信息的数据。
<PES信息包的数据结构>
(1)
图1表示用于通过使用MPEG-2 TS来流传输文本轨道的PES信息包的数据结构。
在MPEG-2***中,将成为构成视频、音频或者文本之类轨道的要素的信号称为ES(Elementary Stream:基本流)。而且,将把ES分成可变长度块且附加了头部信息的ES称为PES(Packetized Elementary Stream:打包的基本流)。在MPEG-2***中,规定TS(Transport Stream:传输流)作为多路复用传输多个PES的信号。
(2)
图1所示PES信息包1的数据结构由用MPEG-2***规定的PES头部10和有效载荷(payload)部11构成。PES头部10具有PTS(PresentationTime Stamp:显示时间标记),其是用于在视频、音频或者文本之类的轨道间进行同步再现的时刻信息。有效载荷部11包括:轨道头部111;样本描述112;配置信息113;文本帧114、114’、…;以及用于识别各个信息的标识符(轨道头部标识符111a;样本描述标识符112a;配置信息标识符113a;文本帧标识符114a)。
轨道头部111是与整个文本轨道的再现相关的信息,包括:布局(显示区大小(宽度和高度),与视频之间的相对位置(从视频显示区向横方向和纵方向的平移))、层(与视频等其它媒体之间的分层关系)、文本轨道的再现时间、生成日期和时间、以及后述持续时间(duration)1141b的时标(time scale)等信息。
样本描述112包括多个样本入口1121、1122、…(参考图2(b))。各个样本入口1121、1122、…是与文本轨道的格式相关的信息,包括:滚动的有无和方向;水平/垂直偏移位置;背景色;字体名;字体大小;以及其它格式的缺省信息等。
配置信息113包括用于定制后述文本帧114、114’、…所包含索引1141a和持续时间1141b(参考图2(a))的数据长度的信息。例如,将索引1141a和持续时间1141b的数据长度分别设定为1~4字节的任何一个。
文本帧114、114’、…以再现顺序排列。PES头部10的PTS所表示的值表示在有效载荷部11中最初配置的文本帧114的再现时刻。
下面,使用图2(a)说明文本帧114。其它文本帧114’、…由于具有与文本帧114同样的结构,省略其说明。
文本帧114由段文本头部1141和文本样本1142构成。
段文本头部1141具有索引1141a和持续时间1141b。索引1141a通过指定样本入口1121、1122、…(参考图2(b))来表示文本样本1142的缺省格式。持续时间1141b是涉及文本样本1142再现时间的信息。持续时间1141b所保存值的时标在轨道头部111(参考图1)中指定。文本样本1142具有文本1142a、用于存储文本1142a之数据长度的文本长度1142b以及修饰符1142c。当在选项中格式变更(加亮,卡拉OK,闪烁,超级链接等)文本1142a的一部分或者全部时使用修饰符1142c。
图1所示标识符111a、112a、113a、114a由各自通用的开始代码115和各自专有的ID111b、112b、113b、114b构成。例如,各个标识符111a、112a、113a、114a具有在3字节的开始代码115上附加1字节ID111b、112b、113b、114b的结构。图1中,确定开始代码115为[0x 00 00 01],轨道头部标识符111a的ID111b为[0x 00],样本描述标识符112a的ID112b为[0x 01],配置信息标识符113a的ID113b为[0x 02],文本帧标识符114a的ID114b为[0x 03]。但是在本发明中,开始代码和各个ID不局限于上述。
各个标识符111a、112a、113a、114a被分别附加在轨道头部111、样本描述112、配置信息113、文本帧114上。
(3)
使用图2,说明样本描述112、配置信息113和文本帧114的具体内容。
图2(a)所示文本帧114具有的索引1141a值[1]指定了在文本样本1142再现时应该参考的样本入口1121。
图2(b)所示样本入口1121包括:滚动的有无和方向(displayFlags);显示区内的水平/垂直偏移位置(Horizontal justification,Verticaljustification);由RGB值和透明度指定的背景色(bgColor);显示区(TextBox);字体名(fontTable,font-ID);字体大小(fontSize);粗字体/斜体/下划线等样式(faceStyle);由RGB值和透明度指定的字体颜色(fontColor)等。而且,用于指定适用该格式之范围的数据(startChar,EndChar)常常取[0]值,对于适用样本入口1121所指定格式之文本样本1142中的全范围文本1142a,表示适用该格式。通过图2(b)所示样本入口1121的每个值,文本1142a的缺省格式将背景色指定为白色,字体色为黑色以及样式为标准。
持续时间1141b的值[4500]表示文本样本1142的再现时间。该值的时标由轨道头部111(参考图1)指定。具体地,轨道头部111,作为时标,预先保存1秒的分辨率,例如,当轨道头部111所保存的时标值为[1000]时,就变成以1/1000秒为单位的分辨率。因此,将文本样本1142的再现时间进行秒换算后的值就变成将持续时间1141b的值除以轨道头部111所保存时标值之后的值,例如,在时标值是[1000]的情况下,持续时间1141b的值[4500]意味着以4.5秒再现文本样本1142。下面,作为使时标值设定为[1000]来进行说明。
索引1141a和持续时间1141b的数据长度能够通过图2(a)所示配置信息113指定。配置信息113是1字节数据,由4位的保留区1131a、2位的索引大小指示符1131b以及2位的持续时间大小指示符1131c构成。即,通过2位的索引大小指示符1131b和持续时间大小指示符1131c,使索引1141a和持续时间1141b的数据长度指定为1~4字节。例如,如果索引大小指示符1131b的值为[00],持续时间大小指示符1131c的值为[01],则图2(a)的索引1141a和持续时间1141b的数据长度被分别指定为1字节和2字节。
图2(a)的文本长度1142b存储了文本1142a的数据长度。本实施方式中,将文本长度1142b的数据长度假设为2字节,由此,文本1142a的数据长度变成极限为最大65535字节,但是,根据需要,文本长度1142b的数据长度可以改变。
修饰符1142c包括:修饰符1142c的数据长度(modifierSize);文本1142a选择格式的指定(modifierType,entryCount);适用该选择格式之文本1142a范围的指定(startChar,EndChar);字体名(font-ID);字体大小(fontSize);粗字体/斜体/下划线等样式(faceStyle);由RGB值和透明度指定的字体颜色(fontColor)等。该选择格式的指定优先适用于由索引1141a参考的样本入口1121的格式。图2(a)所示值意味着将文本1142a的第5个字符到第8个字符做成“粗体字”。
图2(d)表示文本帧114的再现状态。文本1142a所示文本内容(It’sfine today)当中第5个字符到第8个字符(fine)作为粗体字再现。其再现时间是4500毫秒。
(4)
说明图1所示PES信息包1的有效载荷部11,其包括轨道头部111、样本描述112、配置信息113、以及文本帧114、114’、…的全部信息。
但是,对于所有被输出的PES信息包,没有必要包括上述全部的信息。轨道头部111、样本描述112或者配置信息113可以分别在规定时刻在PES信息包中出现。在不包含一部分信息的情况下,再现一侧可以通过使用根据过去的PES信息包所接收的信息或者原始设定的缺省值来进行再现。
由此,通过用必要的频度发送文本再现时所需要的信息,能够减少文本轨道的传输中所需要的信息量。
<数据传输装置>
图3表示在MPEG-2 TS传输时所使用的数据传输装置3。数据传输装置3是将存储的媒体数据作为TS信息包而输出的装置,包括:存储部31;PES输出部32;以及***编码部33。
存储部31将媒体数据例如以MP4文件形式存储。PES输出部32从MP4文件中接收视频、音频或者时控文本之类的每个轨道所独立的ES。在PES输出部32,将所接收的时控文本分离成轨道头部3030、样本描述3040、样本表3050以及文本样本3060(参考图55)后进行缓存。而且,从所缓存的各个信息中生成图1和图2所示的PES信息包1。用于再现在PES信息包1中最初配置的文本帧114的时间信息被存储在PES信息包1之PES头部10的PTS上。***编码部33将在每个轨道所获得的PES信息包作为TS信息包而多路复用输出。
由于本发明的特征主要在PES输出部32上,因此数据传输装置的形式不局限于数据传输装置3。例如,也可以将存储部31和***编码部33另外设置在外部,也可以将在作为TS信息包输出的数据中加上传输线路编码和调制,作为广播波输出。
存储部31包括的媒体数据不局限于MP4文件形式,不需要具有与时控文本相同的数据结构。例如,其可以包括与时控文本所包括信息相同的信息,作为更适合流传输的数据结构被存储。
<数据传输方法>
(1)
使用图4,说明在MPEG-2 TS传输时所使用数据传输装置中的数据传输方法。
在MP4文件形式的视频、音频或者时控文本之类的每个轨道所独立的ES当中,时控文本通过分离成轨道头部3030、样本描述3040、样本表3050以及文本样本3060(参考图55)后进行缓存(步骤S401)。基于缓存的各个信息,将图1和图2所示PES信息包1的有效载荷部11合成(步骤S402)。输出被附加了PES头部10的PES信息包1(步骤S403),PES头部10作为PTS保存了用于再现有效载荷部11最初配置之文本帧114的时间信息。而且,所获得的PES信息包1作为TS输出(步骤S404)。
(2)
当输出PES信息包时,能够用不同的PES信息包多次传输相同的文本帧。使用图5对其说明。
图5所示PES信息包5和5’具有与图1所示PES信息包1相同的数据结构。PES信息包5’接着PES信息包5输出。PES信息包5的有效载荷部51具有文本帧(TF0、TF1、TF2、…),其具有与图2(a)所示文本帧114同样的数据构思。而且,PES信息包5使有效载荷部51中最初配置的文本帧即TF0的再现时间T0作为PTS的值存储于PES头部50中。PES信息包5’的有效载荷部51’具有文本帧(TF1、TF2、TF3、…),其具有与图2(a)所示文本帧114同样的数据构思。而且,PES信息包5’使有效载荷部51’中最初配置的文本帧即TF1的再现时间T1作为PTS的值存储于PES头部50’中。
这样,用一个PES信息包输出多个文本帧,而且通过在不同的PES信息包期间重复传输相同的文本帧,能够提高传输时的抗错能力。
(3)
在传输PES信息包时,当确保了文本轨道使用的预先固定的传输线路频带的情况下,确定PES信息包的数据长度或者PES信息包的传输个数,使得充分地利用该固定的传输线路频带。例如,当将16kbps的传输线路频带分配给文本轨道使用时,在1秒钟能够生成2000字节的PES信息包。由此,尽可能地将输入的文本帧装填在2000字节的PES信息包内来传输。
由此,通过充分灵活地使用传输线路频带,使得有可能传输重复的文本帧,并使提高了抗错能力的传输变成可能。
<数据接收装置>
图6表示在MPEG-2 TS传输时所使用的数据接收装置6。数据接收装置6是用于从通过广播波等接收的TS中再现文本轨道的装置,包括:接收部60;***解码部61;媒体解码缓冲部62;媒体解码部53;显示缓冲部64。数据接收装置6是例如电视、计算机或者汽车导航仪等中内置或者外部连接的装置。
接收部60接收广播波以及解调TS。***解码部61从解调的TS中分离视频、音频或者文本之类轨道的每一个的PES信息包。而且,从TS信息包中再现用于轨道之间同步再现的基准时刻即STC(System TimeClock:***时钟)。媒体解码缓冲部62在被分离的PES信息包当中从与文本轨道再现相关的PES信息包1的PES头部10中提取PTS。而且,参考由***解码部61再现的STC,输出具有与STC吻合之PTS的PES信息包1的有效载荷部11。媒体解码部63分析所获得的有效载荷部11,以及基于轨道头部111、样本描述112、配置信息113所保存的信息、STC、持续时间1141b和修饰符1141c来解码文本轨道。显示缓冲部64存储被解码的文本轨道,以及根据显示装置65的显示速率来使被解码的文本轨道与视频、音频之类的其它媒体一起同步地被再现。
由于本发明的特征在媒体解码部63上,因此数据接收装置的形式不局限于数据接收装置6。例如,也可以一体地包括显示装置65。
<数据接收方法>
(1)
使用图7,说明在MPEG-2 TS传输时所使用的数据接收装置6中的数据接收方法。
从所接收的TS中使视频、音频或者文本之类轨道的每一个的PES信息包分离。而且,从TS中再现用于在轨道之间进行同步再现的基准时刻即STC(步骤S701)。从所分离的PES信息包当中的与文本轨道再现相关的PES信息包1的PES头部10中取得PTS。而且,根据被再现的STC,分析具有与STC吻合之PTS的PES信息包1的有效载荷部11(步骤S702)。基于通过有效载荷部11的分析所识别的轨道头部111、样本描述112、配置信息113所保存的信息、STC、持续时间1141b和修饰符1141c来解码文本轨道(步骤S703)。
(2)
图8表示在数据接收装置6中用于分析作为文本轨道序列而定义的有效载荷部11的句法。
当分析PES信息包1的有效载荷部11时,进行开始代码115的检索。在找到开始代码115时,分析在该开始代码上所附加的ID(步骤S802a、步骤S803a、步骤S804a、步骤S805a)。根据ID分析,识别轨道头部111、样本描述112、配置信息113和文本帧114,并进行各个信息的处理(步骤S802b、步骤S803b、步骤S804b、步骤S805b)。
当在所接收的PES信息包1中不包括配置信息113时,在索引1141a和持续时间1141b的数据长度上使用缺省值(步骤S801)。
继续该序列直到文本轨道结束为止。例如,文本轨道的结束通过标识符等识别(步骤S806),该标识符由在文本轨道的最后所附加的开始代码115和意味着文本轨道结束的ID(例如[0x 04]构成)。
(3)
在数据接收装置6中,在上述文本轨道序列上进行PES信息包1的有效载荷部11的分析。而且,通过使用图9和图10来说明用于判定在有效载荷部11所包含的多个文本帧114、114’、…当中应该解码的文本帧的规则。
(3-1)
首先,说明多个PES信息包所包括的文本帧再现时刻重复的情况。
图9所示PES信息包9和9’具有与图1所示PES信息包1同样的数据结构。
PES信息包9’接着PES信息包9输出。PES信息包9的有效载荷部91具有文本帧(TF0、TF1、…,TFn-1、TFn、TFn+1、…),其具有与图2(a)所示文本帧114同样的数据构思。将各个持续时间假设为D0、D1、…,Dn-1、Dn、Dn+1、…)。而且,PES信息包9具有PES头部90,其使有效载荷部91中最初配置的文本帧即TF0的再现时间Ta假设为PTS的值。
PES信息包9’的有效载荷部91’具有文本帧(TFk、TFk+1、…),其具有与图2(a)所示文本帧114同样的数据结构。将各个持续时间假设为Dk、Dk+1、…。而且,PES信息包9’具有PES头部90’,其使有效载荷部91’中最初配置的文本帧即TFk的再现时间Tb假设为PTS的值。
而且,TFk的再现时间Tb假设满足Tn<Tb<Tn+1。这里,Tn和Tn+1是文本帧TFn和TFn+1的再现时刻,是Tn=Tn-1+Dn-1,Tn+1=Tn+Dn。
此时,在该PES信息包9和PES信息包9’的关系中,应该被解码的文本帧是在PES信息包中在时刻Tb之前应该被再现的文本帧和PES信息包9’所包含的文本帧。
即,在时刻Tb,与PES信息包9所再现文本帧TFn的状态无关,开始PES信息包9’所包含的文本帧(TFk、TFk+1、…)的再现。
更具体地说明。例如,PES信息包9包括3个文本帧,假设指定持续时间的值,使得相对PES信息包9的PTS值,分别在0、20、30秒之后开始再现。另一方面,PES信息包9’包括3个文本帧,假设指定PTS和持续时间的值,使得相对PES信息包9的PTS值,分别在26、38、52秒之后开始再现。当接收了PES信息包9和PES信息包9’时,在再现一侧,相对PES信息包9的PTS值在0、20、26、38、52秒之后分别再现文本帧。
由此,能够将事先发送的多个文本帧更新再现为最新的信息,例如,在紧急事态时能够进行文本的再现。
(3-2)
下面,说明接收PES信息包的时刻通过了该PES信息包之PTS所表示时刻的情况。
图10所示PES信息包110具有与图1所示PES信息包1同样的数据结构。
PES信息包110的有效载荷部101具有文本帧(TF0、TF1、…、TFn-1、TFn、TFn+1、…),其具有与图2(a)所示文本帧114同样的数据构思。将各个持续时间假设为D0、D1、…、Dn-1、Dn、Dn+1、…)。而且,PES信息包110具有PES头部100,其使有效载荷部101中最初配置的文本帧即TF0的再现时间Ta假设为PTS的值。
这里,将PES信息包110的接收时刻假设为Td。假设时刻Td满足Tn<Td<Tn+1,以及假设在接收时刻之前经过了TF0的再现时刻Ta。这里,Tn和Tn+1是文本帧TFn和TFn+1的再现时刻,是Tn=Tn-1+Dn-1,Tn+1=Tn+Dn。
此时,在PES信息包110的文本帧(TF0、TF1、…、TFn-1、TFn、TFn+1、…)当中,应该解码的文本帧在PES信息包110中是在时刻Td之后被再现的文本帧。
即,在时刻Td,从文本帧TFn开始再现,文本帧TFn仅仅在到时刻Tn+1为止的[Tn+1-Td]中再现文本帧TFn。
而且,在文本帧TFn包括伴随时间变化的处理时,例如,在用滚动和卡拉OK等格式进行再现时,从在时刻Td应该被再现的状态开始再现。
使用图11具体说明。文本帧TFn假设通过修饰符设定卡拉OK的选择格式,在从时刻Tn开始的5秒间,使“ぁぃぅぇぉ”5个字符平均1秒1个字符改变颜色。再现状态1101假设为在时刻Tn应该再现的状态,再现状态1102假设为从时刻Tn开始5秒之后应该再现的状态。
此时,假设在从时刻Tn开始经过3秒后的时刻Td接收包括文本帧TFn的PES信息包110。此时,在时刻Td,从改变了3个字符颜色的再现状态1103开始再现。
(第一实施方式的效果)
(PES信息包的数据结构)
通过本实施方式所示PES信息包1的数据结构,没有必要事先传输如时控文本头部3010(参考图55)那样的与时控文本的整体再现相关的信息。因此,从文本轨道开始接收到开始再现的等待时间变少。
通过重复传输文本轨道再现所必须的信息即轨道头部111、样本描述112、配置信息113之类的信息,使得对文本轨道随机存取而进行再现变成为可能。
由此,可以说,PES信息包1的数据结构是适合于流传输的数据结构。
(数据传输装置和数据传输方法)
在本实施方式所示数据传输装置3和数据传输方法中,用一个PES信息包输出多个文本帧,以及在不同的PES信息包之间重复传输相同的文本帧。由此,能够提高传输时的抗错性能,在不能要求数据再送的流传输中,变成可适合的传输。
(数据接收装置和数据接收方法)
在本实施方式所示数据接收装置6和数据接收方法中,能够将预先发送的多个文本帧更新为最新信息而再现。由此,例如,能够在紧急事态时进行文本的再现。
当PES信息包接收时刻正经过PES信息包的PTS时,如果是视频或者音频,则取消该PES信息包,等待接收下一个PES信息包后重新开始再现。但是,在文本轨道的再现中,即使从PES信息包中途的文本帧开始进行再现也是可能的,可以最大限度地防止信息欠缺。而且,即使在用卡拉OK、滚动等伴随时间变化的格式进行文本轨道的再现时,也能够减轻因文本轨道和视频或者音频之间的不吻合所感觉到的不和谐。
<第一实施方式的变形例>
(1)
在第一实施方式中,说明了轨道头部标识符111a、样本描述标识符112a、配置信息标识符113a和文本帧标识符114a分别由各自通用的开始代码115和各自专有的ID111b、112b、113b和114b构成。
这里,如图12(a)所示,各个标识符可以由用于保存轨道头部111、样本描述112、配置信息113或者文本帧114、114’、…之各个数据长度的长度部(111c、112c、113c、114c、114’c、…)和专有ID(111b、112b、113b、114b)构成。
例如,如果各个长度部为2字节,则轨道头部111、样本描述112、配置信息113或者文本帧114,114’、…的各个数据长度被限制在最大65535字节。但是,一般地,可以认为,作为文本数据传输,这是足够的数据长度。如果长度部为2字节,与使用3字节的开始代码115的情况相比,可以认为其位效率好。而且,当使用和识别开始代码115时,由于在位串中不可发生伪开始代码(尽管不是开始代码,但与开始代码为相同的位串),因此需要设置限制,使得在位串中不出现伪开始代码。但是,当在标识符中使用长度部时,能够防止这种问题的发生。
此时,通过配置信息113指定长度部的数据长度也是可能的。具体地,在配置信息113的保留区1131a当中,将2位假设为长度大小指示符1131’a以及将长度部的数据长度指定为1~4字节也是可能的(参考图12(b))。
(2)
在第一实施方式中,PES信息包1说明作为具有为图2所示结构的文本帧114。这里,PES信息包可以是图13所示PES信息包1”。
图13所示PES信息包1”包括用MPEG-2***规定的PES头部116和有效载荷部117。有效载荷部117由有效载荷头部118和有效载荷数据部119构成。有效载荷头部118具有计数部118a、样本头部118b和118c。有效载荷数据部119具有文本样本119b和119c。
计数部118a表示PES信息包1”中所包含文本样本的个数。图13表示计数部118a的值为[2]的情况,PES信息包1”包括2个文本样本119b和119c。
样本头部118b具有长度部、索引、和持续时间。长度部保存了样本头部118b的数据长度。索引和持续时间是与图2所示索引1141a和持续时间1141b相同。样本头部118c具有与样本头部118b同样的结构。
由于文本样本119b和119c具有与图2所示文本样本1142同样的结构,因此省略其说明。
这里,样本头部118b和118c以其配置顺序与文本样本119b和119c关联。即,有效载荷头部118中最初配置的样本头部118b表示在有效载荷数据部119中最初配置的文本样本119b的索引和持续时间。文本样本119b和119c在有效载荷数据部119中以再现顺序配置,与PES信息包1相同最初配置的文本样本119b的再现时刻保存于PES头部116的PTS中。
在PES信息包1”中,具有连接多个文本样本119b和119c的结构,与PES信息包1相比,具有近似于MP4文件记录时结构的结构,同时变成适合于流传输的信息包结构。
而且,PES信息包1”还可以具有轨道头部111、样本描述112、配置信息113(参考图1)。这种情况下,附加了用于识别它们的标识符。
PES信息包可以是对每个文本样本都配置样本头部的结构。当使用图13具体说明时,其是以样本头部118b、文本样本119b、样本头部118c、文本样本119c的顺序来保存数据的结构。这种情况下,文本样本118b(118c)与此前配置的样本头部119b(119c)关联。而且此时,长度部保存了其后配置的文本样本的数据长度。而且在这种情况下,可以没有计数部118a。
(3)
当在标识符的一部分上使用开始代码115时,通过下述防止位串中伪开始代码的出现。例如,如图1所示,假设将开始代码115确定为[0x 00 0001],轨道头部标识符111a的ID111b确定为[0x 00],样本描述标识符112a的ID112b确定为[0x 01],配置信息标识符113a的ID113b确定为[0x 02],文本帧标识符114a的ID114b确定为[0x 03]。此时,当在轨道头部111、样本描述112、配置信息113或者文本帧114的位串中出现2字节的零时,可以通过在2字节的零之后***预定的1字节代码(例如[0x,05])来进行传输。此时,在再现一侧,通过在轨道头部111等的位串中无条件地删除2字节零所连续的后面的1字节,能够恢复到原始的数据。
具体地,当在轨道头部111等的位串中出现[00 00 EA 65…]之类的位串时,在传输一侧,通过***预定1字节代码[0x,05]作为[00 00 05 EA 65…]来传输。在再现一侧,当接收了[00 00 05 EA 65…]之类的位串时,通过无条件删除2字节零所接续的后面的1字节而复原到[00 00 EA 65…]之类的位串。
(4)
文本帧包括的持续时间值也有可能表现“无限大”。
即,在再现一侧,当接收了具有表现为“无限大”之持续时间值的文本帧时,接收具有超过该文本帧再现开始时刻之再现开始时刻的文本帧假设为连续再现具有表现“无限大”之持续时间值的文本帧。
具有表现“无限大”之持续时间值的文本帧在PES信息包中假设配置于最后。
为了将持续时间值表现为“无限大”,具体地,将[0]存储作为持续时间值。
(5)
使用图2(b)说明的样本描述112可以具有图14所示的数据结构。图14所示样本描述112’,其特征为每个样本入口都有索引。具体地,在数据接收装置等中,使文本帧具有的索引(例如图2的索引1141a等)与样本描述112’具有的索引相对应,判断文本帧所适用的样本入口。下面,对图14还增加详细的说明。
图14所示样本描述112’具有入口计数501和多个样本入口。图14表示了具有样本入口502和样本入口503的2个样本入口的情况。
入口计数501用例如1字节的数据长度表示样本描述112’具有的样本入口的个数。图14中,由于具有2个样本入口,因此保存了值[2]。样本入口502具有索引504和样本属性505。样本入口503也具有同样的结构,也具有索引506和样本属性507。下面,使用样本入口502进行说明。
索引504用预先设定的数据长度(N字节)表示样本入口502的索引值。样本属性505保存了与图2(b)中说明的样本入口1121等相同的格式信息。样本属性505的数据长度是可变的。
在该样本描述112’中,使样本描述112’具有的索引和文本帧具有的索引相对应,使得能够判断文本帧所适用的格式。
【第二实施方式】
<数据结构>
在第一实施方式中,通过整个PES信息包1传输文本轨道再现所涉及的信息(带内传输)。另一方面,将轨道头部、样本描述之类的信息作为MPEG-2 TS中规定的被称为PSI(Program Specific Information:程序专用信息)的表信息来传输也是可能的(带外传输)。
为了能够将视频、音频等多个节目多路复用传输,TS需要发送使流中所包含的某个节目应与其它哪个节目共同再现之类的信息。在MPEG-2TS中,不是传输视频、音频等的PES,通过被称为段(section)的数据结构来传输这些信息。PSI中,规定了PAT(节目联系表)、PMT(节目映射表)之类的表。而且,在PSI的段中,能够通过使用被称为描述符的结构来传输各种说明信息等。
将该PMT或者由应用***定义的PSI私有段中的轨道头部、样本描述之类的信息作为描述符以转盘(Carousel)方式传输是可能的。
此时,在PES信息包中,在与文本轨道的再现相关的信息当中,可以只传输文本帧。图15示出了在第二实施方式中被传输的PES信息包13。
图15所示PES信息包13的数据结构由用MPEG-2 TS所规定的PES头部130和有效载荷部131构成。PES头部130具有PTS(Presentation TimeStamp:显示时间标记),其是用于在视频、音频或者文本之类轨道间进行同步再现的时刻信息。有效载荷部131由具有与图2(a)中定义的文本帧114相同结构的文本帧1314、1314’、…以及各个文本帧1314、1314’、…的数据长度1315、1315’、…构成。
代替数据长度1315、1315’、…,可以使用开始代码作为文本帧1314、1314’、…的边界标记。
PMT或者PSI私有段中所传输的轨道头部、样本描述分别具有与第一实施方式说明的轨道头部111、样本描述112、样本描述112’相同的结构。根据需要,还可以传输配置信息113。
图15所示PES信息包13可以是具有与作为第一实施方式变形例说明的图13所示PES信息包1”相同结构的信息包。
<数据传输装置>
图16表示在MPEG-2 TS传输时所使用的数据传输装置14。数据传输装置14是将存储的媒体数据作为TS信息包而输出的装置,包括:存储部141;PES输出部142;以及***编码部143。
存储部31将媒体数据例如以MP4文件形式存储。PES输出部142从MP4文件中接收视频、音频或者时控文本之类轨道的每一个轨道所独立的ES。在PES输出部142,将所接收的时控文本分离成轨道头部3030、样本描述3040、样本表3050以及文本样本3060(参考图55)后进行缓存。从所缓存的各个信息中生成图15所示的PES信息包13。用于与视频或者音频等其它轨道同步再现在PES信息包13中最初配置的文本帧1314的时间信息被存储在PES信息包13的PTS上。在***编码部143,将轨道头部3030和样本描述3040保存在PMT或者PSI私有段中,以及作为TS信息包多路复用输出PES信息包13。
在数据传输时,也能够采用在第一实施方式<数据传输方法>(2)和(3)中说明的数据传输方法。
<数据接收装置>
图17表示在MPEG-2 TS传输时所使用的数据接收装置15。数据接收装置15是用于从所接收的TS中再现文本轨道的装置,包括:接收部150;***解码部151;媒体解码缓冲部152;媒体解码部153;显示缓冲部154。数据接收装置15内置或者外部连接于例如电视、计算机或者汽车导航仪等中。
接收部150接收广播波以及对TS解调。***解码部151从解调的TS中分离视频、音频或者文本之类轨道的每一个的PES信息包。而且,从TS信息包中再现用于媒体之间同步再现的基准时刻即STC。将PMT或者PSI私有段中所保存的轨道头部3030和样本描述3040设定于媒体解码部153中。
媒体解码缓冲部152在被分离的PES信息包当中从与文本轨道再现相关的PES信息包13中提取PTS。而且,参考由***解码部151再现的STC,输出具有与STC吻合之PTS的PES信息包13的有效载荷部131。
媒体解码部153基于所取得的有效载荷部131、STC和被设定的轨道头部3030和轨道描述3040来解码文本轨道。
显示缓冲部154存储被解码的文本轨道,以及根据显示装置155的显示速率来使被解码的文本轨道与视频、音频之类的其它媒体一起被同步地再现。
在数据接收时,也能够采用在第一实施方式<数据接收方法>(2)和(3)中说明的数据接收方法。
<第二实施方式的效果>
能够获得与第一实施方式效果相同的效果。
文本轨道再现必须的信息即轨道头部、样本描述之类的信息通过转盘方式被重复传输,并能够一边接收PES信息包13一边进行顺次再现。
而且,在如上述第一实施方式那样进行带内传输时,即使其内容不变化,轨道头部和样本描述等也通过包含在PES信息包中重复出现。因此,在再现时,需要通过每次分析其内容是否变化来进行确认。另一方面,在如上述第二实施方式那样进行带外传输时,尽管需要在PMT中重复传输轨道头部等,但通过PMT头部具有的版本序号的变化能够判断有无内容的变化,不需要通过每次分析其内容是否变化来进行确认,因此能够进行有效的处理。
<第二实施方式的变形例>
(1)
在使用图15说明的PES信息包13中,作为段文本头部(参考图2(a))的一部分,可以包含数据长度1315、1315’。图18示出这种情况下的PES信息包的结构。
图18所示PES信息包511由用MPEG-2 TS规定的PES头部512和有效载荷部513构成。PES头部512具有与使用图15说明的PES头部130同样的结构。有效载荷部513具有多个文本帧。下面,通过使用有效载荷部513具有的文本帧之一即文本帧514来说明文本帧的结构。
文本帧514由段文本头部515和文本样本516构成。段文本头部515具有索引517、持续时间518和长度519。索引517是用于将文本样本516和文本样本516所使用的样本入口(参考图2(b)、图14)相关联的信息。持续时间518是文本样本516的再现时间信息。长度519保存了文本样本516的数据长度。而且,在段文本头部515中,索引517、持续时间518和长度519的顺序是任意的。文本样本516具有与图2(a)所示文本样本1142相同的结构。
PES信息包511保存了多个具有上述结构的文本帧。
(2)
在上述实施方式中,使用图15,说明带外传输轨道头部和样本描述的情况。这里,样本描述也可以作为带内传输。使用图19说明这种情况下的PES信息包结构。
《2-1》
图19(a)表示在有效载荷部的开头统一配置样本描述的PES信息包结构。
PES信息包526由用MPEG-2 TS规定的PES头部527和有效载荷部528构成。PES头部527具有与使用图15说明的PES头部130相同的结构。有效载荷部528具有样本描述529和多个文本帧。在图19(a)中,保存了3个文本帧530~532。
样本描述529具有与使用图14说明的样本描述112’同样的结构,具有通过有效载荷部528所具有文本帧530~532所参考的样本入口。更具体地,具有带有与文本帧530~532所具有索引值相对应索引值的样本入口。即,在文本帧530~532所具有索引值分别为值[3]、[2]、[2]时,样本描述529包括具有索引值[3]的样本入口和具有值[2]的样本入口的2个样本入口。
文本帧530~532的结构与使用图18说明的文本帧514相同。
而且,样本描述529可以是与图2(b)所示样本描述112同样的结构,即是没有索引的结构。此时,相对于具有索引值[N]的文本帧,使用在样本描述112第[N]号上所保存的样本入口。
文本帧530~532也可以具有与图2(a)所示样本描述114同样的结构,即具有不包括长度的结构。这种情况下,为了使文本帧530~532的边界清楚,可以使用标识符。
《2-2》
图19(b)表示在每个文本帧上都配置样本入口的PES信息包结构。
PES信息包536由用MPEG-2 TS规定的PES头部537和有效载荷部538构成。PES头部537具有与使用图15说明的PES头部130相同的结构。有效载荷部538具有多个文本帧。下面,通过使用有效载荷部538具有的文本帧之一即文本帧539来说明文本帧的结构。
文本帧539由段文本头部540和文本样本541构成。段文本头部540具有样本入口542、持续时间543和长度544。样本入口542是适用于文本样本541的格式信息,具有与图2(b)所示样本入口1121或者图14所示样本属性505同样的结构。持续时间543是文本样本541的再现时间信息。长度544保存了文本样本541的数据长度。而且,在段文本头部515中,样本入口542、持续时间543和长度544的顺序是任意的。文本样本541具有与图2(a)所示文本样本1142相同的结构。
PES信息包536保存了多个具有上述结构的文本帧。
《2-3》
说明带内传输样本描述的效果。
当根据段(section)形式带外传输样本描述时,由于段形式的信息包和PES信息包的传输频度不同,有可能发生在为了再现通过PES信息包所传输的文本样本所必须的时刻上不传输样本描述之类的情况。就是说,即使接收了文本样本,由于没有传输文本样本再现所必需的样本描述,因此需要使文本样本的再现开始被延迟,直到样本描述的传输结束为止。特别是,在诸如样本描述的信息量多的情况下,由于需要通过分成多个信息包传输,因此到再现开始为止需要花费时间。
另一方面,当通过图19所示PES信息包带内传输样本描述时,如果传输包括PES信息包所保存文本样本必需的样本入口的样本描述的话,则文本样本的再现成为可能。就是说,不需要事先传输通过MP4文件(参考图55)所包含的全部文本样本所参考的可能的全部样本入口,能够缩短到文本样本再现开始为止的时间。
即使是变更样本描述内容的情况,通过追加变更内容而传输是容易的,显然,其具有适合于流传输的结构,能一边实时生成数据一边进行传输。
(3)
在上述实施方式中,说明了根据需要也可以带外传输配置信息113。
这里,无论带外传输还是带内传输,都可以不传输配置信息。此时,段文本头部的数据长度可以被设定为某个缺省值。
【第三实施方式】
在第三实施方式中,说明使用RTP(Real time Transpor Protocol:实时传输协议)、RTSP(Real time Streaming Protocol:实时流控制协议)和SDP(Session Decription Protocol:对话描述协议)的文本轨道的流传输。RTP在IETF(Internet Engineering Task Force:因特网工程任务组)的RFC1889中规定,是多媒体流的信息包格式。RTSP、SDP分别由RFC2326、RFC2327规定,是多媒体流的控制协议。
<RTP/RTSP序列>
首先,图20示出在因特网上客户机161从服务器162取得MP4文件形式的媒体数据时的一般处理流程。
首先,当用户通过在个人计算机等客户机161所安装的网络浏览器要求包含链接MP4文件的HTML(Hyper Text Markup Language:超文本链接标示语言)文件时,客户机161发行要求HTML文件的命令C1。服务器162在将表示理解了命令C1的回答R1(HTTP/1.0 OK)发行到客户机161的同时,发送HTML数据。(对话S1)。
接着,在用户点击到MP4文件的链接后,客户机161发行要求涉及MP4文件详细信息的命令C2。服务器162在将表示理解了命令C2的回答R2(RTSP/1.0 OK)发行到客户机161的同时,将包括该详细信息的SDP数据提供给客户机161。(对话S2)。
接着,客户机161基于所接收SDP的记述,发行要求进行用于提供MP4文件各个轨道的准备的命令C31~C33。用于提供各个媒体数据的准备一齐备,服务器162就立即发行表示理解了上述命令C31~C33的回答R31~R33(RTSP/1.0 OK)。(对话S3)。
接着,客户机161发行用于要求提供全部媒体数据的命令C4。服务器162发行表示理解了命令C4的回答R4(RTSP/1.0 OK)。(对话S4)。其后,将MP4文件形式的媒体数据作为RTP信息包传输。
客户机161在对话结束时,发行要求结束对话的命令C5。服务器162发行表示理解了命令C5的回答R5(RTSP/1.0 OK)及结束对话(对话S5)。
这里,上述对话S2~S5通过RTSP进行。
<RTP信息包的数据结构>
(1)
服务器162所安装的MP4文件形式的媒体数据作为RTP信息包传输。
这里,由于通过流传输来使用MP4文件所具有的时控文本,RTP信息包具有图21所示的数据结构。图21所示RTP信息包17的数据结构由于与图12所示PES信息包1’的数据结构相同,因此省略其详细说明。
RTP信息包17在RTP头部170具有被称为时间标记的时刻信息。该时间标记与图12所示PES信息包1’的PTS相同,具有在有效载荷部171最初配置的文本帧的再现时刻。
(2)
与通过整个RTP信息包17传输(带内传输)与轨道头部、样本描述、配置信息和文本帧之类文本轨道的再现相关的信息相对,也能够将一部分信息作为图20对话S2中所供给的SDP来传输(带外传输)。
当通过使用RTP来从服务器162取得媒体数据时,在服务器/客户机之间进行对话S2。因此,作为SDP,能够事先传输利用轨道头部、样本描述之类的信息。
图22表示使用RTP通过带外传输所传输的RTP信息包18的数据结构。图22所示RTP信息包18的数据结构由于与图15所示PES信息包13的数据结构几乎相同,因此省略其详细说明。
RTP信息包18在RTP头部180具有被称为时间标记的时刻信息。该时间标记与图15所示PES信息包13的PTS相同,具有在有效载荷部181最初配置的文本帧的再现时刻。
在SDP中所传输的轨道头部、样本描述分别具有与在第一实施方式中说明的轨道头部111、样本描述112相同的结构。而且,根据需要,还可以传输配置信息113。
(3)
图21和图22所示RTP信息包17和18可以具有在有效载荷部上附加RTP头部170和180的结构,该有效载荷部具有与作为第一实施方式变形例说明的图13所示的PES信息包1”之有效载荷部117相同的结构。
<数据传输装置>
图23表示当传输使用RTP的文本轨道时所使用的数据传输装置19。数据传输装置19包括:存储部191;RTP输出部192;RTSP通信部193以及RTP发送部194。数据传输装置19是根据来自客户机161的要求将存储的媒体数据作为RTP信息包17或者18而输出的服务器162等上所安装的装置。下面,以与文本轨道的传输相关的部分为中心进行说明。
(1)
首先,说明将与文本轨道再现相关的信息用RTP信息包进行带内传输的情况。
存储部191将媒体数据例如以MP4文件形式存储。存储部191具有涉及所存储文件的详细信息。
RTP输出部192从MP4文件中接收视频、音频或者时控文本之类的每个轨道所独立的ES。在RTP输出部192,将所接收的时控文本分离成轨道头部3030、样本描述3040、样本表3050以及文本样本3060(参考图55)后进行缓存。而且,从所缓存的各个信息中生成图21所示的RTP信息包17。用于再现在RTP信息包17中最初配置的文本帧的时间信息被存储在RTP信息包17的时间标记中。
RTSP通信部193与要求提供媒体数据的客户机161进行对话S2~S5(参考图20),取得并发送涉及存储部191所存储文件的信息。从客户机161接收媒体数据的再现请求,RTP输出部192生成RTP信息包17。
RTP发送部194对客户机161发送RTP信息包17。
(2)
说明通过具有与数据传输装置19同样结构的数据传输装置来以SDP带外传输与文本轨道再现相关信息的情况。以下对动作不同的RTP输出部和RTSP通信部的动作进行说明。
在带外传输所使用的数据传输装置中,RTP输出部将从存储部接收的时控文本分离成轨道头部3030、样本描述3040、样本表3050以及文本样本3060(参考图55)后进行缓存。而且,从所缓存的各个信息中生成图22所示的RTP信息包18。用于再现在RTP信息包18中最初配置的文本帧的时间信息被存储在RTP信息包18的时间标记中。
RTSP通信部与要求提供媒体数据的客户机161进行对话S2~S5(参考图20)。在对话S2中,用SDP发送涉及存储部所存储文件的信息、轨道头部3030和样本描述3060。从客户机161接收媒体数据的再现请求,RTP输出部生成RTP信息包18。
RTP发送部对客户机161传输RTP信息包18。
(3)
在数据传输时,也能够采用在第一实施方式的<数据传输方法>(2)和(3)中说明的数据传输方法以及生成RTP信息包。
<数据接收装置>
图24表示为了接收通过RTP所传输的文本轨道而使用的数据接收装置20。数据接收装置20是基于从数据传输装置19所接收的RTP信息包17或者18,进行文本轨道再现的计算机、移动电话机、PDA(Personal DigitalAssistant:个人数字助手)等之类的装置,包括:RTSP通信部201;RTP接收部202;接收缓冲部203;时钟204;解码部205以及显示部206。下面,以与文本轨道再现相关的部分为中心进行说明。
(1)
首先,说明与文本轨道再现相关的信息用整个RTP信息包进行带内传输的情况。这里,在用对话S2(参考图20)传输的SDP中表示了与文本轨道再现相关的信息是通过RTP信息包进行带内传输还是通过SDP进行带外传输。
RTSP通信部201与进行媒体数据提供的服务器162进行对话S2~S5(参考图20)。而且,基于该对话S2~S5,进行用于RTP接收部202接收RTP信息包17的接收控制。
RTP接收部202基于上述接收控制接收从服务器162发送的RTP信息包17,并临时保存于接收缓冲部203。
接收缓冲部203从所保存的RTP信息包17中取得时间标记,并基于时钟204的计数和时间标记,将RTP信息包17输出到解码部205。
解码部205基于所取得的RTP信息包17和时钟204的计数,进行文本轨道的解码。
被解码的文本轨道在显示部206上显示。
(2)
说明通过具有与数据接收装置20同样结构的数据接收装置来接收与用SDP所带外传输的文本轨道再现相关信息的情况。
RTSP通信部在与服务器162的对话S2中,通过SDP取得时控文本的轨道头部3030、样本描述3040(参考图55)。取得的轨道头部3030、样本描述3040被设定于解码部205。
RTP接收部接收从服务器162发送的RTP信息包18,并临时保存于接收缓冲部。
接收缓冲部从所保存的RTP信息包18中取得时间标记,并基于时钟的计数和时间标记,将RTP信息包18输出到解码部。
解码部基于所取得的RTP信息包18和时钟的计数以及由RTSP通信部所设定的信息,进行文本轨道的解码。
(3)
在数据接收时,也能够采用在第一实施方式的<数据接收方法>(2)和(3)中说明的数据接收方法以及从RTP信息包中再现文本轨道。
由于本发明的特征在解码部205上,因此数据接收装置的形式不局限于数据接收装置20。例如,也可以在外部安装显示部206作为另外的装置。
<第三实施方式的效果>
能够获得与第一实施方式和第二实施方式相同的效果。
在使用SDP的传输中,通过利用在文本轨道传输之前执行由RTSP进行的对话S2~S5来发送一部分与文本轨道再现相关的信息。由此,能够可靠地传输与文本轨道再现相关的重要信息。而且在这种情况下,由于可以在对话S2中仅仅一次发送轨道头部和样本描述,因此能够通过充分灵活使用传输线路频带来进行文本帧的传输。
<第三实施方式的变形例>
(1)
图22所示RTP信息包18的有效载荷部181可以具有与图18所示有效载荷部513相同的结构。也可以具有与图19所示有效载荷部528或者有效载荷部538相同的结构。
(2)
在上述实施方式中,说明了根据需要,也可以带外传输配置信息113。
这里,无论带外传输还是带内传输,都可以不传输配置信息。此时,段文本头部的数据长度可以被设定成某个缺省值。
【有关第一~第三实施方式的附注】
<附注内容>
(附注1)
一种文本传输用数据的传输数据结构,用于移送并顺次再现有关文本数据再现之文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含用于再现所述分割文本数据的信息的文本头部数据,
所述文本传输用数据包括:在所述分割文本数据上附加的分割文本数据标识符、以及在所述文本头部数据上附加的文本头部数据标识符。
(附注2)
根据附注1所述的文本传输用数据的传输数据结构,
所述文本头部数据包括:与所述文本数据全体再现相关的全体文本头部数据、以及与所述分割文本数据的每个再现相关的分割文本头部数据,
在所述文本传输用数据中,所述分割文本头部数据按每个所述分割文本数据排列,
所述文本头部数据标识符包括在所述全体文本头部数据上所附加的全体文本头部数据标识符。
(附注3)
根据附注2所述的文本传输用数据的传输数据结构,
所述全体文本头部数据具有多个所述分割文本数据的格式信息,
所述分割文本头部数据包括表示所述分割文本数据和所述格式信息之间关联的索引。
(附注4)
根据附注2或者附注3所述的文本传输用数据的传输数据结构,
所述分割文本头部数据包括所述分割文本数据的再现时间信息。
(附注5)
一种文本传输用数据的传输数据结构,用于移送并顺次再现有关文本数据再现之文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含用于再现所述分割文本数据的信息的文本头部数据,
所述文本头部数据包括:与所述文本数据全体再现相关的全体文本头部数据、以及与所述分割文本数据的每个再现相关的分割文本头部数据,
所述全体文本头部数据包括用于定制所述分割文本头部数据之数据长度的数据长度定制信息。
(附注6)
根据附注5所述的文本传输用数据的传输数据结构,
所述全体文本头部数据还包括多个所述分割文本数据的格式信息,
所述分割文本头部数据包括表示所述分割文本数据和所述格式信息之间关联的索引。
(附注7)
根据附注5或者附注6所述的文本传输用数据的传输数据结构,
所述分割文本头部数据包括所述分割文本数据的再现时间信息。
(附注8)
一种文本传输用数据的传输数据结构,用于移送并顺次再现有关文本数据再现之文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含开始所述分割文本数据再现的再现开始信息的文本头部数据,
所述文本传输用数据由多个信息包构成,
所述各个信息包包括所述文本头部数据的所述再现开始信息。
(附注9)
根据附注8所述的文本传输用数据的传输数据结构,
所述文本头部数据包括:与所述文本数据全体再现相关的全体文本头部数据、以及与所述分割文本数据的每个再现相关的分割文本头部数据,
所述各个全体文本头部数据包括所述再生开始信息。
(附注10)
根据附注9所述的文本传输用数据的传输数据结构,
所述全体文本头部数据还包括多个所述分割文本数据的格式信息,
所述分割文本头部数据包括表示所述分割文本数据和所述格式信息之间关联的索引。
(附注11)
根据附注9或者附注10所述的文本传输用数据的传输数据结构,
所述全体文本头部数据还包括用于定制所述分割文本头部数据之数据长度的数据长度定制信息。
(附注12)
一种文本传输用数据的传输数据方法,用于移送并顺次再现有关文本数据再现之文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含开始所述分割文本数据再现的再现开始信息的文本头部数据,
包括:基于所述文本再现用数据,用于生成所述文本传输用数据的有效载荷部的生成步骤;对于所述被生成的所述各个有效载荷部,附加头部而作为信息包的附加步骤,
所述各个有效载荷部包括所述文本头部数据的所述再现开始信息。
(附注13)
一种文本传输用数据的传输数据装置,用于移送并顺次再现有关文本数据再现之文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含开始所述分割文本数据再现的再现开始信息的文本头部数据,
包括:生成单元,其基于所述文本再现用数据,用于生成所述文本传输用数据的有效载荷部;附加单元,其对于所述被生成的所述各个有效载荷部,附加头部而作为信息包,
所述各个有效载荷部包括所述文本头部数据的所述再现开始信息。
(附注14)
一种数据传输程序,用于通过计算机实现文本传输用数据之数据传输方法,该数据传输方法用于移送并顺次再现涉及文本数据再现的文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含开始所述分割文本数据再现的再现开始信息的文本头部数据,
所述数据传输程序在计算机中包括:基于所述文本再现用数据,用于生成所述文本传输用数据的有效载荷部的生成步骤;对于所述被生成的所述各个有效载荷部,附加头部而作为信息包的附加步骤,
所述各个有效载荷部包括所述文本头部数据的所述再现开始信息。
(附注15)
一种文本传输用数据的传输数据方法,用于移送并顺次再现有关文本数据再现之文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含用于再现所述分割文本数据的信息的文本头部数据,
包括:基于所述文本再现用数据,用于生成有效载荷部的生成步骤;对于所述被生成的所述各个有效载荷部,附加头部而作为信息包的附加步骤,
所述文本传输用数据由多个所述信息包构成,
所述分割文本数据以显示顺序被配置在所述各个信息包内,
所述信息包具有所述各个分割文本数据的再现时刻信息,
第二信息包包括重复其前第一信息包的分割文本数据和再现时刻信息的分割文本数据。
(附注16)
一种文本传输用数据的传输数据装置,用于移送并顺次再现有关文本数据再现之文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含用于再现所述分割文本数据的信息的文本头部数据,
包括:基于所述文本再现用数据,用于生成有效载荷部的生成单元;对于所述被生成的所述各个有效载荷部,附加头部而作为信息包的附加单元,
所述文本传输用数据由多个所述信息包构成,
所述分割文本数据以显示顺序被配置在所述各个信息包内,
所述信息包具有所述各个分割文本数据的再现时刻信息,
第二信息包包括重复其前第一信息包的分割文本数据和再现时刻信息的分割文本数据。
(附注17)
一种数据传输程序,用于通过计算机实现文本传输用数据之数据传输方法,该数据传输方法用于移送并顺次再现涉及文本数据再现的文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含用于再现所述分割文本数据的信息的文本头部数据,
所述数据传输程序在计算机上包括:基于所述文本再现用数据,用于生成有效载荷部的生成步骤;对于所述被生成的所述各个有效载荷部,附加头部而作为信息包的附加步骤,
所述文本传输用数据由多个所述信息包构成,
所述分割文本数据以显示顺序被配置在所述各个信息包内,
所述信息包具有所述各个分割文本数据的再现时刻信息,
第二信息包包括重复其前第一信息包的分割文本数据和再现时刻信息的分割文本数据。
<附注说明>
有关附注1的文本传输用数据的传输数据结构,用于移送并顺次再现有关文本数据再现之文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含用于再现分割文本数据的信息的文本头部数据。进一步,文本传输用数据包括:在分割文本数据上附加的分割文本数据标识符、以及在文本头部数据上附加的文本头部数据标识符。
这里,分割文本数据标识符和文本头部数据标识符是由例如开始代码和用于识别分割文本数据和文本头部数据的专有ID构成的标识符以及由分割文本数据、文本头部数据的各个数据长度和各自专有的ID构成的标识符等。
在文本传输用数据中,分割文本数据和文本头部数据能够通过分割文本数据标识符和文本头部数据标识符识别。就是说,即使以每个分割文本数据或者周期性传输,在再现一侧也能够识别包括用于再现分割文本数据之信息的文本头部数据。由此,在再现一侧,与涉及文本数据再现的文本再现用数据的信息量无关,基于分割文本数据和文本头部数据,能够进行顺次再现。
有关附注2的文本传输用数据的传输数据结构,在附注1所述的文本传输用数据的传输数据结构中,文本头部数据包括:与文本数据全体再现相关的全体文本头部数据、以及与分割文本数据的每个再现相关的分割文本头部数据。并且,在文本传输用数据中,分割文本头部数据按每个分割文本数据排列。进一步,文本头部数据标识符包括在全体文本头部数据上所附加的全体文本头部数据标识符。
这里,分割文本数据标识符和全体文本头部数据标识符是由例如开始代码和用于识别分割文本数据和全体文本头部数据的专有ID构成的标识符以及由分割文本数据、全体文本头部数据的数据长度和各自专有的ID构成的标识符等。
在文本传输用数据中,分割文本数据和全体文本头部数据能够通过分割文本数据标识符和全体文本头部数据标识符识别。就是说,在文本传输用数据中,能够在需要的时刻传输全体文本头部数据。
有关附注3的文本传输用数据的传输数据结构,在附注2所述的文本传输用数据的传输数据结构中,全体文本头部数据具有多个分割文本数据的格式信息。并且分割文本头部数据包括表示分割文本数据和格式信息之间关联的索引。
这里,格式信息是由例如分割文本数据的滚动的有无和方向、再现位置、背景色、字体格式(字体名、大小、颜色、粗体字、下划线、斜体等)等构成的分割文本数据格式的缺省信息。
由此,不需要在每个分割文本数据上传输格式信息。因此,有可能使文本传输用数据的信息量少。
有关附注4的文本传输用数据的传输数据结构,在附注2或者附注3所述的文本传输用数据的传输数据结构中,分割文本头部数据包括分割文本数据的再现时间信息。
再现时间信息在每个分割文本数据上排列。在再现一侧,根据该再现时间信息,进行分割文本数据的再现。
有关附注5的文本传输用数据的传输数据结构,用于移送并顺次再现有关文本数据再现之文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含用于再现分割文本数据的信息的文本头部数据。并且,文本头部数据包括:与文本数据全体再现相关的全体文本头部数据、以及与分割文本数据的每个再现相关的分割文本头部数据。进一步,全体文本头部数据包括用于定制分割文本头部数据之数据长度的数据长度定制信息。
通过数据长度定制信息,根据需要能够定制与分割文本数据的各个再现相关的分割文本头部数据的数据长度。即,能够按需要和足够量地定制在文本传输用数据中分割文本头部数据所占有的信息量。结果,能够使分割文本数据的各个再现所需要的信息量少,能够减轻在再现一侧与顺序再现相关的负荷。
有关附注6的文本传输用数据的传输数据结构,在附注5所述的文本传输用数据的传输数据结构中,全体文本头部数据还包括多个分割文本数据的格式信息。并且,分割文本头部数据包括表示分割文本数据和格式信息之间关联的索引。
这里,格式信息是由例如分割文本数据的滚动的有无和方向、再现位置、背景色、字体格式(字体名、大小、颜色、粗体字、下划线、斜体等)等构成的分割文本数据格式的缺省信息。
数据长度定制信息将索引的数据长度设定为例如8、16、24、32位之类的数据长度。
由此,不需要对每个分割文本数据都传输格式信息。结果,能够使分割文本数据的各个再现所需要的信息量少,还能够减轻在再现一侧与顺序再现相关的负荷。
有关附注7的文本传输用数据的传输数据结构,在附注5或者附注6所述的文本传输用数据的传输数据结构中,分割文本头部数据包括分割文本数据的再现时间信息。
数据长度定制信息将再现时间信息的数据长度设定为例如8、16、24、32位之类的数据长度。
再现时间信息在每个分割文本数据上排列。在再现一侧,根据该再现时间信息,进行分割文本数据的再现。
有关附注8的文本传输用数据的传输数据结构,用于移送并顺次再现有关文本数据再现之文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含开始分割文本数据再现的再现开始信息的文本头部数据。并且,文本传输用数据由多个信息包构成。进一步,各个信息包包括文本头部数据的再现开始信息。
这里,再现开始信息包括例如文本数据的布局(与显示区、视频等其它媒体之间的相对位置)、层(与其它媒体之间的分层关系)、再现时间等信息,是用于开始分割文本数据再现的必要信息。
由此,在再现一侧,能够与涉及文本数据再现之文本再现用数据的信息量无关,以各个信息包单位开始顺次再现,并且能够缩短到再现开始为止的等待时间。
有关附注9的文本传输用数据的传输数据结构,在附注8所述的文本传输用数据的传输数据结构中,文本头部数据包括:与文本数据全体再现相关的全体文本头部数据、以及与分割文本数据的每个再现相关的分割文本头部数据。并且,各个全体文本头部数据包括再生开始信息。
全体文本头部数据包括各个信息包所包括的用于开始分割文本数据再现的再现开始信息。各个信息包包括与每个信息包所包含分割文本数据再现相关的分割文本头部数据。
有关附注10的文本传输用数据的传输数据结构,在附注9所述的文本传输用数据的传输数据结构中,全体文本头部数据还包括多个分割文本数据的格式信息。并且,分割文本头部数据包括表示分割文本数据和格式信息之间关联的索引。
这里,格式信息是由例如分割文本数据的滚动的有无和方向、再现位置、背景色、字体格式(字体名、大小、颜色、粗体字、下划线、斜体等)等构成的分割文本数据格式的缺省信息。
由此,不需要对每个分割文本数据都传输格式信息。结果,能够使分割文本数据的各个再现所需要的信息量少,还能够减轻在再现一侧与顺序再现相关的负荷。
有关附注11的文本传输用数据的传输数据结构,在附注9或者附注10所述的文本传输用数据的传输数据结构中,全体文本头部数据还包括用于定制分割文本头部数据之数据长度的数据长度定制信息。
通过数据长度定制信息,根据需要能够定制与分割文本数据的各个再现相关的分割文本头部数据的数据长度。即,能够按需要和足够量地定制在各个信息包中分割文本头部数据的信息量。结果,能够使分割文本数据的各个再现所需要的信息量少,能够减轻在再现一侧与顺序再现相关的负荷。
有关附注12的文本传输用数据的传输数据方法,用于移送并顺次再现有关文本数据再现之文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含开始分割文本数据再现的再现开始信息的文本头部数据。并且,包括:基于文本再现用数据,用于生成文本传输用数据的有效载荷部的生成步骤;对于被生成的各个有效载荷部,附加头部而作为信息包的附加步骤。进一步,各个有效载荷部包括文本头部数据的再现开始信息。
这里,再现开始信息包括例如文本数据的布局(与显示区、视频等其它媒体之间的相对位置)、层(与其它媒体之间的分层关系)、再现时间等信息,是用于开始分割文本数据再现的必要信息。
在用于取得通过该数据传输方法所生成的各个信息包的再现一侧中,能够与有关文本数据再现之文本再现用数据的信息量无关,以各个信息包单位开始顺次再现,并且能够缩短到再现开始为止的等待时间。
有关附注13的文本传输用数据的传输数据装置,用于移送并顺次再现有关文本数据再现之文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含开始分割文本数据再现的再现开始信息的文本头部数据。并且包括:生成单元,其基于文本再现用数据,用于生成文本传输用数据的有效载荷部;附加单元,其对于被生成的各个有效载荷部,附加头部而作为信息包。进一步,各个有效载荷部包括文本头部数据的再现开始信息。
这里,再现开始信息包括例如文本数据的布局(与显示区、视频等其它媒体之间的相对位置)、层(与其它媒体之间的分层关系)、再现时间等信息,是用于开始分割文本数据再现的必要信息。
在用于取得通过该数据传输装置所生成的各个信息包的再现一侧中,能够与涉及文本数据再现之文本再现用数据的信息量无关,以各个信息包单位开始顺次再现,并且能够缩短到再现开始为止的等待时间。
有关附注14的数据传输程序,用于通过计算机实现文本传输用数据之数据传输方法,该数据传输方法用于移送并顺次再现涉及文本数据再现的文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含开始分割文本数据再现的再现开始信息的文本头部数据。并且,文本传输用数据的数据传输方法包括:基于文本再现用数据,用于生成文本传输用数据的有效载荷部的生成步骤;对于被生成的各个有效载荷部,附加头部而作为信息包的附加步骤。进一步,各个有效载荷部包括文本头部数据的再现开始信息。
这里,再现开始信息包括例如文本数据的布局(与显示区、视频等其它媒体之间的相对位置)、层(与其它媒体之间的分层关系)、再现时间等信息,是用于开始分割文本数据再现的必要信息。
在用于取得通过该数据传输程序所生成的各个信息包的再现一侧中,能够与涉及文本数据再现之文本再现用数据的信息量无关,以各个信息包单位开始顺次再现,并且能够缩短到再现开始为止的等待时间。
有关附注15的文本传输用数据的传输数据方法,用于移送并顺次再现有关文本数据再现之文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含用于再现分割文本数据的信息的文本头部数据。并且包括:基于文本再现用数据,用于生成有效载荷部的生成步骤;对于被生成的各个有效载荷部,附加头部而作为信息包的附加步骤。文本传输用数据由多个信息包构成。并且,分割文本数据以显示顺序被配置在各个信息包内。再有,信息包具有各个分割文本数据的再现时刻信息。进一步,第二信息包包括重复其前第一信息包的分割文本数据和再现时刻信息的分割文本数据。
这里,再现时刻信息是由信息包内最初配置的分割文本数据的再现时刻和各个分割文本数据的再现时间构成的信息,或者是由各个分割文本数据的再现时刻构成的信息。
在由该数据传输方法生成的各个信息包中,第二信息包和其前的第一信息包包括重复再现时刻信息的分割文本数据。即,准许多次传输具有由不同信息包所重复的再现时刻信息的分割文本数据。因此,能够提高文本传输用数据的抗错性能。
有关附注16的文本传输用数据的传输数据装置,用于移送并顺次再现有关文本数据再现之文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含用于再现分割文本数据的信息的文本头部数据。并且包括:基于文本再现用数据,用于生成有效载荷部的生成单元;对于被生成的各个有效载荷部,附加头部而作为信息包的附加单元。文本传输用数据由多个信息包构成。并且,分割文本数据以显示顺序被配置在各个信息包内。再有,信息包具有各个分割文本数据的再现时刻信息。进一步,第二信息包包括重复其前第一信息包的分割文本数据和再现时刻信息的分割文本数据。
这里,再现时刻信息是由信息包内最初配置的分割文本数据的再现时刻和各个分割文本数据的再现时间构成的信息,或者是由各个分割文本数据的再现时刻构成的信息。
在由该数据传输方法生成的各个信息包中,第二信息包和其前的第一信息包包括重复再现时刻信息的分割文本数据。即,准许多次传输具有由不同信息包所重复的再现时刻信息的分割文本数据。因此,能够提高文本传输用数据的抗错性能。
有关附注17的数据传输程序,用于通过计算机实现文本传输用数据之数据传输方法,该数据传输方法用于移送并顺次再现涉及文本数据再现的文本再现用数据,文本再现用数据包括:分割了文本数据的多个分割文本数据、以及包含用于再现分割文本数据的信息的文本头部数据。文本传输用数据的数据传输方法包括:基于文本再现用数据,用于生成有效载荷部的生成步骤;对于被生成的各个有效载荷部,附加头部而作为信息包的附加步骤。并且,分割文本数据以显示顺序被配置在各个信息包内。再有,信息包具有各个分割文本数据的再现时刻信息。进一步,第二信息包包括重复其前第一信息包的分割文本数据和再现时刻信息的分割文本数据。
这里,再现时刻信息是由信息包内最初配置的分割文本数据的再现时刻和各个分割文本数据的再现时间构成的信息,或者是由各个分割文本数据的再现时刻构成的信息。
在由该数据传输方法生成的各个信息包中,第二信息包和其前的第一信息包包括重复再现时刻信息的分割文本数据。即,准许多次传输具有由不同信息包所重复的再现时刻信息的分割文本数据。因此,能够提高文本传输用数据的抗错性能。
【第四实施方式】
<第四实施方式和第五实施方式的课题>
当流传输时控文本时,要考虑将具有在上述实施方式中说明的传输数据结构的传输用数据作为信息包来进行信息包传输。
另一方面,当进行信息包传输时,在规定了一个信息包最大数据尺寸即MTU(Maximum Transmission Unit:最大传输单位)的情况下,有时要在传输途中使信息包分割。例如,当用超过IP层的MTU来输出信息包时,被输出的信息包在传输途中用IP层来分离。但是,在发生信息包损失的传输(例如RTP/UDP/IP传输)中,如果对信息包损失不进行错误补偿而损失了若干由IP层分离的信息包,则要考虑其在信息包整体再现中所施加的影响。
因此,第四实施方式和第五实施方式的课题是提供一种信息包数据结构,其在流传输包含带有修饰信息之文本数据的再现数据时,具有对信息包损失的抗性。另一课题是提供一种数据再现装置,其再现具有第四实施方式或者第五实施方式所说明信息包数据结构的信息包数据。
<第四实施方式的内容>
使用图25~图41,说明作为本发明第四实施方式的信息包数据结构、数据再现装置和数据多路复用装置。另外还说明数据再现方法和数据多路复用方法。
在本实施方式中,按以下顺序进行说明:(1)在传输具有本发明信息包数据结构之信息包时的序列(RTP/RTSP序列)、(2)通过该序列所传输的本发明的信息包数据结构、(3)具有该信息包数据结构之信息包的数据再现装置和数据再现方法、(4)具有该信息包数据结构之信息包的数据多路复用装置和数据多路复用方法。
而且,在图26~图37中,根据下述规则给出在标记最后所带有的字母数字。对于后述的基本信息包和构成基本信息包的要素附加数字[0](例如图26的基本信息包Pt0等)。对于构成用于说明本发明信息包数据结构之基础的分割前的文本样本和构成文本样本的要素附加数字[0](例如图26的文本样本Ts0等)。对于表示分割基本文本样本且为第几号信息包的同时(例如图27的分割信息包Pt1等)又构成该信息包的要素附加其它字母数字。而且,在图中,对于具有相同数据内容的要素,不遵循上述规则,而是标注相同的标记(例如图29,文本样本Ts0中的文本长度Tl0和分割信息包Pt1中的文本长度Tl0等)。
(1)<RTP/RTSP序列>
说明使用RTP(Real time Transpor Protocol:实时传输协议)、RTSP(Real time Streaming Protocol:实时流控制协议)和SDP(SessionDecription Protocol:对话描述协议)的流传输。RTP在IETF(InternetEngineering Task Force:因特网工程任务组)的RFC1889中规定,是多媒体流的信息包格式。RTSP、SDP分别由RFC2326、RFC2327规定,是多媒体流的控制协议。
使用图25,说明在因特网上客户机CL从服务器SV取得MP4文件形式的媒体数据时的一般处理流程。
开始,当用户通过在个人计算机等客户机CL所安装的网络浏览器要求包含链接MP4文件的HTML(Hyper Text Markup Language:超文本链接标示语言)文件时,客户机CL发行要求HTML文件的命令C1。服务器SV在将表示理解了命令C1的回答R1(HTTP/1.0 OK)发行到客户机CL的同时,发送HTML数据(对话S1)。
接着,在用户点击到MP4文件的链接后,客户机CL发行要求涉及MP4文件之详细信息的命令C2。服务器SV在将表示理解了命令C2的回答R2(RTSP/1.0 OK)发行到客户机CL的同时,将包括该详细信息的SDP数据提供给客户机SV。(对话S2)。
接着,客户机CL基于所接收SDP的记述,发行要求进行用于提供MP4文件各个轨道的准备的命令C31~C33。当用于提供各个媒体数据的准备一齐备,服务器SV就立即发行表示理解了上述命令C31~C33的回答R31~R33(RTSP/1.0 OK)。(对话S3)。
接着,客户机CL发行用于要求提供全部媒体数据的命令C4。服务器SV发行表示理解了命令C4的回答R4(RTSP/1.0 OK)。(对话S4)。其后,将MP4文件形式的媒体数据作为RTP信息包传输。在该RTP信息包中包括具有后述本发明信息包数据结构的信息包。
客户机CL在对话结束时,发行要求结束对话的命令C5。服务器SV发行表示理解了命令C5的回答R5(RTSP/1.0 OK)及结束对话(对话S5)。
(2)<RTP信息包的数据结构>
使用图26~图37,说明作为RTP信息包传输的具有本发明信息包数据结构的信息包。
(i)基本信息包概要
当作为RTP信息包传输时控文本时,基本利用图26所示基本信息包Pt0。
基本信息包Pt0包括有效载荷部P10和头部Hd0。有效载荷部P10包括文本样本Ts0。文本样本Ts0具有与图55所示文本样本3060、3061、…相同的结构,由文本长度Tl0、文本Tx0和修饰符Md0构成。文本长度Tl0保存了文本Tx0的数据长度(图中的值[TL])。文本Tx0由文本正文Td0和字节次序标记Bm0构成。修饰符Md0是文本正文Td0的修饰信息,包括一个以上的修饰符框Mb0、…。修饰符框Mb0、…是用于将修饰效果使用于文本正文Td0的信息。修饰符框Mb0还包括修饰符框Mb0的框大小Sz0、修饰类型Ty0以及多个记录Mr0、…。修饰符框Mb0的结构依赖于修饰类型Ty0记述的修饰类型。后面较详细地说明修饰符框Mb0的结构。
头部Hd0包括RTP头部Rh0和样本头部Sh0。RTP头部Rh0具有由RTP所使用的头部格式,包括序列序号Sn0、时间标记Tsp0或者标识符位M0等。样本头部Sh0记述了样本长度Sln0、样本索引Sid0和样本持续时间Sdr0。样本长度Sln0保存了文本样本Ts0的数据长度(图中的值[SL])。样本索引Sid0是记述文本样本Ts0和作为SDP数据传输的样本描述3040(参考图55)之间关联的信息。样本持续时间Sdr0是涉及文本样本Ts0再现时间的信息。
当通过流传输使用时控文本时,作为RTP信息包来传输全部数据内容也是可能的(RTP带内传输)。但是,在本实施方式中,将与MP4文件3000之头部3010(参考图55)相当的一部分数据通知作为使用图25说明的对话S2中的SDP数据(RTP带外传输)。具体地,将与头部3010的轨道头部3030和样本描述3040相当的数据作为SDP数据在设置(setup)时传输。并且同时通知涉及在所传输的RTP信息包中是否包括后述的分割信息包的信息。
(ii)分割信息包概要
基本信息包Pt0的数据大小有可能超过传输线路的MTU(MaximumTransmission Unit:最大传输单位)而在传输途中被分割。当判断在传输途中有分割的可能性时,分割文本样本Ts0,附加用于再现被分割文本样本Ts0的信息,以及预先作为不超过传输线路MTU大小的分割信息包传输。下面,关于分割信息包概要,通过将用于分割具有与图26所说明结构同样结构的文本样本Ts0的情况作为例示来进行说明。
使用图27,说明分割信息包的基本结构。图27中,将文本样本Ts0分为2个(更详细地,将L0字节的Tx0分成L1字节和L2字节),示出了分别保存于分割信息包Pt1、Pt2中的情况。分割的个数是任意的,由传输线路的MTU确定。分割信息包Pt1、Pt2分别包括有效载荷部Pl1、Pl2和头部Hd1、Hd2。
有效载荷部Pl1、Pl2分别包括分割文本样本Ts0的分割文本样本Ft1、Ft2。头部Hd1、Hd2包括分割头部Fh1、Fh2,还具有与基本信息包Pt0(参考图26)头部Hd0所具有结构相同的结构。即,头部Hd1、Hd2包括RTP头部Rh1、Rh2;样本头部Sh1、Sh2以及分割头部Fh1、Fh2。
RTP头部Rh1、Rh2的标记符位M1、M2分别保存值[0]、[1]。在RTP头部中,用户能够各种各样地定义标记符位值。本实施方式中,当基本信息包Pt0(参考图26)和分割信息包Pt1、Pt2在有效载荷部中包含文本样本Ts0最末尾的数据时,定义该信息包标记符位保存值[1]。由此,在基本信息包Pt0和分割信息包Pt2中,标记符位M0、M2分别存储值[1],在分割信息包Pt1中,标记符位M1保存值[0]。
基本信息包Pt0的样本长度Sln0保存了文本样本Ts0的数据长度(图26中的值[SL])。另一方面,在分割信息包Pt1、Pt2中,值[0]分别保存于样本长度Sln1、Sln2中。通过该值[0],判别出分割信息包Pt1、Pt2包含了分割文本样本Ft1、Ft2。
分割信息包Pt1、Pt2在分割头部Fh1、Fh2中包括有效载荷部Pl1、Pl2再现所需要的信息,使得独立于其它信息包再现变为可能。因此,分割头部Fh1、Fh2所包括的信息依赖于分割文本样本Ft1、Ft2所包括的信息。即,通过将文本样本Ts0的哪个部分作为边界进行分割来确定分割头部Fh1、Fh2所应该包括的信息。
(iii)分割头部概要
通过多个分割文本样本所保存的本发明分割信息包的分割头部分别保存下面4个信息是可能的。4个信息是:(a)文本正文字符代码的识别信息;(b)修饰符或者修饰符框开始位置信息;(c)分割文本样本所包含文本正文的一部分涉及整个文本正文的第几个字符以后的信息,以及(d)用于被分割修饰符框的再现所保存的信息。
下面,一边说明分割信息包的结构,一边说明各个分割头部所保存的(a)~(d)的信息。由于下面所说明的分割信息包具有与图27中说明的分割信息包Pt1、Pt2相同的结构,因此省略其详细结构的说明。下面说明的文本样本Ts0的分割方法是用于说明每个(a)~(d)信息的例示,因此分割方法不局限于该方法。
(a)文本正文字符代码的识别信息
使用图28,说明分割头部Fh2所保存的文本正文Td0字符代码的识别信息。
图28中,文本样本Ts0具有在文本正文Td0中的分割边界。分割信息包Pt1、Pt2具有被分割的文本正文Td0。
分割信息包Pt2在分割头部Fh2中保存了文本正文Td0的字符代码信息U2。字符代码信息U2是用于识别文本正文Td0字符代码的1位标志,例如,值[1]表示UTF-16BE,值[0]表示UTF-8。
因此,例如,当在传输途中损失了包括字节次序标志Bm0的分割信息包Pt1时,在仅仅取得分割信息包Pt2的数据再现装置中,能够通过字符代码信息U2判别分割信息包Pt2所包括的被分割文本正文Td0的字符代码。结果,能够再现分割信息包Pt2的信息。
尽管字符代码信息U2被包括在包含被分割文本正文Td0之分割信息包Pt2中,但在包含文本Tx0开头部分的分割信息包Pt1中,不一定要包括。
(b)修饰符或者修饰符框的开始位置信息
使用图29~图31,说明修饰符Md0或者修饰符框Mb0、…的开始位置信息。
《修饰符开始位置信息》
图29中,文本样本Ts0具有在文本正文Td0中的分割边界。分割信息包Pt1、Pt2具有被分割的文本正文Td0。
图29中,分割信息包Pt2在分割头部Fh2中保存了修饰符指针Mbp2、修饰符指针长度M12和文本指示符T2作为用于表示修饰符Md0开始位置的信息。
修饰符指针Mbp2保存了有效载荷部P12中修饰符Md0的开始位置,也就是在图29中,保存了被分割文本正文Td0的一部分即分割文本正文Ftd2的数据长度(图中的值[X1])。修饰符指针长度M12例如用2位指定修饰符指针Mbp2的数据长度。文本指示符T2是用于标识分割信息包Pt2包括一部分文本Tx0的1位标志,在这里,由于包括分割文本正文Ftd2,例如其保存了值[1]。
因此,例如,当在传输途中损失了包括文本长度Tl0的分割信息包Pt1时,在仅仅取得分割信息包Pt2的数据再现装置中,能够识别分割信息包Pt2所具有的修饰符Md0的开始位置,以及再现修饰符Md0。在数据再现装置中,能够防止将修饰符Md0误作为文本正文Td0的一部分而再现。
而且,可以不包括修饰符指针长度M12,而将修饰符指针Mbp2的数据长度作为固定数据长度。
与(a)中使用图28说明的情况相同,图29所示分割信息包Pt2可以包括文本正文Td0字符代码信息,这里省略其说明。
《修饰符框的开始位置信息》
图30中,文本样本Ts0具有在修饰符框Mb0中的分割边界。分割信息包PtN包括一部分被分割修饰符框Mb0即分割修饰符框FmbN和修饰符框Mb1。
分割信息包PtN在分割头部FhN中保存了修饰符指针MbpN、修饰符指针长度M1N和文本指示符TN作为用于表示修饰符框Mb1开始位置的信息。
修饰符指针MbpN保存了有效载荷部P1N中修饰符框Mb1的开始位置,也就是在图30中,保存了分割修饰符框FmbN的数据长度(图中的值[X2])。修饰符指针长度M1N用2位指定修饰符指针MbpN的数据长度。文本指示符TN是用于识别分割信息包PtN包括一部分文本Tx0的1位标志,在这里,由于不包括Tx0,因此例如其保存了值[0]。
因此,例如,当在传输途中损失了分割信息包PtN前后的分割信息包时,在取得分割信息包PtN的数据再现装置中,能够识别分割信息包PtN所具有的修饰符框Mb1的开始位置,以及再现修饰符框Mb1。由此,如果在数据再现装置中正常取得包括文本Tx0的分割信息包(例如分割信息包Pt1)的话,则对该分割信息包,能够利用修饰符框Mb1的修饰效果。而且,在数据再现装置中,基于文本指示符TN,能够防止将分割的修饰符框Mb1误作为文本正文Td0而再现。
《文本样本Ts0的分割变化》
使用图31,说明文本样本Ts0分割变化和修饰符Md0或者修饰符框Mb0、…的开始位置信息之间的关系。通过文本样本Ts0的分割变化获得的分割信息包基于分割信息包在有效载荷部具有的信息能够分类为分割类型A~分割类型E这5种。
(分割类型A)
分割类型A的分割信息包是仅仅包含一部分或者全部文本Tx0或者包含文本样本Ts0开头的分割信息包。例如,图31中作为“TypeA”被指示的5个分割信息包PtA就是。
此时,各个分割信息包PtA的分割头部FhA具有文本指示符TA和修饰符指针长度MlA。文本指示符TA例如保存了值[1],表示分割信息包PtA包括一部分文本Tx0。修饰符指针长度MlA通过2位的位串将修饰符指针MbpA的数据长度指定为0位。由此表示分割头部FhA不包含修饰符指针MbpA。即,分割信息包PtA是从在文本Tx0之前配置的文本长度Tl0中能够判断文本Tx0和修饰符Md0之间边界的信息包,或者是不包含文本Tx0和修饰符Md0之间边界的信息包。
(分割类型B)
分割类型B的分割信息包是包含一部分文本Tx0和一部分或者全部修饰符Md0的分割信息包。即,分割类型B的分割信息包是不包含文本样本Tso开头的分割信息包。例如,图31中作为“TypeB”被指示的3个分割信息包PtB就是这类。
此时,各个分割信息包PtB的分割头部FhB具有文本指示符TB、修饰符指针长度MlB和修饰符指针MbpB。文本指示符TB例如保存了值[1],表示分割信息包PtB包括一部分文本Tx0。修饰符指针长度MlB通过2位的位串将修饰符指针MbpB的数据长度指定为例如8、16、32位的任何一个。修饰符指针MbpB通过由修饰符指针长度MlB指定的数据长度的位串来指示修饰符Md0的位置。
而且,分割信息包PtB的分割头部FhB与(a)中使用图28说明的情况相同,可以包括文本正文Td0的字符代码信息。
(分割类型C)
分割类型C的分割信息包是仅仅包含修饰符框Mb0、…当中一个的一部分且不包含该修饰符框Mb0、…开头的分割信息包。换言之,是不包含文本Tx0且不包含修饰符框Mb0、…开头的分割信息包。例如,图31中作为“TypeC”被指示的分割信息包PtC就是这类。
此时,分割信息包PtC的分割头部FhC具有文本指示符TC和修饰符指针长度MlC。文本指示符TC例如保存了值[0],表示分割信息包PtC不包括一部分文本Tx0。修饰符指针长度MlC通过2位的位串将修饰符指针MbpC的数据长度指定为0位。由此表示分割头部FhC不包含修饰符指针MbpC。
(分割类型D)
分割类型D的分割信息包是仅仅包含修饰符框Mb0、…当中的一部分且包含修饰符框Mb0、…开头的分割信息包。例如,图31中作为“TypeD”被指示的分割信息包PtD就是这类。
此时,分割信息包PtD的分割头部FhD具有文本指示符TD、修饰符指针长度MlD和修饰符指针MbpD。文本指示符TD例如保存了值[0],表示分割信息包PtD不包括一部分文本Tx0。修饰符指针长度MlD通过2位的位串将修饰符指针MbpD的数据长度指定为例如8、16、32位的任何一个。修饰符指针MbpD通过由修饰符指针长度MlD指定的数据长度的位串来指示修饰符框Mb0的开头位置。
(分割类型E)
分割类型E的分割信息包是在分割类型D的分割信息包当中特别在有效载荷部的开头包含修饰符框Mb0、…开头的分割信息包。例如,图31中作为“TypeE”被指示的分割信息包PtE就是这类。
此时,分割信息包PtE的分割头部FhE具有文本指示符TE、修饰符指针长度MlE和修饰符指针MbpE。文本指示符TE例如保存了值[0],表示分割信息包PtE不包括一部分文本Tx0。修饰符指针长度MlE通过2位的位串将修饰符指针MbpE的数据长度指定为例如8、16、32位的任何一个。修饰符指针MbpE通过由修饰符指针长度MlE指定的数据长度的位串来指示值[0],其表示在有效载荷部PlE的开口包含修饰符框Mb0、…的开头。
(c)与分割文本样本所包含文本正文的一部分是否包含整个文本正文的第几个字符以后有关的信息
图32中,文本样本Ts0具有在文本正文Td0中的分割边界。分割信息包Pt1、Pt2具有被分割文本正文Td0即分割文本正文Ftd1、Ftd2。
分割信息包Pt2在分割头部Fh2中保存了字符偏移(offset)Sco2和字符偏移长度Sl2。字符偏移Sco2将分割文本样本Ft2所包含的分割文本正文Ftd2是文本正文Td0全文当中的第几个字符以后的字符数作为单位保存(图中的值[×3])。字符偏移长度Sl2例如用2位指定字符偏移Sco2的数据长度。在修饰符Md0中,文本正文Td0的修饰不是以字节单位而是以字符数单位指定的。
因此,例如,当在传输途中损失了分割信息包Pt1时,在仅仅取得分割信息包Pt2的数据再现装置中,能够在分割信息包Pt2所包括的分割文本正文Ftd2上适用修饰符Md0的修饰效果。
而且,字符偏移Sco2可以将分割文本样本Ft2所包含的分割文本正文Ftd2位于文本正文Td0全文当中的何处作为字节单位保存。此时,在取得分割信息包Pt2的数据再现装置中,变成分析修饰符Md0和导出应该适用修饰效果的分割文本正文Ftd2的范围。尽管也存在不能够根据字节单位的信息来检测正确字符位置的情况,但进行某种程度的推定是可能的。例如,当用UTF-16编码时,由于1字符是固定的2字节,因此对于字节位置为二分之一来说,能够求得字符位置。
字符偏移Sco2尽管包括在分割文本正文Ftd2所包含分割信息包Pt2中,但在包括文本Tx0开头部分的分割信息包Pt1中,不一定要包括。
而且,分割信息包Pt2还可以包括由(a)和(b)说明的字符代码信息、修饰符指针、修饰符指针长度、以及文本指示符。
(d)用于被分割修饰符框再现所保存的信息
使用图33~图36,说明用于被分割修饰符框再现所保存的信息。
使用图33,说明用于被分割修饰符框MbM的再现所保存的信息。详细说明在后面通过使用图34~图36进行。
图33中,修饰符框MbM包括:修饰符框MbM的框大小SzM;记述对文本正文Td0修饰效果的修饰类型TyM;记述修饰效果适用范围等的多个记录MrM1、MrM2、…。文本样本Ts0具有第M个修饰符框即修饰符框MbM之记录MrM2中的分割边界。分割信息包PtN-1、PtN分别具有被分割修饰符框MbM的一部分。
分割信息包PtN在分割头部FhN中保存了框分割标志BN、同步偏移SoN、同步偏移长度SolN、扩展字节ExN、扩展字节长度ExlN和原子(atom)类型AtN。
框分割标志BN是用于表示分割信息包PtN具有被分割修饰符框MbM的标志,图中保存了值[1],其表示被分割的修饰符框MbM存在。同步偏移SoN保存了在分割信息包PtN所具有的被分割修饰符框MbM当中能够部分利用的记录MrM3的开始位置(图中的值[×5])。同步偏移长度SolN例如用2位的位串指定同步偏移SoN的数据长度。扩展字节ExN记述了分割信息包PtN所包含的被分割修饰符框MbM的再现所需要的信息。后面使用图34~图36说明信息的详细内容。扩展字节长度ExlN例如用3位的位串指定扩展字节ExN的数据长度。原子类型AtN是修饰符框MbM的修饰类型,记述了与修饰类型TyM相同的内容。
因此,例如,当在传输途中损失了分割信息包PtN-1并且该信息包包括修饰符框MbM的修饰类型TyM及其它再现所需要的信息时,在取得分割信息包PtN的数据再现装置中,通过使用分割头部FhN所保存的原子类型AtN和扩展字节ExN,能够进行分割信息包PtN所具有的被分割修饰符框MbM的解码。例如,当在传输途中损失了分割信息包PtN-1时,在取得分割信息包PtN的数据再现装置中,能够识别分割信息包PtN所具有的记录MrM3的开头位置以及利用修饰信息。
尽管说明了在记录MrM2中对Ts0分割的情况,但本发明的效果不局限于这种情况。具体地,在框大小SzM、修饰类型TyM或者其它记录MrM1、MrM3、…中也可以进行分割。
使用图34~图36,详细说明用于被分割修饰符框再现所保存的信息。在图34~图36中,修饰符框分别指定了卡拉OK(Kara OK)、字符式样和超文本的修饰。
《卡拉OK》
图34中,文本样本Ts0具有在第M个修饰符框即修饰符框MbM中的分割边界。修饰符框MbM用卡拉OK式样修饰文本Td0。分割信息包PtN-1、PtN具有被分割的修饰符框MbM。
卡拉OK式样的修饰符框MbM包括:框大小SzM;修饰类型TyM;开始时间;入口计数;入口En1~En5。框大小SzM是修饰符框MbM的数据长度。修饰类型TyM为了表示修饰符框是卡拉OK,因此保存了表示“krok”的位串。开始时间指定修饰开始时间。入口计数指定修饰符框MbM所具有的入口个数。入口En1~En5分别包括卡拉OK修饰结束时间和用于指定修饰字符的信息。对被指定的字符,由各个入口En1~En5的修饰适用于在从此前配置的入口En1~En4之修饰结束时间到自身修饰结束时间之间(由入口En1引起的修饰被适用于从开始时间所指定的修饰开始时间到自身修饰结束时间为止)。
分割信息包PtN在有效载荷部PlN具有入口En3~En5。即,修饰符框MbM在入口En2和入口En3之间的边界上被分割。分割头部FhN包括:框分割标志BN;原子类型AtN;扩展字节长度ExlN;以及扩展字节ExN。框分割标志BN例如保存了值[1],表示分割信息包PtN具有被分割的修饰符框MbM。原子类型AtN由于表示被分割修饰符框MbM的修饰类型是卡拉OK,因此保存了表示“krok”的位串。扩展字节长度ExlN例如用3位的位串指定扩展字节ExN的数据长度。扩展字节ExN保存了通过分割确定在分割信息包PtN中不包括的入口En2所显示卡拉OK的修饰结束时间。
这里,对图34所示分割信息包PtN不包括与图33中说明的同步偏移SoN和同步偏移长度SolN相当的信息的情况进行说明。这是因为在文本样本Ts0分割时,通过根据与“在修饰符框MbM的记录MrM1、…途中不进行分割”之分割规则而进行分割,这些信息是不需要的信息。
因此,例如,当在传输途中损失了分割信息包PtN-1时,在取得分割信息包PtN的数据再现装置中,能够将分割信息包PtN所包括的入口En3~En5分析作为卡拉OK式样。而且,在该数据再现装置中,关于入口En3,能够通过参考分割头部FhN所包括的扩展字节ExN保存的信息来判别修饰开始时间。
《字符式样》
图35中,文本样本Ts0具有在第M个修饰符框即修饰符框MbM中的分割边界。修饰符框MbM变更文本Tx0的字符式样。分割信息包PtN-1、PtN具有被分割的修饰符框MbM。
字符式样的修饰符框MbM包括:框大小SzM;修饰类型TyM;入口计数;入口En1~En5。框大小SzM是修饰符框MbM的数据长度。修饰类型TyM由于表示修饰符框MbM是字符式样,因此保存了表示“styl”的位串。入口计数指定修饰符框MbM所具有的入口个数。入口En1~En5分别包括用于指定适用字符式样之范围的信息、字体式样和字体大小等。
分割信息包PtN在有效载荷部PlN具有入口En3~En5。即,修饰符框MbM在入口En2和入口En3之间的边界上被分割。分割头部FhN包括:框分割标志BN;原子类型AtN;扩展字节长度ExlN。框分割标志例如保存了值[1],表示分割信息包PtN具有被分割的修饰符框MbM。原子类型AtN由于表示被分割修饰符框MbM的修饰类型是字符式样,因此保存了表示“styl”的位串。扩展字节长度ExlN例如用3位的位串指定扩展字节ExN的数据长度。在字符式样中,由于没有扩展字节ExN中保存的必要的某些信息,因此保存了值[0]。
因此,例如,当在传输途中损失了分割信息包PtN-1时,在取得分割信息包PtN的数据再现装置中,能够将分割信息包PtN所包括的入口En3~En5分析作为字符式样。
《超文本》
图36中,文本样本Ts0具有在第M个修饰符框即修饰符框MbM中的分割边界。修饰符框MbM用超文本式样修饰文本Ts0。分割信息包PtN-1、PtN具有被分割的修饰符框MbM。
超文本的修饰符框MbM包括:框大小SzM;修饰类型TyM;超文本链接所适用的字符串范围ScM、EcM;被链接的URL路径UrlM;用于指定URL路径数据长度的URL长度UrM;用于指定替代文本等的ALT属性AltM;用于指定ALT属性数据长度的ALT长度AlM。
分割信息包PtN在有效载荷部PlN具有ALT属性AltM和ALT长度AlM。分割头部FhN包括:框分割标志BN;原子类型AtN;扩展字节长度ExlN和扩展字节ExN。框分割标志BN例如保存了值[1],表示分割信息包PtN具有被分割的修饰符框MbM。原子类型AtN由于表示被分割修饰符框MbM的修饰类型是超文本,因此保存了表示“href”的位串。扩展字节长度ExlN例如用3位的位串指定扩展字节ExN的数据长度。扩展字节ExN保存了通过分割确定在分割信息包PtN中不包括的适用ALT属性的字符串范围。即,扩展字节ExN保存了与修饰符框MbM具有的超文本链接所适用的字符串范围ScM、EcM有关的信息。
因此,例如,当在传输途中损失了分割信息包PtN-1时,在取得分割信息包PtN的数据再现装置中,能够将分割信息包PtN所包括的ALT属性AltM和ALT长度AlM分析作为超文本式样。而且,能够判别适用ALT属性的字符串范围。
(iv)其它分割信息包
(分割头部结构)
存在分割头部一次具有上述(a)~(d)全部信息的情况。图37表示分割信息包PtN头部HdN结构的一个例子。但是,各个信息的配置是一个例子,并不限定于此。
分割信息包PtN的头部HdN包括:RTP头部RhN;样本头部ShN;分割头部FhN。在RTP头部RhN中,通过标记符位MN的值识别分割信息包PtN在有效载荷部PlN中是否包含文本样本Ts0最末尾的数据。图37中,标记符位MN保存了值[0],其表示分割信息包PtN在有效载荷部不包含文本样本Ts0最末尾的数据。根据样本头部ShN,判别出值[0]保存于样本长度SlnN中以及分割信息包PtN包含被分割的文本样本Ts0。
分割头部FhN分别包含在上述(a)~(b)中说明的信息。
(分割头部的存在)
在第四实施方式中,说明了“判别出值[0]保存于样本长度中以及分割信息包包含被分割的文本样本”。这里,分割信息包也可以具有用于表示包含被分割文本样本的标志,通过该标志判别出分割信息包包含被分割的文本样本。
(字符代码信息的变形例)
在第四实施方式中,说明了“通过1位标志即字符代码信息来识别文本正文的字符代码”。这里,分割信息包还可以保存文本样本所包含的字节次序标记(BOM)。例如,在全部分割信息包上重复BOM。BOM可以保存于分割信息包具有的文本正文的开头,也可以保存于分割头部上所设置的保存区中。
这里,当BOM是可变长度(0字节、2字节、4字节)且设置于分割头部的保存区时,还可以设置用于记述BOM数据长度的信息。当保存于文本正文的开头时,如果在分割头部中记述BOM的数据长度,则使存在于文本开头的BOM的判定变得更可靠。
(3)<数据再现装置和数据再现方法>
使用图38和图39,说明用于再现具有上述数据结构的RTP信息包的数据再现装置和数据再现方法。
(i)数据再现装置
图38表示用于再现具有在上述(2)<RTP信息包数据结构>中所说明数据结构的RTP信息包的数据再现装置710的框图。
数据再现装置710包括:RTP接收部711;基本头部分析部712;分割头部分析部713;解码部714;显示部715。数据再现装置710是基于从后述RTP传输装置725、728(参考图40)传输的RTP信息包进行时控文本再现的计算机、移动电话机、PDA(个人数字助手)之类的装置。
RTP接收部711接收从RTP传输装置725、728发送的RTP信息包和临时保存于基本头部分析部712中。
基本头部分析部712从所保存RTP信息包的RTP头部中取得序列号、时间标记、标记符位等。基本头部分析部712从所保存RTP信息包的样本头部中取得样本长度的值。基本头部分析部712通过序列号判断在传输途中所损失的RTP信息包的存在。基本头部分析部712通过样本长度值判断RTP信息包是否分割包含了文本样本。而且,基本头部分析部712根据时间标记将RTP信息包输出到解码部714。
这里,对于分割包含一个文本样本的多个RTP信息包,当在传输途中损失了任何一个RTP信息包时,基本头部分析部712将该RTP信息包输出到分割头部分析部713。
分割头部分析部713分析所取得的RTP信息包的分割头部。即,从具有图37所示结构的分割头部中,取得文本指示符、字符代码信息、修饰符指针、字符偏移、框分割标志、同步偏移、扩展字节、原子类型等信息。关于这些信息,由于在上述(2)<RTP信息包数据结构>中说明了,因此省略其说明。
解码部714对于分割头部被分析的RTP信息包,基于分割头部分析部713的分析结果,进行该RTP信息包有效载荷部的解码。被解码的有效载荷部在显示部715上显示。
对于分割包含一个文本样本的多个RTP信息包,当在传输途中损失了任何一个RTP信息包时,该数据再现装置710能够基于所取得RTP信息包的分割头部所具有的信息来进行所取得RTP信息包之有效载荷部的再现。
(ii)数据再现方法
图39表示用于说明数据再现方法的流程图,该数据再现方法用于再现具有在上述(2)<RTP信息包数据结构>中所说明数据结构的RTP信息包。
接收RTP信息包和分析RTP信息包的RTP头部和样本头部。首先,分析样本头部具有的样本长度值(步骤S710),判断RTP信息包是否包含被分割的文本样本(步骤S711)。
当判断出RTP信息包不包含被分割的文本样本时,即当判断出RTP信息包包含全部的文本样本时,解码RTP信息包(步骤S715)。
另一方面,当判断出RTP信息包包含被分割的文本样本时,基于RTP信息包之RTP头部具有的序列号(步骤S712),判断在传输途中有无损失的信息包(步骤S713)。当判断在传输途中没有损失的信息包时,一次解码包含被分割文本样本的多个RTP信息包(步骤S715)。
当判断在传输途中有损失的信息包时,分析各个RTP信息包的分割头部,取得各个RTP信息包具有的被分割文本样本的再现所必需的信息(步骤S714),基于所取得的信息,解码各个RTP信息包(步骤S715)。
对于分割包含一个文本样本的多个RTP信息包,当在传输途中损失了任何一个RTP信息包时,该数据再现方法能够基于所取得RTP信息包的分割头部所具有的信息来进行所取得RTP信息包之有效载荷部的再现。
(4)<数据多路复用装置和数据多路复用方法>
使用图40和图41,说明用于生成具有在上述(2)<RTP信息包数据结构>中所说明数据结构的RTP信息包的数据多路复用装置和数据多路复用方法。
(i)数据多路复用装置
图40表示用于生成具有在上述(2)<RTP信息包数据结构>中所说明数据结构的RTP信息包的数据多路复用装置720的框图。
数据多路复用装置720由存储时控文本的存储部721、用于对时控文本分析而取得多路复用所需要的信息的ES分析部722、用于进行分割和分割头部生成的分割头部生成部723、以及用于生成基本头部的基本头部生成部724构成。
存储部721用例如MP4文件形式(参考图55)存储媒体数据。存储部721具有与进行存储文件相关的详细信息。ES分析部722从存储部721取得轨道头部、文本样本、样本描述和样本表。基于文本样本的大小,推定未进行分割时RTP信息包的大小。当推定大小超过目标大小时,判断进行文本样本的分割。当判断进行分割时,将文本样本输出到分割头部生成部723。
在分割头部生成部723中,分割所取得的文本样本,使得接近目标RTP信息包的大小。而且,将被分割文本样本的再现所需要的信息保存于分割头部中,并且附加在被分割的文本样本上。分割头部和被分割文本样本构成多个组,并输出到基本头部生成部724。这里,分割头部例如具有图37所示的结构,并包括依赖于文本样本内容的信息。
基本头部生成部724将基本头部附加到未分割的文本样本和被分割的文本样本上,生成RTP信息包。
这里,基本头部是指RTP头部、样本头部(参考图26)。在被分割文本样本上所附加的基本头部中,样本头部之样本长度的值例如保存了值[0]。因此,具有该基本头部的RTP信息包表示包含被分割的文本样本。在未分割的文本样本和被分割的文本样本当中最末尾文本样本上所附加的基本头部中,RTP头部的标记符位例如保存了值[1]。另一方面,在其它被分割的文本样本上所附加的基本头部中,RTP头部的标记符位例如保存了值[0]。
由基本头部生成部724生成的RTP信息包被送到RTP传输装置725,还被传输到数据再现装置710(参考图38)。或者,送到传输用存储文件生成部726。传输用存储文件生成部726生成用于传输的服务器存储文件并存储到存储装置727。RTP传输装置728分析服务器存储文件、变换到RTP信息包以及传输到数据再现装置710(参考图38)。
(ii)数据多路复用方法
图41表示用于说明数据多路复用方法的流程图,该数据多路复用方法用于生成具有在上述(2)<RTP信息包数据结构>中所说明数据结构的RTP信息包。
被输入的时控文本被分离为轨道头部、样本描述、样本表和文本样本(步骤S720)。基于文本样本的大小,推定未进行分割时RTP信息包的大小。进行判断推定大小是否超过目标大小(步骤S721)。当判断出推定大小未超过目标大小时,将文本样本做成没有分割的附加了基本头部的RTP信息包(步骤S724)。
当判断出推定大小超过目标大小时,进行文本样本的分割处理(步骤S722)。进行分割处理,使得接近目标大小以及使得即使包含所分割文本样本的一部分RTP信息包损失了也能够显示剩余的RTP信息包内容。在被分割的文本样本上附加分割头部(步骤S723)。分割头部保存了被分割文本样本再现所需要的信息。而且,在被附加了分割头部的被分割文本样本上附加基本头部(步骤S724)。
这里,基本头部是RTP头部、样本头部(参考图26)。在被分割文本样本上所附加的基本头部中,样本头部之样本长度的值例如保存了值[0]。因此,表示具有该基本头部的RTP信息包包含被分割的文本样本。在未分割的文本样本和被分割的文本样本当中最末尾文本样本上所附加的基本头部中,RTP头部中的标记符位例如保存了值[1]。另一方面,在其它被分割的文本样本上所附加的基本头部中,RTP头部的标记符位例如保存了值[0]。
【第五实施方式】
使用图42~图49,说明作为本发明第五实施方式的信息包数据结构、数据再现装置和数据多路复用装置。另外,还说明数据再现方法和数据多路复用方法。
本实施方式按以下述顺序进行说明:(1)具有使分割头部之开销(overhead)最小化的标志信息的信息包数据结构;(2)能够识别文本样本分割状况的信息包数据结构;(3)具有这些信息包数据结构之信息包的数据再现装置和数据再现方法;(4)具有这些信息包数据结构之信息包的数据多路复用装置和数据多路复用方法。在本实施方式中,对于没有给出特别定义的术语,采用与第四实施方式相同的定义。
(1)<具有使分割头部之开销(overhead)最小化的标志信息的信息包数据结构>
在使用图37说明的分割头部FhN中,需要经常确保用于保存文本指示符TN、字符代码信息UN、字符偏移长度SlN、修饰符指针长度MlN、框分割标志BN这5种信息的数据区。
但是,例如,在有效载荷部不包含文本正文时,在其上带有的分割头部中,字符代码信息和字符偏移长度就是不需要的信息,所确保的数据区变成无用。
因此,为了使分割头部的空操作最小化,定义1位的分割头部标志。分割头部标志表示分割头部包括字符代码信息、字符偏移长度、修饰符指针长度、框分割标志的任何一个。将该分割头部标志和文本指示符作为分割头部的必须信息保存。
(分割头部包括的信息)
使用图42说明包括分割头部标志FN和文本指示符TN的分割头部FhN的结构。图42中,分割信息包PtN包括头部HdN和有效载荷部PlN。头部HdN包括:RTP头部RhN;样本头部ShN和分割头部FhN。有效载荷部PlN包括一部分文本样本Ts0。
这里,分割头部FhN包括上述文本指示符TN和分割头部标志FN。分割头部FhN其它区所包含的信息通过文本指示符TN和分割头部标志FN之间的组合被确定为图43所示。这里,分割头部FhN其它区所包含的信息是指在“【第四实施方式】(2)<RTP信息包数据结构>(iii)分割头部概要”中所示的(a)~(d)任何一个的信息。
图43表示对于文本指示符TN和分割头部标志FN之间的组合的图42所示分割头部FhN包含的信息。该关系是基于文本样本Ts0的开头是文本长度Tl0和文本Tx0之类的前提下通过上述文本指示符TN和分割头部标志FN之间的定义而逻辑导出的。而且,图43中,文本指示符TN表达为T,分割头部标志FN表达为F。
当分割头部标志FN是值[0]时,分割头部FhN仅仅保存文本指示符TN和分割头部标志FN之间的2位(参考图43的列(a)、列(c))。当表格内具有值[0]时,表示不存在该信息。
当文本指示符TN为值[1]且分割头部标志FN为值[1]时,分割头部FhN保存了字符代码信息、字符偏移长度、修饰符指针长度、字符偏移、修饰符指针(参考图43的列(b))。
当文本指示符TN为值[0]且分割头部标志FN为值[1]时,分割头部FhN保存了修饰符指针长度、修饰符指针、框分割标志、同步偏移、同步偏移长度、扩展字节、扩展字节长度和原子类型(参考图43的列(d))。
因此,例如,在取得分割信息包PtN的数据再现装置中,能够取得文本指示符TN和分割头部标志FN的值以及分析分割头部FhN包含的信息。即,在分割头部FhN中,由于不需要确保不用信息的数据区,因此提高了传输数据的位效率。
(样本头部包含的信息)
而且,通过文本指示符TN和分割头部标志FN之间的组合,还能够表达图42所示样本头部ShN包含的信息。
图44表示文本指示符TN和分割头部标志FN之间的组合与样本头部ShN包含的信息之间的关系。该关系是通过上述文本指示符TN和分割头部标志FN之间的定义而逻辑导出的。
当文本指示符TN是值[0]时,分割信息包PtN不包括样本头部ShN。(参考图44的列(c)、列(d))。
当文本指示符TN为值[1]且分割头部标志FN为值[0]时,样本头部ShN保存了样本长度SlnN、样本索引SidN、样本持续时间SdrN(参考图44的列(a))。
当文本指示符TN为值[1]且分割头部标志FN为值[1]时,样本头部ShN保存了样本索引SidN、样本持续时间SdrN(参考图44的列(b))。
因此,例如,在取得分割信息包PtN的数据再现装置中,能够取得文本指示符TN和分割头部标志FN的值以及分析样本头部ShN包含的信息。即,在样本头部ShN中,由于不需要确保不用信息的数据区,因此提高了传输数据的位效率。
而且,尽管记载了分割头部FhN其它区所包含的信息是在“【第四实施方式】(2)<RTP信息包数据结构>(iii)分割头部概要”中所示的(a)~(d)的信息,但是,也可以考虑作为标准不包括(a)~(d)所示信息当中任何一个的情况。此时,在分割头部中,除去与作为标准不包括的信息有关的部分后而利用图43。
例如,当分割文本正文时,在分割头部上附加字符偏移,并判断分割信息包包含了文本正文从第几个字符开始。但是,有时,通过用于生成分割信息包的数据多路复用装置不能够计数字符数。此时,不涉及分割文本正文就不附加字符偏移。在这种情况下,在取得分割信息包的数据再现装置中,成为不考虑图43的行(e)信息而进行再现。
(2)<能够识别文本样本分割状况的信息包数据结构>
一般地,在分割信息包传输时没有损失的状况下,文本样本的分割状况通过监视RTP头部的序列号、时间标记以及标记符位是能够识别的。在分割包含相同文本样本的分割信息包中,附加了相同的时间标记。而且,标记符位例如保存了值[1],判别在分割包含相同文本样本的分割信息包当中最后的信息包。
但是,当在分割信息包中发生损失时,由于仅仅监视序列号、时间标记以及标记符位不能够判断该分割信息包是开头的分割信息包,因此给正常解码带来障碍。即,在文本样本的转变时期(时间标记的转变时期),当多个信息包损失时,如果损失了标记符位的值是[1]的信息包,则不能够判断前文本样本的最后。
因此,通过由上述(1)<具有使分割头部之开销最小化的标志信息的信息包数据结构>定义的文本指示符TN和分割头部标志FN再加上组合RTP头部RhN所包含的标记符位MN(参考图42),能够判断分割信息包PtN具有的被分割文本样本Ts0的分割状况,如图45所示。
这里,将文本样本Ts0的开头是文本长度Tl0和文本Tx0的情况以及在包含文本样本开头的分割信息包中分割头部不包含文本指示符和分割头部标志之外内容的情况作为前提。标记符位MN被定义为表示分割信息包PtN包含文本样本Ts0的最末尾。而且,在图45中,将文本指示符TN表示为T,分割头部标志FN表示为F,将标记符位MN表示为M。
由此,通过利用文本指示符TN、分割头部标志FN和标记符位MN能够判断文本样本Ts0的分割状况。因此,例如,在取得分割信息包PtN的数据再现装置中,不仅能够通过判断分割信息包PtN是分割的最后(例如当标记符位MN的值为[1]时)来开始解码,而且能够判断分割信息包是分割的开头(例如文本指示符TN为值[1]且分割头部标志MN为值[0]时)。
(3)<数据再现装置和数据再现方法>
使用图46和图47,说明用于再现具有上述数据结构的RTP信息包的数据再现装置和数据再现方法。
(i)数据再现装置
图46表示用于再现具有在上述(1)或者(2)所说明数据结构的RTP信息包(参考图42)的数据再现装置730的框图。
数据再现装置730由于与图38所示数据再现装置710几乎相同的构成,因此着重说明其特征部分即分割头部分析部733。
数据再现装置730包括:RTP接收部731;基本头部分析部732;分割头部分析部733;解码部734;显示部735。数据再现装置730是基于从后述RTP传输装置745、748(参考图48)传输的RTP信息包进行时控文本再现的计算机、移动电话机、PDA(个人数字助手)之类的装置。
RTP接收部731接收从RTP传输装置745、748发送的RTP信息包和临时保存于基本头部分析部732中。
基本头部分析部732通过序列号判断在传输途中所损失的RTP信息包存在。
这里,对于分割包含某个文本样本的多个RTP信息包,当在传输途中损失了任何一个RTP信息包时,基本头部分析部732将剩余的RTP信息包输出到分割头部分析部733。
分割头部分析部733分析没有损失的所取得的RTP信息包的分割头部。即,分割头部分析部733取得分割头部中必须的信息即文本指示符和分割头部标志的值。而且,基于该值,判断有无图43和图44所示分割头部和样本头部的信息,并且取得各个信息。
分割头部分析部733基于文本指示符、分割头部标志以及标记符位的值的组合,判断图45所示文本样本的分割状态。
解码部734基于分割头部分析部733所取得分割头部的信息和文本样本的分割状态,确定解码的时刻。
而且,当RTP信息包被没有损失地传输时,RTP信息包在通过基本头部分析部732分析之后,输出到解码部734进行解码。
(ii)数据再现方法
图47表示用于说明数据再现方法的流程图,该数据再现方法用于再现具有在上述(1)或者(2)所说明数据结构的RTP信息包。
接收RTP信息包和分析RTP信息包的RTP头部和样本头部(步骤S730),基于序列号,判断有无损失的信息包(步骤S731)。同时,还取得标记符位。
当判断没有损失的信息包时,解码RTP信息包(步骤S733)。
当判断有RTP信息包损失时,分析分割头部。具体地,取得文本指示符和分割头部标志的值,通过该值,判断有无图43和图44所示分割头部的信息。而且取得各个信息(步骤S732)。同时,基于文本指示符、分割头部标志以及标记符位的值的组合,判断图45所示文本样本的分割状态。
基于在步骤S732所取得的信息,解码RTP信息包(步骤S733)。
(4)<数据多路复用装置和数据多路复用方法>
使用图48和图49,说明用于生成具有上述数据结构的RTP信息包的数据多路复用装置和数据多路复用方法。
(i)数据多路复用装置
图48表示用于生成具有在上述(1)或者(2)所说明数据结构的RTP信息包的数据多路复用装置740的框图。
数据多路复用装置740由存储时控文本的存储部741、用于取得分析多路复用时控文本所需要信息的ES分析部742、用于进行分割和分割头部生成的分割头部生成部743、以及用于生成基本头部的基本头部生成部744构成。
存储部741用例如MP4文件形式(参考图55)存储媒体数据。存储部741具有与进行存储文件相关的详细信息。ES分析部742从存储部741取得轨道头部、文本样本、样本描述和样本表,文本样本被输出到分割头部生成部743。
在分割头部生成部743中,分割所取得的文本样本,使得接近目标RTP信息包的大小。如果即使不分割也不会超过目标RTP信息包的大小,则不进行分割。而且,将被分割文本样本的再现所需要的信息保存于分割头部中,并且附加在被分割的文本样本上。而且,通过取得合适的值来保存分割头部标志和文本指示符。另一方面,对于没有被分割的文本样本,也使分割头部标志和文本指示符取得和附加合适的值。这些信息被输出到基本头部生成部744。
基本头部生成部744将基本头部附加到未分割的文本样本和被分割的文本样本上,生成RTP信息包。这里,基本头部是指RTP头部、样本头部(参考图26)。而且,基于被保存的分割头部标志和文本指示符附加样本头部(参考图44)。在基本头部中,标记符位保存了RTP信息包之有效载荷部所具有文本样本的分割状况所适合的值。
由基本头部生成部744生成的RTP信息包被送到RTP传输装置745,还被传输到数据再现装置730(参考图46)。或者,送到传输用存储文件生成部746。传输用存储文件生成部746生成用于传输的服务器存储文件并存储到存储装置747。RTP传输装置748分析服务器存储文件、变换到RTP信息包以及传输到数据再现装置730(参考图46)。
(ii)数据多路复用方法
图49表示用于说明数据多路复用方法的流程图,该数据多路复用方法用于生成具有在上述(1)或者(2)所说明数据结构的RTP信息包。
被输入的时控文本被分离为轨道头部、样本描述、样本表和文本样本(步骤S740)。
基于文本样本的大小,推定未进行分割时RTP信息包的大小,当判断推定大小超过了目标大小时(步骤S741),进行文本样本的分割处理(步骤S742)。分割处理按在如下位置中进行:使得接近目标大小以及使得即使包含所分割文本样本的一部分RTP信息包损失了也能够显示剩余的RTP信息包内容。而且,在被分割的文本样本上附加分割头部(步骤S743)。分割头部保存了被分割文本样本再现所需要的信息以及分割头部标志和文本指示符。在被附加了分割头部的被分割文本样本上附加基本头部(步骤S745)。
另一方面,当不进行分割时,在文本样本上附加分割头部标志和文本指示符(步骤S744)。还在文本样本上附加基本头部(步骤S745)。
这里,基本头部是RTP头部、样本头部。
【有关第四实施方式和第五实施方式的附注】
<附注内容>
(附注1)
一种信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括:
有效载荷部,其具有所述再现数据的被分割一部分的分割再现数据;
头部,其具有表示所述有效载荷部包含所述分割再现数据的分割存在信息和所述分割再现数据的再现所需要的分割再现数据再现信息。
(附注2)
一种信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括:
有效载荷部,其具有所述再现数据的被分割一部分的分割再现数据;
头部,其具有字符代码信息,该信息用于判别所述分割再现数据所包含的被分割的所述文本数据的字符代码。
(附注3)
根据附注2所述的信息包数据结构,所述头部还具有用于表示所述字符代码信息之数据长度的第一数据长度信息。
(附注4)
根据附注2所述的信息包数据结构,所述字符代码信息是用于判别2种所述字符代码的1位标志。
(附注5)
一种信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括:
有效载荷部,其具有所述再现数据的被分割一部分的分割再现数据;
头部,其具有在所述分割再现数据中所述修饰信息的作为位置信息的第一位置信息。
(附注6)
根据附注5所述的信息包数据结构,
所述分割再现数据包含所述文本数据的至少一部分和在所述文本数据的至少一部分之后配置的所述修饰信息,
所述第一位置信息是所述分割再现数据包含的所述文本数据的数据长度。
(附注7)
根据附注5所述的信息包数据结构,
所述修饰信息包括多个部分修饰信息,
所述分割再现数据包括第一部分修饰信息被分割出的一部分和在所述第一部分修饰信息被分割出的一部分之后配置的第二部分修饰信息,
所述第一位置信息是所述第一部分修饰信息被分割出的一部分的数据长度。
(附注8)
根据附注6或者附注7所述的信息包数据结构,
所述头部还具有表示所述分割再现数据包含所述文本数据至少一部分的文本存在信息。
(附注9)
一种信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括:
有效载荷部,其具有所述再现数据的被分割一部分的分割再现数据;
头部,其具有第二位置信息,该第二位置信息是在所述分割再现数据所包含的被分割的所述文本数据即分割文本数据的所述文本数据中的位置信息。
(附注10)
根据附注9所述的信息包数据结构,
所述第二位置信息以文本字符数为单位包含所述分割文本数据的位置信息。
(附注11)
一种信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括:
有效载荷部,其具有所述再现数据的被分割一部分的分割再现数据;
头部,其具有在所述分割再现数据中不包含的修饰类型信息,该信息是表示所述修饰信息所包含的部分修饰信息的修饰类型。
(附注12)
一种信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括:
有效载荷部,其具有所述再现数据的被分割一部分的分割再现数据;
头部,其具有在所述分割再现数据中包含的第一单位修饰信息的位置信息即第三位置信息,该信息是构成所述修饰信息所包含的部分修饰信息的单位修饰信息。
(附注13)
根据附注12所述的信息包数据结构,
所述头部还具有表示所述第三位置信息之数据长度的第二数据长度信息。
(附注14)
一种信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括:
有效载荷部,其具有所述再现数据的被分割一部分的分割再现数据;
头部,其具有在所述分割再现数据中未包含的第二单位修饰信息,该信息是构成所述修饰信息所包含的部分修饰信息的单位修饰信息。
(附注15)
根据附注14所述的信息包数据结构,
所述头部还具有表示所述第二单位修饰信息之数据长度的第三数据长度信息。
(附注16)
一种信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括:
有效载荷部,其具有所述再现数据的被分割一部分的分割再现数据;
头部,其具有在所述有效载荷部上附加的文本存在信息和再现信息存在信息,
所述文本存在信息表示所述分割再现数据包含所述文本数据的至少一部分,
所述再现信息存在信息表示所述头部包含所述分割再现数据的再现所需要的分割再现数据再现信息。
(附注17)
根据附注16所述的信息包数据结构,
所述头部还具有分割再现数据位置信息,其表示所述分割再现数据是位于所述再现数据最后的数据。
(附注18)
一种数据再现装置,用于根据具有附注1所述的信息包数据结构的信息包进行再现数据的再现,包括:
分割判断单元,其从所述分割存在信息中判断所述有效载荷部包含所述分割再现数据;
数据再现单元,其基于所述分割判断单元的判断结果,从所述分割再现数据再现信息中进行所述分割再现数据的再现。
(附注19)
一种数据再现装置,用于根据具有附注2所述的信息包数据结构的信息包进行再现数据的再现,包括:
字符代码判别单元,其从所述字符代码信息中判别所述分割再现数据包含的被分割的所述文本数据的字符代码;
数据再现单元,其基于所述字符代码判别单元的判别结果,进行所述分割再现数据的再现。
(附注20)
一种数据再现装置,用于根据具有附注5所述的信息包数据结构的信息包进行再现数据的再现,包括:
第一位置信息取得单元,其从所述第一位置信息中取得在所述分割再现数据中的所述修饰信息的位置信息;
数据再现单元,其基于所述第一位置信息取得单元取得的所述位置信息,进行所述分割再现数据的再现。
(附注21)
一种数据再现装置,用于根据具有附注9所述的信息包数据结构的信息包进行再现数据的再现,包括:
第二位置信息取得单元,其从所述第二位置信息中取得在所述分割再现数据包含的被分割的所述文本数据即分割文本数据的所述文本数据中的位置信息;
数据再现单元,其基于所述第二位置信息取得单元取得的所述位置信息,进行所述分割再现数据的再现。
(附注22)
一种数据再现装置,用于根据具有附注11所述的信息包数据结构的信息包进行再现数据的再现,包括:
修饰类型取得单元,其从所述修饰类型信息中取得所述分割再现数据包含的所述部分修饰信息的修饰类型;
数据再现单元,其基于所述修饰类型取得单元取得的所述修饰类型,进行所述分割再现数据的再现。
(附注23)
一种数据再现装置,用于根据具有附注12所述的信息包数据结构的信息包进行再现数据的再现,包括:
第一单位修饰信息取得单元,其从所述第三位置信息中取得所述第一单位修饰信息;
数据再现单元,其基于所述第一单位修饰信息取得单元取得的所述第一单位修饰信息,进行所述再现数据的再现。
(附注24)
一种数据再现装置,用于根据具有附注14所述的信息包数据结构的信息包进行再现数据的再现,包括:
第二单位修饰信息取得单元,其取得所述第二单位修饰信息;
数据再现单元,其基于所述第二单位修饰信息取得单元取得的所述第二单位修饰信息,进行所述再现数据的再现。
(附注25)
一种数据再现装置,用于根据具有附注16所述的信息包数据结构的信息包进行再现数据的再现,包括:
再现信息判断单元,其基于所述文本存在信息和所述再现信息存在信息,判断所述分割再现数据具有的分割再现数据再现信息;
数据再现单元,其基于所述再现信息判断单元的判断结果,进行所述再现数据的再现。
(附注26)
一种数据再现装置,用于根据具有附注17所述的信息包数据结构的信息包进行再现数据的再现,包括:
分割状况判断单元,其基于所述文本存在信息和所述再现信息存在信息以及所述分割再现数据位置信息,判断所述分割再现数据的分割状况;
再现控制单元,其基于所述分割状况判断单元的判断结果,进行所述分割再现数据的再现。
<附注说明>
附注1所述的信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括有效载荷部和头部。有效载荷部具有再现数据的被分割一部分的分割再现数据。头部具有表示有效载荷部包含分割再现数据的分割存在信息和分割再现数据的再现所需要的分割再现数据再现信息。
再现数据包括例如在时控文本中的文本样本(以后在该栏中相同)。分割再现数据再现信息是例如在再现数据所包含的再现所必需的信息当中由于分割再现数据而在一部分分割再现数据中未包含的信息或者是由于分割再现数据而在新的分割再现数据的再现上成为必需的信息等(以后在该栏中相同)。
在本发明信息包数据结构中,通过分割存在信息,能够识别再现数据分割。通过分割再现数据再现信息,即使在传输途中损失了若干个信息包,也能够进行所取得信息包之分割再现数据的再现。
附注2所述的信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括有效载荷部和头部。有效载荷部具有再现数据的被分割一部分的分割再现数据。头部具有字符代码信息,该信息用于判别分割再现数据所包含的被分割的文本数据的字符代码。
文本数据例如在开头部分包括字符代码,通过再现数据的分割,一部分分割再现数据成为不包含该字符代码。在时控文本中,字符代码用Unicode标准的UTF-8或者UTF-16 Big Endian编码。字符代码通过例如称为BOM(字节次序标记)的位串进行判断。
在本发明的信息包数据结构中,在头部具有用于判别分割再现数据之字符代码的字符代码信息,即使在传输途中损失了具有再现数据所包含文本数据之字符代码的信息包,也能够用正常的字符代码再现分割再现数据。
附注3所述的信息包数据结构是在附注2所述的信息包数据结构中,头部还具有用于表示字符代码信息之数据长度的第一数据长度信息。
第一数据长度信息是用于例如作为字节长度来指定字符代码信息数据长度的位串。
在本发明的信息包数据结构中,通过第一数据长度信息,能够使用可变长度的字符代码信息,并能够可靠地进行字符代码信息的判定。
附注4所述的信息包数据结构是在附注2所述的信息包数据结构中,字符代码信息是用于判别2种字符代码的1位标志。
在本发明的信息包数据结构中,通过1位标志,能够判别例如分割再现数据是用UTF-8或者UTF-16 Big Endian的哪一个进行编码的等。
附注5所述的信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括有效载荷部和头部。有效载荷部具有再现数据的被分割一部分的分割再现数据。头部具有在分割再现数据中修饰信息的作为位置信息的第一位置信息。
第一位置信息例如作为从有效载荷部开头开始的字节长度来指定修饰信息的位置。
在本发明的信息包数据结构中,即使在传输途中损失了包含例如时控文本中的文本样本所具有文本数据之数据长度的信息包,也能够识别分割再现数据中的修饰信息。结果,能够可靠地解码修饰信息,能够防止显示将修饰信息和文本数据错误混同的文本。
附注6所述的信息包数据结构是在附注5所述的信息包数据结构中,分割再现数据包含文本数据的至少一部分和在文本数据的至少一部分之后配置的修饰信息。并且,第一位置信息是分割再现数据包含的文本数据的数据长度。
分割再现数据从有效载荷部开头包含文本数据,其数据长度例如作为字节长度指定。
在本发明的信息包数据结构中,能够可靠地解码修饰信息,能够防止显示将修饰信息和文本数据错误混同的文本。
附注7所述的信息包数据结构是在附注5所述的信息包数据结构中,修饰信息包括多个部分修饰信息。分割再现数据包括第一部分修饰信息被分割出的一部分和在第一部分修饰信息被分割出的一部分之后配置的第二部分修饰信息。第一位置信息是第一部分修饰信息被分割出的一部分的数据长度。
被分割的第一部分修饰信息从有效载荷部的开头开始配置,其数据长度例如作为字节长度指定。
在本发明的信息包数据结构中,能够可靠地解码第二部分修饰信息。
附注6所述的信息包数据结构是在附注6或者附注7所述的信息包数据结构中,头部还具有表示分割再现数据包含文本数据至少一部分的文本存在信息。
在本发明的信息包数据结构中,在传输多个再现数据时,即使具有附注6或者附注7所述的信息包数据结构的信息包混杂,也能够通过有无文本数据来进行判别。
附注9所述的信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括有效载荷部和头部。有效载荷部具有再现数据的被分割一部分的分割再现数据。头部具有第二位置信息,该第二位置信息是在分割再现数据所包含的被分割的文本数据即分割文本数据的文本数据中的位置信息。
修饰信息例如作为字节单位或者文本正文字符数为单位来指定文本数据的修饰范围。第二位置信息是例如以字节单位或者将文本正文字符数作为单位来表达例如分割文本数据之文本数据中的开始位置的信息。
在本发明的信息包数据结构中,通过第二位置信息,能够判别应该赋予修饰的分割文本数据的范围,能够在分割文本数据中使用修饰效果。
附注10所述的信息包数据结构是在附注9所述的信息包数据结构中,第二位置信息以文本字符数为单位包含分割文本数据的位置信息。
修饰信息以文本正文的字符数为单位来指定文本数据的修饰范围。
在本发明的信息包数据结构中,通过第二位置信息,能够判别应该赋予修饰的分割文本数据的字符串范围,能够在分割文本数据中使用修饰效果。
附注11所述的信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括有效载荷部和头部。有效载荷部具有再现数据的被分割一部分的分割再现数据。头部具有在分割再现数据中不包含的修饰类型信息,该信息是表示修饰信息所包含的部分修饰信息的修饰类型。
部分修饰信息是例如时控文本中的文本样本的修饰符等。
在本发明的信息包数据结构中,例如,通过再现数据的分割,在分割再现数据不包含表示部分修饰信息之修饰类型的信息的情况下,通过使用头部具有的修饰类型信息,也能够使用分割再现数据具有的部分修饰信息。
附注12所述的信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括有效载荷部和头部。有效载荷部具有再现数据的被分割一部分的分割再现数据。头部具有在分割再现数据中包含的第一单位修饰信息的位置信息即第三位置信息,该信息是构成修饰信息所包含的部分修饰信息的单位修饰信息。
在本发明的信息包数据结构中,例如,通过再现数据的分割,在分割再现数据包含被分割的部分修饰信息的情况下,通过判别被分割的部分修饰信息的第一单位修饰信息,也能够在文本数据上使用修饰效果。
附注13所述的信息包数据结构是在附注12所述的信息包数据结构中,头部还具有表示第三位置信息之数据长度的第二数据长度信息。
在本发明的信息包数据结构中,能够更可靠地判别在第一单位修饰信息的识别上需要的第三位置信息,能够更可靠地进行第一单位修饰信息的识别。
附注14所述的信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括有效载荷部和头部。有效载荷部具有再现数据的被分割一部分的分割再现数据。头部具有在分割再现数据中未包含的第二单位修饰信息,该信息是构成修饰信息所包含的部分修饰信息的单位修饰信息。
第二单位修饰信息在例如由于分割在分割再现数据中成为未包含的单位修饰信息当中,为了使用分割再现数据包含的单位修饰信息而成为必需的信息。
在本发明的信息包数据结构中,通过使用第二单位修饰信息,能够使用分割再现数据包含的被分割的修饰信息。
附注15所述的信息包数据结构是在附注14所述的信息包数据结构中,头部还具有表示第二单位修饰信息之数据长度的第三数据长度信息。
第二单位修饰信息是依赖于部分修饰信息之修饰类型的信息。
在本发明的信息包数据结构中,通过第三数据长度信息,能够更可靠地进行第二单位修饰信息的识别。
附注16所述的信息包数据结构,用于传输包含带有修饰信息之文本数据的再现数据并在再现装置中顺次再现,包括有效载荷部和头部。有效载荷部具有再现数据的被分割一部分的分割再现数据。头部具有在有效载荷部上附加的文本存在信息和再现信息存在信息。并且,文本存在信息表示分割再现数据包含文本数据的至少一部分。再现信息存在信息表示头部包含分割再现数据的再现所需要的分割再现数据再现信息。
分割再现数据再现信息是指用于使用例如分割再现数据包含的文本数据的字符代码信息和分割再现数据包含的修饰信息的信息等。
分割再现数据再现信息具有的信息种类依赖于文本存在信息。因此,通过文本存在信息和再现信息存在信息之间的组合,可识别分割再现数据再现信息具有的信息种类。
在本发明的信息包数据结构中,即使对分割再现数据再现信息具有的全部信息没有分配位串,通过文本存在信息和再现信息存在信息的组合能够识别分割再现数据再现信息具有的信息。即,能够提高对信息包损失的抵抗性和提高位效率。
附注17所述的信息包数据结构是在附注16所述的信息包数据结构中,头部还具有分割再现数据位置信息,其表示分割再现数据是位于再现数据最后的数据。
通过文本存在信息、再现信息存在信息和分割再现数据位置信息的组合,能够判别分割再现数据的分割状况。
在本发明的信息包数据结构中,能够判别分割再现数据的分割状况。因此,还能够判断分割再现数据再现开始的时刻。
附注18所述的数据再现装置,用于根据具有附注1所述的信息包数据结构的信息包进行再现数据的再现,包括分割判断单元和数据再现单元。分割判断单元从分割存在信息中判断有效载荷部包含分割再现数据。数据再现单元基于分割判断单元的判断结果,从分割再现数据再现信息中进行分割再现数据的再现。
数据再现单元基于分割判断单元的判断结果,进行信息包的分析。即,当判断有效载荷部中包含分割再现数据时,能够分析分割再现数据再现信息和进行分割再现数据的再现。
在本发明的数据再现装置中,当在传输途中损失了若干信息包时,也能够进行所取得分割再现数据的再现。
附注19所述的数据再现装置,用于根据具有附注2所述的信息包数据结构的信息包进行再现数据的再现,包括字符代码判别单元和数据再现单元。字符代码判别单元从字符代码信息中判别分割再现数据包含的被分割的文本数据的字符代码。数据再现单元基于字符代码判别单元的判别结果,进行分割再现数据的再现。
数据再现单元基于字符代码判别单元的判别结果,进行信息包的分析。即,能够判别分割再现数据包含的文本数据的字符代码和进行分割再现数据的再现。
在本发明的数据再现装置中,当在传输途中损失了若干信息包时,也能够用正常的字符代码来再现所取得分割再现数据。
附注20所述的数据再现装置,用于根据具有附注5所述的信息包数据结构的信息包进行再现数据的再现,包括第一位置信息取得单元和数据再现单元。第一位置信息取得单元从第一位置信息中取得在分割再现数据中的修饰信息的位置信息。数据再现单元基于第一位置信息取得单元取得的位置信息,进行分割再现数据的再现。
数据再现单元基于第一位置信息取得单元取得的第一位置信息,进行信息包的分析。即,从第一位置信息判别分割再现数据中的修饰信息以及进行分割再现数据的再现。
在本发明的数据再现装置中,当在传输途中损失了若干信息包时,也能够在所取得分割再现数据上使用修饰效果。
附注21所述的数据再现装置,用于根据具有附注9所述的信息包数据结构的信息包进行再现数据的再现,包括第二位置信息取得单元和数据再现单元。第二位置信息取得单元从第二位置信息中取得在分割再现数据包含的被分割的文本数据即分割文本数据的文本数据中的位置信息。数据再现单元基于第二位置信息取得单元取得的位置信息,进行分割再现数据的再现。
修饰信息例如以字节单位或者将文本正文的字符数作为单位来指定文本数据的修饰范围。第二位置信息是例如以字节单位或者文本正文的字符数作为单位来表达例如分割文本数据之文本数据中的开始位置的信息等。
数据再现单元基于第二位置信息取得单元取得的第二位置信息来进行信息包的分析。即,从第二位置信息特定附加修饰的分割文本数据的范围和进行分割文本数据的再现。
在本发明的数据再现装置中,当在传输途中损失了若干信息包时,能够在所取得分割文本数据中使用修饰效果。
附注22所述的数据再现装置,用于根据具有附注11所述的信息包数据结构的信息包进行再现数据的再现,包括修饰类型取得单元和数据再现单元。修饰类型取得单元从修饰类型信息中取得分割再现数据包含的部分修饰信息的修饰类型。数据再现单元基于修饰类型取得单元取得的修饰类型,进行分割再现数据的再现。
部分修饰信息是例如在时控文本中的文本样本的修饰符等。
在本发明的数据再现装置中,例如,通过再现数据的分割,当分割再现数据不包含表示部分修饰信息之修饰类型的信息时,通过使用头部具有的修饰类型信息,能够使用分割再现数据具有的部分修饰信息。
附注23所述的数据再现装置,用于根据具有附注12所述的信息包数据结构的信息包进行再现数据的再现,包括第一单位修饰信息取得单元和数据再现单元。第一单位修饰信息取得单元从第三位置信息中取得第一单位修饰信息。数据再现单元基于第一单位修饰信息取得单元取得的第一单位修饰信息,进行再现数据的再现。
数据再现单元基于第一单位修饰信息取得单元取得的第一单位修饰信息,进行信息包的分析。
在本发明的数据再现装置中,例如,当分割再现数据包含被分割的部分修饰信息时,通过在被分割的部分修饰信息当中判别第一单位修饰信息,能够在文本数据上使用修饰效果。
附注24所述的数据再现装置,用于根据具有附注14所述的信息包数据结构的信息包进行再现数据的再现,包括第二单位修饰信息取得单元和数据再现单元。第二单位修饰信息取得单元取得第二单位修饰信息。数据再现单元基于第二单位修饰信息取得单元取得的第二单位修饰信息,进行再现数据的再现。
数据再现单元基于第二单位修饰信息取得单元取得的第二单位修饰信息,进行信息包的分析。
在本发明的数据再现装置中,通过第二单位修饰信息,能够使用分割再现数据包含的被分割的修饰信息。
附注25所述的数据再现装置,用于根据具有附注16所述的信息包数据结构的信息包进行再现数据的再现,包括再现信息判断单元和数据再现单元。再现信息判断单元基于文本存在信息和再现信息存在信息,判断分割再现数据具有的分割再现数据再现信息。数据再现单元基于再现信息判断单元的判断结果,进行再现数据的再现。
分割再现数据再现信息是指例如用于利用分割再现数据所包含文本数据的字符代码信息和分割再现数据所包含修饰信息的信息等。
分割再现数据再现信息具有的信息种类依赖于文本存在信息。因此,通过文本存在信息和再现信息存在信息之间的组合,可判别分割再现数据再现信息具有的信息种类。
在本发明的数据再现装置中,通过文本存在信息和再现信息存在信息之间的组合能够判别分割再现数据再现信息具有的信息。
附注26所述的数据再现装置,用于根据具有附注17所述的信息包数据结构的信息包进行再现数据的再现,包括分割状况判断单元和再现控制单元。分割状况判断单元基于文本存在信息和再现信息存在信息以及分割再现数据位置信息,判断分割再现数据的分割状况。再现控制单元基于分割状况判断单元的判断结果,进行分割再现数据的再现。
在本发明的信息包数据结构中,能够判别分割再现数据的分割状况。由此,再现控制单元能够判断分割再现数据再现开始的时刻。
【第六实施方式】
通过将用于实现在上述各个实施方式所示的数据传输方法、数据接收方法、数据再现方法或者数据多路复用方法的程序记录到软盘等记录介质上,能够在独立的计算机***中简单地实施上述各个实施方式所示的处理。
图50是通过使用将上述各个实施方式的数据传输方法、数据接收方法、数据再现方法或者数据多路复用方法记录到软盘等记录介质上的程序并通过计算机***实施时的说明图。
图50(b)表示从软盘的正面看的外观、断面结构以及软盘,图50(a)表示记录介质本身即软盘的物理格式的例子。软盘FD内置于箱F内。在该盘的表面以同心圆状形成了从外周向内周的多个轨道Tr。各个轨道在角度方向被分割成16个扇区Se。因此,在保存上述程序的软盘中,在上述软盘FD上被分配的区域记录了上述程序。
图50(c)表示用于在软盘FD上进行上述程序之记录再现的构成。当将实现数据传输方法、数据接收方法、数据再现方法或者数据多路复用方法的上述程序记录到软盘FD上时,通过介入软盘驱动器从计算机***Cs写入上述程序。当通过软盘内的程序在计算机***中构筑上述数据传输方法、数据接收方法、数据再现方法或者数据多路复用方法时,通过软盘驱动器从软盘中读出程序以及传输到计算机***。
而且,在上述说明中,尽管通过使用软盘作为记录介质进行了说明,但使用光盘也同样能够进行。记录介质不限于此。只要是能够记录程序的IC卡、ROM盒等,也同样能够实施。
【第七实施方式】
这里,还说明在上述实施方式所示的信息包数据结构、数据传输装置、数据接收装置、数据再现装置和数据多路复用装置的应用例子和使用它的***。
图51是表示实现内容配送服务之内容提供***ex100整体构成的框图。将通信服务的提供范围分割成希望大小,在各个单元区内分别设置了固定的无线站即基站ex107~ex110。
该内容提供***ex100通过介入例如因特网ex101上的因特网服务提供器ex102和电话网ex104以及基站ex107~ex110,连接了计算机ex111、PDA(个人数字助手)ex112、摄像机ex113、移动电话机ex114、带有摄像机的移动电话机ex115等各种设备。
但是,内容提供***ex100不局限于图51那样的组合,也可以通过组合连接任何一个。可以不介入固定无线站即基站ex107~ex110而使各个设备直接连接到电话网ex104。
摄像机ex113是数字视频摄像机等,是能够动态摄像的设备。移动电话机是PDC(Personal Digital Communication:个人数字通信)方式、CDMA(Code Division Multiple Access:码分多址接入)方式、W-CDMA(Wideband-Code Division Multiple Access:宽带码分多址接入)方式或者GSM(Global System for Mobile Communication:全球移动通信***)方式的移动电话机,或者是PHS(Personal Handyphone System:个人手提电话***)等。
流服务器ex103通过基站ex109和电话网ex104连接摄像机ex113,通过使用摄像机ex113使基于用户发送的被编码处理的数据的实况配送变成可能。摄影数据的编码处理既可以在摄像机ex113中进行,也可以在进行数据发送处理的服务器中进行。由摄像机116摄影的动态图像数据可以通过介入计算机ex111被发送到流服务器ex103。摄像机ex116是数字摄像机等,是能够摄像静态图像和动态图像的设备。此时,动态图像数据的编码可以在摄像机ex116中进行,也可以在计算机ex111中进行。编码处理变成在计算机ex111和摄像机ex116具有的LSIex117中进行处理。而且,可以将图像编码/解码用的软件装入能够用计算机ex111等读取的记录介质即任何一种存储媒体(CD-ROM,软盘,硬盘等)中。而且,可以用带有摄像机的移动电话机ex115来发送动态图像数据。此时的动态图像数据是由移动电话机ex115具有的LSI所编码处理的数据。
在该内容提供***ex100中,编码处理用户通过摄像机ex113、摄像机ex116等摄影的内容(例如为拍摄音乐会实况的图像等)并发送到流服务器ex103,另一方面,流服务器ex103对要求的某个客户机流配送上述内容数据。作为客户机,有能够解码上述被编码处理数据的计算机ex111、PDAex112、摄像机ex113、移动电话机ex114等。通过这样做,内容提供***ex100是通过能够在客户机中接收再现被编码的数据并且在客户机中实时接收解码以及再现从而能够实现个人广播的***。
这里,流服务器ex103还具有作为本申请发明之数据传输装置、数据多路复用装置的功能。而且,计算机ex111、PDAex112、摄像机ex113和移动电话机ex114等也具有作为本申请发明之数据接收装置、数据再现装置的功能。因此,能够通过计算机ex111、PDAex112、摄像机ex113和移动电话机ex114等从流服务器ex103中取得以MP4文件形式存储的媒体数据并流显示时控文本。
图52是表示使用本发明信息包数据结构、数据接收装置、数据再现装置和数据多路复用装置的移动电话机ex115的示意图。移动电话机ex115具有:天线ex201,其用于与基站ex110之间接收发送电波;摄像机部ex203,其能够摄取CCD摄像机等的视频和静态图像;液晶显示器等显示部ex202,其显示由摄像机部ex203摄影的视频以及由天线ex201接收的视频等被解码的数据;由操作键ex204组构成的机体部;用于进行语音输出的扬声器等语音输出部ex208;用于进行语音输入的麦克风等语音输入部ex205;用于保存拍摄的动态图像或者静态图像的数据、接收的邮件数据、动态图像数据或者静态图像数据、被编码数据或者被解码数据的记录介质ex207;用于可将记录介质ex207安装在移动电话机ex115上的开口部ex206。记录介质ex207是在SD卡塑料壳内植入闪烁存储器元件的器件,闪烁存储器元件是可电写入擦除的非易失性存储器的EEPROM(可电擦除可电编程只读存储器)的一种。
而且,使用图53说明移动电话机ex115。移动电话机ex115相对于用于统一控制包括显示部ex202和操作键ex204之机体部各个部分的主控制部ex311,通过介入同步总线ex313,相互连接了电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD(液晶显示器)控制部ex302、图像解码部ex309、多路复用分离部ex308、记录再现部ex307、调制解调电路部ex306和语音处理部ex305、文本解码部ex314。
电源电路部ex310,通过用户操作而通话和电源开关成为接通状态时,从电池包中对各个部分供给电能,使带有摄像机的数字移动电话机ex115启动为可操作的状态。
移动电话机ex115基于由CPU、ROM和RAM等构成的主控制部ex311的控制,在语音通话模式时通过语音处理部ex305将由语音输入部ex205收集的语音信息变换成数字语音数据,用调制解调电路部ex306将其进行频谱扩散处理,用接收发送电路部ex301实施数字模拟变换处理和频率变换处理,之后,通过介入天线ex201发送。移动电话机ex115在语音通话模式时,放大由天线ex201接收的接收信号和实施频率变换处理以及模拟数字变换处理,用调制解调电路部ex306进行频谱逆扩散处理,通过语音处理部ex305变换到模拟语音信号,之后,通过介入语音输出部ex208输出它。
而且,当在数据通信模式发送电子邮件时,通过机体部操作键ex204的操作所输入的电子邮件的文本数据通过介入操作输入控制部ex304被输出到主控制部ex311。主控制部ex311用调制解调电路部ex306频谱扩散处理文本数据,并用接收发送电路部ex301实施数字模拟变换处理和频率变换处理,之后,通过介入天线ex201而发送到基站ex110。
当在数据通信模式发送图像数据时,通过介入摄像机接口部ex303将由摄像机部ex203摄像的图像数据提供给图像编码部ex312。当不发送图像数据时,也能够通过介入摄像机接口部ex303和LCD控制部ex302将由摄像机部ex203摄像的图像数据直接显示在显示部ex202上。
图像编码部ex312通过压缩编码将从摄像机部ex203提供的图像数据变换到编码图像数据,并将其输出到多路复用分离部ex308。此时,移动电话机ex115在通过摄像机部ex203摄像时通过介入语音处理部ex305将由语音输入部ex205收集的语音作为数字语音数据输出到多路复用分离部ex308。
多路复用分离部ex308将由图像编码部ex312提供的编码图像数据和由语音处理部ex305提供的语音数据以规定方式多路复用,用调制解调电路部ex306频谱扩散处理该结果所得的多路复用数据,用接收发送电路部ex301实施数字模拟变换处理和频率变换处理,之后,通过介入天线ex201发送。
在数据通信模式时,当接收主页所链接的动态图像文件数据的情况下,将通过介入天线ex201从基站ex110接收的接收信号用调制解调电路部ex306进行频谱逆扩散处理,并将结果所得的多路复用数据输出到多路复用分离部ex308。
当解码通过介入天线ex201接收的多路复用数据时,多路复用分离部ex308通过分离多路复用数据而分成图像数据的编码位流和语音数据的编码位流,在通过介入同步总线ex313将该编码图像数据提供给图像解码部ex309的同时,还将该语音数据提供给语音处理部ex305。而且,在MP4文件当中,将时控文本轨道提供给文本解码部ex314。
接着,图像解码部ex309通过解码图像数据的编码位流生成再现动态图像数据,通过介入LCD控制部ex302将其提供给显示部ex202,由此显示例如在主页上所链接的动态图像文件所包含的动态图像数据。同时,语音处理部ex305将语音数据变换成模拟语音信号,之后,将其提供给语音输出部ex208,由此再现出例如在主页上所链接的动态图像文件所包含的语音数据。文本解码部ex314按上述实施方式述及的那样再现文本样本,通过介入LCD控制器ex302将其提供给显示部ex202,从而与再现动态图像数据同步地显示。
而且,不限于上述***的例子,最近通过卫星、地面波的数字广播变成了话题,在图54所示的数字广播用的***中,也能够安装本发明的数据传输装置、数据接收装置、数据多路复用装置或者数据再现装置的任一个。
具体地,在基站ex409,视频信息的编码位流通过介入电波被传输到通信或者广播卫星ex410上。接收它的广播卫星ex410发送广播用的电波,该电波由具有卫星广播接收设备的***ex406接收,通过电视(接收机)ex401或者机顶盒(STB)ex407等装置来解码编码位流并再现它。在读取及解码记录介质即CD和DVD等存储媒体ex402所记录的编码位流的再现装置ex403中也能够安装本发明的数据接收装置、数据再现装置。此时,被再现的视频信号和文本轨道被显示在监视器ex404上。在有线电视用的电缆ex405或者卫星/地面波广播的天线ex406上所链接的机顶盒ex407内也可安装本发明的数据接收装置和数据再现装置,还可考虑用电视的监视器ex408再现它的构成。此时,不是在机顶盒,而是可以在电视内安装数据接收装置和数据再现装置。还能够通过具有天线ex411的车ex412来接收从卫星ex410或者从基站ex107发送的信号,能够将动态图像再现在车ex412具有的汽车导航仪ex413等显示装置上。
而且,能够将图像信号记录在记录介质上。作为具体例子,有将图像信号记录在DVD盘ex421上的DVD记录器以及记录在硬盘上的盘记录器等记录器ex420。还能够记录在SD卡ex422上。如果记录器ex420安装了本发明的数据再现装置,则能够再现在DVD盘ex421和SD卡ex422上所记录的图像信号并用监视器ex408显示。
而且,对于汽车导航仪ex413的构成,在图54所示构成当中,可以考虑除了摄像机部ex203和摄像机接口部ex303、图像编码部ex312之外的构成,同样也可以在计算机ex111和电视(接收机)ex401等中考虑。
上述移动电话机ex114的终端除了具有编码器/解码器两者的接收发送型终端之外,也可考虑仅仅有编码器的发送终端、仅仅有解码器的接收终端这三种安装形式。
这样,能够将上述实施方式所示信息包数据结构、数据传输装置、数据传输方法、数据接收装置、数据接收方法、数据再现装置和数据多路复用装置应用于上述任意一个设备/***中,通过这样,能够获得上述实施方式中说明的效果。
【第八实施方式】
本发明不局限于有关上述实施方式,能够在不脱离本发明范围下进行各种变形或者修正。上述实施方式中述及的方法还能够通过计算机等作为程序来实现。
(工业实用性)
有关本发明的传输数据结构能够适用于文本传输数据等,其提供了优选适用于以信息流型配送来使用时控文本的传输数据结构。
Claims (26)
1、一种文本传输用数据的传输数据结构,用于传输有关文本数据再现之文本再现用数据并在数据接收装置中顺次再现,包括:
与所述文本数据全体的再现相关的全体文本头部数据;
包含被分割的所述文本数据的分割文本数据;
针对每个所述分割文本数据配置的、与所述分割文本数据的每个再现相关的分割文本头部数据。
2、根据权利要求1所述的文本传输用数据的传输数据结构,其特征在于,所述分割文本头部数据包括与所述分割文本数据的再现时间相关的再现时间信息。
3、根据权利要求1或者2所述的文本传输用数据的传输数据结构,其特征在于,所述分割文本头部数据包括与所述分割文本数据的数据长度相关的数据长度信息。
4、根据权利要求1~3中任一项所述的文本传输用数据的传输数据结构,其特征在于,所述全体文本头部数据包括:
文本再现信息,其包含与所述文本数据的再现区域相关的信息;
格式信息,其包含与所述分割文本数据的格式相关的信息。
5、根据权利要求4所述的文本传输用数据的传输数据结构,其特征在于,所述全体文本头部数据还包括数据长度定制信息,其用于定制所述分割文本头部数据的数据长度。
6、根据权利要求4或者5所述的文本传输用数据的传输数据结构,其特征在于,所述分割文本头部数据包括表示所述分割文本数据和所述格式信息之间关联的索引。
7、根据权利要求4~6中任一项所述的文本传输用数据的传输数据结构,其特征在于,
所述文本传输用数据由多个信息包构成,
所述文本再现信息以与所述分割文本数据和所述分割文本头部数据不同的形式被打包。
8、根据权利要求7所述的文本传输用数据的传输数据结构,其特征在于,所述格式信息以与所述文本再现信息相同的形式被打包。
9、根据权利要求7所述的文本传输用数据的传输数据结构,其特征在于,所述格式信息以与所述分割文本数据和所述分割文本头部数据相同的形式被打包。
10、根据权利要求9所述的文本传输用数据的传输数据结构,其特征在于,
所述格式信息包括多个格式信息单位,
所述格式信息单位针对每个所述分割文本数据配置。
11、根据权利要求1~10中任一项所述的文本传输用数据的传输数据结构,其特征在于,所述文本传输用数据是作为多路复用数据传输的数据。
12、一种文本传输用数据的数据接收方法,包括:
接收步骤,用于接收具有权利要求1~11中任一项所述的传输数据结构的文本传输用数据;
再现步骤,基于所述文本传输用数据包含的所述全体文本头部数据、所述分割文本数据和所述分割文本头部数据,顺次再现所述分割文本数据包含的被分割的所述文本数据。
13、一种文本传输用数据的数据接收装置,包括:
接收单元,用于接收具有权利要求1~11中任一项所述的传输数据结构的文本传输用数据;
再现单元,基于所述文本传输用数据包含的所述全体文本头部数据、所述分割文本数据和所述分割文本头部数据,顺次再现所述分割文本数据包含的被分割的所述文本数据。
14、一种数据接收程序,用于通过计算机实现具有权利要求1~11中任一项所述的传输数据结构之文本传输用数据的数据接收方法,所述数据接收程序在计算机上实现数据接收方法,该数据接收方法包括:
接收步骤,用于接收具有权利要求1~11中任一项所述的传输数据结构的文本传输用数据;
再现步骤,基于所述文本传输用数据包含的所述全体文本头部数据、所述分割文本数据和所述分割文本头部数据,顺次再现所述分割文本数据包含的被分割的所述文本数据。
15、一种文本传输用数据的传输数据结构,用于传输并顺次再现有关文本数据再现之文本再现用数据,
所述文本再现用数据包括:分割了所述文本数据的多个分割文本数据、以及包含用于再现所述分割文本数据的信息的文本头部数据,
所述文本传输用数据由多个信息包构成,
所述分割文本数据以显示顺序被配置在所述各个信息包内,
所述信息包具有所述各个分割文本数据的再现时刻信息,
第二信息包包括重复其前第一信息包的分割文本数据和再现时刻信息的分割文本数据。
16、根据权利要求15所述的文本传输用数据的传输数据结构,其特征在于,
使所述信息包所包含的所述分割文本数据的个数确定作为这样的个数,其使得在与为了所述文本传输用数据的传输所确保的传输线路频带大致一致的频带上传输所述信息包。
17、根据权利要求15或者16所述的文本传输用数据的传输数据结构,其特征在于,所述文本传输用数据是作为多路复用数据传输的数据。
18、一种文本传输用数据的数据接收方法,是具有权利要求15~17中任一项所述的传输数据结构之文本传输用数据的数据接收方法,包括:
时刻取得步骤,用于取得所述第一信息包各个分割文本数据之再现时刻信息所表示的时刻Tn和所述第二信息包最初分割文本数据之再现时刻信息所表示的时刻Ta;
置换步骤,将所述第一信息包中的所述时刻Tn是与所述时刻Ta相等或者之后的分割文本数据置换成所述第二信息包中再现时刻信息所重复的分割文本数据。
19、一种文本传输用数据的数据接收方法,是具有权利要求15~17中任一项所述的传输数据结构之文本传输用数据的数据接收方法,包括:
接收延迟判断步骤,用于判断是否在第一分割文本数据的接收时刻Td比所述第一分割文本数据之再现时刻信息表示的时刻Tn更迟且比下一个第二分割文本数据之再现时刻信息表示的时刻Tn+1更早被接收;
再现步骤,当所述判断是肯定的时,在从所述接收时刻Td开始到所述时刻Tn+1为止的时间上再现所述第一分割文本数据。
20、根据权利要求19所述的文本传输用数据的数据接收方法,其特征在于,在所述再现步骤,根据在所述第一分割文本数据中从所述时刻Tn到所述接收时刻Td的时间所经过时点的再现状态,开始所述第一分割文本数据的再现。
21、一种文本传输用数据的数据接收装置,该文本传输用数据具有权利要求15~17中任一项所述的传输数据结构,所述数据接收装置包括:
时刻取得单元,用于取得所述第一信息包各个分割文本数据之再现时刻信息所表示的时刻Tn和所述第二信息包最初分割文本数据之再现时刻信息所表示的时刻Ta;
置换单元,将所述第一信息包中的所述时刻Tn是与所述时刻Ta相等或者之后的分割文本数据置换成所述第二信息包中再现时刻信息所重复的分割文本数据。
22、一种文本传输用数据的数据接收装置,该文本传输用数据具有权利要求15~17中任一项所述的传输数据结构,所述数据接收装置包括:
接收延迟判断单元,用于判断是否在第一分割文本数据的接收时刻Td比所述第一分割文本数据之再现时刻信息表示的时刻Tn更迟且比下一个第二分割文本数据之再现时刻信息表示的时刻Tn+1更早被接收;
再现单元,当所述判断是肯定的时,在从所述接收时刻Td开始到所述时刻Tn+1为止的时间上再现所述第一分割文本数据。
23、根据权利要求22所述的文本传输用数据的数据接收装置,其特征在于,在所述再现单元中,根据在所述第一分割文本数据中从所述时刻Tn到所述接收时刻Td的时间所经过时点的再现状态,开始所述第一分割文本数据的再现。
24、一种数据接收程序,用于通过计算机实现具有权利要求15~17中任一项所述的传输数据结构之文本传输用数据的数据接收方法,所述数据接收程序在计算机上实现数据接收方法,该数据接收方法包括:
时刻取得步骤,用于取得所述第一信息包各个分割文本数据之再现时刻信息所表示的时刻Tn和所述第二信息包最初分割文本数据之再现时刻信息所表示的时刻Ta;
置换步骤,将所述第一信息包中的所述时刻Tn是与所述时刻Ta相等或者之后的分割文本数据置换成所述第二信息包中再现时刻信息所重复的分割文本数据。
25、一种数据接收程序,用于通过计算机实现具有权利要求15~17中任一项所述的传输数据结构之文本传输用数据的数据接收方法,所述数据接收程序在计算机上实现数据接收方法,该数据接收方法包括:
接收延迟判断步骤,用于判断是否在第一分割文本数据的接收时刻Td比所述第一分割文本数据之再现时刻信息表示的时刻Tn更迟且比下一个第二分割文本数据之再现时刻信息表示的时刻Tn+1更早被接收;
再现步骤,当所述判断是肯定的时,在从所述接收时刻Td开始到所述时刻Tn+1为止的时间上再现所述第一分割文本数据。
26、根据权利要求25所述的数据接收程序,其特征在于,在所述再现步骤中,根据在所述第一分割文本数据中从所述时刻Tn到所述接收时刻Td的时间所经过时点的再现状态,开始所述第一分割文本数据的再现。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002295423 | 2002-10-08 | ||
JP295423/2002 | 2002-10-08 | ||
JP24613/2003 | 2003-01-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1703883A true CN1703883A (zh) | 2005-11-30 |
Family
ID=35632728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2003801011253A Pending CN1703883A (zh) | 2002-10-08 | 2003-10-03 | 传输数据结构、数据接收方法、数据接收装置和数据接收程序 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1703883A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101237446B (zh) * | 2007-01-30 | 2012-04-25 | 展讯通信(上海)有限公司 | 一种流式文本的传输方法 |
CN106458115A (zh) * | 2014-09-12 | 2017-02-22 | 松下电器(美国)知识产权公司 | 车辆用通信装置、车载网络***以及车辆用通信方法 |
CN109379342A (zh) * | 2018-09-27 | 2019-02-22 | 西安电子科技大学 | 基于udp网络协议的上位机与dsp数据传输方法 |
-
2003
- 2003-10-03 CN CNA2003801011253A patent/CN1703883A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101237446B (zh) * | 2007-01-30 | 2012-04-25 | 展讯通信(上海)有限公司 | 一种流式文本的传输方法 |
CN106458115A (zh) * | 2014-09-12 | 2017-02-22 | 松下电器(美国)知识产权公司 | 车辆用通信装置、车载网络***以及车辆用通信方法 |
CN106458115B (zh) * | 2014-09-12 | 2019-07-19 | 松下电器(美国)知识产权公司 | 电子控制单元、车载网络***以及车辆用通信方法 |
CN109379342A (zh) * | 2018-09-27 | 2019-02-22 | 西安电子科技大学 | 基于udp网络协议的上位机与dsp数据传输方法 |
CN109379342B (zh) * | 2018-09-27 | 2021-07-27 | 西安电子科技大学 | 基于udp网络协议的上位机与dsp数据传输方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1278216C (zh) | 设备关联管理***、网络设备及设备关联管理方法 | |
CN1666532A (zh) | 图像编码方法和图像解码方法 | |
CN1484922A (zh) | 运动图像编码方法及运动图像解码方法 | |
CN100346286C (zh) | 用于改变网络浏览器的布局和功能的方法 | |
CN1194317C (zh) | 通信装置和通信方法 | |
CN1823368A (zh) | 媒体数据显示装置、媒体数据显示方法及媒体数据显示程序 | |
CN1293500C (zh) | 组织计算机网络中电子邮件文档的方法及电子邮件*** | |
CN1802818A (zh) | 网络***、学习桥式节点、学习方法及其程序 | |
CN100342691C (zh) | 多模式对话处理方法 | |
CN1669018A (zh) | 手持终端框架*** | |
CN1609855A (zh) | 查询优化***和方法 | |
CN1856036A (zh) | 字幕产生设备和方法 | |
CN1290445A (zh) | 用于媒体数据传输的方法和装置 | |
CN1308437A (zh) | 用于媒体数据传输的方法和装置 | |
CN1545322A (zh) | 发送和接收动态图像数据的方法及其设备 | |
CN1271862C (zh) | 动画图象编码方法和动画图象译码方法 | |
CN101030138A (zh) | 应用构架 | |
CN1178461C (zh) | 图像编码装置、图像译码装置、传真装置 | |
CN1437090A (zh) | 接口装置、动作控制方法、画面显示方法 | |
CN1707502A (zh) | 图像处理装置及其控制方法 | |
CN1509575A (zh) | 图像编码方法及图像译码方法 | |
CN1217106A (zh) | 能灵活选定输出模式的无线寻呼机 | |
CN1720523A (zh) | 用于从mpeg-4文本表示创建mpeg-4中间格式的有效手段 | |
CN1703883A (zh) | 传输数据结构、数据接收方法、数据接收装置和数据接收程序 | |
CN1311938A (zh) | 数据发送及接收的方法与装置以及程序记录媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |