CN1695377A - 传输数据结构以及发送该传输数据结构的方法与设备 - Google Patents

Abstract

通过将有关于在静态媒体传输数据中包含的分割静态媒体数据的重现的信息在先于该静态媒体传输数据的静态媒体传输数据中存储并发送，当未收到分割静态媒体数据时就可以判断是原来就没有包含分割静态数据还是丢失了特定的分割静态数据。由此，当在流传输型分发中使用诸如定时文本的静态媒体时，如果数据接收设备没有收到静态媒体数据，则判断是不存在要显示的下一媒体数据还是在传输过程中丢失了媒体数据并且不能显示该媒体数据，由此向用户正确地报告媒体数据丢失。另外，在不增加预缓冲的情况下，可以减少分组数据丢失检测与进行重新发送请求所需的时间。

Description

传输数据结构以及发送该传输数据结构的方法与设备

技术领域

本发明涉及一种发送诸如文本数据等静态媒体数据的传输数据结构，以及用于发送静态媒体数据的方法与装置。

背景技术

3GPP(Third Generation Partnership Project，第三代伙伴项目)的SA(Service and System Aspect，服务与***方面)WG4组已经开发出多媒体分发标准TS26.234，3GPP为开发第三代移动通信(W-CDMA)全球标准的组织。5.2.0版的多媒体分发标准TS26.234扩展了可用于下载型多媒体分发的MP4(ISO/IEC 14496-1：2001)格式的文件，并且定义了文本数据(timed text，定时文本)的数据结构。这使之不仅能够在播放作为下载的MP4文件的服务中播放视频与音频，而且能够播放文本。

使用文本的信息通知作为信息通知手段非常重要，这是因为与视频相比，待发送的信息可以直接被发送给用户，并且数据量可能非常少。在播放作为下载的MP4文件的上述服务中，文本作为独立的轨道(track)发送，而不是将视频与文本组合起来以编码并且发送结果，并且这减少了由于文本被破坏而不能读取文本的情况，并且使之能够高效地发送信息通知。

另外，在3GPP定义的定时文本中，部分文本可以被修改、移动，或者可以将至另一URL的链接附接到字符串(风格、高亮、卡拉OK、字符框、闪烁、滚动、超链接等等)。这使之能够回放以各种表达方式发送的信息。

此处，使用图1解释3GPP定义的定时文本的数据结构。

MP4文件10包含头部部分20与数据部分30。头部部分20包含轨道头部40、样本描述50、以及样本表60。数据部分30包含文本样本70、71、……。

轨道头部40为有关于定时文本回放的信息，并且包含以下信息：布局(显示区域的大小，与视频的相对位置)、层(与诸如视频等其他媒体的层次关系)、定时文本的回放时间、文件回放时间与日期、以及以后描述的时间-样本框61的时间比例、等等。

样本描述50包含多个样本项51、52、……。

样本项51、52、……为有关于文本样本70、71、……的缺省格式的信息，包含存在或不存在滚动及其方向、水平与垂直对齐位置、背景颜色、字体名称、字体大小等等。

样本表60包含时间-样本框61、样本大小框62、以及样本-信息块框63。时间-样本框61依照文本样本70、71、……的排列顺序包含有关于文本样本70、71、……的回放时间的信息65、66、……。信息65、66、……所存储的值的时间比例由轨道头部40指定。更具体地讲，轨道头部40存储一秒解晰度作为时间比例。例如，当轨道头部40所存储的时间比例值为[1000]时，可以获得以1/1000秒为单位的解晰度。相应地，通过将文本样本70、71、……的回放时间转换为秒单位而获得的值变为通过将信息65、66、……除以轨道头部40所存储的时间比例值而获得的值。例如，当时间比例值为[1000]时，信息66表示的值[3400]指文本样本71播放3.4秒。以下描述假定时间比例值为[1000]。样本大小框62依照文本样本70、71、……的排列顺序包含有关于文本样本70、71、……的数据长度的信息67、68、……。这使播放方可以检测各个文本样本70、71、……的信息之间的每个边界。样本-信息块框63包含将文本样本70、71、……与样本项51、52、……关联的信息。

文本样本70包含文本75、文本75的数据长度76、以及修饰符77。修饰符77为有关文本75可选格式的信息，以及用来以高量、卡拉OK、闪烁、超链接等等播放文本75的信息。因为其他文本样本71……具有与文本样本70相同的数据结构，所以省略描述。

下面使用图2具体描述定时文本的回放。

首先，参照图2A解释样本项51的具体结构。其他样本项52……具有相同的结构，省略描述。样本项51包含存在或不存在滚动及方向(“显示标志”)、显示区域中的水平与垂直对齐位置(“水平对齐”、“垂直对齐”)、由RGB值与透明度表示的背景颜色(“背景颜色”)、显示区域(“文本框”)、字体名称(“字体表”、“字体ID”)、字体大小(“字体大小”)、诸如粗体、斜体、下划线等风格(“表面风格”)、以及由RGB值与透明度表示的字体颜色(“字体颜色”)。  另外，指定该格式所应用的范围的数据(“开始字符”、”结束字符”)总是取值[0]，并且显示该格式应用到样本项51指定的格式所施加的文本样本中的文本的整个范围。图2中显示的样本项51的每个值意味着指定了文本75的缺省格式，从而背景颜色为白色，字体颜色为黑色、并且风格为正常。

下面参照图2B解释修饰符77的具体结构。修饰符77包含：修饰符77的数据长度(“修饰符大小”)、文本75可选格式的指定(“修饰符类型”、“项计数”)、施加了可选格式的文本75的范围的指定(“开始字符”、”结束字符”)、字体名称(“字体ID”)、字体大小(“字体大小”)、诸如粗体、斜体、下划线等风格(“表面风格”)、以及由RGB值与透明度表示的字体颜色(“字体颜色”)。以高于由任一样本项51、52、……指定的格式的优先级施加对于该可选格式的指定。图2B中显示的修饰符77的各个值意味着文本75的第五至第八字符以粗体类型表示。

图2C显示施加了上述格式的文本样本70的回放状态。例如，当文本75表示的内容为[It’s fine today]时，第五至第八字符的[fine]以粗体类型播放。另外，从时间-样本框60中首先排列的信息65的值[1000]显示回放时间为1000[毫秒](图1)。

在播放具有上述结构的MP4文件时，由接收终端预先下载该MP4文件，并且在下载完成后由接收终端播放该MP4文件。在下载MP4文件时，一般使用TCP，其为可靠传输协议，并且保证接收终端以完整形式接收MP4文件。

同时，在分发包含视频与音频的媒体数据的服务中，人们越来越多地采用流分发以替代下载类型。在流分发中，并行执行由接收终端接收媒体数据的过程以及播放所接收的媒体数据的过程。因此，具有以下优点：即使当播放长时间媒体数据时，也能缩短从请求媒体数据到进行回放的等待时间。另外，这是适合于分发待实况广播的媒体数据的分发格式。

在这样的流分发中，使用RTP/UDP作为发送媒体数据的传输协议，以替代TCP。TCP为保障数据传输的可靠协议，而RTP/UDP为在实时性能方面出色并且适合于流分发的非可靠协议。

作为用来使用RTP发送诸如文本与静态图像等静态媒体的方案，有用于带时间线的(Time-lined)静态媒体的通用RTP有效负荷格式(http：//standards.ericssson.net/westerlund/draft-westerlund-avt-rtp-static-media-00.txt)。这是其中提供时长头部以表示回放时间(时长)的方案，并且该方案具有以下特征：向接收方发送回放时间。另外，使用RTP而非TCP使之能够利用静态媒体的实时传输。

然而，在使用RTP/UDP的流类型分发的情况下，包含媒体数据的数据分组在某些情况下会在有线网络与无线传输路径上丢失，从而不能显示待播放的文本。因为在任何丢失数据分组并且没有发送下面要播放的媒体数据的情况下，接收终端没有收到数据，所以存在以下问题：接收终端无法确定是下面没有媒体数据要显示还是在传输过程中丢失了媒体数据，从而使之不可能执行显示。因此，不可能通过执行例如“现在无法接收数据”的显示来通知用户丢失了媒体数据。

然而，在使用RTP进行流传输的情况下，存在以下情况：根据传输路径的情况，会发生数据分组丢失。在使用RTP的数据分组传输中，根据给予RTP的序列号(SN)来检测数据分组丢失。即，当收到SN为5的数据分组而没有收到SN为4的数据分组时，判定SN为4的RTP数据分组丢失。在诸如语音与视频数据等连续媒体的情况下，各个RTP数据分组之间的传输间隔不长，大约几十毫秒到100毫秒，从而允许执行这样的数据分组丢失确定方法。在数据分组丢失对质量影响较大的情况下，在判定数据分组丢失之后执行重新发送请求，由此使之能够防止质量退化。在这种情况下，为了吸收由于重新发送造成的延迟，一般在媒体回放开始之前，提供用来预先获得2到3秒的数据的预缓冲时间。

然而，在将使用RTP的流传输应用到诸如定时文本等文本媒体与包含JPEG数据的静态媒体的情况下，会发生以下问题。因为静态媒体的回放时间(即显示同一文本与同一静态图像的时间)一般为几秒到数十秒，所以RTP数据分组传输间隔相应地变为几秒到数十秒。RTP数据分组传输间隔等于数据分组丢失检测所需的时间，并且长于一般的预缓冲时间。相应地，不容易通过预缓冲时间来吸收数据分组丢失检测所需的时间。另外，如果预缓冲时间被增加到(例如)大约10到20秒，则存在严重破坏用户舒适感的问题。

发明内容

本发明的目的在于提供一种当诸如定时文本等静态媒体用于流分发并且数据接收终端没有收到静态媒体数据时、能够确定是下面没有媒体数据要显示还是媒体数据在传输的过程中丢失并且不能显示、并且正确地向用户报告媒体数据丢失的数据结构、数据发送装置与数据接收装置。

这一目的可以通过以下达到：将有关于在静态媒体传输中包含的分割静态媒体数据的回放的信息在比该静态媒体传输数据早的静态媒体传输数据中存储并发送，由此当未收到分割静态媒体数据时，确定是根本就没有分割静态媒体数据还是存在丢失。

另外，本发明的另一目的在于提供一种数据发送方法与数据接收装置，当在中流分发中使用诸如定时文本等静态媒体时，其在不增加预缓冲的情况下减少数据分组丢失检测以执行重新发送请求所需的时间。

通过参考在静态媒体传输数据中包含的回放时间信息，当在回放时间结束之后没有收到下面要播放的静态媒体时，确定发生了数据分组丢失，以判定是否应该执行重新发送请求，由此可以达到以上目的。

附图说明

图1为显示3GPP定义的定时文本的数据结构的示意图；

图2A为显示定时文本的数据结构的示意图；

图2B为显示定时文本的数据结构的示意图；

图2C为显示定时文本的数据结构的示意图；

图3为显示本发明的数据接收装置的配置的方框图；

图4为显示本发明的RTP数据分组的数据结构的示意图；

图5为显示本发明的数据显示方法的文本显示例子的示意图；

图6为显示当发生本发明的数据显示方法的传输错误时文本显示例子的示意图；

图7为解释本发明的数据显示方法的操作的流程图；

图8为显示本发明的数据发送方法的文本数据存储例子的示意图；

图9为显示本发明的数据发送方法的文本数据存储例子的示意图；

图10为显示本发明的数据发送方法的文本数据存储例子的示意图；

图11为显示当存储本发明的数据显示方法的多个文本时文本显示例子的示意图；

图12为显示当发生本发明的数据显示方法的传输错误时文本显示例子的示意图；

图13为显示本发明数据发送装置的配置的方框图；

图14为显示根据本发明实施例2的PES数据分组的数据结构的示意图；

图15为显示根据本发明实施例3的数据接收装置的配置的方框图；

图16为显示本发明的数据结构的示意图；

图17A为显示数据接收装置的显示操作的示意图；

图17B为显示数据接收装置的显示操作的示意图；

图18A为显示数据接收装置的显示操作的示意图；

图18B为显示数据接收装置的显示操作的示意图；以及

图19为显示数据接收装置接收处理程序的流程图。

具体实施方式

以下参照附图具体解释本发明的实施例。

(实施例1)

实施例1解释使用RTP(Real Time Transport Protocol，实时传送协议)、RTSP(Real Time Streaming Protocol，实时流传输协议)、以及SDP(SessionDescription Protocol，会话描述协议)的文本轨道的流传输。

RTP为由IEFT(Internet Engineering Task Force，互联网工程任务小组)所推荐的RFC1889定义的多媒体流的数据分组格式。RTSP与SDP为分别由RFC2326与RFC2327定义的、多媒体流传输的控制协议。另外，在该实施例中，解释文本数据被用做静态媒体数据的情况。

图3为显示根据本发明实施例1的数据接收装置的配置的方框图。

该数据接收装置包含：数据接收部件1001，用来接收包含文本数据的RTP数据分组；文本显示时间抽取部件1002，用来抽取显示在RTP数据分组中包含的文本的时间；扩展头部存储部件1003，用来抽取在RTP数据分组的RTP数据分组扩展头部中包含的下一个文本长度与下一文本显示时间以存储；数据丢失确定部件1004，用来当即使在应该收到RTP数据分组的时间上也未收到RTP数据分组时，确定RTP数据分组被丢失或延迟；文本抽取与存储部件1005，用来抽取在RTP数据分组中包含的文本数据以存储；文本修饰确定部件1006，用来根据所接收的数据确定用来修饰文本数据的修饰信息，例如字体、颜色等等；替换文本存储部件1007，用来存储当由于RTP数据分组丢失或者其延迟而无法使用要显示的文本数据时所要显示的替换文本；文本显示时间判定部件1008，用来判定由文本显示时间抽取部件1002抽取的时间或者在扩展头部存储部件1003中存储的来自下一文本显示时间存储部分中的显示文本数据的时间；显示文本判定部件1009，用来当数据分组未被丢失或延迟时根据其中由文本修饰确定部件确定在RTP数据分组中包含的文本数据的修饰方法判定显示的文本，并且当数据分组被丢失或延迟时，判定显示替换文本存储部件1007存储的替换文本；以及文本显示部件1010，用来显示由文本显示时间判定部件1008判定的时间以及由显示文本判定部件1009判定的文本。另外，当数据丢失确定部件1004确定没有数据丢失时，显示文本判定部件1009判定通过由文本修饰确定部件1006确定的修饰方式显示在文本抽取与存储部件1005中存储的文本。

在该数据接收装置中，当数据丢失确定部件1004确定没有数据丢失时，文本显示时间抽取部件1002抽取显示在RTP数据分组中包含的文本的时间(图4中描述的时长8006)，并且文本显示时间判定部件1008选择所抽取的时间。另外，此时，显示文本判定部件1009根据从数据丢失确定部件1004提供的、并且指示没有数据丢失的信息，选择由文本抽取与存储部件1005抽取的文本数据(图4所述文本8008)。相应地，当数据丢失确定部件1004确定没有数据丢失时，在文本显示部件1010上只显示由时长8006确定的时间，其中当前正在接收的文本数据包含在当前RTP数据分组中。

与此不同，当数据丢失确定部件1004确定有数据丢失时，显示文本判定部件1009根据这一结果选择替换文本，例如在替换文本存储部件1007而非文本抽取与存储部件1005中存储的“*”。另外，此时，根据在存储于扩展头部存储部件1003的较早RTP数据分组中接收的扩展头部(图4所述头部扩展8003)的显示时间(下一样本时长8202、8204、8206、与下一样本长度8203、8205、8207，即有关于造成正在接收的数据的丢失的部分的显示时间的信息)，文本显示时间判定部件1008使文本显示部件1010只显示在替换文本存储部件1007中存储的替换文本由下一样本时长指定的时间。另外，当在扩展头部存储部件1003中存储的下一样本长度为0时，这意味着根本没有文本要显示，从而文本显示时间判定部件1008使文本显示部件1010在由下一样本时长指定的时间中什么也不显示。

在较早RTP数据分组的扩展头部中存储并且发送表示正在接收的RTP数据分组的文本数据的显示时间以及存在或不存在文本数据的信息，以将扩展头部存储到扩展头部存储部件1003，并且当丢失数据时这使之能够根据所存储的扩展头部判定原来是否有文本数据，并且当丢失数据时，即使原来有数据，这也使之能够以相应的时间显示替换文本。

此处，有关于本发明实施例1的、由服务器提供的MP4文件格式的媒体数据作为RTP数据分组发送。

为了使用由借助流传输的MP4文件提供的定时文本，RTP数据分组具有图4所示的数据结构。图4所示的RTP数据分组的数据结构包含RTP头部8001与RPT有效负荷8002。在该实施例中，包含RTP头部8001与RPT有效负荷8002的整个数据分组称为文本传输数据。RPT有效负荷包含以后描述的头部扩展(扩展头部)8003，以及每个都具有一个文本样本的文本帧#1、#2、#3(8101、8102、8103)。利用文本帧#1(8101)解释每个文本帧的配置。因为文本帧#2、#3以及随后的文本帧具有相同的配置，所以省略描述。另外，在该实施例中，RTP头部8001与RPT有效负荷的头部扩展(扩展头部)称为头部部分。

文本帧8101的配置包含：表示文本帧长度的长度8004、表示与样本项的关系的索引8005、表示显示文本样本的时间的时长8006、表示在文本样本中包含的文本的长度的文本长度8007、显示文本8008、以及用来修饰文本的信息修饰符8009。在该实施例中，表示文本帧长度的长度8004、表示与样本项的关系的索引8005、以及表示显示文本样本的时间的时长8006一起被称为文本头部数据，并且包含表示在文本样本中包含的文本的长度的文本长度8007、待显示的文本8008、以及用来修饰文本的信息修饰符8009的文本样本被称为分割后文本数据。另外，文本回放数据指图1所述的MP4文件3000。与相应的文本样本(分割后文本数据)一道，形成图1所示MP4文件3000的头部部分3010的数据存储在RTP数据分组的文本帧中，作为图4所示的文本头部数据(表示文本帧长度的长度8004、表示与样本项的关系的索引8005、以及表示显示文本样本的时间的时长8006)。

以下解释描述在下一RTP数据分组(SN＝2)中包含的文本帧的信息的头部扩展(扩展头部)8003的配置。头部扩展(扩展头部)8003包含：表示在下一RTP数据分组中包含的文本帧的数目的下一样本数目8201，表示在下一RTP中包含的文本帧的信息的下一样本时长#1 8202，下一样本长度#1 8203，下一样本时长#2 8204，下一样本长度#2 8205、……。当下一样本数目8201为3时，这表示在下一RTP数据分组中包含3个文本帧。以下解释下一样本时长#1 8202与下一样本长度#1 8203，其为在下一RTP数据分组中包含的第一个文本帧的信息。第二个文本帧以及随后的帧与第一个文本帧相同，省略解释。下一样本时长#1 8202表示在下一RTP数据分组中包含的第一个文本帧的文本显示时间。下一样本长度#1 8203表示在下一RTP数据分组中包含的第一个文本帧的文本长度。换而言之，下一样本时长#1 8202与SN＝2的RTP数据分组的时长8212相同，并且下一样本长度#1 8203与SN＝2的RTP数据分组的文本长度8213相同。

以下解释当使用上述传输结构时接收终端的操作的例子。以下解释图5所示的显示给予接收终端装置的例子。首先，文本长度为22的“Could youhelp me out？”显示6秒种，文本长度为5的“Sure.”显示3秒种，文本长度为7的“Thanks”显示5秒种。另外，空格也计入字符数。

以下使用图4解释在这种情况下将定时文本存储到RTP数据分组的方法。另外，在这种情况下，解释在1RTP中存储一个文本样本的情况。在SN＝1的RTP数据分组中，在文本字段中存储“Could you help me out？”，在时长中存储6000，并且在文本长度中存储22。在下一样本时长与下一文本长度中分别存储3000与5，下一样本时长表示在下一RTP数据分组(SN＝2)中包含的文本帧显示时间，并且具有5个字符的“Sure.”显示3秒种。此后，类似地在SN2与SN3的RTP数据分组中存储文本信息。

以下使用图6解释当RTP数据分组(SN＝2)丢失时接收终端的显示。当收到RTP数据分组(SN＝1)时，接收终端显示“Could you help me out？”为指定时间的6秒种。

当RTP数据分组(SN＝2)丢失时，因为在经过6秒种之后没有收到下一文本信息，所以通过在RTP数据分组(SN＝i)中包含的头部扩展推定文本长度为5并且文本显示时间为3秒种，然后显示相应于5个字符的“*****”3秒种，其中每个“*”表示文本没有被正确接收。

以下使用图7的流程图解释收到以上存储的RPT数据分组的接收终端的操作。

在收到RTP数据分组(SN＝i)之后，接收终端装置播放文本，并且持续显示，直至在SN＝i中包含的文本的回放时间结束(步骤ST9001)。当回放时间结束时，确定是否收到序列号为SN＝i+1的下一RTP数据分组(步骤ST9002)。当收到该RTP数据分组(SN＝i+1)时，处理进行到步骤ST9003，并且当没有收到该RTP数据分组时，处理进行到步骤ST9005。在步骤ST9003，从所接收的SN＝i+1的RTP数据分组中读取时长与文本(步骤ST9003)，并且对接收终端显示文本由时长指定的时间段(步骤ST9004)。在步骤ST9005，从SN＝i的RTP数据分组中读取下一样本时长与下一样本长度，并且对于下一样本时长，以相应于文本长度的数目播放表示丢失待显示的数据的“*”(步骤ST9006)。在步骤ST9007，i增加1。

接着解释当在1RTP数据分组中存储多个文本帧时的操作。以下只解释与每个RTP存储一个文本的情况不同的部分。

图8、9、10显示在RTP数据分组中存储文本的例子。标记“*”表示空文本，即，这意味着不显示文本。

在RTP数据分组(SN＝1)中存储包含“Tom，this is Kay Adams.”8501、“”8503、以及“Kay，this is my brother，Tom Hagen.”8502的文本。在RTP数据分组(SN＝2)中包含的文本信息也存储在扩展头部中。在RTP数据分组(SN＝2)中存储包含“How do you do.”8504、“”8505、以及“How do you do.”8506的文本。在RTP数据分组(SN＝3)中包含的文本信息也存储在扩展头部中。在RTP数据分组(SN＝3)中存储“Nice to meet you.”8507、以及“”8508，并且在RTP数据分组(SN＝4)中包含的文本信息也存储在扩展头部中。

以下使用图11解释当没有传输错误时的显示例子。首先显示“Tom，thisis Kay Adams.”0.5秒，接着显示“Kay，this is my brother，Tom Hagen.”0.5秒，接着什么也不显示0.4秒。此后，将“How do you do.”、空文本、“How do you do.”、“Nice to meet you.”、空文本分别显示0.5秒、0.2秒、0.5秒、0.6秒、6秒。

以下使用图12解释当丢失RTP数据分组(SN＝2)时的显示方法。

因为正确接收了SN＝1的RTP数据分组，所以首先显示“Tom，this is KayAdams.”0.5秒，接着显示“Kay，this is my brother，Tom Hagen.”0.5秒，接着什么也不显示0.4秒。因为丢失了下一个RTP数据分组，所以不能正确显示下一个文本。然而，在包含于SN＝1的RTP数据分组的扩展头部中存储了对于0.5秒的14个字符、对于0.2秒的空文本、以及对于0.5秒的14个字符，从而将其中排列了相应于14个字符的数目的标记“*”的文本显示0.5秒，接着不显示文本0.2秒，接着将其中排列了相应于14个字符的数目的标记“*”的文本显示0.5秒。

另外，虽然以上解释了完全丢失的情况，但是当SN＝2的RTP数据分组被延迟时可以使用本发明进行显示。在这种情况下，虽然使用本显示方法进行显示，但是可以将该方法改变为适用于以下情况的显示方法：一旦延迟的RTP数据分组到达，就不发生错误。

图13为显示根据本发明实施例1的数据发送装置的配置的方框图。

该数据发送装置包含：文本信息存储部件2001，用来存储待发送给发送目的地的文本信息与修饰信息；下一文本数据信息生成部件2003，用来生成在正在被生成的传输数据之后作为下一传输数据发送的文本中包含的诸如文本长度、回放时间等信息；头部生成部件2002，用来根据对于文本数据传输与下一文本数据信息生成信息的控制信息生成头部；有效负荷生成部件2004，用来根据待发送的文本信息与修饰信息生成传输数据的有效负荷；传输数据合成部件2005，用来从头部与有效负荷合成传输数据；以及数据发送部件2006，用来向发送目的地发送传输数据。

在以上配置的发送装置中，下一文本数据信息生成部件2003从文本信息存储部件2001中读取待作为下一传输数据发送的文本的信息，由此使之能够将包含于下一传输数据的文本中的信息(文本风格、回放时间等等)包含在正在发送的传输数据中。

通过这一方式，根据所述数据结构、数据接收终端装置、以及数据发送终端装置，通过扩展头部提前发送待作为下一RTP数据分组发送的文本数据的显示时间(下一样本时长)以及存在或不存在(下一样本长度)文本数据，从而当发生数据丢失时，数据接收终端装置可以确定原来是否不存在文本数据，并且当原来不存在文本数据时，文本显示部件1010不显示替换文本，并且与此相反地，当原来存在文本数据时，文本显示部件1010可以显示替换文本。

这就允许根据文本显示部件1010是否显示诸如“*”等替换文本，在即使原来有一些文本数据但有数据丢失的情况与原来无数据丢失的情况之间进行区分。

另外，对于本发明的扩展头部，存在或不存在对于扩展头部的利用可以通过在数据传输之前提前发送给客户端的SDP的参数发送。例如，当服务器使用扩展头部发送下一传输数据信息时，在SDP中描述“next-packet-into：1”，并且当不包含扩展时，可以在SDP中描述“next-packet-into：0”。

另外，虽然利用实施例1描述了发送文本数据作为静态媒体数据的情况，但是本发明不限于此，并且本发明适用于以下情况：发送包含静态图像数据与CG的媒体数据以及JAVA^语言程序数据的数据。在这种情况下，可以使用静态图像数据、静态媒体数据、或者程序数据，以替代文本数据，并且可以在替换文本存储部件1007中存储替换静态图像数据、替换静态媒体数据、或者替换程序数据。关于替换静态图像数据、替换静态媒体数据、或者替换程序数据，显示文本判定部件1009(用来当收到静态图像时判定静态图像，并且当收到程序数据时判定程序)从替换文本存储部件1007中请求大小被调整到所接收的静态图像数据、静态媒体数据、或者程序数据的大小的替换静态图像、替换静态媒体、或者替换程序，并且替换文本存储部件1007向显示文本判定部件1009提供请求大小的替换静态图像、替换静态媒体、或者替换程序。

(实施例2)

实施例2解释使用MPEG-2 TS的文本轨道的流传输。所述文本轨道为包含利用与3GPP定义的定时文本相同的表达方式的、用于执行文本回放的信息的数据。

图14显示使用MPEG-2 TS执行文本轨道的流传输的PES数据分组1的数据结构。

在MPEG-2***中，作为形成诸如视频、音频、或文本等轨道的元素的信号被称为ES(Elementary Stream，基本流)。另外，其中将ES分割为块、每个块具有可变长度、并且其上添加了头部信息的ES被称为PES(PacketizedElementary Stream，分组基本流)。在MPEG-2***中，TS(Transport Stream，传送流)被定义为多路复用地发送多个PES的信号。

图14所示的PES数据分组的数据结构包含由MPEG-2***定义的PES头部部分310与有效负荷部分311。PES头部部分310具有PTS(PresentationTime Stamp，呈现时间戳)，其为用于诸如音频、视频、以及文本等轨道之间同步回放的时间信息。有效负荷部分311包含：轨道头部部分3111，样本描述3112，配置信息3113，扩展头部3114，文本帧3115、3115’、……，以及用于标识每个信息的标识符(轨道头部标识符3111a、样本描述标识符3112a、配置信息标识符3113a、扩展头部标识符3114a、以及文本帧3115a)。轨道头部部分3111、样本描述3112、配置信息3113、、文本帧3115、3115’与实施例1相同，并且省略描述。紧接在有效负荷中包含的每个信息的标识符之前***作为开始码(SCP)3110的“000001”。

对于扩展头部3114，与实施例1类似，以下解释描述在PES数据分组中包含的文本帧的信息的头部扩展(扩展头部)8003的配置。头部扩展(扩展头部)8003包含：表示在下一PES数据分组中包含的文本帧的数目的下一样本数目8201，表示在下一RTP中包含的文本帧的信息的下一样本时长#1 8202，下一样本长度#1 8203，下一样本时长#2 8204，下一样本长度#2 8205、……。当下一样本数目8201为3时，这表示在下一PES数据分组中包含3个文本帧。以下解释下一样本时长#1 8202与下一样本长度#1 8203，其为在下一PES数据分组中包含的第一个文本帧的信息。第二个文本帧以及随后的帧与第一个文本帧相同，省略解释。下一样本时长#1 8202表示在下一PES数据分组中包含的第一个文本帧的文本显示时间。下一样本长度#1 8203表示在下一PES数据分组中包含的第一个文本帧的文本长度。换而言之，下一样本时长#18202与下一PES数据分组的时长8212相同，并且下一样本长度#1 8203与该PES数据分组的文本长度8213相同。

通过这种方式，根据该实施例的数据结构，即使在使用MPEG-2 TS的文本轨道的流传输中，也可能在丢失文本数据时容易地判断原来是否有文本数据。

(实施例3)

与实施例1的情况类似，实施例3解释使用RTP(实时传送协议)、RTSP(实时流传输协议)、以及SDP(会话描述协议)的文本轨道的流传输。RTP为由IEFT(互联网工程任务小组)所推荐的RFC1889定义的多媒体流的数据分组格式。RTSP与SDP为分别由RFC2326与RFC2327定义的、多媒体流传输的控制协议。另外，在该实施例中，解释文本数据被用做静态媒体数据的情况。

图15为显示根据本发明实施例3的数据接收装置的配置的方框图。该数据接收装置包含：数据接收部件1001，用来接收包含文本数据的RTP数据分组；文本显示时间抽取部件1002，用来抽取显示在RTP数据分组中包含的文本的时间；扩展头部存储部件1003，用来抽取在RTP数据分组的扩展头部部分中包含的下一个文本字符数与下一文本显示时间以存储；定时器1017，用来生成时间信息；数据丢失确定部件1004，用来当即使在应该收到RTP数据分组的时间上也未收到RTP数据分组时，使用定时器1017确定存在RTP数据分组丢失；文本抽取与存储部件1005，用来抽取在RTP数据分组中包含的文本数据以存储；文本修饰确定部件1006，用来根据所接收的数据确定用来修饰文本数据的修饰信息，例如字体、颜色等等；文本显示部件1010，用来使预定显示部件(例如液晶显示部件等等)按照从文本显示时间抽取部件1002提供的显示时间显示通过使用从文本修饰确定部件1006输出的修饰信息来修饰从文本抽取与存储部件1005输出的文本数据而获得的数据；重新发送请求确定部件1018，用来当数据丢失确定部件1004确定存在RTP数据分组丢失时，通过使用定时器1017计算重新发送请求的发送开始时间与其发送结束时间，确定是否应该执行重新发送请求；重新发送请求数据分组生成部件1019，用来当重新发送请求确定部件1018确定应该执行重新发送请求时，生成重新发送请求数据分组；以及数据发送部件1011，用来向发送方发送由重新发送请求数据分组生成部件1019生成的重新发生请求数据分组。

在该数据接收装置中，当数据丢失确定部件1004确定没有数据丢失时，文本显示时间抽取部件1002抽取显示在RTP数据分组中包含的文本的时间(图4中描述的时长8006)，并且文本显示部件1010相应地显示文本。

此处，关于本发明的实施例3的由服务器提供的MP4文件格式的媒体数据作为RTP数据分组发送。

因为流传输使用由MP4文件提供的定时文本，所以RPT数据分组具有实施例1的图4所示的数据结构。如图4所示，RTP数据分组的数据结构包含RTP头部8001与RPT有效负荷8002。在该实施例中，包含RTP头部8001与RPT有效负荷8002的整个数据分组称为文本传输数据。RPT有效负荷包含以后描述的头部扩展(扩展头部)8003，以及每个都具有一个文本样本的文本帧#1、#2、#3(8101、8102、8103)。利用文本帧#1(8101)解释每个文本帧的配置。因为文本帧#2、#3以及随后的文本帧具有与文本帧#1相同的配置，所以省略描述。另外，在该实施例中，RTP头部8001与RPT有效负荷的头部扩展(扩展头部)称为头部部分。

文本帧8101的配置包含：表示文本帧长度的长度8004、表示与样本项的关系的索引8005、表示显示文本样本的时间的时长8006、表示在文本样本中包含的文本的长度的文本长度8007、显示文本8008、以及用来修饰文本的信息修饰符8009。在该实施例中，表示文本帧长度的长度8004、表示与样本项的关系的索引8005、以及表示显示文本样本的时间的时长8006一起被称为文本头部数据，并且包含表示在文本样本中包含的文本的长度的文本长度8007待显示的文本8008、以及用来修饰文本的信息修饰符8009的文本样本被称为分割后文本数据。另外，文本回放数据指图1所述的MP4文件3000。与相应的文本样本(分割后文本数据)一道，形成图1所示MP4文件3000的头部部分3010的数据存储在RTP数据分组的文本帧中，作为图4所示的文本头部数据(表示文本帧长度的长度8004、表示与样本项的关系的索引8005、以及表示显示文本样本的时间的时长8006)。

以下解释描述在下一RTP数据分组(SN＝2)中包含的文本帧的信息的头部扩展(扩展头部)8003的配置。头部扩展(扩展头部)8003包含：表示在下一RTP数据分组中包含的文本帧的数目的下一样本数目8201，表示在下一RTP中包含的文本帧的信息的下一样本时长#1 8202，下一样本长度#1 8203，下一样本时长#2 8204，下一样本长度#2 8205、……。当下一样本数目8201为3时，这表示在下一RTP数据分组中包含3个文本帧。以下解释下一样本时长#1 8202与下一样本长度#1 8203，其为在下一RTP数据分组中包含的第一个文本帧的信息。第二个文本帧以及随后的帧与第一个文本帧相同，省略解释。下一样本时长#1 8202表示在下一RTP数据分组中包含的第一个文本帧的文本显示时间。下一样本长度#1 8203表示在下一RTP数据分组中包含的第一个文本帧的文本长度。换而言之，下一样本时长#1 8202与SN＝2的RTP数据分组的时长8212相同，并且下一样本长度#1 8203与SN＝2的RTP数据分组的文本长度8213相同。

以下解释当使用上述传输结构时接收终端的操作的例子。以下解释图5所示的显示给予接收终端装置的例子。首先，文本长度为22的“Could youhelp me out？”显示6秒种，文本长度为5的“Sure.”显示3秒种，文本长度为7的“Thanks”显示5秒种。另外，空格也计入字符数。

以下使用图16解释在这种情况下将定时文本存储到RTP数据分组的方法。另外，在这种情况下，解释在1RTP中存储一个文本样本的情况。在SN＝1的RTP数据分组中，在文本字段中存储“Could you help me out？”，在时长中存储6000，并且在文本长度中存储22。在下一样本时长与下一文本长度中分别存储3000与5，下一样本时长表示在下一RTP数据分组(SN＝2)中包含的文本帧显示时间，并且具有5个字符的“Sure.”显示3秒种。此后，类似地在SN2与SN3的RTP数据分组中存储文本信息。

以下使用图17解释当RTP数据分组丢失时数据接收终端的显示操作。

首先解释当数据分组丢失时数据接收终端的操作。在图17A中，横轴表示时间并且时间t1、t2、t3、t4指分别显示在RTP数据分组(SN＝1、SN＝2、SN＝3、SN＝4)中包含的文本的时间。当预缓冲时间为0时，时间t1、t2、t3、t4等于收到RTP数据分组(SN＝1、SN＝2、SN＝3、SN＝4)的时间。当预缓冲时间为ptime(秒)时，收到RTP数据分组(SN＝1、SN＝2、SN＝3、SN＝4)的时间变为t1+ptime、t2+ptime、t3+ptime、t4+ptime。此处给出的解释假设预缓冲时间为0。

另外，如图17A所示，例如，假定在SN＝1的RTP数据分组中包含的显示时间DUR(时长)的秒转换值为5秒，并且第二显示时间DUR(即，NDUR(下一时长))的秒转换值为6秒。换而言之，显示在SN＝1的RTP数据分组中包含的文本的时间为5秒，显示在SN＝2的下一RTP数据分组中包含的文本的时间为6秒，并且这等于SN＝2的RTP数据分组的DUR的秒转换值。另外，这也适用于在SN＝2之后的RTP数据分组。

这样，该实施例的特征在于考虑到以下问题：可以根据在RTP数据分组中包含的RTP数据分组(例如SN＝1的RTP数据分组)的回放时间(时长)来判断下一RTP数据分组(例如SN＝2)的回放开始时间，并且可以根据在RTP数据分组(例如SN＝1的RTP数据分组)中包含的下一RTP数据分组(SN＝2)的回放时间(下一样本时长)来判断下一RTP数据分组(例如SN＝2)之后的再下一RTP数据分组(例如SN＝3)的回放开始时间，如参照图18所述，由此根据回放时间判断是否应该执行重新发送请求。

以下使用图17B解释当SN＝2的RTP数据分组丢失时的操作。该实施例的特征在于：在收到SN＝3的RTP数据分组之前，使用SN＝1的DUR值，检测SN＝2的RTP数据分组的丢失。

可以根据在SN＝1中包含的回放时间信息DUR(时长)为5秒这一点来计算出SN＝1的RTP数据分组的回放时间为5秒。相应地，开始回放SN＝2的RTP数据分组的时间t2为通过将回放时间DUR的5秒加上SN＝1的回放开始时间t1而获得的值。这样，当在时间t1处开始回放的、SN＝1的RTP数据分组的文本回放结束时间t2处未收到SN＝2的RTP数据分组时，确定丢失SN＝2的RTP数据分组，并且发送重新发送请求数据分组。

以下使用图18解释当丢失连续两个RTP数据分组时的操作。图18A显示丢失SN＝2与SN＝3的RTP数据分组的情况。在这种情况下，与图17所示情况类似，当在时间t1处开始回放的、SN＝1的RTP数据分组的文本回放结束时间t2处未收到SN＝2的RTP数据分组时，确定丢失SN＝2的RTP数据分组，并且发送重新发送请求数据分组。然后，再一次地，因为在SN＝2的RTP数据分组中包含的文本的显示时间(回放时间)在时间t3处结束，所以根据该实施例，在时间t3之后不发送对于SN＝2的RTP数据分组的重新发送请求。即，在时间t2处，开始对于SN＝2的RTP数据分组的重新发送请求，并且定期执行该重新发送请求，直至收到SN＝2的RTP数据分组，并且甚至在时间t3处也未收到SN＝2的RTP数据分组时，停止发送该重新发送请求。这使之能够在时间t3之后开始对于SN＝3的RTP数据分组的重新发送请求。另外，也可能根据在先前收到的、SN＝1的RTP数据分组中描述的SN＝2的回放时间(下一样本时长)与SN＝1的回放开始时间t1来判断SN＝3的RTP数据分组的回放开始时间t3。另外，在以下解释中，存在下一RTP数据分组的回放时间(下一样本时长)被表示为NDUR(下一时长)的情况。

此处，图18为显示图18A所示的重新发送请求处理的另一实施例的示意图。图18B所示的重新发送请求处理与图18A所示情况在以下方面不同：对于重新发送请求发送开始的定时与对于发生结束的定时不同于重新发送请求开始时间t1、t2、t3、……。

换而言之，例如开始对于SN＝2的RTP数据分组的重新发送请求的时间t2’为时间t2’(＝t2+常量)，其通过将固定时间(“常量”)加上时间t2获得，在时间t2处，开始播放SN＝1的RTP数据分组。相应地，可以吸收RTP数据分组接收定时误差，并且即使在经过时间t2后收到实际从发送方发送来的SN＝2的RTP数据分组，也可以接收并播放该RTP数据分组，从而使之能够避免传输无用的重新发送请求。

另外，例如，对于SN＝2的RTP数据分组的重新发送请求的结束定时为时间t3’(＝t3-RTT)，该时间t3’比SN＝3的RTP数据分组的回放开始时间t3早发送方与接收方之间的往返通信时间(往返时间：RTT)。相应地，在从数据接收装置向发送方发送重新发送请求、并且发送方根据该重新发送请求重新发送RTP数据分组的情况下，如果在时间t3’之前从数据接收装置发送重新发送请求，则数据接收装置可以接收在SN＝2的回放结束定时(SN＝3的RTP数据分组的回放开始时间)之前重新发送的SN＝2的RTP数据分组。

通过这种方式，根据图18B的重新发送请求处理，可以更平滑地执行重新发送请求与相应地重新发送的RTP数据分组的回放处理。

以下使用图19所示流程图解释在收到上述RTP数据分组时的数据接收装置的接收处理。

如图19所示，在步骤ST9011，数据接收装置的数据丢失确定部件1004确定是否收到SN＝i的RTP数据分组。当此处获得否定结果时，这意味着还未收到SN＝i的RTP数据分组，此时数据丢失确定部件1004重复在步骤ST9011中的确定处理。

与此不同，当在步骤ST9011中获得肯定结果时，这意味着收到了SN＝i的RTP数据分组，此时数据丢失确定部件1004进行到步骤ST9012，以比较当前时间t与通过将回放时间DUR(i)加上SN＝i的RTP数据分组的回放开始时间ti而获得的时间，并且当当前时间t大于或等于以上时间时，确定已经经过了在SN＝i+1的RTP数据分组中包含的文本的回放开始时间并且进行到步骤ST9013。

另外，当在步骤ST9012中获得否定结果时，这意味着还未经过在SN＝i+1的RTP数据分组中包含的文本的回放开始时间，此时数据丢失确定部件1004重复在步骤ST9012中的确定处理。

通过这种方式，当经过了在SN＝i+1的RTP数据分组中包含的文本的回放开始时间时，数据丢失确定部件1004进行到步骤ST9013，以确定是否收到了SN＝i+1的RTP数据分组。当在步骤ST9013中获得肯定结果时，这意味着经过了SN＝i的RTP数据分组的回放时间，此后收到在该RTP数据分组之后的SN＝i+1的RTP数据分组，即经过了SN＝i的RTP数据分组的显示时间，此时收到下一个待显示的数据。相应地，此时，数据丢失确定部件1004进行到步骤ST9017，以将i增加1，此后返回上述步骤ST9012，以等待经过已经在步骤ST9013中确认了其接收的RTP数据分组的显示时间。

与此不同，当在步骤ST9013中获得否定结果时，这意味着经过了SN＝i的RTP数据分组的回放时间，此后未收到在该RTP数据分组之后的SN＝i+1的RTP数据分组，即经过了SN＝i的RTP数据分组的显示时间，此时未收到下一个待显示的数据；此时，数据丢失确定部件1004向重新发送请求确定部件1018发送表示未收到待接收的RTP数据分组的报告。

相应地，收到该报告的重新发送请求确定部件1018发送有关于此时应该收到而未收到的、SN＝i+1的RTP数据分组的重新发送请求。

同时，在步骤ST9013获得未收到SN＝i+1的结果以将其报告给重新发送请求确定部件1018之后，数据丢失确定部件1004进行到步骤ST9015，以确定是否收到SN＝i+2的RTP数据分组，该RTP数据分组在经过重新发送请求确定部件1018的重新发送请求的SN＝i+1的RTP数据分组之后，或者比较当前时间t与通过将回放时间DUR(i)与SN＝i+1的回放时间NDUR(i)加上SN＝i的RTP数据分组的回放开始时间ti而获得的时间，并且判断当前时间t是否大于该时间。

当此处获得否定结果时，这意味着未到达应该收到SN＝i+2的RTP数据分组的时间；此时，数据丢失确定部件1004返回上述步骤ST9013以重复步骤ST9013至步骤ST9015的处理。相应地，在应该收到SN＝i+2的RTP数据分组的时间之前，对是否收到应该在SN＝i+2的RTP数据分组之前收到的SN＝i+1的RTP数据分组进行判断，并且当未收到时，重复RTP数据分组的重新发送请求。

与此不同，当在步骤ST9015获得肯定结果时，这意味着到达应该收到SN＝i+2的RTP数据分组的时间或者实际收到了该RTP数据分组；此时，数据丢失确定部件1004进行到步骤ST9016，以将i增加1，此后进行到步骤ST9017，以再次将i增加1。

通过这种方式，当在步骤ST9015获得肯定结果时，数据丢失确定部件1004在步骤ST9016与步骤ST9017进行i的增加处理，以将i共增加2，并且返回上述步骤ST9012中的处理，此后重复与上述处理相同的处理。

通过这种方式，根据图19所示的接收处理程序，在执行重新发送请求时，根据RTP数据分组的回放时间，确定是否执行重新发送请求，而不用等待收到RTP数据分组，由此使之能够减少发送重新发送请求之前的时间。另外，即使当连续丢失两个RTP数据分组时，也可能使用在后来收到的RTP数据分组中包含的下一回放时间(NDUR)适当地执行重新发送请求。

通过这种方式，根据该实施例的数据接收装置，根据RTP数据分组的回放时间，确定是否执行重新发送请求，而不用等待收到RTP数据分组，由此使之能够减少检测数据分组丢失所需的时间。

另外，虽然已经用实施例1描述了文本数据作为静态媒体数据发送的情况，但是本发明不限于此，并且本发明适用于发送包含静态图像数据与CG的媒体数据以及XML语言的程序数据的数据的情况。在这种情况下，可以使用静态图像数据、静态媒体数据、或者程序数据，以替代文本数据。

如上所述，根据本发明，即使当由于诸如传输错误等原因而丢失静态媒体传输数据时，也可以按正确的回放时间显示替换静态媒体。另外，根据本发明，可以减少检测数据分组丢失所需的时间。

本申请基于2002年11月14提交的日本专利申请2002-331410与2003年1月24日提交的日本专利申请2003-16364，其全部内容融入此文作为参考。

工业实用性

本发明适用于用于发送例如，诸如文本数据的静态媒体数据等的传输数据结构，以及用于发送此类数据的方法与装置。

Claims (33)

1.一种静态媒体传输数据的传输数据结构，所述静态媒体传输数据用来按顺序传送并播放静态媒体回放数据，所述静态媒体回放数据用于静态媒体数据的回放，

其中所述静态媒体回放数据包含：多个其中分割了静态媒体数据的分割静态媒体数据；以及包含用于播放分割静态媒体数据的信息的静态媒体头部数据；以及

其中所述静态媒体传输数据包含：添加到分割静态媒体数据的分割静态媒体数据标识符，添加到静态媒体头部数据的静态媒体头部数据标识符，以及有关于在下一静态媒体传输数据中包含的分割静态媒体数据的静态媒体信息。

2.一种程序传输数据的传输数据结构，所述程序传输数据用来按顺序传送并播放程序回放数据，所述程序回放数据用于程序数据的回放，

其中所述程序回放数据包含：多个其中分割了程序数据的分割程序数据；以及包含用于播放分割程序数据的信息的程序头部数据；以及

其中所述程序传输数据包含：添加到分割程序数据的分割程序数据标识符，添加到程序头部数据的程序头部数据标识符，以及有关于在下一程序传输数据中包含的分割程序数据的程序信息。

3.一种文本传输数据的传输数据结构，所述文本传输数据用来按顺序传送并播放文本回放数据，所述文本回放数据用于文本数据的回放，

其中所述文本回放数据包含：多个其中分割了文本数据的分割文本数据；以及包含用于播放分割文本数据的信息的文本头部数据；以及

其中所述文本传输数据包含：添加到分割文本数据的分割文本数据标识符，添加到文本头部数据的文本头部数据标识符，以及有关于在下一文本传输数据中包含的分割文本数据的文本信息。

4.如权利要求3所述的文本传输数据的传输数据结构，其中所述有关于在下一文本传输数据中包含的分割文本数据的文本信息包含：在下一文本传输数据中包含的所述分割文本数据的数目。

5.如权利要求3所述的文本传输数据的传输数据结构，其中所述有关于在下一文本传输数据中包含的分割文本数据的文本信息包含：在下一文本传输数据中包含的分割文本数据的文本回放时间信息。

6.如权利要求3所述的文本传输数据的传输数据结构，其中所述有关于在下一文本传输数据中包含的分割文本数据的文本信息包含：在下一文本传输数据中包含的分割文本数据的文本数据长度信息。

7.一种文本传输数据的发送方法，所述文本传输数据用来按顺序传送并播放文本回放数据，所述文本回放数据用于文本数据的回放，所述发送方法包含：

根据所述文本回放数据生成所述文本传输数据的有效负荷部分，所述文本回放数据包含：多个其中分割了文本数据的分割文本数据；以及用于开始回放分割文本数据的回放开始信息；

生成所述文本传输数据的头部部分，在其上添加了在下一数据分组中包含的文本信息；以及

向每个所生成的有效负荷部分添加所述头部部分，并且形成数据分组，

其中每个有效负荷部分包含文本头部数据的回放开始信息。

8.一种文本传输数据的发送方法，所述文本传输数据用来按顺序传送并播放文本回放数据，所述文本回放数据用于文本数据的回放，所述发送方法包含：

根据所述文本回放数据生成所述文本传输数据的有效负荷部分，所述文本回放数据包含：多个其中分割了文本数据的分割文本数据；以及用于开始回放分割文本数据的回放开始信息；

生成所述文本传输数据的头部部分，在其上添加了在下一数据分组中包含的分割文本数据的数目；以及

向每个所生成的有效负荷部分添加所述头部部分，并且形成数据分组，

其中每个有效负荷部分包含文本头部数据的回放开始信息。

9.一种文本传输数据的发送方法，所述文本传输数据用来按顺序传送并播放文本回放数据，所述文本回放数据用于文本数据的回放，所述发送方法包含：

根据所述文本回放数据生成所述文本传输数据的有效负荷部分，所述文本回放数据包含：多个其中分割了文本数据的分割文本数据；以及用于开始回放分割文本数据的回放开始信息；

生成所述文本传输数据的头部部分，在其上添加了在下一数据分组中包含的分割文本数据的回放时间信息；以及

向每个所生成的有效负荷部分添加所述头部部分，并且形成数据分组，

其中每个有效负荷部分包含文本头部数据的回放开始信息。

10.一种文本传输数据的发送方法，所述文本传输数据用来按顺序传送并播放文本回放数据，所述文本回放数据用于文本数据的回放，所述发送方法包含：

根据所述文本回放数据生成所述文本传输数据的有效负荷部分，所述文本回放数据包含：多个其中分割了文本数据的分割文本数据；以及用于开始回放分割文本数据的回放开始信息；

生成所述文本传输数据的头部部分，在其上添加了在下一数据分组中包含的分割文本数据的文本数据长度；以及

向每个所生成的有效负荷部分添加所述头部部分，并且形成数据分组，

其中每个有效负荷部分包含文本头部数据的回放开始信息。

11.一种文本传输数据的接收方法，所述文本传输数据用来按顺序传送并播放文本回放数据，所述文本回放数据用于文本数据的回放，所述接收方法包含：

接收第一文本传输数据并且当在经过第一文本数据的回放时间之后没有收到第二传输数据时确定有数据丢失；以及

当确定有数据丢失时，用第二文本传输数据替换在第一文本传输数据中包含的有关于下一文本传输数据中包含的分割文本数据的文本信息。

12.一种文本传输数据的接收与显示方法，所述文本传输数据用来按顺序传送并播放文本回放数据，所述文本回放数据用于文本数据的回放，所述方法包含：

接收第一文本传输数据，并且当经过在第一文本数据的回放时间之后没有收到第二传输数据时确定有数据丢失；以及

当确定有数据丢失时，用第二文本传输数据替换在第一文本传输数据中包含的有关于下一文本传输数据中包含的分割文本数据的文本信息；以及

当文本数据长度为1或更大时，按照文本数据长度显示替换文本，并且当文本数据长度为0时，不执行文本数据的显示。

13.一种数据接收装置，包含：

数据接收部件，用来从服务器或对方站接收文本数据；

文本显示时间抽取部件，用来从所接收的数据中抽取显示文本数据的文本显示时间；

扩展头部存储部件，用来从所接收的数据中抽取并存储其中存储下一文本数据的文本数据信息的扩展头部的信息；

数据丢失确定部件，用来确定是否有数据丢失；

文本抽取与存储部件，用来从所接收的数据中抽取并存储文本数据；

替换文本存储部件，用来存储当未收到待显示的文本数据时要显示的替换文本；

文本显示时间判定部件，用来当数据丢失确定部件确定有数据丢失时判定从扩展头部存储部件输入的文本显示时间作为显示文本的时间，并且当确定没有数据丢失时判定从文本显示时间抽取部件输入的文本显示时间作为显示文本的时间；

显示文本判定部件，用来当数据丢失确定部件确定没有数据丢失时判定显示在文本抽取与存储部件中存储的文本，并且当数据丢失确定部件确定有数据丢失时判定显示在替换文本存储部件中存储的替换文本；以及

文本显示部件，用来显示由文本显示时间判定部件判定的时间与由显示文本判定部件判定的文本。

14.一种用来向对方站发送文本数据的数据发送装置，包含：

文本信息存储部件，用来存储待向对方站发送的文本信息；

下一文本数据信息生成部件，用来生成包含在正在被生成的传输数据之后作为下一传输数据发送的文本中包含的文本长度和/或回放时间的信息；

头部生成部件，用来根据对于文本数据传输与下一文本数据信息生成信息的控制信息生成头部；

有效负荷生成部件，用来根据待发送的文本信息与其修饰信息生成传输数据的有效负荷；

传输数据合成部件，用来从所述头部与有效负荷合成传输数据；以及

数据发送部件，用来向对方站发送传输数据。

15.一种静态图像传输数据的传输数据结构，所述静态图像传输数据用来按顺序传送并播放静态图像回放数据，所述静态图像回放数据用于静态图像数据的回放，

其中所述静态图像回放数据包含：多个其中分割了静态图像数据的分割静态图像数据；以及包含用于播放分割静态图像数据的信息的静态图像头部数据；以及

其中所述静态图像传输数据包含：添加到分割静态图像数据的分割静态图像数据标识符，添加到静态图像头部数据的静态图像头部数据标识符，以及有关于在下一静态图像传输数据中包含的分割静态图像数据的静态图像信息。

16.如权利要求15所述的静态图像传输数据的传输数据结构，其中所述有关于在下一静态图像传输数据中包含的分割静态图像数据的静态图像信息包含：与在下一静态图像传输数据中包含的分割静态图像数据相同数目的静态图像信息。

17.如权利要求15所述的静态图像传输数据的传输数据结构，其中所述有关于在下一静态图像传输数据中包含的分割静态图像数据的静态图像信息包含：在下一静态图像传输数据中包含的分割静态图像数据的静态图像回放时间信息。

18.如权利要求15所述的静态图像传输数据的传输数据结构，其中所述有关于在下一静态图像传输数据中包含的分割静态图像数据的静态图像信息包含：在下一静态图像传输数据中包含的分割静态图像数据的静态图像大小信息。

19.一种静态图像传输数据的发送方法，所述静态图像传输数据用来按顺序传送并播放静态图像回放数据，所述静态图像回放数据用于静态图像数据的回放，所述发送方法包含：

根据所述静态图像回放数据生成所述静态图像传输数据的有效负荷部分，所述静态图像回放数据包含：多个其中分割了静态图像数据的分割静态图像数据；以及用于开始回放分割静态图像数据的回放开始信息；

生成所述静态图像传输数据的头部部分，在其上添加了在下一数据分组中包含的静态图像信息；以及

向每个所生成的有效负荷部分添加所述头部部分，并且形成数据分组，

其中每个有效负荷部分包含静态图像头部数据的回放开始信息。

20.一种静态图像传输数据的发送方法，所述静态图像传输数据用来按顺序传送并播放静态图像回放数据，所述静态图像回放数据用于静态图像数据的回放，所述发送方法包含：

根据所述静态图像回放数据生成所述静态图像传输数据的有效负荷部分，所述静态图像回放数据包含：多个其中分割了静态图像数据的分割静态图像数据；以及用于开始回放分割静态图像数据的回放开始信息；

生成所述静态图像传输数据的头部部分，在其上添加了在下一数据分组中包含的分割静态图像数据的数目；以及

向每个所生成的有效负荷部分添加所述头部部分，并且形成数据分组，

其中每个有效负荷部分包含静态图像头部数据的回放开始信息。

21.一种静态图像传输数据的发送方法，所述静态图像传输数据用来按顺序传送并播放静态图像回放数据，所述静态图像回放数据用于静态图像数据的回放，所述发送方法包含：

根据所述静态图像回放数据生成所述静态图像传输数据的有效负荷部分，所述静态图像回放数据包含：多个其中分割了静态图像数据的分割静态图像数据；以及用于开始回放分割静态图像数据的回放开始信息；

生成所述静态图像传输数据的头部部分，在其上添加了在下一数据分组中包含的分割静态图像数据的回放时间信息；以及

向每个所生成的有效负荷部分添加所述头部部分，并且形成数据分组，

其中每个有效负荷部分包含静态图像头部数据的回放开始信息。

22.一种静态图像传输数据的发送方法，所述静态图像传输数据用来按顺序传送并播放静态图像回放数据，所述静态图像回放数据用于静态图像数据的回放，所述发送方法包含：

根据所述静态图像回放数据生成所述静态图像传输数据的有效负荷部分，所述静态图像回放数据包含：多个其中分割了静态图像数据的分割静态图像数据；以及用于开始回放分割静态图像数据的回放开始信息；

生成所述静态图像传输数据的头部部分，在其上添加了在下一数据分组中包含的分割静态图像数据的静态图像大小；以及

向每个所生成的有效负荷部分添加所述头部部分，并且形成数据分组，

其中每个有效负荷部分包含静态图像头部数据的回放开始信息。

23.一种静态图像传输数据的接收方法，所述静态图像传输数据用来按顺序传送并播放静态图像回放数据，所述静态图像回放数据用于静态图像数据的回放，所述接收方法包含：

接收第一静态图像传输数据，并且当在经过第一静态图像数据的回放时间之后没有收到第二静态图像的静态图像传输数据时确定有数据丢失；以及

当确定有数据丢失时，用第二静态图像传输数据替换在第一静态图像传输数据中包含的有关于下一静态图像传输数据中包含的分割静态图像数据的静态图像信息。

24.一种静态图像传输数据的接收与显示方法，所述静态图像传输数据用来按顺序传送并播放静态图像回放数据，所述静态图像回放数据用于静态图像数据的回放，所述方法包含：

接收第一静态图像传输数据，并且当在经过第一静态图像数据的回放时间之后没有收到第二静态图像的静态图像传输数据时确定有数据丢失；以及

当确定有数据丢失时，用第二静态图像传输数据替换在第一静态图像传输数据中包含的有关于下一静态图像传输数据中包含的分割静态图像数据的静态图像信息；以及

根据静态图像的大小显示替换静态图像。

25.一种数据接收装置，包含：

数据接收部件，用来从服务器或对方站接收静态图像数据；

静态图像显示时间抽取部件，用来从所接收的数据中抽取显示静态图像数据的静态图像显示时间；

扩展头部存储部件，用来存储其中存储下一静态图像数据的静态图像数据信息的扩展头部的信息；

数据丢失确定部件，用来确定是否有静态图像数据丢失；

静态图像抽取与存储部件，用来从所接收的数据中抽取并存储静态图像数据；

替换静态图像存储部件，用来存储当未收到待显示的静态图像数据时要显示的静态图像；

静态图像显示时间判定部件，用来当数据丢失确定部件确定有数据丢失时判定从扩展头部存储部件输入的静态图像显示时间作为显示静态图像的时间，并且当确定没有数据丢失时判定从静态图像显示时间抽取部件输入的静态图像显示时间作为显示静态图像的时间；

显示静态图像判定部件，用来当数据丢失确定部件确定没有数据丢失时判定显示在静态图像抽取与存储部件中存储的静态图像，并且当数据丢失确定部件确定有数据丢失时判定显示在替换静态图像存储部件中存储的替换静态图像；以及

静态图像显示部件，用来显示由静态图像显示时间判定部件判定的时间与由显示静态图像判定部件判定的静态图像。

26.一种用来向对方站发送静态图像数据的数据发送装置，包含：

静态图像信息存储部件，用来存储待向对方站发送的静态图像信息；

下一静态图像数据信息生成部件，用来生成包含在正在被生成的传输数据之后作为下一传输数据发送的静态图像中包含的静态图像大小和回放时间的信息；

头部生成部件，用来根据对于静态图像数据传输与下一静态图像数据信息生成信息的控制信息生成头部；

有效负荷生成部件，用来根据待发送的静态图像信息与其修饰信息生成传输数据的有效负荷；

传输数据合成部件，用来从所述头部与有效负荷合成传输数据；以及

数据发送部件，用来向对方站发送传输数据。

27.一种数据发送方法，用来发送指示静态媒体数据与播放该静态媒体数据的静态媒体数据回放时间的信息，并且用来与所述静态媒体数据一道发送指示待在所述静态媒体数据之后播放的下一静态媒体数据的回放时间的数据。

28.一种数据接收方法，用来接收指示被发送来顺序播放多个静态媒体数据的静态媒体数据的回放时间的静态媒体传输数据，该方法包含：

接收第一静态媒体传输数据，并且根据第一静态媒体传输数据，确定在经过待播放的第一静态媒体数据的回放时间之后是否收到第二静态媒体传输数据；

根据所述确定结果，当没有收到第二静态媒体传输数据时，确定有数据丢失；以及

当确定有数据丢失时，开始发送第一静态媒体传输数据的重新发送请求。

29.一种数据接收方法，用来接收指示被发送来顺序播放多个静态媒体数据的静态媒体数据的回放时间、以及待在所述静态媒体数据之后播放的下一静态媒体数据的回放时间的静态媒体传输数据，该方法包含：

接收第一静态媒体传输数据，并且根据第一静态媒体传输数据，确定在经过待播放的第一静态媒体数据的回放时间之后是否收到第二静态媒体传输数据，该第二静态媒体传输数据用来播放第一静态媒体数据之后的下一静态媒体数据；

根据所述确定结果，当没有收到第二静态媒体传输数据时，确定有数据丢失；

当确定有数据丢失时，开始发送第一静态媒体传输数据的重新发送请求；以及

根据是否经过基于在第一静态媒体传输数据中包含的下一静态媒体数据回放时间的下一静态媒体数据的回放时间，结束发送第二静态媒体传输数据的重新发送请求。

30.如权利要求29所述的数据接收方法，其中将从下一静态媒体数据的回放时间结束的时间向后退一个在静态媒体传输数据的发送方与接收方之间传输数据所需的往返时间的时间设置为结束发送第二静态媒体传输数据的重新发送请求的定时。

31.一种数据发送方法，用来发送指示静态媒体数据与播放该静态媒体数据的静态媒体数据回放时间的信息，并且用来与所述静态媒体数据一道发送指示待在所述静态媒体数据之后播放的下一静态媒体数据的回放时间的数据与指示在下一静态媒体数据中包含的字符数的信息。

32.一种数据接收方法，用来接收指示被发送来顺序播放多个静态媒体数据的静态媒体数据的回放时间、待在所述静态媒体数据之后播放的下一静态媒体数据的回放时间、以及在下一静态媒体数据中包含的字符数的静态媒体传输数据，该方法包含：

接收静态媒体传输数据，并且根据该静态媒体传输数据，确定在经过待播放的静态媒体数据的回放时间之后是否收到用来播放在该静态媒体数据之后的下一静态媒体数据的下一静态媒体传输数据；

根据所述确定结果，当没有收到下一静态媒体传输数据时，确定有数据丢失；以及

当确定有数据丢失时，根据静态媒体传输数据显示的下一静态数据的字符书大于0的条件开始发送对静态媒体传输数据的重新发送请求。

33.一种数据接收装置，用来接收指示被发送来顺序播放多个静态媒体数据的静态媒体数据的回放时间的静态媒体传输数据，该装置包含：

接收结果确定部件，用来接收第一静态媒体传输数据，并且根据第一静态媒体传输数据，确定在经过待播放的第一静态媒体数据的回放时间之后是否收到第二静态媒体传输数据；

数据丢失确定部件，用来根据接收结果确定部件的确定结果，当没有收到第二静态媒体传输数据时，确定有数据丢失；以及

重新发送请求发送开始部件，用来当数据丢失确定部件确定有数据丢失时，开始发送第一静态媒体传输数据的重新发送请求。

Images