CN1187929C - 数据接收装置、数据接收方法及数据传输方法 - Google Patents

数据接收装置、数据接收方法及数据传输方法 Download PDF

Info

Publication number
CN1187929C
CN1187929C CNB011170638A CN01117063A CN1187929C CN 1187929 C CN1187929 C CN 1187929C CN B011170638 A CNB011170638 A CN B011170638A CN 01117063 A CN01117063 A CN 01117063A CN 1187929 C CN1187929 C CN 1187929C
Authority
CN
China
Prior art keywords
data
mentioned
media data
time
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB011170638A
Other languages
English (en)
Other versions
CN1311580A (zh
Inventor
松井义德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1311580A publication Critical patent/CN1311580A/zh
Application granted granted Critical
Publication of CN1187929C publication Critical patent/CN1187929C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/62—Establishing a time schedule for servicing the requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明的目的是能够把第一前景图象(adv)和第二前景图象(mov)在通过场景记述所指定的时刻上与背景图象(bg)进行合成来显示。本发明包括：数据要求接收装置105，向服务器13b、13c要求各前景图象的媒体数据Dm1、Dm2，同时，接收来自服务器的消息；控制数据生成部110a，根据在SMIL数据Ds1中包含的表示各前景图象的显示开始前的待机时间的信息，控制上述数据要求接收装置105，以使在比各前景图象的显示开始时刻提前上述待机时间的时刻上，向对应的服务器发出该媒体数据的要求消息。

Description

数据接收装置、数据接收方法及 数据传输方法
技术领域
本发明涉及数据接收装置、数据接收方法、数据传输方法及数据存储媒体，特别是涉及从提供媒体数据的服务器传输包含媒体数据的存储位置和重放开始时刻的控制数据的传输处理、访问上述服务器来接收并重放媒体数据的接收处理、以及存储用于通过计算机进行上述传输处理和接收处理的程序的数据记录媒体。
背景技术
近年来，随着图象数据和声音数据的压缩编码技术的进步以及因特网和无线网等的网络的数据传输容量的扩大等，已经出现了被称为媒体数据的处理图象、声音、文本等数据的业务。
这样的业务，在现有技术中主要是通过下载方式所提供。在该下载方式中，重放所需要的全部媒体数据预先通过网络从服务器被下载到客户终端上，在该下载完成之后，在客户终端上进行上述媒体数据的重放及显示。
但是，在最近，在处理上述这样的媒体数据的业务中，可以采用流动方式来取代下载方式。在该流动方式中，由客户终端并行进行从服务器通过网络接收媒体数据的处理和重放并显示接收的媒体数据的处理。
在这样的流动方式中，在媒体数据的接收完成之前，进行其重放和显示，因此，该流动方式的最大特征是：在采用该方式的业务中，即使在收看长时间的节目的情况下，减少了从要求该节目数据到进行该节目数据的重放和显示的等待时间。
可以预料到，在今后，提供上述这样的媒体数据的业务不限于用图象数据和声音数据等单独的媒体数据的重放和显示，还会扩展到能够同时重放并显示多个媒体数据即活动图象数据、静止图象数据或者文本数据等媒体数据的业务。
下面对通过流动方式同时重放多个媒体数据，例如同时显示一个背景和两个前景的处理进行说明。
图11(a)是用于说明媒体数据的空间的配置的图。
预定的图象空间1100为背景图象(bg)所显示的矩形形状的背景显示区域(bg区域)1110，在该背景显示区域1110内设定作为广告等图象的第一前景图象(adv)所配置的矩形形状的第一前景配置区域(adv区域)1120以及作为活动图象的第二前景图象(mov)所配置的矩形形状的第二前景配置区域(mov区域)1130。
其中，对于上述预定的图象空间1100，通过相当于水平方向的象素数的水平点数和相当于垂直方向的象素数的垂直点数，来定义表示该图象空间1100内的位置的坐标系。例如，背景显示区域(全部场景)1110的左上角的位置是水平点数和垂直点数都为0的位置。而且，背景显示区域(全部场景)1110的水平方向的尺寸(宽度)为300点，背景显示区域1110的垂直方向的尺寸(高度)为200点。上述第一前景配置区域(adv区域)1120的左上角的位置是水平点数为0并且垂直点数为150的位置。第一前景配置区域1120的水平方向的尺寸(宽度)为300点，第一背景显示区域1110的垂直方向的尺寸(高度)为50点。上述第二前景配置区域(mov区域)1130的左上角的位置是水平点数为50并且垂直点数为0的位置。第二前景配置区域1130的水平方向的尺寸(宽度)为200点，第二前景配置区域1130的垂直方向的尺寸(高度)为150点。
图11(b)是用于说明媒体数据的时间配置的图，表示在上述预定的图象空间上显示背景图象及第一、第二前景图象的定时。
在图11(b)所示的媒体数据的时间配置例子中，当客户终端的基准时刻T为背景图象的显示开始时刻Tbg(Tbg＝0)时，在上述图象空间1100上出现背景图象(bg)。而且，当客户终端的基准时刻T为第一前景图象(adv)的显示开始时刻Tadv(Tadv＝5秒)时，在上述图象空间1100上出现第一前景图象(adv)。而且，当客户终端的基准时刻T为第二前景图象(mov)的显示开始时刻Tmov(Tmov＝10秒)时，在上述图象空间1100上出现第二前景图象(mov)。
在客户终端上实际进行同时重放并显示这样的多个媒体数据的处理中，用于合成各媒体数据即背景图象(bg)、第一前景图象(adv)、第二前景图象(mov)的信息(场景记述数据)是必须的。该场景记述数据指定各个媒体数据的时间配置(参照图11(b))和空间配置(参照图11(a))。而且，在该场景记述数据中，用按「SMIL(Synchronized Multimedia IntegrationLanguage)」、「HTML(Hyper Text Markup Language)+TIME(TimedInteractive Multimedia Extensions)」等的W3C(World Wide Web Consortium)所标准化的语言来表现其记述内容。
以下对作为表现上述场景记述数据的语言之一的SMIL进行说明。
图12是用于说明由SMIL所产生的场景记述数据的记述内容的一例的图。
在场景记述SD的各行的开头所记述的<smil>、</smil>、<head>、</head>、<layout>、</layout>、<root-layout>、<region>、<body>、<par>、</par>、<video>等字符串被称为要素，接着该要素来表示记录的内容。
例如，smit要素和/smil要素表示：位于包含smit要素的行710a和包含/smil要素的行710b之间的行按照SMIL标准进行记述。head要素和/head要素表示：位于包含head要素的行720a和包含/head要素的行720b之间的行记述了图11(a)所示的图象空间的用于定义各图象(bg)、(adv)及(mov)所配置的区域的信息。而且，layout要素和/layout要素表示：在包含layout要素的行730a和包含/layout要素的行730b之间，配置包含与并列(同时)进行重放的背景图象和前景图象的配置区域相关的信息的行701～703。
root-layout要素701a表示：在包含该要素的行701的记述中，进行作为背景图象(场景全体)进行显示的图象的指定及背景图象的尺寸的指定等。region要素702a，703a表示：在包含该要素的行702，703的记述中，指定前景图象所配置的一个矩形区域的尺寸和其场景全体(图象空间)中的位置。
body要素和/body要素表示：在位于包含body要素的行740a和包含/body要素的行740b之间的行中，记述表示所重放的媒体数据的所在位置的信息(URL)和与将要显示媒体数据的时间相关的信息。而且，par要素和/par要素表示：在包含par要素的行750a和包含/par要素的行750b之间，分组配置包含与并列(同时)进行重放的媒体数据相关的媒体要素及随其的属性信息的行704，705。
video要素704a，705a表示：通过包含该video要素的行的记录，来指定活动图象数据。
而且，接着上述root-layout要素、region要素、video要素所记述的「id」、「width」、「height」、「left」、「top」、「src」、「begin」等字符串被称为属性，用各要素包含的行来指定详细的信息。
首先包含root-layout要素、region要素、video要素的行701，702，703中的id属性指定了背景图象、第一前景图象、第二前景图象等媒体数据。
包含root-layout要素701a的行701中的width属性和height属性指定了背景图象(场景全体)的宽度和纵向高度，其中，背景(场景全体)的尺寸被指定为：宽度300点(width＝“300”)，纵向高度200点(height＝“200”)。
包含region要素702a，703a的行702，703中的width属性和height属性指定了矩形区域的高度和宽度，left属性和top属性指定了矩形区域的左上角的与场景全体的左上端相对的位置。
例如，在包含region要素的行702中，通过id属性(id＝adv)，来指定与region属性值(region＝adv)相对应的媒体数据所表示的第一前景配置区域1120(参照图10(a))。该第一矩形区域的左上角的位置，通过left属性(left＝0)和top属性(top＝150)，而被指定为把图象空间的左上角作为基准的水平方向0点，垂直方向离开150点的位置。而且，作为该第一矩形区域的尺寸，通过width属性(width＝800)和heigbt属性(heigbt＝50)，而指定了横向宽度300点和纵向高度50点的尺寸。
而且，在包含region要素的行703中，通过id属性(id＝mov)，来指定与region属性值(region＝mov)相对应的媒体数据所表示的第二前景配置区域1130(参照图11(a))。该第二矩形区域的左上角的位置，通过left属性(left＝50)和top属性(top＝0)，而被指定为把图象空间的左上角作为基准的在水平方向离开50点，垂直方向离开0点的位置。而且，作为该第二矩形区域的尺寸，通过width属性(width＝200)和height属性(height＝150)，而指定了横向宽度200点和纵向高度150点的尺寸。
其中，在包含region要素的行702中所记述的配置信息适应于在包含video要素的行704中由region属性值(region＝adv)所指定的媒体数据，并且，在包含region要素的行703中所记述的配置信息适应于在包含video要素的行705中由region属性值(region＝mov)所指定的媒体数据。
而且，包含video要素704a和705a的行704和705中的src属性指定了传输规划和服务器上的媒体数据的存储位置。由该src属性所指定的信息是这样的信息：由于在SMIL数据中没有附带上述图象等的媒体数据，而需要另外用于向服务器要求媒体数据。
其中，在包含video要素的行704和705中，作为传输规划，在发送侧和接收侧，指定作为用于交换数据要求消息的协议(程序)的rtsp(Real TimeStreaming Protocol)。在包含video要素的行704中，作为与第一前景图象(adv)相对应的媒体数据，指定了在服务器(s2.com)中所存储的数据(adv.mpg)，在包含video要素的行705中，作为与第二前景图象(mov)相对应的媒体数据，指定了在服务器(s3.com)中所存储的数据(mov.mpg)。
因此，在客户终端，使用作为媒体数据的传输协议(程序)的rtsp(Real TimeStreaming Protocol)，对于通过包含video要素的行704和705的记述所指定的服务器(s2.com)和服务器(s3.com)，进行要求媒体数据(adv.mpg)和媒体数据(mov.mpg)的消息的发出。而且，媒体数据使用RTP(RealtimeTransport Protocol)来进行发送接收。
而且，包含video要素的行704和705中的begin属性指定了把开始场景显示的时刻作为起点(零秒)时的媒体数据的显示被开始的时间，各媒体数据的时间配置由begin属性等所决定。在包含video要素的行704的记述中，begin属性被指定为5秒(begin＝“5”)。即，指定时间配置，以使第一前景图象在场景的显示开始之后5秒后开始进行显示。而且，在包含video要素的行705的记述中，begin属性被指定为10秒(begin＝“10”)。即，指定时间配置，以使第二前景图象在场景的显示开始之后10秒后开始进行显示。
下面对作为上述客户终端的个人计算机所装载的现有的数据接收装置进行说明。
图13是用于说明现有的数据接收装置的方框图。
该数据接收装置901向服务器要求并取得图11所示的SMIL数据，来作为场景记述数据，接着，向服务器要求并取得通过SMIL数据所指定的媒体数据，重放显示取得的媒体数据。
即，该数据接收装置901具有：多个媒体数据接收装置902a，902b，接收与构成场景的各个个别图象相对应的图象数据(媒体数据)Dm1，Dm2并进行输出；多个图象解码装置903a，903b，对从各媒体数据接收装置902a，902b所输出的图象数据Dm1，Dm2进行解码，输出解码图象数据Dd1，Dd2；多个帧存储器904a，904b，以帧单位存储来自各图象解码装置的解码图象数据Dd1，Dd2；显示装置905，合成并显示与各个个别图象相对应的图象数据，以便于接收从各帧存储器所读出的解码图象数据Dd1，Dd2，根据控制数据Dc1，通过各个个别图象来形成一个场景。
而且，上述数据接收装置901具有：SMIL要求接收装置906，根据第三控制数据Dc3，向预定的远程服务器输出要求SMIL数据Ds的SMIL要求信号Srd，同时，接收并解析来自预定的远程服务器的SMIL数据Ds；控制数据生成部907，接收通过SMIL数据的解析所得到的SMIL解析数据Da，作为第一控制数据Dc1存储与各video要素相对应的个别图象的空间配置和时间配置相关的信息，同时，作为第二控制数据存储与个别图象相对应的图象数据(媒体数据)的传输规划和与其存储位置相关的信息；数据要求接收装置908，根据来自控制数据生成部907的第二控制数据Dc2，输出向远程服务器要求图象数据的要求信号Srp，同时，接收与该要求相对应的应答信号Sack，把从应答信号所得到的数据Sm输出给控制数据生成部907；时钟电路909，向构成数据接收装置901的各个部件提供时刻信息。
而且，该数据接收装置901具有与接收图象数据(媒体数据)的个数相同数量的数据接收装置、图象解码装置和帧存储器。而且，上述数据要求接收装置908通过使用者的操作，要求用于重放预定的场景的场景记述数据。
下面对动作进行说明。
图14是用于说明上述数据接收装置从服务器取得媒体数据的处理的流程的图，表示RTSP(Real Time Streaming Protocol)程序的一例。
其中，数据接收装置901被装载在作为客户终端的个人计算机中，给该数据接收装置901提供图12所示的SMIL数据，作为场景记述数据SD。
首先，例如，在使用者通过在个人计算机上所装备的浏览器，阅览由HTML(Hyper Text Markup Language)所记述的主页时，当进行点击主页上的与预定的SMIL数据相链接的区域的操作时，从客户终端的数据接收装置901发出要求SMIL数据Ds的SMIL要求指令(GET http：//s1.com/scene.smil)C1。该指令C1要求以HTTP向服务器(s1.com)13a提供SMIL数据。
当上述SMIL要求指令C1被服务器13a所接收时，从该服务器13a向客户终端发出表示了解上述指令的应答(HTTP/1.0OK)R1，同时，SMIL数据(scene.smil)Ds被提供给客户终端。
这样，在客户终端的数据接收装置901中，SMIL数据Ds被SMIL接收装置906所接收，在该SMIL接收装置906中，进行解析SMIL数据Ds的处理。
SMIL接收装置906中的通过SMIL数据解析所得到的SMIL解析数据Da被提供给控制数据生成部907进行记录。
即，在控制数据生成部907中，存储与作为root-layout要素所记述的背景图象(场景全体)的尺寸相关的信息或者与作为video要素所记述的src属性、top属性、left属性、width属性、height属性以及beegin属性相关的信息。具体地说，在src属性信息中，包含表示各图象数据的存储位置的信息，在top属性信息和left属性信息中，分别包含把场景的左上端位置作为基准与前景图象所配置的矩形区域的作为相关的信息。而且，在width属性信息和height属性信息中，包含与上述矩形区域的水平方向和垂直方向的尺寸相关的信息。而且，在begin属性信息中，包含开始进行与各video要素相对应的媒体数据的显示的显示开始时刻。
在显示装置905中，根据在控制数据生成部907中所存储的内容，控制制作并显示场景的处理。具体地说，与显示处理的开始同时，在图象空间1100的全体中显示与root-layout要素相对应的背景图象(bg)。而且，此时，时钟电路909输出的时刻信息被设定为零。
而且，在上述SMIL数据Ds中，第一前景图象(adv)的显示开始时刻被设定为5秒，第二前景图象(mov)的显示开始时刻被设定为10秒，因此，在时刻0～5秒之间，在显示装置905中不进行参照帧存储器904a，904b来合成图象数据的动作。
此后，当时钟电路909输出的时刻信息成为5秒时，根据在控制数据生成部907中所存储的video要素704a的src属性，在数据要求接收装置908与第二服务器(s2.com)13b之间，使用RTSP(Real Time Streaming Protocol)作为通信协议来进行要求与第一前景图象相对应的图象数据(adv.mpg)的消息交换。然后，使用RTR(Realtime TRANSPORT Protocol)来从服务器发送图象数据(adv.mpg)。
具体地说，如图14所示的那样，从客户终端的数据接收装置901向第二服务器(s2.com)13b发出要求与第一前景图象(adv)相对应的媒体数据相关的详细信息(例如，编码条件和多个候选数据的有无等)的指令(DESCRIBErtsp：//s2.com/adv.mpg)C2。
当上述指令C2被第二服务器13b所接收时，从该服务器13b向客户终端发出表示了解上述指令的应答(RTSP/1.0 OK)R2，同时，向客户终端提供SDP(Session Description Protocol)信息。
接着，从客户终端的数据接收装置901向第二服务器(s2.com)13b发出要求进行提供与第一前景图象(adv)相对应的媒体数据的准备的准备要求指令(SETUP rtsp：//s2.com/adv.mpg)C3。这样，由第二服务器13b，向客户终端发出完成了提供媒体数据的准备的表示了解了上述指令C3的应答(RTSP/1.0 OK)R3。
接着，当从客户终端的数据接收装置901向第二服务器(s2.com)13b发出要求与第一前景图象(adv)相对应的媒体数据要求指令(PLAYrtsp：//s2.com/adv.mpg)C4时，由第二服务器13b，向客户终端发出表示了解了上述指令C4的应答(RTSP/1.0 OK)R4，然后，从该第二服务器13b，与第一前景图象(adv.mpg)相对应的媒体数据Dm1被存储在RTP组件中，依次提供给上述客户终端。
接着，该媒体数据Dm1由对应的数据接收装置902a所接收，输出给对应的图象解码装置903a。由该图象解码装置903a进行该媒体数据的解码处理，所解码的媒体数据Dd1以帧单位记录在帧存储器904a中。在此时刻，媒体数据Dm1的重放成为可能，但是，例如，从客户终端向服务器开始媒体数据Dm1的要求的时刻(计数器电路的输出为5秒的时刻)之后，在客户终端与服务器之间的消息交换期间，经过了3秒。
这样，为了从预定的服务器取得媒体数据，而在该服务器与客户终端之间进行消息交换，因此，在客户侧能够重放第一前景图象的时刻滞后于在SMIL数据中所记述的第一前景图象的显示开始时刻。
因此，在显示装置905中，从在上述SMIL数据中所记述的第一前景图象的显示开始时刻经过3秒后，进行第一前景图象的显示。
即，当来自时钟电路909的时刻信息到达8秒时，判定在帧存储器904a中是否存储了一帧的解码的前景图象的图象数据，在已存储了一帧的解码的图象数据的情况下，进行把第一前景图象合成为背景图象来进行显示的处理。
此时，在图象数据是活动图象数据的情况下，向数据接收装置902a依次输入图象数据，由图象解码装置903a依次进行图象数据的解码处理，在帧存储器904a中以帧单位依次存储由图象解码装置903a所解码的图象数据。接着，由显示装置905来把在帧存储器904a中所存储的与帧相对应的图象数据依次与背景图象的数据进行合成来进行显示。
此后，当时钟电路909输出的时刻信息成为10秒时，根据在控制数据生成部907中所存储的video要素705a的src属性，在数据要求接收装置908与第三服务器(s3.com)13c之间，使用RTSP(Real Time Streaming Protocol)作为通信协议来进行要求与第二前景图象相对应的图象数据(adv.mpg)的消息交换。然后，使用RTR(Realtime TRANSPORT Protocol)来从服务器发送图象数据(mov.mpg)。
具体地说，如图14所示的那样，从客户终端的数据接收装置901向第三服务器(s3.com)13c发出要求与第二前景图象(mov)相对应的媒体数据相关的详细信息(例如，编码条件和多个候选数据的有无等)的指令(DESCRIBErtsp：//s3.com/mov.mpg)C5。
当上述指令C5被第三服务器13c所接收时，从该服务器13c向客户终端发出表示了解上述指令的应答(RTSP/1.0 OK)R5，同时，向客户终端提供SDP(Session Description Protocol)信息。
接着，从客户终端的数据接收装置901向第三服务器(s3.com)13c发出要求进行提供与第二前景图象(mov)相对应的媒体数据的准备的准备要求指令(SETUP rtsp：//s3.com/mov.mpg)C6。这样，由第三服务器13c，向客户终端发出完成了提供媒体数据的准备的表示了解了上述指令C6的应答(RTSP/1.0 OK)R6。
接着，当从客户终端的数据接收装置901向第三服务器(s3.com)13c发出要求与第二前景图象(mov)相对应的媒体数据要求指令(PLAYrtsp：//s3.com/mov.mpg)C7时，由第三服务器13c，向客户终端发出表示了解了上述指令C74的应答(RTSP/1.0 OK)R7，然后，从该第三服务器13c，与第二图象数据(mov.mpg)相对应的媒体数据Dm2被存储在RTP组件中，依次提供给上述客户终端。
接着，该媒体数据Dm2由对应的数据接收装置902b所接收，输出给对应的图象解码装置903b。由该图象解码装置903b与上述媒体数据Dm1的解码处理同样地进行该媒体数据Dm2的解码处理，所解码的媒体数据Dd2以帧单位记录在对应的帧存储器904b中。在此时刻，媒体数据Dm2的重放成为可能，但是，例如，从客户终端向服务器开始媒体数据Dm2的要求的时刻(计数器电路的输出为10秒的时刻)之后，在客户终端与服务器之间的消息交换期间，经过了预定的时间。
这样，为了从预定的服务器取得媒体数据，而在该服务器与客户终端之间进行消息交换，因此，在客户侧能够重放第二前景图象的时刻滞后于在SMIL数据中所记述的第二前景图象的显示开始时刻。
因此，在显示装置905中，从在上述SMIL数据中所记述的第二前景图象的显示开始时刻经过3秒后，进行第二前景图象的显示。
此时，在显示装置905中，在图象空间1100(参照图11(a))的背景显示区域1110中显示背景图象(bg)，在该第一前景配置区域1120上显示第一前景图象(adv)，而且，在第二前景配置区域1130上显示第二前景图象(mov)。即，在图象空间1100中，把背景图象(bg)、第一和第二前景图象进行合成来进行显示。
但是，在现有的数据接收装置901中，根据由SMIL所产生的场景记述的内容，向服务器发出要求图象数据的数据要求消息，因此，存在以下问题：
即，在上述场景记述中，用于显示第一前景图象(adv)的处理的开始时刻，通过附带在第一video要素704a上的begin属性，是场景全体的显示开始后经过5秒时。并且，用于显示第二前景图象(mov)的处理的开始时刻，通过附带在第二video要素705a上的begin属性，是场景全体的显示开始后经过10秒时。因此，在装载在客户终端(接收侧终端)中的现有的数据接收装置901中，在场景全体的显示开始后经过5秒时，向第二服务器13b发出要求与第一前景图象相对应的图象数据的数据要求消息，并且，在场景全体的显示开始后经过10秒时，向第三服务器13c发出要求与第二前景图象相对应的图象数据的数据要求消息。
在此情况下，在向服务器要求图象数据之后，到在客户终端中来自服务器的图象数据成为能够显示的状态为止，存在某种程度的延迟时间。例如，作为该延迟时间，可以列举出：服务器与客户终端之间的由RTSP所产生的消息交换所需要的时间、服务器中的与来自客户终端的指令相对应的处理所需要的时间等。
因此，现有的数据接收装置901从向服务器提出数据要求的开始时刻，在经过预定的待机时间(在该例中，为3秒)时，根据在上述帧存储器中所存储的图象数据，进行图象显示。
其结果是在现有的数据接收装置901中，在由场景记述所指定的时刻，即，在由各video要素中所包含的begin属性所示的时刻，存在难于显示与该video要素相对应的媒体数据的问题。
而且，从要求图象数据到图象数据实际被存储在帧存储器中所需要的时间依赖于网络的状态和消息交换的次数等，因此，多个图象数据之间的时间上的位置关系发生变动，而难于保持多个图象数据之间的同步状态。
例如，根据图12所示的场景记述SD，与第二video要素705a相对应的图象的显示，将在与第一video要素704a相对应的图象的显示开始之后5秒后开始，但是，由于网络的混杂度等各种因素，当在向服务器要求图象数据之后到图象数据实际上被存储在数据接收装置901的帧存储器中为止的时间发生变化时，就会发生这样的状况：与video要素705a相对应的图象即使在与video要素704a相对应的图象的显示开始后经过5秒之后仍未被显示。这样的状况，在场景是由相互关联的多个图象数据组成的合成图象的情况下，成为很大问题。
而且，当通过因特网这样的带宽(即，恒定的数据传输率)没有保证的网络来发送媒体数据时，在数据接收装置901的图象解码装置中，在数据接收装置的数据缓冲器内蓄积了一定量的图象数据之前，需要一段时间，而等待几秒～十几秒，然后，开始进行对所接收的图象数据的解码处理。在开始进行这样的图象解码装置中的解码处理之前，在数据接收装置的数据缓冲器内蓄积一定量的图象数据的处理被称为预缓冲。
因此，在不进行这样的预缓冲的情况下，数据接收装置中的解码处理易于受到网络的跳动(传输率的摆动)的影响。例如，当对每一定量的图象数据进行解码处理时，在进行解码处理的时刻，将要进行解码的图象数据不一致，而易于陷入图象数据的重放处理被分断的状态。
这样，若考虑与服务器的消息交换和预缓冲所需要的时间，在场景重放开始后，在由SMIL数据所记述的各图象数据的显示时间内，向服务器发出要求各图象数据的消息的现有的数据接收装置901不能进行按照由场景记述所规定那样的正确场景的重放。
而且，存在适当的预缓冲时间在与各图象数据相对应的每个比特流(各图象数据的编码数据)中不同的情况，因此，不能在接收终端(数据接收装置)中设定适当的预缓冲时间，在接收终端侧，在对图象数据的解码处理中，可能发生数据接收装置中的缓冲器中的图象数据的过度或不足即缓冲器的下溢和上溢。
发明内容
为了解决上述问题，本发明的目的是提供数据接收装置、数据接收方法和数据传输方法以及存储用于通过计算机进行由上述数据接收方法所进行的数据接收处理的程序的数据记录媒体，能够按照由场景记述数据所指定的时间，来开始构成场景的各个图象的重放和显示，而且，与网络的跳动的发生无关，能够进行对图象数据的重放和显示处理而该处理不会被中断。
本发明的第一方面所涉及的数据接收装置，用于从网络上的数据源取得与构成场景的各要素相对应的作为图象数据、声音数据及文本数据中任一个的媒体数据，重放取得的媒体数据，显示上述场景，其特征在于，包括：第一接收装置，用于接收表示保持上述各媒体数据的数据源的上述网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息；时刻设定装置，用于根据上述第一和第二时刻信息，把向该数据源要求上述各媒体数据的数据要求时刻设定到：比上述各媒体数据的重放开始时刻提前每个媒体数据中所设定的固有时间的时刻上；数据要求装置，用于在由上述时刻设定装置所设定的数据要求时刻，进行向上述所在位置信息表示的数据源要求上述各媒体数据的数据要求处理；第二接收装置，用于根据上述数据要求装置的要求，接收从上述数据源所提供的媒体数据。
本发明的第二方面是，在本发明的第一方面所述的数据接收装置中，上述第一接收装置接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息；上述时刻设定装置把上述媒体数据的数据要求时刻设定在比上述各媒体数据的重放开始时刻提前上述待机时间的时刻上。
本发明的第三方面是，在本发明的第一方面所述的数据接收装置中，上述第一接收装置接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息；上述时刻设定装置把上述媒体数据的数据要求时刻设定在上述第二时刻信息表示的时刻上。
本发明的第四方面是，在本发明的第一方面所述的数据接收装置中，上述第一接收装置接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息；上述时刻设定装置把上述媒体数据的数据要求时刻设定在比各媒体数据的重放开始时刻提前上述待机时间和预先设定的预定时间的合计时间的时刻上。
本发明的第五方面是，在本发明的第一方面所述的数据接收装置中，上述第一接收装置接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息；上述时刻设定装置把上述媒体数据的数据要求时刻设定在比上述第二时刻信息表示的时刻提前预先设定的预定时间的时刻上。
本发明的第六方面所涉及的数据接收方法，从网络上的数据源取得与构成场景的各要素相对应的作为图象数据、声音数据及文本数据中任一个的媒体数据，重放取得的媒体数据，显示上述场景，其特征在于，包括：第一接收步骤，接收表示保持上述各媒体数据的数据源的上述网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息；数据要求步骤，根据上述第一和第二时刻信息，在比上述各媒体数据的重放开始时刻提前每个媒体数据中所设定的固有时间的时刻上，进行向上述所在位置信息表示的数据源要求上述各媒体数据的数据要求处理；第二接收步骤，根据上述数据要求步骤中的数据要求处理，接收从上述数据源所提供的媒体数据。
本发明的第七方面是，在本发明的第六方面所述的数据接收方法中，上述第一接收步骤，接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息；上述数据要求步骤，在比上述各媒体数据的重放开始时刻提前上述待机时间的时刻上，进行向预定的数据源要求各媒体数据的数据要求处理。
本发明的第八方面是，在本发明的第六方面所述的数据接收方法中，上述第一接收步骤，接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息；上述数据要求步骤，在上述数据要求时刻上进行向预定的数据源要求各媒体数据的数据要求处理。
本发明的第九方面是，在本发明的第六方面所述的数据接收方法中，上述第一接收步骤，接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息；上述数据要求步骤，在比各媒体数据的重放开始时刻提前上述待机时间和预先设定的预定时间的合计时间的时刻上，进行向预定的数据源要求各媒体数据的数据要求处理。
本发明的第十方面是，在本发明的第六方面所述的数据接收方法中，上述第一接收步骤，接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息；上述数据要求步骤，在比上述第二时刻信息表示的时刻提前预先设定的预定时间的时刻上，进行向预定的数据源要求各媒体数据的数据要求处理。
本发明的第十一方面所涉及的数据发送方法，把与构成场景的各要素相对应的作为图象数据、声音数据及文本数据中任一个的媒体数据发送给重放该媒体数据并显示上述场景的接收终端，其特征在于，包括：第一发送步骤，发送表示保持上述各媒体数据的数据源的网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息；第二发送步骤，根据上述第一和第二时刻信息及所在位置信息，根据从接收终端所发送的媒体数据的要求，向该接收终端发送上述媒体数据。
本发明的第十二方面是，在本发明的第十一方面所述的数据发送方法中，把上述第二时刻信息作为表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息。
本发明的第十三方面是，在本发明的第十一方面所述的数据发送方法中，把上述第二时刻信息作为表示将要向对应的数据源要求上述各媒体数据的数据要求时刻的时刻信息。
本发明的这些和其他的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。
附图说明
图1是用于说明本发明的实施例1的数据接收装置110的方框图；
图2是表示提供给上述实施例1的数据接收装置110的SMIL数据Ds1的内容(场景记述)SD1的图；
图3是根据提供给上述实施例1的数据接收装置110的SMIL数据Ds1来表示媒体数据的空间配置(图(a))和时间配置(图(b))的图；
图4是表示由上述实施例1的数据接收装置110的控制数据存储处理部103所制作的时间表的图；
图5是用于说明来自上述实施例1的数据接收装置110所产生的服务器的媒体数据的取得处理的流程的图；
图6是表示上述实施例1的数据接收装置110中的计算媒体数据要求命令的发出时刻的处理的图；
图7是用于说明本发明的实施例2的数据接收装置120的方框图；
图8是表示提供给上述实施例2的数据接收装置120的SMIL数据Ds2的内容(场景记述)SD2的图；
图9是作为本发明的实施例的数据传输方法来表示把表示预缓冲时间(待机时间)的信息包含在SDP中来进行传输的方法的图；
图10是作为本发明的实施例的数据传输方法来表示把表示预缓冲时间(待机时间)的信息包含在与RTSP的SETUP要求相对应的应答中来进行传输的方法的图；
图11是根据现有的提供给数据接收装置的SMIL数据Ds来表示媒体数据的空间配置(图(a))和时间配置(图(b))的图；
图12是表示现有的提供给数据接收装置的SMIL数据Ds的内容(场景记述)SD的图；
图13是用于说明现有的数据接收装置的方框图；
图14是用于说明来自现有的数据接收装置所产生的服务器的媒体数据的取得处理的流程的图。
具体实施方式
实施例1
图1是用于说明本发明的实施例1的数据接收装置的方框图。
该实施例1的数据接收装置110是这样的数据接收装置：接收SMIL数据Ds1来作为场景记述数据，按照该SMIL数据的记述内容，重放并显示由一个背景图象和两个前景图象组成的合成图象。
即，该数据接收装置110具有：SMIL要求接收装置102，根据第三控制数据Dc3，向预定的服务器输出要求SMIL数据Ds1的SMIL要求信号Srd，同时，接收从预定的服务器所发送的SMIL数据Ds1，解析该SMIL数据Ds；控制数据生成部110a，根据在该SMIL要求接收装置102中通过SMIL数据的解析所得到的解析数据Da1，来生成第一控制数据Dc1和第二控制数据Dc2。
上述数据接收装置110具有：接收与来自服务器的第一前景图象相对应的图象数据(媒体数据)Dm1的媒体数据接收装置106a、对所接收的图象数据Dm1进行解码并输出解码图象数据Dd1的解码装置107a、以帧单位纪录该解码图象数据Dd1的帧存储器108a。而且，上述数据接收装置101具有：接收与来自服务器的第二前景图象相对应的图象数据(媒体数据)Dm2的媒体数据接收装置106b、对所接收的图象数据Dm2进行解码并输出解码图象数据Dd2的解码装置107b、以帧单位纪录该解码图象数据Dd2的帧存储器108b。
上述数据接收装置110具有：显示装置109，根据来自上述控制数据生成部110a的第一控制数据Dc1，读出在上述帧存储器108a和108b中所存储的解码图象数据Dd1和Dd2，把它们合成为背景图象来进行显示；数据要求接收装置105，根据来自上述控制数据生成部110a的第二控制数据Dc2，向所需要的服务器输出要求数据的数据要求信号Srp，同时，接收来自该所需要的服务器的与该数据要求相对应的应答信号Sack。
其中，上述控制数据生成部110a由以下部分构成：控制数据记录处理部103，根据来自上述SMIL要求接收装置102的解析数据Da1，把作为控制数据向上述数据要求接收装置105和显示装置109输出的控制命令及其关联信息作为一组项目，来制作按该命令执行时刻早晚顺序排列各项目的时间表，同时，按早晚顺序输出与各控制命令的执行时刻相关的时刻信息It；触发信号发生装置104，当该时刻信息It被输入时，设定与各项目的控制命令相对应的执行时刻，来开始计时动作，每当计时时刻成为所设定的控制命令的执行时刻时，向上述控制数据记录处理部103输出触发信号St。并且，其中，每当上述控制数据记录处理部103接收到来自触发信号发生装置104的触发信号St时，按该命令执行时刻的早晚顺序，作为控制数据Dc1或者Dc2向上述数据要求接收装置105或者显示装置109输出控制命令。
而且，图中101a是向数据接收装置101的各部分提供标准时钟的时钟电路，与现有的数据接收装置901中的时钟电路相同。
而且，上述触发信号发生装置104可以由计时器所构成，例如是能够设定多个时刻的，根据来自上述时钟电路101a的基准时钟进行计时动作，每当计时时刻成为所设定的时刻时，输出触发信号。
而且，在该实施例1中，表示了这样的例子：作为数据接收装置101，分别具有两个数据接收装置、解码装置以及帧存储器，从网络上的服务器取得与两个前景图象相对应的媒体数据，来合成一个背景图象和两个前景图象，进行显示，但是，从网络上的服务器取得的媒体数据的个数并不仅限于2个。例如，当从网络上的服务器取得3个以上的媒体数据时，数据接收装置具有与取得的媒体数据的个数相对应数量的数据接收装置、解码装置以及帧存储器。
图2是表示上述SMIL数据的内容的一例的图，本实施例中的数据接收装置110为接收例如图2所示的SMIL数据的装置。图3表示作为图2所示的SMIL数据的内容的媒体数据的空间配置(图3(a))和时间配置(图3(b))。
而且，在图2中，在场景记述SD1的各行开头所记述的<smil>、</smil>、<head>、</head>、<layout>、</layout>、<root-layout>、<region>、<body>、<par>、</par>、<video>等字符串被称为要素，接着该要素来表示记录的内容。即，图2所示的各要素210a，210b，220a，220b，230a，230b，240a，240b，250a，250b与图12中的各要素710a，710b，720a，720b，730a，730b，740a，740b，750a，750b相同。图2所示的各行201～203与图12中的各行701～703相同。但是，图2所示的204和205与图12中的各行704和705不同。
首先，对图2所示的SMIL数据指示的媒体数据的空间配置进行说明。
root-layout要素201a指定了场景全体的尺寸。即，root-layout要素201a通过附带在该要素上的width属性(width＝“300”)以及height属性(height＝“200”)，来表示：场景全体所显示的矩形区域的尺寸即其宽度和高度分别为300点和200点。而且，与该要素201a相关的id属性为表示背景图象(bg)的(id＝“bg”)。
region要素202a通过附带在其上的width属性(width＝“300”)以及height属性(height＝“50”)，来表示：与该要素202相对应的图象所配置的矩形区域的尺寸即其宽度和高度分别为300点和50点。而且，该region要素202a通过附带在其上的left属性(left＝“0”)以及top属性(top＝“150”)，来表示：该矩形区域的左上端的位置是从图象空间1100的左端离开0点，从图象空间1100的上端离开150点的位置，而且，附带在该要素202a上的id属性是表示第一前景图象(adv)的(id＝“adv”)。
附带在video要素204a上的region属性是表示第一前景图象(adv)的(region＝“adv”)。
这样，由region要素202a来指定尺寸和位置的矩形区域为第一前景图象(adv)所配置的区域(以下称为adv区域)。
region要素203a通过附带在其上的width属性(width＝“200”)以及height属性(height＝“150”)，来表示：对应的矩形区域的尺寸为宽200点，高150点。而且，region要素203a通过附带在其上的left属性(left＝“50”)以及top属性(top＝“0”)，来表示：该矩形区域的左上端的位置是从图象空间1100的左端离开50点，从图象空间1100的上端离开0点的位置，而且，附带在该要素203a上的id属性是表示第二前景图象(mov)的(id＝“mov”)。
附带在video要素205a上的region属性是表示第二前景图象(mov)的(region＝“mov”)。
这样，由region要素203a来指定尺寸和位置的矩形区域为第二前景图象(mov)所配置的区域(以下称为mov区域)。
bg区域是作为背景的区域，adv区域是用于显示广告等的区域，mov区域是用于显示活动图象等的区域。
结果，根据上述场景记述SD1所得到的adv区域1120、mov区域1130和bg区域1110的配置，如图3(a)所示的那样，与图11(a)所示的那些区域的配置完全相同。
即，预定的图象空间1100为显示背景图象(bg)的背景显示区域(bg区域)1110，在该背景显示区域1110内，配置广告等第一前景图象(adv)所配置的第一前景配置区域(adv区域)1120以及作为活动图象的第二前景图象(mov)所配置的第二前景配置区域(mov区域)1130。而且，各图象的配置区域的尺寸和图象空间中的位置与图11(a)所示的相同。
下面对图2所示的SMIL数据指示的媒体数据的时间配置进行说明。
与video要素204a相关的begin属性(begin＝“5s”)表示：与该video要素204a相对应的图象数据是在场景的显示开始后5秒时才开始进行显示的。
与video要素204a相关的src属性(scr＝“rtsp：//s2.com/adv.mpg”)表示：与该video要素204a相对应的图象数据是通过RTSP向服务器(s2.com)发出要求在该服务器中所存储的图象数据(adv.mpg)的指令而取得的。
另一方面，与video要素205a相关的begin属性(begin＝“10s”)表示：与该video要素205a相对应的图象数据是在场景的显示开始后10秒时才开始进行显示的。
与video要素205a相关的src属性(scr＝“rtsp：//s3.com/adv.mpg”)表示：与该video要素205a相对应的图象数据是通过RTSP向服务器(s3.com)发出要求在该服务器中所存储的图象数据(mov.mpg)的指令而取得的。
当归纳上述各与video要素相关的属性信息时，如图3(b)所示的那样，在场景(背景图象)的显示开始后，在经过5秒时，开始第一前景图象(adv)的显示，在场景显示开始后，当经过10时，开始第二前景图象(mov)的显示。
而且，在video要素204a，205a中，表示了prebuffering属性。该prebuffering属性表示从接收媒体数据到其解码处理的待机时间。例如，与video要素204a相关的prebuffering属性(prebuffering＝“7s”)表示：在与video要素204a相对应的图象数据(adv.mpg)由数据接收装置所接收后，在7秒期间，等待其解码处理。与video要素205a相关的prebuffering属性(prebuffering＝“15s”)表示：在与video要素205a相对应的图象数据(mov.mpg)由数据接收装置所接收后，在15秒期间，等待其解码处理。
在本实施例1的数据接收装置110中，当接收上述场景记述数据SD1时，由控制数据生成部110a制作考虑与上述各video要素相对应的待机时间的时间表，并存储在控制数据生成部110a中。
在该时间表中，与video要素204a，205a相对应的各图象数据(adv.mpg)，图象数据(mov.mpg)的接收处理分别在场景显示开始的2秒前，5秒前开始，在与各video要素204a，205a相对应的接收处理开始之后，当经过待机时间7秒，15秒时，如图3(b)所示的那样，设定控制命令的发出时刻，以使各图象数据(adv.mpg)，图象数据(mov.mpg)的显示在时刻Tadv(Tadv＝5秒)，Tmov(Tmov＝10秒)进行。
图4表示在控制数据生成部110a中作为SMIL数据的内容所存储的时间表的内容。
在时间表Tab具有：与进行数据要求或者数据显示的时刻相对应的项目、表示作为发出控制命令的控制对象的数据要求接收装置105或者显示装置109的项目、表示与控制对象相对应的控制命令的项目。把时刻、控制对象及控制命令的项目作为一组的事项按时刻的早晚顺序来排列。而且，在控制对象是数据要求接收装置105的事项中，在控制命令的项目中，记载由与SMIL数据的video要素相关的src属性所指定的信息，并且，在控制对象是显示装置109的事项中，在控制命令的项目中，记载由与SMIL数据的root-layout要素或者region要素相关联各id，width，height，left，top属性所指定的信息。
下面对动作进行说明。
图5是用于说明本实施例1的数据接收装置从服务器取得媒体数据的处理的流程的图，表示了数据接收装置与服务器之间的消息交换以及从服务器向数据接收装置的媒体数据的发送。
其中，数据接收装置110与现有的数据接收装置901相同，被装载在作为客户终端的个人计算机中，给该数据接收装置110提供SMIL数据Ds1，作为表示图2所示的场景记述SD1的数据。
首先，例如，在用户通过个人计算机中所装备的浏览器，阅览由HTML(Hyper Text Markup Language)所记述的主页的状态下，当进行点击主页上的与预定的场景记述SD1相链接的区域的用户操作时，从客户终端的数据接收装置110发出要求表示场景记述SD1的SMIL数据Ds1的SMIL要求指令(GET http：//sl.com/scene.smil)C1。该指令C1要求以HTTP向服务器(s1.com)13a提供SMIL数据。
当上述SMIL要求指令C1被服务器13a所接收时，从该服务器13a向客户终端发出表示了解上述指令的应答(HTTP/1.0 OK)R1，同时，SMIL数据(scene.smil)Ds1被提供给客户终端。
这样，在客户终端的数据接收装置110中，SMIL数据Ds1被SMIL要求接收装置102所接收，在该SMIL要求接收装置102中，进行解析SMIL数据Ds1的处理。
SMIL要求接收装置102中的通过SMIL数据解析所得到的SMIL解析数据Da1被提供给控制数据生成部110a，被纪录在该控制数据记录处理部103中。这样，在控制数据记录处理部103中，根据SMIL解析数据Da1，进行生成图4所示的时间表Tab的处理，以时间表的形式来存储SMIL数据的内容。
下面对控制数据记录处理部103中的时间表的制作处理进行简单说明。
首先，在控制数据记录处理部103中，使用由各video要素的begin属性所指示的显示开始时刻和由各video要素的prebuffering属性所指示的待机时间(预缓冲时间)，来求出要求与各video要素相对应的媒体数据的控制指令的发出时刻。其中，要求媒体数据的控制指令的发出时刻为从显示开始时刻减去待机时间所得到的时刻。具体地说，要求与video要素204a相对应的图象数据(adv.mpg)的控制指令的发出时刻Tpadv在以场景的显示开始时刻Tbg(Tbg＝0秒)为基准的情况下是-2秒，要求与video要素205a相对应的图象数据(mov.mpg)的控制指令的发出时刻Tpmov是-5秒。
而且，在控制数据记录处理部103中，进行这样的处理：根据SMIL解析数据Da1，把SMIL数据的内容分类为：为了要求媒体数据所需要的信息(由附带在video要素上的src属性所指定的信息)、为了显示媒体数据所需要的信息(由附带在root-layout要素或者region要素上的各id，width，height，left，top属性所指定的信息)。
接着，在控制数据记录处理部103中，根据用于显示媒体数据的信息，制作把表示要求图象数据(mov.mpg)的控制命令的信息、表示作为该控制命令的对象的数据要求装置的信息以及表示该控制命令的发出时刻的信息作为一组的事项数据E1。而且，制作把表示要求图象数据(adv.mpg)的控制命令的信息、表示作为该控制命令的对象的数据要求装置的信息以及表示该控制命令的发出时刻的信息作为一组的事项数据E2。
接着，在控制数据记录处理部103中，根据用于要求媒体数据的信息，制作把表示背景图象(bg)的控制命令的信息、表示作为该控制命令的对象的显示装置的信息以及表示该控制命令的发出时刻的信息作为一组的事项数据E3。制作把表示第一前景图象(adv)的控制命令的信息、表示作为该控制命令的对象的显示装置的信息以及表示该控制命令的发出时刻的信息作为一组的事项数据E4。制作把表示第二前景图象(mov)的控制命令的信息、表示作为该控制命令的对象的显示装置的信息以及表示该控制命令的发出时刻的信息作为一组的事项数据E5。
然后，在上述控制数据记录处理部103中，按对应的控制命令的发出时刻的早晚的顺序来排列上述各事项数据，来接着制作图4所示的时间表的处理，并存储所制成的时间表。
具体地说，在图2所示的场景记述SD1中，要求与video要素204a，205a相对应的图象数据(adv.mpg)，(mov.mpg)的时刻(控制命令的发出时刻)分别是-5秒，-2秒，并且，前景图象(adv)，(mov)的显示开始时刻分别为5秒，10秒，场景(背景图象)的显示开始时刻为0秒。这样，在控制数据记录处理部103中所纪录的时间表Tab中，如图4所示的那样，第一个事项数据是事项数据E1，第二个事项数据是事项数据E2，第三个事项数据是事项数据E3，第四个事项数据是事项数据E4，第五个事项数据是事项数据E5。
而且，在控制数据记录处理部103中，进行从生成的时间表中按在该表中的排列顺序向信号发生装置104输出表示控制命令的发出时刻的信息的时刻信息的输出处理。
当在上述信号发生装置104中输入了上述时刻信息时，在上述信号发生装置104中，按时刻信息的输入顺序，作为设定时刻纪录表示该时刻信息的时刻，开始进行由时钟所产生的计时动作。
此时，在上述数据接收装置110中，进行数据接收装置与服务器之间交换消息的处理，以便于与上述时间表的制作处理并行，在预定的服务器中进行用于图象数据发送的准备。
具体地说，如图5所示的那样，从客户终端的数据接收装置110向第三服务器(s3.com)13c发出要求与第二前景图象(mov)相对应的媒体数据相关的详细信息(例如编码条件和多个候选数据的有无等)的指令(DESCRIBErtsp：//s3.com/mov.mpg)C2a。
当上述指令C2a被第三服务器13c所接收时，从该服务器13c向客户终端发出表示了解上述指令的应答(RTSP/1.0 OK)R2a，同时，向客户终端提供SDP(Session Description Protocol)信息。
接着，从客户终端的数据接收装置110向第三服务器(s3.com)13c发出要求进行提供与第二前景图象(mov)相对应的媒体数据的准备的准备要求指令(SETUP rtsp：//s3.com/mov.mpg)C3a。这样，由第三服务器13c，向客户终端发出完成了提供媒体数据的准备的表示了解了上述指令C3a的应答(RTSP/1.0 OK)R3a。
然后，接着，从客户终端的数据接收装置110向第二服务器(s2.com)13b发出要求与第一前景图象(adv)相对应的媒体数据相关的详细信息(例如编码条件和多个候选数据的有无等)的指令(DESCRIBE rtsp：//s2.com/mov.mpg)C2b。
当上述指令C2b被第二服务器13b所接收时，从该服务器13b向客户终端发出表示了解上述指令C2b的应答(RTSP/1.0 OK)R2b，同时，向客户终端提供SDP(Session Description Protocol)信息。
接着，从客户终端的数据接收装置101向第二服务器(s2.com)13b发出要求进行提供与第一前景图象(adv)相对应的媒体数据的准备的准备要求指令(SETUP rtsp：//s2.com/mov.mpg)C3b。这样，由第二服务器13b，向客户终端发出完成了提供媒体数据的准备的表示了解了上述指令C3b的应答(RTSP/1.0 OK)R3b。
接着，当由时钟所产生的计时时刻成为上述信号发生装置104中的设定时刻时，在信号发生装置104中发生触发信号St，该触发信号St被输出给控制数据存储器103。其中，信号发生装置104中的设定时刻为-5、-2、0、5、10秒，因此，当由时钟所产生的计时时刻成为-5、-2、0、5、10秒时，从信号发生装置104依次输出触发信号，在控制数据纪录处理部103中，每当接收到触发信号时，向对应的控制对象发出在时间表中的开头的事项中所包含的控制命令。
首先，当在时刻t(＝-5秒)从信号发生装置104所输出的触发信号被输入控制数据纪录处理部103时，从控制数据纪录处理部103向作为该控制命令的对象的数据要求装置105输出时间表的第一个事项中的控制命令(PLAYrtsp：//s2.com/adv.mpg)C4a。
这样，在数据要求接收装置105中，根据来自控制数据纪录处理部103的控制命令(PLAY rtsp：//s2.com/adv.mpg)C4a，进行向第三服务器(s3.com)13c输出用于要求图象数据(mov.mpg)的RTSP所产生的消息的处理。
接着，当由上述第三服务器13c接收了来自上述数据要求接收装置105的消息时，从该服务器13c通过RTP向数据接收装置110发送图象数据(mov.mpg)。
从上述服务器13c所发送的图象数据(mov.mpg)Dm2由媒体数据接收装置106b所接收。在此，该图象数据Dm2是通过MPEG等标准对应的编码方式被压缩编码的比特流。输入媒体数据接收装置106b的比特流(图象数据)按每一帧依次输出给解码装置107b，由该解码装置107b按每一帧进行解码。由该解码装置107b所解码的解码图象数据Dd2按每一帧被存储在帧存储器108b中。
接着，当在时刻t(＝-2秒)从信号发生装置104所输出的触发信号被输入控制数据纪录处理部103时，从控制数据纪录处理部103向作为该控制命令的对象的数据要求接收装置105输出时间表的第二个事项中的控制命令(PLAY rtsp：//s2.com/adv.mpg)C4b。
这样，在数据要求接收装置105中，根据来自控制数据纪录处理部103的控制命令(PLAY rtsp：//s2.com/adv.mpg)C4b，进行向第二服务器(s2.com)13b输出用于要求图象数据(adv.mpg)的由RTSP所产生的消息的处理。
接着，当由上述第二服务器13b接收了来自上述数据要求接收装置105的消息时，从该服务器13b通过RTP向数据接收装置110发送图象数据(adv.mpg)Dm1。
从上述服务器13b所发送的图象数据(adv.mpg)Dm1由媒体数据接收装置106a所接收。在此，该图象数据Dm1是通过MPEG等标准对应的编码方式被压缩编码的比特流。输入媒体数据接收装置106a的比特流(图象数据)按每一帧依次输出给解码装置107a，由该解码装置107a按每一帧进行解码。由该解码装置107a所解码的解码图象数据Dd1按每一帧被存储在帧存储器108a中。
接着，当在时刻t(＝0秒)从信号发生装置104所输出的触发信号被输入控制数据纪录处理部103时，从控制数据纪录处理部103向作为该控制命令的对象的显示装置109输出时间表的第三个事项中的控制命令(bg//width300/height200)。这样在显示装置109中，根据来自控制数据纪录处理部103的控制命令(bg//width300/height200)，进行在全体图象空间上显示背景图象(bg)的处理。而且，该背景图象的数据被预先确保在数据接收装置110中。而且，在该时刻t(＝0秒)，由于把附带在video要素204a，205a上的begin属性的第一、第二前景图象的显示开始时刻大于0秒，则在图3(a)所示的adv区域(第一前景配置区域)1120、mov区域(第二前景配置区域)1130中，没有显示第一前景图象(adv)、第二前景图象(mov)。
接着，当在时刻t(＝5秒)从信号发生装置104所输出的触发信号被输入控制数据纪录处理部103时，从控制数据纪录处理部103向作为该控制命令的对象的显示装置109输出时间表Tab的第四个事项中的控制命令(bg//width300/height200)，来作为控制数据Dc1。这样，在显示装置109中，根据来自控制数据纪录处理部103的控制命令(adv//left0/top150/width300/height50)，进行按每帧从帧存储器108a读出解码图象数据Dd2的处理，与背景图象进行合成来显示，以便于使第一前景图象(adv)位于图象空间1100上的adv区域(第一前景配置区域)1120中。
接着，当在时刻t(＝10秒)从信号发生装置104所输出的触发信号St被输入控制数据纪录处理部103时，从控制数据纪录处理部103向作为该控制命令的对象的显示装置109输出时间表Tab的第五个事项中的控制命令(mov//left50/top0/width200/height150)，来作为控制数据Dc1。这样，在显示装置109中，根据来自控制数据纪录处理部103的控制命令(mov//left50/top0/width200/height150)，进行按每帧从帧存储器108a读出解码图象数据Dd2的处理，与背景图象和第一前景图象进行合成来显示，以便于使第二前景图象(mov)位于图象空间1100上的mov区域(第二前景配置区域)1130中。
图6是表示由控制数据纪录处理部103算出要求媒体数据的控制命令的发出时刻的具体处理(时刻计算处理)的流程图，以下，对控制数据纪录处理部103中的控制命令的发出时刻的计算处理进行简单说明。在图5所示的流程图中，第一设定时刻T1[n]是要求与场景记述SD1中的第n个video要素相对应的媒体数据的控制命令的发出时刻(以下简称为媒体数据的要求时刻)，第二设定时刻T2[n]是显示与上述第n个video要素相对应的媒体数据的时刻。
而且，在图6中表示出了这样的流程：除了prebuffering时间之外，导入从向服务器发出要求媒体数据的控制命令到接收媒体数据之间所需要的时间C，来算出媒体数据的设定时刻T1[n]。
首先，在控制数据纪录处理部103中，用于时刻计算处理的第一内部变量n为零(步骤S501)，变量n是每当与场景记述SD1中的video要素相对应的时刻计算处理结束时递增一个的变量。
接着，进行根据来自SMIL要求接收装置102的解析数据Dd1来决定成为时刻计算处理的对象的video要素的处理(步骤S502)。通常，在场景记述SD1中按一定顺序所排列的多个video要素中，从排列顺序的开头侧依次选择成为时刻计算处理的对象的video要素。由此，在第一次的video要素的选择处理中，在video要素204a和205a中，选择video要素204a。
接着，在控制数据纪录处理部103中，在用于时刻计算处理的第二内部变量P中，设定附带在video要素204a上的prebuffering属性的值(7)，而且，在用于时刻计算处理的第三内部变量B中，设定附带在video要素204a上的begin属性的值(5)(步骤S503)。
然后，在控制数据纪录处理部103中，根据下列(式1)来算出第一设定时刻T1[n](步骤S504)：
T1[n]＝B-P-C    (式1)
其中，C是常数，是从由数据要求接收装置105发出媒体数据的要求控制命令到由媒体数据接收装置接收媒体数据为止所需要的时间，该常数C的值是预测从要求控制命令发出时刻到数据接收时刻的时间来设定的。在此，该常数C被设定为0秒。
这样，把场景显示开始时刻(0秒)作为基准，给上述(式1)的变量B，P，C设定5，7，0(秒)来进行运算，由此，与第一个video要素204a相对应的第一设定时刻T1[0]为-2，要求第一前景图象(adv)的媒体数据的控制命令的发出时刻为场景显示开始时刻(0秒)的2秒前。
接着，在控制数据纪录处理部103中，根据下列(式2)来算出第二设定时刻T2[n](步骤S505)：
T2[n]＝B          (式2)
其结果，与第一个video要素204a相对应的第二设定时刻T2[0]为5，第一前景图象(adv)的显示时刻为场景显示开始时刻(0秒)的5秒后。
然后，在控制数据纪录处理部103中，判定是否对场景记述SD1所示的全部video要素进行上述第一和第二设定时刻的计算(步骤S506)。当对全部video要素的上述第一和第二设定时刻的计算结束时，进行把与各video要素相对应的第一和第二设定时刻T1[n]，T2[n](n＝0，1)和场景的显示开始时刻Tab记载到时间表的时刻栏中的处理(步骤S508)。
另一方面，当上述步骤S506中的判定结果是：对全部video要素的上述第一和第二设定时刻的计算没有结束时，上述变量n的值被递增1(步骤S507)，进行上述步骤S502～步骤S506的处理。
在该数据接收装置110中，在对上述video要素204a的第一和第二设定时刻的计算结束的时刻上，由于对另一个video要素205a的设定时刻的计算处理没有结束，则上述变量n的值被递增1(步骤S507)，进行对video要素205a的上述步骤S502～步骤S506的处理。
在对上述video要素205a的第一和第二设定时刻的运算中，把场景显示开始时刻(0秒)作为基准，给上述(式1)的变量B，P，C分别设定10，15，0(秒)。其结果，与第二个video要素205a相对应的第一设定时刻T1[1]为-5，要求第二前景图象(mov)的媒体数据的控制命令的发出时刻为场景显示开始时刻(0秒)的5秒前。而且，与第二个video要素205a相对应的第二设定时刻T2[1]为10，第二前景图象(mov)的显示时刻为场景显示开始时刻(0秒)的10秒后。
此时，由于对全部video要素觉得上述第一和第二设定时刻的计算已经结束，进行把与video要素204a相对应的第一，第二设定时刻T1[0]，T2[0]、与video要素205a相对应的第一，第二设定时刻T1[1]，T2[1]以及场景的显示开始时刻Tab记载到时间表的时刻栏中的处理(步骤S508)。
即，在时间表Tab的时刻栏中依次排列-5，-2，0，5，10秒作为控制命令的时刻信息。
这样，在本实施例1的数据接收装置110中，包括：SMIL要求接收装置102，作为表示用于把第一前景图象(adv)、第二前景图象(mov)与背景图象(bg)进行合成来显示的场景记述SD1的数据，向服务器13a要求SMIL数据Ds1，同时，接收来自该服务器13a的SMIL数据Ds1；数据要求接收装置105，向服务器13b，13c要求各前景图象的图象数据Dm1，Dm2，同时，接收来自服务器的消息；控制数据生成部110a，根据在上述SMIL数据Ds1中所包含的各前景图象的显示开始前的待机时间的信息，控制上述数据要求接收装置105，以便于在比各前景图象的显示开始时刻提前上述待机时间的时刻上向对应服务器发出该媒体数据的要求消息，因此，能够在由场景记述所指定的时刻上把上述各前景图象与背景图象进行合成进行显示。
而且，考虑到媒体数据所传输的网络的状况，例如带宽和混杂度等，把上述待机时间设定为足够大的值，由此，数据接收装置中的媒体数据的重放处理不易受到网络的跳动的影响，能够抑制在媒体数据的重放过程中图象显示被中断的情况。
而且，在本实施例1的数据接收装置110中，使控制数据纪录处理部103为这样的部件：通过记载表示各时刻的信息的时间表，根据SMIL数据来管理向服务器要求前景图象的媒体数据的时刻和显示各前景图象的时刻，每当该接收装置中的计时时刻成为时间表中所记载的时刻时，向数据要求装置发出指令媒体数据的要求的控制命令，或者，向显示装置发出指令媒体数据的显示开始的控制命令，因此，即使在构成合成图象的前景图象的个数增大的情况下，通过计时时刻与时间表中所记载的时刻信息的比较，在前景图象的显示开始前的适当时刻进行各媒体数据的要求，能够良好地进行各前景图象的显示。
而且，在本实施例1中，作为控制数据纪录处理部103，表示了：把从向服务器发出媒体数据要求的控制命令到接收媒体数据之间所需要的延迟时间C作为0，来进行控制命令的发出时刻的计算处理，但是，也可以根据使用的网络的种类(例如，包含无线线路的网络或者仅由有线线路组成的网络)等，来把该延迟时间C设定为0以上的适当数值。
而且，在本实施例1中，对由数据接收装置接收图象数据作为媒体数据的情况进行了说明，但是，媒体数据不仅是图象数据，也可以是文本数据、声音数据等，在此情况下，能够得到与实施例1相同的效果。
而且，在本实施例1中，作为提供给数据接收装置的图象数据，表示了通过MPEG方式所压缩的例子，但是，提供给数据接收装置的图象数据也可以是JPEG(joint photographic coding experts group)方式、GIF(graphicsinterchange format)方式、H.261方式、H.263方式等其他编码方式进一步压缩的形式。
而且，在本实施例1中，作为场景记述数据，表示了：指定RTSP来作为用于进行数据要求的传输协议的情况，但是，场景记述数据也可以是指定其他的协议、例如HTTP(Hyper Text Transfer Protocol)等来作为用于进行数据要求的传输协议。
而且，在本实施例1中，由控制数据纪录处理部103来算出对数据要求接收装置或者显示装置的控制命令的发出时刻，在信号发生装置104中，设定由控制数据纪录处理部103所算出的控制命令的发出时刻作为触发发生时刻，每当信号发生装置104中的计时时刻成为设定的触发发生时刻时，向控制数据纪录处理部103输出触发信号，但是，对数据要求接收装置或者显示装置的控制命令的发出时刻也可以由信号发生装置104算出，来设定算出的时刻作为触发发生时刻。在此情况下，需要由控制数据纪录处理部103根据其发出时刻按顺序管理各控制命令。
而且，在本实施例1中，作为数据接收装置，表示了：使用附带在video要素上的表示待机时间的prebuffering属性值，来算出向服务器要求媒体数据的时刻，但是，数据接收装置也可以是例如：使用附带在video要素上的表示将要向服务器输出数据要求消息的时刻的request属性值，来算出向服务器要求媒体数据的时刻。
实施例2
图7是用于说明本发明的实施例2的数据接收装置的方框图。
该实施例2的数据接收装置120使用与实施例1中的SMIL数据Ds1不同的SMIL数据Ds2作为场景记述数据。包括根据上述SMIL数据Ds2来发生控制数据Dc1和Dc2的控制数据生成部120a，来取代上述实施例1的数据接收装置110中的根据SMIL数据Ds1来发生控制数据De1和Dc2的控制数据生成部110a。
图7表示了该实施例2的作为场景记述数据提供给数据接收装置120的SMIL数据Ds2的内容(场景记述DS2)。
该SMIL数据Ds2，作为附带在video要素上的属性，包含表示将要向服务器输出数据要求消息的时刻的request属性值，来取代上述SMIL数据Ds1中的prebuffering属性。即，在该SMIL数据Ds2中，在video要素601a上附带有表示对于图象数据(adv.mpg)在场景显示开始2秒前输出要求消息的region属性(region＝“-2s”)，以取代附带在上述SMIL数据Ds1的video要素201a上的prebuffering属性(prebuffering＝“7s”)。而且，在该SMIL数据Ds2中，在video要素602a上附带有表示对于图象数据(mov.mpg)在场景显示开始5秒前输出要求消息的region属性(region＝“-5s”)，以取代附带在上述SMIL数据Ds1的video要素202a上的prebuffering属性(prebuffering＝“15s”)。
而且，在图8中，包含video要素601a的行601对应于实施例1的场景记述SD1中的包含video要素201a的行201，包含video要素602a的行602对应于实施例1的场景记述SD1中的包含video要素202a的行202。
该实施例2的数据接收装置120中的控制数据生成部120a包括：控制数据记录处理部123，根据通过上述SMIL数据Ds2的解析所得到的SMIL解析数据Da2，来进行图4所示的时间表Tab的制作、上述控制数据Dc1，Dc2的输出以及时刻信息It的输出；触发信号发生装置124，构成与上述实施例1的数据接收装置110中的信号发生装置104相同。
在这样构成的本实施例2的数据接收装置120中，与实施例1的数据接收装置110相同，也能得到这样的效果：根据来自预定服务器的SMIL数据Ds2，在比各前景图象的显示开始时刻提前一定时间的时刻上，向对应的服务器发出各媒体数据的要求消息，由此，在由场景记述所指定的时刻上把上述各前景图象与背景图象进行合成来显示。
而且，在上述实施例2中，在数据接收装置中的计时时刻成为由SMIL数据Ds2的request属性所指定的时刻的时刻上，发出媒体数据的要求消息，但是，发出媒体数据的要求消息的定时，可以象本实施例1中说明的那样，考虑作为从向服务器发送媒体数据的要求消息到接收媒体数据为止所需要的时间的常数C，而在比由request属性所指定的时刻进一步提前由上述常数C所表示的时间的时刻上，发出数据要求消息。
而且，在上述实施例1和2中，把表示各前景图象的显示开始前的待机时间的属性作为prebutfering属性，把表示发出媒体数据的要求消息的时刻的属性作为request属性，但是，如果表示待机时间的属性和表示要求消息的发出时刻的属性的名称代表与其相同的意思，也可以使用其他的名称。
而且，在上述实施例1中，根据SMIL数据来决定从向服务器要求与图象对应的图象数据到开始该图象的显示为止的待机时间，但是，该待机时间也可以根据SMIL数据以外的控制数据来决定。例如，当所输入的图象数据是通过MPEG方式的编码处理所编码的数据(比特流)的情况下，可以根据在视频比特流的与各帧相对应的首部部分中被复用的VBV延迟(Video BufferVerifier)信息，使上述待机时间成为该信息表示的延迟时间以上，而得到该情况下的这样的效果。
即，在接收以一定传输率所发送的比特流的视频解码器中，由于视频数据在每帧中是不同的，则从接收比特流到对该比特流进行解码处理为止的待机时间在每帧中是不同的，在上述视频比特流的与各帧相对应的首部部分中被复用的VBV延迟值表示该待机时间。这样，在接收视频数据后，如果在等待了由VBV延迟值所表示的时间之后，进行对视频比特流的解码处理，就能防止视频解码器的缓冲器的下溢或者上溢。但是，表示上述VBV延迟值的信息在比特流本体中被复用，因此，在比特流接收之前，不能预先知道VBV延迟值。
而且，在上述实施例1和2中，作为数据接收装置106a和106b，表示这样的构成：每当接收一帧媒体数据时，把一帧的媒体数据输出给解码装置107a和107b，但是，数据接收装置的构成并不仅限于此。
例如，数据接收装置106a和106b可以具有保持接收的媒体数据的存储器，在数据接收装置中的计时时刻成为表示SMIL数据中的begin属性的开始时刻的时刻上，从上述存储器读出接收的媒体数据，输出给解码装置107a和107b。而且，数据接收装置106a和106b可以具有保持接收的媒体数据的存储器，在数据接收装置中的计时时刻成为比表示SMIL数据中的begin属性的开始时刻提前一定时间(例如1秒)的时刻上，从上述存储器读出接收的媒体数据，输出给解码装置107a和107b。
但是，在上述表示begin属性的显示开始时刻上，开始进行接收的媒体数据的解码处理，在这样的构成中，由于在媒体数据的显示开始时刻上使媒体数据的解码处理开始进行，因此，存在这样的可能性：由于解码装置的处理能力，被解码的图象数据没有在预定的时刻上被存储在帧存储器中。
而且，在上述实施例1和2中，对接收SMIL数据作为控制数据的情况进行了说明，但是，控制数据并不仅限于SMIL数据。例如，如果控制数据是由W3C所规定的XHTML(Extensible Hyper Text Markup Language)、HTML(Hyper Text Markup Language)+TIME(Timed Interactive MultimediaExtensions)或者IETF(Internet Engineering Task Force)等所规定的SDP(Session Description Protocol)、由MPEG标准所规定的BIFS(Binary FormatFor Scene)等指定媒体数据的显示开始时刻的控制数据，也能得到与上述各
实施例相同的效果。
而且，在上述实施例1和2中，表示了通过硬件实现数据接收装置的方案，但是，数据发送装置也可以由软件来实现。
例如，数据接收装置110中的SMIL要求接收装置102、信号发生装置104、数据要求接收装置105、媒体数据接收装置106a和106b、解码装置107a和107b、显示装置109可以在个人计算机中使用编程的软件程序来由CPU(Central Processing Unit)执行他们的功能来实现。
在通过这样的软件来实现实施例1的数据接收装置101的情况下，能够得到与上述实施例1完全相同的结果。
而且，上述软件程序可以存储在例如软盘和光盘、IC卡、ROM卡等存储媒体中。
而且，在上述各实施例中，作为SMIL数据的控制数据和与包含接收媒体数据的数据接收装置的接收侧终端(客户终端)相对应的服务器(数据发送装置)，表示了把表示媒体数据显示前的待机时间的信息(prebuffering属性)或者表示向服务器要求媒体数据的时刻的信息(request属性)包含在SMIL数据中来发送给接收终端侧的例子，但是，上述数据传输装置也可以把表示上述那样的待机时间的信息和表示数据要求时刻的信息包含在SMIL数据之外的控制数据中进行传送。
例如，与把多个媒体数据进行合成来进行显示的接收侧终端相对应的服务器(数据传输装置)可以把包含上述prebuffering属性值、request属性值或者相当于它们的属性值的与来自接收侧终端的要求相对应的应答数据等的控制数据在媒体数据发送前传送给接收侧终端，按照来自接收侧终端的数据要求消息来发送媒体数据。在此情况下，能够在接收终端中，在适当的数据要求时刻上要求媒体数据。
以下，对接收侧终端中的数据接收装置与把表示上述待机时间的信息包含在SMIL数据之外的控制数据中来进行传送的数据传输装置之间的数据交换的具体例子进行简单说明。
图9表示了发送媒体数据的数据传输装置(服务器)把表示预缓冲时间(待机时间)的信息包含在SDP中进行传输的情况下的该数据发送装置与数据接收装置之间的数据交换的一个例子。
其中，发送第一前景图象的媒体数据的第二服务器(数据发送装置)23b和发送第二前景图象的媒体数据的第三服务器(数据传输装置)23c把表示预缓冲时间(待机时间)的信息包含在SDP中进行传输。第一服务器(数据传输装置)23a具有与图14所示的第一服务器13a相同的构成。而且，数据接收装置130a装载在作为客户终端的个人计算机中，给该数据接收装置130a作为场景记述数据SD提供表示图12所示的场景记述SD的SMIL数据Ds。而且，该数据接收装置130a的构成仅在数据要求接收装置908上与数据接收装置901(参照图13)不同，在该数据接收装置130a中，数据要求接收装置取得表示预缓冲时间(待机时间)的信息，提供给控制数据生成部907。
首先，例如，在用户通过个人计算机中所装备的浏览器，阅览由MTML(Hyper Text Markup Language)所记述的主页的状态下，当进行点击主页上的与预定的场景记述SD1相链接的区域的操作时，从客户终端的数据接收装置130a发出要求SMIL数据Ds1的SMIL要求指令(GEThttp：//sl.com/scene.smil)C1。该指令C1要求以HTTP向第一服务器(s1.com)23a提供SMIL数据。
当上述SMIL要求指令C1被服务器23a所接收时，从该服务器23a向客户终端发出表示了解上述指令的应答(HTTP/1.0 OK)R1，同时，SMIL数据(scene.smil)Ds被提供给客户终端。
这样，在客户终端的数据接收装置130a中，SMIL数据Ds被SMIL接收装置906所接收，在该SMIL接收装置906中，进行解析SMIL数据Ds的处理。
SMIL接收装置906中的通过SMIL数据解析所得到的SMIL解析数据Da被提供给控制数据生成部907，进行纪录。
然后，从数据接收装置130a向第三服务器(s3.com)23c发出要求与第二前景图象(mov)相对应的媒体数据相关的详细信息(例如，编码条件和多个候选数据的有无等)的指令(DESCRIBE rtsp：//s3.com/mov.mpg)C2a。
当上述指令C2a被第三服务器23c所接收时，从该服务器23c向客户终端发出表示了解上述指令的应答(RTSP/1.0 OK)R20a。在该应答R20a中包含表示承认DESCRIBE指令C2a的OK消息(RTSP/1.0 OK)21a和SDP(SessionDescription Protocol)信息22a。其中，SDP信息22a包含接收终端侧中的媒体数据的解码处理所需要的信息以及媒体数据的传输所需要的信息，但是，在此，在这些信息的基础上还包含了(a＝prebuffering：15s)信息。而且，SDP信息22a中的记述(V＝0)表示与SDP的构成相关的版本信息，记述(m＝video)表示在该记述以后记载了与图象数据相关的信息。而且，上述(a＝prebuffering：15s)信息表示从要求前景图象(mov)的媒体数据到进行其显示的将要等待的时间是15秒。
接着，从客户终端的数据接收装置130a向第三服务器(s3.com)23c发出要求进行提供与第二前景图象(mov)相对应的媒体数据的准备的准备要求指令(SETUP rtsp：//s3.com/mov.mpg)C3a。这样，由第三服务器23c，向客户终端发出完成了提供媒体数据的准备的表示了解了上述指令C3a的应答(RTSP/1.0 OK)R3a。
接着，从数据接收装置130a向第二服务器(s2.com)23b发出要求与第一前景图象(adv)相对应的媒体数据相关的详细信息(例如，编码条件和多个候选数据的有无等)的指令(DESCRIBE rtsp：//s2.com/adv.mpg)C2b。
当上述指令C2b被第二服务器23b所接收时，从该服务器23b向客户终端发出表示了解上述指令的应答(RTSP/1.0 OK)R20b。在该应答R20b中包含表示承认DESCRIBE指令C2b的OK消息(RTSP/1.0 OK)21b和SDP(SessionDescription Protocol)信息22b。其中，SDP信息22b包含(V＝0)信息、(m＝video)信息等，还包含了(a＝prebuffering：7s)信息。而且，该(a＝prebuffering：7s)信息表示从要求第一前景图象(adv)的媒体数据(adv.mpg)到进行其显示的将要等待的时间是7秒。
接着，从客户终端的数据接收装置130a向第二服务器(s2.com)23b发出要求进行提供与第一前景图象(adv)相对应的媒体数据的准备的准备要求指令(SETUP rtsp：//s2.com/adv.mpg)C3b。这样，由第二服务器23b，向客户终端发出完成了提供媒体数据的准备的表示了解了上述指令C3b的应答(RTSP/1.0 OK)R3b。
接着，从客户终端的数据接收装置130a，在上述第二前景图象的显示开始时刻的15秒前(场景全体的显示开始时刻的5秒前)，向第三服务器(s3.com)23c发出要求与第二前景图象(mov)相对应的媒体数据(mov.mpg)的媒体数据要求指令(PLAY rtsp：//s3.com/mov.mpg)C4a。这样，由第三服务器23c，向客户终端发出表示了解了上述指令C4a的应答(RTSP/1.0 OK)R4a，然后，从该第三服务器23c，通过RTR分组向上述客户终端依次提供与第二图象数据(mov.mpg)相对应的媒体数据Dm2。
接着，从客户终端的数据接收装置130a，在上述第一前景图象的显示开始时刻的7秒前(场景全体的显示开始时刻的2秒前)，向第二服务器(s2.com)23b发出要求与第一前景图象(adv)相对应的媒体数据(adv.mpg)的数据要求指令(PLAY rtsp：//s2.com/adv.mpg)C4b。这样，由第二服务器23b，向客户终端发出表示了解了上述指令C4b的应答(RTSP/1.0 OK)R4b，然后，从该第二服务器23b，通过RTR分组向上述客户终端依次提供与第一前景图象(adv)相对应的媒体数据Dm1。
然后，各媒体数据在其显示开始时刻被输出给显示装置905，根据上述SMIL数据的解析结果进行显示。
这样，把表示待机时间(预缓冲时间)的信息包含在SMIL数据之外的控制数据(SDP信息)中来从数据发送装置传送给数据接收装置的数据传送方法，在实时下，对于初始延迟时间即从服务器要求媒体数据到开始其显示的待机时间发生变化的内容(表示直播的音乐会模样的图象)，是非常有效的。
图10表示了发送媒体数据的数据传输装置(服务器)把表示预缓冲时间(待机时间)的信息包含在RTSP的与SETUP要求相对应的应答中进行传输的情况下的该数据发送装置与数据接收装置之间的数据交换的一个例子。
其中，发送第一前景图象的媒体数据的第二服务器(数据发送装置)33b和发送第二前景图象的媒体数据的第三服务器(数据传输装置)33c把表示预缓冲时间(待机时间)的信息包含在在RTSP的与SETUP要求相对应的应答中进行传输。第一服务器(数据传输装置)33a具有与图14所示的第一服务器13a相同的构成。而且，数据接收装置130b装载在作为客户终端的个人计算机中，给该数据接收装置130b提供表示图12所示的SMIL数据Ds来作为场景记述数据SD。而且，该数据接收装置130b的构成仅在数据要求接收装置908上与数据接收装置901(参照图13)不同，在该数据接收装置130b中，数据要求接收装置取得表示预缓冲时间(待机时间)的信息，提供给控制数据生成部907。
首先，例如，在用户通过个人计算机中所装备的浏览器，阅览由HTML(Hyper Text Markup Language)所记述的主页的状态下，当进行点击主页上的与预定的场景记述SD1相链接的区域的操作时，从客户终端的数据接收装置130b发出要求SMIL数据Ds的SMIL要求指令(GEThttp：//sl.com/scene.smil)C1。该指令C1要求以HTTP向第一服务器(s1.com)33a提供SMIL数据。
当上述SMIL要求指令C1被服务器33a所接收时，从该服务器33a向客户终端发出表示了解上述指令的应答(HTTP/1.0 OK)R1，同时，SMIL数据(scene.smil)Ds被提供给客户终端。
这样，在客户终端的数据接收装置130b中，SMIL数据Ds被SMIL接收装置906所接收，在该SMIL接收装置906中，进行解析SMIL数据Ds的处理。
SMIL接收装置906中的通过SMIL数据解析所得到的SMIL解析数据Da被提供给控制数据生成部907，进行纪录。
然后，从数据接收装置130b向第三服务器(s3.com)33c发出要求与第二前景图象(mov)相对应的媒体数据相关的详细信息(例如，编码条件和多个候选数据的有无等)的指令(DESCRIBE rtsp：//s3.com/mov.mpg)C2a。
当上述指令C2a被第三服务器33c所接收时，从该服务器33c向客户终端发出表示了解上述指令的应答(RTSP/1.0 OK)R2a，同时，向客户终端提供SDP(Session Description Protocol)信息。
接着，从客户终端的数据接收装置130b向第三服务器(s3.com)33c发出要求进行提供与第二前景图象(mov)相对应的媒体数据的准备的准备要求指令(SETUP rtsp：//s3.com/mov.mpg)C3a。这样，由第三服务器33c，向客户终端发出完成了提供媒体数据的准备的表示了解了上述指令C3a的应答(RTSP/1.0 OK)R30a。
在该应答R30a中包含：表示承诺SETUP指令C3a的OK消息(RTSP/1.0OK)31a和其他的附属信息32a。在该附属信息32a中包含次序编号(CSeq：2)信息，对话时间编号(Session：12345678)信息以及(a＝prebuffering：15s)信息。该(a＝prebuffering：15s)信息表示从要求前景图象(mov)的媒体数据到进行其显示的将要等待的时间是15秒。上述次序编号(CSeq：2)是给数据发送装置与数据接收装置之间的一次消息交换所赋予的编号，给来自接收侧的指令的发出和与其相对应的来自发送侧的应答赋予同一次序编号。这样，虽然在此没有图示，但是，给指令(DESCRIRE rtsp：//s3.com/mov.mpg)C2a和其应答R2a赋予次序编号(CSeq：1)。而且，对话时间编号被赋予在数据发送装置与数据接收装置之间所确立的可能进行数据传送的状态。
接着，从数据接收装置130b向第二服务器(s2.com)33b发出要求与第一前景图象(adv)相对应的媒体数据相关的详细信息(例如，编码条件和多个候选数据的有无等)的指令(DESCRIBE rtsp：//s2.com/adv.mpg)C2b。
当上述指令C2b被第二服务器33b所接收时，从该服务器33b向客户终端发出表示了解上述指令的应答R2b，同时给客户终端提供SDP(SessionDescription Protocol)信息。
接着，从客户终端的数据接收装置130b向第二服务器(s2.com)33b发出要求进行提供与第一前景图象(adv)相对应的媒体数据的准备的准备要求指令(SETUP rtsp：//s2.com/adv.mpg)C3b。这样，由第二服务器33b，向客户终端发出完成了提供媒体数据的准备的表示了解了上述指令C3b的应答(RTSP/1.0 OK)R30b。
在该应答R30b中包：表示承诺SETUP指令C3b的OK消息(RTSP/1.0OK)31b和其他的附属信息32b。在该附属信息32b中包含次序编号(CSeq：2)信息，对话时间编号(Session：12345688)信息以及(a＝prebuffering：7s)信息。该(a＝prebuffering：7s)信息表示从要求前景图象(adv)的媒体数据到进行其显示的将要等待的时间是7秒。。
接着，从客户终端的数据接收装置130b，在上述第二前景图象的显示开始时刻的15秒前(场景全体的显示开始时刻的5秒前)，向第三服务器(s3.com)33c发出要求与第二前景图象(mov)相对应的媒体数据(mov.mpg)的媒体数据要求指令(PLAY rtsp：//s3.com/mov.mpg)C4a，此时，由第三服务器33c，向客户终端发出表示了解了上述指令C4a的应答(RTSP/1.0 OK)R4a。然后，从该第三服务器33c，通过RTR分组向上述客户终端依次提供与第二图象数据(mov.mpg)相对应的媒体数据Dm2。
接着，从客户终端的数据接收装置130b，在上述第一前景图象的显示开始时刻的7秒前(场景全体的显示开始时刻的2秒前)，向第二服务器(s2.com)33b发出要求与第一前景图象(adv)相对应的媒体数据(adv.mpg)的数据要求指令(PLAY rtsp：//s2.com/adv.mpg)C4b，此时，由第二服务器33b，向客户终端发出表示了解了上述指令C4b的应答(RTSP/1.0 OK)R4b，然后，从该第二服务器33b，通过RTR分组向上述客户终端依次提供与第一前景图象(adv)相对应的媒体数据Dm1。
然后，各媒体数据在其显示开始时刻被输出给显示装置905，根据上述SMIL数据的解析结果进行显示。
这样，把表示待机时间(预缓冲时间)的信息包含在SMIL数据之外的控制数据(接收侧终端的与SETUP要求所对应的服务器的应答)中来从数据发送装置传送给数据接收装置的数据传送方法，在实时下，对于初始延迟时间即从服务器要求媒体数据到开始其显示的待机时间发生变化的内容(表示直播的音乐会模样的图象)，是非常有效的。
根据本发明的第一方面所涉及的数据接收装置，包括接收装置，接收表示保持上述各媒体数据的数据源的上述网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息，根据上述第一和第二时刻信息，在比上述各媒体数据的重放开始时刻提前每个媒体数据中所设定的固有时间的时刻上，进行向该数据源要求上述各媒体数据的数据要求处理，由此，具有这样的效果，能够按照由发送侧所指定的时间来开始进行各媒体数据的重放。
根据本发明的第二方面，在本发明的第一方面所述的数据接收装置中，接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息，在比上述各媒体数据的重放开始时刻提前上述待机时间的时刻上进行向该数据源要求上述各媒体数据的数据要求处理，由此，具有这样的效果，在接收侧，能够在上述各媒体数据重放前的待机时间期间，从网络上的预定数据源取得各媒体数据。
并且，通过考虑媒体数据所传输的网络的状况，例如带宽和混杂度等，来把上述待机时间设定为足够大的值，由此，数据接收装置中的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第三方面，在本发明的第一方面所述的数据接收装置中，接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息，在上述第二时刻，进行向该数据源要求上述各媒体数据的数据要求处理，由此，具有这样的效果，在接收侧，能够在从上述数据要求时刻到数据重放开始时刻期间，从网络上的预定数据源取得各媒体数据。
并且，通过考虑媒体数据所传输的网络的状况，例如带宽和混杂度等，来把上述数据要求时刻设定为比数据重放开始时刻充分提前的时刻上，由此，数据接收装置中的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第四方面，在本发明的第一方面所述的数据接收装置中，接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息，在比各媒体数据的重放开始时刻提前上述待机时间和预先设定的预定时间的合计时间的时刻上，进行向该数据源要求上述各媒体数据的数据要求处理，由此，具有这样的效果，不仅能够按照由发送侧所指定的时间来开始进行各媒体数据的重放，而且，接收侧的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第五方面，在本发明的第一方面所述的数据接收装置中，接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息；把上述时刻设定装置作为这样的部件，在比上述第二时刻信息表示的时刻提前预先设定的预定时间的时刻上，进行向该数据源要求上述各媒体数据的数据要求处理，由此，具有这样的效果，不仅能够按照由发送侧所指定的时间来开始进行各媒体数据的重放，而且，接收侧的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第六方面所涉及的数据接收方法，包括接收步骤，接收表示保持上述各媒体数据的数据源的上述网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息，根据上述第一和第二时刻信息，在比上述各媒体数据的重放开始时刻提前每个媒体数据中所设定的固有时间的时刻上，进行向上述所在位置信息表示的数据源要求上述各媒体数据的数据要求处理，因此，能够按照发送侧所指定的时间，来开始进行与构成场景的各个要素相对应的媒体数据的重放。
根据本发明的第七方面，在本发明的第六方面所述的数据接收方法中，接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息，在比上述各媒体数据的重放开始时刻提前上述待机时间的时刻上，进行向预定的数据源要求各媒体数据的数据要求处理，由此，具有这样的效果，在接收侧，能够在上述各媒体数据重放前的待机时间期间，从网络上的预定数据源取得各媒体数据。
并且，通过考虑媒体数据所传输的网络的状况，例如带宽和混杂度等，来把上述待机时间设定为足够大的值，由此，数据接收装置中的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第八方面，在本发明的第六方面所述的数据接收方法中，接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息，在上述数据要求时刻上进行向预定的数据源要求各媒体数据的数据要求处理，由此，具有这样的效果，在接收侧，能够在从上述数据要求时刻到数据重放开始时刻期间，从网络上的预定数据源取得各媒体数据。
并且，通过考虑媒体数据所传输的网络的状况，例如带宽和混杂度等，来把上述数据要求时刻设定为比数据重放开始时刻充分提前的时刻上，由此，数据接收装置中的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第九方面，在本发明的第六方面所述的数据接收方法中，接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息，在比各媒体数据的重放开始时刻提前上述待机时间和预先设定的预定时间的合计时间的时刻上，进行向预定的数据源要求各媒体数据的数据要求处理，由此，具有这样的效果，不仅能够按照由发送侧所指定的时间来开始进行各媒体数据的重放，而且，接收侧的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第十方面，在本发明的第六方面所述的数据接收方法中，接收表示将要向对应的数据源要求上述各媒数据的时刻的时刻信息，来作为上述第二时刻信息，在比上述第二时刻信息表示的时刻提前预先设定的预定时间的时刻上，进行向预定的数据源要求各媒体数据的数据要求处理，由此，具有这样的效果，不仅能够按照由发送侧所指定的时间来开始进行各媒体数据的重放，而且，接收侧的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第十一方面所涉及的数据发送方法，发送表示保持上述各媒体数据的数据源的上述网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息，根据上述第一和第二时刻信息及所在位置信息，根据从接收终端所发送的上述媒体数据的要求，向该接收终端发送上述媒体数据，因此，在接收侧，在上述各媒体数据重放之前，根据上述第二时刻信息，从网络上的预定数据源取得各媒体数据，按照发送侧所指定的时间，来开始进行与构成场景的各个要素相对应的媒体数据的重放。
根据本发明的第十二方面，在本发明的第十一方面所述的数据发送方法中，把上述第二时刻信息作为表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，由此，具有这样的效果，在接收侧，能够在上述各媒体数据重放前的待机时间期间，从网络上的预定数据源取得各媒体数据。
并且，通过考虑媒体数据所传输的网络的状况，例如带宽和混杂度等，来把上述待机时间设定为足够大的值，由此，数据接收装置中的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第十三方面，在本发明的第十一方面所述的数据发送方法中，把上述第二时刻信息作为表示将要向对应的数据源要求上述各媒体数据的数据要求时刻的时刻信息，由此，具有这样的效果，在接收侧，能够在从上述数据要求时刻到数据重放开始时刻期间，从网络上的预定数据源取得各媒体数据。
并且，通过考虑媒体数据所传输的网络的状况，例如带宽和混杂度等，来把上述数据要求时刻设定为比数据重放开始时刻充分提前的时刻上，由此，数据接收装置中的媒体数据的重放处理难于受到网络的跳动的影响，而能够抑制在媒体数据的重放过程中图象显示被中断的情况。
根据本发明的第十四方面所涉及的数据纪录媒体，作为用于通过计算机进行重放从网络上的数据源取得的媒体数据来显示一个场景的数据重放处理的数据重放程序，来存储：第一程序，用于通过计算机进行第一处理，该第一处理是接收表示保持上述各媒体数据的数据源的上述网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息；第二程序，用于通过计算机进行第二处理，该第二处理是根据上述第一和第二时刻信息，在比上述各媒体数据的重放开始时刻提前每个媒体数据中所设定的固有时间的时刻上，进行向上述所在位置信息表示的数据源要求上述各媒体数据；第三程序，用于通过计算机进行第三处理，该第三处理是根据上述数据要求，接收从上述数据源所提供的媒体数据，由此，具有这样的效果：能够通过软件来进行在接收侧按照由发送侧所指定的时间重放与构成场景的各个要素相对应的媒体数据的数据重放处理。
根据本发明的第十五方面所涉及的数据记录媒体，作为用于通过计算机进行向重放媒体数据并显示一个场景的接收终端发送媒体数据的数据发送程序，来存储：第一程序，用于通过计算机进行第一处理，该第一处理是发送表示保持上述各媒体数据的数据源的上述网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息；第二程序，用于通过计算机进行第二处理，该第二处理是根据上述第一和第二时刻信息及所在位置信息，根据从接收终端所发送的上述媒体数据的要求，向该接收终端发送上述媒体数据，由此，具有这样的效果：能够通过软件进行向接收侧发送媒体数据的数据发送处理，以使接收侧的各媒体数据的重放按照由发送侧所指定的时间来进行。

Claims (13)

1.一种数据接收装置，用于从网络上的数据源取得与构成场景的各要素相对应的作为图象数据、声音数据及文本数据中任一个的媒体数据，重放取得的媒体数据，显示上述场景，其特征在于，包括：
第一接收装置，用于接收表示保持上述各媒体数据的数据源的上述网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息；
时刻设定装置，用于根据上述第一和第二时刻信息，把向该数据源要求上述各媒体数据的数据要求时刻设定到：比上述各媒体数据的重放开始时刻提前每个媒体数据中所设定的固有时间的时刻上；
数据要求装置，用于在由上述时刻设定装置所设定的数据要求时刻，进行向上述所在位置信息表示的数据源要求上述各媒体数据的数据要求处理；
第二接收装置，用于根据上述数据要求装置的要求，接收从上述数据源所提供的媒体数据。
2.根据权利要求1所述的数据接收装置，其特征在于，
上述第一接收装置接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息；
上述时刻设定装置把上述媒体数据的数据要求时刻设定在比上述各媒体数据的重放开始时刻提前上述待机时间的时刻上。
3.根据权利要求1所述的数据接收装置，其特征在于，
上述第一接收装置接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息；
上述时刻设定装置把上述媒体数据的数据要求时刻设定在上述第二时刻信息表示的时刻上。
4.根据权利要求1所述的数据接收装置，其特征在于，
上述第一接收装置接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息；
上述时刻设定装置把上述媒体数据的数据要求时刻设定在比各媒体数据的重放开始时刻提前上述待机时间和预先设定的预定时间的合计时间的时刻上。
5.根据权利要求1所述的数据接收装置，其特征在于，
上述第一接收装置接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息；
上述时刻设定装置把上述媒体数据的数据要求时刻设定在比上述第二时刻信息表示的时刻提前预先设定的预定时间的时刻上。
6.一种数据接收方法，从网络上的数据源取得与构成场景的各要素相对应的作为图象数据、声音数据及文本数据中任一个的媒体数据，重放取得的媒体数据，显示上述场景，其特征在于，包括：
第一接收步骤，接收表示保持上述各媒体数据的数据源的上述网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息；
数据要求步骤，根据上述第一和第二时刻信息，在比上述各媒体数据的重放开始时刻提前每个媒体数据中所设定的固有时间的时刻上，进行向上述所在位置信息表示的数据源要求上述各媒体数据的数据要求处理；
第二接收步骤，根据上述数据要求步骤中的数据要求处理，接收从上述数据源所提供的媒体数据。
7.根据权利要求6所述的数据接收方法，其特征在于，
上述第一接收步骤，接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息；
上述数据要求步骤，在比上述各媒体数据的重放开始时刻提前上述待机时间的时刻上，进行向预定的数据源要求各媒体数据的数据要求处理。
8.根据权利要求6所述的数据接收方法，其特征在于，
上述第一接收步骤，接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息；
上述数据要求步骤，在上述数据要求时刻上进行向预定的数据源要求各媒体数据的数据要求处理。
9.根据权利要求6所述的数据接收方法，其特征在于，
上述第一接收步骤，接收表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息，来作为上述第二时刻信息；
上述数据要求步骤，在比各媒体数据的重放开始时刻提前上述待机时间和预先设定的预定时间的合计时间的时刻上，进行向预定的数据源要求各媒体数据的数据要求处理。
10.根据权利要求6所述的数据接收方法，其特征在于，
上述第一接收步骤，接收表示将要向对应的数据源要求上述各媒体数据的时刻的时刻信息，来作为上述第二时刻信息；
上述数据要求步骤，在比上述第二时刻信息表示的时刻提前预先设定的预定时间的时刻上，进行向预定的数据源要求各媒体数据的数据要求处理。
11.一种数据发送方法，把与构成场景的各要素相对应的作为图象数据、声音数据及文本数据中任一个的媒体数据发送给重放该媒体数据并显示上述场景的接收终端，其特征在于，包括：
第一发送步骤，发送表示保持上述各媒体数据的数据源的网络上的所在位置的所在位置信息、表示上述各媒体数据的重放开始时刻的第一时刻信息以及与上述各媒体数据相对应的用于向该数据源要求该媒体数据的第二时刻信息；
第二发送步骤，根据上述第一和第二时刻信息及所在位置信息，根据从接收终端所发送的媒体数据的要求，向该接收终端发送上述媒体数据。
12.根据权利要求11所述的数据发送方法，其特征在于，把上述第二时刻信息作为表示从接收上述各媒体数据到进行该各媒体数据的重放的待机时间的时刻信息。
13.根据权利要求11所述的数据发送方法，其特征在于，把上述第二时刻信息作为表示将要向对应的数据源要求上述各媒体数据的数据要求时刻的时刻信息。
CNB011170638A 2000-01-24 2001-01-23 数据接收装置、数据接收方法及数据传输方法 Expired - Fee Related CN1187929C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP014847/2000 2000-01-24
JP2000014847 2000-01-24

Publications (2)

Publication Number Publication Date
CN1311580A CN1311580A (zh) 2001-09-05
CN1187929C true CN1187929C (zh) 2005-02-02

Family

ID=18542240

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011170638A Expired - Fee Related CN1187929C (zh) 2000-01-24 2001-01-23 数据接收装置、数据接收方法及数据传输方法

Country Status (3)

Country Link
US (1) US20010018769A1 (zh)
EP (1) EP1126714A3 (zh)
CN (1) CN1187929C (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993553B2 (en) * 2000-12-19 2006-01-31 Sony Corporation Data providing system, data providing apparatus and method, data acquisition system and method, and program storage medium
US20020156912A1 (en) * 2001-02-15 2002-10-24 Hurst John T. Programming content distribution
US20020147985A1 (en) * 2001-04-05 2002-10-10 Koji Miyajima Video distribution system and video distribution method
SE520531C2 (sv) * 2001-05-11 2003-07-22 Ericsson Telefon Ab L M Multimediapresentation
US7216288B2 (en) * 2001-06-27 2007-05-08 International Business Machines Corporation Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system
KR20030040929A (ko) * 2001-11-17 2003-05-23 엘지전자 주식회사 이동통신단말기의 멀티미디어 재생방법
JP2003304523A (ja) * 2002-02-08 2003-10-24 Ntt Docomo Inc 情報配信システム、情報配信方法、情報配信サーバ、コンテンツ配信サーバ及び端末
GB0218188D0 (en) * 2002-08-06 2002-09-11 Hewlett Packard Co Methods and arrangements applicable to exhibition spaces
KR100474305B1 (ko) * 2002-09-14 2005-03-10 엘지전자 주식회사 이동 통신 단말기의 멀티미디어 메시지 작성을 위한 사용자 인터페이스 방법
KR100449742B1 (ko) * 2002-10-01 2004-09-22 삼성전자주식회사 멀티미디어 방송 송수신 장치 및 방법
JP4294933B2 (ja) * 2002-10-16 2009-07-15 富士通株式会社 マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置
JP2004140536A (ja) * 2002-10-17 2004-05-13 Fujitsu Ltd 再生装置及び再生方法
JP3852452B2 (ja) * 2004-03-16 2006-11-29 ソニー株式会社 画像データ保存方法及び画像処理装置
KR100991803B1 (ko) 2004-07-22 2010-11-04 주식회사 넷앤티비 Ｓａｆ 동기화 계층 패킷 구조를 제공하는 ｓａｆ 동기화 계층 패킷 제공 시스템 및 사용자 단말
WO2006009344A1 (en) * 2004-07-22 2006-01-26 Electronics And Telecommunications Research Institute Saf synchronization layer packet structure and server system therefor
US8667545B1 (en) * 2005-10-24 2014-03-04 At&T Intellectual Property Ii, L.P. Method and apparatus for storing user selected video content
US20100083307A1 (en) * 2007-02-26 2010-04-01 Sony Computer Entertainment America Inc. Media player with networked playback control and advertisement insertion
US9083938B2 (en) 2007-02-26 2015-07-14 Sony Computer Entertainment America Llc Media player with networked playback control and advertisement insertion
US8522301B2 (en) * 2007-02-26 2013-08-27 Sony Computer Entertainment America Llc System and method for varying content according to a playback control record that defines an overlay
US9183753B2 (en) * 2007-02-26 2015-11-10 Sony Computer Entertainment America Llc Variation and control of sensory work playback
US20100082727A1 (en) * 2007-02-26 2010-04-01 Sony Computer Entertainment America Inc. Social network-driven media player system and method
US20080225808A1 (en) * 2007-03-14 2008-09-18 Jorge Eduardo Springmuhl Samayoa Integrated media system and method
US9054912B2 (en) 2008-02-08 2015-06-09 Voxer Ip Llc Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode
US8321582B2 (en) * 2008-02-08 2012-11-27 Voxer Ip Llc Communication application for conducting conversations including multiple media types in either a real-time mode or a time-shifted mode
JP5657686B2 (ja) * 2009-11-16 2015-01-21 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ストリーミングメディア受信装置におけるスタンバイ処理のための方法、および装置
KR102069538B1 (ko) 2012-07-12 2020-03-23 삼성전자주식회사 멀티미디어 요소의 배치를 위한 마크업을 구성하는 방법
US11418858B2 (en) 2017-09-01 2022-08-16 Roku, Inc. Interactive content when the secondary content is server stitched
US11234060B2 (en) 2017-09-01 2022-01-25 Roku, Inc. Weave streaming content into a linear viewing experience

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884028A (en) * 1994-07-29 1999-03-16 International Business Machines Corporation System for the management of multiple time-critical data streams
US5828904A (en) * 1995-05-09 1998-10-27 Apple Computer, Inc. System for data retrieval by scheduling retrieval if number of units scheduled equals or less than predetermined number and retrieving before or at time elapsed
US5974503A (en) * 1997-04-25 1999-10-26 Emc Corporation Storage and access of continuous media files indexed as lists of raid stripe sets associated with file names
US6065087A (en) * 1998-05-21 2000-05-16 Hewlett-Packard Company Architecture for a high-performance network/bus multiplexer interconnecting a network and a bus that transport data using multiple protocols
US6628302B2 (en) * 1998-11-30 2003-09-30 Microsoft Corporation Interactive video programming methods
US6580756B1 (en) * 1998-12-11 2003-06-17 Matsushita Electric Industrial Co., Ltd. Data transmission method, data transmission system, data receiving method, and data receiving apparatus
US6252947B1 (en) * 1999-06-08 2001-06-26 David A. Diamond System and method for data recording and playback

Also Published As

Publication number Publication date
CN1311580A (zh) 2001-09-05
EP1126714A2 (en) 2001-08-22
EP1126714A3 (en) 2005-12-28
US20010018769A1 (en) 2001-08-30

Similar Documents

Publication Publication Date Title
CN1187929C (zh) 数据接收装置、数据接收方法及数据传输方法
CN1166142C (zh) 用于媒体数据传输的方法和装置
CN1166143C (zh) 用于媒体数据传输的方法和装置
CN1141844C (zh) 移动图像合成***
CN1220359C (zh) 通信终端、服务器、广播通信***及方法
CN1190081C (zh) 发送和接收动态图像数据的方法及其设备
CN1666195A (zh) 支持媒体文件中的高级编码格式
CN1767601A (zh) 一种支持多源流媒体的同步播放控制方法
CN1288907C (zh) 信息处理设备、电子设备、信息处理方法和信息处理媒体
CN1387338A (zh) 数据再现装置和数据再现方法
CN101035279A (zh) 一种在视频资源中使用信息集的方法
CN1311589A (zh) 数字内容分配***、漫游服务器、信息处理器及其方法
CN1892564A (zh) 标签信息显示控制设备及方法、信息处理设备和显示设备
CN1276602C (zh) 广播***
CN1180209A (zh) 数据变换装置
CN1787422A (zh) 用于控制流媒体数据的编码比特率的***和过程
CN1547852A (zh) 活动图像数据再现设备
CN1901638A (zh) 信息处理装置、方法和程序
CN101057237A (zh) 使内容和线性媒体相关联的方法和***
CN1933586A (zh) 信息处理装置、方法和程序
CN1324896C (zh) 概要信息发送装置及内容再现装置和方法
CN1471004A (zh) 动画图像重放装置、进度数据以及动画图像重放方法
CN1738430A (zh) 活动图像的元数据的数据结构及其再现方法
CN1659883A (zh) 远程播放dvd的方法与***
CN1250197A (zh) 发送和/或接收流数据的装置及其生产方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee