CN1708115A - 用于运动图像的元数据 - Google Patents

用于运动图像的元数据 Download PDF

Info

Publication number
CN1708115A
CN1708115A CNA2005100670907A CN200510067090A CN1708115A CN 1708115 A CN1708115 A CN 1708115A CN A2005100670907 A CNA2005100670907 A CN A2005100670907A CN 200510067090 A CN200510067090 A CN 200510067090A CN 1708115 A CN1708115 A CN 1708115A
Authority
CN
China
Prior art keywords
vclick
data
buffer
information
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005100670907A
Other languages
English (en)
Inventor
山县洋一郎
津曲康史
高桥秀树
金子敏充
上林达
矶崎宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1708115A publication Critical patent/CN1708115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种信息重放方法包括:从存储流(VCS)和存储初始化信息(VCI)的信息记录介质读取信息,该流包括在重放视频内容时能够被重放的运动图像的元数据,而且由作为能够被独立处理的数据单元的访问单元形成,该初始化信息包括用于指定在重放该元数据时所使用的缓冲器大小的缓冲器大小信息;和重放该视频内容,以及在根据包括在所述初始化信息(VCI)中的该缓冲器大小信息指定所述缓冲器的大小的情况下重放所述元数据。

Description

用于运动图像的元数据
技术领域
本发明涉及一种通过组合客户机中的运动图像数据和网络(或盘)上的元数据实现运动图像超媒体,以及在运动图像上显示幻灯机(telop)、气球等的方法。
背景技术
超媒体定义了媒体诸如运动图像、静止图像、音频、文本等之间称为超级链接的关联,以允许这些媒体相互或彼此进行参照。例如,在能够使用因特网浏览并以HTML描述的主页上分配文本数据和静止图像数据,以及在这些文本数据和静止图像数据上定义链接。通过指定这种链接,能够立即地显示作为链接目的地的关联信息。由于用户能够通过直接指定引起他或她注意的短语而访问关联信息,所以允许简单的和直观的操作。
另一方面,在主要包括运动图像数据而代替文本和静止图像数据的超媒体中,定义了从所述运动图像中出现的对象诸如人、物品等到说明它们的相关联内容诸如其文本数据、静止图像数据的链接。当浏览者指定一个对象时,显示相关联的内容。同时,为了定义运动图像中出现的对象的时空区域和相关联内容之间的链接,则需要指示该运动图像中对象的时空区域的数据(对象区域数据)。
作为所述对象区域数据,可以使用具有两个或更多值的掩模图像序列、任意形状的MPEG-4编码、如在日本专利申请公开第2000-285253号中所述的描述图形特征点的轨迹的方法、在日本专利申请公开第2001-111996号中描述的方法等。为了实现主要包括运动图像数据的超媒体,除了上述数据以外,还需要描述用于在指定对象后显示其他相关联内容的动作的数据(动作信息)。在下文中这些数据除了运动图像数据以外将被称之为元数据。
作为一种为浏览者提供运动图像数据和元数据的方法,可使用一种准备记录运动图像数据和元数据的记录介质(视频CD、DVD等)的方法。为了提供已经被拥有作为视频CD或DVD的运动图像数据的元数据,只能够从网络下载或通过流式传输来分配元数据。运动图像数据和元数据可以经由该网络进行分配。同时,元数据优选具有一种能够有效使用缓冲器的、适于随机访问以及相对于网络中的任何数据丢失来说健壮的格式。
当频繁地切换运动图像数据时(例如,当准备了在多个摄像角度捕获的运动图像数据,浏览者能够自由地选择一个任意的摄像角度时;如同DVD视频的多视角视频),元数据必须对应于运动图像数据的切换而迅速地切换。
当通过流式传输在网络上分配元数据给浏览者,其中该元数据与在浏览者处的运动图像数据相关,或者在浏览者处重放元数据时,优选:
a)提高缓冲器的使用效率;
b)便于随机访问;
c)减少数据丢失的影响;和
d)允许高速切换元数据。
尤其是,有关有效使用该缓冲器,如果固定缓冲器的大小,则必须将播放器的规格调整到这种固定的缓冲器大小,或者内容提供商必须为缓冲器使用进行精确的维护。当没有任何元数据信息存储在该缓冲器上时,在每次搜索处理中必须从盘载入元数据或者经由外部线路接收它,这将导致长的处理时间(这种长的处理时间通常引起了用户的不愉快)。而且,当进行特别重放(特技重放、快进重放、快退重放等等)时,内容重放和元数据重放不能同步,除非在每次特别重放中接收元数据。
在这些情形下,想要提供一种能够提高与元数据相关联的处理效率的技术。
发明内容
根据本发明的一个方面,提供了一种信息重放设备,其包括存储流和存储初始化信息的信息记录介质,其中该流包括在重放视频内容时能够被重放的运动图像的元数据,而且由作为能够被独立处理的数据单元的访问单元形成,该初始化信息包括用于指定在重放该元数据时所使用的缓冲器大小的缓冲器大小信息;第一重放处理单元,其被配置成重放所述视频内容;以及第二重放处理单元,其被配置成根据包括在所述初始化信息中的该缓冲器大小信息来指定缓冲器的大小并重放所述元数据。
根据本发明的另一个方面,提供了一种信息重放方法,其包括:从存储流和存储初始化信息的记录介质读取信息,该流包括在重放视频内容时能够被重放的运动图像的元数据,而且由作为能够被独立处理的数据单元的访问单元形成,该初始化信息包括用于指定在重放该元数据时所使用的缓冲器大小的缓冲器大小信息;和重放该视频内容,以及在根据包括在所述初始化信息中的该缓冲器大小信息指定缓冲器大小的情况下重放所述元数据。
根据本发明的再一个方面,提供了一种信息记录方法,包括在信息记录介质的第一区域记录流,其中该流包括在重放视频内容时能够被重放的运动图像的元数据,而且由作为能够被独立处理的数据单元的访问单元形成;以及在信息记录介质的第二区域记录初始化信息,该初始化信息包括用于指定在重放该元数据时所使用的缓冲器大小的缓冲器大小信息。
附图说明
包括在说明书中并构成其一部分的附图示例了本发明的实施例,并与上述的一般描述和以下所给实施例的详细描述一起,用于说明本发明的原理。
图1A和1B是用于说明根据本发明实施例的超媒体的显示实例的视图;
图2是示出了根据本发明实施例的***配置实例的方框图;
图3是用于说明根据本发明实施例的对象区域和对象区域数据之间关系的视图;
图4是用于说明根据本发明实施例的对象元数据的访问单元的数据结构实例的视图;
图5是用于说明根据本发明实施例形成Vclick流的方法的视图;
图6是用于说明根据本发明实施例的Vclick访问表结构的一个实例的视图;
图7是用于说明根据本发明实施例的传输数据包结构的一个实例的视图;
图8是用于说明根据本发明实施例的传输数据包结构的另一个实例的视图;
图9是用于说明根据本发明实施例的服务器和客户机之间通信的一个实例的图;
图10是用于说明根据本发明实施例的服务器和客户机之间通信的另一个实例的图;
图11所示的表用于说明根据本发明实施例的Vclick流的数据单元的实例;
图12所示的表用于说明根据本发明实施例的Vclick流的头部的数据单元的实例;
图13所示的表用于说明根据本发明实施例的Vclick访问单元(AU)的数据单元的实例;
图14所示的表用于说明根据本发明实施例的Vclick访问单元(AU)的头部的数据单元的实例;
图15所示的表用于说明根据本发明实施例的Vclick访问单元(AU)的时间标记的数据单元的实例;
图16所示的表用于说明根据本发明实施例的Vclick访问单元(AU)的时间标记跳跃的数据单元的实例;
图17所示的表用于说明根据本发明实施例的对象属性信息的数据单元的实例;
图18所示的表用于说明根据本发明实施例的对象属性信息类型的实例;
图19所示的表用于说明根据本发明实施例的对象名称属性的数据单元的实例;
图20所示的表用于说明根据本发明实施例的对象动作属性的数据单元的实例;
图21所示的表用于说明根据本发明实施例的对象轮廓属性的数据单元的实例;
图22所示的表用于说明根据本发明实施例的对象闪烁区域属性的数据单元的实例;
图23所示的表用于说明根据本发明实施例的对象镶嵌区域属性的数据单元的实例;
图24所示的表用于说明根据本发明实施例的对象着色区域属性的数据单元的实例;
图25所示的表用于说明根据本发明实施例的对象文本信息数据的数据单元的实例;
图26所示的表用于说明根据本发明实施例的对象文本属性的数据单元的实例;
图27所示的表用于说明根据本发明实施例的对象文本高亮显示效果属性的数据单元的实例;
图28所示的表用于说明根据本发明实施例的对象文本高亮显示属性项目的数据单元的实例;
图29所示的表用于说明根据本发明实施例的对象文本闪烁效果属性的数据单元的实例;
图30所示的表用于说明根据本发明实施例的对象文本闪烁属性项目的数据单元的实例;
图31所示的表用于说明根据本发明实施例的对象文本滚动效果属性的数据单元的实例;
图32所示的表用于说明根据本发明实施例的对象文本卡拉OK效果属性的数据单元的实例;
图33所示的表用于说明根据本发明实施例的对象文本卡拉OK效果属性项目的数据单元的实例;
图34所示的表用于说明根据本发明实施例的对象层扩展属性的数据单元的实例;
图35所示的表用于说明根据本发明实施例的对象层扩展属性项目的数据单元的实例;
图36所示的表用于说明根据本发明实施例的Vclick访问单元(AU)的对象区域数据的数据单元的实例;
图37的流程图示出了根据本发明实施例的正常重放开始处理顺序(当Vclick数据存储在服务器中时);
图38的流程图示出了根据本发明实施例的另一个正常重放开始处理顺序(当Vclick数据存储在服务器中时);
图39的流程图示出了根据本发明实施例的正常重放结束处理顺序(当Vclick数据存储在服务器中时);
图40的流程图示出了根据本发明实施例的随机访问重放开始处理顺序(当Vclick数据存储在服务器中时);
图41的流程图示出了根据本发明实施例的另一个随机访问重放开始处理顺序(当Vclick数据存储在服务器中时);
图42的流程图示出了根据本发明实施例的正常重放开始处理顺序(当Vclick数据存储在客户机中时);
图43的流程图示出了根据本发明实施例的随机访问重放开始处理顺序(当Vclick数据存储在客户机中时);
图44的流程图示出了根据本发明实施例的客户机的过滤操作;
图45的流程图(第1部分)示出了使用根据本发明实施例的Vclick访问表的Vclick流中的访问点搜索顺序;
图46的流程图(第2部分)示出了使用根据本发明实施例的Vclick访问表的Vclick流中的访问点搜索顺序;
图47是用于说明根据本发明实施例的其中Vclick_AU有效时间间隔和实际时间周期不匹配的一个实例的视图;
图48是用于说明根据本发明实施例的NULL_AU的数据结构实例的视图;
图49是用于说明使用根据本发明实施例的NULL_AU的Vclick_AU有效时间间隔和实际时间周期之间关系实例的视图;
图50是用于说明当使用根据本发明实施例的NULL_AU时,元数据管理器的处理顺序实例(第1部分)的流程图;
图51是用于说明当使用根据本发明实施例的NULL_AU时,元数据管理器的处理顺序实例(第2部分)的流程图;
图52是用于说明当使用根据本发明实施例的NULL_AU时,元数据管理器的处理顺序实例(第3部分)的流程图;
图53是用于说明根据本发明实施例的增强型DVD视频光盘的结构实例的视图;
图54是用于说明根据本发明实施例的增强型DVD视频光盘中的目录结构实例的视图;
图55是用于说明根据本发明实施例的Vclick信息的结构实例(第1部分)的视图;
图56是用于说明根据本发明实施例的Vclick信息的结构实例(第2部分)的视图;
图57是用于说明根据本发明实施例的Vclick信息的结构实例(第3部分)的视图;
图58是用于说明根据本发明实施例的Vclick信息的配置实例的视图;
图59是用于说明根据本发明实施例的Vclick信息的描述实例1的视图;
图60是用于说明根据本发明实施例的Vclick信息的描述实例2的视图;
图61是用于说明根据本发明实施例的Vclick信息的描述实例3的视图;
图62是用于说明根据本发明实施例的Vclick信息的描述实例4的视图;
图63是用于说明根据本发明实施例的Vclick信息的描述实例5的视图;
图64是用于说明根据本发明实施例的Vclick信息的描述实例6的视图;
图65是用于说明根据本发明实施例的Vclick信息的描述实例7的视图;
图66是用于说明根据本发明实施例的Vclick信息的另一个配置实例的视图;
图67是用于说明根据本发明实施例通过Vclick信息文件选择英语音频Vclick流的实例的视图;
图68是用于说明根据本发明实施例通过Vclick信息文件选择日语音频Vclick流的实例的视图;
图69是用于说明根据本发明实施例通过Vclick信息文件选择英语字幕Vclick流的实例的视图;
图70是用于说明根据本发明实施例通过Vclick信息文件选择日语字幕Vclick流的实例的视图;
图71是用于说明根据本发明实施例通过Vclick信息文件选择视角1 Vclick流的实例的视图;
图72是用于说明根据本发明实施例通过Vclick信息文件选择视角2 Vclick流的实例的视图;
图73是用于说明根据本发明实施例通过Vclick信息文件选择16∶9(画面宽高比)Vclick流的实例的视图;
图74是用于说明根据本发明实施例通过Vclick信息文件选择4∶3(画面宽高比)上下加框(letter box)显示Vclick流的实例的视图;
图75是用于说明根据本发明实施例通过Vclick信息文件选择4∶3(画面宽高比)平移扫描(span scan)显示Vclick流的实例的视图;
图76是用于说明根据本发明实施例的超媒体显示实例的视图;
图77是用于说明根据本发明实施例的对象元数据的访问单元的数据结构实例的视图;
图78是用于说明根据本发明实施例的对象元数据的访问单元的数据结构实例的视图;
图79是用于说明根据本发明实施例的Vclick访问单元持续时间的数据结构的表;
图80是用于说明根据本发明实施例的Vclick信息的描述实例8的视图;
图81是用于说明根据本发明实施例的Vclick信息的描述实例9的视图;
图82是用于说明根据本发明另一个实施例的重放处理顺序的流程图;
图83是用于说明根据本发明另一个实施例的形成Vclick流(多个流)的方法的视图;
图84是用于说明根据本发明另一个实施例的启动处理顺序的流程图;
图85是用于说明根据本发明另一个实施例的Vclick访问表的配置实例的视图;
图86是用于说明根据本发明另一个实施例的元数据管理器的处理顺序实例的流程图;
图87是用于说明根据本发明再一个实施例的缓冲器分配模型(初始化文件的一个实例)的视图;
图88是用于说明根据本发明再一个实施例的有关缓冲器分配的处理顺序的流程图;
图89是用于说明根据本发明再一个实施例的缓冲器使用实例的图表;
图90是用于说明根据本发明再一个实施例的环形缓冲器使用实例(第1部分)的视图;
图91是用于说明根据本发明再一个实施例的“重放读取”和“写入”算法的流程图;
图92是用于说明根据本发明再一个实施例的环形缓冲器使用实例(第2部分)的视图;
图93是用于说明根据本发明再一个实施例的环形缓冲器使用实例(第3部分)的视图;
图94是用于说明根据本发明再一个实施例的环形缓冲器使用实例(第4部分)的视图;
图95是用于说明根据本发明再一个实施例的环形缓冲器使用实例(第5部分)的视图;
图96是用于说明根据本发明再一个实施例的环形缓冲器使用实例(第6部分)的视图;
图97是用于说明根据本发明再一个实施例的有关缓冲器快擦(初始化)的处理顺序的流程图;
图98是用于说明根据本发明再一个实施例的“有关缓冲器清空顺序”的图;
图99是用于说明根据本发明再一个实施例的“通过连续地发出Get命令特别重放”(每当发生一个事件时需要Vclick数据的模型)的图;
图100是用于说明根据本发明再一个实施例的“通过连续地发出Get命令特别重放”(具有预定的事件发生顺序的模型)的图;
图101是用于说明根据本发明再一个实施例的“在快进重放时的缓冲器状态”的图表;
图102是用于说明根据本发明再一个实施例的“在快进或快退重放时处理访问单元的方法”的视图;
图103是用于说明根据本发明再一个实施例的“当Vclick流存储在运动图像数据记录介质时的模型”(当保证无缝重放时)的视图;
图104是用于说明图103中所示模型的处理的图;
图105是用于说明根据本发明再一个实施例的“当Vclick流存储在运动图像数据记录介质时的模型”(当不能保证无缝重放时)的视图;以及
图106是用于说明图105中所示模型的处理的图。
具体实施方式
在详细描述本发明的实施例之前,以下将简单描述作为要点的项目。
根据本发明实施例的运动图像元数据(其数据结构)包括一个或多个访问单元,该访问单元作为***能够单独处理的数据单元。注意该访问单元(图4、77和78中的Vclick_AU)包括:第一数据(402、B01/B02、C01/C02),其规定了相对于运动图像时间轴定义的有效时间间隔;描述该运动图像中时空区域的对象区域数据(400);以及包括规定与时空区域相关联的显示方法的数据和规定所述***在指定时空区域时所执行操作的数据中至少一个的第二数据(403)。
在本发明的实施例中,元数据包括初始化信息(320),后者包括用来指定在重放元数据时使用的缓冲器(209、322)大小的缓冲器大小信息的描述(321)。
由于元数据形成为一组能够被独立处理的访问单元,因此能够有效地使用缓冲器,便于随机访问,使任何数据丢失的影响变小,以及能够以高速度进行元数据切换。
在接口处理器控制用户接口和DVD的事件、元数据管理器控制缓冲功能而元数据缓冲器被分离的实施例中,它们可被独立控制。在这种情况下,缓冲器的初始状态在需要时可由初始化信息(320)设置。
特别是,若先前被重放的元数据部分地留在其大小由初始化信息(320)设置的缓冲器中(见图94),由于在快退重放内容时对应于快退重放的元数据留在缓冲器中,即使在特别重放诸如快退重放等时也能保证元数据和内容同步重放。
下文将参考附图详细地描述本发明的实施例。
(应用概述)
图1A和1B示出了使用根据本发明的对象元数据和运动图像一起在屏幕上实现应用(运动图像超媒体)的显示实例,在图1A中,附图标记100表示运动图像重放窗口;以及101表示鼠标指针。在运动图像重放窗口100上重放的运动图像的数据记录在本地运动图像数据记录介质上。附图标记102表示在该运动图像中存在的对象区域。当用户将鼠标指针移动到该对象的所述区域并通过例如点击鼠标按钮选择它时,执行预定的功能。例如,在图1B中,显示本地盘和/或网络上的文件(与点击对象关联的信息)103。另外,能够执行跳到该运动图像另一个场景的功能,重放另一个运动图像文件的功能,改变重放模式的功能等。
该对象区域102的数据、有关例如通过点击等指定该区域的客户机的动作数据等将一起被称之为对象元数据或Vclick数据。所述对象元数据可以与运动图像数据一起记录在本地运动图像数据记录介质(光盘、硬盘、半导体存储器等)上,或者可以存储在网络的服务器中以及可以经由该网络发送到客户机。下文将描述如何实现这种应用。
(***模型)
图2是示出了根据本发明实施例的流设备(网络兼容的盘播放器)结构的示意性方框图。以下将使用图2描述各个构造组件的功能。
附图标记200表示客户机;201表示服务器;以及221表示连接服务器201和客户机200的网络。客户机200包括运动图像重放引擎203、Vclick引擎202、盘设备230、用户接口240、网络管理器208和盘设备管理器213。附图标记204到206表示包括在该运动图像重放引擎中的设备;207、209到212,和214到218表示包括在该Vclick引擎中的设备;以及219和220表示包括在服务器201中的设备。客户机200能够重放运动图像数据,并且能够显示以标记语言(例如,HTML等)所描述的存储在盘设备230中的文件。而且,客户机200能够显示网络的文件(例如,HTML)。
当在服务器201中存储与客户机200中存储的运动图像数据相关联的元数据时,客户机200能够使用盘设备230中的该元数据和运动图像数据执行重放处理。服务器201响应于来自客户机200的请求,经由网络221向客户机200发送媒体数据M1。客户机200处理与重放运动图像同步的接收媒体数据,以执行超媒体的其他功能等(注意到“同步”并不局限于物理的完全匹配定时,而是允许有一定的定时误差)。
运动图像重放引擎203用于重放存储在盘设备230中的运动图像数据,并具有设备204、205、和206。附图标记231表示运动图像数据记录介质(更具体而言,包括DVD、视频CD、录像磁带、硬盘、半导体存储器等)。运动图像数据记录介质231存储数字和/或模拟运动图像数据。与运动图像数据相关联的元数据可以与该运动图像数据一起存储在运动图像数据记录介质231上。附图标记205表示运动图像重放控制器,它能够根据Vclick引擎202的接口处理器207输出的“控制”信号,来控制重放来自运动图像数据记录介质231的视频/音频/副图像数据D1。
更具体而言,在运动图像重放模式中,运动图像重放控制器205能够根据在发生任意事件(根据用户指令的菜单调用或标题跳转)时从接口处理器207发送的“控制信号”以输出一个“触发”信号。在这种情况下(在与触发信号输出同时的定时,或在该定时之前或之后的适当定时),运动图像重放控制器205能够向接口处理器207输出指示特性信息(例如,播放器中设置的音频语言、副图像字幕语言、重放操作、重放位置、各种类型的时间信息、盘内容等)的“状态”信号。通过交换这些信号,能够开始或停止运动图像数据读取过程,并且能够对运动图像数据中的想要位置进行访问。
AV解码器206具有解码运动图像数据记录介质231上所记录的视频数据、音频数据、和副图像数据,以及输出解码的视频数据(上述视频和副图像数据的混合数据)和音频数据的功能。运动图像重放引擎203能够具有与根据现有DVD视频标准制造的正常DVD视频播放器的重放引擎所相同的功能。即,图2的客户机200能够以和正常DVD视频播放器相同的方式重放具有MPEG2节目流结构的视频数据、音频数据等,从而允许重放现有的DVD视频盘(遵循传统的DVD视频标准的盘)(以保证与现有的DVD软件的重放兼容性)。
接口处理器207在诸如运动图像重放引擎203、盘设备管理器213、网络管理器208、元数据管理器210、缓冲器管理器211、脚本解释器212、媒体解码器216(包括元数据解码器217)、布局管理器215、AV再现器218等的模块之间进行接口控制。而且,接口处理器207接收通过用户操作(对诸如鼠标、触摸屏、键盘等的输入设备进行的操作)的输入事件并向适当的模块发送事件。
接口处理器207具有一个分析Vclick访问表(对应于以下参考附图53描述的VCA)的访问表分析器,分析Vclick信息文件的(对应于以下参考附图53描述的VCI)信息文件分析器,记录所述Vclick引擎管理的特性信息的特性缓冲器,Vclick引擎的***时钟,作为运动图像重放引擎中运动图像时钟204的复制的运动图像时钟等。
网络管理器208具有经由该网络获取文件(例如,HTML)、静止图像数据、音频数据等到缓冲器209上,以及控制因特网连接单元222操作的功能。当网络管理器208从接口处理器207接收到/来自网络的连接/断开连接指令时,其中该接口处理器已经接收了来自元数据管理器210的用户操作或请求,它将切换因特网连接单元222的连接/断开连接。当在服务器201和因特网连接单元222之间经由所述网络建立连接时,网络管理器208交换控制数据和媒体数据(对象元数据)。应该注意到能够使用被指定预定尺寸的环形缓冲器来形成缓冲器209,以下将参考附图87和接下来的附图说明其细节。
要从客户机200发送到服务器201的数据包括会话开始请求、会话结束请求、媒体数据(对象元数据)发送请求、状态信息(OK、错误等)等。而且,可以交换该客户机的状态信息。另一方面,要从服务器201发送到客户机200的数据包括媒体数据(对象元数据)和状态信息(OK、错误等)。
盘设备管理器213具有获取文件(例如,HTML)、静止图像数据、音频数据等到缓冲器209上,以及发送视频/音频/副图像数据D1到运动图像重放引擎203的功能。盘设备管理器213根据来自元数据管理器210的指令执行数据发送处理。
缓冲器209暂时地存储经由所述网络(经由网络管理器)从服务器201发送的媒体数据M1。运动图像数据记录介质231在某些情况下记录媒体数据M2。在这种情况下,媒体数据M2经由盘设备管理器存储在缓冲器209中。应该注意到媒体数据包括Vclick数据(对象元数据)、文件(例如,HTML)、和附加到该文件的静止图像数据、运动图像数据等。
当在运动图像数据记录介质231上记录媒体数据M2时,在开始重放视频/音频/副图像数据D1之前,可以预先从运动图像数据记录介质231中读取该媒体数据M2并存储在缓冲器209中。这是由于以下原因:因为媒体数据M2和视频/音频/副图像数据D1在运动图像数据记录介质231上具有不同的数据记录位置,如果进行正常的重放,那么盘搜寻等发生以及不能够保证无缝重放。上述的处理则能够避免这种问题。
如上所述,当从服务器201下载的媒体数据M1存储在缓冲器209中作为记录在运动图像数据记录介质231上的媒体数据M2时,能够同时读取并重放该视频/音频/副图像数据D1和媒体数据。
应该注意到缓冲器209的存储容量是受限的。即,能够存储在缓冲器209中的媒体数据M1或M2的数据尺寸是受限的。由于该原因,在元数据管理器210和/或缓冲器管理器211的控制(缓冲控制)下,可以删除不必要的数据。
元数据管理器210管理存储在缓冲器209中的元数据,并且当从接口处理器207接收与重放运动图像同步的正确定时(“运动图像时钟”信号)时,将具有相应时间标记的元数据从缓冲器209传送到媒体解码器216。
当在缓冲器209中不存在具有相应时间标记的元数据时,则不需要将它传送到媒体解码器216。元数据管理器210控制载入从缓冲器209输出的元数据尺寸的数据或将来自服务器201或盘设备230的任意尺寸的数据载入到缓冲器209上。作为一个实际的处理,元数据管理器210经由接口处理器207向网络管理器208或盘设备管理器213发出一个指定尺寸的元数据获取请求。网络管理器208或盘设备管理器213载入指定尺寸的元数据到缓冲器209上,并经由接口处理器207向元数据管理器210发送一个元数据获取完成响应。
缓冲器管理器211管理除了缓冲器209中存储的元数据以外的数据(文件(例如,HTML)、附加到该文件的静止图像数据和运动图像数据等),并且当从接口处理器207接收到于重放运动图像同步的适当定时(“运动图像时钟”信号)时,将除了缓冲器209中存储的元数据以外的数据发送到分析器214和媒体解码器216。
分析器214分析以标记语言(例如,HTML)编写的文件,并发送脚本给脚本解释器212以及给布局管理器215发送与布局相关联的信息。
脚本解释器212解释并运行分析器214输入的脚本。当运行脚本时,能够使用从接口处理器207输入的事件和特性的信息。当用户指定运动图像中的对象时,从元数据解码器217输入脚本给脚本解释器212。
AV再现器218具有控制视频/音频/文本输出的功能。更具体而言,AV再现器218根据布局管理器215输出的“布局控制”信号,控制例如视频/文本显示位置和显示尺寸(通常还包括与其一起的显示定时和显示时间)和音频等级(通常还包括与其一起的输出定时和输出时间),以及根据指定监视器的类型或将要显示的视频类型执行视频的像素转换。将要控制的视频/音频/文本输出来自运动图像重放引擎203和媒体解码器216。而且,AV再现器218具有根据接口处理器207输出的“AV输出控制”信号,控制自运动图像重放引擎203输入的混合或切换视频/音频数据,以及自媒体解码器203输入的视频/音频/文本数据的功能。
布局管理器215输出“布局控制”信号给AV再现器218。该“布局控制”信号包括将要输出的与运动图像/静止图像/文本数据的尺寸和位置相关联的信息(通常还包括与显示时间诸如显示开始/结束定时和持续时间相关联的信息),并用于指定AV再现器218有关用来显示数据的布局。布局管理器215检验输入信息诸如从接口处理器207输入的用户点击等,以确定指定的对象,并指令元数据解码器217提取动作命令,诸如显示为指定对象定义的相关信息。将该提取的动作命令发送到脚本解释器212并由它执行。
媒体解码器216(包括元数据解码器)解码运动图像/静止图像/文本数据。这些解码的视频数据和文本图像数据被从媒体解码器216发送到AV再现器218。这些要解码的数据根据来自接口处理器207的“媒体控制”信号指令并与接口处理器207的“定时”信号同步来进行解码。
附图标记219表示服务器201的元数据记录介质诸如硬盘、光盘、半导体存储器、磁带等,这些记录介质用于记录将要发送到客户机200的元数据。该元数据与运动图像数据记录介质231上记录的运动图像数据相关联。该元数据包括以下将要描述的对象元数据。附图标记220表示服务器201的网络管理器,该管理器经由网络221与客户机200交换数据。
(EDVD数据结构和IFO文件)
图53示出了当使用增强型DVD视频盘作为运动图像数据记录介质231时数据结构的一个实例。增强型DVD视频盘的DVD视频区域存储与DVD视频标准具有相同数据结构的DVD视频内容(具有MPEG-2节目流结构)。而且,增强型DVD视频盘的另一记录区域存储允许视频内容的各种重放处理的增强型导航(下文简称为ENAV)内容。应该注意到该记录区域也可由DVD视频标准进行识别。
以下将描述DVD视频盘的基本数据结构。DVD视频盘的记录区域从其内周依次包括导入区域、卷空间、以及导出区域。该卷空间包括卷/文件结构信息区域和DVD视频区域(DVD视频区),并且还能够可选地具有另一个记录区域(DVD其他区)。
该卷/文件结构信息区域被分配用于UDF(通用盘格式)桥结构。UDF桥格式的卷根据ISO/IEC13346第2部分来识别。识别该卷的空间包括连续的扇区,并从图53中的卷空间的第一逻辑扇区开始。根据ISO9660的规定保留前16个逻辑扇区用于***使用。为了保证与传统的DVD视频标准的兼容性,需要包含这种内容的卷/文件结构信息区域。
DVD视频区域记录称为视频管理器VMG的管理信息和一个或多个称为视频标题集合VTS(VTS#1到VTS#n)的视频内容。该VMG是用于在DVD视频区域中存在的所有VTS的管理信息,并且包括控制数据VMGI、VMG菜单数据VMGM_VOBS(可选)以及VMG备份数据。每个VTS包括该VTS的控制数据VTSI、该VTS(标题)内容(电影等)的VTS菜单数据VTSM_VOBS(可选)、数据VTSTT_VOBS以及VTSI备份数据。为了保证与传统的DVD视频标准的兼容性,也需要包含这种内容的DVD视频区域。
各个标题(VTS#1到VTS#n)的重放选择菜单等由提供商使用该VMG预先给定,以及具体标题(例如,VTS#1)中的重放段选择菜单、记录内容(单元)的重放顺序等由提供商使用该VTSI预先给定。所以,盘的观看者(DVD视频播放器的用户)能够根据提供商预先准备的VMG/VTSI的菜单和VTSI中的重放控制信息(节目链信息PGCI)来欣赏该盘的记录内容。但是,根据DVD视频标准,观看者(用户)不能够通过一种不同于提供商所准备的VMG/VTSI的方法来重放每个VTS的内容。
准备图53中所示的增强型DVD视频盘用于一种方案,即允许该用户通过一种不同于提供商所准备的VMG/VTSI的方法来重放所述内容(电影或音乐),以及当添加不同于提供商所准备的VMG/VTSI的内容时进行重放。根据DVD视频标准制造的DVD视频播放器不能够访问包括在该盘中的ENAV内容(即使能够访问该ENAV内容,也不能使用其内容)。但是,根据本发明实施例的DVD视频播放器(例如,配有图2中的Vclick引擎202的客户机200)能够访问ENAV内容,并且使用它们的重放内容。
该ENAV内容包括诸如音频数据、静止图像数据、字体/文本数据、运动图像数据、动画数据、Vclick数据等的数据,以及还包括ENAV文件(标记/脚本语言中描述的)以作为控制重放这些数据的信息。该重放控制信息使用标记语言或脚本语言描述ENAV内容(包括音频、静止图像、字体/文本、运动图像、动画、Vclick等)和/或DVD视频内容的重放方法(显示方法、重放顺序、重放切换顺序、选择要重放的数据等)。例如,标记语言诸如HTML(超文本标记语言)/XHTML(可扩展超文本标记语言)、SMIL(同步多媒体集成语言)等与脚本语言诸如ECMA(欧洲计算机制造商协会)脚本、JavaScript(R)等可以组合使用。
由于图53中的增强型DVD视频盘的内容除了其他记录区域以外遵循DVD视频标准,因此使用一种已经流行的DVD视频播放器(即,该盘与传统的DVD视频盘兼容)能够重放在该DVD视频区域上所记录的视频内容。通过传统的DVD视频播放器不能重放(或使用)在其他记录区域上所记录的该ENAV内容,但是能够使用根据本发明实施例的DVD视频播放器来重放和使用该内容。所以,当使用根据本发明实施例的DVD视频播放器重放该ENAV内容时,用户能够不仅欣赏提供商预先准备好的VMG/VTSI的内容,而且还能够欣赏到各种视频重放特征。
具体而言,如图53所示,ENAV内容包括Vclick数据VCD,其包括Vclick信息文件(Vclick Info)VCI、Vclick访问表VCA、Vclick流VCS、Vclick信息文件备份(Vclick Info备份)VCIB、以及Vclick访问表备份VCAB。
该Vclick信息文件VCI是表示其中附加了Vclick流VCS(以下将会描述)的DVD视频内容一部分的数据(例如,附加到整个标题、整段、节目链、节目、或作为其一部分的单元、或DVD视频内容的其他部分)。对于每个Vclick流VCS(以下将会描述)保证了该Vclick访问表VCA,并使用它来访问该Vclick流VCS。该Vclick流VCS包括数据,诸如运动图像中对象的位置信息、在点击该对象时所作的动作描述等。该Vclick信息文件备份VCIB是上述Vclick信息文件VCI的备份,并且其内容总是与Vclick信息文件VCI的相同。该Vclick访问表备份VCAB是Vclick访问表VCA的备份,并且其内容总是与Vclick访问表VCA相同。
在图53的实例中,在增强型DVD视频盘上记录该Vclick数据VCD。但是,如上所述,在某些情况下该Vclick数据VCD存储在网络上的服务器201中。即,能够在该盘内部/外部准备所述Vclick数据VCD。当在该盘外部准备所述Vclick数据VCD时,即使在内容重放不记录任何Vclick数据VCD的旧类型盘(在过去销售的视频盘等),或者在重放记录TV广播的内容中(当根据这些内容创建该Vclick数据VCD时),也能够使用该Vclick数据VCD进行重放。
而且,当用户使用视频记录介质(例如,DVD-R盘、DVD-RW盘、DVD-RAM盘、硬盘等)和视频记录机(例如,DVD-VR记录机、DVD-SR记录机、HD-DVD记录机、HDD记录机等)创建原始盘时,如果他或她在该盘上记录包括Vclick数据VCD的ENAV内容或者在除了该盘以外的个人计算机的数据存储器上准备所述Vclick数据VCD且连接该个人计算机和记录机,他或她能够以和图2中的DVD-ROM视频+ENAV播放器相同的方式来欣赏元数据重放。
图54示出了形成上述Vclick信息文件VCI、Vclick访问表VCA、Vclick流VCS、Vclick信息文件备份VCIB、以及Vclick访问表备份VCAB的文件的实例。以XML(扩展标记语言)描述形成该Vclick信息文件VCI的文件(VCKINDEX.IFO),以及描述其中附加所述Vclick流的DVD视频内容的Vclick流VCS和位置信息(VTS编号、标题编号、PGC编号等)。该Vclick访问表VCA由一个或多个文件(VCKSTR01.IFO到VCKSTR99.IFO或任意的文件名)构成,以及一个访问表VCA文件对应于一个Vclick流VCS。
Vclick流文件描述了每个Vlick流VCS的位置信息(从文件头部的相对字节尺寸)和时间信息(相应运动图像的时间标记或从文件头部的相对时间信息;参见图80和81)之间的关系,并允许搜索对应于给定时间的重放开始位置。
该Vclick流VCS包括一个或多个文件(VCKSTR01.VCK到VCKSTR99.VCK或任意的文件名)并且能够参考上述Vclick信息文件VCI的描述与附加的DVD视频内容一起被重放。如果存在多个属性(例如,日语Vclick数据VCD、英语Vclick数据VCD等),则可以对应于不同的属性形成不同的Vclick流VCS(即,不同的文件)。可替换地,可以多路复用各个属性以形成一个Vclick流VCS(即,一个文件)(例如,参见图5)。
在前一结构的情况下(对应于不同的属性形成多个Vclick流VCS;例如,图83中所示的实例等),能够当在重放设备(播放器)中暂时存储Vclick数据时减少缓冲器(例如,图2中实例的209)所占据的尺寸。在后一结构的情况下(形成一个Vclick流VCS一包括不同的属性;图5中所示的实例等),能够保持重放一个文件,而无需在切换属性时切换文件,因此保证了高的切换速度。
应该注意到能够使用例如其文件名将每个Vclick流VCS和Vclick访问表VCA进行关联。在上述实例中,一个Vclick访问表VCA(VCKSTRXX.IFO;XX=01到99)被分配给一个Vclick流VCS(VCKSTRXX.VCK;XX=01到99)。因此,除了扩展名以外通过采用相同的文件名,能够识别每个Vclick流VCS和Vclick访问表VCA之间的关联。
另外,该Vclick信息文件VCI描述了每个Vclick流VCS和Vclick访问表VCA之间的关联(更具体而言,VCI并行描述VCS和VCA的描述),以识别每个Vclick流VCS和Vclick访问表VCA之间的关联。
该Vclick信息文件备份VCIB由VCKINDEX.BUP文件形成,并且其内容与上述Vclick信息文件VCI(VCKINDEX.IFO)的相同。如果由于某原因(由于盘上的划痕、污点等)而不能载入VCKINDEX.IFO,通过代替载入该VCKINDEX.BUP能够进行想要的过程。该Vclick访问表备份VCAB由VCKSTR01.BUP到VCKSTR99.BUP文件形成,其内容与上述Vclick访问表VCA(VCKSTR01.IFO到VCKSTR99.IFO)的内容相同。一个Vclick访问表备份VCAB(VCKSTRXX.BUP;XX=01到99)被分配给一个Vclick访问表VCA(VCKSTRXX.IFO;XX=01到99),并且除了扩展名以外采用相同的文件名,因此能够识别每个Vclick访问表VCA和Vclick访问表备份VCAB之间的关联。如果由于某种原因(由于盘上的划痕、污点等)而不能载入VCKSTRXX.IFO,通过代替载入该VCKSTRXX.BUP能够进行想要的过程。
图55到57示出了该Vclick信息文件VCI的一个结构实例。该Vclick信息文件VCI由XML构成,首先声明使用XML,接下来声明由XML构成的Vclick信息文件VCI。而且,使用<vclickinfo>标记来描述Vclick信息文件VCI的内容。
<vclickinfo>字段包括零个或一个<vmg>标记和零个或一个或更多个<vts>标记。该<vts>字段代表DVD视频中的VMG空间,并表示将在该<vmg>字段中描述的Vclick流附加到VMG空间中的DVD视频数据上。而且,<vts>字段表示DVD视频中的VTS空间,并通过在<vts>标记中附加num属性而指定VTS空间的编号。例如,<vts num=“n”>代表第n个VTS空间。它指示在<vts num=“n”>字段中描述的Vclick流被附加到形成第n个VTS空间的DVD视频数据上。
<vmg>字段包括零个或一个或更多个<vmgm>标记。该<vmgm>字段表示VMG空间中的VMG菜单域,并通过在<vmgm>标记中附加num属性指定VMG菜单域的编号。例如,,<vmgm num=“n”>表示第n个VMG菜单域。它指示在<vmgm num=“n”>字段中描述的Vclick流被附加到形成第n个VMG菜单域的DVD视频数据上。
而且,<vmgm>字段包括零个或一个或更多个<pgc>标记。该<pgc>标记表示VMG菜单域中的PGC(节目链),并通过在<pgc>标记中附加num属性指定PGC的编号。例如,<pgc num=“n”>表示第n个PGC。它指示在<pgc num=“n”>字段中描述的Vclick流被附加到形成第n个PGC的DVD视频数据上。
接下来,<vts>字段包括零个或一个或更多vts_tt个<vts_tt>标记。该<vts_tt>标记表示VTS空间中的标题域,并通过在<vts_tt>标记中附加num属性指定标题域的编号。例如,<vts_tt num=“n”>表示第n个标题域。它指示在<vts_tt num=“n”>字段中描述的Vclick流被附加到形成第n个标题域的DVD视频数据上。
所述<vtsm>字段表示VTS空间中的VTS菜单域,并通过在<vtsm>标记中附加num属性指定VTS菜单域的编号。例如,<vtsmnum=“n”>表示第n个VTS菜单域。它指示在<vtsm num=“n”>字段中描述的Vclick流被附加到形成第n个VTS菜单域的DVD视频数据上。
而且,<vts_tt>或<vtsm>字段包括零个或一个或更多个<pgc>标记。该<pgc>字段表示标题或VTS菜单域中的PGC(节目链),并通过在<pgc>标记中附加num属性指定PGC的编号。例如,<pgc num=“n”>表示第n个PGC。它指示在<pgc num=“n”>字段中描述的Vclick流被附加到形成第n个PGC的DVD视频数据上。
在如图55到57所示的实例中,将六个Vclick流附加到该DVD视频内容上。例如,使用<vmg>的<vmgm num=“1”>的<pgc num=“1”>中的<object>标记来指定初始的(首先)Vclick流。这表示通过该<object>标记指定的Vclick流被附加到VMG空间中第一VMG菜单域中的所述第一PGC。
该<object>标记使用“数据”属性来表示Vclick流的位置。例如,在本发明的实施例中,通过“file://dvdrom:/dvd_enav/vclick1.vck”来指定Vclick流的位置。应该注意到“file://dvdrom:/”表示在增强型DVD盘中存在该Vclick流,“dvd_enav/”表示在盘的“DVD_ENAV”目录下存在该流,以及“vclick1.vck”表示该Vclick流的文件名。通过包括描述Vclick流以及描述Vclick访问表VCA的<object>标记,从而能够描述对应于该Vclick流的Vclick访问表VCA的信息。在该<object>标记中,使用“数据”属性来指示Vclick访问表VCA的位置。例如,在本发明的实施例中,通过file://dvdrom:/dvd_enav/vclick1.ifo”来指定Vclick访问表VCA的位置。应该注意到“file://dvdrom:/”表示在增强型DVD盘中存在该Vclick访问表VCA,“dvd_enav/”表示在盘的“DVD_ENAV”目录下存在该表,以及“vclick1.ifo”表示该Vclick访问表VCA的文件名。
使用<vmg>的<vmgm num=“n”>中的<object>标记来指定接下来的(第二)Vclick流。这表示通过<object>标记指定的Vclick流被附加到VMG空间中的整个第一VMG菜单域中。该<object>标记使用“数据”属性表示该Vclick流的位置。例如,在本发明的实施例中,通过“http://www.vclick.com/dvd_enav/vclick2.vck”指定该Vclick流的位置。应该注意到“http://www.vclick.com/dvd_enav/”表示在外部服务器(图2中的201等)中存在该Vclick流,以及“vclick2.vck”表示该Vclick流的文件名。
有关Vclick访问表VCA,通过<object>标记中的“数据”属性来相似地表示Vclick访问表VCA的位置。例如,在本发明的实施例中,通过“http://www.vclick.com/dvd_enav/vclick2.ifo”来指定该Vclick访问表VCA的位置。应该注意到“http://www.vclick.com/dvd_enav/”表示在外部服务器(201)中存在该Vclick访问表VCA,以及“/vclick2.ifo”表示该Vclick访问表VCA的文件名。
使用<vts num=“1”>的<vts_tt num=“1”>的<pgc num=“1”>中的<object>标记来指定第三个Vclick流。这表示将通过<object>标记指定的该Vclick流附加到第一VTS空间的第一标题域中的第一PGC上。在该<object>标记中,使用“数据”属性来表示Vclick流的位置。例如,在本发明的实施例中,通过“file://dvdrom:/dvd_enav/vclick3.vck”来指定该Vclick流的位置。应该注意到“file://dvdrom:/dvd_enav/”表示在该盘的“DVD_ENAV”目录下存在该Vclick流,以及“vclick3.vck”表示该Vclick流的文件名。
使用<vts num=“1”>的<vts_tt num=“n”>中的<object>标记来指定第四个Vclick流。这表示将通过<object>标记指定的该Vclick流附加到第一VTS空间的第n标题域上。在该<object>标记中,使用“数据”属性来表示Vclick流的位置。例如,在本发明的实施例中,通过“file://dvdrom:/dvd_enav/vclick4.vck”来指定该Vclick流的位置。应该注意到“file://dvdrom:/dvd_enav/”表示在该盘的“DVD_ENAV”目录下存在该Vclick流,以及“vclick4.vck”表示该Vclick流的文件名。
使用<vts num=“1”>的<vtsm num=“1”>中的<object>标记来指定第五个Vclick流。这表示将通过<object>标记指定的该Vclick流附加到第一VTS空间中的第一VTS菜单域上。在该<object>标记中,使用“数据”属性来表示Vclick流的位置。例如,在本发明的实施例中,通过“file://dvdrom:/dvd_enav/vclick5.vck”来指定该Vclick流的位置。应该注意到“file://dvdrom:/dvd_enav/”表示在该盘的“DVD_ENAV”目录下存在该Vclick流,以及“vclick5.vck”表示该Vclick流的文件名。
使用<vts num=“1”>的<vtsm num=“1”>的<pgc num=“1”>中的<object>标记来指定第六个Vclick流。这表示将通过<object>标记指定的该Vclick流附加到第一VTS空间的第一VTS菜单域中的第一PGC上。在该<object>标记中,使用“数据”属性来表示Vclick流的位置。例如,在本发明的实施例中,通过“file://dvdrom:/dvd_enav/vclick6.vck”来指定该Vclick流的位置。应该注意到“file://dvdrom:/dvd_enav/”表示在该盘的“DVD_ENAV”目录下存在该Vclick流,以及“vclick6.vck”表示该Vclick流的文件名。
图58示出了在上述Vclick Info VCI描述实例中所描述的Vclick流VCS和DVD视频内容之间的关系。正如从图58所能够看出的是,上述第五Vclick流VCS(Vclick#5)和第六Vclick流VCS(Vclick#6)被附加到第一VTS空间(VTS#1)的第一VTS菜单域(VTS菜单#1)中的第一PGC(PGC#1)。这代表了两个Vclick流VCS(Vclick#5和Vclick#6)被附加到该DVD视频内容。通过例如用户或内容提供商(内容作者)能够切换这些流(Vclick#5和Vclick#6)。
当用户切换这些流时,将用于切换Vclick流VCS的“Vclick切换按钮”提供给附加到在图2中所示设备的遥控器。利用该按钮,用户能够自由地改变两个或更多的Vclick流。尽管没有示出,但是该遥控器除了通常DVD视频播放器的遥控器上的按钮以外还具有该“Vclick切换按钮”,并且当按压该按钮时,播放器将进入Vclick流切换模式。在该模式中,当用户点击“Vclick切换按钮”或按压遥控器(未示出)上的上下或左右指针时,他或她能够顺序地切换Vclick流的指定流编号。可替换地,可以使用一种在该模式中使用遥控器(未示出)的10-键键盘来直接指定Vclick流VCS的流编号的方法。
另一方面,当内容提供商改变Vclick流VCS时,以标记语言来描述Vclick切换命令(描述格式是例如“changeVclick()”),并在内容提供商所指定的定时以标记语言发出该切换命令,从而自由地改变两个或更多的Vclick流VCS。
图59到65示出了该Vclick信息文件VCI的其他描述实例(共七个实例)。在第一个实例(图59)中,在该盘上记录的两个Vclick流(Vclick流#1和#2)以及在服务器(图2中的201等)上记录的一个Vclick流(Vclick流#3)被附加到一个PGC(PGC#1)上。如上所述,通过用户的遥控器操作以及还有内容提供商(例如,使用上述的“changeVclick()”命令)能够自由地切换这些Vclick流#1、#2和#3。
当在上述实例中通过内容提供商来切换Vclick流时,例如,当指令重放设备(图2中的200等)重放Vclick流#3但它没有连接到外部服务器(201)时,或者当它连接到该外部服务器但是不能从该外部服务器下载Vclick流#3时,可以代替Vclick流#3来重放Vclick流#1或#2。<object>标记中的“优先级”属性表示在切换流时的顺序。例如,当用户(使用“Vclick切换按钮”)或者内容提供商(使用Vclick切换命令“changeVclick()”)顺序地切换Vclick流,如上所述,参考该“优先级”属性中的顺序以类似于Vclick流#1→Vclick流#2→Vclick流#3→Vclick流#1→...的顺序来切换该Vclick流。
该内容提供商还能够在其指定的定时使用Vclick切换命令(描述格式是例如“changeVclick(优先级)”),以标记语言发出一个命令而选择任意的Vclick流。例如,当发出“changeVclick(2)”命令时,重放“优先级”属性=“2”的Vclick流#2。
在下一个实例(图60)中,在该盘上记录的两个Vclick流(Vclick流#1和#2)被附加到一个PGC(PGC#2)上。应该注意到<object>标记中的“音频”属性对应于音频流编号。该实例表示当重放DVD视频内容的音频流#1时,同步地重放Vclick流#1(Vclick1.vck),或当重放DVD视频内容的音频流#2时,同步地重放Vclick流#2(Vclick2.vck)。
例如,当视频内容的音频流#1包括日语音频以及音频流#2包括英语音频时,如图68所示(即,在点击Vclick对象之后,描述Vclick对象的日语注释的站点或页面或者作为访问目的地的日语站点或页面),以日语形成Vclick流#1,如图67所示(即,在点击Vclick对象之后,描述Vclick对象的英语注释的站点或页面或者作为访问目的地的英语站点或页面)以英语形成Vclick流#2,从而将DVD视频内容的音频语言调整到Vclick流的语言。实际上,重放设备参照作为该重放设备中的***参数的SPRM(1)(音频流编号)并搜索该Vclick信息文件VCI以查找相应的Vclick流并重放它。
上述描述仅仅是一个实例。例如,当该DVD视频内容包括英语音频时,可以同步地重放日语标记页面(图67左侧和图68右侧的组合等)。相反,当该DVD视频内容包括日语音频时,可以同步地重放英语标记页面。根据在Vclick对象的动作属性(图20)的脚本字段中描述的信息,能够自由地实现这种组合。
在第三个实例(图61)中,在该盘上记录的三个Vclick流(Vclick流#1、#2和#3)被附加到一个PGC(PGC#3)上。应该注意到<object>标记中的“副图像”属性对应于副图像流编号(副图像编号)。该实例表示当重放DVD视频内容的副图像流#1时,同步地重放Vclick流#1(Vclick1.vck),当重放副图像流#2时,同步地重放Vclick流#2(Vclick2.vck),当重放副图像流#3时,同步地重放Vclick流#3(Vclick3.vck)。
例如,当该视频内容的副图像流#1包括日语字幕以及副图像流#3包括英语字幕时,如图70所示(即,在点击Vclick对象之后,描述Vclick对象的日语注释的站点或页面或者作为访问目的地的日语站点或页面),以日语形成Vclick流#1,如图69所示(即,在点击Vclick对象之后,描述Vclick对象的英语注释的站点或页面或者作为访问目的地的英语站点或页面),以英语形成Vclick流#3,从而将该DVD视频内容的字幕语言调整到该Vclick流的语言。实际上,该重放设备参照作为该重放设备中的***参数的SPRM(2)(副图像流编号)并搜索该Vclick信息文件VCI以查找相应的Vclick流并重放它。应该注意到上述描述仅仅是一个实例。例如,当该DVD视频内容包括英语字幕(或日语字幕)时,根据用户的请求可以同步地重放带有日语字幕(或英语字幕)的标记页面。
在第四个实例(图62)中,在该盘上记录的两个Vclick流(Vclick流#1和#2)被附加到一个PGC(PGC#4)。应该注意到<标记>对象中的“视角”属性对应于视角编号。该实例表示当重放该视频内容的视角#1时,同步地重放Vclick流#1(Vclick1.vck)(图71),当重放视角#3时,同步地重放Vclick流#2(Vclick2.vck)(图72),以及重放视角#2时,不再重放任何Vclick流。通常,当视角不同时,Vclick对象所附加到的人的位置等也是不同的。所以,必须为各个视角形成Vclick流(以下将会描述的图83对应于这种情况的实例)。可替换地,如在上述图5中所示,在一个Vclick流506上可以多路复用各个Vclick对象数据。实际上,该重放设备(对应于图2中的客户机200)参照作为该重放设备中的***参数的SPRM(3)(视角编号)并搜索该Vclick信息文件VCI以查找相应的Vclick流并重放它。
在第五个实例(图63)中,在该盘上记录的三个Vclick流(Vclick流#1、#2和#3)被附加到一个PGC(PGC#5)上。应该注意到<object>标记中的“宽高比”属性对应于一个(默认的)显示宽高比,以及<object>标记中的“显示”属性对应于一个(当前的)显示模式。
该实例表示DVD视频内容本身具有“16∶9”的宽高比,并且允许该内容“宽屏”输出到“16∶9”宽高比的TV监视器,以及“上下加框(lb)”或“平移扫描(ps)”输出到“4∶3”宽高比的TV监视器。通过对比,当(默认的)显示宽高比是“16∶9”以及(当前的)显示模式是“宽屏”时,同步地重放Vclick流#1(图73),当(默认的)显示宽高比是“4∶3”以及(当前的)显示模式是“lb”时,同步地重放Vclick流#2(图74),以及当(默认的)显示宽高比是“4∶3”以及“当前的”显示模式是“ps”时,同步地重放Vclick流#3(图75)。
例如,当以“16∶9”宽高比显示该视频内容时,恰好在人旁边显示一个作为Vclick对象的气球,在以“4∶3”宽高比的“上下加框”显示的情况下,该气球能够显示在该屏幕的上或下部分(图74中的上或***影部分)上。当以“4∶3”宽高比在“平移扫描”中显示该气球时,不显示该屏幕的左右两端。但是,在例如图75中所示,能够将气球和对象位置移到可显示的位置。
而且,根据屏幕配置,可以减少气球尺寸以防止气球文本显示区域伸出该屏幕。或者可以增加该气球文本显示区域以获得气球文本显示区域尺寸和对象尺寸之间的适当显示平衡,或者通过减少或增加气球文本显示区域中的文本尺寸,可以优化该气球区域的文本显示平衡。当减少气球中的文本尺寸时,设计文本颜色以设置文本和其周围部分之间的高对比度,从而文本相对于该文本周围部分明显突出(白背景上的红色文本或黑背景上的黄色文本),和/或将字体改变成粗体,从而防止了文本的可见度降低。
通过这种方式,能够对应于DVD视频内容的显示状态来显示Vclick对象。实际上,该重放设备参照作为该重放设备***参数的“SPRM(41)”中的“默认显示宽高比”和“当前显示模式”,并搜索该Vclick信息文件VCI以查找相应的Vclick流并重放它。
在第六个实例(图64)中,在该盘上记录的一个Vclick流(Vclick流#1)被附加到一个PGC(PGC#6)。正如在上述实例中,<obiect>标记中的“宽高比”属性对应于一个(默认的)显示宽高比,以及<object>标记中的“显示”属性对应于一个(当前)显示模式。在该实例中,所述DVD视频内容本身具有“4∶3”的宽高比,以及当以“正常”模式输出该内容时,该Vclick流被应用于宽高比是“4∶3”的TV监视器。
最后,如在实例(图65)中所示,能够组合使用上述功能。在该盘上记录的四个Vclick流(Vclick流#1、#2、#3和#4)被附加到一个PGC(PGC#7)上。在该实例中,当重放该DVD视频内容的音频流#1、副图像流#1以及视角#1时,同步地重放Vclick流#1(Vclick1.vck);当重放音频流#1、副图像流#2以及视角#1时,同步地重放Vclick流#2(Vclick2.vck);当重放视角#2时,同步地重放Vclick流#3(Vclick3.vck);当重放音频流#2和副图像流#2时,同步地重放Vclick流#4(Vclick4.vck)。
图66示出了DVD视频内容的PGC数据和要附加到与七个实例(图59到65)相关的其属性上的Vclick流之间的关系。在图66的实例中,将Vclick流VCS大致分配给各个PGC数据,并且根据各个PGC数据的属性等对该分配方法进行分段。
更具体而言,流Vclick#2到Vclick#3分配给整个PGC#1(对应于图59)。该实例能够被如下构造。即,流Vclick#1例如是英语页面,流Vclick#2例如是日语页面,以及流Vclick#3例如是中文页面,因此能够正确地切换和选择这些流(根据视频内容的PGC重放周期选择元数据流的配置)。
在图66的PGC#2中,将流Vclick#1分配给它的音频#1,流Vclick#2分配给它的音频#2(对应于图60)。在PGC#3中,流Vclick#1分配给它的副图像#1(诸如字幕等的副图像),流Vclick#2分配给它的副图像#2,以及流Vclick#3分配给它的副图像#3(对应于图61)。在PGC#4中,流Vclick#1分配给它的视角#1,不给视角#2分配任何流Vclick,以及流Vclick#2分配给它的视角#3(对应于图62)。在PGC#5中,在显示宽高比16∶9的宽屏情况下,分配流Vclick#1,在显示宽高比4∶3的“平移扫描”情况下,分配流Vclick#2,以及在显示宽高比4∶3的“上下加框”情况下,分配流Vclick#3(对应于图63)。在PGC#6中,当显示宽高比4∶3作为正常的显示宽高比时分配流Vclick#4(对应于图64)。
在图66的PGC#7中,流Vclick#1(例如,英语页面)分配给链接到视角#1的音频#1(例如,英语音频)的副图像#1(例如,英语字幕),流Vclick#2(例如,日语页面)分配给链接到视角#1的音频#1(例如,英语音频)的副图像#2(例如,日语字幕)。而且,不给链接到视角#1的音频#2(例如,日语音频)的副图像#1(英语字幕)分配任何Vclick流,以及给链接到视角#1的音频#2(例如,日语音频)的副图像#2(日语字幕)分配流Vclick#4(例如,另一个日语页面)。而且,流Vclick#3(例如,中文页面)分配给链接到视角#2的音频#1(英语音频)的副图像#1(英语字幕)和副图像#2(日语字幕),以及流Vclick#3(例如,中文页面)分配给链接到视角#2的音频#2(日语音频)的副图像#1(英语字幕)和副图像#2(日语字幕)。在这些流中,除了流Vclick#3(中文页面)以外,流Vclick#4(另一个日语页面)还分配给链接到视角#2的音频#2(日语音频)的副图像#2(日语字幕)。对于链接到视角#2的音频#2(日语音频)的副图像#2(日语字幕)来说,能够对流Vclick#3(中文页面)或流Vclick#4(另一个日语页面)进行切换和选择。
当与Vclick流将要同步重放的对象是DVD视频内容时,对于DVD视频的作为最大单元的各个标题(VTS)能够切换Vclick流,并且对于作为较小单元的标题的各个部分(段)能够进行切换。而且,对于作为仍较小单元的各个节目链(PGC),以及作为再一个较小单元的各个节目(PG),或者是对于作为最小单元的各个单元来说能够切换Vclick流。
当根据本发明的实施例将Vclick流应用于记录/重放***诸如DVD-VR记录机、DVD-SR记录机、HD-DVD记录机等时,对于各个用户定义的PGC数据(播放列表)或在节目中本地标记的、形成PGC数据的各个输入点来说可以切换Vclick流。
根据本发明实施例的该重放设备(增强型DVD播放器)能够在重放该DVD视频内容之前,通过提前载入Vclick信息文件VCI或根据需要参照该文件,而顺序地改变根据DVD视频内容的重放状态所附加的Vclick流文件。通过这种方式,能够保证在形成Vclick流时高度的自由,并且能够减少在创作时的负担。
通过增加单一的Vclick内容的文件数量(流的数量),并减少每个文件尺寸,则能够减少该重放设备用于存储Vclick流VCS所需的区域(图2设备中的缓冲器209)。
尽管该文件尺寸增加,通过减少文件数量(即,形成一个流以包括多个Vclick数据),当DVD视频内容的重放状态已经改变时(由于被缓冲的Vclick数据的信息尺寸较大),能够平滑地切换Vclick数据。
(数据结构和访问表的概述)
Vclick流VCS包括与在运动图像数据记录介质231上记录的运动图像中所出现对象(例如,人、物体等)的区域相关联的数据,客户机200中的对象的显示方法,以及当用户指定它们时这些对象所采用动作的数据。以下将说明Vclick数据结构及其单元的概述。
首先将会说明作为与运动图像中所出现对象(例如,人、物体等)的区域相关联数据的对象区域数据。
图3是用于说明对象区域数据的结构的视图。附图标记300表示由一个对象的区域所形成的轨迹,并在三维(3D)坐标系X(视频图像的水平坐标值)、Y(视频图像的垂直坐标值)和Z(视频图像的时间)上进行表示。将一个对象区域转换成用于每个预定时间范围(例如,在0.5秒到1.0秒之间,在2秒到5秒之间等)的对象区域数据。在图3中,一个对象区域300被转换成五个对象区域数据301到305,这些数据存储在独立的Vclick访问单元(AU:以下将要描述)中。同时能够使用例如MPEG-4形状编码、MPEG-7时空***等作为一种转换方法。由于MPEG-4形状编码和MPEG-7时空***(locator)是用于通过探索对象区域之间的暂时相关性以减少数据尺寸的方案,因此它们遭受的问题是:不能中途解码数据,并且如果省略了给定时间的数据,那么将不能解码在相邻时间的数据。如图3所示,由于通过将在运动图像中连续长时间周期出现的对象区域在时间方向进行分割以转换成数据,从而允许随机访问,并且能够减少省略部分数据所带来的影响。每个Vclick_AU仅在运动图像中的具体时间间隔内有效。Vclick_AU有效的时间间隔被称之为Vclick_AU的生存期。
图4示出了在本发明实施例使用的Vclick流VCS中能够独立访问的一个单元(Vclick_AU)的结构。附图标记400表示对象区域数据。正如已经使用图3所进行的说明,将在给定时间间隔内的一个对象区域的轨迹转换成数据。描述对象区域的该时间间隔被称之为该Vclick_AU的有效时间。通常,Vclick_AU的有效时间等于该Vclick_AU的生存期。但是,Vclick_AU的有效时间能够设置为该Vclick_AU的生存期的一部分。
附图标记401表示Vclick_AU的头部。头部401包括用于识别该Vclick_AU的ID,用于规定该AU的数据尺寸的数据。附图标记402表示用于指示该Vclick_AU生存期开始的时间标记。由于Vclick_AU的有效时间和生存期通常彼此相等,因此该时间标记还指示对应于对象区域数据400中所描述的对象区域的运动图像的时间。如图3所示,由于该对象区域覆盖了一定的时间范围,因此时间标记402通常描述该对象区域头部的时间。当然,该时间标记可以描述在该对象区域数据中所描述对象区域结束的时间间隔或时间。附图标记403表示对象属性信息,其例如包括有对象名、在指定对象时的动作描述、该对象的显示属性等。以下将详细描述该Vclick_AU中的这些数据。该服务器(图2中的201等)优选地以时间标记顺序记录Vclick_AU以方便传输。
图5是用于说明通过以时间标记顺序来安排多个AU而生成Vclick流VCS的方法的视图。在图5中,假设有两个摄像角度,即摄像角度1和2,以及当在客户机切换该摄像角度时,则切换将要显示的运动图像。而且,假设有两种可选语言模式:日语和英语,则对应于这些语言而准备不同的Vclick数据。
参考图5,用于摄像角度1和日语的Vclick_AU是500、501和502,用于摄像角度2和日语的Vclick_AU是503。而且,用于英语的Vclick_AU是504和505。AU500到505的每一个是对应于运动图像中一个对象的数据。即,正如以上已经使用图3和4所说明的,与一个对象相关联的元数据由多个Vclick_AU组成(在图5中,一个矩形代表一个AU)。图5的横坐标对应于运动图像中的时间,以及AU500到505对应于所述对象出现的时间而绘制。
可以任意地确定各个Vclick_AU的暂时分割。但是,当Vclick_AU的分割与所有对象对准时,如图5所示,数据管理将变得简单。附图标记506表示由这些Vclick_AU(500到505)形成的Vclick流VCS。该Vclick流VCS通过以时间标记顺序在头部507之后安排Vclick_AU而形成。
由于更有可能在观看过程中通过该用户来切换所选的摄像角度,因此优选地通过以这种方式多路复用不同摄像角度的Vclick_AU来准备该Vclick流VCS。这是因为在客户机200一侧允许快速的显示切换。例如,当Vclick数据存储在服务器201中时,发送包括多个摄像角度的Vclick_AU的Vclick流VCS,而不触动客户机200。通过这种方式,由于对应于当前观看摄像角度的Vclick_AU总是到达该客户机,因此能够同时地切换摄像角度。当然,可以将客户机200的设置信息发送给服务器201,并且可以只从Vclick流VCS选择发送所需要的Vclick_AU。在这种情况下,由于该客户机必须与服务器(201)进行通信,因此处理延迟轻微(尽管如果在通信中使用诸如光纤等的高速装置,则能够解决该处理延迟问题)。
另一方面,由于不是如此频繁地改变属性诸如DVD视频的运动图像标题、PGC、运动图像的宽高比、观看区域等,因此优选地将其准备为独立的Vclick流VCS,以减轻客户机200的处理并减少网络的负荷。参考Vclick信息文件VCI能够确定从多个Vclick流VCS中所选的Vclick流VCS,正如以上已经描述的。
以下将描述另一种Vclick_AU选择方法。以下将分析一种情况,其中客户机200从服务器201下载Vclick流(VCS)506,并仅仅使用在客户机200一侧所需的访问单元(AU)。在这种情况下,可以给各个AU分配用于识别所需Vclick_AU的ID。这种ID被称之为过滤ID。
在例如Vclick信息文件VCI中如下描述所需访问单元(AU)的条件:
<pgc num=“7”>
//通过音频/副图像流和视角定义Vclick流VCS
<对象数据=“file://dvdrom:/dvd_enav/vclick1.vck”音频=“1”副图像=“1”视角=“1”/>
<对象数据=“file://dvdrom:/dvd_enav/vclick1.vck”音频=“3”副图像=“2”视角=“1”/>
</pgc>
在这种情况下,为一个Vclick流VCS描述两个不同的过滤条件。这表示能够根据在客户机的***参数设置,从单个Vclick流VCS选择具有不同属性的两个不同的Vclick_AU。
应该注意到可以在运动图像数据记录介质(例如,图53中的增强型DVD视频盘)上提供Vclick信息文件VCI或者经由所述网络从服务器201将其下载到客户机200中。通常从与诸如运动图像数据记录介质(增强型DVD视频盘)、服务器(201)等的Vclick流VCS相同的媒介提供该Vclick信息文件VCI。
如果访问单元(AU)没有过滤ID,元数据管理器210则校验AU的时间标记、属性等以选择匹配给定条件的AU,从而识别所需的Vclick_AU。
根据以上描述将说明使用该过滤ID的一个实例。在上述条件中,“音频”代表由4位数字值表示的音频流编号。同理,给副图像编号subpic和视角编号angle分配4位数字值。通过这种方式,能够同12位数字值来表示三个参数的状态。即,能够通过0x321(十六进制)表示三个参数音频=“3”、副图像=“2”以及视角=“1”。该值用作一个过滤ID。即,每个Vclick_AU在Vclick_AU头部中具有12位过滤ID(参见图14中的filtering_id)。这种方法通过给用于识别每个AU的独立参数值分配数字值,以将过滤ID定义为数字值的组合。应该注意到在除了Vclick_AU头部之外的字段中也可以描述该过滤ID。
图44示出了客户机200的过滤操作。元数据管理器210从接口处理器207接收运动图像时钟值T和过滤IDx(步骤S4401)。元数据管理器210从缓冲器209中存储的Vclick流VCS中找到其生存期包括该运动图像时钟值T的所有Vclick_AU(步骤S4402)。为了找到这些AU,使用图45和46中所示的利用Vclick访问表VCA的处理。元数据管理器210校验Vclick_AU头部,并仅仅向媒体解码器216发送具有与x相同的过滤ID的AU(步骤S4403到S4405)。
利用上述处理从缓冲器209发送到元数据解码器217的Vclick_AU具有以下特性:
i)所有这些AU的生存期相同,该生存期包括运动图像时钟T。
ii)所有这些AU的过滤IDx相同。
除了这些AU之外,不存在识别上述条件i)和ii)的对象元数据流中的其他AU。应该注意到通过给定的过滤ID识别和选择一个特定的AU还将选择包括所选AU的Vclick流。另一方面,还能够参照Vclick Info VCI文件来选择将要重放的Vclick流(参见以下将要描述的图82中的步骤S8207)。
在上述描述中,通过分配给参数的值的组合来定义该过滤ID。可替换地,可以直接在Vclick信息文件VCI中指定该过滤ID。例如,如下在IFO文件中定义该过滤ID:
<pgc num=“5”>
<param视角=“1”>
    <对象数据=“file://dvdrom:/dvd_enav/vclick1.vck”过滤_id=“3”/>
</param>
<param视角=“3”>
    <对象数据=“file://dvdrom:/dvd_enav/vclick2.vck”过滤_id=“4”/>
</param>
<param宽高比=“16∶9”显示=“宽屏”>
    <对象数据=“file://dvdrom:/dvd_enav/vclick1.vck”过滤_id=“2”/>
</param>
</pgc>
上述描述表示基于指定的参数来确定Vclick流VCS和过滤ID值。以和图44相同的处理来完成通过该过滤ID选择Vclick_AU以及从缓冲器209向媒体解码器217传送AU。根据Vclick信息文件VCI的指定,当播放器的视角编号是“3”时,只从缓冲器209的文件“Vclick2.vck”中所存储的Vclick流VCS向媒体解码器217发送过滤ID值等于“4”的Vclick_AU。
当Vclick数据存储在服务器201中,以及将要从其开始重放运动图像时,服务器201只需要向客户机从所述开始依次分配Vclick流VCS。但是,如果已经进行了随机访问,那么必须从该Vclick流VCS的中间起分配数据。同时,为了迅速地访问Vclick流VCS中的想要位置,则需要Vclick访问表VCA。
图6示出了该Vclick访问表VCA的一个实例。该表提前准备,并记录在服务器201中。该表还能够存储在和Vclick信息文件VCI相同的文件中。附图标记600表示时间标记序列,其列出了运动图像的时间标记。附图标记601表示访问点序列,其对应于运动图像的时间标记列出了与Vclick流VCS起始位置的偏移值。如果对应于运动图像的随机访问指定的时间标记的值未存储在Vclick访问表VCA中,那么将参照具有接近于该时间标记的值的时间标记访问点,并且当参照接近该访问点的Vclick流VCS中的时间标记时搜索发送开始位置。可替换地,搜索该Vclick访问表VCA以查找在运动图像的随机访问指定的时间标记之前时间的时间标记,并从对应于该时间标记的访问点发送Vclick流VCS。
服务器201存储该Vclick访问表VCA和并使用它来方便地搜索响应于来自客户机的随机访问而将要发送的Vclick数据。但是,服务器201中存储的该Vclick访问表VCA可以下载到客户机200中,该客户机可以搜索该Vclick流VCS。特别是,当从服务器201下载Vclick流VCS到客户机200中的同时,还从服务器201下载Vclick访问表VCA到客户机200中。
另一方面,可以提供记录Vclick流VCS的运动图像记录介质诸如DVD等。在这种情况下,对于客户机200来说可以有效地使用该Vclick访问表VCA以搜索响应于重放内容的随机访问而将要使用的数据。在这种情况下,Vclick访问表VCA记录在运动图像记录介质上以及在Vclick流VCS中,客户机200从运动图像记录介质读取感兴趣的Vclick访问表VCA到其内部主存储器等上并使用它。
在随机重放运动图像等时产生的Vclick流VCS的随机重放由元数据解码器217来处理。在图6所示的Vclick流VCS中,时间标记时间是一种具有在运动图像记录介质上所记录的运动图像的时间标记格式的时间信息。例如,当在记录时通过MPEG-2压缩该运动图像时,时间具有一种MPEG-2 PTS(表示时间标记)格式。而且,当运动图像具有DVD中的标题、节目链等的导航结构时,描述它们的参数(标题编号TTN、视频标题集合编号VTS_TTN、标题节目链编号TT_PGCN、部分标题编号PTTN等)也包括在时间的格式中。
假设为一组时间标记值定义某种自然的总体上排序的关系。例如,有关PTS,能够引入自然排序关系作为时间。有关包括DVD参数的时间标记,能够根据DVD的自然重放顺序而引入该排序关系。每个Vclick流VCS满足以下条件:
i)以时间标记的升序来排列Vclick流VCS中的Vclick_AU。同时,如下确定每个Vclick_AU的生存期:让t等于给定AU的时间标记值。在给定AU满足u大于等于t之后的AU的时间标记值u符合上述条件。让t’等于满足u不等于t的该“u”中的最小值。定义时间t作为开始时间以及t’作为结束时间的时间周期为给定AU的生存期。如果在给定AU之后不存在其时间标记值u满足u大于t的任何AU,那么该给定AU的生存期结束时间匹配该运动图像的结束时间。
ii)每个Vclick_AU的有效时间对应于在包括在该Vclick_AU中的对象区域数据中所描述的对象区域的时间范围。
应该注意到以下与Vclick流VCS的有效时间相关的约束:
Vclick_AU的有效时间包括在该AU的生存期中。
满足上述约束条件i)和ii)的Vclick流VCS具有以下的优良特性:
首先,能够实现高速度随机访问该Vclick流VCS,正如以下将会描述的。其次,能够简化在重放Vclick流VCS时的缓冲处理。缓冲器(图2中的209等)存储用于各个Vclick_AU的Vclick流VCS,并从具有较大时间标记的VCS中删除AU。如果没有上述两个假设,则需要大的缓冲器和复杂的缓冲器管理以在该缓冲器上保存有效的AU。在假设Vclick流VCS满足上述两个条件i)和ii)的前提下将给出以下的描述。
在图6所示的Vclick访问表VCA中,访问点偏移表示Vclick流VCS上的一个位置。例如,该Vclick流VCS是一个文件,并且偏移表示该文件的文件指针值。形成一对的访问点偏移与时间标记时间之间的关系如下:
i)偏移所表示的位置是给定Vclick_AU的起始位置。
ii)该AU的时间标记值等于或小于该时间的值。
iii)紧接在该AU之前的一个AU的时间标记值实际上小于该时间。
在Vclick访问表VCA中,可以以任意的间隔安排“时间”,但不需要以等间隔来安排。但是,在考虑方便搜索处理等的条件下则可以等间隔安排它们。
图45和46示出了使用Vclick访问表VCA的实际搜索处理。当从服务器201提前下载Vclick流VCS到缓冲器209中时,还从服务器201下载Vclick访问表VCA并将它存储在缓冲器209中。当Vclick流VCS和Vclick访问表VCA都存储在运动图像数据记录介质231中时,从盘设备230载入它们并存储在缓冲器209中。
当从接口处理器207(步骤S4501)接收运动图像时钟T时,元数据管理器210搜索存储在缓冲器209中的Vclick访问表VCA的时间以查找满足t’小于等于T的最大时间t’(步骤S4502)。使用例如二进制搜索作为搜索算法能够执行高速搜索。在变量h中代入利用在Vclick访问表VCA中获得的时间t’而形成一对的偏移值(步骤S4503)。元数据管理器210从存储在缓冲器209中的Vclick流VCS的起始位置查找位于第h字节位置的AUx(步骤S4504),并在变量t中代入x的时间标记值(步骤S4505)。根据上述条件,由于t等于或小于t’,因此t小于等于T。
元数据管理器210从x开始依次校验Vclick流VCS中的Vclick_AU并设置下一个AU为新的x(步骤S4506)。在变量h’中代入x的偏移值(步骤S4507),并且在变量u代替x的时间标记值(步骤S4508)。如果u大于T(在步骤S4509中为“是”),元数据管理210则指令缓冲器209向媒体解码器216发送从Vclick流VCS的偏移h到h’的数据(步骤S4510和S4511)。另一方面,如果u小于等于T(在步骤S4509中为“否”)以及u大于T(在步骤S4601中为“是”),将t的值更新为u(即,t=u)(步骤S4602)。然后,将变量h的值更新为h’(即,h=h’)(步骤S4603)。
如果在Vclick流VCS上存在下一个AU(即,如果x不是最后的AU)(在步骤S4604中为“是”),则将该下一个AU设置为新的x以重复上述处理(流程返回到图45中的步骤S4506)。如果x是感兴趣的Vclick流VCS的最后一个Vclick_AU(在步骤S4604中为“否”),元数据管理器210则指令缓冲器209向媒体解码器216发送从Vclick流VCS的偏移h到其结束的数据(步骤S4605和S4606)。
利用上述处理,从缓冲器209发送到媒体解码器216的Vclick_AU明显具有以下特性:
i)所有Vclick_AU的生存期相同。另外,运动图像时钟T包括在该生存期中。
ii)除了这些AU以外不存在满足上述条件i)的Vclick流VCS中的Vclick_AU。
Vclick流VCS中的每个Vclick_AU的生存期包括该AU的有效时间,但是它们并不总是匹配。实际上,在图47中所示的情况也是有可能的。分别描述对象1和2的AU#1和AU#2的生存期最大为AU#3的生存期的开始时间(t476)。但是,各个AU的有效时间不匹配其生存期(在图47的实例中,t476≠t474≠t472)。
将分析其中以#1、#2和#3顺序来安排AU的Vclick流VCS。假设在图47的实例中指定该运动图像时钟T。根据图45和46所示的处理,从该Vclick流VCS发送AU#1和AU#2给媒体解码器216。由于媒体解码器216能够识别所接收Vclick_AU的有效时间,因此通过该处理能够实现随机访问。但是,实际上,由于从缓冲器209传送数据以及媒体解码器216中的解码处理在不存在任何对象的时间T(位于该生存期内但是在从t474到t476的作为非有效时间的时间内)内发生,因此降低了在客户机200硬件的计算效率。该问题能够通过引入称为NULL_AU的特别Vclick_AU而得以解决。
图48示出了该NULL_AU的结构。该NULL_AU不像通常的Vclick_AU,其不具有任何的对象区域数据。所以,NULL_AU只具有生存期,但不具有任何有效时间。NULL_AU的头部包括一个指示感兴趣的AU是NULL_AU的标记。该NULL_AU能够被***到其中在Vclick流VCS中不出现对象(图49实例中的对象2)的任何有效时间的时间范围(在图49的实例中从t494到t496)内。
当元数据管理器210基于头部(图48中的“Vclick_AU头部”)中包括的该标志(未示出)检测该感兴趣的AU是“NULL_AU”时,它不向媒体解码器216输出该NULL_AU。当引入这种NULL_AU时,图47例如像图49一样进行改变,图49中的AU#4是一个NULL_AU。在这种情况下,在Vclick流VCS中,以AU#1’、AU#2’、AU#4和AU#3的顺序来安排Vclick_AU。图50、51和52示出了对应于与包括NULL_AU的Vclick流VCS相关的图45和46的元数据管理器210的操作。
即,元数据管理器210从接口管理器207接收运动图像时钟T(步骤S5001),获得满足t’小于等于T的最大值t’(步骤S5002),并在变量h中代入利用t’形成一对的所述偏移值(步骤S5003)。位于对象元数据流中的偏移值h位置的访问单元AU被设置成x(步骤S5004),并在变量t中存储x的时间标记值(步骤S5005)。如果x是NULL_AU(在步骤S5006中是“是”),将x的下一个AU设置为新的x(步骤S5007),并且该流程返回到步骤S5006。如果x不是NULL_AU(在步骤S5006中是“否”),则在变量h’中存储x的偏移值(步骤S5101)。接下来的处理(图51中的步骤S5102到S5105以及图52中的步骤S5201到S5206)与图45中的步骤S4508到S4511以及图46中的步骤S4601到S4606相同。
以下将说明该服务器和客户机之间的协议。作为在从服务器201向客户机200发送Vclick数据时所使用的协议,例如已知了RTP(实时传输协议)。由于RTP与UDP/IP具有优良的结合并且附加了实时的重要特性,因此有可能省略数据包。如果使用RTP,当发送Vclick流VCS时,则将它分割成传输数据包(RTP数据包)。以下将说明一种在传输数据包中存储Vclick流VCS的方法的实例。
图7和8是分别用于说明对应于小数据尺寸和大数据尺寸的Vclick_AU而形成传输数据包的方法的视图。在图7中,附图标记700表示Vclick流VCS。传输数据包包括数据包报头701和有效载荷。数据包报头701包括所述系列数量的数据包、传输时间、源规定信息等。有效载荷是用于存储传输数据的数据区域。依次从Vclick流700提取的Vclick_AU(702)存储在该有效载荷中。当下一个Vclick_AU不能存储在该有效载荷中时,在剩余的区域中***填充数据703。该填充数据是调整数据尺寸的空数据,并且是“0”值。当能够将该有效载荷尺寸设置等于一个或多个Vclick_AU的尺寸时,则不需要任何填充数据。
另一方面,图8示出了当不能在有效载荷中存储一个Vclick_AU时用于形成传输数据包的方法。只有能够存储在Vclick_AU(800)的第一传输数据包的有效载荷中的部分数据(802)才存储在该有效载荷中。剩余数据(804)则存储在第二传输数据包的有效载荷中。如果有效载荷的存储尺寸仍然有自由空间,则利用填充数据805填充该空间。同理可应用于其中一个Vclick_AU被分割成三个或更多数据包的情况。
作为除了RTP以外的其他协议,可以使用HTTP(超文本传输协议)或HTTPS。由于HTTP与TCP/IP具有优良的结合并重新发送省略的数据,因此允许相当可靠的数据通信。但是,当网络吞吐量低时,可能出现数据延迟。由于HTTP不受任何数据省略的约束,因此不需要一种特别地考虑在存储时将Vclick流VCS分割成数据包的方法。
(重放过程(网络))
以下将描述当在服务器201上出现Vclick流VCS时的重放处理的过程。
图37的流程图示出了在用户输入重放开始指令之后直到重放开始的重放开始处理过程。在步骤S3700中,用户输入重放开始指令。接口处理器207接收该输入,其中该处理器向运动图像重放控制器205输出运动图像重放准备命令。在分支处理步骤S3701校验是否已经开始了与服务器201的会话。如果该会话还未开始,流程进行到步骤S3702;否则,流程进行到步骤S3703。在步骤S3702,执行用于在该服务器和客户机之间开始会话的处理。
图9示出了当使用RTP作为服务器和客户机之间的通信协议时,从会话开始直到会话结束的通信过程的一个实例。在开始会话的时候,在服务器和客户机之间必须进行协商。在使用RTP的情况下,通常使用RTSP(实时流式传输协议)。由于RTSP通信需要高度可靠性,因此RTSP和RTP优选地分别使用TCP/IP和UDP/IP实现通信。为了开始会话,客户机(图2实例中的200)请求服务器(图2实例中的201)提供与将要流式传输的Vclick数据相关联的信息(RTSPDESCRIBE方法)。
假设提前通知客户机(200)有关服务器(201)的地址,其中该服务器分配对应于通过例如在运动图像数据记录介质上记录地址信息的方法而将要重放的运动图像的数据。服务器201向客户机200发送Vclick数据的信息以作为该请求的响应。更具体而言,该客户机接收信息诸如会话的协议版本、会话所有者、会话名、连接信息、会话时间信息、元数据名、元数据属性等。例如使用SDP(会话描述协议)作为一种描述这些信息片的方法。客户机200然后请求服务器2001开始会话(RTSP SETUP方法)。服务器201准备流,并向客户机200返回一个会话ID。当使用RTP时,到目前为止所描述的处理对应于步骤S3702中的处理。
当代替RTP而使用HTTP时,正如例如在图10中所示进行通信过程。首先,开始作为HTTP低层的TCP会话(3方握手)。正如在以上过程中,假设提前通知客户机(200)有关服务器(201)的地址,其中该服务器分配对应于将要重放的运动图像的数据。之后,可以使用例如SDP执行向服务器2001发送客户机200状态信息(例如,生产国家、语言、各种参数的选择状态等)的处理。到目前为止所描述的处理对应于在HTTP情况下在步骤S3702中所描述的处理。
在步骤S3703中,当在服务器201和客户机200之间开始会话时,执行请求服务器(201)发送Vclick数据的处理。该处理通过从接口处理器207向网络管理器208发送指令,然后从网络管理器208向服务器(201)发送请求而实现。在使用RTP的情况下,网络管理器208向该服务器发送RTSP PLAY方法以发出一个Vclick数据发送请求。该服务器参照到目前为止从客户机接收的信息和服务器中的VclickInfo VCI指定将要发送的Vclick流VCS。而且,该服务器使用包括在Vclick数据发送请求中的重放开始位置的时间标记信息和服务器中存储的Vclick访问表VCA来指定Vclick流VCS中的发送开始位置。然后,该服务器打包该Vclick流VCS,然后使用RTP将数据包发送给该客户机。
另一方面,在使用HTTP的情况下,网络管理器208发送一个HTTP GET方法以发出Vclick数据发送请求。该请求可以包括运动图像的重放开始位置的时间标记信息。该服务器通过和RTP中一样的方法指定将要发送的Vclick流VCS和该流中的发送开始位置,并使用HTTP将该Vclick流VCS发送给所述客户机。
在步骤S3704中,执行在缓冲器209上缓冲从该服务器上所发送的Vclick流VCS的处理。在重放Vclick流VCS的过程中,进行该处理以防止当来自服务器的Vclick流发送太迟时缓冲器209被清空。如果元数据管理器210通知接口处理器该存储器已经存储了足够的Vclick流VCS,则该流程进行到步骤S3705。在步骤S3705中,该接口处理器向控制器205发出一个运动图像重放开始命令以及还向元数据管理器210发出一个命令以开始向元数据解码器217输出该Vclick流VCS。
图38的流程图示出了不同于图37中所述的重放开始处理的过程。在图37的流程图所描述的处理中,在步骤S3704中用于缓冲给定尺寸Vclick流VCS的处理通常花费时间,这取决于网络状态、以及该服务器和客户机的处理性能。更具体而言,在用户发出重放指令之后直到重放真正地开始为止,通常需要长的时间。在图38所示的处理过程中,如果该用户在步骤S3800发出一个重放开始指令,则在步骤S3801立即开始重放运动图像。即,当从该用户接收重放开始指令时,接口处理器207立即向控制器205发出一个重放开始命令。通过这种方式,该用户在他或她发出一个重放指令指令之后直到他或她能够观看运动图像为止不需要等待。处理步骤S3802到S3805与图37中的步骤S3701到S3704相同。
在步骤S3806中,执行用于解码与其重放正在进行中的运动图像同步的Vclick流VCS的处理。更具体而言,当从元数据管理器210接收到一个指示给定尺寸的Vclick流VCS存储在缓冲器209中的消息时,接口处理器207向元数据管理器210输出一个向元数据解码器217输出Vclick流VCS的开始命令。元数据管理器210从该接口处理器接收其重放正在进行中的运动图像的时间标记,并对应于来自缓冲器中存储数据的该时间标记规定一个Vclick_AU,以及将它输出给元数据解码器217。
在图38所示的处理过程中,该用户在他或她发出一个重放指令之后直到他或她能够观看运动图像为止从不等待。但是,由于在开始重放之后并不立即解码该Vclick流VCS,因此不能够进行与对象相关的任何显示,或者如果用户点击一个对象,不能采取任何动作。
由于开始运动图像重放,因此在开始解码该Vclick流VCS之后可解决上述问题。如果由于用户不愉快而缩短了开始重放之后直到解码预定尺寸的VCS(Vclick_AU)的周期,实际上也能够解决上述问题。因此,客户机200和服务器201可以经由高速线路总是保持连接,以及在使用Vclick的DVD盘被载入到盘设备230时(或在从载入的盘中选择要重放的标题之后),可以提前执行作为后台处理的步骤S3802和S3803中的处理。在这种情况下,如果在步骤S3800输入一个用户指令,则立即开始步骤S3801中的DVD重放。同时,跳过步骤S3802和S3803中的处理,并且立即开始经由高速线路下载Vclick流VCS到该缓冲器上(步骤S3804和S3805)。如果下载的尺寸已经达到了预定尺寸(在图87的实例中是12k字节),则开始解码该Vclick流VCS(该流中的第一Vclick_AU)(步骤S3806)。
在重放该运动图像的过程中,客户机200的网络管理器208接收依次从服务器201发送的该Vclick流VCS,并将它们存储在缓冲器209中。在适当的定时将所存储的对象元数据发送到元数据解码器217。即,元数据管理器210参照从接口处理器207发送的用以指定对应于缓冲器209中所存储数据时间标记的Vclick_AU、且其重放正在进行中的运动图像的时间标记,并向元数据解码器217发送用于各个AU的指定的对象元数据。元数据解码器217解码该接收数据。应该注意到对于不同于客户机200当前所选的摄像角度来说,解码器217可以跳过解码数据。当已知对应于其重放正在进行中的运动图像时间标记的Vclick_AU已经被载入到元数据解码器217中时,可以跳过对象元数据到元数据解码器217的发送处理。
从接口处理器207向元数据解码器217顺序地发送其重放正在进行中的运动图像的时间标记。元数据解码器217与该时间标记同步地解码Vclick_AU,并向AV再现器218发送所需的数据。例如,当Vclick_AU中描述的属性信息指令显示一个对象区域时,该元数据解码器产生该对象区域的一个掩模图像、轮廓等,以及与重放正在进行的运动图像的时间标记同步地将它们发送给AV再现器218。元数据解码器217比较重放正在进行的运动图像的时间标记与Vclick_AU的生存期以确定不需要的旧对象元数据并删除该数据。
图39是用于说明重放停止处理过程的流程图。在步骤S3900中,用户在重放该运动图像的过程中输入重放停止指令。在步骤S3901中,执行用于停止运动图像重放处理的处理。当接口处理器207输出一个停止命令给控制器205时,执行该处理。同时,该接口处理器向元数据管理器210输出一个向元数据解码器217输出的对象元数据的输出停止命令。
在步骤S3902,执行结束与服务器(201)会话的处理。当使用RTP时,将RTSP TEARDOWN方法发送给该服务器,如图9所示。当接收到该TEARDOWN消息时,服务器201停止数据发送以结束该会话,并向客户机200返回一个确认消息。利用这种处理,使得在该会话中使用的会话ID无效。另一方面,当使用HTTP时,向服务器(201)发送HTTP结束方法以结束该会话,如图10所示。
(随机访问过程(网络))
以下将描述当在服务器201上存在Vclick流VCS时的随机访问重放过程。
图40的流程图示出了在用户发出一个随机访问重放开始指令之后直到重放开始为止的处理过程。在步骤S4000中,该用户输入一个随机访问重放开始指令。作为该输入方法,用户从可访问的位置列表诸如段等中进行选择的方法,用户从对应于运动图像时间标记的滑杆指定一个点的方法,以及用户直接输入运动图像时间标记的方法等都是可行的。接口处理器207接收该输入时间标记,其中该处理器向运动图像重放控制器205发出一个运动图像重放准备命令。如果运动图像的重放已经开始,那么控制器205则发出一个其重放正在进行中的运动图像的重放停止指令,然后输出该运动图像重放准备命令。作为分支处理步骤S4001将校验是否已经开始了与服务器201的会话。如果已经开始了该会话(例如,重放运动图像正在进行中),那么在步骤S4002中执行会话结束处理。如果仍未开始该会话,流程则进行到步骤S4003,而无需执行步骤S4002中的处理。在步骤S4003,执行用于在服务器(201)和客户机(200)之间开始所述会话的处理。这种处理与图37的步骤S3702中的处理相同。
在步骤S4004中,当服务器201和客户机200之间开始会话时,执行通过指定重放开始位置的时间标记而请求服务器(201)发送Vclick数据的处理。该处理通过从接口处理器207向网络管理器208发送指令,然后从网络管理器208向服务器(201)发送请求而实现。在使用RTP的情况下,网络管理器208向该服务器发送RTSP PLAY方法以发出一个Vclick数据发送请求。同时,管理器208还通过一种例如使用范围(Range)描述的方法向服务器(201)发送指定重放开始位置的时间标记。服务器201参照到目前为止从客户机(200)接收的信息和服务器201中的Vclick Info VCI规定将要发送的对象元数据流。而且,服务器201使用包括在Vclick数据发送请求中的重放开始位置的时间标记信息和服务器201中存储的Vclick访问表VCA规定Vclick流VCS中的发送开始位置。然后,服务器201打包该Vclick流VCS并使用RTP将数据包发送到客户机200。
另一方面,在使用HTTP的情况下,网络管理器208发送HTTPGET方法以发出一个Vclick数据发送请求。该请求包括运动图像的重放开始位置的时间标记信息。服务器201参照Vclick信息文件VCI规定将要发送的Vclick流VCS,还使用服务器201中的该Vclick访问表VCA通过与RTP中相同的方法规定Vclick流VCS中的发送开始位置。然后,服务器201使用HTTP向该客户机发送Vclick流VCS。
在步骤S4005中,执行在缓冲器209上缓冲从服务器(201)所发送的Vclick流VCS的处理。在重放Vclick流VCS的过程中,执行该处理以防止当从服务器(201)发送Vclick流太迟时缓冲器209被清空。如果元数据管理器210通知该接口处理器有关缓冲器209已经存储了足够的Vclick流VCS(在例如图87的初始化文件中描述为12k字节),流程则进行到步骤S4006。在步骤S4006,接口处理器207向控制器205发出一个运动图像重放开始命令,以及还向元数据管理器210发出一个命令以开始向元数据解码器217输出该Vclick流VCS。
图41的流程图示出了不同于图40中处理的随机访问重放开始处理的过程。在图40的流程图中所描述的处理中,在步骤S4005缓冲给定尺寸的Vclick流VCS的处理通常花费时间,这取决于网络状态,以及服务器/客户机(201/200)的处理性能。更具体而言,在步骤S4006在用户发出一个重放指令之后直到重放实际上开始为止通常需要长的时间(这种长的处理时间通常引起了用户的不愉快)。
通过对比,在图41所示的处理过程中,在步骤S4100如果该用户发出一个重放开始指令,则在步骤S4101立即开始重放运动图像。即,当从该用户接收到重放开始指令时,接口处理器207立即向控制器205发出一个随机访问播放开始命令。通过这种方式,该用户在他或她发出一个重放指令之后直到他或她能够观看运动图像为止不需要等待。处理步骤S4102到S4106与图40的步骤4001到S4005中的处理相同。
在步骤S4107中,与重放正在进行的运动图像同步地执行解码该Vclick流VCS的处理。更具体而言,当从元数据管理器210接收到指示给定尺寸的Vclick流VCS存储在缓冲器209中的消息时,接口处理器207向元数据管理器210输出一个向元数据解码器217输出的Vclick流VCS的输出开始命令。元数据管理器210从接口处理器207接收其重放正在进行的运动图像的时间标记,并规定对应于来自缓冲器209中所存储数据的该时间标记的Vclick_AU,并将它输出给元数据解码器217。
在图41所示的处理过程中,该用户在他或她发出一个重放指令之后直到他或她能够观看运动图像为止从不等待。但是,由于在开始重放之后并不立即解码该Vclick流VCS,因此不能够进行与对象相关的任何显示,或者如果用户点击一个对象,不能采取任何动作。
由于开始运动图像重放,因此在开始解码该Vclick流VCS之后可解决上述问题。如果由于用户不愉快而缩短了开始重放之后直到解码预定尺寸的VCS(Vclick_AU)的周期,实际上也能够解决上述问题。因此,客户机200和服务器201可以经由高速线路总是保持连接,以及在使用Vclick的DVD盘被载入到盘设备230时(或在从载入的盘中选择要重放的标题之后),可以提前执行作为后台处理的步骤S4102到S4104中的处理。在这种情况下,如果在步骤S4100输入一个用户指令,则立即开始步骤S4101中的DVD重放。同时,跳过步骤S4102到S4104中的处理,并且立即开始经由高速线路下载Vclick流VCS到该缓冲器上(步骤S4106)。如果下载的尺寸已经达到了预定尺寸(例如12k字节),则开始解码该Vclick流VCS(该流中的第一Vclick_AU)(步骤S4107)。由于在重放运动图像中的处理和运动图像重放停止处理与通常DVD重放处理中的处理相同,因此将省略对其的描述。
(重放过程(本地))
以下将描述当在运动图像数据记录介质231上存在Vclick流VCS时的重放处理的过程。
图42的流程图示出了在用户输入重放开始指令之后直到重放开始为止的重放开始处理过程。在步骤S4200中,该用户输入一个重放开始指令。接口处理器207接收该输入,其中该处理器向运动图像重放控制器205输出一个运动图像重放准备命令。在步骤S4201中,执行用于规定将要使用的Vclick流VCS的处理。在该处理中,该接口处理器参照运动图像数据记录介质231上的Vclick信息文件VCI并规定一个对应于用户所指定的将要重放的运动图像的Vclick流VCS。
在步骤S4202中,执行在所述缓冲器上存储Vclick流VCS的处理。为了实现该处理,接口处理器207向元数据管理器210发出一个用于确信缓冲器的命令。将要确信的该缓冲器尺寸被确定为足以存储规定Vclick流VCS的尺寸。通常,描述该尺寸的缓冲器初始化文件记录在运动图像数据记录介质231上。如果没有记录任何的缓冲器初始化文件,则应用预定的尺寸。当完成确信该缓冲器时,接口处理器207向控制器205发出一个用于读取规定的Vclick流VCS并将它存储在缓冲器中的命令。
在该Vclick流VCS存储在缓冲器209中之后,在步骤S4203中执行重放开始处理。在该处理中,接口处理器207向运动图像重放控制器205发出一个运动图像重放命令,并同时向元数据管理器210发出一个向元数据解码器217输出的Vclick流VCS的输出开始命令。
在重放该运动图像的过程中,从运动图像数据记录介质231读取的Vclick_AU存储在缓冲器209中。在适当的定时将所存储的Vclick流VCS发送到元数据解码器217。即,元数据管理器210参照其重放正在进行的运动图像的、从接口处理器207发送的用以规定对应于缓冲器209中所存储数据时间标记的Vclick_AU的时间标记,并向元数据解码器217发送规定的Vclick_AU。元数据解码器217解码该接收数据。应该注意到对于不同于该客户机当前所选的摄像角度,解码器217可以跳过解码器数据。当已知对应于其重放正在进行的运动图像时间标记的Vclick_AU已经被载入到元数据解码器217中时,可以跳过向元数据解码器217发送Vclick流VCS的处理。
从所述接口处理器向元数据解码器217顺序地发送其重放正在进行的运动图像的时间标记。元数据解码器217与该时间标记同步地解码Vclick_AU,并向AV再现器218发送所需的数据。例如,当在对象元数据的AU中描述的属性信息指令显示一个对象区域时,该元数据解码器生成对象区域的一个掩模图像、轮廓等,并与重放正在进行的运动图像的时间标记同步地将它们发送给AV再现器218。元数据解码器217比较重放正在进行的运动图像的时间标记与Vclick_AU的生存期以确定不需要的旧对象元数据并删除该数据。
如果在重放该运动图像的过程中该用户输入一个重放停止指令,接口处理器207向控制器205输出该Vclick流VCS的一个运动图像重放停止命令和读取停止命令。利用这些命令,运动图像重放处理结束。
(随机访问过程(本地))
以下将描述当在运动图像数据记录介质231上存在Vclick流VCS时的随机访问重放过程。
图43的流程图示出了在用户发出一个随机访问重放开始指令之后直到重放开始为止的处理过程。在步骤S4300中,用户输入一个随机访问重放开始指令。作为所述输入方法,用户从可访问的位置列表诸如段等中进行选择的方法,用户从对应于运动图像时间标记的滑杆指定一个点的方法,以及用户直接输入运动图像时间标记的方法等都是可行的。接口处理器207接收该输入时间标记,其中该处理器向运动图像重放控制器205发出一个运动图像随机访问重放准备命令。
在步骤S4301中,执行用于规定将要使用的Vclick流VCS的处理。在该处理中,该接口处理器参照运动图像数据记录介质231上的Vclick信息文件VCI,并规定对应于用户指定的将要重放的运动图像的Vclick流VCS。而且,该接口处理器参照运动图像数据记录介质231上或载入到存储器(缓冲器209或另一个工作存储区域)上的Vclick访问表VCA,并规定Vclick流VCS中对应于该运动图像的随机访问指定的访问点。
步骤S4302是校验是否规定的Vclick流VCS当前被载入到缓冲器209上的分支处理。如果规定的Vclick流没有载入到该缓冲器上,在步骤S4303中的处理之后,该流程则进行到步骤S4304。如果规定的Vclick流当前载入到该缓冲器上,该流程则进行到步骤S4304,而跳过步骤S4303中的处理。在步骤S4304,随机访问重放该运动图像和解码该Vclick流VCS开始。在该处理中,接口处理器207向运动图像重放控制器205发出一个运动图像随机访问重放命令,并同时向元数据管理器210输出一个命令,以开始向元数据解码器217输出该Vclick流VCS。之后,与重放该运动图像同步地执行Vclick流VCS的解码处理。由于在重放运动图像过程中的处理和运动图像重放停止处理与通常的重放处理相同,因此省略了其描述。
(从点击直到相关信息显示的过程)
以下将描述当用户已经使用指针设备诸如鼠标等点击对象区域内的一个位置时所执行的客户机的操作。当该用户已经点击给定的位置时,在运动图像上点击的坐标位置被输入到接口处理器207。接口处理器207将点击时的运动图像的时间标记和坐标位置发送给元数据解码器217。元数据解码器217根据该时间标记和坐标位置执行用于规定用户所指定对象的处理。由于元数据解码器217与重放该运动图像同步地解码Vclick流VCS,并且已经在点击时在该时间标记产生了该对象的区域,因此它能够容易地实现该处理。当在该点击的坐标位置上存在多个对象区域时,参照包括在Vclick_AU中的层信息以规定最前的对象。
在规定该用户所指定的对象之后,元数据解码器217向脚本解释器212发送一个在对象属性信息403中描述的动作描述(指定动作的脚本)。当接收到该动作描述时,脚本解释器212解释该动作内容并执行一个动作。例如,该脚本解释器显示一个指定的HTML文件或开始重放指定的运动图像。这些HTML文件和运动图像数据可以记录在客户机200上,可以经由该网络从服务器201发送,或者可以存在于网络的另一个服务器上。
(详细的数据结构)
以下将说明实际数据结构的配置实例。图11示出了Vclick流VCS(图5中的506)的数据结构的实例。数据单元的含义是:
vcs_start_code表示Vclick流VCS的开始;
data_length指定在使用字节作为单位的该Vclick流VCS中的data_length之后字段的数据长度;以及
data_bytes对应于Vclick_AU的数据字段。该字段包括在开始位置的Vclick流506的头部507,其后跟随一个或多个Vclick_AU(图4,77或78)或NULL_AU(图48)。
图12示出了Vclick流VCS的数据结构的实例(在图5实例中的流506的头部507)。数据单元的含义是:
vcs_header_code表示Vclick流VCS(506)的头部(507)的开始;
data_length指定在使用字节作为单位的Vclick流VCS的头部中的data_length之后字段的数据长度;
vclick_version指定该格式的版本。该值在本说明书中假设为01h;以及
bit_rate指定该Vclick流VCS的最大比特率。
图13示出了Vclick_AU的数据结构的一个实例(在图5的实例中为矩形500到505)。数据单元的含义是:
vclick_start_code表示每个Vclick_AU的开始;
data_length指定在使用字节作为单位的该Vclick流VCS中的data_length之后字段的数据长度;以及
data_bytes对应于Vclick_AU的数据字段。该字段包括头部401、时间标记402、对象属性信息403、和对象区域信息400。
图14示出了该Vclick_AU的头部401的数据结构的一个实例(图4,77或78)。数据单元的含义是:
vclick_header_code表示每个Vclick_AU头部的开始;
data_length指定在使用字节作为单位的该Vclick_AU头部的data_length之后字段的数据长度;
filtering_id是用于识别Vclick_AU的ID。该数据用于确定根据客户机的属性和该ID而将要解码的Vclick_AU;
object_id是在Vclick数据中所描述对象的识别号码。当在两个Vclick_AU中使用同一object_id值时,它们是用于在语义上相同的对象的数据;
object_subid表示语义的对象连续性。当两个Vclick_AU包括相同的object_id和object_subid值时,它们指连续的对象;
continue_flag是一个标记。如果该标记是“1”,则在该Vclick_AU中描述的对象区域与在下一个具有相同object_id的Vclick_AU中所描述的对象区域是连续的。否则,该标记是“0”;以及
layer表示对象的层值。当层值较大时,这意味着对象位于屏幕的前侧。如上所述,由于能够根据filtering_id来确定“将要解码的Vclick_AU”,因此也能够根据filtering_id识别“包括将要解码的Vclick_AU的Vclick流VCS”。即,使用filtering_id能够进行“运动图像元数据的流选择”。
图15示出了Vclick_AU的时间标记(图4中的402,图77中的B01,或者图78中的C01/C02)的数据结构实例。该实例假设了将DVD用作运动图像数据记录介质231的情况。使用以下时间标记,能够指定DVD上的运动图像的任意时间,并且能够获得该运动图像和Vclick数据之间的同步。数据单元的含义是:
time_type表示DVD时间标记的开始;
data_length指定在使用字节作为单位的该时间标记中的data_length之后字段的数据长度;
VTSN表示DVD视频的VTS(视频标题集合)编号;
TTN表示DVD视频的标题域中的标题编号。该编号对应于DVD播放器的***参数SPRM(4)中所存储的值;
VTS_TTN表示DVD视频的标题域中的VTS标题编号。该编号对应于DVD播放器的***参数SPRM(5)中所存储的值;
TT_PGCN表示DVD视频的标题域中的标题PGC(节目链)编号。该编号对应于DVD播放器的***参数SPRM(6)中所存储的值;
PTTN表示DVD视频的部分标题(Part_of_Title)编号。该编号对应于DVD播放器的***参数SPRM(7)中所存储的值。
CN表示DVD视频的单元编号;
AGLN表示DVD视频的视角编号;以及
PTS[s..e]表示DVD视频的显示时间标记的第s位到第e位的数据。
图16示出了Vclick_AU的时间标记跳过的数据结构的实例。当在Vclick_AU中代替时间标记而描述时间标记跳过时,这意味着该Vclick_AU的时间标记与前一Vclick_AU的时间标记相同。数据单元的含义是:
time_type表示时间标记跳过的开始;以及
data_length指定在使用字节作为单位的该时间标记跳过中的data_length之后字段的数据长度,但是,由于该时间标记跳过只包括time_type和data_length,因此该值总是假设“0”。
图17示出了Vclick_AU的对象属性信息403(图4,77或78)的数据结构的实例。数据单元的含义是:
vca_start_code表示每个Vclick_AU的对象属性信息的开始;
data_length指定在使用字节作为单位的该对象属性信息中的data_length之后字段的数据长度;以及
data_bytes对应于该对象属性信息的数据字段。该字段描述了一个或多个属性。
以下将描述在对象属性信息403中所描述的属性信息的细节。图18示出了能够在对象属性信息403中描述的属性类型的列表。“最大值”一栏描述了为每个属性在一个对象元数据AU中所描述的数据最大数量的一个实例。
attribute_id是包括在每个属性数据中的ID,并且它是用于识别属性类型的数据。名称属性是用于规定对象名称的信息。动作属性描述了在点击运动图像中的对象区域时将要采取的动作。轮廓属性表示对象轮廓的显示方法。闪烁区域属性规定了在闪烁对象区域时的闪烁颜色。镶嵌区域属性描述了在给对象区域应用镶嵌转换,以及显示转换的区域时的镶嵌转换方法。着色区域属性规定了在着色和显示对象区域时的颜色。
属于文本类别的属性定义了当在运动图像上要显示字符时与将要显示的字符相关的属性。文本信息描述了将要显示的文本。文本属性规定了将要显示文本的属性诸如颜色、字体等。高亮效果属性规定了在高亮显示部分或全部文本时字符的高亮显示方法。闪烁效果属性规定了在闪烁部分或全部文本时字符的闪烁显示方法。滚动效果属性描述了在滚动将要显示的文本时滚动的方向和速度。卡拉OK效果属性规定了在顺序地改变文本颜色时字符的改变定时和位置。
最后,层扩展属性用于定义当在Vclick_AU中改变对象的层值时,层值中的改变定时和改变的值。以下将分别地说明上述属性的数据结构。
图19示出了对象名称属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。该名称属性具有attribute_id=00h;
data_length表示在使用字节作为单位的该名称属性数据中的data_length之后的数据长度;
language规定了用于描述以下单元(名称和注释)的语言。使用ISO-639“用于表示语言名称的代码”指定一种语言;
name_length指定使用字节作为单位的名称单元的数据长度;
name是字符串,它表示在该Vclick_AU中描述的对象名;
annotation_length表示使用字节作为单位的注释单元的数据长度;以及
annotation是字符串,它表示与在该Vclick_AU中描述的对象相关的注释。
图20示出了对象动作属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。该动作属性具有attribute_id=01h;
data_length表示在使用字节作为单位的该动作属性数据中的data_length之后字段的数据长度;
script_language规定了在脚本单元中描述的脚本语言类型;
script_length表示使用字节作为单位的脚本单元的数据长度;以及
script是字符串,当用户指定在该Vclick_AU中描述的对象时,它使用script_language所指定的脚本语言描述了将要执行的动作。
图21示出了对象轮廓属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。该轮廓属性具有attribute_id=02h;
data_length表示该轮廓属性数据中的data_length之后字段的数据长度;
color_r、color_g、color_b以及color_a指定在该对象元数据AU中所描述对象轮廓的显示颜色;
color_r、color_g和color_b分别指定用RGB所表示颜色中的红、绿和蓝值。color_a表示透明度;
line_type指定在该Vclick_AU中所描述对象的轮廓类型(实线、虚线等);以及
thickness指定在该Vclick_AU中使用点作为单位所描述对象轮廓的厚度。
图22示出了对象闪烁区域属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。该闪烁区域属性数据具有attribute_id=03h;
data_length表示在使用字节作为单位的该闪烁区域属性数据中的data_length之后字段的数据长度;
color_r、color_g、color_b以及color_a指定在该Vclick_AU中所描述对象区域的显示颜色。color_r、color_g和color_b分别指定用RGB所表示颜色中的红、绿和蓝值。color_a表示透明度。对象区域的闪烁通过交替地显示着色区域属性中指定的颜色和该属性中指定的颜色而实现;以及
interval指定该闪烁时间间隔。
图23示出了对象镶嵌区域属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。该镶嵌区域属性数据具有attribute_id=04h;
data_length表示在使用字节作为单位的该镶嵌区域属性数据中的data_length之后字段的数据长度;
mosaic_size指定使用像素作为单位的镶嵌方块的尺寸;以及
randomness表示在代替镶嵌转换的方块位置时随机性的程度。
图24示出了对象着色区域属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。该着色区域属性数据具有attribute_id=05h;
data_length表示在使用字节作为单位的该着色区域属性数据中的data_length之后字段的数据长度;
color_r、color_g、color_b以及color_a指定在该Vclick_AU中所描述对象区域的显示颜色。color_r、color_g和color_b分别指定用RGB所表示颜色中的红、绿和蓝值。color_a表示透明度。
图25示出了对象文本信息的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。对象的文本信息具有attribute_id=06h;
data_length表示在使用字节作为单位的对象文本信息的data_length之后字段的数据长度;
language表示所描述文本的语言。一种指定语言的方法能够使用ISO-639“用于表示语言名称的代码”;
char_code规定了文本的编码类型。例如,用于指定编码类型的UTF-8、UTF-16、ASCII、移位JIS等。
direction规定左、右、上或下方向作为排列字符的方向。例如,在英语或法语的情况下,通常在左方向排列字符。另一方面,在***语的情况下,在右方向排列字符。在日语的情况下,在左或下方向排列字符。但是,可以指定除了为每种语言所确定的方向以外的其他排列方向。而且,可以指定倾斜的方向;
text_length指定使用字节作为单位的定时(timed)文本的长度;以及
text是字符串,它是使用char_code所指定字符代码描述的文本。
图26示出了对象文本属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。对象的文本属性具有attribute_id=07h;
data_length表示在使用字节作为单位的对象文本属性的data_length之后字段的数据长度;
font_length指定使用字节作为单位的字体的描述长度;
font是字符串,它指定在显示文本时所使用的字体;以及
color_r、color_g、color_b以及color_a用于指定文本的显示颜色。颜色由RGB指定。color_r、color_g和color_b分别用于指定红、绿和蓝值。color_a则表示透明度。
图27示出了对象文本高亮显示效果属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。对象的文本高亮显示效果属性数据具有attribute_id=08h;
data_length表示在使用字节作为单位的对象的文本高亮显示效果属性数据的data_length之后字段的数据长度;
entry表示该文本高亮显示效果属性数据中的“highlight_effect_entry”的数量;以及
data_bytes包括和entry一样多的“highlight_effect_entry”。
highlight_effect_entry的具体说明如下。
图28示出了对象的文本高亮显示效果属性的项目的数据结构实例。数据单元的含义是:
start_position用于使用从开始起到该字符的字符数量指定将要高亮显示字符的开始位置;
end_position用于使用从开始起到该字符的字符数量指定将要高亮显示字符的结束位置;以及
color_r、color_g、color_b以及color_a用于指定高亮显示字符的显示颜色。颜色由RGB表达。color_r、color_g和color_b分别用于指定红、绿和蓝值。color_a则表示透明度。
图29示出了对象文本闪烁效果属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。对象的文本闪烁效果属性数据具有attribute_id=09h;
data_length表示在使用字节作为单位的对象的文本闪烁效果属性数据的data_length之后字段的数据长度;
entry表示该文本闪烁效果属性数据中的“blink_effect_entry”的数量;以及
data_bytes包括和entry一样多的“blink_effect_entry”。
blink_effect_entry的具体说明如下。
图30示出了对象文本闪烁效果属性的项目的数据结构的一个实例。数据单元的含义是:
start_position用于使用从开始起到该字符的字符数量指定将要闪烁字符的开始位置;
end_position用于使用从开始起到该字符的字符数量指定将要闪烁字符的结束位置;以及
color_r、color_g、color_b以及color_a用于指定闪烁字符的显示颜色。用RGB来表示色彩。color_r、color_g和color_b分别用于指定红、绿和蓝值。color_a则表示透明度。应该注意到通过交替地显示该项目指定的色彩和文本属性所指定的色彩以闪烁字符;以及
interval用于指定闪烁的时间间隔。
图31示出了对象文本滚动效果属性的项目的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。对象的文本滚动效果属性数据具有attribute_id=0ah;
data_length表示在使用字节作为单位的对象的文本滚动效果属性数据的data_length之后字段的数据长度;
direction指定滚动字符的方向。例如,0表示从右到左的方向,1表示从左到右的方向,2表示从上到下的方向,以及3表示从下到上的方向;以及
delay通过当将要显示的第一字符出现直到最后一个字符出现时的时间差来指定滚动速度。
图32示出了对象文本卡拉ok效果属性的项目的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。对象的文本卡拉ok效果属性数据具有attribute_id=0bh;
data_length表示在使用字节作为单位的对象的文本卡拉ok效果属性数据的data_length之后字段的数据长度;
start_time用于指定包括在该属性数据的data_bytes中的第一karaoke_effect_entry所指定字符串的文本颜色的改变开始时间;
entry表示该文本卡拉ok属性数据中的“karaoke_effect_entry”的数量;以及
data_bytes包括和entry一样多的“karaoke_effect_entry”。
karaoke_effect_entry的具体说明如下。
图33示出了对象文本卡拉ok效果属性的项目的数据结构的一个实例。数据单元的含义是:
end_time用于表示通过该项目指定字符串的文本颜色的改变结束时间。如果在该项目之后跟随有另一个项目,那么end_time还用于表示通过下一个项目所指定字符串的文本颜色的改变开始时间;
start_position用于使用从开始起到该字符的字符数量指定将要改变文本颜色的第一个字符的开始位置;
end_position用于使用从开始起到该字符的字符数量指定将要改变文本颜色的最后一个字符的结束位置。
图34示出了对象层扩展属性的数据结构的一个实例。数据单元的含义是:
attribute_id指定属性数据的类型。对象的层扩展属性数据具有attribute_id=0ch;
data_length表示在使用字节作为单位的对象的层扩展属性数据的data_length之后字段的数据长度;
start_time用于指定包括在该属性数据的data_bytes中的第一layer_extension_entry所指定层值的开始时间;
entry指定包括在该层扩展属性数据中的“layer_extension_entry”的数量;以及
data_bytes包括和entry一样多的“layer_extension_entry”。
layer_extension_entry的具体说明如下。
图35示出了对象层扩展属性的项目的数据结构的一个实例。数据单元的含义是:
end_time指定禁用该layer_extension_entry所指定层值的时间。如果在该项目之后跟随有另一个项目,那么end_time还用于表示启用下一个项目指定层值的开始时间;以及
layer指定对象的层值。
图36示出了该对象元数据AU的对象区域数据400的数据结构的一个实例。数据单元的含义是:
vcr_start_code指的是对象区域数据的开始;
data_length指定在使用字节作为单位的对象区域数据的data_length之后字段的数据长度;以及
data_bytes是用于描述对象区域的数据字段。例如能够使用二进制格式的MPEG-7时空***来描述该对象区域。
(应用图像)
图76示出了应用(运动图像超媒体)的屏幕上不同于图1A和2B的一个显示实例,该显示使用本发明的对象元数据和运动图像一起来实现。在图1A和1B中,显示运动图像的窗(图1A)和显示相关信息的窗(图1B)是相互独立的。但是,在图76中,一个窗A01用于显示运动图像A02和相关信息A03。作为相关信息来说,不仅能够显示文本而且还显示静止图像A04和不同于A02的运动图像。
(使用持续时间(duration)数据的Vclick_AU的生存期指定方法)
图77示出了不同于图4的Vclick_AU的数据结构的实例。与图4所不同的是,用于规定Vclick_AU生存期的数据是代替单独时间标记的时间标记B01和持续时间B02的组合。时间标记B01是Vclick_AU的生存期的开始时间,持续时间B02是从Vclick_AU的生存期的开始时间到其结束时间的持续时间。例如在图79中示出了该持续时间的详细实例。应该注意到time_type是用于规定图79中所示的数据指的是持续时间的ID,以及duration是一个持续时间。Duration表示使用预定单位(例如,1毫秒、0.1秒等)的持续时间。
当还将该持续时间描述为用于规定该Vclick_AU的持续时间时所提供的优点在于,仅通过校验将要处理的Vclick_AU,能够检测到该Vclick_AU的持续时间。当要找到具有给定时间标记的有效Vclick_AU时,如果要找到感兴趣的Vclick_AU,则对其进行校验而无需校验其他的Vclick_AU数据。但是,与图4进行比对,则将该数据尺寸增加持续时间B02。
图78示出了不同于图77的Vclick_AU的数据结构的一个实例。在该实例中,使用规定该Vclick_AU生存期的开始时间的时间标记C01以及规定其结束时间的时间标记C02,以作为规定Vclick_AU生存期的数据。在使用该数据结构时所带来的优点是基本上与使用图77中的数据结构相同。
图80是用于说明根据本发明实施例的Vclick信息的描述实例8的视图。在该实例中,在该盘上记录的一个Vclick流VCS#1(Vclick1.vck)被附加到一个PGC(PGC#8)上。在该实例中,在该<object>标记中描述“开始”和“结束”属性。应该注意到“开始”属性以精确的‘HH:MM:SS:FF’格式(小时:分:秒:帧)表示Vclick流VCS的显示开始时间的相对值。而且,“结束”属性以精确的‘HH:MM:SS:FF’格式(小时:分:秒:帧)表示Vclick流VCS的显示结束时间的相对值。“开始”和“结束”属性表示当将Vclick流VCS附加到如本实例中的PGC时,与PGC的开始位置的相对时间。如果该Vclick流VCS被附加到标题域(“<vts_tt>”),该“开始”和“结束”属性则表示与标题域的开始位置的相对时间。
图81是用于说明根据本发明实施例的Vclick信息的描述实例9的视图。在该实例中,在该盘上记录的一个Vclick流VCS(Vclick2.vck)被附加到一个PGC(PGC#9)。在该实例中,在该<object>标记中描述“start_ptm”和“end_ptm”属性。应该注意到“start_ptm”属性以精确的PTM(表示时间:通过90kHz时钟的计数器)表示附加对象的显示开始时间的相对值。而且,“end_ptm”属性以精确的PTM(表示时间:通过90kHz时钟的计数器)表示附加对象的显示结束时间的相对值。“start_ptm”和“end_ptm”属性表示当将该附加对象附加到如本实例中的PGC时,与PGC的开始位置的相对时间。如果该附加对象被附加到标题域(“<vts_tt>”),该“start_ptm”和“end_ptm”属性则表示与标题域的开始位置的相对时间。
图82是用于说明根据本发明另一个实施例的重放处理顺序的流程图。该流程图举例说明了用于响应于用户的输入(遥控器操作等)而改变将要重放的Vclick流VCS的过程。
如果与DVD视频内容的重放同步地重放该Vclick流VCS(步骤S8201中的“否”环),用户则进行一些输入(步骤S8201中的“是”)。应该注意到用户的输入包括重放属性的改变,诸如切换音频、切换字幕、切换视角等,或者开始特别的重放诸如快进、快退、跳过等。
如果用户的输入表示重放属性中的改变(在步骤S8202中分支到“改变重放属性”一侧),该重放设备(图2中的客户机200)则搜索当前正在重放的该Vclick流VCS,以查找对应于改变的重放属性信息(例如,音频流编号、副图像流编号,或视角编号)的数据(Vclick_AU)(步骤S8204)。如果能够从重放正在进行的Vclick流VCS中提取对应于该改变的重放属性信息的Vclick_AU(步骤S8205中的“是”),通过该提取的Vclick_AU来代替将要重放的Vclick_AU的过滤ID(图14的filtering_id)(步骤S8206)。然后,选择包括通过改变的新过滤ID所识别的Vclick_AU的Vclick流VCS,并开始它的重放。
如果在重放正在进行的Vclick流VCS中不能找到将要重放的Vclick_AU(步骤S8205中的“否”),则必须重放包括相应Vclick_AU的Vclick流VCS。为了搜索该Vclick流VCS,能够使用Vclick InfoVCI文件(图54中的VCKINDEX.IFO)(步骤S8207)。提前在重放设备的存储器(图2的缓冲器209或工作存储器(未示出)的给定区域)上映射该Vclick Info VCI文件,通过给出该重放属性信息能够获取相应Vclick流VCS的位置和文件名信息。
如果不在重放设备的存储器(缓冲器209等)上映射该Vclick InfoVCI文件,则从盘上的预定位置或外部服务器(201)上的预定位置载入该Vclick Info VCI文件,并且将其映射到重放设备的存储器(图2中的209)上。当从该盘上的预定位置载入该Vclick Info VCI文件时,如果需要,则停止重放当前重放的DVD视频内容,并且载入想要的Vclick Info VCI文件。
如果在该Vclick Info VCI文件上不存在对应于改变重放状态的任何Vclick流VCS(在步骤S8208中的“否”),则停止重放该Vclick流VCS,继续重放该DVD视频内容。
如果使用该Vclick Info VCI文件找到了对应于改变的重放状态的Vclick流VCS(在步骤S8208中的“是”),和Vclick流VCS位于外部服务器(201)上(在步骤S8209中分支到“服务器”一侧),则删除在重放状态已经改变之前缓冲器209中所存储的Vclick流VCS(步骤S8220),并将外部服务器(201)上的新Vclick流VCS载入到缓冲器209(步骤S8221)。在此之后,开始重放Vclick流VCS(“开始重放新的Vclick流”)。同时,由于继续DVD视频内容的重放,因此参照该DVD视频内容的时间信息,与重放现在正在进行的DVD视频内容同步地重放该Vclick流VCS。
如果找到了对应于改变的重放状态的Vclick流VCS(在步骤S8208中的“是”),和Vclick流VCS位于该盘上(在步骤S8209中分支到“盘”一侧),则删除在重放状态已经改变之前缓冲器209中所存储的Vclick流VCS(步骤S8210),并将该盘上的新Vclick流VCS载入到缓冲器209(步骤S8211)。在这种情况下,如果DVD驱动器的载入速度足够高,当继续重放其重放正在进行的DVD视频内容时,能够载入该Vclick流VCS。但是,如果DVD驱动器的载入速度不足,则暂停DVD视频内容的重放,并从该盘载入Vclick流VCS。在此之后,参照将要开始重放的DVD视频内容的时间信息,开始DVD视频内容和Vclick流VCS的同步重放(步骤S8212和在步骤S8212之后的“开始重放新的Vclick流”)。
如果用户输入表示开始特别的重放(在步骤S8202中分支到“特别重放”一侧),则校验是否作为特别重放的跳跃指定的Vclick流VCS与当前被解码的Vclick流VCS相同。如果作为跳跃指定的该Vclick流VCS与当前被解码的Vclick流VCS相同(步骤S8203中的“是”),当在缓冲器209上保持相同的Vclick流VCS时,继续该特别的重放。如果作为跳跃指定的该Vclick流VCS与当前被解码的Vclick流VCS不同(步骤S8203中的“否”),则流程跳到步骤S8207中的处理。
例如,当用户输入上述的特别重放请求时,当下一指定重放位置(在快进重放的情况下当前位置之前的位置,在快退重放的情况下在当前位置之后的位置,以及在跳过的情况下为所指定的位置)位于其重放现在正在进行的Vclick流VCS中时,该重放设备开始在指定的重放位置同步地重放该DVD视频内容和Vclick流VCS。
如果在重放现在正在进行的Vclick流VCS中不存在指定的重放位置,则必须重放包括指定重放位置的Vclick流VCS。为了搜索该Vclick流VCS,要使用Vclick Info VCI文件(步骤S8207)。提前在重放设备的存储器(缓冲器209)上映射该Vclick Info VCI文件,通过给出该重放属性信息能够获取相应Vclick流VCS的位置和文件名信息。如果不在重放设备的存储器上映射该Vclick Info VCI文件,则从该盘上的预定位置或外部服务器(201)上的预定位置载入该VclickInfo VCI文件,并且将其映射到重放设备的存储器上。当从该盘上的预定位置载入该Vclick Info VCI文件时,如果需要,则停止重放当前重放的DVD视频内容,并且载入想要的Vclick Info VCI文件。
更具体而言,如果使用该Vclick Info VCI文件找到了对应于指定重放位置的Vclick流VCS(在步骤S8208中的“是”),和Vclick流VCS位于外部服务器(201)上,在特别的重放之前删除缓冲器209中所存储的Vclick流VCS(步骤S8220),并将外部服务器(201)上的新Vclick流VCS载入到缓冲器209(步骤S8221)。在此之后,开始重放Vclick流VCS。同时,由于继续DVD视频内容的重放,因此参照该DVD视频内容的时间信息,与其重放现在正在进行的DVD视频内容同步地重放该Vclick流VCS。
另一方面,如果改变的Vclick流VCS位于该盘上,则在特别的重放之前删除缓冲器209中所存储的Vclick流VCS(步骤S8210),并将该盘上的新Vclick流VCS载入到缓冲器209(步骤S8211)。在这种情况下,如果DVD驱动器的载入速度足够高,当继续重放其重放正在进行的DVD视频内容时,能够载入该Vclick流VCS。但是,如果DVD驱动器的载入速度不足,则暂停DVD视频内容的重放,并从该盘载入Vclick流VCS。在此之后,参照将要开始重放的DVD视频内容的时间信息,开始DVD视频内容和Vclick流VCS的同步重放(在步骤S8212之后)。
如果在该Vclick Info VCI文件上不存在对应于指定重放位置的任何Vclick流VCS(在步骤S8208中的“否”),则停止重放该Vclick流VCS,并继续重放该DVD视频内容。
图83是用于说明根据本发明另一个实施例的形成Vclick流VCS(多个流)的方法的视图。该实例是对图5的修改。更具体而言,在图5的实例中,将多个视角的Vclick_AU组合成一个Vclick流VCS。但是,在图83中,多个视角的Vclick_AU存储在多个相应的Vclick流VCS中。即,在图83的实例中,Vclick流836包括用于日语视角1的Vclick_AU 830和831,Vclick流837包括用于日语视角2的Vclick_AU 832,以及Vclick流838包括用于英语视角1的Vclick_AU833和834。
图84是用于说明根据本发明另一个实施例的启动处理过程的流程图。该处理顺序对应于如图83中所示的存在多个Vclick流的情况。
从增强型DVD视频盘(图53)或外部服务器201(图2)载入该Vclick Info VCI文件(图54中的VCKINDEX.IFO)(步骤S8401),并将它存储在重放设备(图2的客户机200)的存储器(工作存储器或缓冲器209)中。根据该Vclick Info VCI文件,能够获取Vclick流VCS的位置信息、文件名等(参见图54描述中的Vclick Info文件的注释)。根据该获取信息,提取所需的Vclick流VCS(图83实例中的三个流836到838)。所提取Vclick流VCS的数据被存储在缓冲器209中(步骤S8403)。
有关缓冲存储,可以使用一些确定缓冲多个流(图83中的836到838)的顺序的方法(设置载入到缓冲器的优先级的方法)。在该方法的第一个实例中,依次从具有对应于各个流的视频内容的较小PGC编号的流来载入这些流。例如,当Vclick流#1附加到PGC#1,Vclick流#2附加到PGC#2时,如果将要载入的流是Vclick流#1和#2,则先将Vclick流#1载入到缓冲器209,然后将Vclick流#2载入到缓冲器209。
在第二个实例中,根据播放器(客户机200)中预设的语言确定载入的优先级。例如,假设在播放器中设置日语为第一语言(或默认的语言),并且设置英语为第二语言。在这种情况下,当给Vclick流#1分配英语属性(例如,在图25中由“language”指定英语),以及给Vclick流#2分配日语属性(例如,在图25中由“language”指定日语)时,先将Vclick流#2载入到缓冲器209,然后将Vclick流#1载入到缓冲器209。
在第三个实例中,为在该盘上记录的将要载入的流所分配的优先级高于在外部服务器上所记录流的优先级。例如,当在外部服务器上记录Vclick流#2,以及在该盘上记录Vclick流#1和#3时,因此当载入Vclick流#1到#3时,以其编号的顺序将Vclick流#1和#3载入到缓冲器209,然后将Vclick流#2载入到缓冲器209。
在存储的Vclick流达到分配给缓冲器209的尺寸(例如,在以下将要描述的图87实例中为2M字节)之后(步骤S8404中的“是”),开始DVD视频内容的重放(步骤S8405)。可替换地,如果缓冲器209中所存储的Vclick流的尺寸已经达到了预定的重放尺寸(例如,在以下将要描述的图87实例中为12k字节),可以开始DVD视频内容的重放(步骤S8405)。
在重放该DVD视频内容已经开始之后,获取它的重放信息(标题、PGC编号、音频流编号、副图像流编号、视角编号、宽高比信息、重放时间信息等)(步骤S8406),以及根据获取信息中的至少一些信息(例如,PGC编号)从Vclick Info VCI文件重新获得相应的Vclick流(步骤S8407)。例如,如果在步骤S8406中获取的重放信息是图66中的PGC#1,则在步骤S8407中重新获得Vclick流#1到#3。如果Vclick流#1到#3的数据当前存储在缓冲器209中(步骤S8408中的“是”),那么将立即与当前的DVD重放同步地重放该Vclick流#1到#3(步骤S8405)。
如果Vclick流#1到#3的数据当前没有存储在缓冲器209中(步骤S8408中的“否”),通过删除来自缓冲器209的不必要数据(步骤S8409),或者重写不必要数据的缓冲区域,从而将重新获得的Vclick流#1到#3的数据载入到缓冲器209(步骤S8410)。如果将要载入到缓冲器209的数据尺寸已经达到了最小重放尺寸(例如,12k字节),则与当前的DVD重放同步地开始被缓冲Vclick流的重放(步骤S8405)。
当在步骤S8403和S8410中载入到缓冲器209时,不传送图48和49中所示的“NULL_AU”字段(不论AU是否是能够通过图48的“Vclick AU Header”中的标记(未示出)所识别的“NULL_AU”)。
已经描述了消除从缓冲器209传送到媒体解码器216的不想要数据以及媒体解码器216处理开销的方法,其中该开销通过在Vclick流VCS上安排“NULL_AU”而相应地产生。但是,当使用该Vclick访问表VCA访问Vclick流VCS上的AU时,使用Vclick访问表VCA上的“NULL指针”代替Vclick流VCS上的“NULL_AU”能够避免不想要的处理开销。以下将描述这种方法。
图47示出了与“NULL_AU”(图48和49的)描述相关的Vclick流VCS的一个实例。在图47所示的Vclick流VCS中,以#1、#2和#3的顺序排列访问单元AU。对应于该Vclick流VCS的Vclick访问表VCA具有例如在图6中所示的结构。在图6中,偏移#3表示例如AU#1的开始位置,以及偏移#4表示AU#3的开始位置。当扩展图6的结构以使用上述的“NULL指针”时,可以获得如图85所示的结构。
图85是用于说明根据本发明另一个实施例的Vclick访问表VCA的结构实例的视图。在图85的实例中,与图6所不同的是,其中添加了当时间标记850是time*,而相应的访问点851是“NULL”的情况。即,图85举例说明了当使用表示“NULL”的NULL指针(其中的一个文件指针fp)时的Vclick访问点表VCA。
在图85访问点851中的“NULL”是一个标记,它的含义是“感兴趣Vclick流VCS中AU的有效时间与等于或大于time*并小于time#4的时间范围没有交叉(或不相关)”。假设在图2中从接口处理器207提供给元数据管理器210的运动图像时钟T满足:
time*<=T<time#4
此时,元数据管理器210搜索图85中的Vclick访问表VCA以查找该“NULL”标记。当获得该“NULL”标记时,元数据管理器210则结束它的操作或开始下一个操作,而不用载入任何的Vclick流VCS。在图86的流程图中示出了在本例中的元数据管理器210的操作实例。
图86是用于说明根据本发明另一个实施例的元数据管理器的处理顺序实例的流程图。更具体而言,当从接口处理器207接收运动图像时钟T时(步骤S8601),元数据管理器210搜索缓冲器209中的访问点表以查找满足t<=T的最大t(步骤S8602),并找到一个利用t形成一对的偏移值h(步骤S8603)。如果所找到的h是“NULL”(如果在步骤S8602中获得的t对应于图47、49和85实例中的“time*”)(步骤S8604中的“是”),则流程返回到步骤S8601以重复在步骤S8601到S8604中的处理。
如果所找到的h不是“NULL”(如果在步骤S8602中获得的t对应于图47、49和85实例中的“time#4”)(步骤S8604中的“否”),则将文件指针fp的值设为h(步骤S8605)。接口处理器207读取对应于该h的访问单元AU的时间标记值t’(在图85的实例中,时间标记850的“time#4”对应于访问点851的“偏移#4”)(步骤S8606)。
接下来,将文件指针fp改变成一个值,该值为当前fp和当前AU尺寸之和(步骤S8607)。然后,校验是否改变的fp指针指向该VclickInfo VCI文件的结束。如果fp没有指向该文件的结束(步骤S8608中的“否”),接口处理器207读取当前AU的时间标记值u(步骤S8609)。如果该读取的时间标记值u不大于时间标记值t’(步骤S8610中的“否”),流程则返回到步骤S8607以重复步骤S8607到S8610中的处理。如果u>t’(步骤S8610中的“是”)或者fp指向该文件的结束(步骤S8608中的“是”),接口处理器207则向缓冲器209发出一个命令以“向媒体解码器217传送对象元数据流(包括当前AU的Vclick流VCS)中从偏移h到文件指针fp的数据”(步骤S8611)。通过这种方式,“当使用表示“NULL”的NULL指针”时,结束元数据管理器210的操作实例(图86)。
图87是用于说明根据本发明再一个实施例的缓冲器分配模型(初始化文件的一个实例)的视图。以下将说明实际上用于给Vclick数据VCD分配缓冲器的模型。在图87中,附图标记322表示对应于图2(或以下将要描述的图91、98、104或106)中缓冲器209的环形缓冲器,其中通过初始化文件320给该缓冲器分配具体的尺寸。可替换地,该环形缓冲器322可以是工作存储器(未示出)上本地确保的缓冲区域。
为了定义环形缓冲器322(图2中的209)的缓冲器尺寸,将使用以XML描述的诸如载入信息文件等的初始化文件320。通过设置存储器标记中的名称属性值的“Assign”来定义在XML文件中分配缓冲器322(对应于图2的209),以及通过存储器标记中的尺寸属性值来定义要分配的尺寸(这种定义描述方法是图87实例中的321)。每当载入该初始化文件320时,分配缓冲器322。同时,可以添加重放开始定时确定定义323,它将用于缓冲器322中指定尺寸的内容的存储定时设置为重放开始定时,并从该定时开始重放。通过设置存储器标记的名称属性中的“Playback”以定义该重放开始定时确定定义,以及通过尺寸属性的值定义缓冲器322的分配尺寸。在缓冲器分配之后或在使用开始之前,立即至少一次快擦(初始化)缓冲器322(以下将参考图97说明这种缓冲器快擦)。
初始化文件320(更具体而言,在例如图53的Vclick Info VCI中;在图54的VCKINDEX.IFO文件)能够存储在增强型DVD视频盘(图53的盘或图103到106的231)的Vclick数据VCD中。可替换地,初始化文件320可以存储在将要下载的存储在服务器上的Vclick数据中。当该盘和服务器上的初始化文件都可用时,将总是参照服务器上的初始化文件。可替换地,将要参照的初始化文件可以由版本管理确定。
图88是用于说明根据本发明的再一个实施例在缓冲器分配时的处理顺序的流程图。当经由网络连接下载Vclick流VCS时,通常不能保证足够的下载速度,该速度取决于线路状态。在这种情况下,由于另一个引擎能够使用浪费的缓冲器区域,因此在缓冲器分配时能够完成以下处理。
<1>从图87的初始化文件320读取分配尺寸321和重放开始尺寸323(步骤S8801)。
<2>校验是否将要从该网络下载流(步骤S8802)。
<3>如果将要从该网络下载流(步骤S8802中的“是”),则检测该网络的当前线路状态(步骤S8803)。
<4>根据检测的线路状态调整缓冲器分配尺寸(步骤S8804)。例如,根据使用时间带宽,因特网线路忙和不容易连接到其上。这时,在通过从网络下载的流以更新缓冲器的内容之前,可以读取缓冲器的全部内容。在这种情况下,可以中断Vclick流的重放。在这种情形下,可以基于前一实验数据来确定根据线路状态的一定缓冲器尺寸。例如,如果线路总是保持连接的,可以设置缓存器尺寸为2M字节;如果不容易连接到该线路,则将它设置为8M字节;在中间状态中,设置为4M字节。当给缓冲器尺寸分配8M字节时,如果该线路保持连接,使用8M字节将Vclick数据完全地存储在该缓冲器中。结果,由于要缓冲的Vclick数据大,一旦在线路断开连接之后直到连接该线路为止,能够防止Vclick流的重放被中断。
<5>如果不下载流(步骤S8802中的“否”),在分配缓冲器322时,使用初始化文件320中描述的分配尺寸作为分配尺寸(步骤S8805)。
<6>给缓冲器322分配该分配尺寸(步骤S8806)。
如上所述,能够执行用于是否使用检验初始化文件320中描述的分配尺寸或者根据线路状态调整该分配尺寸的处理。当已经根据该线路状态调整了分配尺寸时(改变图87中321的尺寸),如果内容是“用重放开始定时指定的”(如果在图87中包括尺寸指定323),还将改变该存储内容尺寸以至少满足“改变的分配尺寸”≥“在重放开始定时的存储内容尺寸”。
通过这种方式,考虑到“在重放开始定时的存储内容尺寸”,不需要增加“改变的分配尺寸”(例如,当根据线路状态将缓冲器分配尺寸从4M字节改变成2M字节,如果这时将3M字节指定为重放开始尺寸,那么实际的缓冲器分配尺寸将被设置成3M字节或增加1M字节)。即,在这种情况下,图87中的重放开始尺寸323被改变成2M字节或更少。通过这种方式,另一个引擎则能够使用浪费的缓冲区域(在上述实例中是1M字节)。
而且,根据网络状态能够类似地调整只在重放开始定时的该分配尺寸。更具体而言,改变图87中的重放开始尺寸323的描述(重放开始定时确定定义)以满足“当前分配尺寸”≥“在重放开始定时的存储内容尺寸”(设置指定的尺寸小于当前尺寸指定323)。在这种情况下,能够缩短直到重放开始为止的Vclick数据的载入时间。
图89是用于说明根据本发明再一个实施例的缓冲器使用实例的图。图89举例说明了缓冲器322(图2中的209、91等)中使用尺寸的改变(在这种情况下,可以忽略从缓冲器创建直到实际数据写开始的处理)。
在开始将两个数据写到缓冲器322(或209)上之后,不立即开始重放,直到数据以在图87所示初始化文件320的重放开始定时确定定义323中描述的尺寸(323)(或播放器定义的尺寸)存储在缓冲器322为止(图89中的重放开始等待状态)。通过建立服务器-客户机连接之后的任何时间(在下载之后的时间)或者缓冲器322(或209)上的内容存储尺寸能够定义该重放开始定时。
当使用在建立服务器-客户机连接之后的该时间时,根据下载速度和缓冲器322(或209)的尺寸来确定该时间。该时间允许下载内容(Vclick数据)直至即使当由于错误诸如线路断开连接等而需要重新连接时,以及当使用存储在缓冲器209中的内容时和通过建立重新连接下载开始时也不中断重放的尺寸。该时间由播放器一侧定义和确定。在这种情况下,由于播放器一侧定义该时间,所以能够定义根据环境的每个吞吐量的最佳时间。
当根据缓冲器322(或209)中的内容存储尺寸来确定该时间时,内容存储尺寸能够如下定义。即,在缓冲器322中通过存储内容的存储尺寸将上述时间定义为和重放一样大,直到使用缓冲器322中存储的内容以及通过建立重新连接开始下载,甚至是当由于错误诸如线路断开连接等而需要重新连接时,该重放也不会被中断。
当应用于该实施例的标准(增强型DVD标准或EDVD标准)规定最低吞吐量(例如,128kbps)时,除了设备(播放器)一侧的定义以外,还能够在内容重放开始定时中实现“定义和重放不会被缓冲器209的存储尺寸所中断一样大的内容”。
之后,并行地执行“用于重放数据的数据写”和“读”(图89中的重放初始状态325)。当到缓冲器的下载速度足够快于来自该缓冲器的重放使用尺寸时,缓冲器322逐步地增加该使用尺寸(参见图89的状态325中的向上倾斜曲线)。但是,缓冲器322还没有变得充满数据。在缓冲器322中的数据尺寸增加到初始化文件320的分配尺寸321时(图89中的缓冲器满状态326),缓冲器322的使用尺寸不断地降低该应用所使用的数据尺寸,并由于随着时间的消逝所读取的数据而不断地增加。因此,重复小幅的增加和减少,如在图89的缓冲器满状态326中的实曲线所示。
图90和图92到96是用于说明根据本发明再一个实施例的环形缓冲器的使用实例的视图。在这种情况下,由于通过预定的尺寸使用缓冲器322(图2的209,91等),因此该缓冲器用作一个环形缓冲器。以下将说明该使用方法。
在图90中,认为缓冲器322是一个连续的缓冲器,并在图90中由圆327表示。该圆被逆时针(328)用来记录最新接收的数据。接收的Vclick流VCS被从当前接收完成位置331开始逆时针地记录(329),以及每逢需要它时,从当前重放位置332逆时针地输出(330)。
在这种使用方法中,例如在图89的重放开始等待状态324和重放初始状态325中,从当前重放位置332的左侧到当前接收完成位置331的区域341a写入数据,从当前接收完成位置331的右侧到当前重放位置332的区域341不写入任何数据,如图92所示。在给定时间周期消逝之后,到缓冲器322(209)的写入赶上了重放的读取,因此该缓冲器变为缓冲器满状态(图89中的326)。然后,如图93所示,当前重放位置331靠近于当前接收完成位置332。此后,由于通过“重放读取”所使用的尺寸进行“写”,因此缓冲器322的使用尺寸重复小的往复运动。
上述环形缓冲器322如下应用于图2中的缓冲器209。即,以升序来排列包括在Vclick流VCS中的访问单元AU的时间标记。图2中的接口处理器207向元数据管理器210发送给定的运动图像时钟值T。元数据管理器210从缓冲器209(图87中的322)重新获得包括在接收时钟值T中的访问单元AU。在重新获得感兴趣的AU之后,将该AU从缓冲器209传送到媒体解码器217。在该传送时,在载入感兴趣的AU之前,从缓冲器209释放载入到缓冲器209的(旧)AU所占据的区域。释放的缓冲器区域对应于图92中的区域341。元数据管理器210指令缓冲器209通过释放区域的全部字节尺寸从网络221读取Vclick流VCS。可替换地,元数据管理器210指令网络管理器208经由接口处理器207通过所释放区域的全部字节尺寸以从网络221读取Vclick流VCS。
图91是用于说明根据发明再一个实施例的“重放读取”和“写”算法的图。接口处理器207向元数据管理器210发送一个给定的运动图像时钟值333。元数据管理器210重新获得包括该接收时钟值333的AU。同时,如果根据来自接口处理器207的运动图像时钟值冗余地指定AU,元数据管理器210则可以处理它们(更具体而言,它使用冗余AU的其中之一的信息)。元数据管理器210从缓冲器209(图87中的322)读取感兴趣的AU数据334,并将数据335输出给媒体解码器216。元数据管理器210通知接口处理器207有关全部的输出字节尺寸336。然后,接口处理器207请求网络管理器208载入字节尺寸337等于全部输出字节尺寸336的数据。接着,网络管理器208通过指定的字节尺寸从服务器201下载Vclick流VCS,并将它写入到缓冲器209中(322)(338)。网络管理器208通知接口处理器207有关写入的字节尺寸339。当需要时重复上述的操作。这是一个基本模型。
以下将参考图94到96说明特别的缓冲器模型。在该模型中,在“当前接收完成位置331”和“当前重放位置332”之间形成间隔以便“在当前重放位置之前保存过去的数据”。通过这种方式,在特别重放时提高了用于操作的可用性或响应。假设对于两个小时在0.5毫秒的间隔存在Vclick_AU。这时,当在屏幕上总是显示两个目标对象时,Vclick流VCS的尺寸大约是7M字节。而且,如果缓冲器322(图2中的209,91等)的分配尺寸是2M字节,则在图94的情况下将25%的缓冲器区域用作过去的数据343。在上述条件下,在计算时将用于大约8.5分钟的Vclick流VCS存储在该缓冲器上。如果进行快退重放,由于过去数据保存在该缓冲器上,因此在快退重放运动图像的同时能够防止将要重放的Vclick数据的重放被中断,以及能够提高用户操作的可用性或响应。
如果使用和上述实例相同的条件,那么图95将50%缓冲器区域用作过去的数据343。在上述条件下,在计算时将用于大约17分钟的Vclick流VCS存储在该缓冲器上。如果进行快退重放,由于具有较大尺寸的过去数据保存在该缓冲器上,因此在快退重放运动图像的同时能够防止将要重放的Vclick数据的重放被中断长的时间周期,以及能够提高用户操作的可用性或响应。
在图96的实例中,为此将75%缓冲器区域用作过去的数据343。在上述条件下,在计算时将用于大约25.5分钟的Vclick流VCS存储在该缓冲器上。如果进行快退重放,由于仍具有较大尺寸的过去数据保存在该缓冲器上,因此在快退重放运动图像的同时能够防止将要重放的Vclick数据的重放被中断更长的时间周期,以及能够提高用户操作的可用性或响应。
图97是用于说明根据本发明再一个实施例的在缓冲器快擦(初始化)时处理顺序(缓冲器快擦模型)的流程图。更具体而言,当从接口处理器207接收一个快擦指令时(步骤S9701),快擦(删除)缓冲器209(步骤S9702)。该缓冲器快擦处理能够在以下的定时完成:
(a)在根据初始化文件而产生的缓冲器定时;
(b)在重放正在进行的视频图像跳跃到将来或过去的操作的定时(如果在缓冲器上未存储任何视频数据);
(c)在线路断开连接的定时(故意的线路断开连接诸如流获取目的地中的变化等)...在关闭连接之后清空该缓冲器。
换句话说,当除了数据访问缓冲器(图2中的209;图87中的322)以外的数据访问发生时,清空或快擦该缓冲器(步骤S9702)。
图98是用于说明根据本发明再一个实施例的“在缓冲器清空时的顺序”的流程图。在该实例中,接口处理器207通知该缓冲器快擦定时,并且每逢接口处理器207通知元数据管理器210有关该定时的时候删除缓冲器209。
图99是用于说明根据本发明再一个实施例的“通过连续发出Get命令的特别重放”(每当事件发生时需要Vclick数据的模型)的图。图99示出了当该线路暂时断开连接,以及重新下载Vclick流VCS时的模型。接口处理器207向网络管理器208发出一个线路断开连接指令346(图98)。在完成线路断开连接处理之后,网络管理器208向接口处理器207发送一个线路断开连接完成消息347(图98)。此后,接口处理器207将一个缓冲器209的清空指令344(图98)发给元数据管理器210。元数据管理器210在完成缓冲器清空之后向接口处理器207发送一个清空完成消息352(图98)。之后,如果需要线路重新连接,接口处理器207则向网络管理器208发送一个线路连接消息348(图98),并在完成连接之后接收一个线路连接完成消息350(图98)。接下来,执行所需的处理。
该HTTP协议所具有的特性是:以HTTP:GET方法的颁布顺序发送数据,如果保持该连接(保持有效的说明),根据方法颁布的顺序,不重新排序数据输出定时。这种属性被称之为Keep Alive(保持有效)特性。使用这种保持有效特性,有可能执行以下的操作。即,根据该保持有效特性,不中断信息也不对其进行重新排序,除非清空该缓冲器。如果每当一个事件发生时都发出一个HTTP:GET方法,那么可依次地下载Vclick流VCS(图99)。
图100是用于说明根据本发明再一个实施例的“通过连续地发出Get命令的特别重放”(具有预定的事件发生顺序的模型)的图。如果事先已知了事件发生的顺序,可以全部一起发出HTTP:GET方法。使用该保持有效特性,能够以任意的顺序来下载Vclick流VCS以允许混洗(shuffle)重放或随机重放。
图101是用于说明根据本发明再一个实施例的“在快进重放时的缓冲器状态”的图表。当快进(FF)或快退(FR)重放时,由于DVD内容的重放速度变快,因此从缓冲器209读取与DVD内容同步的元数据的速度也会变快。所以,缓冲器209上缓冲的元数据快速地消耗。如果到缓冲器209的元数据补给不能赶上如此快的消耗,那么在某些情况下将暂时地清空缓冲器209。结果,产生一个等待时间,直到再次在缓冲器209上缓冲最小所需的元数据(例如,具有图87的323中所描述尺寸的数据)。因此,从缓冲器209的元数据提供不能赶上该快的DVD重放速度,从而也不再建立它们之间的重放同步关系。
通过编程一个应用(控制固件)以当快进或快退重放时在缓冲中跳读元数据(Vclick数据)能够解决该问题。例如,在0.1秒间隔缓冲10秒数据时的数据尺寸等于在1秒间隔缓冲100秒数据时的数据尺寸。在这种情况下,即使当与10x速度FF/FR重放同步地从缓冲器209读取元数据时,缓冲器209的数据消耗速率也明显地等于在1x速度正常重放时的速率,而不用以重放时间基准跳读。通过这种方式,如果设计成使元数据到缓冲器209的缓冲赶上快的DVD重放速度则能够解决上述问题。
在图101中,实三角曲线举例说明了当不进行跳读时(或跳读间隔不是足够大时)缓冲器209上的数据消耗状态。在这种情况下,由于在与快速DVD重放同步的短时间周期中消耗缓冲器209中的元数据,因此突然地增加和减少在缓冲器209上所缓冲的元数据尺寸。另一方面,图101中的虚三角曲线举例说明了当进行适当的跳读时缓冲器209以及缓冲赶上重放速度而实际上没有问题时的数据消耗状态。
图102是用于说明根据本发明再一个实施例的“在快进或快退重放时的处理访问单元的方法(快进/快退模型)”的视图。当快进重放时,元数据管理器210取从缓冲器209传送到媒体解码器216的AU的十分之一。接口处理器207向元数据管理器210发送运动图像时钟(T)353和356。元数据管理器210计算通过给适当的时间α354和β355(α>β)添加接收的时钟T而获得的时间,并发出一个指令给媒体解码器216以传送带有时间标记的AU(图102中的AU2和AU5),该时间标记包括在时间T+β到时间T+α的范围内。同时,元数据管理器210发出一个指令以从该网络载入输出尺寸的数据。α和β值能够根据快进的速度确定。通过这种方式,能够根据该速度传送在快进重放时所需的AU,并且能够在快进重放中重放Vclick数据。图101示出了在这种情况下缓冲器209的使用尺寸中变化的实例。
图103是用于说明根据本发明再一个实施例的“当Vclick流存储在运动图像数据记录介质上时的模型”的视图(当保证无缝重放时)。图104是用于说明图103中模型的处理流程图。
假设Vclick流VCS存储在运动图像数据记录介质231上。由于需要无缝重放,必须防止产生搜寻运动图像数据记录介质231。为此,在运动图像重放之前元数据管理器210必须根据来自接口处理器207的指令载入全部的Vclick流VCS(图103)。在这种情况下,执行如图104中所示的处理。
更具体而言,接口处理器207指示盘设备管理器213获取Vclick流VCS(357)。盘设备管理器213从运动图像数据记录介质231获取指定字节尺寸的Vclick流VCS并在缓冲器209上记录它们(358)。在这些流记录在缓冲器209上之后,该盘设备管理器213向接口处理器207发送一个Vclick流获取完成响应359。接口处理器207通知元数据管理器有关Vclick流获取完成响应360。接口处理器207在发送Vclick流获取完成响应360之后重放运动图像。
图105是用于说明根据本发明再一个实施例的“当Vclick流存储在运动图像数据记录介质上时的模型”的视图(当不能保证无缝重放时)。图106是用于说明图105中模型的处理流程图。
与图103和104的情况进行对比,当将要产生搜寻时,必须暂时停止运动图像的重放(图105)。通常,元数据管理器210监控缓冲器209,并且当缓冲器209上的Vclick流VCS变为空状态时向接口处理器207发出一个“Vclick流获取请求361”。接口处理器207执行载入准备(例如,它停止重放该运动图像),以及再次重复与图104相同的顺序。通过这种方式,当Vclick数据存储在缓冲器209中时能够保证无缝重放,而不用产生任何搜寻。当不需要保证无缝重放时,独立于缓冲器209上数据的存在/不存在通过执行从载入处理起的顺序能够访问任意的位置。
在上述实施例中,通过图87中的初始化文件320能够优化缓冲器209的使用方法。不仅通过依靠播放器的方法而且通过依靠内容的方法缩短了缓冲处理时间,并且利用较小的缓冲器尺寸能够重放元数据。
而且,当用户进行特别重放诸如快进、快退、跳跃重放、混洗重放、随机重放等时,通过采用图94到96所示的缓冲器模型能够自由地给该缓冲器分配例如总共34分钟的元数据,并且保证无缝地重放与运动图像一起的Vclick数据。
应该注意到本发明并不原封不动地局限于上述实施例,当实施本发明时,可以对构成组件进行各种修改而不偏离本发明的范围。例如,本发明不仅能够应用于广为流行的DVD-ROM视频,而且还能够应用于近年来需求快速增长的并允许记录/重放的DVD-VR(视频记录机)。而且,本发明能够应用于不久将会流行的下一代HD-DVD的重放或记录/重放***。
图2中所示的缓冲器209并不局限于使用图87和相继的附图已经说明的环形缓冲器。例如,通常存储器区域能够部分地用作缓冲器209,或者先进先出类型的串行缓冲器也能够用作缓冲器209。
对于本领域的普通技术人员来说将会产生其他的优点和修改。所以,本发明在更宽的方面并不局限于这里示出和描述的具体细节和代表性的实施例。相应地,可以对本发明进行各种修改而不背离通过附属权利要求及其等同物所定义的总体发明原理的精神或范围。

Claims (15)

1、一种信息重放设备,其特征在于包括:
存储流(VCS)和存储初始化信息(VCI,320)的信息记录介质(231),其中该流包括在重放视频内容时能够被重放的运动图像的元数据,而且由作为能够被独立处理的数据单元的访问单元形成,该初始化信息包括用于指定在重放该元数据时所使用的缓冲器(209,322)大小的缓冲器大小信息(321);
第一重放处理单元(203),其被配置成重放所述视频内容;以及
第二重放处理单元(202),其被配置成在根据包括在初始化信息(VCI,320)中的缓冲器大小信息(321)指定缓冲器(209,322)的大小的情况下重放所述元数据。
2、根据权利要求1所述的设备,其特征在于初始化信息(VCI,320)包括指示直到重放开始将要在缓冲器(209,322)上缓冲的数据大小的重放大小信息(323)。
3、根据权利要求2所述的设备,其特征在于缓冲器大小信息(321)以及所述重放大小信息(323)指定的缓冲器大小是可变的,并且当通过缓冲器大小信息(321)改变所述缓冲器大小时,重放大小信息(323)所指定的缓冲器大小被改变成不超过所述改变的缓冲器大小。
4、根据权利要求1所述的设备,其特征在于初始化信息(VCI,320)中的缓冲器大小信息(321)描述了能够暂时缓冲从所述元数据的当前重放位置观看的过去数据的大小。
5、根据权利要求1所述的设备,其特征在于当除了到缓冲器(209,322)以外的数据访问发生时,清空或快擦所述缓冲器。
6、一种信息重放方法,其特征在于包括:
从存储流(VCS)和存储初始化信息(VCI,320)的信息记录介质读取信息,该流包括在重放视频内容时能够被重放的运动图像的元数据,而且由作为能够被独立处理的数据单元的访问单元形成,该初始化信息包括用于指定在重放该元数据时所使用的缓冲器(209,322)大小的缓冲器大小信息(321);以及
重放该视频内容,以及在根据包括在初始化信息(VCI,320)中的缓冲器大小信息(321)指定缓冲器(209,322)的大小的情况下重放所述元数据。
7、根据权利要求6所述的方法,其特征在于初始化信息(VCI,320)包括指示直到重放开始将要在缓冲器(209,322)上缓冲的数据大小的重放大小信息(323)。
8、根据权利要求7所述的方法,其特征在于缓冲器大小信息(321)以及所述重放大小信息(323)指定的缓冲器大小是可变的,并且当通过缓冲器大小信息(321)改变所述缓冲器大小时,重放大小信息(323)所指定的缓冲器大小被改变成不超过所述改变的缓冲器大小。
9、根据权利要求6所述的方法,其特征在于初始化信息(VCI,320)中的缓冲器大小信息(321)描述了能够暂时缓冲从所述元数据的当前重放位置观看的过去数据的大小。
10、根据权利要求6所述的方法,其特征在于当除了到缓冲器(209,322)以外的数据访问发生时,清空或快擦所述缓冲器。
11、一种信息记录方法,其特征在于包括:
在信息记录介质(231)的第一区域上记录流(VCS),该流包括在重放视频内容时能够被重放的运动图像的元数据,而且由作为能够被独立处理的数据单元的访问单元形成;以及
在信息记录介质(231)的第二区域上记录初始化信息(VCI,320),该信息包括用于指定在重放该元数据时所使用的缓冲器(209,322)大小的缓冲器大小信息(321)。
12、根据权利要求11所述的方法,其特征在于初始化信息(VCI,320)包括指示直到重放开始将要在缓冲器(209,322)上缓冲的数据大小的重放大小信息(323)。
13、根据权利要求12所述的方法,其特征在于缓冲器大小信息(321)以及所述重放大小信息(323)指定的缓冲器大小是可变的,并且当通过缓冲器大小信息(321)改变所述缓冲器大小时,重放大小信息(323)所指定的缓冲器大小被改变成不超过所述改变的缓冲器大小。
14、根据权利要求11所述的方法,其特征在于初始化信息(VCI,320)中的缓冲器大小信息(321)描述了能够暂时缓冲从所述元数据的当前重放位置观看的过去数据的大小。
15、根据权利要求11所述的方法,其特征在于当除了到缓冲器(209,322)以外的数据访问发生时,清空或快擦所述缓冲器。
CNA2005100670907A 2004-04-30 2005-04-29 用于运动图像的元数据 Pending CN1708115A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004136687A JP2005318471A (ja) 2004-04-30 2004-04-30 動画像のメタデータ
JP2004136687 2004-04-30

Publications (1)

Publication Number Publication Date
CN1708115A true CN1708115A (zh) 2005-12-14

Family

ID=34939384

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005100670907A Pending CN1708115A (zh) 2004-04-30 2005-04-29 用于运动图像的元数据

Country Status (6)

Country Link
US (1) US20050244147A1 (zh)
EP (1) EP1592020A3 (zh)
JP (1) JP2005318471A (zh)
KR (1) KR100676432B1 (zh)
CN (1) CN1708115A (zh)
TW (1) TWI286295B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE422130T1 (de) * 2000-06-14 2009-02-15 Sap Ag Kommunikation zwischen klienten und servercomputern über http, verfahren, computerprogrammprodukt und system
JP2004296065A (ja) * 2003-03-10 2004-10-21 Toshiba Corp 情報記憶媒体、情報再生装置、および情報再生方法
JP2005332274A (ja) * 2004-05-20 2005-12-02 Toshiba Corp 動画像中のオブジェクトに関するメタデータストリームのデータ構造、検索方法及び再生方法
JP4600248B2 (ja) * 2005-11-07 2010-12-15 ソニー株式会社 データ通信システム及びデータ通信方法
US20080159724A1 (en) * 2006-12-27 2008-07-03 Disney Enterprises, Inc. Method and system for inputting and displaying commentary information with content
JP4345830B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 情報記録装置、および情報記録方法
US7890556B2 (en) * 2007-04-04 2011-02-15 Sony Corporation Content recording apparatus, content playback apparatus, content playback system, image capturing apparatus, processing method for the content recording apparatus, the content playback apparatus, the content playback system, and the image capturing apparatus, and program
KR101206698B1 (ko) * 2010-10-06 2012-11-30 한국항공대학교산학협력단 스트리밍 콘텐츠 제공 장치 및 방법
TWI571789B (zh) * 2012-03-06 2017-02-21 敦泰電子股份有限公司 電容式觸控螢幕的控制系統及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990032182A (ko) * 1997-10-16 1999-05-06 정선종 가변길이 파일의 버퍼 관리 장치 및 그 방법
WO2003079271A1 (en) * 2002-03-15 2003-09-25 Metatv System and method for construction, delivery and display of itv content
BR0313804A (pt) * 2002-08-21 2005-07-05 Disney Entpr Inc Biblioteca digital doméstica de filmes
JP2006041844A (ja) * 2004-07-26 2006-02-09 Toshiba Corp メタデータのデータ構造及びそのメタデータの処理方法

Also Published As

Publication number Publication date
US20050244147A1 (en) 2005-11-03
EP1592020A2 (en) 2005-11-02
EP1592020A3 (en) 2005-11-09
JP2005318471A (ja) 2005-11-10
TWI286295B (en) 2007-09-01
KR100676432B1 (ko) 2007-02-01
TW200537394A (en) 2005-11-16
KR20060047667A (ko) 2006-05-18

Similar Documents

Publication Publication Date Title
CN1694521A (zh) 用于运动图像的元数据
CN1694520A (zh) 用于运动图像的元数据
CN1820269A (zh) 运动图像中对象的元数据流的数据结构,及其搜索方法和重放方法
CN1270524C (zh) 视盘重放设备
CN1199446C (zh) 信息处理设备和方法
CN1193607C (zh) 信息处理设备和方法
CN1229990C (zh) 数字影像内容的影像再生装置、影像再生方法
CN1708115A (zh) 用于运动图像的元数据
CN1735199A (zh) 元数据的数据结构及其再现方法
CN1239021C (zh) 信息处理设备及方法、程序和记录介质
CN1767609A (zh) 用于运动图像的元数据的搜索表
CN100348033C (zh) 信息处理方法和装置、程序和记录介质
CN1240217C (zh) 与信息介质一起使用的增强导航***及使用该***的方法
CN1735206A (zh) 元数据和再现设备的结构以及制造这种设备的方法
CN1717054A (zh) 元数据的数据结构及其复制方法
CN1700331A (zh) 信息记录媒介、向/从记录媒介记录/重放信息的方法
CN1885426A (zh) 使用存储信息介质的信息回放***
CN101053033A (zh) 信息存储介质、信息再现设备、和信息再现方法
CN1925049A (zh) 使用信息存储介质的信息重放***
CN1913028A (zh) 信息存储介质、信息重放设备、信息重放方法和信息重放程序
CN1437750A (zh) 数据记录设备
CN1706187A (zh) 数据处理装置
CN1698369A (zh) 再现装置、再现方法、再现程序以及记录介质
CN1874243A (zh) 数据传输装置及方法
CN1535465A (zh) 信息记录介质,将信息记录到信息记录介质的装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication