CN101438583B - 数字多功能光盘由内容而定的多视角浏览技术 - Google Patents

Abstract

从多个流中选择一个音频-视频流，首先是检测至少一个流中提供有关该流以及与该流同步存在的那些流的信息的浏览包。从浏览包中确定与该一个流同步存在其它哪些流，每个流中存在哪些音频和子图像数据包，以及存在哪些用于在同步的流之间进行选择的加亮突出的信息属性。根据有关至少一个其它同步的流的信息，修改音频数据包、子图像数据包或加亮突出的信息属性中的至少一个，以允许可由观看者选择的按键或类似元件的显示，以在同步的流之间进行选择和/或呈现每个流内不同的音频和/或子图像内容。

Description

数字多功能光盘由内容而定的多视角浏览技术

相关申请的交叉参考

依照美国法典第35卷119条(e)款，本申请主张2004年4月22日提交的美国临时专利申请号60/564,415的优先权，该申请的教导并入此处。

技术领域

本发明涉及数字多功能光盘，以前称为数字视频光盘(DVD)，且特别是涉及一种便于在嵌入于DVD上的不同音频/视频(A/V)流之间进行选择和与其互动的技术。

背景技术

DVD的发展随着CDROM的发展，努力实现有存放大视频文件的足够存储能力，使单个光盘能够容纳完整长度的运动图像，即使是用诸如运动图像专家组(MPEG)压缩技术压缩的运动图像。因为DVD是在九十年代中期首次引入的，它已经盛行起来，成为大规模给消费者分发运动图像和视频内容的首选介质。

现今的DVD典型地包括至少一个，且通常是多个并行的彼此同步的音频/视频(A/V)流。通常这样的A/V流包括从不同视角拍摄的同一个场景的不同录像。因而，这种不同的A/V流通常指的是“视角”。通过已知的“多视角浏览”方法来选择不同的视角(即，不相同的流)，藉此使观看者通过选择显示屏上的相关图标来选择一个期望的视角。DVD和相关重放设备的生产商所采纳的DVD规范定义了一个称为“多视角视频”的方法，这样内容作者可以定义多达九个同时发生的A/V流，其中任何一个A/V流可以在任意时间在显示屏幕上显示。在重放期间，观看者可以通过DVD播放器上的或者用于这种播放器的遥控器上的按键激活一个命令，在一组同步的A/V流之间无隙地切换。然而，在当前可用的DVD授权软件已知的实施中，存储在每个A/V流中的按键加亮突出的信息(HL1)总是与其它流中的按键加亮突出的信息保持一致。

因此，一个给定的按键会以同样的方式出现在同一个位置，使执行同一个命令成为可能，而不管显示屏幕上出现的是什么视角。附加的HLI属性也同样，例如用于在按键和按键颜色方案之间进行方向性浏览的指令。存储在每个A/V流中的子图像和音频数据同样也保持一致。这种子图像数据描述按键表现(rendering)、字幕以及其它通过视频显示的图像元素。

因此需要一种多视角DVD浏览技术，使内容作者能够分配由前后关系决定的互动性，并能够将不同的音频和子图像数据替换为在DVD上播放的并行、同步的音频/视频(A/V)流。

发明内容

简言之，根据本发明原理的优选实施例，提供一种使观看者能够在记录于存储介质上的多个音频-视频流之间无隙地进行选择的方法。该方法从检测至少一个流中的第一浏览数据包开始。从浏览数据包确定，其它哪些流同步存在，以及在至少一个流内存在哪些加亮突出的属性，包括用于在同步的流中进行选择的选择命令。随后至少一个同步流加亮突出的属性，例如，一个选择命令，经过至少其外观、位置和执行函数中的一个的修改后显示给观看者。接收显示命令的观看者因此可以实现流的切换。通过这种方法，内容作者可以将带有特有的伴随属性的特有的互动按键嵌入到每个并行流中，以允许观看者与流互动并执行命令的方式，诸如，无隙地变换到另一个并行A/V流，选择可替换的音频或字幕内容，或者跳到其它演播内容。

本发明还为内容作者提供修改并行呈现的多个音频-视频流中至少一个音频-视频流内子图像和/或音频数据的方法。通过检测至少一个流中的第一浏览包来起动该方法。从该浏览包确定，同步存在有其它流中的哪些流，以及每个流中存在什么音频和子图像包。随后，修改一个或多个音频和/或子图像包中的数据载荷。与其它并行的流，相比较并行呈现的A/V流会具有不同的子图像和音频内容。通过这种方式，内容作者可以在每个A/V流中嵌入特有的音频和/或子图像内容，比传统方法的替换内容必须存在于每个A/V流内的附加子流中要优越。

附图说明

图1描述用于实现本发明原理的多视角浏览技术的现今DVD播放器方块示意图；

图2描述的是音频/视频流、视频对象单元(VOBU)和***单元(ILVU)之间的关系；

图3A和图3B描述显示两个不同视角的两个视频屏幕，每个屏幕显示与另一个屏幕相反的视角布局；

图4A-4D每幅图描述了一个根据本发明原理的视频屏幕，四个单独的布局中每个具有四个视角；以及

图5A-5I每幅图描述了一个根据本发明原理的视频屏幕，显示以不同方式布局的九个单独视角中的一个。

具体实施方式

图1描述用于应用本发明DVD浏览技术的现有技术数字多功能磁盘(DVD)播放器10的方块示意图。DVD播放器10包括一个驱动马达12，在伺服器14的控制下使DVD13旋转。拾取头马达16也是由伺服器14控制，移动光学拾取头18横越DVD13，读取其上携带的信息。前置放大器20对拾取头18的输出信号进行放大，用于输入到解码器22中，由解码器对从DVD13中读取的光学信息进行解码，产生程序流。分用器24将程序流分解成单独的组成部分：(a)音频流，(b)视频流，(c)子图像流，和(d)浏览信息，典型的是用元数据或类似的形式。

音频、视频和子图像流分别通过单独的一个音频解码器26、视频解码器28和子图像解码器30进行解码。同步器36，有时称为播放引擎，用于将分别解码的音频、视频和子图像流组合成视频流，与嵌入式音频一起，以根据几种已知电视格式中的一种进行适合的再现，例如NTSC或PAL。视频数字到模拟转换器34将视频流转换为模拟视频，用于在显示设备(未示)，诸如电视机上显示，而音频数字到模拟转换器将嵌入的音频转换为模拟音频，用于由显示设备或其它装置(未示)进行后继的再现。

在DVD播放器10中，中央处理单元(CPU)38，典型的是带有相关存储器的微处理器，或者微计算机或微控制器的形式，用于根据通过观看者接口(U/I)40输入的用户命令，控制浏览以及DVD播放器的其它方面，观看者接口典型地包括遥控形式的红外(I/R)发射器和I/R接收器组合的形式。特别是，关于浏览，CPU 38从分用器24接收解码后的元数据，并且产生用于由同步器32接收的菜单信息。通过这种方式，菜单信息最终显示给观看者观看。观看者典型地会通过U/I 40输入一个或多个由CPU 38接收的命令来响应所显示的信息，CPU 38反过来控制伺服机14转移拾取头18，找到所期望的程序内容。

DVD规范(DVD规范只读磁盘/第3部分。视频规范，1996年8月，1.0版本)，将可以应用DVD浏览的最小对象定义为视频对象单元(VOBU)。VOBU典型的是对应于0.4到1.2秒的重放时间内所包含复用的视频、音频、子图像、加亮突出部以及其它浏览数据。每个VOBU中可以存在多个音频和子图像数据子流(例如，立体声和环绕的音频子流和/或德国和葡萄牙字幕。)这种复用数据的组合构成一个“A/V流”。在多视角片段中，多个A/V流一起***到单个视频对象(VOB)流中，为了能够从一个流迅速访问另一个流，进行无隙或者接近无隙的切换。

DVD规范将***单元(ILVU)定义为，具有一个或多个VOBU的模块，使多视角A/V流的内容与共同的时间戳校准，提供A/V流的同步。在重放期间，同步器32只对与当前选中的A/V流对应的ILVU进行解码和显示。DVD规范基于视角的数目(即，可用的流的数目)，物理装置的扫描速度以及解码缓冲区(未示)的大小定义了ILVU的最大尺寸。如果超过了该最大尺寸，便不能保证任何视角的无隙重放。

图2图示多视角视频的VOBU复用A/V流数据和ILVU数据结构的关系。如图2所示，由图1的解码器22解码的每块程序流都包括一个浏览包(NV_PCK)，一个视频包(V_PCK)，一个音频包(A_PCK)和一个子图像包(SP_PCK)。DVD规范在每个VOBU开始处的NV_PCK的浏览数据结构(DSI)部分中定义了无隙视角信息数据结构(SML_AGLI)，其包括一个ILVU起点表，表明每个无隙视角下一个ILVU的位置。这种信息使图1的CPU 38能够控制伺服机14进行到VOB流内的哪个位置，当它准备好开始呈现下一个ILVU时。

另外，DVD规范在每个VOBU开始处的浏览数据部分内定义了几个数据结构。这些数据结构，例如，加亮突出的一般信息(HLI_GI)、按键颜色信息表(BTN_COLIT)和按键信息表(BTN_IT)，定义显示屏中显示的按键的数目、位置、外观和功能。

根据本发明原理，加亮突出的信息能够经过操作来改变显示给观看者的信息，例如画中画菜单显示，使选择不同的流成为可能。假定在一个DVD光盘中存在一组无隙多视角VOB流，其已经包含现有的一组对于所有视角而言都一致的互动按键组，可以通过下面的步骤对每个视角流内复用的加亮突出的信息(HLI)进行低级别的操作：

1、扫描VOB流，找到包括无隙视角信息(SML_AGLI)表中非零值的第一NV_PCK所在的位置，以确定无隙多视角数据从哪里开始。

2、从该NV_PCK确定视角数目，按键数目，ILVU大小以及每个视角的ILVU的开始地址。

3、根据当前视角的需要修改加亮突出的信息。如果当前的加亮突出的信息与前一个VOBU不同，那么重新将加亮突出的信息状态(HLI_SS)值设为01b，根据DVD规范。

4、遍历当前ILVU的每个VOBU，重复步骤#3。

5、遍历随后的每个ILVU，重复以上步骤。

上述步骤典型的是出现在，使用软件实体将用于DVD的VIDEO_TS目录文件作为输入，输出一个具有根据内容作者的意图调节后的VOB流的修改的VIDEO_TS目录文件。为了进行解释，在DVD光盘上，DVD电影出现在VIDEO_TS目录中，而AUDIO_TS目录存储DVD音频。存在这样的软件实体，其包括下面执行函数和类：

DVDDataSeach()

该函数查找VOB包头指示符并检索IVLU块的大小和第一视频视角的参考数据。

GetDataPosition()

该函数检索按键、命令和ILVU大小信息，其位置在DVD规范中进行定义。

DoVOBUChange()

该函数核对视角标识符并从GetDataPosition()得到按键信息。此外，该函数根据观看者的输入来修改按键信息。

ProcessAngles()

该函数起动在VOB流中进行遍历，以找到并处理每一例无隙多视角数据。

CAngleNavigateAppDlg

该函数建立观看者接口的类定义，内容作者可以通过该观看者接口详细说明每个视角按键加亮突出的信息的修改。

下面的例子说明根据本发明原理提供对由前后关系而定的多视角选项进行选择的不同方法。

示例#1-切换

图3A和3B共同描述了在第一视角和第二视角102和104之间进行切换的简单例子，每个视角具有相关的视频内容。每个视角占用一全帧的视频显示，并包括一个出现在该帧底部的按键106。试图变换视角的观看者点击或者另外启动按键106。因此，例如在图3A中视角102全屏显示，观看者点击按键106选择视角104全屏显示如图3B所示。相反，在图3B中视角104现在全屏显示，观看者点击该屏幕上的按键106选择视角102全屏显示如图3A所示。按键106，可以呈现为可见或不可见元件，从而允许简单地从一个视角转换另一个视角，并且再转换回来。因此，按键106的命令集会具有下面状态的视角102和104。

视角102：        视角104：

1：设置视角＝104 1：设置视角＝102

示例#2预览

图4A-4E每幅图分别描述一个包括四个视频视角202、204、206和208的多视角视频显示，其中一个视角为全屏显示，其余的每个视角沿着全屏视角的底部呈现为“画中画”元件。每个“画中画视角”提供该视角的预览以及允许无隙地切换到该视角的选择按键。因此，在图4A-4D的每幅图中，视角202、204、206和208分别为全屏呈现，其它视角呈现为画中画元件。通过点击呈现为画中画成分的视角中单独的一个视角，观看者可以选择并无隙地切换到可替换的视频视角中的一个。与视角202、204、206和208每个视角相关的选择按键功能如下所示：

视角202：           视角204：           视角206：           视角208：

1：设置视角＝204    1：设置视角＝202    1：设置视角＝204    1：设置视角＝204

2：设置视角＝206    2：设置视角＝206    2：设置视角＝202    2：设置视角＝206

3：设置视角＝208    3：设置视角＝208    3：设置视角＝208    3：设置视角＝202

在这个例子中，从一个视角变化到下一个视角只需要出现一个按键选择，所有三个画中画中画元件在所有四个视角都要改变。

C.实施例#3浏览

图5A-5I每幅图分别描述的是不同布局的九个单独的视角302，304，306，308，310，312，314，316和318中的一个，给观看者提供了可以直接在3D空间浏览的体验。在图5A-5I每幅图中，每个视角表现网格上的一个视点。五个按键分别呈现在每个视频视角中，并且每个按键与典型的DVD播放器遥控上的“选择”，“上箭头”，“下箭头”，“左箭头”和“右箭头”按键中单独的一个按键具有相同的方向。虽然这些按键在图5A-5I中是可见的，但是实际上这些按键典型地是不可见的。按键与方向对应，使得按键1＝上，按键2＝左，按键3＝中间(选择)，按键4＝右，并且按键5＝下。选择键(在中央)默认为加亮突出的，其余的按键在当相对应的方向被选中时会被自动激活。因而，当观看者按下遥控器上的“右箭头”按键时，对应的(不可见的)按键(按键4)会执行其命令。图5A-5I中每幅图中的五个的每个按键选择视角302-318中对应的一个视角。

如下图所示，为了实现在3维空间进行无隙转换的感觉，需要一种复合的按键命令，适用于每个视频视角。

与视角302、304、306、308、310、312、314、316和318每个视角相关的选择按键功能如下所示：

视角302：           视角304：           视角306：

1：设置视角＝302    1：设置视角＝304    1：设置视角＝306

2：设置视角＝302    2：设置视角＝302    2：设置视角＝304

3：设置视角＝314    3：设置视角＝316    3：设置视角＝318

4：设置视角＝304    4：设置视角＝306    4：设置视角＝306

5：设置视角＝308    5：设置视角＝310    5：设置视角＝312

视角308：           视角310：           视角312：

1：设置视角＝302    1：设置视角＝304    1：设置视角＝306

2：设置视角＝304    2：设置视角＝308    2：设置视角＝310

3：设置视角＝302    3：设置视角＝304    3：设置视角＝306

4：设置视角＝310    4：设置视角＝312    4：设置视角＝312

5：设置视角＝314    5：设置视角＝316    5：设置视角＝318

视角314：           视角316：           视角318：

1：设置视角＝308    1：设置视角＝310    1：设置视角＝312

2：设置视角＝314    2：设置视角＝314    2：设置视角＝316

3：设置视角＝308    3：设置视角＝310    3：设置视角＝312

4：设置视角＝316    4：设置视角＝318    4：设置视角＝318

5：设置视角＝314    5：设置视角＝316    5：设置视角＝318

如上面所示，与上表中302-318每个视角相关的按键命令1-5对应于图5A-5I的按键布局(例如，1＝上，2＝左，3＝中间，4＝右，5＝下)。

下表显示的是从中心按键(按键3)进行浏览(通过“上箭头”、“下箭头”、“左箭头”或者“右箭头”)。在该例子中，当被浏览的按键函数没有可见结果时(例如，选择当前视角的命令)，不允许进行方向浏览。

视角302：    视角304：    视角306：

上：无       上：无       上：无

左：无       左：按键2    左：按键2

右：按键4    右：按键4    右：无

下：按键5    下：按键5    下：按键5

视角308：     视角310：    视角312：

上：按键1     上：按键1    上：按键1

左：无        左：按键2    左：按键2

右：按键4     右：按键4    右：无

下：按键5     下：按键5    下：按键5

视角314：     视角316：    视角318：

上：按键1     上：按键1    上：按键1

左：无        左：按键2    左：按键2

右：按键4     右：按键4    右：无

下：无        下：无       下：无

根据本发明的原理，可以调节并行演播的每个A/V流中的特定子流内的子图像和音频数据来改变呈现给观看者的信息，例如每个A/V流内不同音频解说词或音频的混合或者不同的按键形状或字幕。

1、扫描VOB流，找到包括无隙视角信息(SML_AGLI)表中非零值的第一NV_PCK所在的位置，以确定无隙多视角数据从哪里开始。

2、从该NP_PCK确定视角数目，按键数目，ILVU大小以及每个视角的ILVU开始地址。

3、根据当前视角需要修改A_PCK和SP_PCK数据。

4、遍历当前ILVU的每个VOBU，重复步骤#3。

5、遍历随后的每个ILVU，重复以上步骤。

上面描述的步骤典型地是出现在，使用软件实体将用于DVD的VIDEO_TS目录文件作为输入，输出一个具有根据内容作者的意图调节后的VOB流的修改的VIDEO_TS目录文件。为了进行解释，在DVD光盘上，DVD电影出现在VIDEO_TS目录中，而AUDIO_TS目录存储DVD音频。存在有包括下面函数和类的软件实体：

DVDDataSeach()

该函数查找VOB包头指示符并检索IVLU块的大小和第一视频视角的参考数据。

GetDataPosition()

该函数检索按键、命令和ILVU大小信息，其位置在DVD规范中进行定义。

DoVOBUChange()

该函数核对视角标识符并从GetDataPosition()得到A_PCK和SP_PCK位置。

ProcessAngles()

该函数起动在VOB流中进行遍历，以找到并处理每一例无隙多视角数据。

以下的例子说明根据本发明原理以无隙多视角演播的不同视角之间相同子流区分音频和子图像数据的一个实施例。

示例#1：导演评论

无隙多视角演播，用于提供可见的导演对场景的评论。两个A/V流并行出现。第一个A/V流呈现场景，而第二A/V流呈现带有合成于帧中的导演图像的场景。每个A/V流包含一个子图像子流和一个音频子流。A/V流1的音频子流只包含演员的对话。A/V流2的音频子流包含混合有导演评论的演员对话。A/V流1的子图像子流只包含演员对话的字幕。A/V流2的子图像子流包含演员对话和导演评论的字幕。

前文描述了一种技术，用于提供一种使观看者能够无隙地在记录于存储介质上的多个音频-视频流之间进行选择的方法，通过每个流特有的交互元件的方式。虽然本发明原理的无隙选择技术是根据DVD规范进行描述的，该技术还也适用于HD DVD-视频规范版本0.9。该技术还可应用于所谓的“蓝光”(BD)光盘。

Claims (22)

1.一种使观看者能够从记录于存储介质上的多个音频-视频流之间进行选择的方法，包括步骤：

检测至少一个流内的第一浏览数据包；

从浏览数据包确定其它哪些流与该至少一个流同步，以及存在哪些加亮突出的信息属性，使在所述其它同步的流中进行选择成为可能；以及

修改加亮突出的信息属性中的至少一个，以改变其中至少一个：外观、位置和执行函数来显示给观看者。

2.根据权利要求1的方法，其中修改步骤进一步包括根据与至少一个流同步的至少一个其它流来修改至少一个加亮突出的信息属性的步骤。

3.根据权利要求1的方法，其中修改步骤进一步包括修改加亮突出的信息的函数以提供至少一个按键显示的步骤，按键在被观看者执行时，使在第一和第二音频/视频显示之间进行转换成为可能。

4.根据权利要求3的方法，其中修改步骤进一步包括修改加亮突出的信息的外观，以在显示器内的指定位置处显示至少一个按键的步骤。

5.根据权利要求3的方法，其中修改步骤包括修改加亮突出的信息的函数，以提供音频-视频流内多个预览面板的显示的步骤，每个预览面板可以由观看者选择，实现另一个音频-视频流的全帧显示。

6.根据权利要求5的方法，其中修改步骤进一步包括修改加亮突出的信息的外观，使每个预览面板可以提供相应音频-视频流的显示的步骤。

7.根据权利要求1的方法，其中修改步骤包括修改加亮突出的信息的外观，以实现不可见按键的显示的步骤，不可见按键在被用户激活时变为可见以选择流中的一个。

8.根据权利要求1的方法，其中每个流具有多个***单元，每个***对象具有多个视频对象，其中对该至少一个流内的每个***单元内的每个视频对象重复该确定步骤。

9.使观看者能够在记录于存储介质上的多个音频-视频流之间进行选择的设备，包括：

用于检测至少一个流内的第一浏览数据包的装置；

从浏览包确定其它哪些流与该至少一个流同步以及存在有哪些用于在其它同步的流中进行选择的加亮突出的信息属性的装置；

为了显示给观看者而修改至少一个加亮突出的信息属性，以改变其外观、位置、执行函数中的一个的装置。

10.根据权利要求9的设备，其中修改设备根据与至少一个流同步的至少一个其它的流来修改至少一个加亮突出的信息属性。

11.根据权利要求9的设备，其中修改设备修改加亮突出的信息的函数，以提供至少一个按键的显示，其中该至少一个按键被观看者执行时，使在第一和第二音频/视频显示之间进行转换成为可能。

12.根据权利要求9的设备，其中修改设备修改加亮突出的信息的外观，以在显示器内的预定位置处显示至少一个按键。

13.根据权利要求9的设备，其中修改设备修改加亮突出的信息的函数，以提供音频-视频流内多个预览面板的显示，每个预览面板可以由观看者选择，以实现所选中的音频-视频流的全帧显示。

14.根据权利要求9的设备，其中修改设备修改加亮突出的信息的外观，使每个预览面板提供选中的音频-视频流的显示。

15.根据权利要求9的设备，其中修改设备修改加亮突出的信息的外观，以实现不可见按键的显示，不可见按键在被用户激活时变为可见以选择流中的一个。

16.根据权利要求9的设备，其中每个流具有多个***单元和每个***单元内的多个视频对象，其中确定设备对至少一个流内的每个***单元的每个视频对象，确定哪些流同步存在。

17.一种使内容作者能够修改记录于存储介质上并行演播的一个或者多个A/V流中特定的子流内音频和子图像内容的方法，包括步骤：

检测至少一个流内的第一浏览数据包；

从浏览包确定其它哪些流与该至少一个流同步存在，以及在每个同步流内存在有哪些子图像和音频包；以及

修改至少一个流内子图像和音频包中的至少一个。

18.根据权利要求17的方法，进一步包括修改音频包以呈现每个A/V流内不同音频解说词的步骤。

19.根据权利要求17的方法，进一步包括修改音频包以呈现每个A/V流中不同混音的步骤。

20.根据权利要求17的方法，进一步包括修改子图像以呈现不同的按键形状和字幕中的一个的步骤。

21.使内容作者能够修改记录于存储介质上并行演播的一个或多个A/V流内特定子流内的音频和子图像内容的设备，包括：

检测至少一个流内的第一浏览数据包的装置；

从浏览包确定与该至少一个流同步存在有其它哪些流以及每个同步的流中存在有哪些子图像和音频包的装置；以及

修改至少一个流中的子图像和音频包中至少一个的装置。

22.一种音频视频播放器，包括：

解码器，对要显示的多个音频一视频流进行解码，至少一个流内包含有至少一个流内的至少一个浏览包，包含有表明哪些流彼此同步存在的数据，而且还包含使在其它流中进行选择成为可能的加亮突出的信息属性；与至少一个流相关的加亮突出的信息属性可以不依赖于与至少一个其它流相关的加亮突出的信息属性进行修改；

响应于用户对至少一个加亮突出的信息属性的选择，以便在光盘重放时改变加亮突出的信息属性的外观、位置和执行函数中的至少一个显示给观看者的装置。

Images