CN101300637A - 用于对视听流进行帧精确编辑的方法和设备 - Google Patents

Abstract

公开了一种通过以GOP级编辑和无缝跳到使用预定标记的帧来对存储介质上的Mpeg流进行帧精确编辑的方法和设备。根据实施例，在蓝光标准的可记录蓝光光盘规范中定义的跳过开始标记被适当地设置在蓝光光盘(BD)上。当使用具有解码器(31)、馈给输出(35)的帧缓冲器(33)的合适解码器模型从BD播放这样的已记录流(30)时，当根据重放方向跳到将要跳过的部分的结束或者该部分的开始时，通过使用所述帧缓冲器作为中间缓冲器来帧精确地和无缝地跳过在编辑期间所剪掉的部分。

Description

用于对视听流进行帧精确编辑的方法和设备

本发明一般而言涉及视听数据流领域。更特别地，本发明涉及一种用于对视听流进行帧精确编辑的方法和设备。

现有技术的高容量存储标准是不久出现在消费品市场上的蓝光。蓝光光盘是全新的光存储介质，其比传统光存储介质提供更高的存储容量。蓝光光盘(BD)的许多应用之一将是视频材料的存储，更确切地说，是来自例如摄录机、卫星传输等的数字视听流的存储。高清晰度视频记录因此将是利用蓝光光盘的一个领域，这尤其是由于它的非常高的存储容量和高速数据传输率。

大多数数字视频记录器以MPEG格式记录视频。它们还提供一些非常基本的编辑特征。但是高级的编辑特征至今在计算能力即MIPS(每秒百万指令)和/或存储器密集的方面仍然要求高，并且不可能被结合在消费品中，这尤其是由于下述事实，即视频流必须从MPEG格式进行解码，然后再次重新编码，以便以相同的MPEG格式来存储。

但是对于专业高端消费电子产品，这些基本编辑特征是不够的。编辑视频序列包括在视听流内找到最近的GOP(图像组)边界，然后应用该编辑操作。在该方法中，由于GOP边界计算的缘故，用户本不打算编辑的少量帧将得到编辑，或者反之亦然。在大多数情况下，GOP的长度接近半秒。称作GOP精确编辑的该方法非常适合于低端产品，但是对于高端专业产品，GOP级的编辑是不可接受的。这在图1中被说明，其中说明了视频序列10的第一GOP 12、第二GOP 13、第N-1GOP 14和第N GOP 15。GOP精确编辑意味着***自动地决定把点A移动到点“a1”(当前GOP 12的开始)或移动到点“a2”(下一个GOP 13的开始)，其中点A表示视频序列10中待剪掉的帧序列的开始帧的开始。这同样适用于结束点B，该结束点B或者被移动到点“b1”(在前一GOP 14的结束)或者被移动到点“b2”(当前GOP 15的结束)。如果编码器在GOP中具有更多帧，则情况变得更坏。

在类似于蓝光记录器的高端产品中，预期是执行帧精确编辑(即，没有图1中的点A和/或点B的移位)。如果对剪掉的GOP(即GOP 12和GOP 15)周围的GOP完成MPEG重新编码，则可以实现该预期。但是重新编码MPEG是费时的，并且硬件必须具有类似于CPU能力、存储器等足够的资源来执行重新编码。因此，需要一种在对MPEG流进行帧精确编辑时避免MPEG重新编码的方式。

解决重新编码MPEG流对资源要求高的问题的一个已知思想是，在MPEG流的编辑点提供帧精确无缝重放。然而，必须生成并存储在编辑点之间的桥序列，如在WO00/00981中所公开的那样。因此，本发明的目的是提供不需要生成桥序列的帧精确编辑。该需要基于例如以下事实：该过程由于重新编码MPEG帧以创建桥序列而是费时的，因为MPEG帧的编码比MPEG帧的实时解码通常多花费约2至4倍的计算能力。此外，桥序列需要用于MPEG流的存储介质上额外的自由空间。

因此，用于帧精确编辑的改进的方法和***将是有利的，特别是，用于允许增加灵活性的、与现有的并且优选是未来的标准、尤其是BD标准兼容的帧精确编辑的方法和***将是有利的。

因而，根据所附的专利权利要求书，优选的是提供一种用于帧精确编辑的方法、设备、相应解码器以及包括程序代码的计算机可读介质。

根据本发明的一般解决方案是使用在标准中所定义的标记(mark)，该标记用于定义视听(A/V)流中的编入点和编出点。

根据本发明的第一方面，提供一种用于对已编码的视听(AV)流进行帧精确编辑的方法。该方法包括以下步骤：在编辑时，利用标记作为从所述AV流中剪掉序列的工具。当重放这样编辑的AV流时，根据编入和编出点来跳过该AV流中的序列。

根据本发明的另一方面，提供一种适于对已编码A/V流进行帧精确编辑的设备。能够执行根据本发明第一方面的方法的该设备包括被配置成设置标记的装置，当播放所述已编辑的AV流时，所述标记指示从所述AV流要跳过的帧序列的开始和持续时间。

根据本发明的另一方面，提供一种计算机可读介质，该计算机可读介质在其上包含供计算机处理的计算机程序。供计算机处理的该计算机程序被提供以用于对已编码A/V流进行帧精确编辑，并且包括用于设置标记的代码段，当播放所述已编辑的AV流时，所述标记指示从所述AV流要跳过的帧序列的开始和持续时间。

根据又一方面，提供一种用于对来自存储介质的已编码AV流进行解码的解码器***。该解码器***包括用于对已编码AV流进行解码的解码器，该解码器被配置成当跳过在编辑期间从所述流剪切的剪掉部分时，比标称(nominal)速度更快地解码AV流。此外，帧缓冲器被配置成存储来自所述解码器的已解码帧，并以标称速度馈给已解码帧的输出，其中解码器被配置成：在当到达跳过开始(skip-start)标记时由配置所述流的所述标记指示的所述剪掉部分中，停止馈给所述缓冲器，并根据重放方向在最后一个GOP或第一个GOP的开始处读取所述已编码流；以及在解码由所述跳过开始标记配置的所述剪掉部分的最后一个帧之后，继续馈给所述缓冲器，从而提供了所述剪掉部分的无缝重放跳过。

本发明具有优于现有技术的优点是它提供快速的用户响应，因为不需要MPEG帧的重新编码。本发明所提供的另一优点是不需要额外的自由存储介质空间，例如因为在执行本发明的方法时不必创建桥序列。

根据后面参考附图对本发明实施例的描述，本发明所能够的这些和其它的方面、特征及优点将是显而易见的，并将得到阐明，其中：

图1是MPEG-2流的GOP精确编辑的示意图；

图2是跳过开始标记的实例的示意图；

图3是解码器模型的示意图；

图4是根据本发明的方法的实施例的流程图；以及

图5是根据本发明的设备的实施例的示意图。

后面的描述集中在适用于蓝光帧精确编辑设备、特别是适用于蓝光记录器的本发明的实施例。然而将会认识到，本发明不限于该应用，而是可以应用于许多其它A/V存储格式，包括例如HD-DVD，只要类似于在此所述的标记在定义存储介质的记录格式的标准中可用。本发明可以利用任何存储介质例如光盘、HDD、介质卡等来实施。

标记一般被定义为由在标题所表示的AV流的全局时间轴上的时标所引用的指针。标记通常用来定位特征场景的重点以用于重放。

此外，标记可以具有类似于名称和持续时间的若干属性。持续时间定义标记的长度，即章节标记的长度。应用格式定义若干标记的使用。标记的一个应用使用是向重放隐藏标记的长度所标识的AV部分。在蓝光光盘规范版本1.0中，这类标记被称为跳过开始标记。这类标记在本发明的该实施例中用于帧精确编辑，以下将更详细地对其进行描述。

图2给出了跳过开始标记的实例。说明了AV流20，其中跳过标记定义了待跳过的AV流的帧序列22的开始21。如上所述，跳过标记包括关于时间(图2中的t)持续1的信息，在重放期间AV流将被跳过该时间持续1，即AV流的重放结束于跳过开始标记之前的帧的结束23，并且在该标记所指示的时间持续结束之后继续第一个帧24。

更具体而言，就本实施例而言，蓝光标准在BD-RE(可记录蓝光光盘)规范版本1.0的4.3.7.3节中定义了跳过开始标记以及可指定的持续时间。该BD-RE  规范例如可以从在http://www.licensing.philips.com/处的Philips Intellectual Property andSystems(IP&S)得到。可以以帧精确级***这些BD-RE跳过开始标记。如已经提到的，跳过开始标记是向包括跳过A/V流的指定部分的这种标记的已记录的BD的播放器的指示，并且通常用来隐藏用于重放的所选场景。

要指出的是，跳过开始标记是专门为重放定义的，因此在BD-RE规范v1.0即作出本发明时的规范中没有暗示或提及来对编入/编出点使用已定义的重放跳过标记。

实现与上面的BD-RE规范兼容的对MPEG流进行帧精确编辑的一种非常方便和计算上要求不高的方式是，对视频流执行GOP精确编辑，然后使用跳过开始标记以及标记定义的数据，该标记定义的数据在上述BD-RE规范的4.3.8节和4.3.7.3节中被规定。例如，在图1中，在点A放置具有从点A到a2的持续时间的跳过开始标记，以及在点b1放置具有从点b1到B的持续时间的另一个跳过开始标记。属于跳过时间周期的帧是在编辑期间被剪切的帧。这些剪切帧需要在后台(在输出处不可见)解码，以实现帧精确步进/步退。

现在参考图4进一步阐明该方法，其中该方法利用后面的步骤说明：

40把AV流从BD加载到编辑设备，

41以GOP级编辑AV流，

42以帧级编辑AV流，以及

43把开始-停止标记写在BD上。

在步骤40，把AV流从BD读到合适的编辑设备。在步骤41以GOP级编辑AV流，这是计算上的优点。用户选择AV流的某个区域，其中存在用户想要剪掉的帧序列。当以GOP级标识该区域时，在步骤42以帧级继续编辑，即用户精确标识从AV流要剪掉的序列的第一个帧和最后一个帧。该序列可以是在从电视播放中记录的电影中的商业广告时间。用户例如经由合适的图形用户接口和输入装置如鼠标、触摸屏、遥控器等，在所述第一个帧设置编入点并在所述最后一个帧设置编出点。根据该方法，跳过开始标记被设置在第一个帧，以及持续时间被设置为具有从第一个帧到所剪掉序列的最后一个帧的长度。在步骤43，该标记被记录到BD上，这导致在即将来临的该BD的重放期间跳过所剪掉的序列。

因此，根据本发明的该实施例，BD跳过开始标记被用于编辑。更确切地说，打算标记视频序列某些部分的开始的跳过开始标记被用于帧精确编辑。这些标记被用于实现编入和编出点以辅助帧精确无缝重放，而不需要生成桥序列。

实现该帧精确标记方法的一种方式是经由高效解码器***提供的，该解码器***具有在解码器与输出之间的缓冲存储器。图3示意性说明这种解码器模型。该缓冲器33包含已解码帧34，其中该缓冲器的大小取决于解码器的速度(比标称速度1快)。已编码AV流30从例如BD被读入解码器31。来自AV流的已解码帧32在重放AV流期间以fifo方式被输入帧缓冲器33中，即帧N、N+1、N+2是在时间T、T+1、T+2上的帧等。即当解码器没有从流跳过剪掉部分时，通常用来自解码器31(解码速度比正常速度1快)的已解码帧32的流的最大数量的帧34来填充缓冲器33。适当选择缓冲器33的大小，以使帧的预定最大数量适合于帧缓冲器33，其大小优选地对应于跳过开始标记可以指示跳过的最大长度(或帧的数量)。当解码器31到达跳过开始标记的开始21时，它从隐藏区域(即由跳过开始标记所指示的图2所示的区域22)中最后一个GOP的开始处开始读取。例如在图1的实例中，这是GOP 15。解码器开始在后台解码来自该GOP的帧，但是不把它们输入到帧缓冲器33中。解码器模型的输出35保持从帧缓冲器33输出帧，以保证无缝重放。当解码器31解码跳过在开始标记的隐藏区域22中的最后一个帧时，所有连续帧都被再次输入到帧缓冲器中，因而确保了无缝重放。

以下给出对于帧精确编辑使用BD跳过开始标记的应用。

如图5所示的蓝光记录器50正在使用户感觉到“你所编辑的就是你所得到的”，这意味着，帧精确编辑通过在已记录视频中逐帧地步进和步退来执行。这由用户执行以精确地找到期望的场景，或者根据上述方法剪掉用户想要丢弃的帧。当播放已编辑视频时，以帧精确级来跳过由用户所剪掉的场景。

在这方面，操作的若干模式是可能的。

例如，在剪切模式，标识应当被删除的场景。该模式适合于例如从电视节目中删除商业广告。在场景的开始和结束简单地设置选择标记，并且按下蓝光记录器的“剪切按钮”。输出文件的所选区域将不被播放，而未选择的区域将被播放，其中这通过开始跳过标记来控制，如上所述。

另一模式是场景模式，它与剪切模式正好相反。所选区域将被播放，而未被选择的将被跳过。例如，当用户想要从视频序列提取材料时，使用该操作模式。在此情况下，开始跳过标记被适当设置在未选区域的开始，并且持续时间被相应设置为未选区域的长度。

与以非标准方式实现帧精确编辑的现有技术用于帧精确编辑的解决方案对比，本发明的上述实施例与上述BD-RE标准相一致。当使用BD规范中所规定的标记数据时，本方法与BD规范的所有其它实施方式兼容。

根据本发明的上述方法的应用和使用是各种各样的，并且包括诸如蓝光记录和重放产品(例如消费或专业BD记录器、BD存储解决方案等)的全部范围之类的典型领域。

本发明的更多应用还包括使用如上所述的标记的任何A/V存储应用。

本发明的另一优点是根本不编辑视频净荷。仅仅把附加的视频元数据、即跳过开始标记位置和标记定义的数据附加地写入该盘。

本发明可以以任何合适的形式被实施，包括硬件、软件、固件或者这些的任何组合。然而，本发明优选被实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明实施例的元件和部件可以以任何合适的方式被物理地、功能地和逻辑地实施。实际上，可以在单个单元中、在多个单元中或者作为其它功能单元的一部分来实现功能性。因此，本发明可以被实施在单个单元中，或者可以物理地和功能地分布在不同单元与处理器之间。

尽管已经参考特定实施例描述了本发明，但是本发明并不打算限于在此所述的特定形式。而是，本发明仅仅由所附权利要求书来限定，并且不同于上面的特定实施例的其它实施例(例如，与上述标记不同的标记)同样可能在这些所附权利要求书的范围内。此外，本领域技术人员将会理解，上述实施例基于已编辑视频流的前进播放，并且当反转已编辑视频流的重放方向时，相同的原理只是在不同的方向上如上所述地应用。这意味着例如第一帧在相反方向上是最后帧，等等。

在权利要求书中，术语“包括/包含”并不排除其它元件或步骤的存在。此外，尽管被单独列出，但是多个装置、元件或方法步骤可以通过例如单个单元或处理器来实施。另外，尽管单个特征可能被包含在不同的权利要求中，但是这些特征有可能被有利地组合，并且在不同权利要求中的该包含并不意味着特征的组合是不可行的和/或不利的。另外，单数引用并不排除多个。术语“一”、“一个”、“第一”、“第二”等并不排除多个。在权利要求书中的附图标记仅仅作为阐明例子而被提供，并且不应解释为以任何方式限制权利要求的范围。

Claims (16)

1、一种对已编码视听(AV)流进行帧精确编辑的方法，包括利用标记来从所述AV流中剪掉帧序列的步骤。

2、根据权利要求1所述的方法，包括当编辑所述AV流时把所述标记存储在存储介质上。

3、根据权利要求2所述的方法，所述标记是跳过开始标记。

4、根据权利要求3所述的方法，所述跳过开始标记定义了在编辑所述AV流期间剪掉的所述AV流的所述帧序列的开始和持续时间。

5、根据权利要求4所述的方法，包括：在所述帧序列的播放方向上的第一个帧设置所述跳过开始标记，并且把该持续时间设置为从第一个帧至所述AV流的所剪掉序列的最后一个帧的长度。

6、根据权利要求1所述的方法，其中利用所述标记的所述步骤包括：把所述标记存储在存储所述AV流的已编辑版本的存储介质上，以便通过跳过定义了所述存储的已编辑AV流的所述序列的编入点与编出点之间的帧来启动无缝重放，以及其中所述标记实施用于从所述AV流剪掉所述序列的所述编入点和编出点。

7、根据任何一项在前权利要求所述的方法，包括：对AV流进行GOP精确编辑，然后通过以帧精确级利用所述标记来对所述AV流进行帧精确编辑。

8、根据权利要求1所述的方法，包括：通过解码器***来解码来自存储介质的所述已编码AV流，包括通过以下步骤从所述AV流跳过所述编辑期间剪掉的序列：

在所述跳过步骤期间，以快于标称速度的速度来解码来自存储介质的所述已编码AV流，

把已解码帧存储在帧缓冲器中，并以标称速度馈给已解码帧的输出，

当到达所述标记时，在由所述跳过开始所指示的所述剪掉段中，停止馈给所述缓冲器，并根据重放方向在第一个或者最后一个GOP的开始处继续读取所述已编码AV流，以及

在根据重放方向解码由所述跳过开始标记所配置的所述剪掉部分的最后一个帧或者第一个帧之后，以标称速度继续馈给所述缓冲器，

从而在所述输出处提供所述剪掉段的无缝重放跳过。

9、一种适合于对已编码A/V流(30)进行帧精确编辑的设备(50)，其中所述设备包括被配置成利用标记来从所述AV流剪掉帧序列的装置。

10、根据权利要求9所述的设备(50)，其中所述装置被配置成设置所述标记，当播放所述已编辑AV流时，所述标记指示从所述AV流要跳过的所述帧序列的开始和持续时间。

11、根据权利要求9或10所述的设备，包括用于从存储介质解码所述已编码AV流(30)的解码器***，所述解码器***包括：

用于解码已编码AV流(30)的解码器(31)，其被配置成在从所述流(30)跳过编辑期间剪掉的部分时，以快于标称速度的速度来解码AV流(30)，

帧缓冲器(33)，其被配置成存储来自所述解码器(31)的已解码帧(34)，并且以标称速度馈给已解码帧的输出(35)，

其中该解码器(31)被配置成：

当到达所述标记时，在由配置所述流的跳过开始标记所指示的所述剪掉部分中，停止馈给所述缓冲器(33)，并根据重放方向在第一个或者最后一个GOP的开始处继续读取所述已编码流(30)，以及

在根据重放方向解码由所述跳过开始标记所配置的所述剪掉部分的最后一个帧或者第一个帧之后，以标称速度继续馈给所述缓冲器(33)，

因此，在所述输出(35)处提供所述剪掉部分的无缝重放跳过。

12、根据权利要求9至11所述的设备，其中所述设备是蓝光记录器。

13、一种计算机可读介质，在其上包含用于对已编码A/V流进行帧精确编辑的计算机程序，该计算机程序由计算机处理，所述计算机程序包括：

用于设置标记的代码段，当播放所述已编辑AV流时，该标记指示从所述AV流要跳过的帧序列的开始和持续时间。

14、权利要求13所述的计算机程序，其能够执行权利要求1至8中任何一项所述的方法。

15、作为实现对已编码A/V流进行帧精确编辑的工具的标记的使用。

16、根据权利要求15所述的使用，其中所述标记是BD-RE跳过开始标记。

Images