CN1469645A

CN1469645A - 用于再现图像的方法和装置以及图像记录装置

Info

Publication number: CN1469645A
Application number: CNA031486355A
Authority: CN
Inventors: ֮; 冈田茂之; 山内英树
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2002-06-13
Filing date: 2003-06-12
Publication date: 2004-01-21
Anticipated expiration: 2023-06-12
Also published as: CN1278550C; US20040008770A1; JP2004023303A; JP3825719B2; US7558319B2

Abstract

预先获取与编码数据序列的GOP内的画面有关的结构信息。在高速再现时，高速再现模式判断部件通过参考画面结构信息，来判断高速平稳再现是否可行。如果高速再现可行，则高速平稳再现控制部件执行高速平稳再现。如果不可行，则高速跳跃再现控制部件执行高速跳跃再现。对于反向再现，一个GOP的图像数据，用如MPEG编码器来进行重新编码，然后，重新编码的图像数据被存储在存储器中。随后，把根据GOP内的画面的结构信息预测的编码数据量与存储器的容量进行比较；如果所估计的编码数据量超过存储器的容量，则采取诸如提高压缩比的对策。

Description

用于再现图像的方法和装置以及图像记录装置

发明背景

1.发明领域

本发明涉及用于再现或记录图像的一种技术，它尤其涉及用于再现编码图像数据的方法和装置、图像记录装置，并涉及可被用于这些方法和装置的移动图像数据的一种数据结构。

2.相关技术的描述

电视广播的数字化正在迅速发展。已在BS(广播卫星)广播和CS(通信卫星)广播中开始实行数字广播，也制定了地面波广播实行数字化的计划。在数字电视广播中，通过使用MPEG-2(移动图像专家组2)(它是数据压缩和扩展的国际标准)，不仅可以高效率地传递和存储信息，而且可以由一单一的转发器来播送多个频道。因此，也可预期：可为用户提供更多的便利。

另一方面，近年来便携式终端的普遍使用，预计会增加对具有高数据压缩比的编码***的需求。因此，正在调查可传输以低比特速率压缩的图像的MPEG-4编码方法的使用。在今后的数字电视广播中，MPEG-4将和MPEG-2一起使用来分发图像信息。

在MPEG中，在对移动图像数据进行编码的过程中，使用被称作“帧间预测”的压缩技术。利用帧间预测这项技术，可以根据编码帧的数据(对应于所述帧过去或将来的数据)来预测和压缩将要被编码的帧的数据。在MPEG中的帧间预测的过程中，不仅采用根据过去的帧来执行预测的向前预测，而且采用根据过去帧和将来帧来执行预测的双向预测。

在MPEG-2中，被称作“I画面”(画面内)、“P画面”(预测性画面)和“B画面”(双向预测性画面)的三种类型的画面被定义，以实现这种双向预测。I画面是通过帧内编码处理、与过去和将来的再现图像无关而独立产生的图像，并可用其图像内的数据来进行解码。I画面内的所有宏块通过帧内编码处理而生成。P画面使用基于过去的I或P画面的预测并通过帧间向前编码处理而生成。P画面内的宏块包括一个帧内编码宏块和向前预测的一个帧间编码宏块。

B画面使用双向预测并通过帧间编码处理而被产生。在双向预测中，B画面由以下三个预测中的一个预测产生。

(1)向前预测；来自过去的I画面或P画面的预测。

(2)向后预测；来自将来的I画面或P画面的预测。

(3)双向预测；来自过去和将来的I画面或P画面的预测。

B画面内的宏块包含一个帧内编码宏块和向前预测、向后预测或内插预测的一个帧间编码宏块。

在MPEG-4中，时序中的视频物体被称为VO(视频物体)，构成VO的每个图像被称为VOP(视频物体平面)。VOP对应于MEPG-2中的画面。根据所使用的预测编码，可得到以下四种类型的VOPs。

(1)I-VOP；帧内编码VOP。

(2)P-VOP；帧间向前预测编码VOP。

(3)B-VOP；帧间双向预测编码VOP。

(4)S-VOP；子画面VOP。

前三个VOPs(它们是I-VOP、P-VOP和B-VOP)分别对应于MPEG-2中的I画面、P画面和B画面。

在MPEG中，编码图像数据被表达为具有分层结构的位流数据。在MPEG中被处理的运动画面由(例如)1秒钟的30个帧构成。在MPEG-2中，帧通常对应于画面。在MPEG-2中，画面的集合被称作GOP(画面组)，从而可以用此GOP的单元进行随机存取。为了执行随机存取，GOP内至少要求有一个I画面。在MPEG-4中，VOP的集合作为GOV(VOP组)被进行处理。

这样，当按照MPEG标准的编码数据流被进行解码和再现时，以GOP或GOV为单元存取数据。但是，一个GOP(或GOV)中所包含的画面(或VOPs)的数量不一定固定不变。在MPEG-2中，作为标准等级，每个GOP通常有15-30个像素；而在MPEG-4中，每个GOV大约有120个GOPs。但是，例如，当存在场景变化时，可能会从发生场景变化的那个画面开始重新计算GOP，等等。由此，GOP的结构可能在编辑的时候已被更改。这样，即使在一系列编码数据流内，GOP中所包含的画面的数量、类型或次序也不一定固定不变。由于在MPEG中执行双向预测，因此，画面的出现次序不同于编码数据流中实际的显示次序，从而将需要复杂的解码处理。在画面结构不规则的情况下，如果要特别执行特殊的再现处理(例如，高速再现和反向再现)，则处理将会进一步变得复杂。这种复杂性造成执行此种情况可能需要的适当处理变得不可能。

发明概述

鉴于前述情况，开发了本发明，其目的是：改进用于编码数据序列的高速再现或反向再现的处理技术。

根据本发明的一个较佳实施例涉及一种图像再现方法。这种方法包括：对混合地包含第一格式帧和第二格式帧且格式彼此不同的编码数据序列进行解码，其中，解码包括：当通过只为第一格式帧解码或为第一格式帧和第二格式帧的一部分解码来进行再现时，获取存在于第一格式帧与随后待显示的另一个第一格式帧之间的帧数；并且，根据所述帧数和再现速度，来确定第一格式帧的显示时间间隔。

第一格式帧的格式使其可由所述第一格式帧的编码数据来进行解码，而第二格式帧的格式使其可通过参考其他帧的编码数据来加以解码。更准确地说，第一格式帧可能是MPEG中的I画面，而第二格式帧可能是MPEG中的P画面或B画面。由于I画面可以被独立地解码，因此，通过跳过P画面和B画面并只再现I画面，可以实现简单的高速再现。另一个例子是，第一格式帧的格式使其可通过参考自身内的帧的编码数据或该帧以外的过去的编码数据来加以解码。更具体地说，它可能是MPEG中的I画面或P画面。在这种情况下，第二格式帧的格式使其可通过参考该帧前面和后面的帧来加以解码。更准确地说，它可能是MPEG中的B画面。还有一个例子是，不仅可以进一步显示第一格式帧，而且可以进一步显示第二格式帧的一部分，以实现高速再现。无论如何，当选择将要被显示的帧时，编码数据序列中的各个帧的时间间隔在显示时间间隔上得到反映，从而允许相当自然的高速再现。这里，作为图像的一个单元，“帧”包括一个概念(例如，“域”和类似概念)。

根据本发明的另一个较佳实施例也涉及一种图像再现方法。这种方法包括：对混合地包含第一格式帧和第二格式帧且格式彼此不同的编码数据序列进行解码，其中，解码包括：如果通过按照再现速度稀疏并显示帧来进行再现，则在再现之前获取构成待再现的编码数据序列的帧的格式和次序；根据该帧的格式和次序，来确定待显示的帧；并根据该帧的格式和次序和由此被确定的待显示的帧，来确定将要被解码的帧。

通过预先获取画面的结构和成分，可以知道哪个画面将要解码和哪个画面将要显示。换言之，可以决定将要稀疏哪些画面。这样，可以判断平稳高速再现是否可行。

根据本发明的另一个较佳实施例也涉及一种图像再现方法。这种方法包括：通过用与正常显示次序的反向次序进行解码的方式，为对应于多个帧的图像数据进行编码，生成用于反向再现的图像数据；将用于反向再现的图像数据临时存储在存储器中；并且，从存储器读出用于反向再现的图像数据，以便当要求反向再现时对它们进行解码，其中，根据存储器的容量，在生成用于反向再现的图像数据之前确定编码模式。

MPEG使用非常复杂的帧间预测方案，以便当提出反向再现请求时，不能立即开始再现。这样，例如，一个GOP的画面用可反向再现的格式来加以存储。当要求反向再现时，首先显示被存储的画面，而在后台中准备下一个GOP。于是，通过预先获取GOPs的画面结构，可以判断：是否可以将用于反向再现的图像数据存储在存储器中。如果不可以将图像数据保存在存储器中，则编码模式将会被更改，以应付这种情况。这里，编码模式可以被定义为包括将要被编码的帧的数量、格式和次序以及编码的压缩比等的一个概念。

根据本发明的另一个较佳实施例涉及一种图像再现装置。这种装置包括：一个解码器，它对混合地包含第一格式帧和第二格式帧且两者格式互不相同的编码数据序列进行解码，以生成图像数据；一个再现控制部件，它按以下方式执行再现，即只有编码数据序列中所包含的帧的一部分被解码器解码并被显示在显示部件中；以及一个结构信息获取部件，它获取帧的数量、格式或次序，其中，再现控制部件根据帧的数量、格式或次序来控制再现。

再现控制部件可以包括第一控制部件，它只对第一格式帧进行解码和显示，以实现第一种再现模式；其中，第一控制部件可以从结构信息获取部件那里获取存在于第一格式帧与随后将要被显示的另一个第一帧之间的帧数，并可以根据所述帧数和再现速度来确定第一格式帧的显示时间间隔。

编码数据序列以包含至少一个第一格式帧和至少一个第二格式帧的帧群为单元进行编码，第一个控制部件可以获取属于该帧群的帧数，并将这样获取的帧数视为存在于第一格式帧与随后将要被显示的另一个第一格式帧之间的帧数。例如，该帧群可能是MPEG-2中的GOP或MPEG-4中的GOV。一般而言，一个GOP最有可能包含一个I画面，从而可以安全地估计：GOP中的画面数量与两个连续的I画面之间的画面数量相同。

再现控制部件可以包括第二控制部件，该控制部件按照再现速度来稀疏并显示帧，以实现第二种再现模式；其中，第二个控制部件可以从结构信息获取部件那里获取构成将要被再现的编码数据序列的帧的种类和次序，并可以根据该帧的所述种类和次序来确定待显示的帧和待解码的帧。

再现控制部件还可以包括一个判断部件，该判断部件根据解码器的性能来确定第二种再现模式的有效性。当判断第二种再现模式不可行时，判断部件可以切换到第一种再现模式。这样，即使连续改变再现速度，也可以实现无缝高速再现。

根据本发明的另一个较佳实施例也涉及一种图像再现装置。这种装置包括：一个编码器，它通过采用与按正常显示次序的相反次序来为该图像数据解码的方式，为对应于多个帧的图像数据进行编码，生成用于反向再现的图像数据；一个存储器，它临时存储用于反向再现的图像数据；以及一个反向再现控制部件，它从存储器读出用于反向再现的图像数据，以便当要求反向再现时，对它们进行再现，其中，反向再现控制部件根据所述存储器的容量来确定编码模式。

编码数据序列以包含至少一个第一格式帧和至少一个第二格式帧的帧群为单元进行编码；反向再现控制部件可以获取该帧群的帧结构，估计因该帧群的编码而产生的数据量，并将所估计的数据量与存储器的容量进行比较，从而反向再现控制部件可以确定编码模式。例如，存储在存储器中的编码数据可能是等同于一个GOP的数据。

当反向再现控制部件判断数据量超过存储器的容量时，可以稀疏该帧群中的帧，或者，可以在编码时提高压缩比。由此，例如，一个GOP的编码数据的预定数量被安全地保存在存储器中。

通过读出被存储在编码数据序列的预定位置中的信息，结构信息获取部件可以获取编码数据序列中所包含的帧的数量、格式或次序。如果该信息的存储方和读取方分享共同的识别技术，则被存储在编码数据序列中的信息位置可能是任意的。

根据本发明的另一个较佳实施例涉及一种图像记录装置。这种装置包括一个结构信息增加部件，该部件在以混合地包含第一格式帧和第二格式帧且两者格式彼此不同的帧群为单元进行编码的编码数据序列的预定位置中增加信息，其中，所述增加的信息表示该帧群中所包含的帧的数量、格式或次序。例如，第一格式帧的格式使其可由所述第一格式帧的编码数据来进行解码，而第二格式帧的格式使其可通过参考其他帧的编码数据来解码。

根据本发明的另一个较佳实施例涉及表示移动图像的移动图像数据的一种数据结构。这种数据结构包括：移动图像数据以混合地包含第一格式帧和第二格式帧且两者的格式彼此不同的帧群为单元进行编码的一个编码数据序列；存储在编码数据序列的预定位置中，并表示该帧群中所包含的帧的数量、格式或次序的信息。

需要指出，在方法、装置、***、计算机程序、记录媒体等事物之间作变化的上面所述的结构组件和表述都是等效的，并包括在本实施例之内。

而且，本发明的这个概述不一定描述所有必要的特点，从而本发明也可能是这些所述特点的子组合。

附图简述

图1是表示根据本发明的第一个实施例的图像再现装置结构的方框图。

图2是表示图1中所示的再现控制部件的功能结构的方框图。

图3A、3B和3C展示了一种高速跳跃再现的方法。

图4A、4B、4C、4D和4E展示了一种高速平稳再现的方法。

图5是表示根据第一个实施例的图像再现装置所进行的高速跳跃再现的程序的流程图。

图6是表示根据第一个实施例的图像再现装置所进行的高速平稳再现的程序的流程图。

图7是表示根据第一个实施例的图像再现装置所执行的反向再现的程序的流程图。

图8是表示根据本发明的第二个实施例的图像记录装置结构的方框图。

发明的详细描述

现在将根据实施例来描述本发明，这些实施例并非意在限制本发明的范围，而是举例说明本发明。实施例中所描述的所有特点及其组合对于本发明而言不一定是必不可少的。

第一实施例

本实施例描述了一种技术，在该技术中，画面结构/成分信息预先被存储在按照一种MPEG方法而被编码的移动图像的编码数据序列的预定位置中，该画面结构信息在再现时被获取，然后被用来控制各种再现处理。MPEG方法在这里被用作本实施例中的一个例子。但是，当处理编码数据序列，而此序列混合存在通过帧内编码方法而被编码的帧和通过帧间编码方法而被编码的帧时，通常利用本实施例。而且，为简洁起见，在下文中使用诸如“画面”和“MPEG-2中的GOP”的术语，但是，它们不局限于此，而是也包括MPEG-4中的VOP和GOV的概念。

图1是表示根据第一个实施例的图像再现装置300的结构的方框图。这个图像再现装置300被安置在电影摄像机、静态摄像机、电视机、视频CD再现装置、DVD再现装置或将MPEG视频流从转换媒体200输出到显示部件344的类似装置中。转换媒体200包括存储媒体，例如，视频CD、CD-ROM、DVD、VTR和类似媒体、通信媒体，例如，LAN和类似媒体、广播媒体，例如，地面波广播、卫星广播、CATV和类似媒体等中的任何媒体。当没有按照MPEG视频部分对来自这类的存储媒体或广播媒体的数据进行编码时，转换媒体包括为该数字数据编码的MPEG编码器。当图像再现装置300被安置在电影摄像机或静态摄像机中时，转换媒体200用图像拾波设备(例如，CCD)及其信号处理电路取代。

图像再现装置300包括：用来从转换媒体200输入编码数据流的输入块304；用来处理由输入块304获取的图像和音频数据的处理块306；用来再现由处理块306解码的图像和声音的再现块308；用来接收用户的指令的用户界面312；以及用来根据来自用户界面312的指令来控制输入块304和处理块306的控制部件310。而且，界面块336将由处理块306解码的图像数据输出到合适的外部设备。

处理块306中的再现控制部件334被连接和合并到CPU 330和存储器332，并且，对编码数据流中的图像和音频数据进行解码。再现控制部件334对所输入的编码数据流解码，并分别将音频数据和图像数据输出到音频输出部件340和显示部件344。音频输出部件340对所输入的音频数据执行预定的处理，这样被处理的音频数据最终被输出到扬声器342。显示部件344显示被输入的图像数据。

用户界面312经由远程控制器、输入面板或类似设备从用户那里接收再现速度切换、反向再现等的请求。控制部件310将再现模式切换信号发送到输入块304和处理块306。再现控制部件334根据这个切换信号来进行标准再现、高速再现或反向再现。

图2是表示再现控制部件334的结构的方框图。在硬件方面，该结构可以用CPU、存储器和其他大规模集成电路(LSI)来实现。在软件方面，可以用具有图像再现和控制功能的存储器装载程序或类似程序来实现这一点，但是，这里所画出和描述的是与这些程序合作而实现的功能块。这样，精通该技术领域的人会理解，可以仅用硬件、仅用软件或其组合的各种形式来实现这些功能块。在再现控制部件334中的各个块之中，能用硬件实现的一个或多个块可以被制造到单一LSI芯片中。

再现模式切换部件102从控制部件310接收再现模式切换信号，并将再现处理的指令发送到标准再现控制部件106、高速再现控制部件110和反向再现控制部件120。当再现模式为标准再现时，标准再现控制部件106执行控制，通过该控制，从输入块304被输入的编码数据流被输入到MPEG解码器130并由该解码器进行解码，所产生的数据流被发送到再现块308并由该再现块进行再现。可以将人们已知的MPEG解码器用作MPEG解码器130，但是，如下面所描述的，也可以使用两倍速度解码器、三倍速度解码器或能够以高于普通的MPEG解码器的速度进行处理的类似解码器，从而扩展高速再现或反向再现的处理限制。

画面结构信息获取部件104获取与构成编码数据流的画面有关的信息。如后面将描述的那样，画面结构信息获取部件104获取诸如构成一个GOP的画面的数量、类型和次序的信息，高速再现处理或反向再现处理所必要的画面结构信息。这类信息预先被存储在编码数据流的预定位置中，以便通过读取该预定位置中的数据，画面结构信息获取部件104可以获得应被获取的信息。

高速再现控制部件110进行控制，当再现模式为高速再现时，以高于标准再现模式中的速度来再现编码数据流。根据第一个实施例，准备了两种高速再现模式：“高速跳跃再现模式”，在该模式中，通过跳过所有P画面和B画面，只顺次显示I画面；以及“高速平稳再现模式”，在该模式中，也是通过使用P画面和B画面，来平稳地进行高速再现。高速再现模式判断部件112根据画面结构信息获取部件104所获取的画面结构信息和用户通过控制部件310而指示的再现速度，来确定这些模式中的哪些模式将被用于高速再现。该判断方法或模式选择方法将在后面作详细介绍。

图3A、3B和3C图示说明了一种用于高速跳跃再现的方法。图3A中的顶行表示编码数据流的画面结构的一个例子。在这个例子中，画面结构是由15个画面构成的GOP重复出现。图3A中的中间行表现了当编码数据流采用传统的四倍速度再现时的画面的显示序列。在传统的方法中，通过按每四个帧一次的速率顺次显示I画面，来实现四倍速度再现。图3A中的底行表示当编码数据流使用本实施例的方法的四倍速度再现时的画面的显示序列。在这种方法中，同样用与传统***中相同的方法，仅仅顺次显示I画面。这样，可用一种简单而方便的方式来实现高速再现。

图3B中的顶行表示由12个画面构成的GOP重复出现的编码数据流的一个例子。图3B中的中间行表现了当编码数据流采用传统的高速再现时的画面的显示序列。在传统的方法中，如上所述只顺次显示I画面，其显示时间间隔被固定，使得用与图3A中的中间行的例子相同的方式按每四个帧一次的速率来显示I画面。在本例中，一个GOP由12个画面构成，结果自然是实现三倍速度再现。也就是说，三倍速度再现被加以执行不是因为用户已作出指示，而只是因为已按固定的时间间隔来顺次显示I画面。所以，传统***的问题所在是：这种***为高速再现，用固定时间间隔来显示I画面，再现速度无法被控制，而是要随编码数据流内的画面结构而变化。

这种问题的另一个显著的情况是：图3C中的顶行表示构成每个GOP的画面的数量在同一编码数据流内变化的一个例子。在这种情况下，如果在如图3B中所示的传统***上进行高速再现，则I画面的时间间隔将会在实际的编码数据流内变化，且I画面将会按不反映这些时间间隔变化的固定的时间间隔被显示，从而给观看者一种由于再现速度不自然的加快和变慢而造成的别扭的印象。

为了解决类似这样的问题，本实施例通过使用画面结构信息获取部件104所获取的画面结构信息，实现了反映I画面的实际时间间隔的自然的高速再现。例如，当图3B的顶行中所示的编码数据流按四倍速度进行高速跳跃再现时，预先知道每个GOP由12个画面构成，因而通过按每三个帧一次的速率(如图3B的底行中所示)显示I画面，可以实现四倍速度再现。对于三倍速度，I画面可以每四个帧被显示一次；对于六倍速度，可以每两个帧被显示一次。对于五倍速度，例如，可以使用一种控制，使四倍速度(每三个帧一个画面)和六倍速度(每两个帧一个画面)相结合，从而平均产生五倍速度，或者，显示一个I画面的时间持续2.4个帧的时间长度。

而且，如图3C的顶行中所示的一个例子中，构成每个GOP的画面的数量发生变化，如图3C的底行中所示，通过预先获取有关构成GOPs的画面的信息，可以实现准确地反映I画面时间间隔的高速跳跃再现。为了实现上述的这个方法，必须预先知道I画面出现的时间间隔。当一个I画面被包含在一个GOP中时，可以通过获取构成GOPs的画面的数量，来获得或推断I画面的时间间隔。不言而喻，也可以获得构成GOPs的画面的类型和次序。

图4A、4B、4C、4D和4E图示说明了一种用于高速平稳再现的方法。图4A中的顶行表示编码数据流的画面结构的一个例子。图4A中的中间行和底行分别表示这个编码数据流的显示序列和代码序列。图4B表示当对这个编码数据流进行两倍速度的高速平稳再现时，待显示的画面和待解码的画面。两倍速度再现时，可用每两个帧显示一个画面。在这个例子中，待显示的画面的类型的顺序是I₁P₃P₅P₇P₉P₁₁P₁₃P₁₅。例如，这里的“I₁”表示“I”画面，它在显示序列中的位置是“1”。如果作为参照源的过去的I画面或P画面已被解码，则P画面可以被解码，因而不必要为其间的B画面解码。于是，待解码的画面的顺序是I₁P₃P₅P₇P₉P₁₁P₁₃P₁₅。由于为显示一个画面，只要对一个画面进行解码就足够了，因此，显而易见，通过使用普通的MPEG解码器，可以按两倍速度来对这个编码数据流进行高速平稳再现。

图4C表示当这个编码数据流按三倍速度而加以高速平稳再现时，待显示的画面和待解码的画面。三倍速度再现时，可用每三个帧显示一个画面，待显示的画面的类型的顺序是I₁B₄P₇B₁₀P₁₃。为了对B画面进行解码，必须对作为参照源的过去和将来的I画面或P画面解码，所以，待解码的画面的顺序是[I₁]P₃P₅[B₄][P₇]P₉P₁₁[B₁₀][P₁₃]。这里，括弧([ ])中示出实际上待显示的画面。在这种情况下，可以通过使用两倍速度类型的MPEG解码器(可以在单一帧周期内对两个帧解码)，来进行高速平稳再现，尽管这无法由其解码速度无法赶上画面的单一速度的MPEG解码器来实现。

图4D表时当这个编码数据流按四倍速度被加以高速平稳再现时，待显示的画面和待解码的画面。四倍速度再现时，待显示的画面的类型的顺序是I₁P₅P₉P₁₃；为了实现该显示，[I₁]P₃[P₅]P₇[P₉]P₁₁[P₁₃]需要被解码。也就是说，通过使用可以按两倍或更高速度来进行解码的MPEG解码器，可以进行此编码数据流的四倍速度的高速平稳再现。

图4E表时当这个编码数据流按四倍速度被加以高速平稳再现时，待显示的画面和待解码的画面。五倍速度再现时，待显示的画面的类型的顺序是I₁B₆P₁₁；为了产生该显示，[I₁]P₃P₅P₇[B₆]P₉[P₁₁]需要被解码。也就是说，不能用两倍速度的MPEG解码器来实现五倍速度的高速平稳再现，从而需要可以按三倍或更高速度来进行解码的MPEG解码器。

按照这种方式，高速平稳再现的速度由编码数据流的画面结构和所使用的MPEG解码器的性能来确定。现在，把B画面重复出现的次数用M来表示，作为画面结构的指示符。也就是说，当画面结构是“IPPPPP…”时，M＝0，因为不存在B画面；当画面结构是“IBPBPBP…”时，M＝1，因为每次一个B画面被***；当画面结构是“IBBPBBP…”时，M＝2，因为每次两个B画面被***。同样，把在单一帧周期内能被解码的帧数用D来表示，作为所使用的解码器的性能的指示符。例如，当解码器为两倍速度类型时，D＝2；当解码器为三倍速度类型时，D＝3。在这些情况下，高速平稳再现的极限速度L被表示为L＝(M+1)×D。当如在图4A的情况中***B画面中的一个B画面时，M＝1，所以，对于单一速度类型的解码器来说，L＝(1+1)×1＝2，这意味着可以进行二倍速度的高速平稳再现。对于二倍速度类型的解码器来说，L＝(1+1)×2＝4，这意味着可以进行四倍速度的高速平稳再现。

根据如上所述的标准，高速再现模式判断部件112可以在用户所规定的再现速度S小于或等于L时选择高速平稳再现模式，并可以在再现速度S大于L(这会导致无法执行高速平稳再现)时选择高速跳跃再现模式。而且，当画面结构不被固定而是对于每个GOP发生变化时，可以通过判断每个GOP的高速平稳再现的有效性来切换再现模式，或者，可以选择高速跳跃再现模式。这同样适用于如上所述例子那样GOPs内的画面结构不规则的场合。由于画面结构不规则判断变得困难时，则可以选择高速跳跃再现模式，或者，可以按高速平稳再现模式来进行再现；并且，当处理不再能够继续时，可以切换到高速跳跃再现模式。

如上所述，通过预先获取有关编码数据流的画面结构的信息，来控制高速再现处理。这样，可以选择一种合适的再现方法，并可以实现反映编码数据流的画面结构的自然的高速再现。而且，即使当装置的构造方式允许用户模拟地改变再现速度时，现在也可以进行从高速平稳再现到高速跳跃再现的无缝切换。

再参考图2，当再现模式为反向再现模式时，反向再现控制部件304进行按和普通再现模式相反的序列来再现编码数据流的控制。在MPEG中，如果向前预测和双向预测被用于编码，并且画面的代码序列和显示序列彼此不同，则不容易将相反序列中的解码与普通向前序列中的解码进行比较。根据第一个实施例，为了平稳地进行反向再现，曾经在普通再现期间被解码的帧再次由MPEG编码器140进行编码并被临时存储在存储部件150中。为了有效地使用存储器，重新编码的数据被一个接一个地重写，只将直接在前面的GOP保存在存储器中。在编码时，所有的画面都可以被编码为I画面，或者，画面可以被重新排列成反向序列，再由普通MPEG***进行编码。例如，待存储在存储部件150中的数据量可以是一个GOP。

当用户经由控制部件310要求反向再现时，反向再现控制部件120首先按相反序列读出被存储在存储器150中的一个GOP的I画面，将它们发送到MPEG解码器130，并显示被解码的I画面。与此同时，输入块304获取过去的编码数据流，解码而生成的画面，例如以一个GOP为单元，按相反序列被再现。

这里，举例来说，当一个GOP的画面被编码、然后被存储在存储器150中时，可能会出现这样情况：在编码数据流中，GOP中所包含的画面的数量、类型和类似东西不保持恒定，使得GOP中的画面的数量可能会大于通常值，因而可能会超过存储器150的容量。所以，根据本实施例，通过参考画面结构信息获取部件104所获取的画面结构信息，来判断是否可以将重新编码的数据存储在存储器150中。当判断重新编码的数据无法被存储在其内时，可以有以下补救办法，1)提高压缩比，减少每个画面的容量；2)稀疏画面并为其编码，并且，在反向再现时，通过在被稀疏的帧位置处连续显示直接在前面的帧，来调整再现速度；3)画面以反向再现的显示序列被存储，并且，无法被存储的画面，只在反向再现的请求之后进行解码来生成；4)保护其他的存储区域，以提高存储器150的容量；以及5)作反向再现不可行的决定，并通知和告诫用户该决定。利用这些办法，通过预先获取画面结构，并通过即使当该画面结构不规则时也可有效地使用存储器，可以进行反向再现。这种办法也将有助于减小存储器的体积。

画面结构信息获取部件104将要获取的画面结构信息被存储在编码数据序列的预定位置中。这种存储位置可以是在MPEG***的GOP首部或序列首部中所设的保留区域，即用户数据区域、在其上面的上层中的一个位置或者只要画面结构信息获取部件104可以识别的任何位置。可以根据MPEG-2的I画面的画面首部中所提供的“temporal_reference”代码中的差异，或根据首部中所提供的“time_code”信息和序列首部中所提供的帧速率信息，来计算GOP中所包含的画面的数量。

只要可以被画面结构信息获取部件104识别，画面结构信息的格式也可以是任何格式。例如，当构成某个GOP的画面是“IBPBPB”时，“6”和“132323”可以被存储在用户数据区域中，其中，6表示GOP中的画面的数量；“132323”表示画面类型，即“I用1表示(I：1)”，“P用2表示(P：2)”，“B用3表示(B：3)”)。而且，可以用被***其内的画面的数量来表示画面的次序。在以上的例子中，由于每次一个B画面被***其内，因此，数量是“1”。此外，可以把代表性的或典型的画面序列制成表格。为了代替画面的数量，也可存储有关GOPs的暂时的信息。

迄今为止，已描述了根据本实施例的图像再现装置300。下文将参考图5～7中所示的流程图，来描述根据本实施例的基于这个结构的图像再现程序。

图5表示根据第一个实施例的图像再现装置300所执行的高速跳跃再现的各个步骤。首先，当接通高速跳跃再现模式时，画面结构信息获取部件104获取包含在下一个待再现的GOP中的画面的数量(S100)。当GOP中包含多个I画面时，可以获取各个I画面之间的画面的数量。然后，根据再现速度和画面的数量，高速跳跃再现控制部件114计算I画面的显示时间间隔(S102)。随后，I画面由MPEG解码器130解码(S104)，并被显示在显示部件344上(S106)。在I画面的显示时间过去之前(S108中的N)，继续显示I画面；并且，当该显示时间已过去时(S108中的Y)，步骤被切换到为进行下一个I画面的显示的处理。上述的程序被重复，直到高速跳跃再现模式结束为止(S110中的Y)。

图6表示根据第一个实施例的图像再现装置300所执行的高速平稳再现的各个步骤。首先，当接通高速平稳再现模式时，画面结构信息获取部件104获取包含在下一个待再现的GOP中的画面的格式和次序(S200)。然后，高速平稳再现控制部件116判断高速平稳再现是否可行(S202)。这时，如果画面结构如上所述是正常的或标准类的，则可以根据画面结构和再现速度来确定高速平稳再现的有效性。如图4所示，可以确定待显示的画面和待被解码的画面，并可以从那些结构中判断高速平稳再现的可能性。一旦判断高速平稳再现是可行的(S202中的Y)，就由MPEG解码器130对待解码的帧进行解码，并且，已解码帧中的待显示的帧被显示在显示部件344上(S206)。另一方面，一旦判断高速平稳再现不可行(S202中的N)，处理就被切换到高速跳跃再现(S208)，并且，只有I画面被进行解码和显示。上述的程序被重复，直到高速平稳再现模式结束为止(S210中的Y)。在图6所示的流程图中，对每个GOP判断高速平稳再现的可能性，但是，当画面结构在编码数据序列内是固定的或规则的时，在再现速度变化时判断一次就足够了，其后可以继续高速平稳再现处理。

图7表示根据第一个实施例的图像再现装置300所执行的反向再现的各个步骤。首先，在普通再现模式中，画面结构信息获取部件104获取包含在下一个待再现的GOP中画面的结构信息(S300)。可以获取画面的数量、格式、序列或类似东西，作为有关画面的结构信息。然后，反向再现控制部件120判断GOP的所记录的数据是否可以被存储在存储器150中(S302)。如果可以存储数据(S302中的Y)，则该数据由MPEG编码器140编码成允许反向再现的格式(S304)，并被存储在存储器150中(S306)。另一方面，如果无法存储数据(S302中的N)，则通过稀疏帧、提高压缩比或使用任何其他合适的技术来改变编码模式(S308)，然后，用类似的方式把数据编码(S304)和存储(S306)。只要普通再现模式持续，就重复上述的程序。

当模式被切换到反向再现模式时(S310中的Y)，反向再现控制部件120读出已被存储在存储器150中一个GOP的反向再现图像(S312)，然后，读出的图像由MPEG解码器130进行解码(S314)并被显示在显示部件344上(S316)。在此期间，过去的GOP在后台通过输入块304被输入并被解码，并按相反的次序来显示这样生成的图像数据。

第二个实施例

图8是表示根据本发明的第二个实施例的图像记录装置400的结构的方框图。这个图像记录装置400可以被安置在电影摄像机、静态摄像机、视频CD记录装置、DVD记录装置或记录来自转换媒体200的MPEG视频流的类似装置中。转换媒体200包括诸如视频CD、CD-ROM、DVD、VTR和类似媒体等存储媒体、诸如LAN和类似媒体等通信媒体和诸如地面波广播、卫星广播、CATV和类似媒体等广播媒体等中的任何媒体。而且，当来自这类存储媒体或广播媒体的数据为不遵照MPEG视频部分来加以编码的数据时，图像记录装置400包括用来对这种数字数据进行编码的一个MPEG视频编码器。在图像记录装置400被安置在电影摄像机或静态摄像机中的情况下，转换媒体200用图像拾波设备(例如，CCD)及其信号处理电路来取代。

图像记录装置400包括：用来从转换介质200输入编码数据序列的输入块404；用来控制把输入块404所获取的编码数据序列记录到记录块408的处理块406；用来记录编码数据序列的记录块408；用来从用户那里接收指示的用户界面412；以及用来根据来自用户界面412的指示来控制输入块404和处理块406的控制部件410。

处理块406中的记录控制部件434将编码数据序列记录到记录块408。例如，画面结构信息增加部件436将结构信息，例如编码数据序列中所包含的画面的数量、格式、序列和类似东西，加到每个GOP的预定位置，例如用户数据区域。由此，生成数据结构，该数据结构包括编码数据序列和信息。所述编码数据序列是以混合地包含第一格式帧和第二格式帧且格式互不相同的帧群作为单元而被编码的移动图像数据；所述信息表示包含在该帧群中的帧的数量、格式或序列，且被存储在编码数据序列的预定位置中。用户界面412经由远程控制器或输入面板从用户那里接收关于记录或类似操作的请求。控制部件410将记录开始信号发送到输入块404和处理块406。记录控制部件434根据该记录开始信号来进行记录处理。记录块408可以是用来在CD、MO、MD、DVD或任何其他的记录媒体中进行记录的驱动器部件或记录媒体本身。

在对编码数据序列进行再现的图像再现装置中，通过由画面结构信息增加部件436增加画面结构信息，可以使用该信息来进行适当的控制。存储画面结构信息的定时，可以在如第二个实施例中那样记录编码数据序列的阶段，在由MPEG编码器生成编码数据序列的阶段，或任何其他任意的定时。

根据上述实施例，可以改进用于编码数据序列的高速再现或反向再现的处理技术。而且，作为该处理技术的改进的组成部分，可以提供用于进一步给用户留下自然的印象的高速再现技术，以及用于减少反向再现所需要的硬件资源的技术。

根据实施例对本发明作了说明，而这些实施例只起示范的作用。精通该技术领域的人会理解，可以对上述每个部分和程序的组合进行其他各种修改，而这类修改被包括在本发明的范围之内。以下将说明这类修改。

在本实施例中，I画面只在高速跳跃再现中被再现，但是，除此以外，P画面和在某些情况下的B画面也可以被再现。如果GOPs或GOVs中所包含的画面或VOPs的数量很大，则I画面或I-VOPs的显示只会变得太粗糙。在这种情况下，也可以按需要显示中间图像。

虽然本发明通过示范实施例来所明的，但是，不言而喻，在不脱离由所附的权利要求书所限定的本发明的范围的前提下，精通该技术领域的人可以进一步进行许多更改和替换。

Claims

1.一种图像再现方法，包括对混合地包含格式上彼此不同的第一格式帧和第二格式帧的编码数据序列进行解码，其特征在于，所述解码包括：

当只对第一格式帧解码或对第一格式帧和第二格式帧的一部分解码来进行再现时，获取存在于第一格式帧与随后将要被显示的另一个第一格式帧之间的帧数；以及，

根据所述帧数和再现速度，来确定第一格式帧的显示时间间隔。

2.根据权利要求1所述的一种图像再现方法，其特征在于，第一格式帧可以由所述第一格式帧的编码数据来解码，而第二格式帧可以通过参考其他帧的编码数据来解码。

3.一种图像再现方法，包括对混合地包含格式上彼此不同的第一格式帧和第二格式帧的编码数据序列进行解码，其特征在于，所述解码包括：

如果通过按照再现速度稀疏并显示帧的方法来进行再现，则在再现之前获取构成待再现的编码数据序列的帧的格式和次序；

根据帧的所述格式和次序，来确定待显示的帧；以及，

根据帧的所述格式和次序以及由此确定的待显示的帧，来确定待解码的帧。

4.根据权利要求3所述的一种图像再现方法，其特征在于，第一格式帧可以由所述第一格式帧的编码数据来解码，而第二格式帧可以通过参考其他帧的编码数据来解码。

5.一种图像再现方法，其特征在于包括：

用与正常显示次序的相反次序可对该图像数据进行解码的格式，把对应于多个帧的图像数据进行编码，生成用于反向再现的图像数据；

将用于反向再现的图像数据临时存储在存储器中；以及，

从存储器读出用于反向再现的图像数据，以便当要求反向再现时，对它们进行解码，

其中，在所述用于反向再现的图像数据生成之前，根据存储器的容量确定编码模式。

6.一种图像再现装置，其特征在于包括：

一个解码器，用于对混合地包含格式互不相同的第一格式帧和第二格式帧的编码数据序列进行解码，以生成图像数据；

一个再现控制部件，通过只对编码数据序列中所包含的部分帧用所述解码器解码并被显示在显示部件中的方式来进行再现；以及，

一个结构信息获取部件，用于获取帧的数量、格式或次序，

其中，所述再现控制部件根据帧的数量、格式或次序来控制再现。

7.根据权利要求6所述的一种图像再现装置，其特征在于，第一格式帧可以由所述第一格式帧的编码数据来解码，而第二格式帧可以通过参考其他帧的编码数据来解码。

8.根据权利要求7所述的一种图像再现装置，其特征在于，所述再现控制部件包括只为第一格式帧解码并对其进行显示从而实现第一种再现模式的第一控制部件；其中，第一控制部件从所述结构信息获取部件获取存在于第一格式帧与随后将要被显示的另一个第一帧之间的帧数，并根据所述帧数和再现速度来确定第一格式帧的显示时间间隔。

9.根据权利要求8所述的一种图像再现装置，其特征在于，用包含至少一个第一格式帧和至少一个第二格式帧的帧群作为单元，对编码数据序列编码；其中，第一控制部件获取属于该帧群的帧数，并将这样获取的帧数视为存在于第一格式帧与随后将要被显示的另一个第一格式帧之间的帧数。

10.根据权利要求6所述的一种图像再现装置，其特征在于，所述再现控制部件包括按照再现速度来稀疏并显示帧，从而实现第二种再现模式的第二控制部件；其中，第二个控制部件从所述结构信息获取部件获取构成将要被再现的编码数据序列的帧的种类和次序，并根据帧的所述种类和次序来确定待显示的帧和待解码的帧。

11.根据权利要求所述10的一种图像再现装置，其特征在于，所述再现控制部件还包括一个判断部件，该判断部件根据所述解码器的性能来确定第二种再现模式的有效性。

12.根据权利要求11的一种图像再现装置，其特征在于，当判断第二种再现模式不可行时，所述判断部件切换到第一种再现模式。

13.一种图像再现装置，其特征在于包括：

一个编码器，它用与正常显示次序的相反次序可对该图像数据进行解码的格式，把对应于多个帧的图像数据进行编码，生成用于反向再现的图像数据；

一个存储器，它临时存储用于反向再现的图像数据；以及，

一个反向再现控制部件，它从所述存储器读出用于反向再现的图像数据，以便当要求反向再现时，对它们进行再现，

其中，所述反向再现控制部件根据所述存储器的容量来确定编码模式。

14.根据权利要求13所述的一种图像再现装置，其特征在，用包含至少一个第一格式帧和至少一个第二格式帧的帧群作为单元，对编码数据序列编码；其中，所述反向再现控制部件获取该帧群的帧结构，估算因该帧群的编码而产生的数据量，并将所估计的数据量与所述存储器的容量进行比较，由此，所述反向再现控制部件确定编码模式。

15.根据权利要求14所述的一种图像再现装置，其特征在于，第一格式帧可以由所述第一格式帧的编码数据来解码，而第二格式帧可以通过参考其他帧的编码数据来解码。

16.根据权利要求15所述的一种图像再现装置，其特征在于，当所述反向再现控制部件判断数据量超过所述存储器的容量时，稀疏该帧群中的帧，或者在编码时提高压缩比。

17.根据权利要求6所述的一种图像再现装置，其特征在于，通过读出被存储在编码数据序列的预定位置中的信息，所述结构信息获取部件获取包含在编码数据序列中帧的数量、格式或次序。

18.一种图像记录装置，其特征在于：它包括一个结构信息增加部件，该结构信息增加部件在用混合地包含第一格式帧和第二格式帧且其格式互不相同的帧群作为单元对其进行编码的编码数据序列的预定位置中增加信息，所述被增加的信息指出该帧群中所包含的帧的数量、格式或次序。

19.根据权利要求18所述的一种图像记录装置，其特征在于，第一格式帧可以由所述第一格式帧的编码数据来解码，而第二格式帧可以通过参考其他帧的编码数据来解码。

20.表示移动图像的移动图像数据的一种数据结构，其特征在于，该数据结构包括：

一个用混合地包含第一格式帧和第二格式帧且其格式互不相同的帧群作为单元对移动图像数据进行编码的编码数据序列；以及，

存储在所述编码数据序列的预定位置中、并指出该帧群中所包含的帧的数量、格式或次序的信息。