CN101072345A - 图像编码设备和编码方法,图像解码设备和解码方法 - Google Patents

Abstract

一种编码方法和设备，其包括能够在抑制编码效率下降的同时简单地执行实现特定重放的编码画面。对每一特定数目画面，包括用于特定重放的画面，执行编码。当使用帧间预测编码方案来编码用于特定重放的画面时，参考被限制为使用帧内预测编码方案所编码的编码画面，或者使用具有相同参考限制的帧间预测编码方案所编码的编码画面。

Description

图像编码设备和编码方法，图像解码设备和解码方法

技术领域

本发明涉及编码图像信息，特别是运动画面信息的技术，以及对编码的运动画面信息进行解码的技术。

背景技术

近年来，对图像信息的更高清晰度的需要增加。因而，电视广播正在从传统的720×480像素的SD(标准清晰度)向具有1920×1080像素的HD(高清晰度)转换。

与高清相关的数据量的增长导致了对开发更高效编码算法的需求。对于使用帧间预测的压缩编码方案的标准化努力目前进行到了ITU-T SG16和ISO/IEC JTC1/SC29/WG11。

按照现在的情况，H.264/AVC(MPEG-4 PART10)编码方案被认为是具有最高编码效率的。最新引入到该编码方案的一种技术特征允许从多个帧中选择一个用于帧间预测编码的参考画面。换句话说，甚至时域上间隔的画面帧也可被用作参考画面，如果可期望改善编码效率的话。

但是，通过允许这种参考画面的灵活选择来实现高效编码在特定重放时存在一个问题(参考日本待公开专利2004-328511【参考文件D1】)。

通常，广泛使用MPEG2方案编码运动画面信息，通过前向帧间编码和双向帧间编码中的任何一种帧间编码来执行每个画面帧的编码。根据所使用的编码方案，编码后的帧称为I画面、P画面或B画面。

使用MPEG2方案，P画面的参考画面限制为紧接在前的I画面或P画面。这样仅允许提取I画面和P画面，以及允许正确的解码和重放。结果，简单地实现了例如快速重放。

但是，H.264方案不仅允许P画面使用多个画面作为参考画面，还允许使用B画面作为参考画面。因此，当尝试通过仅从编码图像流提取I画面和P画面来重放时，难以在使用B画面作为参考画面的P画面上执行正常的解码。

根据参考文件D1，当执行快速重放时，对于I画面和紧接在下一I画面之前的画面之间的间隔，解码从该I画面到至少第一个P画面的一组时域连续的帧。随后，仅重放被包括在解码后的帧组中的I画面和P画面。

如上所述，使用H.264方案，作为在帧间编码期间允许灵活选择参考画面的结果，原则上，仅可使用I画面进行特定重放。

参考文件D1描述了如果I画面和P画面之间的画面被删除，则可解码I画面和P画面。但是，由于H.264/AVC标准允许P画面所参考的B画面参考比I画面更老的画面，存在P画面不能被解码的风险。在参考文件D1中没有公开针对这种情况的措施。

虽然通过增加I画面可令人信服地执行对于特定重放模式的编码，但这种编码会降低编码效率，结果，通过允许灵活的参考关系而实现高效编码的H.264方案的特征可能不会再被利用。

此外，MPEG方案管理包括预定数目连续画面的画面组作为一组画面(GOP)，并基于每个GOP管理编码。当为了实现高效编码而期望提高配置GOP的画面数目时，参考文件D1没有提供当在编码期间GOP结构改变的情况下关于特定重放方法的说明。

发明内容

本发明解决了上述现有技术中遇到问题中的至少一种。

更具体地，本发明提供了一种编码设备和一种编码方法，其能够编码运动画面信息，同时抑制编码效率的下降，并包括允许简单重放的编码画面。

此外，本发明进一步提供了一种编码设备和编码方法，其能够编码运动画面信息，同时抑制编码效率的下降，并包括允许简单重放的编码画面，即使当画面数目包括一组改变时。

此外，本发明还进一步提供了解码设备和解码方法，其对已经由根据本发明的编码设备和编码方法编码的运动画面信息进行解码。

本发明提供一种编码设备，其使用帧内预测编码方案或帧间预测编码方案对组成运动画面的每个画面进行编码，所述编码设备包括：控制单元，其选择应用于每个画面的编码方案；以及编码单元，其基于所述控制单元选择的所述编码方案来编码每个画面，其中所述控制单元进行如下选择：为相应于一个预定周期的每个画面，选择所述帧内预测编码方案，或所述帧间预测编码方案，其中参考画面被限制为相应于所述预定周期的另一画面；以及对于其它画面，选择所述帧内预测编码方案，或所述帧间预测编码方案，其中对参考画面没有设置限制。

本发明提供一种编码设备，其使用帧内预测编码方案或帧间预测编码方案对组成运动画面的每个画面进行编码，所述编码设备包括：确定单元，其为每个组确定待作为组管理的画面的数目；控制单元，其基于每个组选择待应用于每个画面的编码方案；以及编码单元，其基于所述控制单元选择的编码方案来编码每个画面，其中所述控制单元进行如下选择：对于所述组中的每一个组，为存在于从该组顶端开始的同一位置上的画面，选择所述帧内预测编码方案，以及对其中所述确定单元所确定的画面数目超过预定值的组，选择所述帧间预测编码方案，其中参考画面被限制为仅可从以下画面的编码数据进行解码的画面，这些画面是从对其已经选择了所述帧内预测编码方案的同一组中画面的编码数据，到被包括在已经选择了所述帧内预测编码方案的组中的画面中的、相对于与具有所述预定值的周期相应的画面的紧接在前的画面。

本发明提供一种解码设备，其接收并解码被编码的运动画面信息，其中所述编码运动画面信息包括：第一画面、第二画面和第三画面组成的编码数据，该第一画面使用帧内预测编码方案编码，该第二画面使用帧间预测编码方案编码，对于该帧间预测编码方案，参考画面被限制为所述第一画面或另一个第二画面，该第三画面使用帧间预测编码方案编码，其中对参考画面没有设置限制；以及指示用于编码每个画面的编码方案的信息，所述解码设备包括：获取单元，其从所述运动画面信息中获取所述指示编码方案的信息；解码单元，其基于由所述获取单元获取的指示编码方案的所述信息，对被包括在所述运动画面信息中的编码数据进行解码；检测单元，其检测用于快速重放的执行指令；以及重放控制单元，当所述检测单元检测到用于快速重放的所述执行指令时，仅解码所述编码数据中的所述第一和第二画面，并且当所述检测单元没有检测到用于快速重放的所述执行指令时，解码所述第一、第二和第三画面。

本发明提供一种编码方法，用于使用帧内预测编码方案或帧间预测编码方案对组成运动画面的每个画面进行编码，所述编码方法包括：控制步骤，用于选择应用于每个画面的编码方案；以及编码步骤，用于基于所述控制步骤中选择的编码方案来编码每个画面，其中所述控制步骤进行如下选择：为相应于预定周期的每个画面，选择所述帧内预测编码方案，或所述帧间预测编码方案，其中参考画面被限制为相应于所述预定周期的另一画面；和为其它画面选择所述帧内预测编码方案，或所述帧间预测编码方案，其中对参考画面没有设置限制。

本发明提供一种编码方法，用于使用帧内预测编码方案或帧间预测编码方案对组成运动画面的每个画面进行编码，所述编码方法包括：确定步骤，用于为每个组确定待作为组管理的画面的数目；控制步骤，用于基于每个组选择待应用于每个画面的编码方案；以及编码步骤，用于基于所述控制步骤所选择的编码方案来编码每个画面，其中所述控制步骤进行如下选择：对于所述组的每一个组，为存在于从该组顶端开始的同一位置上的画面，选择所述帧内预测编码方案，以及为其中所述确定步骤确定的画面数目超过预定值的画面，选择所述帧间预测编码方案，其中参考画面被限制为仅可从以下画面的编码数据进行解码的画面，这些画面是从对其已经选择了所述帧内预测编码方案的同一组中画面的编码数据，到被包括在所述已经选择了所述帧内预测编码方案的组中的画面中的、相对于与具有所述预定值的周期相应的画面的紧接在前的画面。

本发明提供一种解码方法，用于接收并解码被编码的运动画面信息，其中所述编码的运动画面信息包括：第一画面、第二画面和第三画面组成的编码数据，该第一画面使用帧内预测编码方案编码，该第二画面使用帧间预测编码方案编码，对于该帧间预测编码方案，参考画面被限制为所述第一画面或另一个第二画面，该第三画面使用帧间预测编码方案编码，其中对参考画面没有设置限制；以及指示用于编码每个画面的编码方案的信息，所述解码方法包括：获取步骤，用于从所述运动画面信息获取所述指示编码方案的信息；解码步骤，用于基于在所述获取步骤中获取的指示编码方案的所述信息，对被包括在所述运动画面信息中的编码数据进行解码；检测步骤，用于检测用于快速重放的执行指令；以及重放控制步骤，用于当所述检测步骤中检测到用于快速重放的所述执行指令时，仅解码所述编码数据中的所述第一和第二画面，并且当所述检测步骤中没有检测到用于快速重放的所述执行指令时，解码所述第一、第二和第三画面。

通过以下的示例性实施例的说明(参考附图)，本发明进一步的特征将更加明显。

附图说明

图1是一个流程图，其描述了根据本发明第一实施例由编码处理单元选择编码方案的操作；

图2是一个框图，其表示了根据本发明的一个实施例，作为图像编码设备和图像解码设备的一个例子的视频摄像机的示例性配置；

图3是一个框图，其表示了根据本发明的一个实施例，编码处理单元的示例性配置；

图4是一个框图，其表示了根据本发明的一个实施例，解码处理单元的示例性配置；

图5是一个示意图，其描述了待输入到图2所示的编码处理单元的编码目标画面，以及H.264编码方案中允许的参考关系的例子；

图6描述了根据本发明第一实施例的用于选择编码预测方案的方法；

图7描述了根据本发明第二实施例的用于选择编码预测方案的方法；

图8A和8B是流程图，其描述了根据本发明第一实施例的用于由编码处理单元选择编码方案的操作；

图9A和9B是流程图，其描述了根据本发明第三实施例的由编码处理单元执行的编码处理操作；

图10描述了根据本发明第三实施例的选择编码预测方案的方法；

图11是一个流程图，其描述了确定在图9A所示的S3001中执行的GOP连续画面的数目的处理细节。

具体实施方式

<第一实施例>

图2是一个框图，其表示了根据本发明第一实施例，作为图像编码设备和图像解码设备两者的例子的视频摄像机(视频摄像放像机)的示例性配置。

在图2中，UI处理单元10包括开关、按钮、触摸板或拨盘等，用于由用户向视频摄像机发布操作指令或对该视频摄像机配置设定。在UI处理单元10上执行的操作被传送给***控制单元20。

***控制单元20是微机等，通过执行存储在例如内部ROM中的控制程序来控制整个视频摄像机，从而控制各个单元的操作。图像输入单元100包括镜头、成像元件、A/D转换器等。图像输入单元100将目标图像转换成数字数据，并输出该数字数据。编码处理单元200在来自图像输入单元100的数字图像数据上执行压缩编码。

记录处理单元300基于预定的记录方案，将编码处理单元200压缩编码过的数字图像数据记录到记录介质400上，该记录介质诸如是磁带、光盘或半导体存储器。重放处理单元500从记录介质400读取出编码过的图像数据。解码处理单元600对由重放处理单元500读取出的编码图像数据进行解码。图像输出单元700包括诸如LCD的显示单元，并显示解码图像数据和设定屏幕等。

现在将描述如上所述配置的视频摄像机所执行的记录操作。

当用户通过UI处理单元10命令开始记录时，***控制单元20控制图像输入单元100、编码处理单元200和记录处理单元300来开始记录处理。在记录期间，图像输入单元100捕获目标图像，然后将其作为数字图像数据输出。编码处理单元200编码图像数据，并将其作为具有压缩数据量的编码图像数据进行输出。在本实施例中，编码处理单元200还对特定重放执行画面处理，这将在后面描述。编码后的图像数据在记录处理单元300中受到适合于记录介质400的信号处理，随后被记录到记录介质400上。

除了从图像输入单元(摄像机)100输入的图像数据之外，根据本发明的视频摄像机能够对通过外部输入终端(未示出)从该视频摄像机外侧输入(线路输入)的图像数据进行编码和记录。

接下来，将描述特定的重放操作。当用户通过UI处理单元10命令开始特定重放时，***控制单元20控制重放处理单元500、解码处理单元600和图像输出单元700开始特定的重放处理。

重放处理单元500从记录在记录介质400上的编码图像数据读取出特定重放画面的编码图像数据(这将在后面描述)，并基于读取出的数据执行适合于解码处理的信号处理。读取出的特定重放画面的编码图像数据在解码处理单元600上被解码成图像数据。随后由图像输出单元700输出该解码图像数据，从而实现特定的重放显示。

(编码处理)

现在将描述根据该实施例编码处理单元200的配置和操作。

图3是一个框图，其表示了根据该实施例的编码处理单元200的示例性配置。

在图3中，通过画面图像输入210提供图像输入单元100输出的数字图像数据。减法器212从输入图像数据减去将在后面描述的预测画面信息。转换器(DCT)214将4乘4的整数正交变换应用到减法器212输出的画面差异数据(预测误差数据)上。

量化单元(Q)216以预定的量化等级对转换器214输出的变换系数执行量化。熵编码单元(EC)218对量化后的变换系数执行熵编码处理以执行数据压缩。

逆量化单元(I-Q)230对量化后的变换系数执行逆量化。逆转换器(I-DCT)232对逆量化后的变换系数执行逆整数正交变换以恢复画面差异数据。加法器234将预测的图像数据加到该恢复后的画面差异数据上，该预测图像数据将在后面描述。

第一帧存储器(FM)236存储从预测图像数据恢复的图像数据(本地解码的图像数据)，该预测图像数据将在后面描述。内部(Intra)预测编码单元240将第一帧存储器236中存储的图像数据分段为预定的块单元，并通过从其周围像素预测每个块的图像数据来产生预测图像数据。切换单元260根据画面控制单元280的控制，将来自内部预测编码单元240或中间预测编码单元256的输出作为预测图像数据来输出，该中间预测编码单元256将在后面描述。

解块滤波器(DBF)250校正在从预测图像数据恢复的图像数据中的编码单元块上出现的不连续性(称为块噪声)，该预测图像数据将在后面描述。第二帧存储器252存储恢复后的图像数据，在该恢复后的图像数据上已经执行了块边界校正处理，用于用作预测图像数据的参考画面，其将在后面描述。

中间(Inter)预测编码单元256从图像输入单元210所输入的当前的图像数据获取动作信息和第二帧存储器252中保持的参考画面，并产生当前图像数据的预测图像数据。画面控制单元280为每个画面(帧)确定将在其上使用的预测编码方法。

接下来，将描述编码操作。

减法器212在从图像输入单元210输入的图像数据中减去预测图像数据，从而获得与该预测图像数据相关的差异数据。该差异数据通过转换器214经历诸如DCT的整数正交变换，并被转换成频率成分数据。由量化单元216通过预定的步宽来量化与每个频率成分相应的变换系数。在熵编码单元218上压缩编码该量化后的变换系数数据。此外，由熵编码单元218执行的复合和压缩编码还包括涉及预测编码画面(将在后面描述)的信息。

接下来，将描述预测图像数据的处理。产生预测图像数据的方法包括内部预测编码方案和中间预测编码方案，该内部预测编码方案在输入编码目标图像内进行参考，而该中间预测编码方案则参考除输入编码目标图像之外的图像。

首先，将描述根据该内部预测编码方案产生预测图像信息的方法。

逆量化单元230对量化单元216量化的变换系数进行逆量化，从而恢复该变换系数。通过进一步在逆变换单元232上执行逆整数正交变换，恢复后的变换系数被恢复为输入图像数据和预测图像数据间的差异数据。通过在加法器234上将预测图像数据加入到该恢复后的差异数据，获取输入图像的恢复图像数据(本地解码图像数据)，该预测图像数据将在后面描述。

该恢复后的图像数据被存储在第一帧存储器236中。随后，使用内部预测编码单元240在该恢复后的图像数据上执行内部预测编码。更具体地，恢复后的图像数据被分段为具有预定大小的块单元，从块的***像素值预测每个块内的恢复图像数据。预测图像数据被发送到切换单元260。切换单元260受到画面控制单元280(将在后面描述)的控制。当根据内部预测编码方案输出预测图像数据时，画面控制单元280致使切换单元260c选择260a。

根据内部预测编码方案的预测图像数据被从切换单元260传送到减法器212或加法器214，用于产生预测图像差异数据和恢复图像数据。

接下来，将描述根据中间预测编码方案产生预测图像数据的方法。

一直到由加法器234获取恢复图像数据的处理与以上所述的相同。因此，省略了关于其的说明。在加法器234上获得的恢复图像数据被传送给解块滤波器单元250，用于删除在块边界上的数据中的不连续性(块噪声)，这将在后面描述。该解块滤波器单元250在临近块边界的像素数据上执行预定的过滤处理，并抑制块边界数据中的不连续性。但是，解块滤波器是可选的，当确定恢复图像数据中的块噪声级别足够低时不需要执行过滤处理。

恢复图像数据在过滤处理之后被存储在第二帧存储器252中。该第二帧存储器252具有足够的容量来保持与多个帧(画面)相应的恢复图像数据。

中间预测编码单元256基于每个块获取输入图像和多个存储在第二帧存储器252中的恢复图像数据之间的相关性，该输入图像是预测编码目标，其从图像输入单元210提供。编码目标块与在恢复图像数据中的多个块中具有最高相关性的块之间的相对位置关系被检测为运动信息。此外，中间预测编码单元256基于该运动信息和恢复图像数据产生预测图像数据。

根据中间预测编码方案所产生的预测图像数据被传送给切换单元260。该切换单元260受到画面控制单元280(将在后面描述)的控制。当根据中间预测编码方案输出预测图像数据时，画面控制单元280致使切换单元260c选择260b。

根据中间预测编码方案的预测图像数据被从切换单元260传送到减法器212或加法器234，用于产生预测图像差异数据和恢复图像数据。

根据选择预测编码方案的预定方法，在内部预测编码方案(I)的情况中，画面控制单元280将切换单元260c连接到260a，在中间预测编码方案(P，B)的情况中，将切换单元260c连接到260b。

此外，在中间预测编码方案的情况中，画面控制单元280基于每个画面为中间预测编码单元256产生指令，该指令用于前向预测中间预测编码方案(前向预测方案：P)或双向预测中间预测编码方案(双向预测方案：B)。

前向预测方案是这样的中间预测编码方案，其中待用于预测编码的参考图像数据被限制为从单个图像恢复的恢复图像数据，在显示顺序上该单个图像在该编码目标画面之前到来。另一方面，双向预测方案不具有这种有关显示顺序的限制，通过参考从向上到图像而恢复的恢复图像数据来实现预测编码。

在画面控制单元280上基于每个画面选择的预测编码方案(I，P，B)被传送给熵编码单元218，从而被复合成编码数据。

虽然为了简单，将本实施例描述为被设计为基于每个画面选择预测编码方案，但也可基于每个片断(slice)而不是每个画面选择预测编码方案，该片断由一个或多个像素块(宏块)组成。此外，在任何情况下，可基于每个像素块使用不同的预测编码方案。例如，可为组成P画面的像素块(P片断)选择内部预测方案或前向预测方案，而可为组成B画面的像素块(B片断)选择内部预测方案、前向预测方案或双向预测方案中的任意一种。此外，仅可为组成I画面的像素块(I片断)选择内部预测方案。

通过这种编码方案的相关，可仅从I画面的编码数据解码I画面，而可从P画面的编码数据和单个参考画面的编码数据解码P画面。

以下将描述根据本实施例选择预测编码方案的方法。

图5是一个示意图，其描述了待输入给图2所示的编码处理单元200的编码目标画面，以及H.264编码方案中允许的参考关系的例子。

在图5中，参考符号I、P和B分别表示前述的内部预测编码画面(I画面)、前向预测编码画面(P画面)和双向预测编码画面(B画面)，其从图2左侧所示的画面被顺序输入给图2所示的编码处理单元200。输入顺序与解码之后的显示顺序相同。

在本实施例中，每15个画面间隔设置I画面。包括多个编码画面的组称为画面组(GOP)，其中该画面组包括至少一个I画面，该组被分别管理。在图5中，包括从B0到P14的15个画面的画面组1000是一个GOP。

如上所述，可仅使用I画面的编码数据解码I画面。因此，通过管理每个GOP中I画面的位置，可能从编码数据得到I画面的编码数据并解码该得到的编码数据。在本实施例中，可按每15个画面间隔执行解码显示。通过以普通的帧频显示从各个GOP获得并解码的I画面，可实现相当于15倍普通速度的特定重放显示。

此外，在图5中，在符号I、P和B之后的数字0到14表示每个GOP输入到图2所示的编码处理单元200的顺序。

此外，图5中所示的箭头表示待由中间预测编码画面(P画面或B画面)使用的参考图像数据。换句话说，在该例子中，画面P5参考前面GOP中的画面P14。画面P11参考画面P5。画面P8参考画面I2。画面P14参考画面P8。另一方面，画面B0参考画面P14和B1。画面P1参考画面P14和I2。

如所看到的，H.264使得P画面参考I画面或不直接与该P画面相邻的P画面，尽管没有表示，H.264方案还允许参考B画面。此外，H.264方案还允许B画面参考其它B画面，或参考比最近的I画面或P画面时间上更远的画面。通过允许这种灵活的参考画面选择，可将具有最高相关性的画面选择为参考画面。结果，实现了高效编码。

但是，如上所述，在特定重放期间允许图5所示的无限制的参考具有不利的影响，特别是在快速重放期间。在图5中，由于一个GOP由15个画面组成，通过仅解码每个GOP中包括的I画面实现了以15倍普通速度的重放显示。但是，例如以6倍普通速度执行显示将额外地需要解码P画面。

接下来，将参考图6描述根据本实施例的由画面控制单元280选择编码预测方案的原理。

在图6中，附图标记2000和2001代表GOP，附图标记2100和2101代表I画面，附图标记2200到2203及2300到2303代表P画面。

在这种情况下，P画面2200包围最近的P画面2300并参考同一GOP2000中的I画面2100。类似地，P画面2201包围最近的P画面2301并参考同一GOP2000中的P画面2200。此外，P画面2202参考同一GOP2001中最近的I画面2101。此外，P画面2203包围最近的P画面2302并参考同一GOP2001中的P画面2202。

根据本实施例，以规则的每6个画面间隔布置I画面2100和P画面2200到2203。此外，如果除上述画面2100和2200到2203外还解码I画面2101，则保留参考关系，以允许所有画面被解码。在该实施例的情况中，由于每6个画面(每第6个画面)存在一个可解码的画面，可通过提取这样的画面并以正常的帧频显示它们来实现6倍于普通速度的重放显示。

如所见到的，在本实施例中，用于快速重放显示的前向预测编码画面的参考画面被限制为同一GOP内的I画面或由多个相应于重放速度的画面所分离的前面的P画面。结果，可仅通过同一GOP内规则间隔的I画面或P画面的解码数据来实现I画面的解码，以及按规则间隔由参考限制P画面组成的画面的解码。

换句话说，可通过为特定重放以规则间隔设置I画面和P画面(即参考限制P画面)来实现任意的重放速度。

接下来，将参考图1所示的流程图来描述根据本实施例的由编码处理单元200所执行的选择编码方案的操作。

首先，在进行编码时，开始为每个画面选择编码方案。当编码目标画面被输入给编码处理单元200时(S2401)，编码处理单元200使用预定的方法确定是否应为该输入画面使用帧内编码方案(S2402)。如果不使用帧内编码方案，编码处理单元选择根据H.264方案执行的普通的方法作为编码方案(S2403)。通常，为前两个输入画面选择并确定双向预测编码方案。

另一方面，如果选择了帧内编码方案(S2402)，则编码处理单元200将计数器(变量k)初始化为1，并在该输入画面上执行帧内编码处理(S2401)。当下一个画面被输入到该编码处理单元时(S2411)，编码处理单元200确定计数器值k是否为6(S2413)。如果k不等于6，则计数器值加1(S2414)，并使用通常执行的预定方法确定编码方案(S2415)。在基于所选择的编码方案执行了编码处理之后，编码处理单元200确定是否已经发出了终止编码处理的指令(S2416)。如果还没有发出终止指令，则将画面连续输入给编码处理单元200(S2411)。如果已经发出了终止指令，则将终止编码处理以及编码方案的选择。

另一方面，如果在S2413中计数器值k等于6，则编码处理单元200首先将计数器值k重设为1(S2420)，并以与S2402中同样的方式确定该输入画面是否为I画面(S2421)。当确定该输入画面是I画面时，编码处理单元200选择帧内编码方案(S2422)，处理进行到S2416。

但在S2421中确定该输入画面不是I画面时，编码处理单元200选择限制参考位置的前向预测编码方案(S2423)。换句话说，如参考图6所述的，选择了前向预测编码方案，其中在同一GOP内的I画面或基于类似参考限制而编码的P画面(限制P画面)被用作参考画面。

限制P画面的编码图像数据被元数据复合，该元数据指示限制P画面是真正的限制P画面。

接下来，将参考图4描述对于限制P画面的重放方法。

图4是一个框图，其表示了图2所示的解码处理单元600的示例性配置。

从数据输入单元610输入来自重放处理单元500的编码数据。此外，通过控制输入单元611输入用于整个***的来自控制单元(图2中附图标记20所示)的解码处理的指令。熵解码处理单元612在熵编码数据上执行解码处理以执行数据扩展。该熵解码处理单元612还产生诸如移动信息等的元数据，其被复合在编码数据上。

逆量化单元(I-Q)614以预定的量化级别在熵解码数字数据上执行逆量化，并计算整数变换系数。逆转换器(I-DCT)616对计算出的整数变换系数执行逆整数正交变换以恢复图像数据。加法器618在该恢复图像数据上加上预测图像数据(将在后面描述)。

切换单元635受到预测方案控制单元680的控制，并向第三帧存储器(FM)636或解块滤波器单元(DBF)650输出加法器618的输出(解码图像数据)。第三帧存储器636保留从切换单元635提供的解码图像数据。内部预测解码单元640使用保留在第三帧存储器636中图像数据从待解码的块的***像素预测该块中的图像数据。切换单元660受到预测方案控制单元680的控制，并向加法器618输出内部预测解码单元640的输出或中间预测解码单元656的输出。

解块滤波器单元650校正在解码图像数据的块边界上的连续性。第四帧存储器652将已经在其上执行了块边界校正处理的本地解码图像数据保留作为参考画面。

中间预测解码单元656使用保留在第四帧存储器中的多个参考画面以及元数据产生预测图像数据，该元数据诸如是在熵解码处理中产生的移动信息。

预测方案控制单元680基于每个画面根据元数据控制预测解码处理方法，该元数据涉及诸如熵编码处理单元612产生的移动信息的预测编码。

现在将参考图4描述根据本实施例的特定重放处理。在该说明书中，使用在上述编码处理中产生的编码数据以6倍普通速度的重放处理被提供作为特定重放的一个例子。

从数据输入单元610输入的编码数据在熵解码处理单元612上被熵解码，并被分离成图像数据和在编码数据上复合的元数据。元数据是指示移动信息或涉及编码方案的信息的数据。当以6倍普通速度执行重放处理时，元数据被参考，以仅解码I画面或参考限制P画面的图像数据。

首先，通过逆量化单元614在熵解码数字数据上以预定量化级别执行逆量化，并产生一个整数变换系数。通过在逆变换单元616中对整数变换系数执行逆整数正交变换来恢复图像数据。加法器618在恢复图像数据上加上将在后面描述的预测图像数据来产生图像数据，这是解码的最终结果。从输出单元620输出该解码图像数据。

此外，所述解码图像数据被传送给切换单元635作为用在后续解码处理中的参考图像数据。另一方面，涉及熵解码处理单元612产生的预测编码方案的元数据被传送给预测方案控制单元680。预测方案控制单元680通过控制输入单元611基于是否已经从***控制单元20接收到了特定的重放指令以及基于元数据来控制切换单元635。

换句话说，当已经发出了特定的重放指令时(在这种情况下，是以6倍普通速度重放的指令)，通过参考元数据来选择I画面或参考限制P画面。在I画面的情况中，开关635c和635a互相连接，而在参考限制P画面的情况中，开关635c和635b互相连接。结果，I画面的解码图像被存储在第三帧存储器636中。内部预测解码单元640从***解码图像数据产生其上已经执行了内部预测解码的预测图像数据，并向切换单元660发送所产生的数据。在I画面的情况中，开关635c和635a根据来自预测方案控制单元680的指令而互相连接，并且预测图像数据被传送给加法器618。

另一方面，在参考限制P画面的情况中，通过解块滤波器单元650在解码图像数据上执行块边界校正，其随后被保留在第四帧存储器652中。所保留的图像数据被保留作为用于另一参考限制P画面的参考画面，并由中间预测解码单元656结合元数据使用以产生预测图像数据，该元数据涉及熵解码处理单元612产生的预测编码。预测图像数据被传送给切换单元660。在切换单元660，通过预测方案控制单元680将开关660b和660c互相连接。预测图像数据然后被传送给加法器618以在图像数据解码处理中使用。

如所见到的，根据本实施例，在发出了特定重放指令的情况中，解码处理单元600现在能够仅解码I画面或参考限制P画面，从而允许平滑地执行特定重放。

此外，通过安排为每一预定数目的画面待编码的并且按规则间隔被包括的I画面或参考限制P画面，可简单地实现以预定速度的特定重放。

对于本实施例，虽然作为特定重放的一个例子描述了以6倍普通速度实现重放的情况，但是无需多言，通过进一步选择的解码画面可实现以例如12倍普通速度、18倍普通速度和24倍普通速度的快速重放。此外，容易理解，通过提高I画面和参考限制P画面的出现频率并相应地执行解码，可实现以2到5倍于普通速度(及其双倍)的重放。此外，也可使用传统的特定重放方法，其中仅提取I画面来进行重放。

此外，在该实施例中，由于可独立于构成GOP的画面数目来设定用于特定重放的画面的出现频率，可以灵活的方式设定用于特定重放的画面的出现频率。

此外，在本实施例中，由于主要使用比I画面具有更高编码效率的P画面实现用于特定重放的画面，可简单地实现特定重放同时抑制编码效率的下降。

在本实施例中，参考同一GOP中的I画面或应用于其上的其它参考限制P画面的P画面被用作用于特定重放的P画面。但是，可代替使用其它编码方案的画面，只要仍然保持这种参考关系。例如，具有被包含在预定数目画面中的参考画面关系的可随机访问的帧间编码预测画面可被用作用于特定重放的画面。

<第二实施例>

接下来，将描述本发明的第二实施例。

由于本实施例也适用于关于第一实施例描述的视频摄像机，因此将省略有关于那里已经描述过的内容。

图7表示了根据该实施例的视频摄像机执行的编码方案选择的一个例子。在图7中，附图标记2500到2505表示被作为GOP管理的画面组，附图标记2600到2605表述I画面，附图标记2700到2711及2800到2811分别表示P画面。

在这种情况中，P画面2800和2700参考同一GOP2500中的I画面2600。接下来，P画面2701参考同一GOP2500中的P画面2700，而P画面2702参考同一GOP2501中的P画面2601。此外，P画面2703参考同一GOP2501中的P画面2702，P画面2803参考同一GOP2501中的P画面2703，I画面2602在P画面2703之后3个画面。

此外，P画面2704参考同一GOP2502中的I画面2602，而P画面2805及2705参考同一GOP2502中的P画面2704。此外，P画面2706参考同一GOP2503中的I画面2603，而P画面2806和2707参考同一GOP2503中的P画面2706。此后，P画面2808、2708、2709、2710和2811的参考关系被限制为类似的模式。

在本实施例中，应用于P画面2700到2711的参考限制与第一实施例中相同。如果这些参考限制可被认为是第一限制编码方案的代表，则应用于P画面2800、2803、2805、2806、2808和2811的新限制代表第二限制编码方案。

根据本实施例，以规则的每6个画面间隔(每第6个画面)设置I画面2600、2602、2604和P画面2700到2711。为了解码这些画面，除了解码这些画面本身之外，解码I画面2601、2603和2605是全部所需要的。

因此，可通过提取I画面以及P画面来解码所有提取出的画面，其中已经将第一限制编码方案应用到了该P画面。结果，由于每6个画面可解码所有画面，可通过以普通帧频显示解码结果来实现6倍于普通速度的重放显示。这与第一实施例相同。

在该实施例中，除了其上已经应用了第一限制编码方案的P画面(第一限制P画面)之外，第二限制编码方案被应用于P画面2800、2803、2805、2806、2808和2811。

其上已经应用了第二限制编码方案的P画面(第二限制P画面)也被安排为使得参考被限制为同一GOP中的I画面或第一限制P画面。结果，参考关系被排他地包含在I画面中以及具有第一和第二限制的P画面中。换句话说，可独立于其它画面组执行解码。

现在将考虑以10倍普通速度或更高速度的特定重放。例如，当考虑以12倍普通速度重放时，其比6倍普通速度快两倍，最简单的实现方法将涉及执行被包括在每6个画面中的每隔一个I画面或每隔一个第一限制P画面的普通速率重放显示，换句话说，每12个画面一个图像数据。

但是，每第12个画面设置的画面可能不具有高相关性。在这种情况下，用户会得到不自然的印象，类似于从掉帧运动画面的显示或静止图像的列表显示接收到的。在这种情况中，本实施例被安排为使得在用于特定重放的画面(其每隔12个画面显示)之间附加地显示与用于特定重放的显示图像具有强相关性的画面。结果，可抑制视觉上的不自然，可在画面间产生平滑切换的印象，类似于运动画面。

在本实施例中，可通过提供除了用于特定重放的画面(已经为其限制了参考画面，以下称为“第一限制P画面”，其已经结合第一实施例描述过)之外的第二限制P画面实现在快速重放期间的上述视觉特征的改善。

更具体地，在超过预定重放速度的快速重放的情况中(在该说明书中，为12倍普通速度或更高)，将例如在如下画面上相继执行重放和显示。

解码处理：I画面2600，

解码处理：第二限制P画面2800，

解码处理：第一限制P画面2701，

解码处理：I画面2601，

解码处理：第一限制P画面2703，

解码处理：第二限制P画面2803，

解码处理：第一限制P画面2704，

解码处理：第二限制P画面2805，

解码处理：第一限制P画面2706，

解码处理：第二限制P画面2806，

解码处理：I画面2604，

解码处理：第二限制P画面2808，

解码处理：第一限制P画面2709，

解码处理：I画面2605，

解码处理：第一限制P画面2711，

解码处理：第二限制P画面2811，

在该例子中，对于每隔12个画面显示的用于特定重放的每隔一个画面(2600、2701、2703、2704、2706、2604、2709、2711)，3个画面之后的画面(2800、2601、2803、2805、2806、2808、2605、2811)被额外地显示，作为与用于特定重放的画面具有强相关性的画面。

结果，可抑制由于相隔12个画面设置的画面之间的低相关性而引起的视觉不自然，可实现平滑的类似于运动画面的显示。由于以这种方式提高了显示画面的数目，即使在每隔12隔画面上执行显示，也可以实现6倍普通速度重放的画面更新速度。但是，由于本实施例的焦点在于在快速搜索具有低相关性画面的期间实现视觉改善，12倍普通速度的数值本身是不重要的。换句话说，如果具有低相关性的快速画面的搜索速度是24倍普通速度，则相应于***画面的数目，实际的更新速度被减小到12倍普通速度。然而，这不意味着所感觉到的搜索速度将会减半，并且归功于视觉特征的改善，可提供实际的快速重放。由于为了简便，已经关于本实施例描述了12倍普通速度的例子，本说明不会与6倍普通速度的屏幕更新速率不同。但是，本说明给定的目的是保证在此的内容容易理解，应当理解，这些细节从实际观点来看不是特别重要的。用户对于甚至当从6倍普通速度的搜索移动到12倍普通速度的搜索时一直不改变显示时间感到不适，在这一不太可能的情况中，在6倍普通速度之后的下一快速搜索速度应被设置在24倍普通速度。此外，可通过仅显示以12倍普通速度提取的画面中的一场并以1/60秒刷新帧来减轻这一不适感觉。

如所见到的，在本实施例中使用了两种限制编码方案。第一限制编码方案把快速重放中使用的前向预测画面(P画面)的参考限制为同一GOP中的I画面或已经对其使用了第一限制编码方案的另一P画面。此外，第二限制编码方案把与在快速重放中所使用的画面具有高相关性的前向预测画面的参考限制为同一GOP中的I画面或已经对其使用了第一限制编码方案的另一P画面。

本实施例已经被安排为使得第二限制编码方案被应用于I画面或看起来接近是待用于快速重放的画面的P画面。在如图7所示的安排I、P和B画面的情况中，第二限制编码方案将被应用于待用于快速重放的所述画面之后3个画面的画面。

结果，可使用同一GOP中的I画面或第一和第二限制P画面的编码数据来实现对包括I画面以及第一和第二限制P画面的画面解码。

接下来，将结合图8A和8B所示的流程图来描述根据本实施例的由编码处理单元200所执行的选择编码方案的操作。

首先，在进行编码时，开始为每个画面选择编码方案。当输入了编码目标画面时(S2901)，编码处理单元200使用预定的方法确定是否应对于输入画面使用帧内编码方案(S2902)。如果不应用帧内编码方案，则编码处理单元200选择一种根据H.264方案执行的普通方法作为编码方案(S2903)。通常，为前两个输入画面选择并确定双向预测编码方案。

另一方面，如果确定将对输入画面应用帧内编码方案(S2902)，则编码处理单元200将第一计数器k初始化为1，将第二计数器l初始化为0，将第二限制编码标记初始化为1，并在该输入画面上执行帧内编码处理(S2910)。

当输入了下一画面时(S2911)，编码处理单元200确定第一计数器值k是否为6(S2913)。如果k不等于6，则编码处理单元200确定第二限制编码标记是否为1以及画面是I画面还是P画面(S2914)。通常，由于I画面后跟随B画面，这种条件是不满足的。因此，编码处理单元200将第一计数器值k加1(S2915)，通过通常执行的预定方法选择编码方案(S2916)。

在使用所选择的编码方案执行了编码处理之后，编码处理单元200确定是否已经发出了终止编码处理的指令(S2917)。如果还没有发出终止指令，则画面会被继续输入给编码处理单元200(S2911)。如果已经发出了终止指令，则编码处理单元200终止编码处理以及编码方案的选择(S2950)。

在处理下一输入画面期间，当第一计数器k不等于6(S2913)，第二限制编码标记为1，且画面是I画面或P画面(在S2914中的“是”)时，编码处理单元200将处理进行到S2940。例如，当输入跟随两个B画面的P画面时，执行如下处理。首先，编码处理单元200将第一计数器值k加1，并将第二限制编码标记重设为0(S2940)。编码处理单元200接下来选择第二限制编码方案(S2941)。

结果，对于以规则间隔(在该例子中，为每6个画面)布置的每隔一个画面(其中已经为其选择了第一限制编码方案)，将为最近的P画面或I画面选择第二限制编码方案。在I画面的情况中，注意即使当选择第二限制编码方案时，也不会执行特定的处理，而将执行普通的内部预测编码。另一方面，在P画面的情况中，将执行中间预测编码，其中参考被限制为同一GOP中的I画面或第一限制P画面。对于P画面，该画面是第二限制画面的事实被作为待在流上叠加的元数据而管理。

当第一计数器k为6时(S2913)，编码处理单元200首先将第一计数器k重设为1，并将第二计数器l加1(S2920)。接下来，编码处理单元200确定第二计数器值l的模2操作的余数是否为0(S2911)。如果是，编码处理单元200将第二限制编码标记设置为1(S2930)。结果，对于以规则间隔布置的第一限制画面(P画面或I画面)，设定第二限制画面的标记被每隔一个画面而设定。在该处理(S2930)之后或当第二计数器值l的模2操作的余数为1时(S2921)，编码处理单元200以与S2902相同的方式确定该输入画面是否为I画面(S2923)。当确定该输入画面是I画面时，编码处理单元200选择帧内编码方案(S2924)，并进行到S2917。

当在S2923确定了该输入画面不是I画面时，编码处理单元200选择第一限制编码方案(S2922)。换句话说，如参考图6所述的，选择前向预测编码方案，其中同一GOP中I画面或在类似参考限制下编码的P画面(限制P画面)被用作参考画面。对于在第一限制编码方案下编码的编码图像数据，所述画面已经经历第一限制编码方案的事实被作为将在流上叠加的元数据而管理。

由于可通过与参考图4所述的第一实施例中使用的程序基本相同的程序来执行本实施例中产生的编码数据流的重放，将省略对其的说明。本实施例与第一实施例的区别在于根据重放速度切换用于解码和显示的画面，该重放速度被包括在从控制输入单元611输入的快速重放指令中。

换句话说，在该实施例中，当从控制输入单元611发出了以6倍普通速度重放的指令时，将执行参考第一实施例所述的快速重放和显示处理。另一方面，如果已经发出了等于或超过预定速度的快速重放指令(在这种情况中，以12倍普通速度重放)，基于熵解码处理单元612所产生的元数据，除了I画面和第一限制P画面之外，第二限制P画面将被包括在的解码目标中。接下来，如参考图7所述的，将显示以规则的12个画面间隔的画面和第二限制画面。

在该第二实施例中，第二限制画面用于抑制由于显示图像之间相关性减小而引起的视觉特征下降，该显示图像之间相关性减小是由于在快速重放期间画面显示间隔增加而引起的。在以上说明中，第二限制画面的重放在以6倍普通速度重放期间没有执行，而在以12倍普通速度重放期间执行了。但是，可任意设定重放速度。

此外，在本实施例的说明中，第二限制编码方案所被应用于其的画面已经被限制为P画面。但是，可通过将第一限制画面之间所夹的B画面所参考的画面限制为同一GOP中的第一限制画面来获得类似的效果。

此外，在该实施例中，由于可独立于构成GOP的画面数目来设定用于特定重放的画面的出现频率，可以灵活的方式设定用于特定重放的画面的出现频率。

此外，在该实施例中，由于主要使用具有比I画面更高编码效率的P画面来实现用于特定重放的画面，可在抑制编码效率下降的同时简单地实现特定重放。

在该实施例中，参考同一GOP中的I画面或被应用其上的其它参考限制P画面的P画面，以与第一实施例中同样的方式被用作用于特定重放的P画面。但是，可替代使用其它编码方案的画面，只要这种参考关系仍然保持。例如，具有被包含在预定数目画面中的参考画面关系的可随机访问的帧间编码预测画面可被用作用于特定重放的画面。

<第三实施例>

接下来，将描述本发明的第三实施例。

由于本实施例类似地适用于参考第一实施例所述的视频摄像机，将省略已经参考其描述过的内容。

如参考图5所述的，H.264方案在P画面的参考画面上强加的限制是非常松的。在特定重放期间允许这种不严格的参考具有不利的影响，特别是在上述快速重放期间，其中用户会被强迫使用其中仅提取I画面的重放方法。换句话说，尽管在图5所示的例子中由15个画面组成一个单个的GOP，但是组成一个GOP的画面数目没有被固定。例如，为了实现具有更大效率的编码，存在使用甚至更多数目画面(例如30)来配置一个GOP的情况。当通过提取GOP中的I画面来执行快速重放时，组成GOP的画面数目的改变导致了重放速度的改变。视频摄像机作为根据本实施例的图像编码设备以及图像解码设备的一个例子，其抑制了如下所述的快速重放期间重放速度的变化，甚至当改变构成GOP的画面的数目时。

将参考图10描述根据本实施例的视频摄像机的画面控制单元280选择编码预测方案的原理。

在图10中，附图标记3200到3204表示GOP，附图标记3300到3304表示I画面，附图标记3350、3400到3411以及3500到3511分别表示P画面。此外，在图10中，GOP3200、3201、3203和3204分别由15个画面组成，而GOP3202由30个画面组成。

P画面3400参考同一GOP3200中的I画面3300，而P画面3401参考同一GOP3200中的P画面3400。P画面3402参考同一GOP3201中的I画面3301，而P画面3403参考同一GOP3201中的P画面3402。P画面3404参考同一GOP3202中的I画面3302，而P画面3405参考同一GOP3202中的P画面3404。

P画面3350参考同一GOP3202中的P画面3405。下一P画面3406参考同一GOP3202中的P画面3350，而P画面3407参考同一GOP3202中的P画面3406。随后，GOP3203和3204的P画面3408、3409、3410和3411具有与GOP3200和3201相同的参考关系。

用于各个GOP3200到3204的参考画面是I画面3300到3304。但是，与其中每15个画面出现I画面的其它GOP不同，I画面3303是在先前I画面3302后的第30个画面。这是由于考虑到编码效率，GOP3202已经被30个画面配置所取代这一事实。换句话说，除非GOP的构成GOP的画面数目改变，否则最初期望为I画面的编码画面会被P画面3350所取代。

考虑到这些，对于构成GOP的每最小数目画面而布置的I画面和P画面，本实施例将I画面3300到3304和P画面3350管理为第一限制编码画面。换句话说，对于第一限制编码画面，当包括画面的GOP由最小数目画面组成时，使用帧内预测编码方案来执行编码。对于被包括在由较大数目画面组成的GOP中的第一限制编码画面，参考被限制为仅可从最近的第一限制编码画面到紧接在前的编码画面的编码数据进行解码的画面。以下，上述参考限制编码方案将称为“第一限制编码方案”。

更具体地，在图10所示的例子中，构成GOP的画面的最小数目是15。I画面3300是GOP3200的第三个画面。从I画面3300开始分别为15×第n个(其中n表示自然数)画面的如下画面配置为一组第一限制编码画面。

I画面3300

I画面3301

I画面3302

I画面3350

I画面3303

I画面3304

由于GOP3202由多于最小数目的画面组成，从I画面3320开始的第15个画面是P画面3350。

在这种情况中，可以由将执行帧间预测编码的P画面3350所参考的画面会被限制为仅可从I画面3302到B画面3340的编码数据进行解码的画面，该I画面3302是具有第一限制的最近的编码画面，该B画面3340是紧接在前的画面。因此，P画面3350将会被使用帧间编码方案进行编码，该帧间编码方案使用I画面3302和P画面3404、3405中的一个或多个作为参考画面。在图10所示的例子中，P画面3350参考P画面3405。

此外，在该实施例中，使用具有第一限制的编码画面作为参考画面，将按每个预定数目(该例中为6)画面提供第二限制编码画面，该数目小于组成GOP的画面的最小数目。更具体地，参考被包括在同一GOP中的第一编码画面、或其它被包括在该同一GOP中的用于特定重放的画面的P画面被提供作为第二限制编码画面。

在图10中，第二限制编码画面是P画面3400到3411，其从I画面3300开始每6个画面出现。如所见到的，在I画面3300开始每6个画面提供的画面组被被独立于构成GOP的画面数目的改变而设置。此外，在这些画面组内的所有画面是可解码的，只要解码了第一限制编码画面组。这意味着，通过提取第一限制编码画面和第二限制编码画面，每6个画面提供的画面总是可解码的，而与构成GOP的画面数目无关。因此，通过以普通的帧频显示每6个画面提供的画面，即使组成GOP的画面数目发生了改变，也可以实现保持6倍普通速度的重放显示。

接下来，将参考图9A和9B所示的流程图描述根据本实施例的编码处理单元200所执行的编码操作。

在开始图像数据的编码处理时，编码处理单元200首先将编码目标画面计数器的值k重设为1(S3000)。编码处理单元200验证构成GOP的画面数目(GOP的构成数目)，并将GOP内部画面计数器的值j重设为1(S3001)。

接下来，将参考图11所示的流程图描述根据本实施例的设置GOP成分数目的方法。当开始GOP成分数目的设定时，***控制单元20首先验证是否会从摄像机输入待编码的图像数据(编码目标画面)(S3101)。使用根据本实施例的视频摄像机，编码目标画面被提供作为摄像机输入(从图像输入单元100输入)或线路输入(从例如USB或IEEE1394的外部输入终端输入)。

当在S3101确定编码目标画面将被线路输入时，***控制单元20将处理进行到S3106。另一方面，如果确定编码目标画面将被摄像机输入，***控制单元20确定记录模式是否被设置为了高清晰度记录模式(S3102)。

在本实施例中可用的记录模式是高清晰度记录模式，其使用高数据速率并强调图像质量，以及延长记录模式，其使用低于高清晰度记录模式的数据速率，但与其相比实现了更长的记录。当设置了延长记录模式时，***控制单元20将处理进行到S3106。

另一方面，当设置了高清晰度记录模式时，***控制单元20确定记录介质是否为盘(S3103)。对于本实施例，可用作记录区域的记录介质包括适合于大容量记录的盘(DVD-R等)，以及易于携带但不适合于大容量记录的存储卡。如果记录介质是存储卡，***控制单元20将处理进行到S3106。如果将在盘上执行记录，则***控制单元20验证记录介质上的空闲空间(S3104)。如果空闲空间不等于或超过预定值，则***控制单元20将处理进行到S3106。另一方面，如果记录介质上的空闲空间等于或超过了预定值，则***控制单元20将处理进行到S3105。在S3105中，***控制单元20将GOP成分数目设定为最小的成分数目m(在该例中为15)。另一方面，在S3106中，***控制单元20将GOP成分数目设定为该最小构成数目的两倍，在该例中为30。

通常，GOP的成分数目越大，则具有高编码量的I画面数目越小。结果，提高了编码效率。由于线路输入图像经常是相对稳定的，且趋向拥有画面之间的高相关性，可通过提高GOP成分数目来实现高效编码。此外，使用延长记录模式，作为减小I画面出现频率的结果的改善的编码效率使得可实现进一步的延长记录。此外，由于存储卡具有较高的单位容量造价，为了有效地使用容量，提高GOP成分数目。此外，即使使用盘记录介质，当空闲空间不够时也会提高GOP成分数目。

根据以上的过程，GOP成分数目由图2所示的***控制单元20设定，并被发送到记录处理单元200，进以完成GOP成分数目的设定(S3107)。

现在返回到图9A，编码处理单元200验证根据上述程序设定的GOP成分数目，重设GOP内部计数器(S3001)，并且进行到S3003以输入一个编码目标画面。接下来，编码处理单元200检查当GOP成分的最小数目m为模数时，GOP内部计数器值j的模操作的余数(jmod m)是否为3(S3005)。

如果j mod m的值不是3，则编码处理单元200将处理进行到S3007，以及检查编码目标画面计数器值k与模数6的模操作的余数(|k-3| mod 6)是否为0。在该实施例中，第一GOP的第三个画面是I画面，从该I画面开始每6个画面提供用于特定重放的P画面。因此，通过该计算判断该输入编码目标画面是否应作为用于特定重放的画面而被编码。

如果|k-3| mod 6不等于0，则编码处理单元200将处理进行到S3009，并基于普通的编码方案执行编码处理。在该情况中，通过前向预测编码方案或双向预测编码方案来编码该编码目标画面。

另一方面，如果在S3007中|k-3| mod 6＝0，则编码处理单元200在S3011根据第二限制编码方案来编码该编码目标画面。该第二限制编码方案是参考限制的前向预测编码方案。更具体地，使用前向预测编码方案(中间预测编码方案)，其使用画面流中的时间在前的I画面、或者根据第二限制编码方案编码的另一画面。因此，解码由I画面和使用第二限制编码方案编码的P画面(第二限制画面)组成的画面组，可仅使用来自该画面组内的数据。结果，根据本实施例产生的编码数据包括在每6个画面可解码的画面，并可简单地实现6倍普通速度的显示。

在S3005中，当j mod m＝3时，编码处理单元200将处理进行到S3013，并验证GOP内部计数器值j。编码处理单元200进一步验证j是否等于3(S3013)。如果j＝3，或者换句话说，如果编码目标画面是GOP的第三个画面，则根据该实施例，该画面是I画面。因此，当j＝3时，编码处理单元200在S3017根据帧内编码方案执行编码。

另一方面，如果j不等于3，则编码目标画面是GOP中的第(3+m*n)个画面(其中n是自然数)，例如图10所示的画面3350。因此，编码处理单元200使用上述第一限制编码方案执行编码(S3015)。

以这种方式，在S3009、S3011、S3017或S3015的任何之一中对每个输入编码目标画面进行编码。通过熵编码单元218将关于所使用的编码方案的信息复合到每个画面的编码数据上。

在S3019，编码处理单元200分别将GOP内部计数器j和编码目标画面计数器k的值加1。在S3021，编码处理单元200验证是否将继续编码处理，如果不是，结束处理。如果不结束处理，在步骤S3023中，编码处理单元200检查是否已经结束了GOP。更具体地，可使用在S3001中验证的GOP成分数目和GOP内部计数器j的值来执行该判断。

如果j的值等于或小于GOP成分数目，则GOP还没有结束。因此，编码处理单元200将处理返回到S3003，并且输入下一编码目标画面。此外，超过GOP成分数目的j值表示该编码画面是GOP中最后的画面。因此，编码处理单元200判断GOP已经结束并将处理返回到S3001，并验证下一GOP的GOP成分数目，并且重设GOP内部计数器。

以这种方式，通过将第一限制画面包括到待输入的编码目标画面组，本实施例能够抑制快速重放期间重放速度的变化，即使当GOP成分数目改变时。此外，通过包括第二限制画面，可使用帧间编码产生使得快速重放容易被执行的编码数据，该帧间编码具有比帧内编码更高的编码效率。

由于可通过与参考图4描述的第一实施例基本相同的程序执行本实施例中产生的编码数据流的重放，因而省略了对其的说明。

如所见到的，根据本实施例，在发出了特定重放指令的情况中，解码处理单元600现在能够仅解码I画面或第二限制画面，从而允许平滑地执行特定重放。

此外，通过安排为每个预定数目的画面待编码的并且按规则间隔被包括的I画面或第二限制画面，可简单地实现预定速度的特定重放。

以上说明的焦点在于使用第二限制画面以6倍普通速度的重放处理。但是，通过结合第一限制画面执行解码，可从每个GOP中包括的I画面和第一限制画面来执行相应于最小GOP成分数目的快速重放(例如，当最小GOP成分数目是15时，以15倍普通速度重放)。如上所述，在本实施例中，即使当GOP成分数目增加时，也可以通过为每一最小数目的GOP成分包括第一限制画面来执行编码。结果，即使当GOP成分数目改变时，也可以以稳定的重放速度简单地执行快速重放。

<其它实施例>

对于以上表示的各个实施例，已经描述了使用中间预测方案将本发明应用于视频摄像机的情况。但是，本发明可类似应用于其它设备，例如使用中间预测方案的视频放映机或视频记录机。本发明的应用实现了以简单的方式执行特定重放，同时抑制编码效率的下降。

可通过***或装置的计算机(或CPU、MPU等)执行软件的形式实现以上表示的实施例。

因此，提供到计算机的计算机程序自身使得计算机实现了本发明的功能和处理，同时实现了本发明。换句话说，本发明还包括执行上述实施例功能的计算机程序本身。

实现上述实施例的计算机程序可采用任何形式，只要该计算机程序是计算机可读的。例如，该计算机程序可被配置为目标代码、解释器可执行程序、提供给OS的脚本数据等。但是，该计算机程序不必限制为这些配置。

从存储介质或通过有线/无线通信向计算机提供实现上述实施例的计算机程序。提供该程序的存储介质例如包括软盘、硬盘、例如磁带的磁存储介质、例如MO的光/磁-光存储介质、CD或DVD、或非易失性半导体存储器。

计算机网络上的服务器可被用于通过有线/无线通信提供计算机程序。在这种情况中，可包括形成本发明的计算机程序的数据文件(程序文件)被存储在服务器中。程序文件可以是可执行文件或源代码。

通过访问该服务器下载到客户计算机上提供所述程序文件。在这种情况中，该程序文件可被分为将在不同的服务器中分布和布置的多个分段文件。

换句话说，向客户计算机提供实现上述实施例的计算机程序的服务器装置也是本发明的实现。

此外，还可以编码执行上述实施例的计算机程序并将该程序存储在存储介质中，以向用户分配，为了实现将该计算机程序安装在用户的计算机上，向满足某种条件的用户提供用于解码的密钥信息。可通过例如通过因特务从主页下载来提供密钥信息。

此外，实现上述实施例的计算机程序可使用已经在计算机上执行着的OS的功能。

此外，可通过计算机上设置的扩展板等的固件来配置实现上述实施例的部分计算机程序。此外，可通过扩展板等上提供的CPU执行实现上述实施例的计算机程序。

虽然已经参考示例性实施例描述了本发明，但应当理解，本发明不限于所公开的示例性实施例。下面权利要求的范围将符合最宽的解释，从而包括所有这种修改和等价的结构与功能。

Claims (14)

1、一种编码设备，其使用帧内预测编码方案或帧间预测编码方案对组成运动画面的每个画面进行编码，所述编码设备包括：

控制单元，其选择应用于每个画面的编码方案；以及

编码单元，其基于所述控制单元选择的所述编码方案来编码每个画面，其中

所述控制单元进行如下选择：

为相应于一个预定周期的每个画面，选择所述帧内预测编码方案，或所述帧间预测编码方案，其中参考画面被限制为相应于所述预定周期的另一画面；以及

对于其它画面，选择所述帧内预测编码方案，或所述帧间预测编码方案，其中对参考画面没有设置限制。

2、如权利要求1的编码设备，进一步包括管理单元，所述管理单元在每个预定数目的连续画面的组中管理所述画面，其中

当为相应于所述预定周期的画面选择所述帧间预测编码方案时，所述控制单元将所述参考画面限制为与所述画面属于同一组的、并且相应于所述预定周期的其它画面。

3、如权利要求1的编码设备，其中当为相应于所述预定周期的画面选择所述帧间预测编码方案时，所述控制单元将所述参考画面限制为时间上在编码目标画面之前的画面。

4、如权利要求1至3中任意之一的编码设备，其中所述控制单元还为组成所述运动画面的画面中的、相应于所述预定周期的画面中的与每第n个画面(n是自然数)在时间上相邻近的画面选择与为相应于所述预定周期的画面所选择出的编码方案相同的编码方案。

5、如权利要求4的编码设备，进一步包括输出单元，所述输出单元将指示所应用编码方案的信息添加到所述编码单元编码的数据上，并输出所述数据。

6、一种编码设备，其使用帧内预测编码方案或帧间预测编码方案对组成运动画面的每个画面进行编码，所述编码设备包括：

确定单元，其为每个组确定待作为组管理的画面的数目；

控制单元，其基于每个组选择待应用于每个画面的编码方案；以及

编码单元，其基于所述控制单元选择的编码方案来编码每个画面，其中

所述控制单元进行如下选择：

对于所述组中的每一个组，为存在于从该组顶端开始的同一位置上的画面，选择所述帧内预测编码方案，以及对其中所述确定单元所确定的画面数目超过预定值的组，选择所述帧间预测编码方案，其中参考画面被限制为仅可从以下画面的编码数据进行解码的画面，这些画面是从对其已经选择了所述帧内预测编码方案的同一组中画面的编码数据，到被包括在已经选择了所述帧内预测编码方案的组中的画面中的、相对于与具有所述预定值的周期相应的画面的紧接在前的画面。

7、如权利要求6的编码设备，其中所述控制单元进行如下选择：

对于除了为其选择所述帧内预测编码方案的画面之外的、与预定周期相应的每个画面，选择所述帧间预测编码方案，在该帧间预测编码方案中，参考画面被限制为已经为其选择所述帧内预测编码方案的画面、或者相应于所述预定周期的其它画面；以及

为其它画面，选择其中对参考画面没有设置限制的帧间预测编码方案中的任何之一。

8、如权利要求6或7的编码设备，其中所述确定单元基于所述运动画面的输入源类型、编码质量、编码数据的记录介质类型、所述记录介质的空闲空间中的至少之一，将组成所述组的画面数目确定为第一数目、或大于所述第一数目的第二数目。

9、一种解码设备，其接收并解码被编码的运动画面信息，其中

所述编码运动画面信息包括：第一画面、第二画面和第三画面组成的编码数据，该第一画面使用帧内预测编码方案编码，该第二画面使用帧间预测编码方案编码，对于该帧间预测编码方案，参考画面被限制为所述第一画面或另一个第二画面，该第三画面使用帧间预测编码方案编码，其中对参考画面没有设置限制；以及指示用于编码每个画面的编码方案的信息，所述解码设备包括：

获取单元，其从所述运动画面信息中获取所述指示编码方案的信息；

解码单元，其基于由所述获取单元获取的指示编码方案的所述信息，对被包括在所述运动画面信息中的编码数据进行解码；

检测单元，其检测用于快速重放的执行指令；以及

重放控制单元，当所述检测单元检测到用于快速重放的所述执行指令时，仅解码所述编码数据中的所述第一和第二画面，并且当所述检测单元没有检测到用于快速重放的所述执行指令时，解码所述第一、第二和第三画面。

10、如权利要求9的解码设备，进一步包括显示单元，其将获得的运动画面信息作为所述解码的结果显示，其中

当所述检测单元检测到用于快速重放的所述执行指令时，所述重放控制单元选择所述第一和第二画面中的一部分并使得所述显示单元显示相同的部分，从而以相应于所述快速重放的速度的规则间隔显示组成所述运动画面信息的多个画面。

11、如权利要求10的解码设备，其中当所述快速重放的速度超过预定速度时，所述重放控制单元使得所述显示单元还显示除了所述选择的第一和第二画面之外的其它第一或第二画面，所述其它第一或第二画面与所述选择的第一和第二画面在时间上邻近。

12、一种编码方法，用于使用帧内预测编码方案或帧间预测编码方案对组成运动画面的每个画面进行编码，所述编码方法包括：

控制步骤，用于选择应用于每个画面的编码方案；以及

编码步骤，用于基于所述控制步骤中选择的编码方案来编码每个画面，其中

所述控制步骤进行如下选择：

为相应于预定周期的每个画面，选择所述帧内预测编码方案，或所述帧间预测编码方案，其中参考画面被限制为相应于所述预定周期的另一画面；和

为其它画面选择所述帧内预测编码方案，或所述帧间预测编码方案，其中对参考画面没有设置限制。

13、一种编码方法，用于使用帧内预测编码方案或帧间预测编码方案对组成运动画面的每个画面进行编码，所述编码方法包括：

确定步骤，用于为每个组确定待作为组管理的画面的数目；

控制步骤，用于基于每个组选择待应用于每个画面的编码方案；以及

编码步骤，用于基于所述控制步骤所选择的编码方案来编码每个画面，其中

所述控制步骤进行如下选择：

对于所述组的每一个组，为存在于从该组顶端开始的同一位置上的画面，选择所述帧内预测编码方案，以及为其中所述确定步骤确定的画面数目超过预定值的画面，选择所述帧间预测编码方案，其中参考画面被限制为仅可从以下画面的编码数据进行解码的画面，这些画面是从对其已经选择了所述帧内预测编码方案的同一组中画面的编码数据，到被包括在所述已经选择了所述帧内预测编码方案的组中的画面中的、相对于与具有所述预定值的周期相应的画面的紧接在前的画面。

14、一种解码方法，用于接收并解码被编码的运动画面信息，其中

所述编码的运动画面信息包括：第一画面、第二画面和第三画面组成的编码数据，该第一画面使用帧内预测编码方案编码，该第二画面使用帧间预测编码方案编码，对于该帧间预测编码方案，参考画面被限制为所述第一画面或另一个第二画面，该第三画面使用帧间预测编码方案编码，其中对参考画面没有设置限制；以及指示用于编码每个画面的编码方案的信息，所述解码方法包括：

获取步骤，用于从所述运动画面信息获取所述指示编码方案的信息；

解码步骤，用于基于在所述获取步骤中获取的指示编码方案的所述信息，对被包括在所述运动画面信息中的编码数据进行解码；

检测步骤，用于检测用于快速重放的执行指令；以及

重放控制步骤，用于当所述检测步骤中检测到用于快速重放的所述执行指令时，仅解码所述编码数据中的所述第一和第二画面，并且当所述检测步骤中没有检测到用于快速重放的所述执行指令时，解码所述第一、第二和第三画面。

Images