CN103125119A - 图像处理装置、图像编码方法以及图像处理方法 - Google Patents

Abstract

提供图像处理装置，其针对以各种各样的编码单位块对图像进行编码而得到的编码流，以流水线方式高效率地施行多个处理。一种图像处理装置，以流水线方式对编码流施行多个第一处理，该编码流是，通过将图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块对图像进行编码而得到的编码流，图像处理装置具备：多个第一处理部(2111)，通过分别执行多个第一处理之中的某一个，来以流水线方式对编码流施行多个第一处理；以及控制部(2110)，将编码流分割为分别以第一尺寸构成的多个第一处理单位块，并以按每个第一处理单位块来执行多个第一处理的方式，来控制多个第一处理部(2111)。

Description

图像处理装置、图像编码方法以及图像处理方法

技术领域

本发明涉及，以流水线方式对编码流施行多个处理的图像处理装置，该编码流是，通过将图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块对图像进行编码而得到的编码流。

背景技术

对运动图像进行编码的图像编码装置，将构成运动图像的各个图片分割为分别以16x16像素构成的多个宏块(Macroblock，也简称为MB)。而且，图像编码装置，按照光栅扫描顺序对各个宏块进行编码。图像编码装置，编码并压缩运动图像，从而生成编码流。图像解码装置，以光栅扫描顺序，按每个宏块，对该编码流进行解码，再生原来的运动图像的各个图片。

以往的图像编码方式之一有ITU-T H.264标准(例如，参照非专利文献1)。图像解码装置，为了对根据H.264标准编码后的图像进行解码，首先，读入编码流。而且，图像解码装置，对各种头信息进行解码后，进行可变长解码。图像解码装置，对通过可变长解码而得到的系数信息进行逆量化，进行逆频率变换。据此，生成差分图像。

接着，图像解码装置，按照通过可变长解码而得到的宏块类型，进行帧内预测或运动补偿。据此，图像解码装置，生成预测图像。然后，图像解码装置，通过将预测图像与差分图像相加，从而进行重构处理。而且，图像解码装置，通过对重构图像进行去块滤波处理，从而对解码对象图像进行解码。

如此，图像解码装置，通过按每个宏块进行可变长解码处理至去块滤波处理，从而对编码后的图像进行解码。对于使该解码处理成为高速化的方法，一般利用通过宏块单位的流水线处理执行解码处理的方法(例如，参照专利文献1)。根据宏块单位的流水线处理，可变长解码处理至去块滤波处理的一连串的处理被分割为几个阶段。而且，并行执行各个阶段的处理。

图62是，将所述的解码处理分割为五个阶段时的流水线处理的例子。在图62所示的例子中，针对一个宏块，依次进行第一阶段至第五阶段的处理。而且，针对互不相同的多个宏块，同时进行第一阶段至第五阶段的处理。

在第一阶段中，图像解码装置，对编码流进行可变长解码，输出运动矢量等的编码信息、以及与各个像素数据对应的系数信息。在第二阶段中，图像解码装置，对第一阶段中得到的系数信息进行逆量化及逆频率变换，生成差分图像。

在第三阶段中，图像解码装置，按照通过可变长解码而得到的宏块类型，进行运动补偿来生成预测图像。在第四阶段中，图像解码装置，利用第三阶段中得到的运动补偿的预测图像、以及第四阶段中进行的帧内预测处理的预测图像之中的某个，和第二阶段中得到的差分图像，进行重构处理。在第五阶段中，图像解码装置，进行去块滤波处理。

如此，图像解码装置，利用流水线处理，在各个阶段同时处理不同的多个宏块。据此，图像解码装置能够，实现并行处理，使解码处理成为高速化。

此时，流水线处理的时隙(TS)的周期，取决于处理周期最长的阶段的处理周期。因此，在仅某阶段的处理周期变长的情况下，直到该最长阶段的处理完成为止，其他的阶段成为不能开始下一个宏块的处理的状态。因此，导致发生无用的空闲。为了使流水线处理高效率地工作，而重要的是，构成为尽可能使构成流水线处理的各个处理周期均等。

H.264标准涉及的图像编码装置，如上所述，以由16x16像素构成的宏块为单位，对图像进行编码。但是，作为编码的单位的16x16像素，并不一定是最佳的。一般，图像的分辩率越高，相邻块间的相关性就越高。因此，通过将编码的单位变大，来能够更提高压缩效率。

近几年，进行了4k2k(3840x2160像素)等那样的、超高精细的显示器的开发。因此，可以预测为处理图像的分辩率越来越高。H.264标准涉及的图像编码装置，随着如此图像的高分辨率化进展，越来越难以高效率地编码这样的高分辨率的图像。

另一方面，在提出了的作为下一代的图像编码标准的技术中，有解决这样的问题的技术(非专利文献2)。根据该技术，与以往的H.264标准对应的编码单位块的尺寸成为可变。而且，该技术涉及的图像编码装置，也能够以比以往的16x16像素大的块来对图像进行编码，能够适当地对超高精细图像进行编码。

具体而言，在非专利文献2中，定义了作为编码的数据单位的编码单元(CU：Coding Unit)。该编码单元是，与以往的编码标准的宏块同样，能够切换进行帧内预测的intra预测、和进行运动补偿的帧间预测的数据单位，被规定为编码的最基本的块尺寸。

该编码单元的尺寸是，4x4像素、8x8像素、16x16像素、32x32像素、64x64像素、以及128x128像素之中的某个。最大的编码单元，被称为最大编码单元(LCU：Largest Coding Unit)。

64x64像素的编码单元中包含，4096像素的数据。128x128像素的编码单元中包含，16384像素的数据。也就是说，128x128像素的编码单元中包含，64x64像素的编码单元的4倍的数据。

图63示出由128x128像素和64x64像素构成的多个编码单元的例子。在非专利文献2中，进一步，定义了频率变换单元(TU：Transform Unit)。频率变换单元，被规定为频率变换的块尺寸。具体而言，该频率变换单元的尺寸是，4x4像素、8x8像素、16x16像素、32x32像素、以及64x64像素之中的某个。

并且，进一步，定义了作为帧内预测或帧间预测的数据单位的预测单元(PU：Prediction Unit)。对于预测单元，在编码单元内部，从128x128像素、64x128像素、128x64像素、或64x64像素等的、4x4像素以上各种各样的矩形尺寸中被选择。

(现有技术文献)

(专利文献)

专利文献1：日本特开2005-295526号公报

(非专利文献)

非专利文献1：Thomas Wiegand et al，“Overview of the H.264／AVC Video Coding Standard”，IEEE TRANSACTIONS ONCIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，JULY2003，PP.1-19

非专利文献2：“Test Model Under Consideration(TMuC)”，[online]，Joint Collaborative Team on Video Coding(JCT-VC)，2010年4月15日，[2010年8月27日检索]，互联网<URL:http:／／wftp3.itu.int／av-arch／jctvc-site／2010_04_A_Dresden／JCTVC-A205.zip>

发明概要

发明要解决的问题

如上所述，非专利文献2中记载，通过使编码单元即宏块的尺寸成为可变，来提高编码效率的技术。然而，在针对这样的可变的编码单元，适用专利文献1所示的流水线处理的情况下，与编码单元中包含的像素数成比例，所需要的处理量增大。并且，处理周期数也同样变大。

也就是说，在编码流内不同的尺寸的编码单元混在一起的情况下，流水线处理的各个阶段的处理周期，因编码单元的尺寸而大幅度地变动。因此，在对小的编码单元进行处理的阶段中，发生不能进行任何处理的等待时间。而且，导致流水线的处理效率降低。也就是说，可变的尺寸的编码单元成为，导致图像解码装置的处理效率的降低的原因。

例如，图64中示出，以五个阶段的流水线处理对编码流进行解码的例子。在该例子中，如图63，CU0是128x128像素的编码单元，接着，CU1至CU4分别是64x64像素的编码单元。在此情况下，CU0是，由CU1至CU4的4倍的像素数构成的编码单元，因此，CU0的处理周期成为，其他的编码单元的处理周期的4倍。

因此，第一阶段的CU1处理完成之后，直到第二阶段的CU0处理完成为止，在第一阶段中发生空闲时间。同样，第二阶段的CU1处理完成之后，直到第三阶段的CU0处理完成为止，在第二阶段中发生空闲时间。并且，第三阶段的CU1处理完成之后，直到第四阶段的CU0处理完成为止，在第三阶段中发生空闲时间。也就是说，在各个阶段中，发生不进行处理的空闲时间。

如此，若编码单元的尺寸变动，则要处理的像素数据量增减。在编码流以流水线处理被解码的情况下，流水线处理的单位时间，取决于像素数据量大的编码单元。其结果为，在像素数据量少的编码单元的处理之后，导致发生空闲时间。因此，处理效率以及处理性能降低。

发明内容

于是，本发明的目的在于提供一种图像处理装置，针对以各种各样的编码单位块将图像编码而得到的编码流，以流水线方式高效率地施行多个处理。

用于解决问题的手段

为了解决所述的问题，本发明涉及的图像处理装置，以流水线方式对编码流施行多个第一处理，该编码流是，通过将图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块对所述图像进行编码而得到的编码流，所述图像处理装置具备：多个第一处理部，通过分别执行所述多个第一处理之中的某一个，来以所述流水线方式对所述编码流施行所述多个第一处理；以及控制部，将所述编码流分割为分别以第一尺寸构成的多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部。

据此，多个处理部，根据一个尺寸，以流水线方式对编码流施行多个处理。因此，空闲时间被削减，工作效率提高。

并且，也可以是，所述多个第一处理部，对所述编码流施行用于对所述图像进行解码的所述多个第一处理。

据此，图像高效率地被解码。

并且，也可以是，所述控制部，通过对构成所述编码流的编码单位块进行分割，或者，通过对构成所述编码流的两个以上的编码单位块进行汇集，来将所述编码流分割为所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部。

据此，根据多个编码单位块获得多个处理单位块。多个处理单位块，分别以一个尺寸构成。因此，空闲时间被削减，工作效率提高。

并且，也可以是，所述控制部，以针对所述多个第一处理单位块的每一个第一处理单位块在规定的期间执行所述多个第一处理的每一个第一处理的方式，来控制所述多个第一处理部。

据此，针对多个处理单位块，按每个时隙，依次施行多个处理。因此，空闲时间被削减，工作效率提高。

并且，也可以是，所述控制部，将所述编码流分割为所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部，所述编码流是，通过将所述图像分割为所述多个编码单位块，并按每个编码单位块对所述图像进行编码而得到的编码流，该多个编码单位块分别是能够切换画面间预测与画面内预测的最小单位。

据此，以编码效率提高的方式而以编码单位块编码后的图像，以处理效率提高的方式来以处理单位块被处理。

并且，也可以是，所述控制部，将所述编码流分割为分别以预先规定的所述第一尺寸构成的所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部，该预先规定的所述第一尺寸是最大的编码单位块的尺寸。

据此，多个编码单位块，被处理为一个处理单位块。因此，空闲时间被削减，工作效率提高。

并且，也可以是，所述控制部，将所述编码流分割为分别以预先规定的所述第一尺寸构成的所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部，该预先规定的所述第一尺寸是作为所述最大的编码单位块的最大编码单元(Largest Coding Unit)的尺寸。

据此，多个处理部，根据由标准等预先规定的尺寸，以流水线方式对编码流施行多个处理。因此，空闲时间被削减，工作效率提高。

并且，也可以是，所述控制部，将所述编码流分割为分别以预先规定的所述第一尺寸构成的所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部，该预先规定的所述第一尺寸是最大的频率变换块的尺寸。

据此，以更小的尺寸执行流水线处理。因此，工作效率提高。

并且，也可以是，所述多个第一处理部包括，执行所述多个第一处理中包含的多个第二处理的多个第二处理部，所述控制部，将所述多个第一处理单位块，分割为分别以比所述第一尺寸小的第二尺寸构成的多个第二处理单位块，并以按每个第二处理单位块来执行所述多个第二处理的方式，来控制所述多个第二处理部。

据此，以更小的尺寸执行流水线处理。因此，工作效率更提高。

并且，也可以是，所述多个第一处理部包括，执行所述多个第一处理中包含的多个第二处理的多个第二处理部，所述控制部，将所述多个第一处理单位块，分割为各自的尺寸为所述第一尺寸以下的多个第二处理单位块，并以按每个第二处理单位块来执行所述多个第二处理的方式，来控制所述多个第二处理部。

据此，以更小的尺寸执行流水线处理。因此，工作效率更提高。

并且，也可以是，所述控制部，以分割亮度信息和色差信息的方式，来将所述多个第一处理单位块分割为所述多个第二处理单位块，并以按每个第二处理单位块执行所述多个第二处理的方式，来控制所述多个第二处理部。

据此，亮度信息和色差信息分别被处理。据此，以小的尺寸执行流水线处理，工作效率提高。

并且，也可以是，所述多个第一处理部包括，执行运动补偿处理的运动补偿处理部，所述控制部，将所述多个第一处理单位块，分割为分别以比所述第一尺寸小的第三尺寸构成的多个第三处理单位块，并以按每个第三处理单位块来执行所述运动补偿处理的方式，来控制所述运动补偿处理部，所述控制部，以所述亮度信息和所述色差信息被包含在一个第三处理单位块中的方式，来将所述多个第一处理单位块分割为所述多个第三处理单位块。

据此，在运动补偿处理中，一并处理亮度信息和色差信息。因此，无用的工作被削减。

并且，也可以是，所述多个第一处理部包括，执行运动补偿处理的运动补偿处理部，所述控制部，在用于所述运动补偿处理的预测块比所述第一尺寸大的情况下，将所述预测块分割为多个第一处理单位块，并以按每个第一处理单位块来执行所述运动补偿处理的方式，来控制所述运动补偿处理部。

据此，在运动补偿处理部和其他的处理部之间交换的信息量减少。因此，能够缩小电路规模。

并且，也可以是，所述多个第一处理部包括，执行帧内预测处理的帧内预测处理部，所述控制部，在用于所述帧内预测处理的预测块比所述第一尺寸大的情况下，将所述预测块分割为多个第一处理单位块，并以按每个第一处理单位块来执行所述帧内预测处理的方式，来控制所述帧内预测处理部。

据此，在帧内预测处理部和其他的处理部之间交换的信息量减少。因此，能够缩小电路规模。

并且，也可以是，所述多个第一处理部包括去块滤波处理部，该去块滤波处理部，执行用于除去块的边界的编码失真的去块滤波处理，所述控制部，以根据所述图像被编码时所执行的频率变换处理的顺序，来对每个频率变换块执行所述去块滤波处理的方式，来控制所述去块滤波处理部。

据此，以小的尺寸执行去块滤波处理。因此，空闲时间被削减，工作效率提高。

并且，也可以是，本发明涉及的图像编码方法，对图像进行编码，所述图像编码方法包括：编码处理步骤，将所述图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块，对所述图像执行编码处理；以及去块滤波处理步骤，按与每个编码单位块不同的规定的每个数据单位，针对垂直边界以及水平边界之中的一方执行去块滤波处理后，针对另一方执行去块滤波处理，所述去块滤波处理是用于除去执行了所述编码处理的所述图像中包含的块的边界的编码失真的处理。

据此，去块滤波处理的处理周期被平坦化，顺利执行去块滤波处理。并且，以适于去块滤波处理的尺寸执行去块滤波处理，因此，处理效率提高。

并且，也可以是，本发明涉及的图像编码方法，对图像进行编码，所述图像编码方法包括：编码处理步骤，将所述图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块，对所述图像执行编码处理；以及去块滤波处理步骤，根据针对所述图像执行的所述编码处理的顺序，按每个编码单位块执行用于除去块的边界的编码失真的去块滤波处理。

据此，去块滤波处理与前级的处理之间的空闲时间被削减。因此，工作效率提高。并且，典型而言，编码方与解码方利用相同的顺序。因此，解码方的工作效率也提高。

并且，也可以是，本发明涉及的图像编码方法，按每个编码单位块，对图像进行编码，所述图像编码方法包括：频率变换处理步骤，将所述图像中包含的编码单位块分割为多个频率变换块，针对所述编码单位块，按每个频率变换块执行频率变换处理；以及去块滤波处理步骤，根据针对所述编码单位块执行的所述频率变换处理的顺序，按每个编码单位块执行用于除去块的边界的编码失真的去块滤波处理。

据此，以小的尺寸执行去块滤波处理。因此，空闲时间被削减，工作效率提高。

并且，也可以是，本发明涉及的图像编码方法，按每个编码单位块，对图像进行编码，所述图像编码方法包括：频率变换处理步骤，将所述图像中包含的编码单位块分割为多个频率变换块，针对所述编码单位块，按每个频率变换块执行频率变换处理；以及编码处理步骤，对执行了所述频率变换处理的所述编码单位块进行编码，以使所述图像的亮度信息以及色差信息按每个频率变换块混合在一起的方式，来生成编码流。

据此，在解码方也能够，不分割亮度信息以及色差信息，而以频率变换块的数据单位执行流水线处理。因此，工作效率提高。

并且，也可以是，本发明涉及的图像处理方法，以流水线方式对编码流施行多个第一处理，该编码流是，通过将图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块对所述图像进行编码而得到的编码流，所述图像处理方法包括：多个第一处理步骤，通过分别执行所述多个第一处理之中的某一个，来以所述流水线方式对所述编码流施行所述多个第一处理；以及控制步骤，将所述编码流分割为分别以第一尺寸构成的多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理步骤。

据此，作为图像处理方法来实现所述图像处理装置。

并且，本发明涉及的程序也可以是，用于使计算机执行所述图像处理方法中包含的步骤的程序。

据此，作为程序来实现所述图像处理方法。

并且，也可以是，有关本发明的集成电路，以流水线方式对编码流施行多个第一处理，该编码流是，通过将图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块对所述图像进行编码而得到的编码流，所述集成电路具备：多个第一处理部，通过分别执行所述多个第一处理之中的某一个，来以所述流水线方式对所述编码流施行所述多个第一处理；以及控制部，将所述编码流分割为分别以第一尺寸构成的多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部。

据此，作为集成电路来实现所述图像处理装置。

发明效果

根据本发明，针对以各种各样的编码单位块将图像编码而得到的编码流，以流水线方式高效率地施行多个处理。

附图说明

图1是示出实施例1涉及的图像解码装置的结构的结构图。

图2是示出实施例1涉及的图像解码装置的可变长解码部和逆量化部的连接的结构图。

图3A是示出实施例1涉及的序列的图。

图3B是示出实施例1涉及的图片的图。

图3C是示出实施例1涉及的编码流的图。

图4A是示出实施例1涉及的编码单元的第一结构例的图。

图4B是示出实施例1涉及的编码单元的第二结构例的图。

图5A是示出实施例1涉及的频率变换单元的第一结构例的图。

图5B是示出实施例1涉及的频率变换单元的第二结构例的图。

图6A是示出实施例1涉及的编码单元的头部的图。

图6B是示出实施例1涉及的预测单元的图。

图7A是示出实施例1涉及的用于说明工作的多个编码单元的结构例的图。

图7B是示出实施例1涉及的用于说明工作的多个编码单元的详细图。

图8是示出实施例1涉及的图像解码装置的工作的流程图。

图9是示出实施例1涉及的编码单元的解码处理的流程图。

图10是示出实施例1涉及的图像解码装置的工作的时间图。

图11是示出实施例2涉及图像解码装置的工作的时间图。

图12是示出实施例3涉及的图像解码装置的结构的结构图。

图13是示出实施例3涉及的运动补偿部的结构的结构图。

图14是示出实施例3涉及的帧内预测部的结构的结构图。

图15是示出实施例3涉及的运动补偿部的工作的流程图。

图16是示出实施例3涉及的预测单元和参考图像的关系的图。

图17是示出实施例3涉及的分割块的运动补偿处理的图。

图18是示出实施例3涉及的第一分割块和参考图像的关系的图。

图19是示出实施例3涉及的第二分割块和参考图像的关系的图。

图20是示出实施例3涉及的第三分割块和参考图像的关系的图。

图21是示出实施例3涉及的第四分割块和参考图像的关系的图。

图22是示出实施例3涉及的帧内预测部的工作的流程图。

图23是示出实施例3涉及的分割块的帧内预测处理的图。

图24是示出实施例3涉及的图像解码装置的工作的时间图。

图25是示出实施例1涉及的去块滤波处理的顺序的例子的图。

图26是示出实施例4涉及的去块滤波处理的顺序的第一例子的图。

图27是示出实施例4涉及的去块滤波处理的顺序的第二例子的图。

图28是示出实施例4涉及的图像解码装置的工作的时间图。

图29是示出实施例5涉及的图像解码装置的结构的结构图。

图30是示出实施例5涉及的帧内预测部的结构的结构图。

图31是示出实施例5涉及的用于说明工作的多个编码单元的结构例的图。

图32是示出实施例5涉及的帧内预测部的工作的流程图。

图33是示出实施例6涉及的频率变换单元的结构例的图。

图34是示出实施例6涉及的图像解码装置的工作的时间图。

图35是示出实施例6涉及的可变长解码部的工作的流程图。

图36是示出实施例6涉及的逆量化部的工作的流程图。

图37是示出实施例7涉及的图像解码装置的工作的时间图。

图38是示出实施例8涉及的图像处理装置的结构的结构图。

图39是示出实施例8涉及的图像处理装置的工作的流程图。

图40是示出实施例9涉及的图像处理装置的结构的结构图。

图41是示出实施例9涉及的图像处理装置的工作的流程图。

图42是示出实施例10涉及的图像处理装置的结构的结构图。

图43是示出实施例10涉及的图像处理装置的工作的流程图。

图44是示出实施例11涉及的图像处理装置的结构的结构图。

图45是示出实施例11涉及的图像处理装置的工作的流程图。

图46是示出实施例12涉及的图像处理装置的结构的结构图。

图47是示出实施例12涉及的图像处理装置的工作的流程图。

图48是示出实施例13涉及的图像编码装置的结构的结构图。

图49是示出实施例13涉及的图像编码装置的工作的流程图。

图50是示出实施例14涉及的图像编码装置的结构的结构图。

图51是示出实施例14涉及的图像编码装置的工作的流程图。

图52是示出实施例15涉及的图像编码装置的结构的结构图。

图53是示出实施例15涉及的图像编码装置的工作的流程图。

图54是示出实施例15涉及的频率变换单元的结构例的图。

图55是实现内容分发服务的内容提供***的整体结构图。

图56是数字广播用***的整体结构图。

图57是示出电视机的结构例的方框图。

图58是示出对作为光盘的记录介质进行信息的读写的信息再生／记录部的结构例的方框图。

图59是示出作为光盘的记录介质的构造例的图。

图60是示出实现图像解码处理的集成电路的结构例的结构图。

图61是示出实现图像解码处理及图像编码处理的集成电路的结构例的结构图。

图62是示出以往技术涉及的流水线处理的说明图。

图63是示出以往技术涉及的可变尺寸的块的说明图。

图64是示出以往技术涉及的对可变尺寸的块适用流水线处理被的工作的说明图。

具体实施方式

以下，利用附图详细说明本发明的实施例。而且，以下说明的实施例，都示出本发明的优选的一个具体例。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等，是一个例子，而不是限定本发明的宗旨。本发明，仅由权利要求书限定。因此，对于以下的实施例的构成要素中的、示出本发明的最上位概念的独立请求要求中没有记载的构成要素，为了实现本发明的问题而并不一定需要，但是，被说明为构成更优选的形态的要素。

并且，128x128像素、以及64x64像素等的表现分别意味着，128x128像素、以及64x64像素等的尺寸。

并且，以下，块、数据单位及编码单元(CU)等的表现分别意味着，汇集的区域。会有他们分别意味着图像区域的情况。或者，会有他们分别意味着编码流中的数据区域的情况。

并且，图像也可以是，运动图像、静止画像、构成运动图像的多个图片、一个图片、以及图片的一部分等的任一个。

(实施例1)

(1-1.概要)

首先，说明本实施例涉及的图像解码装置的概要。本实施例涉及的图像解码装置，对编码流进行解码。构成编码流的编码单元的尺寸是可变的。并且，图像解码装置，将解码处理中包含的多个处理分割为多个阶段，以流水线方式并行进行多个处理。

此时，图像解码装置，以最大编码单元(LCU：Largest Coding Unit)的尺寸，进行多个处理。而且，最大编码单元是，构成编码流的多个编码单元中最大的编码单元。

据此，即使在以各种各样的尺寸构成多个编码单元的情况下，也与各个编码单元的尺寸无关，而构成流水线处理的多个处理各自的处理数据量成为均等。因此，流水线处理中的空闲时间被削减，高效率地进行流水线处理。因此，处理性能提高。

以上，说明了本实施例涉及的图像解码装置的概要。

(1-2.结构)

接着，说明本实施例涉及的图像解码装置的结构。

图1是本实施例涉及的图像解码装置的结构图。本实施例涉及的图像解码装置具备，控制部501、帧存储器502、重构图像存储器509、可变长解码部503、逆量化部504、逆频率变换部505、运动补偿部506、帧内预测部507、重构部508以及去块滤波器部510。

控制部501，控制整体。帧存储器502是，用于存储解码后的图像数据的存储器。重构图像存储器509是，用于存储生成后的重构图像的一部分的存储器。可变长解码部503，读入编码流，对可变长码进行解码。逆量化部504，进行逆量化。逆频率变换部505，进行逆频率变换。

运动补偿部506，从帧存储器502读出参考图像，进行运动补偿，生成预测图像。帧内预测部507，从重构图像存储器509读出参考图像，进行帧内预测(也称为intra预测)，生成预测图像。重构部508，将差分图像和预测图像相加来生成重构图像，将其一部分存放到重构图像存储器509。内环滤波器部510，除去重构图像的噪声块，使重构图像成为高画质化。

图2是示出可变长解码部503和逆量化部504的连接的结构图。对于与图1同样的构成要素，分配相同的符号，并省略说明。本实施例的可变长解码部503和逆量化部504被构成为，通过用于存储系数的存储器511来各自连接。在图2中，仅示出可变长解码部503和逆量化部504的连接，但是，图1示出的各个处理部之间由同样的结构连接。

以上，说明了本实施例涉及的图像解码装置的结构。

(1-3.工作)

接着，说明本实施例涉及的图像解码装置的工作。本实施例涉及的图像解码装置解码的编码流，由编码单元(CU)、频率变换单元(TU)、和预测单元(PU)构成。

编码单元(CU)是，以128x128像素至8x8像素的尺寸设定的、能够切换帧内预测和帧间预测的数据单位。频率变换单元(TU)，在编码单元(CU)的内部，以64x64像素至4x4像素的尺寸设定。预测单元(PU)，在编码单元(CU)的内部，以128x128像素至4x4像素的尺寸设定，具有帧内预测的模式、或者帧间预测的运动矢量。以下，利用图3A至图6B说明编码流的结构。

图3A及图3B示出，本实施例涉及的图像解码装置解码的图像的层次结构。如图3A示出，多个图片的集合，被称为序列。并且，如图3B示出，各个图片被分割为片，各个片还被分割为编码单元(CU)。而且，会有图片不被分割为片的情况。

在本实施例中，最大编码单元(LCU)的尺寸为，128x128像素。并且，128x128像素的编码单元(CU)和64x64像素的编码单元(CU)混在一起。

图3C是示出本实施例涉及的编码流的图。图3A以及图3B所示的数据分层地被编码，从而得到图3C所示的编码流。

图3C所示的编码流，由控制序列的序列头、控制图片的图片头、控制片的片头、以及编码单元层数据(CU层数据)构成。在H.264标准中，将序列头称为SPS(Sequence Parameter Set：序列参数集)，将图片头称为PPS(Picture Parameter Set：图片参数集)。

接着，对于本实施例的使用于说明的编码单元和编码流的结构，利用图4A以及图4B进行说明。编码流，由CU分割标志和CU数据构成。该CU分割标志，在“1”的情况下，示出将块分割为四个，在“0”的情况下，示出不将块分割为四个。如图4A，在128x128像素的编码单元的情况下，块不被分割。也就是说，CU分割标志是“0”。

如图4B示出，在64x64像素的四个编码单元的情况下，最初的CU分割标志是“1”。由最初的CU分割标志示出，128x128像素的块被分割为至少64x64像素的四个块。而且，由于64x64像素的四个块各自不被分割，因此，后续的CU分割标志是“0”。如此，编码单元的尺寸，根据CU分割标志，被确定为128x128像素至4x4像素之中的某个。

图5A以及图5B分别示出，本实施例涉及的频率变换单元的结构例。各个编码单元的CU数据，进一步，由CU头、TU分割标志、系数信息构成。对于CU头，在后面进行说明。TU分割标志，在编码单元中示出频率变换单元的尺寸，与CU分割标志同样，示出是否分层地将该尺寸分割为四个。

图5A示出128x128像素的编码单元由64x64像素的四个频率变换单元构成时的例子。在128x128像素的编码单元的情况下，由于频率变换单元为最大64x64像素，因此，一定被分割为四个。在图5A的情况下，各个64x64像素的块不会被分割。因此，TU分割标志，全部是“0”。

图5B示出，128x128像素的编码单元由64x64像素的三个频率变换单元、以及32x32像素的四个频率变换单元构成的例子。在此情况下，存在具有“1”的值的TU分割标志。

在图5A以及图5B的各个频率变换单元中，包含亮度数据(亮度信息)以及色差数据(色差信息)。也就是说，在编码流中，包含亮度数据以及色差数据这双方的系数信息，按每个频率变换单元被混合。

接着，说明CU头。如图6A示出，CU头，包含CU类型，还包含运动矢量或者帧内预测模式。根据CU类型，决定预测单元的尺寸。图6B示出，128x128像素、64x128像素、128x64像素、以及64x64像素的预测单元。预测单元的尺寸是，从4x4像素以上的尺寸中能够选择的。并且，预测单元的形状也可以是，长方形。按每个预测单元，指定运动矢量或者帧内预测模式。

接着，具体说明本实施例涉及的图像解码装置的工作。图7A以及图7B示出，用于说明工作的多个编码单元的结构例。图7A所示的八个编码单元(CU0至CU7)用于说明工作。

如图7B示出，CU0、CU5至CU7是，由128x128像素构成的编码单元。CU1至CU4是，由64x64像素构成的编码单元。CU4的频率变换单元的尺寸是32x32像素。其他的频率变换单元的尺寸都是64x64像素。CU0的预测单元的尺寸是，128x128像素，CU1至CU4的预测单元的尺寸是，64x64像素，CU5至CU7的预测单元的尺寸是，128x128像素。

接着，利用图8示出的流程图，说明图1示出的图像解码装置的工作。图8是示出编码流中包含的1序列的解码工作的流程图。如图8示出，图像解码装置，首先，对序列头进行解码(S901)。此时，可变长解码部503，根据控制部501的控制，对编码流进行解码。接着，图像解码装置，同样，对图片头进行解码(S902)，对片头进行解码(S903)。

接着，图像解码装置，对编码单元进行解码(S904)。对于编码单元的解码，在后面进行详细说明。图像解码装置，在编码单元的解码后，判断解码后的编码单元是否为片最后的编码单元(S905)。而且，在解码后的编码单元不是片最后的编码单元的情况下，再次，图像解码装置，对下一个编码单元进行解码(S904)。

进而，图像解码装置，判断包含解码后的编码单元的片是否为图片最后的片(S906)。而且，在不是图片最后的片的情况下，图像解码装置，再次，对片头进行解码(S903)。

进而，图像解码装置，判断包含解码后的编码单元的图片是否为序列最后的图片(S907)。而且，在不是序列最后的图片的情况下，图像解码装置，再次，对图片头进行解码(S902)。图像解码装置，在序列的所有的图片的解码后，结束一连串的解码工作。

接着，利用图9示出的流程图，说明图8的编码单元的解码(S904)的工作。图9是示出一个编码单元的解码工作的流程图。

首先，可变长解码部503，针对输入的编码流中包含的处理对象的编码单元，进行可变长解码(S1001)。在可变长解码处理(S1001)中，可变长解码部503，输出编码单元类型、帧内预测(intra预测)模式、运动矢量信息及量化参数等的编码信息，输出与各个像素数据对应的系数信息。编码信息，被输出到控制部501，然后，被输入到各个处理部。系数信息，被输出到下一个逆量化部504。接着，逆量化部504，进行逆量化处理(S1002)。然后，逆频率变换部505，进行逆频率变换来生成差分图像(S1003)。

接着，控制部501，判断对处理对象的编码单元利用帧间预测还是利用帧内预测(S1004)。在利用帧间预测的情况下，由控制部501启动运动补偿部506，运动补偿部506生成1／2像素精度或1／4像素精度等的预测图像(S1005)。另一方面，在不利用帧间预测的情况下，即，在利用帧内预测的情况下，根据控制部501启动帧内预测部507，帧内预测部507进行帧内预测的处理，生成预测图像(S1006)。

重构部508，将由运动补偿部506或帧内预测部507输出的预测图像、与由逆频率变换部505输出的差分图像相加，从而生成重构图像(S1007)。

生成后的重构图像，被输入到去块滤波器部510。同时，用于帧内预测的部分，被存放到重构图像存储器509。最后，去块滤波器部510，对得到的重构图像，进行用于减少噪声的去块滤波处理。而且，去块滤波器部510，向帧存储器502存放结果(S1009)。以上，结束编码单元的解码工作。

在此，如图9的虚线示出，将图9所示的流程图示出的各个处理，分割为多个阶段。图像解码装置，在这样的第一阶段至第五阶段的多个阶段中，对按每个阶段分别不同的多个最大编码单元，同时进行多个处理。据此，实现并行处理，性能提高。将这样的处理成为流水线处理。

在图9的例子中，第一阶段包含，可变长解码处理(S1001)。第二阶段包含，逆量化处理(S1002)和逆频率变换处理(S1003)。第三阶段包含，运动补偿处理(S1005)。第四阶段包含，帧内预测处理(S1006)和重构处理(S1007)。第五阶段包含，去块滤波处理(S1008)。

针对按每个阶段相互不同的多个最大编码单元，以流水线方式执行这样的被分割为多个阶段的多个处理。本实施例涉及的图像解码装置中包含的各个处理部，在一个阶段中，对最大编码单元内的所有的编码单元进行处理。

也就是说，在128x128像素的最大编码单元内仅存在128x128像素的一个编码单元的情况下，各个处理部，在一个阶段中，进行一个编码单元的处理。在128x128像素的最大编码单元内仅存在64x64像素的四个编码单元的情况下，各个处理部，在一个阶段中，对四个编码单元的全部进行处理。

图10是示出本实施例涉及的图像解码装置的时间序列的工作的图。图10示出，像图9那样多个处理被分割为多个阶段、且像图7A那样构成多个编码单元时的工作。

在TS＝0中，对CU0进行第一阶段的可变长解码处理(S1001)。

在TS＝1中，对CU0进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)，同时，对CU1至CU4进行第一阶段的可变长解码处理(S1001)。

在TS＝2中，对CU0进行第三阶段的运动补偿处理(S1005)，对CU1至CU4进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。并且，同时，对CU5进行第一阶段的可变长解码处理(S1001)。

在TS＝3中，对CU0进行第四阶段的帧内预测处理(S1006)和重构处理(S1007)，对CU1至CU4进行第三阶段的运动补偿处理(S1005)。并且，同时，对CU5进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)，对CU6进行第一阶段的可变长解码处理(S1001)。

在TS＝4中，对CU0进行第五阶段的去块滤波处理(S1008)，对CU1至4进行第四阶段的帧内预测处理(S1006)和重构处理(S1007)。并且，同时，对CU5进行第三阶段的运动补偿处理(S1005)，对CU6进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。并且，同时，对CU7进行第一阶段的可变长解码处理(S1001)。据此，CU0的解码处理全部完成。

在TS＝5中，对CU1至CU4进行第五阶段的去块滤波处理(S1008)，对CU5进行第四阶段的帧内预测处理(S1006)和重构处理(S1007)。并且，同时，对CU6进行第三阶段的运动补偿处理(S1005)，对CU7进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。并且，同时，对CU8进行第一阶段的可变长解码处理(S1001)。进行CU1至CU4的解码处理全部完成。

在此，对于图10的TS＝5的第五阶段的去块滤波处理(S1008)的记载，没有分开CU1至CU4。这是因为以下的理由。

本实施例涉及的去块滤波处理，以图25示出的号码的顺序执行。具体而言，首先，对垂直的边界进行去块滤波处理，接着，对水平的边界进行去块滤波处理。

因此，不是CU1、CU2、CU3、CU4的顺序，而是对CU1至CU4的所有的垂直边界执行去块滤波处理之后，对CU1至CU4的所有的水平边界执行去块滤波处理。

对于TS＝6以后，由于与TS＝5为止同样，因此省略说明。

在本实施例中，与示出以往的工作的图64相比，流水线的各个阶段中处理的数据量为一定。因此，处理的空闲时间被削减，高效率地执行流水线处理。

在此，在TS＝0中，进行CU0的可变长解码处理(S1001)。并且，在TS＝1中，进行CU0的逆量化处理(S1002)，同时，进行CU1至CU4的可变长解码处理(S1001)。

如图2示出，在可变长解码部503和逆量化部504之间，配置存储器511，从而实现这样的处理。具体而言，在TS＝0中，可变长解码部503，将CU0的可变长解码处理的结果写入到存储器511。在TS＝1中，逆量化部504，将由可变长解码部503写入的结果，从存储器511中读出。而且，逆量化部504，对CU0进行逆量化处理。

同时，在TS＝1中，可变长解码部503，将CU1至CU4的可变长解码处理的结果写入到存储器511。存储器511，至少需要能够存储最大编码单元的处理所需要的数据的存储容量。

仅说明了可变长解码部503和逆量化部504之间，但是，在其他的处理部间也可以配置同样的存储器。并且，在控制部501内也可以配置同样的存储器。

以上，说明了本实施例涉及的图像解码装置的工作。

(1-4.效果)

本实施例所示的图像解码装置，以最大编码单元的数据单位，执行流水线处理。据此，各个阶段中处理的数据量为一定。因此，流水线的各个阶段的处理时间为一定。因此，高效率地执行流水线处理。据此，处理性能提高。并且，电路高效率地工作，因此也能够实现低耗电化。

(1-5.补充)

而且，在本实施例中，对于用于编码的数据单位，利用编码单元这名称。但是，用于编码的数据单位也可以是宏块。并且，用于编码的数据单位，会有被称为超级宏块(supermacroblock)的情况。

并且，在本实施例中，利用非专利文献2示出的编码方式。而且，在本实施例中，示出各个处理的内容的一个例子。但是，各个处理的内容，不仅限于本实施例的例子。

并且，在本实施例中，最大编码单元的尺寸为128x128像素。但是，最大编码单元的尺寸，也可以是任何大小。并且，在本实施例中，编码单元的尺寸为128x128像素至8x8像素。但是，编码单元的尺寸，也可以是除此以外的尺寸。

并且，本实施例所示的流水线处理的结构是一个例子。并不一定需要像本实施例那样、将多个处理分割为多个阶段。例如，可以以一个阶段来实现几个处理，也可以一个处理被分割为几个阶段。

并且，在本实施例中，利用可变长码。可变长码的编码方式也可以是，哈夫曼码、游程码或算术码等的任何的编码方式。

并且，对于各个处理部，一部分或者全部，可以以由专用硬件的电路来实现，也可以以处理器上的程序来实现。

并且，对于帧存储器502、重构图像存储器509以及存储器511，不仅限于存储器，而能够存储数据的存储元件即可。例如，他们也可以是，触发器或寄存器等的其他的结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，用于他们。

并且，在本实施例中，明显表示重构图像存储器509。但是，可以将各个处理部内的存储器作为重构图像存储器509来利用，也可以将帧存储器502作为重构图像存储器509来利用。

并且，在本实施例中示出，解码处理的例子。但是，流水线处理，不仅限于解码处理。可以将作为与解码处理相反的处理的编码处理，与本实施例同样，按每个最大编码单元，以流水线方式执行。据此，与本实施例同样，高效率地执行流水线处理。

并且，在本实施例中，CU分割标志，存在于分割块的开头。但是，CU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，CU分割标志也可以，存在于最大编码单元(LCU)的开头。

并且，在本实施例中，TU分割标志，存在于各个系数信息的开头。但是，TU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，TU分割标志也可以，存在于编码单元或最大编码单元的开头。

并且，在本实施例中，按每个时隙，切换处理。并不一定需要以固定时间，切换处理。在具有依存关系的上一个处理完成、且能够开始下一个处理的情况下，可以开始下一个处理。并且，也可以在各个阶段中，不同时切换处理。

(实施例2)

(2-1.概要)

首先，说明本实施例涉及的图像解码装置的概要。本实施例涉及的图像解码装置，对编码流进行解码。构成编码流的编码单元的尺寸是可变的。并且，图像解码装置，将解码处理中包含的多个处理分割为多个阶段，以流水线方式并行进行多个处理。

此时，图像解码装置，以频率变换单元的尺寸，进行多个处理。而且，频率变换单元是，用于进行频率变换的数据单位。并且，频率变换单元，被包含在构成编码流的编码单元中。并且，编码流的各个频率变换单元中包含，亮度数据(亮度信息)以及色差数据(色差信息)。

据此，即使在以各种各样的尺寸构成多个编码单元的情况下，也与各个编码单元的尺寸无关，而构成流水线处理的多个处理各自的处理数据量成为均等。因此，流水线处理中的空闲时间被削减，高效率地进行流水线处理。因此，处理性能提高。并且，与实施例1相比，能够更削减处理部间的存储容量。

以上，说明了本实施例涉及的图像解码装置的概要。

(2-2.结构)

图1是本实施例涉及的图像解码装置的结构图。对于本实施例涉及的图像解码装置的结构，由于与实施例1同样，因此省略说明。

图2是示出可变长解码部503和逆量化部504的连接的结构图。对于连接的结构，由于与实施例1同样，因此省略说明。

(2-3.工作)

在本实施例中，与实施例1同样，利用图3A至图6B所示的编码流的构造。并且，与实施例1同样，利用图7A以及图7B所示的多个编码单元的结构的例子。对于本实施例涉及的图像解码装置的工作流程，由于与图8及图9所示的实施例1的工作流程同样，因此省略说明。

本实施例与实施例1的不同是，图9所示的流程图的各个阶段的工作定时的不同。

图11示出本实施例涉及的图像解码装置的时间序列的工作。图11中示出，对于图7A所示的多个编码单元的处理的工作。为了说明，在CU0被分割为四个而得到的64x64像素的四个区域之中，将左上的区域称为CU0a，将右上的区域称为CU0b，将左下的区域称为CU0c，将右下的区域称为CU0d。

在TS＝0中，对CU0a进行第一阶段的可变长解码处理(S1001)。CU0a是，编码单元的开头。因此，也一起进行CU头的处理。

在TS＝1中，对CU0a进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU0b进行第一阶段的可变长解码处理(S1001)。

在TS＝2中，对CU0进行第三阶段的运动补偿处理(S1005)，对CU0b进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU0c进行第一阶段的可变长解码处理(S1001)。

在此，CU0的预测单元的尺寸为，128x128像素。因此，运动补偿处理(S1005)，以128x128像素的尺寸执行。因此，运动补偿处理(S1005)，占用四个时隙。而且，运动补偿处理(S1005)，进行到TS＝5为止。

在TS＝3中，从TS＝2继续，对CU0进行第三阶段的运动补偿处理(S1005)，对CU0c进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU0d进行第一阶段的可变长解码处理(S1001)。

在TS＝4中，从TS＝2继续，对CU0进行第三阶段的运动补偿处理(S1005)，对CU0d进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU1进行第一阶段的可变长解码处理(S1001)。

在TS＝5中，从TS＝2继续，对CU0进行第三阶段的运动补偿处理(S1005)，对CU1进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU2进行第一阶段的可变长解码处理(S1001)。

在TS＝6中，对CU0进行第四阶段的帧内预测处理(S1006)以及重构处理(S1007)，对CU1进行第三阶段的运动补偿处理(S1005)。同时，对CU2进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)，对CU3进行第一阶段的可变长解码处理(S1001)。

对于TS＝7以后，由于与TS＝6为止同样，因此省略说明。

在本实施例中，如图5A以及图5B，在编码单元的尺寸为128x128像素的情况下，频率变换单元的尺寸一定在64x64像素以下。而且，以64x64像素的数据单位，依次形成编码流。因此，以作为频率变换单元的最大的尺寸的64x64像素的数据单位，执行流水线处理。

在本实施例中，与示出以往的工作的图64相比，流水线的各个阶段中处理的数据量为一定。因此，处理的空闲时间被削减，高效率地执行流水线处理。

在此，在TS＝0中，进行CU0a的可变长解码处理(S1001)。并且，在TS＝1中，进行CU0a的逆量化处理(S1002)，同时，进行CU0b的可变长解码处理(S1001)。

如图2示出，在可变长解码部503和逆量化部504之间，配置存储器511，从而实现这样的处理。具体而言，在TS＝0中，可变长解码部503，将CU0a的可变长解码处理的结果写入到存储器511。在TS＝1中，逆量化部504，将由可变长解码部503写入的结果从存储器511中读出。而且，逆量化部504，对CU0a进行逆量化处理。

同时，在TS＝1中，可变长解码部503，将CU0b的可变长解码处理的结果写入到存储器511。存储器511，具有能够存储用于执行流水线处理的数据单位的存储容量即可。本实施例的数据单位是，最大的频率变换单元，其尺寸为，64x64像素。也就是说，也可以与数据单位为128x128像素的最大编码单元的实施例1相比，本实施例涉及的存储容量少。

在所述中，仅说明了可变长解码部503和逆量化部504之间，但是，在其他的处理部间也可以配置同样的存储器。并且，在控制部501内也可以配置同样的存储器。并且，在本实施例中，第三阶段的运动补偿以后，由最大编码单元构成流水线。因此，对于这样的处理，与实施例1同样，至少需要能够存储128x128像素的最大编码单元的处理所需要的数据的存储容量。

以上，说明了本实施例涉及的图像解码装置的工作。

(2-4.效果)

本实施例所示的图像解码装置，以最大的频率变换单元的数据单位，执行流水线处理。

图5A以及图5B的各个频率变换单元中，包含亮度数据(亮度信息)以及色差数据(色差信息)。因此，如图11，也可以不分开亮度数据以及色差数据，而由作为最大的频率变换单元的尺寸的64x64像素的数据单位构成流水线。也就是说，即使在128x128像素的编码单元、以及64x64像素的编码单元混在一起的情况下，各个阶段被处理的数据量也为一定。

因此，流水线的各个阶段的处理时间为一定。因此，高效率地执行流水线处理。据此，处理性能提高。并且，电路高效率地工作，因此也能够实现低耗电化。

并且，与实施例1相比，以最大的频率变换单元执行流水线处理。最大的频率变换单元，比最大编码单元小。因此，能够使处理部间的存储容量变小，能够使电路规模变小。

(2-5.补充)

而且，在本实施例中，对于用于编码的数据单位，利用编码单元这名称。但是，用于编码的数据单位也可以是宏块。并且，用于编码的数据单位，会有被称为超级宏块的情况。

并且，在本实施例中，利用非专利文献2示出的编码方式。而且，在本实施例中，示出各个处理的内容的一个例子。但是，各个处理的内容，不仅限于本实施例的例子。

并且，在本实施例中，最大编码单元的尺寸为128x128像素。但是，最大编码单元的尺寸，也可以是任何大小。并且，在本实施例中，编码单元的尺寸为128x128像素至8x8像素。但是，编码单元的尺寸，也可以是除此以外的尺寸。

并且，本实施例所示的流水线处理的结构是一个例子。并不一定需要像本实施例那样、将多个处理分割为多个阶段。例如，可以以一个阶段来实现几个处理，也可以一个处理被分割为几个阶段。

并且，在本实施例中，利用可变长码。可变长码的编码方式也可以是，哈夫曼码、游程码或算术码等的任何的编码方式。

并且，对于各个处理部，一部分或者全部，可以以由专用硬件的电路来实现，也可以以处理器上的程序来实现。

并且，对于帧存储器502、重构图像存储器509以及存储器511，不仅限于存储器，而能够存储数据的存储元件即可。例如，他们也可以是，触发器或寄存器等的其他的结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，用于他们。

并且，在本实施例中，以作为最大的频率变换单元的尺寸的64x64像素的数据单位，执行流水线处理。但是，数据单位，并不一定限于64x64像素。

一般而言，频率变换处理是，利用一个数据单位中包含的所有的数据执行的。因此，频率变换单元的分割是困难的。因此，在本实施例中，选择最大的频率变换单元的尺寸。但是，在频率变换处理以外的处理中，在用于该处理的数据单位的分割困难的情况下，也可以以用于该处理的数据单位执行流水线处理。

并且，在本实施例中，明显表示重构图像存储器509。但是，可以将各个处理部内的存储器作为重构图像存储器509来利用，也可以将帧存储器502作为重构图像存储器509来利用。

并且，在本实施例中没有示出，编码单元的代码量为零的跳过块的存在。但是，即使在跳过块存在的情况下，本实施例涉及的图像解码装置也可以，以最大的频率变换单元的尺寸执行流水线处理。

并且，在本实施例中示出，解码处理的例子。但是，流水线处理，不仅限于解码处理。可以将作为与解码处理相反的处理的编码处理，与本实施例同样，按每个最大的频率变换单元，以流水线方式执行。据此，与本实施例同样，高效率地执行流水线处理。

并且，在本实施例中，CU分割标志，存在于分割块的开头。但是，CU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，CU分割标志也可以，存在于最大编码单元(LCU)的开头。

并且，在本实施例中，TU分割标志，存在于各个系数信息的开头。但是，TU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，TU分割标志也可以，存在于编码单元或最大编码单元的开头。

并且，在本实施例中，按每个时隙，切换处理。并不一定需要以固定时间，切换处理。在具有依存关系的上一个处理完成、且能够开始下一个处理的情况下，可以开始下一个处理。并且，也可以在各个阶段中，不同时切换处理。

(实施例3)

(3-1.概要)

首先，说明本实施例涉及的图像解码装置的概要。本实施例涉及的图像解码装置，对编码流进行解码。构成编码流的编码单元的尺寸是可变的。并且，图像解码装置，将解码处理中包含的多个处理分割为多个阶段，以流水线方式并行进行多个处理。

此时，图像解码装置，以频率变换单元的尺寸，进行多个处理。而且，频率变换单元是，用于进行频率变换的数据单位。并且，频率变换单元，被包含在构成编码流的编码单元中。

并且，图像解码装置，在进行解码处理中包含的多个处理时，以频率变换单元的尺寸，分割用于运动补偿处理或帧内预测处理的预测单元。

据此，即使在以各种各样的尺寸构成多个编码单元的情况下，也与各个编码单元的尺寸无关，而构成流水线处理的多个处理各自的处理数据量成为均等。因此，流水线处理中的空闲时间被削减，高效率地进行流水线处理。因此，处理性能提高。并且，与实施例1以及实施例2相比，能够更削减处理部间的存储容量。

以上，说明了本实施例涉及的图像解码装置的概要。

(3-2.结构)

接着，说明本实施例涉及的图像解码装置的结构。

图12是本实施例涉及的图像解码装置的结构图。对于与图1所示的实施例1的构成要素同样的构成要素，分配相同的符号，并省略说明。本实施例涉及的图像解码装置具备，运动补偿部520以及帧内预测部521。运动补偿部520，以最大的频率变换单元的尺寸以下的尺寸，对预测单元进行分割，来进行运动补偿处理。帧内预测部521，以最大的频率变换单元的尺寸以下的尺寸，对预测单元进行分割，来进行帧内预测处理。

图2是示出可变长解码部503和逆量化部504的连接的结构图。对于连接的结构，由于与实施例1同样，因此省略说明。

图13示出图12的运动补偿部520的结构。对于与图12所示的构成要素同样的构成要素，分配相同的符号，并省略说明。运动补偿部520具备，运动补偿块分割部601、参考图像获得部602及运动补偿运算部603。运动补偿块分割部601，对预测单元进行分割。参考图像获得部602，从帧存储器502获得参考图像。运动补偿运算部603，进行运动补偿处理。

图14示出图12的帧内预测部521的结构。对于与图12所示的构成要素同样的构成要素，分配相同的符号，并省略说明。帧内预测部521具备，帧内预测块分割部701、重构图像获得部702及帧内预测运算部703。帧内预测块分割部701，对预测单元进行分割。重构图像获得部702，从重构图像存储器509获得重构图像。帧内预测运算部703，进行帧内预测处理。

以上，说明了本实施例涉及的图像解码装置的结构。

(3-3.工作)

在本实施例中，与实施例1同样，利用图3A至图6B所示的编码流的构造。并且，与实施例1同样，利用图7A以及图7B所示的多个编码单元的结构的例子。对于本实施例涉及的图像解码装置的工作流程，由于与图8及图9所示的实施例1的工作流程、除了运动补偿处理(S1005)以及帧内预测处理(S1006)以外同样，因此省略说明。以下，说明运动补偿处理(S1005)和帧内预测处理(S1006)。

利用图15示出的流程图，说明本实施例的由运动补偿部520的运动补偿处理(S1005)的工作。首先，运动补偿块分割部601，判断预测单元是否比64x64像素大(S1100)。

在预测单元比64x64像素不大的情况下(S1100的“否”)，执行与通常的运动补偿处理同样的处理。也就是说，参考图像获得部602，获得参考图像(S1105)，运动补偿运算部603，进行运动补偿的运算(S1106)。

在预测单元比64x64像素大的情况下(S1100的“是”)，运动补偿块分割部601，将预测单元分割为64x64像素的多个分割块(S1101)。接着，参考图像获得部602，按每个分割块获得参考图像(S1102)。运动补偿运算部603，按每个分割块进行运动补偿的运算(S1103)。接着，运动补偿块分割部601，判断是否有未处理的分割块(S1104)。

在有未处理的分割块的情况下(S1104的“是”)，参考图像获得部602，获得参考图像(S1102)，运动补偿运算部603，进行运动补偿的运算(S1103)。在没有未处理的分割块的情况下(S1104的“否”)，运动补偿部520结束处理。

接着，使用具体例说明以上的运动补偿的工作。图16示出预测单元为128x128像素时的运动补偿的工作。在该例子中，解码对象图片的编码单元的预测单元为128x128像素尺寸，运动矢量为v。在运动补偿处理中，在参考图片内，运动矢量指示的128x128像素的块被用作参考图像。

在该例子中，首先，运动补偿块分割部601，将预测单元，分割为作为实施例2所示的最大的频率变换单元的尺寸的64x64像素的四个分割块。如图17所示，各个分割块的运动矢量也可以，与128x128像素的预测单元的运动矢量相同。也就是说，各个分割块的运动矢量也可以，全部为v。在此，将位于预测单元的左上的块称为CU0a，将位于右上的块称为CU0b，将位于左下的块称为CU0c，将位于右下的块称为CU0d。

接着，参考图像获得部602，从帧存储器502获得由CU0a的位置、CU0a的运动矢量、以及参考索引确定的图像。CU0a的运动矢量为v。因此，如图18所示，获得的参考图像是，作为针对原来的128x128像素尺寸的预测单元的参考图像的128x128像素块中包含的左上的64x64像素块。参考图像获得部602，从帧存储器502获得该64x64像素块。

参考图像的获得的完成后，运动补偿运算部603进行CU0a的运动补偿，生成预测图像。运动补偿运算部603，在运动矢量指示小数像素位置的情况下，对获得的参考图像进行滤波处理来生成预测图像。在运动矢量指示整数像素位置的情况下，运动补偿运算部603，将获得的参考图像照原样作为预测图像来输出。以上，CU0a的运动补偿完成。

同样，参考图像获得部602，从帧存储器502获得用于CU0b的运动补偿的参考图像。CU0b的运动矢量为v。因此，如图19所示，获得的参考图像是，作为针对原来的128x128像素尺寸的预测单元的参考图像的128x128像素块中包含的右上的64x64像素块。参考图像的获得的完成后，运动补偿运算部603进行CU0b的运动补偿，生成预测图像。以上，CU0b的运动补偿完成。

同样，参考图像获得部602，从帧存储器502获得用于CU0c的运动补偿的参考图像。CU0c的运动矢量为v。因此，如图20所示，获得的参考图像是，作为针对原来的128x128像素尺寸的预测单元的参考图像的128x128像素块中包含的左下的64x64像素块。参考图像的获得的完成后，运动补偿运算部603进行CU0c的运动补偿，生成预测图像。以上，CU0c的运动补偿完成。

同样，参考图像获得部602，从帧存储器502获得用于CU0d的运动补偿的参考图像。CU0d的运动矢量为v。因此，如图21所示，获得的参考图像是，作为针对原来的128x128像素尺寸的预测单元的参考图像的128x128像素块中包含的右下的64x64像素块。参考图像的获得的完成后，运动补偿运算部603进行CU0d的运动补偿，生成预测图像。以上，CU0d的运动补偿完成。

以上，CU0a至CU0d的运动补偿完成，运动矢量为v的预测单元的运动补偿的工作完成。

接着，利用图22示出的流程图，说明本实施例的由帧内预测部521的帧内预测处理(S1006)的工作。首先，帧内预测块分割部701，判断预测单元是否比64x64像素大(S1800)。

在预测单元比64x64像素不大的情况下(S1800的“否”)，执行与通常的帧内预测同样的处理。也就是说，重构图像获得部702，获得重构图像(S1805)，帧内预测运算部703，进行帧内预测的运算(S1806)。

在预测单元比64x64像素大的情况下(S1800的“是”)，帧内预测块分割部701，将预测单元分割为64x64像素的四个分割块(S1801)。接着，重构图像获得部702，按每个分割块获得参考图像(S1802)，帧内预测运算部703，按每个分割块进行帧内预测的运算(S1803)。接着，帧内预测块分割部701，判断是否有未处理的分割块(S1804)。

在有未处理的分割块的情况下(S1804的“是”)，重构图像获得部702获得重构图像(S1802)，帧内预测运算部703进行帧内预测的运算(S1803)。在没有未处理的分割块的情况下(S1804的“否”)，帧内预测部521结束处理。

接着，使用具体例说明所述的帧内预测的工作。图23示出帧内预测的预测单元的尺寸为128x128像素时的帧内预测的工作。在该例子中，如图23的(a)所示，帧内预测模式是“128x128垂直预测模式”。因此，帧内预测是，利用解码对象预测单元上相邻的具有128x1像素的尺寸的重构图像块进行处理的。具体而言，将解码对象预测单元上相邻的重构图像块内的像素值向下方向复制，从而得到预测图像。

在图23的例子中，首先，帧内预测块分割部701，将预测单元分割为64x64像素的分割块。原来的预测单元是，比各个分割块大的、128x128像素的块。各个分割块的帧内预测模式是，64x64像素的帧内预测模式。更具体地说，各个分割块的帧内预测模式，全部是“64x64垂直预测模式”。在此，将位于预测单元的左上的块称为CU0a，将位于右上的块称为CU0b，将位于左下的块称为CU0c，将位于右下的块称为CU0d。

接着，重构图像获得部702，根据CU0a的位置和CU0a的帧内预测模式，从重构图像存储器509获得CU0a的参考图像。以以下的次序决定，获得的重构图像的位置和尺寸。

原来的预测单元的帧内预测模式是，“128x128垂直预测模式”。重构图像获得部702，计算预测单元内的CU0a的区域的帧内预测中参考的重构图像的位置和尺寸，获得重构图像。在该例子中，如图23的(b)所示，获得的重构图像是，CU0a上相邻的64x1像素块。重构图像获得部702，将CU0a上相邻的64x1像素块的位置和尺寸，作为获得的重构图像的位置和尺寸来决定。

重构图像获得部702，以以上的次序，决定获得的重构图像的位置和尺寸后，从重构图像存储器509获得CU0a上相邻的64x1像素块。

重构图像的获得的完成后，帧内预测运算部703，利用获得的重构图像，进行CU0a的帧内预测，生成预测图像。此时，帧内预测模式是“128x128垂直预测模式”，因此，帧内预测运算部703，将获得的64x1像素块的像素值向下方向复制来生成预测图像。以上，CU0a的帧内预测完成。

同样，重构图像获得部702，从重构图像存储器509获得CU0b的帧内预测中参考的重构图像。原来的预测单元的帧内预测模式是，“128x128垂直预测模式”。因此，获得的重构图像是，如图23的(c)所示，CU0b上相邻的64x1像素块。

重构图像的获得的完成后，帧内预测运算部703，利用获得的重构图像，进行CU0b的帧内预测，生成预测图像。此时，帧内预测模式是“128x128垂直预测模式”，因此，帧内预测运算部703，将获得的64x1像素块的像素值向下方向复制来生成预测图像。以上，CU0b的帧内预测完成。

同样，重构图像获得部702，从重构图像存储器509获得CU0c的帧内预测中参考的重构图像。原来的预测单元的帧内预测模式是，“128x128垂直预测模式”。因此，获得的重构图像是，如图23的(d)所示，CU0a上相邻的64x1像素块。

重构图像的获得的完成后，帧内预测运算部703，利用获得的重构图像，进行CU0c的帧内预测，生成预测图像。此时，帧内预测模式是“128x128垂直预测模式”，因此，帧内预测运算部703，将获得的64x1像素块的像素值向下方向复制来生成预测图像。以上，CU0c的帧内预测完成。

同样，重构图像获得部702，从重构图像存储器509获得CU0d的帧内预测中参考的重构图像。原来的预测单元的帧内预测模式是，“128x128垂直预测模式”。因此，获得的重构图像是，如图23的(e)所示，CU0b上相邻的64x1像素块。

重构图像的获得的完成后，帧内预测运算部703，利用获得的重构图像，进行CU0d的帧内预测，生成预测图像。此时，帧内预测模式是“128x128垂直预测模式”，因此，帧内预测运算部703，将获得的64x1像素块的像素值向下方向复制来生成预测图像。以上，CU0d的帧内预测完成。

以上，CU0a至CU0d的帧内预测完成。也就是说，帧内预测模式是“128x128垂直预测模式”的帧内预测的工作完成。

在本实施例中，用于运动补偿处理或帧内预测处理的预测单元被分割。据此，以作为最大的频率变换单元的尺寸的64x64像素的数据单位，执行包含运动补偿处理以及帧内预测处理的流水线处理。

在此，仅示出预测单元的尺寸比作为最大的频率变换单元的尺寸的64x64像素大时的例子。在预测单元的尺寸比64x64像素小的情况下，可以不分割预测单元。在此情况下，针对64x64像素的块中包含的所有的预测单元，执行运动补偿以及帧内预测的处理即可。

并且，在存在跨过64x64像素的边界的预测单元的情况下，图像解码装置，在64x64像素的边界，将该预测单元分割为多个块，与所述的工作同样，以64x64像素的数据单位，执行运动补偿以及帧内预测的处理即可。

图24示出本实施例涉及的图像解码装置的时间序列的工作。图24示出对图7A所示的多个编码单元进行处理时的工作。为了说明，在CU0被分割为四个而得到的64x64像素的四个区域之中，将左上的区域称为CU0a，将右上的区域称为CU0b，将左下的区域称为CU0c，将右下的区域称为CU0d。

在TS＝0中，对CU0a进行第一阶段的可变长解码处理(S1001)。CU0a是，编码单元的开头。因此，也一起进行CU头的处理。

在TS＝1中，对CU0a进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU0b进行第一阶段的可变长解码处理(S1001)。

在TS＝2中，对CU0a进行第三阶段的运动补偿处理(S1005)，对CU0b进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU0c进行第一阶段的可变长解码处理(S1001)。在此，预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

在TS＝3中，对CU0a进行第四阶段的帧内预测处理(S1006)以及重构处理(S1007)，对CU0b进行第三阶段的运动补偿处理(S1005)。同时，对CU0c进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)，对CU0d进行第一阶段的可变长解码处理(S1001)。在此，CU0的预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

在TS＝4中，对CU0b进行第四阶段的帧内预测处理(S1006)以及重构处理(S1007)，对CU0c进行第三阶段的运动补偿处理(S1005)。同时，对CU0d进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)，对CU1进行第一阶段的可变长解码处理(S1001)。在此，CU0的预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

在TS＝5中，对CU0c进行第四阶段的帧内预测处理(S1006)以及重构处理(S1007)，对CU0d进行第三阶段的运动补偿处理(S1005)。同时，对CU1进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)，对CU2进行第一阶段的可变长解码处理(S1001)。在此，CU0的预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

在TS＝6中，对CU0d进行第四阶段的帧内预测处理(S1006)以及重构处理(S1007)，对CU1进行第三阶段的运动补偿处理(S1005)。同时，对CU2进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)，对CU3进行第一阶段的可变长解码处理(S1001)。在此，CU0的预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

对于TS＝7以后，由于与TS＝6为止同样，因此省略说明。

在本实施例中，如图5A以及图5B，在编码单元的尺寸为128x128像素的情况下，频率变换单元的尺寸一定在64x64像素以下。而且，以64x64像素的数据单位，依次形成编码流。因此，以作为频率变换单元的最大的尺寸的64x64像素的数据单位，执行流水线处理。

进而，对比64x64像素大的预测单元进行分割，因此，运动补偿处理以及帧内预测处理，也以64x64像素的数据单位执行。

在本实施例中，与示出以往的工作的图64相比，流水线的各个阶段中处理的数据量为一定。因此，处理的空闲时间被削减，高效率地执行流水线处理。

在此，在TS＝0中，进行CU0a的可变长解码处理(S1001)，在TS＝1中，进行CU0a的逆量化处理(S1002)，同时，进行CU0b的可变长解码处理(S1001)。

如图2示出，在可变长解码部503和逆量化部504之间，配置存储器511，从而实现这样的处理。具体而言，在TS＝0中，可变长解码部503，将CU0a的可变长解码处理的结果写入到存储器511。在TS＝1中，逆量化部504，将由可变长解码部503写入的结果从存储器511中读出。而且，逆量化部504，对CU0a进行逆量化处理。

同时，在TS＝1中，可变长解码部503，将CU0b的可变长解码处理的结果写入到存储器511。存储器511，具有能够存储用于执行流水线处理的数据单位的存储容量即可。本实施例的数据单位是，最大的频率变换单元，其尺寸为，64x64像素。也就是说，也可以与数据单位为128x128像素的最大编码单元的实施例1相比，本实施例涉及的存储容量少。

在所述中，仅说明了可变长解码部503和逆量化部504之间，但是，在其他的处理部间也可以配置同样的存储器。并且，在控制部501内也可以配置同样的存储器。并且，在本实施例中，在第五阶段的去块滤波处理中，由最大编码单元构成流水线。因此，对于该处理，与实施例1同样，至少需要能够存储128x128像素的最大编码单元的处理所需要的数据的存储容量。

以上，说明了本实施例涉及的图像解码装置的工作。

(3-4.效果)

本实施例示出的图像解码装置，以最大的频率变换单元的数据单位，执行流水线处理。据此，各个阶段中处理的数据量为一定。因此，流水线的各个阶段的处理时间为一定。因此，高效率地执行流水线处理。据此，处理性能提高。并且，电路高效率地工作，因此也能够实现低耗电化。

并且，与实施例2相比，对于运动补偿处理以及帧内预测处理，也以最大的频率变换单元执行流水线处理。最大的频率变换单元，比最大编码单元小。因此，能够使处理部间的存储容量变小，能够使电路规模变小。

(3-5.补充)

而且，在本实施例中，对于用于编码的数据单位，利用编码单元这名称。但是，用于编码的数据单位也可以是宏块。并且，用于编码的数据单位，会有被称为超级宏块的情况。

并且，在本实施例中，利用非专利文献2示出的编码方式。而且，在本实施例中，示出各个处理的内容的一个例子。但是，各个处理的内容，不仅限于本实施例的例子。

并且，在本实施例中，最大编码单元的尺寸为128x128像素。但是，最大编码单元的尺寸，也可以是任何大小。并且，在本实施例中，编码单元的尺寸为128x128像素至8x8像素。但是，编码单元的尺寸，也可以是除此以外的尺寸。

并且，本实施例所示的流水线处理的结构是一个例子。并不一定需要像本实施例那样、将多个处理分割为多个阶段。例如，可以以一个阶段来实现几个处理，也可以一个处理被分割为几个阶段。

并且，在本实施例中，利用可变长码。可变长码的编码方式也可以是，哈夫曼码、游程码或算术码等的任何的编码方式。

并且，对于各个处理部，一部分或者全部，可以以由专用硬件的电路来实现，也可以以处理器上的程序来实现。

并且，对于帧存储器502、重构图像存储器509以及存储器511，不仅限于存储器，而能够存储数据的存储元件即可。例如，他们也可以是，触发器或寄存器等的其他的结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，用于他们。

并且，在本实施例中，以作为最大的频率变换单元的尺寸的64x64像素的数据单位，执行流水线处理。但是，数据单位，并不一定限于64x64像素。

一般而言，频率变换处理是，利用一个数据单位中包含的所有的数据执行的。因此，频率变换单元的分割是困难的。因此，在本实施例中，选择最大的频率变换单元的尺寸。但是，在频率变换处理以外的处理中，在用于该处理的数据单位的分割困难的情况下，也可以以用于该处理的数据单位执行流水线处理。

并且，在本实施例中，明显表示重构图像存储器509。但是，可以将各个处理部内的存储器作为重构图像存储器509来利用，也可以将帧存储器502作为重构图像存储器509来利用。

并且，在本实施例中没有示出，编码单元的代码量为零的跳过块的存在。但是，即使在跳过块存在的情况下，本实施例涉及的图像解码装置也可以，以最大的频率变换单元的尺寸执行流水线处理。并且，即使在跳过块存在的情况下，本实施例涉及的图像解码装置也可以，以最大的频率变换单元的尺寸来分割用于运动补偿或帧内预测的预测单元。

并且，在本实施例中，没有提及参考图像的滤波处理所需要的周边像素。但是，图像解码装置也可以，在从过去解码的图片获得参考图像时，根据需要，获得用于滤波处理的周边像素。

并且，在本实施例中示出，解码处理的例子。但是，流水线处理，不仅限于解码处理。可以将作为与解码处理相反的处理的编码处理，与本实施例同样，以流水线方式执行。据此，存储容量减少，电路规模被削减。

并且，在本实施例中，CU分割标志，存在于分割块的开头。但是，CU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，CU分割标志也可以，存在于最大编码单元(LCU)的开头。

并且，在本实施例中，TU分割标志，存在于各个系数信息的开头。但是，TU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，TU分割标志也可以，存在于编码单元或最大编码单元的开头。

并且，在本实施例中，按每个时隙，切换处理。并不一定需要以固定时间，切换处理。在具有依存关系的上一个处理完成、且能够开始下一个处理的情况下，可以开始下一个处理。并且，也可以在各个阶段中，不同时切换处理。

(实施例4)

(4-1.概要)

首先，说明本实施例涉及的图像解码装置的概要。本实施例涉及的图像解码装置，对编码流进行解码。构成编码流的编码单元的尺寸是可变的。并且，图像解码装置，将解码处理中包含的多个处理分割为多个阶段，以流水线方式并行进行多个处理。

此时，图像解码装置，以频率变换单元的尺寸，进行多个处理。而且，频率变换单元是，用于进行频率变换的数据单位。并且，频率变换单元，被包含在构成编码流的编码单元中。

并且，在本实施例中，以与H.264标准所规定的顺序不同的顺序，执行编码流中的去块滤波处理。而且，以频率变换单元的尺寸，执行运动补偿处理、帧内预测处理、去块滤波处理。

据此，即使在以各种各样的尺寸构成多个编码单元的情况下，也与各个编码单元的尺寸无关，而构成流水线处理的多个处理各自的处理数据量成为均等。因此，流水线处理中的空闲时间被削减，高效率地进行流水线处理。因此，处理性能提高。并且，与实施例3相比，能够更削减处理部间的存储容量。

以上，说明了本实施例涉及的图像解码装置的概要。

(4-2.结构)

图12是本实施例涉及的图像解码装置的结构图。对于本实施例涉及的图像解码装置的结构，由于与实施例3同样，因此省略说明。

图2是示出可变长解码部503和逆量化部504的连接的结构图。对于连接的结构，由于与实施例3同样，因此省略说明。

(4-3.工作)

本实施例的图像解码装置的工作，与图8以及图9的流程图所示的工作同样，与实施例3工作同样，但是，去块滤波处理(S1008)是不同的。

本实施例涉及的图像解码装置，对图7A所示的CU1至CU4，按照图26所示的号码的顺序进行去块滤波处理。也就是说，去块滤波器部510，按照CU1的垂直边界、CU1的水平边界、CU2的垂直边界、CU2的水平边界、CU3的垂直边界、CU3的水平边界、CU4的垂直边界、CU4的水平边界的顺序进行去块滤波处理。

据此，重构部508完成CU1的重构处理(S1007)之后，立刻，去块滤波器部510能够进行CU1的去块滤波处理(S1008)。而且，在重构部508与去块滤波器部510之间，存在能够存储64x64像素的数据单位的存储器即可。

并且，同样，本实施例涉及的图像解码装置，对图7A所示的CU0，按照图27所示的号码的顺序进行去块滤波处理。也就是说，去块滤波器部510，按照CU0a的垂直边界、CU0a的水平边界、CU0b的垂直边界、CU0b的水平边界、CU0c的垂直边界、CU0c的水平边界、CU0d的垂直边界、CU0d的水平边界的顺序进行去块滤波处理。

据此，重构部508完成CU0a的重构处理(S1007)之后，立刻，去块滤波器部510能够进行CU0a的去块滤波处理(S1008)。而且，CU0a是，CU0被分割为四个而得到的64x64像素的四个区域之中的左上的区域。同样，CU0b是右上的区域，CU0c是左下的区域，CU0d是右下的区域。

图28示出本实施例涉及的图像解码装置的时间序列的工作。图28示出对图7A所示的多个编码单元进行处理时的工作。

在TS＝0中，对CU0a进行第一阶段的可变长解码处理(S1001)。CU0a是，编码单元的开头。因此，也一起进行CU头的处理。

在TS＝1中，对CU0a进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU0b进行第一阶段的可变长解码处理(S1001)。

在TS＝2中，对CU0a进行第三阶段的运动补偿处理(S1005)，对CU0b进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU0c进行第一阶段的可变长解码处理(S1001)。在此，预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

在TS＝3中，对CU0a进行第四阶段的帧内预测处理(S1006)以及重构处理(S1007)，对CU0b进行第三阶段的运动补偿处理(S1005)。同时，对CU0c进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)，对CU0d进行第一阶段的可变长解码处理(S1001)。在此，CU0的预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

在TS＝4中，对CU0a进行第五阶段的去块滤波处理(S1008)，对CU0b进行第四阶段的帧内预测处理(S1006)以及重构处理(S1007)。同时，对CU0c进行第三阶段的运动补偿处理(S1005)，对CU0d进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU1进行第一阶段的可变长解码处理(S1001)。在此，CU0的预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

在TS＝5中，对CU0b进行第五阶段的去块滤波处理(S1008)，对CU0c进行第四阶段的帧内预测处理(S1006)以及重构处理(S1007)。同时，对CU0d进行第三阶段的运动补偿处理(S1005)，对CU1进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU2进行第一阶段的可变长解码处理(S1001)。在此，CU0的预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

在TS＝6中，对CU0c进行第五阶段的去块滤波处理(S1008)，对CU0d进行第四阶段的帧内预测处理(S1006)以及重构处理(S1007)。同时，对CU1进行第三阶段的运动补偿处理(S1005)，对CU2进行第二阶段的逆量化处理(S1002)和逆频率变换处理(S1003)。同时，对CU3进行第一阶段的可变长解码处理(S1001)进行。在此，CU0的预测单元是，128x128像素的尺寸，但是，如上所述，被分割为64x64像素的数据单位。

对于TS＝7以后，由于与TS＝6为止同样，因此省略说明。

在本实施例中，与示出以往的工作的图64相比，流水线的各个阶段中处理的数据量为一定。因此，处理的空闲时间被削减，高效率地执行流水线处理。

在此，在TS＝0中，进行CU0a的可变长解码处理(S1001)，在TS＝1中，进行CU0a的逆量化处理(S1002)，同时，进行CU0b的可变长解码处理(S1001)。

如图2示出，在可变长解码部503和逆量化部504之间，配置存储器511，从而实现这样的处理。具体而言，在TS＝0中，可变长解码部503，将CU0a的可变长解码处理的结果写入到存储器511。在TS＝1中，逆量化部504，将由可变长解码部503写入的结果从存储器511中读出。而且，逆量化部504，对CU0a进行逆量化处理。

同时，在TS＝1中，可变长解码部503，将CU0b的可变长解码处理的结果写入到存储器511。存储器511，具有能够存储用于执行流水线处理的数据单位的存储容量即可。本实施例的数据单位是，最大的频率变换单元，其尺寸为，64x64像素。也就是说，也可以与数据单位为128x128像素的最大编码单元的实施例1相比，本实施例涉及的存储容量少。

在所述中，仅说明了可变长解码部503和逆量化部504之间，但是，在其他的处理部间也可以配置同样的存储器。并且，在控制部501内也可以配置同样的存储器。并且，在本实施例中，以全部为64x64像素的最大的频率变换单元的尺寸构成流水线。因此，与实施例1至3相比，能够使存储容量变小。

以上，说明了本实施例涉及的图像解码装置的工作。

(4-4.效果)

本实施例示出的图像解码装置，以最大的频率变换单元的数据单位，执行流水线处理。据此，各个阶段中处理的数据量为一定。因此，流水线的各个阶段的处理时间为一定。因此，高效率地执行流水线处理。据此，处理性能提高。并且，电路高效率地工作，因此也能够实现低耗电化。

并且，与实施例3相比，变更了去块滤波处理的处理顺序。而且，对于去块滤波处理，也以最大的频率变换单元的数据单位，执行流水线处理。最大的频率变换单元，比最大编码单元小。因此，能够使处理部间的存储容量变小，能够使电路规模变小。

(4-5.补充)

而且，在本实施例中，对于用于编码的数据单位，利用编码单元这名称。但是，用于编码的数据单位也可以是宏块。并且，用于编码的数据单位，会有被称为超级宏块的情况。

并且，在本实施例中，利用非专利文献2示出的编码方式。而且，在本实施例中，示出各个处理的内容的一个例子。但是，各个处理的内容，不仅限于本实施例的例子。

并且，在本实施例中，最大编码单元的尺寸为128x128像素。但是，最大编码单元的尺寸，也可以是任何大小。并且，在本实施例中，编码单元的尺寸为128x128像素至8x8像素。但是，编码单元的尺寸，也可以是除此以外的尺寸。

并且，本实施例所示的流水线处理的结构是一个例子。并不一定需要像本实施例那样、将多个处理分割为多个阶段。例如，可以以一个阶段来实现几个处理，也可以一个处理被分割为几个阶段。

并且，在本实施例中，利用可变长码。可变长码的编码方式也可以是，哈夫曼码、游程码或算术码等的任何的编码方式。

并且，对于各个处理部，一部分或者全部，可以以由专用硬件的电路来实现，也可以以处理器上的程序来实现。

并且，对于帧存储器502、重构图像存储器509以及存储器511，不仅限于存储器，而能够存储数据的存储元件即可。例如，他们也可以是，触发器或寄存器等的其他的结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，用于他们。

并且，在本实施例中，以作为最大的频率变换单元的尺寸的64x64像素的数据单位，执行流水线处理。但是，数据单位，并不一定限于64x64像素。

一般而言，频率变换处理是，利用一个数据单位中包含的所有的数据执行的。因此，频率变换单元的分割是困难的。因此，在本实施例中，选择最大的频率变换单元的尺寸。但是，在频率变换处理以外的处理中，在用于该处理的数据单位的分割困难的情况下，也可以以用于该处理的数据单位执行流水线处理。

并且，在本实施例中，明显表示重构图像存储器509。但是，可以将各个处理部内的存储器作为重构图像存储器509来利用，也可以将帧存储器502作为重构图像存储器509来利用。

并且，在本实施例中，去块滤波处理的处理顺序的变更，适用于实施例3涉及的图像解码装置。但是，去块滤波处理的处理顺序的变更，也可以适用于实施例1或实施例2涉及的图像解码装置。

并且，在本实施例中，将去块滤波处理，对CU1的垂直边界进行后，对水平边界进行。但是，去块滤波处理的顺序，不仅限于所述的顺序，而可以是任何顺序。

并且，在本实施例中没有示出，编码单元的代码量为零的跳过块的存在。但是，即使在跳过块存在的情况下，本实施例涉及的图像解码装置也可以，以最大的频率变换单元的尺寸执行流水线处理。并且，即使在跳过块存在的情况下，本实施例涉及的图像解码装置也可以，以最大的频率变换单元的尺寸分割用于运动补偿或帧内预测的预测单元。

并且，在本实施例中，多个编码单元，按照光栅顺序被编码。但是，根据H.264标准涉及的任意片顺序(ASO：Arbitrary Slice Order)，多个编码单元，不会按照光栅顺序被编码。在这样的情况下，图像解码装置，不对片边界进行去块滤波处理，而仅对片内部进行去块滤波处理。据此，能够实现与本实施例同样的处理顺序以及流水线处理。

并且，在本实施例中示出，解码处理的例子。但是，流水线处理，不仅限于解码处理。可以将作为与解码处理相反的处理的编码处理，与本实施例同样，以流水线方式执行。据此，存储容量减少，电路规模被削减。

并且，在本实施例中，CU分割标志，存在于分割块的开头。但是，CU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，CU分割标志也可以，存在于最大编码单元(LCU)的开头。

并且，在本实施例中，TU分割标志，存在于各个系数信息的开头。但是，TU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，TU分割标志也可以，存在于编码单元或最大编码单元的开头。

并且，在本实施例中，按每个时隙，切换处理。并不一定需要以固定时间，切换处理。在具有依存关系的上一个处理完成、且能够开始下一个处理的情况下，可以开始下一个处理。并且，也可以在各个阶段中，不同时切换处理。

(实施例5)

(5-1.概要)

首先，说明本实施例涉及的图像解码装置的概要。本实施例涉及的图像解码装置，对编码流进行解码。构成编码流的编码单元的尺寸是可变的。并且，图像解码装置，将解码处理中包含的多个处理分割为多个阶段，以流水线方式并行进行多个处理。

此时，图像解码装置，以频率变换单元的尺寸，进行多个处理。而且，频率变换单元是，用于进行频率变换的数据单位。并且，频率变换单元，被包含在构成编码流的编码单元中。

并且，图像解码装置，在进行解码处理中包含的多个处理时，以频率变换单元的尺寸，分割用于运动补偿处理以及帧内预测处理的预测单元。

据此，即使在以各种各样的尺寸构成多个编码单元的情况下，也与各个编码单元的尺寸无关，而构成流水线处理的多个处理各自的处理数据量成为均等。因此，流水线处理中的空闲时间被削减，高效率地进行流水线处理。因此，处理性能提高。

并且，本实施例涉及的图像解码装置，在一个时隙中，能够将帧间预测的结果用于帧内预测。

以上，说明了本实施例涉及的图像解码装置的概要。

(5-2.结构)

接着，说明本实施例涉及的图像解码装置的结构。

图29是本实施例涉及的图像解码装置的结构图。对于与图1所示的实施例1的构成要素同样的构成要素，分配相同的符号，并省略说明。本实施例涉及的图像解码装置具备，帧内预测部710。帧内预测部710，以最大编码单元的尺寸的数据单位，一边进行重构处理，一边进行帧内预测处理。

图2是示出可变长解码部503和逆量化部504的连接的结构图。对于连接的结构，由于与实施例1同样，因此省略说明。

图30示出图29的帧内预测部710的结构。对于与图29所示的构成要素同样的构成要素，分配相同的符号，并省略说明。帧内预测部710具备，重构图像获得部702、帧内预测运算部703、开关711以及重构部712。

重构图像获得部702，获得重构图像。帧内预测运算部703，进行帧内预测图像的生成。开关711，切换帧间预测和帧内预测。重构部712，利用预测图像和差分图像生成解码图像。重构图像存储器509是，用于存储重构图像的存储器。

以上，说明了本实施例涉及的图像解码装置的结构。

(5-3.工作)

在本实施例中，与实施例1同样，利用图3A至图6B所示的编码流的构造。

图31示出用于说明工作的多个编码单元的结构例。并且，图31示出，后续于图7A的多个编码单元。图31所示的多个编码单元包含，64x64像素的CU8、CU9、32x32像素的CU10至CU13、以及64x64像素的CU14。对CU12，利用帧内预测。对CU12以外的所有的编码单元，利用帧间预测。

对于本实施例涉及的图像解码装置的工作流程，由于与图8及图9所示的实施例1、除了帧内预测处理(S1006)以及重构处理(S1007)以外同样，因此省略说明。以下，说明帧内预测处理(S1006)以及重构处理(S1007)。

利用图32示出的流程图，说明本实施例的由帧内预测部710的帧内预测处理(S1006)以及重构处理(S1007)。首先，帧内预测部710，判断对处理对象的编码单元是否利用帧内预测(S5000)。在对编码单元利用帧内预测的情况下(S5000的“是”)，重构图像获得部702从重构图像存储器509获得图像。而且，帧内预测运算部703生成帧内预测图像(S5001)。

在对编码单元不利用帧内预测的情况下(S5000的“否”)，重构部712，获得由运动补偿部520的帧间预测生成的预测图像(S5003)。接着，重构部712，根据预测图像和差分图像，生成重构图像(S5002)。而且，重构部712，将生成的重构图像中的、被参考的可能性存在的图像，存放到重构图像存储器509(S5004)。

接着，帧内预测部710，判断重构处理全部是否完成(S5005)。在重构处理没有全部完成的情况下(S5005的“否”)，帧内预测部710，再次判断是否利用帧内预测(S5000)。在重构处理全部完成的情况下(S5005的“是”)，帧内预测部710，结束处理。

以上是，本实施例的图像解码装置的工作。在本实施例中，如上所述，帧内预测部710进行重构处理。据此，顺利执行流水线处理。

例如，会有以下的情况，即，如图31所示的CU12，作为一个数据单位的64x64像素的块，进一步被分割为多个编码单元，对多个编码单元之一利用帧内预测。在这样的情况下，帧内预测部710也能够，进行CU10的重构处理、以及CU11的重构处理之后，利用作为其结果的重构图像进行CU12的帧内预测处理。

(5-4.补充)

而且，在本实施例中，对于用于编码的数据单位，利用编码单元这名称。但是，用于编码的数据单位也可以是宏块。并且，用于编码的数据单位，会有被称为超级宏块的情况。

并且，在本实施例中，利用非专利文献2示出的编码方式。而且，在本实施例中，示出各个处理的内容的一个例子。但是，各个处理的内容，不仅限于本实施例的例子。

并且，在本实施例中，最大编码单元的尺寸为128x128像素。但是，最大编码单元的尺寸，也可以是任何大小。并且，在本实施例中，编码单元的尺寸为128x128像素至8x8像素。但是，编码单元的尺寸，也可以是除此以外的尺寸。

本实施例的利用了帧内预测部710的流水线结构也可以是，实施例1(图10)、实施例2(图11)、实施例3(图24)、以及实施例4(图29)等所示的任何结构。

并且，对于各个处理部，一部分或者全部，可以以由专用硬件的电路来实现，也可以以处理器上的程序来实现。

并且，对于帧存储器502、重构图像存储器509以及存储器511，不仅限于存储器，而能够存储数据的存储元件即可。例如，他们也可以是，触发器或寄存器等的其他的结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，用于他们。

并且，在本实施例中，以作为最大的频率变换单元的尺寸的64x64像素的数据单位，执行流水线处理。但是，数据单位，并不一定限于64x64像素。

一般而言，频率变换处理是，利用一个数据单位中包含的所有的数据执行的。因此，频率变换单元的分割是困难的。因此，在本实施例中，选择最大的频率变换单元的尺寸。但是，在频率变换处理以外的处理中，在用于该处理的数据单位的分割困难的情况下，也可以以用于该处理的数据单位执行流水线处理。

并且，在本实施例中，明显表示重构图像存储器509。但是，可以将各个处理部内的存储器作为重构图像存储器509来利用，也可以将帧存储器502作为重构图像存储器509来利用。

并且，在本实施例中，CU分割标志，存在于分割块的开头。但是，CU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，CU分割标志也可以，存在于最大编码单元(LCU)的开头。

并且，在本实施例中，TU分割标志，存在于各个系数信息的开头。但是，TU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，TU分割标志也可以，存在于编码单元或最大编码单元的开头。

并且，在本实施例中，按每个时隙，切换处理。并不一定需要以固定时间，切换处理。在具有依存关系的上一个处理完成、且能够开始下一个处理的情况下，可以开始下一个处理。并且，也可以在各个阶段中，不同时切换处理。

(实施例6)

(6-1.概要)

首先，说明本实施例涉及的图像解码装置的概要。本实施例涉及的图像解码装置，对编码流进行解码。构成编码流的编码单元的尺寸是可变的。并且，图像解码装置，将解码处理中包含的多个处理分割为多个阶段，以流水线方式并行进行多个处理。

此时，图像解码装置，以频率变换单元的尺寸，进行多个处理。而且，频率变换单元是，用于进行频率变换的数据单位。并且，频率变换单元，被包含在构成编码流的编码单元中。

并且，图像解码装置，在进行解码处理中包含的多个处理时，以频率变换单元的尺寸，分割用于运动补偿处理以及帧内预测处理的预测单元。

据此，即使在以各种各样的尺寸构成多个编码单元的情况下，也与各个编码单元的尺寸无关，而构成流水线处理的多个处理各自的处理数据量成为均等。因此，流水线处理中的空闲时间被削减，高效率地进行流水线处理。因此，处理性能提高。

并且，图像解码装置，对亮度数据(亮度信息)和色差数据(色差信息)各自分别被配置的编码流高效率地进行解码。也就是说，图像解码装置，不等待色差数据的可变长解码处理的结束，而对亮度数据执行后续的处理。因此，能够削减缓存的容量。

以上，说明了本实施例涉及的图像解码装置的概要。

(6-2.结构)

图29是本实施例涉及的图像解码装置的结构图。对于本实施例涉及的图像解码装置的结构，由于与实施例5同样，因此省略说明。

图2是示出可变长解码部503和逆量化部504的连接的结构图。对于连接的结构，由于与实施例1同样，因此省略说明。

图30示出图29的帧内预测部710的结构。对于帧内预测部710的结构，由于与实施例5同样，因此省略说明。

(6-3.工作)

在本实施例中，与实施例5同样，利用图3A至图4B、图6A以及图6B所示的编码流的构造。另一方面，在本实施例中，如图33示出，编码流内的系数信息的结构是，与实施例5的结构不同的。

在本实施例中，在编码流内，按64x64像素的每个频率变换单元配置亮度(图33中以Y示出)的系数数据。并且，亮度之后，按32x32像素的每个频率变换单元配置蓝的色差(图33中以Cb示出)的系数数据。接着，按32x32像素的每个频率变换单元配置红的色差(图33中以Cr示出)的系数数据。

并且，在本实施例中，假设4:2:0的格式，以作为图像的格式。因此，色差(Cb，Cr)的数据为32x32像素。

对于本实施例涉及的图像解码装置的工作流程，由于与图8、图9以及图32所示的实施例5同样，因此省略说明。

在本实施例中，流水线处理的结构是，与实施例5不同的。图34示出流水线处理的时间序列的工作。在图34中，以朝右上的斜线画出阴影的块示出，蓝的色差(Cb)的块，以朝左上的斜线画出阴影的块示出，红的色差(Cr)的块。

如图34示出，本实施例涉及的图像解码装置，将CU0，分割为CU0aY至CU0dY、CU0Cb、CU0Cr的六个块，执行流水线处理。在此，CU0是，128x128像素的一个编码单元。CU0aY至CU0dY分别是，亮度的块。CU0Cb是，蓝的色差的块。CU0Cr是，红的色差的块。

像CU1以及CU2等那样，针对由64x64像素的亮度数据构成的编码单元，色差(Cb，Cr)的数据单位的尺寸分别是，32x32像素。与其他的数据单位的尺寸为64x64像素的情况相比，对于CU1以及CU2的色差(Cb，Cr)的数据单位的尺寸变小。因此，像实施例5等那样，在多个阶段中，以相同的数据单位来切换处理是困难的。

于是，图像解码装置，通过图35及图36流程图所示的工作，来切换处理。

图35示出，可变长解码部503，将处理切换为CU0aY、CU0bY、…时的工作。首先，可变长解码部503，判断可变长解码部503的输出用的存储器511中是否有空闲(S6000)。

在存储器511中没有空闲的情况下(S6000的“否”)，可变长解码部503，照原样，等待到存储器511中发生空闲为止。在存储器511中有空闲的情况下(S6000的“是”)，可变长解码部503，进行下一个数据的可变长解码处理(S6001)。

图36示出，逆量化部504，将处理切换为CU0aY、CU0bY、…时的工作。首先，逆量化部504，判断对处理对象的数据的由可变长解码部503的可变长解码处理是否已经结束(S6002)。

在可变长解码处理没有结束的情况下(S6002的“否”)，逆量化部504，等待到可变长解码处理结束为止。在可变长解码处理已经结束的情况下(S6002的“是”)，逆量化部504，检查逆量化部504的输出用的存储器(不图示)中是否有空闲(S6003)。在存储器中没有空闲的情况下(S6003的“否”)，逆量化部504，等待到存储器中发生空闲为止。在存储器中有空闲的情况下(S6003的“是”)，逆量化部504，进行逆量化处理(S6004)。

在此，示出可变长解码部503以及逆量化部504的工作。同样，在存在处理对象的数据、且存储器中有空闲的情况下，其他的处理部也能够进行该数据的处理。因此，图像解码装置，在多个阶段中，即使不以完全相同的定时来切换处理，也能够执行流水线处理。

并且，图像解码装置，将亮度以及色差作为个别的数据单位来处理。据此，不等待色差数据，而执行亮度数据的处理。因此，能够削减内部缓冲器的容量。

(6-4.补充)

而且，在本实施例中，对于用于编码的数据单位，利用编码单元这名称。但是，用于编码的数据单位也可以是宏块。并且，用于编码的数据单位，会有被称为超级宏块的情况。

并且，在本实施例中，利用非专利文献2示出的编码方式。而且，在本实施例中，示出各个处理的内容的一个例子。但是，各个处理的内容，不仅限于本实施例的例子。

并且，在本实施例中，最大编码单元的尺寸为128x128像素。但是，最大编码单元的尺寸，也可以是任何大小。并且，在本实施例中，编码单元的尺寸为128x128像素至8x8像素。但是，编码单元的尺寸，也可以是除此以外的尺寸。

并且，对于各个处理部，一部分或者全部，可以以由专用硬件的电路来实现，也可以以处理器上的程序来实现。

并且，对于帧存储器502、重构图像存储器509以及存储器511，不仅限于存储器，而能够存储数据的存储元件即可。例如，他们也可以是，触发器或寄存器等的其他的结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，用于他们。

并且，在本实施例中，以作为最大的频率变换单元的尺寸的64x64像素的数据单位，执行流水线处理。但是，数据单位，并不一定限于64x64像素。

一般而言，频率变换处理是，利用一个数据单位中包含的所有的数据执行的。因此，频率变换单元的分割是困难的。因此，在本实施例中，选择最大的频率变换单元的尺寸。但是，在频率变换处理以外的处理中，在用于该处理的数据单位的分割困难的情况下，也可以以用于该处理的数据单位执行流水线处理。

并且，在本实施例中，明显表示重构图像存储器509。但是，可以将各个处理部内的存储器作为重构图像存储器509来利用，也可以将帧存储器502作为重构图像存储器509来利用。

并且，在本实施例中示出，格式为4:2:0时的例子。但是，即使是4:2:2、或者、4:4:4等的其他的格式，也能够进行同样的处理。

并且，在本实施例中，CU分割标志，存在于分割块的开头。但是，CU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，CU分割标志也可以，存在于最大编码单元(LCU)的开头。

并且，在本实施例中，TU分割标志，存在于各个系数信息的开头。但是，TU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，TU分割标志也可以，存在于编码单元或最大编码单元的开头。

并且，在本实施例中，按每个时隙，切换处理。并不一定需要以固定时间，切换处理。在具有依存关系的上一个处理完成、且能够开始下一个处理的情况下，可以开始下一个处理。并且，也可以在各个阶段中，不同时切换处理。

(实施例7)

(7-1.概要)

首先，说明本实施例涉及的图像解码装置的概要。本实施例涉及的图像解码装置，对编码流进行解码。构成编码流的编码单元的尺寸是可变的。并且，图像解码装置，将解码处理中包含的多个处理分割为多个阶段，以流水线方式并行进行多个处理。

此时，图像解码装置，以频率变换单元的尺寸，进行多个处理。而且，频率变换单元是，用于进行频率变换的数据单位。并且，频率变换单元，被包含在构成编码流的编码单元中。

并且，图像解码装置，在进行解码处理中包含的多个处理时，以频率变换单元的尺寸，分割用于运动补偿处理以及帧内预测处理的预测单元。

据此，即使在以各种各样的尺寸构成多个编码单元的情况下，也与各个编码单元的尺寸无关，而构成流水线处理的多个处理各自的处理数据量成为均等。因此，流水线处理中的空闲时间被削减，高效率地进行流水线处理。因此，处理性能提高。

并且，图像解码装置，以包含亮度数据和色差数据的数据单位，执行运动补偿处理。据此，高效率地执行运动补偿处理。

以上，说明了本实施例涉及的图像解码装置的概要。

(7-2.结构)

图29是本实施例涉及的图像解码装置的结构图。对于本实施例涉及的图像解码装置的结构，由于与实施例6同样，因此省略说明。

图2是示出可变长解码部503和逆量化部504的连接的结构图。对于连接的结构，由于与实施例6同样，因此省略说明。

图30示出图29的帧内预测部710的结构。对于帧内预测部710，由于与实施例6同样，因此省略说明。

(7-3.工作)

本实施例中，与实施例6同样，利用图3A至图4B、图6A、图6B以及图33所示的编码流的构造。并且，本实施例涉及的图像解码装置的工作流程，由于与图8、图9以及图32所示的实施例6同样，因此省略说明。

在本实施例中，流水线处理的结构是，与实施例6不同的。图37示出流水线处理的时间序列的工作。在图37中，以朝右上的斜线画出阴影的块示出，蓝的色差(Cb)的块，以朝左上的斜线画出阴影的块示出，红的色差(Cr)的块。

如图37示出，本实施例涉及的图像解码装置，将CU0，分割为CU0aY至CU0dY、CU0Cb、CU0Cr的六个块，执行流水线处理。在此，CU0是，128x128像素的一个编码单元。CU0aY至CU0dY分别是，亮度的块。CU0Cb是，蓝的色差的块。CU0Cr是，红的色差的块。

在本实施例中，在第三阶段的运动补偿处理中，CU0不被分割为亮度数据和色差数据，而被处理为CU0a至CU0d。并且，在进行第三阶段的逆量化处理的同时，进行运动补偿处理。这样的内容是，与实施例6不同的。

在图9的流程图中，为了说明，逆频率变换处理(S1003)结束之后，执行运动补偿处理(S1005)。但是，实际上，若运动矢量被进行可变长解码，则能够执行运动补偿处理(S1005)。因此，即使逆量化处理(S1002)以及逆频率变换处理(S1003)没有结束，也能够执行运动补偿处理(S1005)。

因此，本实施例涉及的图像解码装置，在进行CU0aY至CU0dY、CU0Cb、CU0Cr的逆量化处理以及逆频率变换处理的同时，进行运动补偿处理。

据此，本实施例涉及的图像解码装置，针对亮度以及色差，能够同时并行进行运算量大的运动补偿处理。因此，电路的结构变得容易，能够提高性能。

(7-4.补充)

而且，在本实施例中，对于用于编码的数据单位，利用编码单元这名称。但是，用于编码的数据单位也可以是宏块。用于编码的数据单位，会有被称为超级宏块的情况。

并且，在本实施例中，利用非专利文献2示出的编码方式。而且，在本实施例中，示出各个处理的内容的一个例子。但是，各个处理的内容，不仅限于本实施例的例子。

并且，在本实施例中，最大编码单元的尺寸为128x128像素。但是，最大编码单元的尺寸，也可以是任何大小。并且，在本实施例中，编码单元的尺寸为128x128像素至8x8像素。但是，编码单元的尺寸，也可以是除此以外的尺寸。

并且，对于各个处理部，一部分或者全部，可以以由专用硬件的电路来实现，也可以以处理器上的程序来实现。

并且，对于帧存储器502、重构图像存储器509以及存储器511，不仅限于存储器，而能够存储数据的存储元件即可。例如，他们也可以是，触发器或寄存器等的其他的结构。进而，也可以将处理器的存储区域的一部分、或高速缓存的一部分，用于他们。

并且，在本实施例中，以作为最大的频率变换单元的尺寸的64x64像素的数据单位，执行流水线处理。但是，数据单位，并不一定限于64x64像素。

一般而言，频率变换处理是，利用一个数据单位中包含的所有的数据执行的。因此，频率变换单元的分割是困难的。因此，在本实施例中，选择最大的频率变换单元的尺寸。但是，在频率变换处理以外的处理中，在用于该处理的数据单位的分割困难的情况下，也可以以用于该处理的数据单位执行流水线处理。

并且，在本实施例中，明显表示重构图像存储器509。但是，可以将各个处理部内的存储器作为重构图像存储器509来利用，也可以将帧存储器502作为重构图像存储器509来利用。

并且，在本实施例中示出，格式为4:2:0时的例子。但是，即使是4:2:2、或者、4:4:4等的其他的格式，也能够进行同样的处理。

并且，在本实施例中，第三阶段的运动补偿处理是，与第二阶段的逆量化的同时开始的。但是，对于运动补偿处理，若运动矢量的可变长解码处理已经结束，则可以在第一阶段的可变长解码处理的执行中开始，或者，也可以更延迟开始。

并且，在本实施例中，CU分割标志，存在于分割块的开头。但是，CU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，CU分割标志也可以，存在于最大编码单元(LCU)的开头。

并且，在本实施例中，TU分割标志，存在于各个系数信息的开头。但是，TU分割标志，并不一定需要位于这样的位置，存在于编码流即可。例如，TU分割标志也可以，存在于编码单元或最大编码单元的开头。

并且，在本实施例中，按每个时隙，切换处理。并不一定需要以固定时间，切换处理。在具有依存关系的上一个处理完成、且能够开始下一个处理的情况下，可以开始下一个处理。并且，也可以在各个阶段中，不同时切换处理。

以下，在实施例8至实施例15中示出，所述的实施例1至实施例7所示的具有特征的构成要素。

(实施例8)

图38是示出实施例8涉及的图像处理装置的结构的结构图。图38所示的图像处理装置2100具备，控制部2110以及多个第一处理部2111。多个第一处理部2111包含，处理部2121以及处理部2122。也就是说，处理部2121以及处理部2122分别是，第一处理部。

图像处理装置2100，以流水线方式对编码流施行多个第一处理。编码流是，通过将图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块对图像进行编码而得到的编码流。

多个第一处理部2111，以流水线方式对编码流施行多个第一处理。此时，多个第一处理部2111中包含的处理部2121以及处理部2122，分别执行多个第一处理之中的某一个。

控制部2110，将编码流，分割为分别以第一尺寸构成的多个第一处理单位块。而且，控制部2110，以按每个第一处理单位块来执行多个第一处理的方式，来控制多个第一处理部2111。

图39是示出图38所示的图像处理装置2100的工作的流程图。

首先，控制部2110，将编码流，分割为分别以第一尺寸构成的多个第一处理单位块(S2101)。而且，控制部2110，以按每个第一处理单位块来执行多个第一处理的方式，来控制多个第一处理部2111。

接着，多个第一处理部2111，以流水线方式对编码流施行多个第一处理(S2102)。此时，多个第一处理部2111中包含的处理部2121以及处理部2122，分别执行多个第一处理之中的某一个(S2111，S2112)。

据此，多个第一处理部2111，根据一个尺寸，以流水线方式对编码流施行多个处理。因此，空闲时间被削减，工作效率提高。

而且，多个第一处理部2111也可以，针对编码流，施行用于解码图像的多个第一处理。

并且，控制部2110也可以，通过对构成编码流的编码单位块进行分割，从而将编码流分割为多个第一处理单位块。或者，通过对构成编码流的两个以上的编码单位块进行汇集，从而也可以将编码流分割为多个第一处理单位块。

并且，控制部2110也可以，以针对多个第一处理单位块的每一个第一处理单位块在规定的期间执行多个第一处理的每一个第一处理的方式，来控制多个第一处理部2111。规定的期间是，例如规定的数量的时隙。

并且，编码单位块也可以是，能够切换画面间预测与画面内预测的最小单位。

并且，所述的第一尺寸也可以是，作为最大的编码单位块的尺寸的预先规定的尺寸。例如，第一尺寸也可以是，作为编码流或编码标准中最大的编码单位块的尺寸的预先规定的尺寸。

并且，所述的第一尺寸也可以是，作为最大编码单元(Largest CodingUnit)的尺寸的预先规定的尺寸，该最大编码单元是最大的编码单位块。例如，第一尺寸也可以是，作为编码流或编码标准中最大编码单位的尺寸的预先规定的尺寸。

并且，所述的第一尺寸也可以是，作为最大的频率变换块的尺寸的预先规定的尺寸。频率变换块是，用于编码处理中的频率变换的数据单位，或者，用于解码处理中的逆频率变换的数据单位。例如，第一尺寸也可以是，作为编码流或编码标准中最大的频率变换块的尺寸的预先规定的尺寸。

并且，所述的第一尺寸也可以是，作为最大的频率变换单元(TransformUnit)的尺寸的预先规定的尺寸，该最大的频率变换单元是最大的频率变换块。例如，第一尺寸也可以是，作为编码流或编码标准中最大的频率变换单元的尺寸的预先规定的尺寸。

(实施例9)

图40是示出实施例9涉及的图像处理装置的结构的结构图。图40所示的图像处理装置2200具备，控制部2210以及多个第一处理部2211。

多个第一处理部2211包含，处理部2221、处理部2222以及处理部2223。并且，多个第一处理部2211包含，多个第二处理部2212。多个第二处理部2212包含，处理部2222以及处理部2223。也就是说，处理部2221是第一处理部。并且，处理部2222以及处理部2223各自，是第一处理部，且是第二处理部。

图像处理装置2200，与实施例8的图像处理装置2100同样，以流水线方式对编码流施行多个第一处理。

多个第一处理部2211，与实施例8的多个第一处理部2111同样，以流水线方式对编码流施行多个第一处理。此时，多个第一处理部2211中包含的处理部2221、处理部2222以及处理部2223，分别执行多个第一处理之中的某一个。

多个第二处理部2212，执行多个第一处理中包含的多个第二处理。

控制部2210，与实施例8的控制部2110同样，将编码流，分割为分别以第一尺寸构成的多个第一处理单位块。而且，控制部2210，以按每个第一处理单位块来执行多个第一处理的方式，来控制多个第一处理部2211。

并且，控制部2210，将多个第一处理单位块，分割为分别以比第一尺寸小的第二尺寸构成的多个第二处理单位块。而且，控制部2210，以按每个第二处理单位块来执行多个第二处理的方式，来控制多个第二处理部2212。

图41是示出图40所示的图像处理装置2200的工作的流程图。

首先，控制部2210，将编码流，分割为分别以第一尺寸构成的多个第一处理单位块(S2201)。而且，控制部2210，以按每个第一处理单位块来执行多个第一处理的方式，来控制多个第一处理部2211。

接着，控制部2210，将多个第一处理单位块，分割为分别以比第一尺寸小的第二尺寸构成的多个第二处理单位块(S2202)。而且，控制部2210，以按每个第二处理单位块来执行多个第二处理的方式，来控制多个第二处理部2212。

接着，多个第一处理部2211，以流水线方式对编码流施行多个第一处理(S2203)。此时，多个第一处理部2211中包含的处理部2221、处理部2222以及处理部2223，分别执行多个第一处理之中的某一个(S2211，S2212，S2213)。

根据所述的工作，多个第二处理部2212，执行多个第二处理(S2204)。此时，多个第二处理部2212中包含的处理部2222以及处理部2223，分别执行多个第二处理之中的某一个(S2211，S2212)。

据此，以更小的尺寸执行流水线处理。因此，工作效率更提高。

而且，控制部2210也可以，将多个第一处理单位块，分割为各个尺寸为第一尺寸以下的多个第二处理单位块。据此，也以小的尺寸执行流水线处理。因此，工作效率提高。

并且，控制部2210也可以，以分割亮度信息和色差信息的方式，来将多个第一处理单位块分割为多个第二处理单位块。据此，亮度信息和色差信息分别被处理。而且，以小的尺寸执行流水线处理，工作效率提高。

并且，多个第一处理部2211也可以包含，执行运动补偿处理的运动补偿处理部。

而且，控制部2210也可以，将多个第一处理单位块，分割为分别以比第一尺寸小的第三尺寸构成的多个第三处理单位块。此时，控制部2210也可以，以亮度信息和色差信息被包含在一个第三处理单位块中的方式，将多个第一处理单位块分割为多个第三处理单位块。而且，控制部2210也可以，以按每个第三处理单位块来执行运动补偿处理的方式，来控制运动补偿处理部。

据此，在运动补偿处理中，一并处理亮度信息和色差信息。因此，无用的工作被削减。

(实施例10)

图42是示出实施例10涉及的图像处理装置的结构的结构图。图42所示的图像处理装置2300具备，控制部2310以及多个第一处理部2311。多个第一处理部2311包含，处理部2321、运动补偿处理部2322。也就是说，处理部2321以及运动补偿处理部2322分别是，第一处理部。

图像处理装置2300具备与实施例8的图像处理装置2100同样的构成要素，与实施例8的图像处理装置2100同样工作。控制部2310、多个第一处理部2311、处理部2321以及运动补偿处理部2322，分别与实施例8的控制部2110、多个第一处理部2111、处理部2121以及处理部2122对应。图像处理装置2300的各个构成要素，与对应的构成要素同样工作。但是，与实施例8相比，在本实施例中，存在以下示出的区别。

运动补偿处理部2322，执行运动补偿处理。在用于运动补偿处理的预测块比第一尺寸大的情况下，控制部2310，将预测块分割为多个第一处理单位块。而且，控制部2310，以按每个第一处理单位块来执行运动补偿处理的方式，来控制运动补偿处理部2322。预测块是，用于预测处理的数据单位。

图43是示出图42所示的图像处理装置2300的工作的流程图。

首先，控制部2310，将编码流，分割为分别以第一尺寸构成的多个第一处理单位块(S2301)。而且，控制部2310，以按每个第一处理单位块来执行多个第一处理的方式，来控制多个第一处理部2311。

并且，此时，控制部2310，在用于运动补偿处理的预测块比第一尺寸大的情况下，控制部2310，将预测块分割为多个第一处理单位块。而且，控制部2310，以按每个第一处理单位块来执行运动补偿处理的方式，来控制运动补偿处理部2322。

接着，多个第一处理部2311，以流水线方式对编码流施行多个第一处理(S2302)。此时，多个第一处理部2311中包含的处理部2321以及运动补偿处理部2322，分别执行多个第一处理之中的某一个(S2311，S2312)。特别是，运动补偿处理部2322，执行多个第一处理中包含的运动补偿处理(S2312)。

据此，在运动补偿处理部2322和其他的处理部之间交换的信息量减少。因此，能够缩小电路规模。

(实施例11)

图44是示出实施例11涉及的图像处理装置的结构的结构图。图44所示的图像处理装置2400具备，控制部2410以及多个第一处理部2411。多个第一处理部2411包含，处理部2421、帧内预测处理部2422。也就是说，处理部2421以及帧内预测处理部2422分别是第一处理部。

图像处理装置2400具备与实施例8的图像处理装置2100同样的构成要素，与实施例8的图像处理装置2100同样工作。控制部2410、多个第一处理部2411、处理部2421以及帧内预测处理部2422，分别与实施例8的控制部2110、多个第一处理部2111、处理部2121以及处理部2122对应。图像处理装置2400的各个构成要素，与对应的构成要素同样工作。但是，与实施例8相比，在本实施例中，存在以下示出的区别。

帧内预测处理部2422，执行帧内预测处理。在用于帧内预测处理的预测块比第一尺寸大的情况下，控制部2410，将预测块分割为多个第一处理单位块。而且，控制部2410，以按每个第一处理单位块来执行帧内预测处理的方式，来控制帧内预测处理部2422。预测块是，用于预测处理的数据单位。

图45是示出图44所示的图像处理装置2400的工作的流程图。

首先，控制部2410，将编码流，分割为分别以第一尺寸构成的多个第一处理单位块(S2401)。而且，控制部2410，以按每个第一处理单位块来执行多个第一处理的方式，来控制多个第一处理部2411。

并且，此时，控制部2410，在用于帧内预测处理的预测块比第一尺寸大的情况下，控制部2410，将预测块分割为多个第一处理单位块。而且，控制部2410，以按每个第一处理单位块来执行帧内预测处理的方式，来控制帧内预测处理部2422。

接着，多个第一处理部2411，以流水线方式对编码流施行多个第一处理(S2402)。此时，多个第一处理部2411中包含的处理部2421以及帧内预测处理部2422，分别执行多个第一处理之中的某一个(S2411，S2412)。特别是，帧内预测处理部2422，执行多个第一处理中包含的帧内预测处理(S2412)。

据此，在运动补偿处理部2422和其他的处理部之间交换的信息量减少。因此，能够缩小电路规模。

(实施例12)

图46是示出实施例12涉及的图像处理装置的结构的结构图。图46所示的图像处理装置2500具备，控制部2510以及多个第一处理部2511。多个第一处理部2511包含，处理部2521、去块滤波处理部2522。也就是说，处理部2521以及去块滤波处理部2522分别是，第一处理部。

图像处理装置2500具备与实施例8的图像处理装置2100同样的构成要素，与实施例8的图像处理装置2100同样工作。控制部2510、多个第一处理部2511、处理部2521以及去块滤波处理部2522，分别与实施例8的控制部2110、多个第一处理部2111、处理部2121以及处理部2122对应。图像处理装置2500的各个构成要素，与对应的构成要素同样工作。但是，与实施例8相比，在本实施例中，存在以下示出的区别。

去块滤波处理部2522，执行用于除去频率变换块等的块的边界中的编码失真的去块滤波处理。控制部2510，以根据图像被编码时所执行的频率变换处理的顺序，来对每个频率变换块执行去块滤波处理的方式，来控制去块滤波处理部2522。

图47是示出图46所示的图像处理装置2500的工作的流程图。

首先，控制部2510，将编码流，分割为分别以第一尺寸构成的多个第一处理单位块(S2501)。而且，控制部2510，以按每个第一处理单位块来执行多个第一处理的方式，来控制多个第一处理部2511。并且，此时，控制部2510，以根据图像被编码时所执行的频率变换处理的顺序，来对每个频率变换块执行去块滤波处理的方式，来控制去块滤波处理部2522。

接着，多个第一处理部2511，以流水线方式对编码流施行多个第一处理(S2502)。此时，多个第一处理部2511中包含的处理部2521以及去块滤波处理部2522，分别执行多个第一处理之中的某一个(S2511，S2512)。特别是，去块滤波处理部2522，执行多个第一处理中包含的去块滤波处理(S2512)。

据此，以小的尺寸执行去块滤波处理。因此，空闲时间被削减，工作效率提高。

(实施例13)

图48是示出实施例13涉及的图像编码装置的结构的结构图。图48所示的图像编码装置2600具备，编码处理部2610以及去块滤波处理部2611。图像编码装置2600，对图像进行编码。

图49是示出图48所示的图像处理装置2600的工作的流程图。

首先，编码处理部2610，将图像分割为至少存在两种尺寸的多个编码单位块。而且，编码处理部2610，针对图像按每个编码单位块执行编码处理(S2601)。编码处理中可以包含，例如频率变换处理、量化处理、可变长编码处理、逆量化处理、逆频率变换处理、运动补偿处理以及帧内预测处理等。

接着，去块滤波处理部2611，根据针对编码单位块执行的编码处理的顺序，按每个编码单位块执行去块滤波处理(S2602)。例如，去块滤波处理部2611，按照图26所示的顺序，执行去块滤波处理。施行了去块滤波处理的编码单位块，被用于针对后续的编码单位块的运动补偿处理等的编码处理，以作为参考图像。

据此，去块滤波处理与前级的处理之间的空闲时间被削减。因此，工作效率提高。并且，典型而言，编码方与解码方利用相同的顺序。因此，解码方的工作效率也提高。

而且，去块滤波处理部2611也可以，与执行了编码处理的顺序无关，而执行去块滤波处理(S2602)。而且，去块滤波处理部2611也可以，按与每个编码单位块不同的规定的每个数据单位执行去块滤波处理。例如，去块滤波处理部2611也可以，如图25，也可以将去块滤波处理，按规定的每个数据单位，针对垂直边界以及水平边界之中的一方执行后，针对另一方执行。

(实施例14)

图50是示出实施例14涉及的图像编码装置的结构的结构图。图50所示的图像编码装置2700具备，频率变换处理部2710以及去块滤波处理部2711。图像编码装置2700，按每个编码单位块对图像进行编码。

图51是示出图50所示的图像处理装置2700的工作的流程图。

首先，频率变换处理部2710，将图像中包含的编码单位块，分割为多个频率变换块。而且，频率变换处理部2710，针对编码单位块，按每个频率变换块执行频率变换处理(S2701)。

接着，去块滤波处理部2711，根据针对编码单位块执行的频率变换处理的顺序，来对每个频率变换块执行去块滤波处理(S2702)。

据此，以小的尺寸执行去块滤波处理。因此，空闲时间被削减，工作效率提高。

(实施例15)

图52是示出实施例15涉及的图像编码装置的结构的结构图。图52所示的图像编码装置2800具备，频率变换处理部2810以及编码处理部2811。图像编码装置2800，按每个编码单位块对图像进行编码。

图53是示出图52所示的图像处理装置2800的工作的流程图。

首先，频率变换处理部2810，将图像中包含的编码单位块，分割为多个频率变换块。而且，频率变换处理部2810，针对编码单位块，按每个频率变换块执行频率变换处理(S2801)。

接着，编码处理部2811，对执行了频率变换处理的编码单位块进行编码。例如，编码处理部2811，执行可变长编码处理。而且，编码处理部2811，以使图像的亮度信息以及色差信息按每个频率变换块混合在一起的方式，来生成编码流(S2802)。例如，编码处理部2811，如图5A以及图5B所示的编码流，以使亮度信息以及色差信息按每个频率变换块混合在一起的方式，来生成编码流。

图54是示出本实施例涉及的编码流的例子的图。在图54的例子中，编码单位块包含，四个频率变换块A、B、C、D。而且，与各个频率变换块对应的系数信息包含，亮度信息(Y)以及色差信息(Cb，Cr)。也就是说，编码处理部2811，如图54，以使亮度信息(Y)以及色差信息(Cb，Cr)按每个频率变换块混合在一起的方式，来生成编码流。

据此，在解码方也能够，不分割亮度信息以及色差信息，而以频率变换块的数据单位执行流水线处理。因此，工作效率提高。

而且，也可以按照第一频率变换块的亮度信息、第一频率变换块的色差信息、第二频率变换块的亮度信息、第二频率变换块的色差信息这顺序，构成编码流。也就是说，也可以是，亮度信息以及色差信息分别独立地被包含在编码流中、且亮度信息以及色差信息按每个频率变换块被混合在一起。即使是这样的结构，也能够以频率变换块的数据单位执行流水线处理。

以上，对于本发明涉及的图像处理装置、图像解码装置以及图像编码装置，根据多个实施例进行了说明，但是，本发明不仅限于这样的实施例。对这样的实施例实施以由从业者想到的变形的方式，以及任意组合这样的实施例中的结构要件来实现的其他的方式，也包含在本发明中。

例如，特定的处理部执行的处理，也可以由其他的处理部执行。并且，可以变更执行处理的顺序，也可以并行执行多个处理。

并且，本发明，除了能够以图像处理装置、图像解码装置或图像编码装置来实现以外，还能够以将构成图像处理装置、图像解码装置或图像编码装置的处理单元作为步骤的方法来实现。例如，这样的步骤，由计算机执行。而且，本发明，能够以用于使计算机执行这样的方法中包含的步骤的程序来实现。进而，本发明，能够以记录有该程序的CD-ROM等的计算机可读取的记录介质来实现。

并且，图像处理装置、图像解码装置或图像编码装置中包含的多个构成要素也可以，以作为集成电路的LSI(Large Scale Integration：大规模集成电路)来实现。可以将这样的构成要素个别单芯片化，也可以将它们单芯片化，使得包含一部分或全部。例如，也可以将存储器以外的构成要素单芯片化。在此，称为LSI，但是根据集成度的不同，有时被称为IC(Integrated Circuit∶集成电路)、***LSI、超LSI或特大LSI。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用能够编程的FPGA(Field ProgrammableGate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接或设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对图像处理装置、图像解码装置或图像编码装置中包含的构成要素进行集成电路化。

(实施例16)

通过将用于实现在上述的各个实施例所示的图像编码方法以及图像解码方法的结构的程序记录到记录介质，从而可以将上述的各个实施例所示的处理在独立的计算机***简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。

并且，在此对在上述的各个实施例所示的图像编码方法以及图像解码方法的应用实例以及利用这些应用实例的***进行说明。

图55是示出实现内容分发服务的内容提供***ex100的全体构成图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex106至ex110。

在该内容提供***ex100中，计算机ex111、PDA（个人数字助理：Personal Digital Assistant）ex112、摄像机ex113、移动电话ex114、游戏机ex115等各种设备，通过电话网ex104、以及基站ex106～ex110相连接。并且，各个设备，通过互联网服务提供商ex102，与互联网ex101相连接。

然而，内容提供***ex100并非局限于图55所示的构成，也可以对任意的要素进行组合接续。并且，可以不通过作为固定无线局的基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。

摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且，移动电话ex114可以以GSM(Global System for Mobile Communications：全球移动通讯***)方式、CDMA(Code Division Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA(HighSpeed Packet Access：高速分组接入)的移动电话，或PHS(PersonalHandyphone System：个人手持式电话***)等任一个来构成。

在内容提供***ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容（例如音乐实况的影像等）进行在上述各个实施例所说明的编码处理，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、移动电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以彼此分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以彼此分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像以及／或者运动图像数据，也可以通过计算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111以及流播放服务器ex103的任一个中进行，也可以彼此分担进行。

并且，这些编码处理以及解码处理可以在一般的计算机ex111以及各个设备所具有的LSI(Large Scale Integration：大规模集成电路)ex500中执行。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将图像编码用的软件或图像解码用的软件安装到能够计算机ex111等读取的某种记录介质（CD-ROM、软盘、硬盘等）中，并利用该软件来进行编码处理以及解码处理。而且，在移动电话ex114是附带有相机的情况下，也可以发送该相机所获得的运动图像数据。此时的运动图像数据是由移动电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。

如以上所述，在内容提供***ex100中，客户能够端接收并再生被编码的数据。在这样的内容提供***ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利以及设备的用户也能够实现个人播放。

而且，不仅限于内容提供***ex100的例子，如图56示出，也可以在数字广播用***ex200中，组装所述的各个实施例的至少图像编码装置或图像解码装置的某个。具体而言，在广播电台ex201，影像数据的比特流通过电波进行通信，或被传送到卫星ex202。该比特流是，由所述的各个实施例中说明的图像编码方法编码后的编码比特流。接受它的播放卫星ex202，发出广播用的电波，该电波由能够接收卫星广播的家庭的天线ex204接收。接收的比特流，由电视机(接收机)ex300或机顶盒(STB)ex217等的装置解码并再生。

并且，在再生装置ex212中也可以安装所述的实施例中所示的图像解码装置，该再生装置ex212对作为记录介质的CD以及DVD等记录介质ex214中所记录的编码比特流进行读取并解码。在此情况下，被再生的影像信号被显示在监视器ex213。

并且，在阅读器／记录器ex218中也可以安装在上述的各个实施例中所示的图像解码装置或图像编码装置，该阅读器／记录器ex218对DVD、BD等记录介质ex215中所记录的编码比特流进行读取并解码，或者将影像信号编码并写入到记录介质ex215中。在此情况下，被再生的影像信号被显示在监视器ex219，通过记录有编码比特流的记录介质ex215，其他的装置以及***能够再生影像信号。并且，也可以将图像解码装置安装到与有线电视用的电缆ex203或卫星／地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装到机顶盒，而是将图像解码装置组装到电视机内。

图57示出了利用了上述的各个实施例所说明的图像解码方法的电视机（接收机）ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像信息的比特流；调制／解调部ex302，解调接收的编码数据，或者调制为要发送到外部的编码数据；以及多路复用／分离部ex303，对解调的影像数据和声音数据进行分离，或者对被编码的影像数据和声音数据进行多路复用。

并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户操作的输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。

接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器／记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存放的非易失性／易失性的半导体存储器元件进行信息的电记录。

电视机ex300的各个部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制／解调部ex302解调的影像数据和声音数据，在多路复用／分离部ex303进行分离。进而，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的各个实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出被编码的编码比特流，而是从磁性／光盘、SD卡等记录介质ex215、ex216中读出被编码的编码比特流。

接着，将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的各个实施例中说明的编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用／分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。

另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以共享一个以上的缓冲器。而且，除图中所示以外，例如可以在调制／解调部ex302以及多路复用／分离部ex303之间等，作为回避***的上溢和下溢的缓冲材料，可以在缓冲器中蓄积数据。

并且，电视机ex300除具有获得广播以及来自记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以不能进行这样的处理，而只能进行上述的接收、解码处理、外部输出的构成。

并且，在阅读器／记录器ex218从记录介质中读出或写入编码比特流的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器／记录器ex218的某一个中进行，也可以是电视机ex300和阅读器／记录器ex218彼此分担进行。

作为一个例子，图58示出从光盘进行数据的读取或写入的情况下的信息再生／记录部ex400的构成。信息再生／记录部ex400包括以下将要说明的要素ex401至ex407。

光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的信息光道，进行激光的光点的追踪处理。

***控制部ex407对信息再生／记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：***控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403、伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。***控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以是利用近场光学（near-field optical）来进行高密度的记录的构成。

图59是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽（槽）被形成为螺旋状，在信息光道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生信息光道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。

信息再生／记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上利用各种不同波长的颜色的光记录信息，或者从各种角度记录不同的信息的层等，具有进行多维的记录／再生的结构的光盘。

并且，在数字广播用***ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的汽车导航***ex211等显示装置再生运动图像。并且，关于汽车导航***ex211的构成可以考虑到在图57所示的构成中添加GPS接收部，同样也可以考虑到添加计算机ex111以及移动电话ex114等。并且，上述移动电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种安装形式。

这样，在上述的各个实施例所示的图像编码方法或图像解码方法能够适用于上述的任一个设备或***，这样，能够得到在上述的各个实施例中说明的效果。

而且，本发明不仅限于这些所述实施例，而可以在不脱离本发明的范围的情况下进行各种变形或修改。

(实施例17)

在本实施例中，将实施例1所示的图像处理装置，实现为作为典型的半导体集成电路的LSI。图60示出实现了的形态。在DRAM上实现帧存储器502，在LSI上构成其他的电路以及存储器。也可以在DRAM上实现存放编码流的比特流缓冲器。

可以将它们个别单芯片化，也可以将它们单芯片化，使得包含一部分或全部。在此，作为LSI，但也可以根据集成度不同被称为IC、***LSI、超LSI、特大LSI等。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(FieldProgrammable Gate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

进而，将对本实施例的图像解码装置集成化后的半导体芯片与用于描绘图像的显示器组合，从而能够构成适于各种用途的描绘设备。作为移动电话、电视机、数字录像机、数字摄像机以及汽车导航等的信息描绘机构，能够利用本发明。作为显示器，除电子束管（CRT）以外，还有液晶显示器、PDP（等离子显示板）以及有机EL等平面显示器，并且也可以与以投影仪为代表的投射型显示器等相组合。

并且，本实施例的LSI也可以，与具备蓄积编码流的比特流缓冲器、以及蓄积图像的帧存储器等的DRAM(Dynamic Random AccessMemory：动态随机存储器)协调，来进行编码处理或解码处理。并且，本实施例的LSI也可以，不与DRAM协调，而与eDRAM(embeded DRAM)、SRAM(Static Random Access Memory：静态随机存储器)、或硬盘等其他的存储装置协调。

(实施例18)

将所述各个实施例所示的图像编码装置、图像解码装置、图像编码方法及图像解码方法，实现为作为典型的半导体集成电路的LSI。作为一个例子，图61示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex502至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。

例如，在进行编码处理的情况下，LSIex500，由AV输入／输出ex509从麦克风ex117及摄像机ex113等接受AV信号的输入。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507。信号处理部ex507进行声音信号的编码以及／或影像信号的编码。在此，影像信号的编码处理是在上述的实施例中所说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流输入／输出ex504输出到外部。该被输出的比特流被发送到基站ex107，或者被写入到记录介质ex215。

并且，例如在进行解码处理的情况下，LSIex500根据微型计算机(微电脑)ex502的控制，将通过流输入／输出ex504从基站ex107得到的编码数据或从记录介质ex215读出而得到的编码数据暂时蓄积到存储器ex511。根据微型计算机ex502的控制，蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507，信号处理部ex507进行声音数据的解码以及／或影像数据的解码。在此，影像信号的解码处理是在上述的各个实施例中所说明的解码处理。进而，为了使被解码的声音信号和被解码的影像信号同步再生，根据情况将各个信号暂时蓄积到存储器ex511等即可。被解码的输出信号适当地经由存储器ex511等，从AV输入／输出ex509输出到监视器ex219等。被构成为在访问存储器ex511时经由存储器控制器ex503。

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。

而且，在此，作为LSI，但也可以根据集成度不同被称为IC、***LSI、超LSI、特大LSI等。

并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA(FieldProgrammable Gate Array∶现场可编程门阵列)、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。

进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。

工业实用性

本发明涉及的图像处理装置，能够利用在各种各样的用途上。例如，能够利用于电视机、数字录像机、汽车导航、移动电话、数字照相机、数字摄像机等的高分辨率的信息显示设备或摄像设备，利用价值高。

符号说明

501、2110、2210、2310、2410、2510、ex310 控制部

502 帧存储器

503 可变长解码部

504 逆量化部

505 逆频率变换部

506、520 运动补偿部

507、521、710 帧内预测部

508、712 重构部

509 重构图像存储器

510 去块滤波器部

511、ex511 存储器

601 运动补偿块分割部

602 参考图像获得部

603 运动补偿运算部

701 帧内预测块分割部

702 重构图像获得部

703 帧内预测运算部

711 开关

2100、2200、2300、2400、2500 图像处理装置

2121、2122、2221、2222、2223、2321、2421、2521 处理部

2111、2211、2311、2411、2511 多个第一处理部

2212 多个第二处理部

2322 运动补偿处理部

2422 帧内预测处理部

2522、2611、2711 去块滤波处理部

2600、2700、2800 图像编码装置

2610、2811 编码处理部

2710、2810 频率变换处理部

ex100 内容提供***

ex101 互联网

ex102 互联网服务提供商

ex103 流播放服务器

ex104 电话网

ex106、ex107、ex108、ex109、ex110 基站

ex111 计算机

ex112 PDA(Personal Digital Assistant)

ex113、ex116 摄像机

ex114 移动电话

ex115 游戏机

ex117 麦克风

ex200 数字广播用***

ex201 广播电台

ex202 播放卫星(卫星)

ex203 电缆

ex204、ex205 天线

ex210 车辆

ex211 汽车导航***(汽车导航)

ex212 再生装置

ex213、ex219 监视器

ex214、ex215、ex216 记录介质

ex217 机顶盒(STB)

ex218 阅读器／记录器

ex220 远程控制器

ex230 信息光道

ex231 记录块

ex232 内周区域

ex233 数据记录区域

ex234 外周区域

ex300 电视机(接收机)

ex301 调谐器

ex302 调制／解调部

ex303 多路复用／分离部

ex304 声音信号处理部

ex305 影像信号处理部

ex306、ex507 信号处理部

ex307 扬声器

ex308 显示部

ex309 输出部

ex311、ex505 电源电路部

ex312 操作输入部

ex313 电桥

ex314 插槽部

ex315 驱动器

ex316 调制解调器

ex317 接口部

ex318、ex319、ex320、ex321、ex404 缓冲器

ex400 信息再生／记录部

ex401 光学头

ex402 调制记录部

ex403 再生解调部

ex405 盘式电机

ex406 伺服控制部

ex407 ***控制部

ex500 LSI

ex502 微型计算机(微电脑)

ex503 存储器控制器

ex504 流输入／输出

ex509 AV输入／输出

ex510 总线

Claims (22)

1.一种图像处理装置，以流水线方式对编码流施行多个第一处理，该编码流是，通过将图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块对所述图像进行编码而得到的编码流，所述图像处理装置具备：

多个第一处理部，通过分别执行所述多个第一处理之中的某一个，来以所述流水线方式对所述编码流施行所述多个第一处理；以及

控制部，将所述编码流分割为分别以第一尺寸构成的多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部。

2.如权利要求1所述的图像处理装置，

所述多个第一处理部，对所述编码流施行用于对所述图像进行解码的所述多个第一处理。

3.如权利要求1或2所述的图像处理装置，

所述控制部，通过对构成所述编码流的编码单位块进行分割，或者，通过对构成所述编码流的两个以上的编码单位块进行汇集，来将所述编码流分割为所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部。

4.如权利要求1至3的任一项所述的图像处理装置，

所述控制部，以针对所述多个第一处理单位块的每一个第一处理单位块在规定的期间执行所述多个第一处理的每一个第一处理的方式，来控制所述多个第一处理部。

5.如权利要求1至4的任一项所述的图像处理装置，

所述控制部，将所述编码流分割为所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部，所述编码流是，通过将所述图像分割为所述多个编码单位块，并按每个编码单位块对所述图像进行编码而得到的编码流，该多个编码单位块分别是能够切换画面间预测与画面内预测的最小单位。

6.如权利要求1至5的任一项所述的图像处理装置，

所述控制部，将所述编码流分割为分别以预先规定的所述第一尺寸构成的所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部，该预先规定的所述第一尺寸是最大的编码单位块的尺寸。

7.如权利要求6所述的图像处理装置，

所述控制部，将所述编码流分割为分别以预先规定的所述第一尺寸构成的所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部，该预先规定的所述第一尺寸是作为所述最大的编码单位块的最大编码单元的尺寸。

8.如权利要求1至5的任一项所述的图像处理装置，

所述控制部，将所述编码流分割为分别以预先规定的所述第一尺寸构成的所述多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部，该预先规定的所述第一尺寸是最大的频率变换块的尺寸。

9.如权利要求1至8的任一项所述的图像处理装置，

所述多个第一处理部包括，执行所述多个第一处理中包含的多个第二处理的多个第二处理部，

所述控制部，将所述多个第一处理单位块，分割为分别以比所述第一尺寸小的第二尺寸构成的多个第二处理单位块，并以按每个第二处理单位块来执行所述多个第二处理的方式，来控制所述多个第二处理部。

10.如权利要求1至8的任一项所述的图像处理装置，

所述多个第一处理部包括，执行所述多个第一处理中包含的多个第二处理的多个第二处理部，

所述控制部，将所述多个第一处理单位块，分割为各自的尺寸为所述第一尺寸以下的多个第二处理单位块，并以按每个第二处理单位块来执行所述多个第二处理的方式，来控制所述多个第二处理部。

11.如权利要求10所述的图像处理装置，

所述控制部，以分割亮度信息和色差信息的方式，来将所述多个第一处理单位块分割为所述多个第二处理单位块，并以按每个第二处理单位块执行所述多个第二处理的方式，来控制所述多个第二处理部。

12.如权利要求11所述的图像处理装置，

所述多个第一处理部包括，执行运动补偿处理的运动补偿处理部，

所述控制部，将所述多个第一处理单位块，分割为分别以比所述第一尺寸小的第三尺寸构成的多个第三处理单位块，并以按每个第三处理单位块来执行所述运动补偿处理的方式，来控制所述运动补偿处理部，

所述控制部，以所述亮度信息和所述色差信息被包含在一个第三处理单位块中的方式，来将所述多个第一处理单位块分割为所述多个第三处理单位块。

13.如权利要求8所述的图像处理装置，

所述多个第一处理部包括，执行运动补偿处理的运动补偿处理部，

所述控制部，在用于所述运动补偿处理的预测块比所述第一尺寸大的情况下，将所述预测块分割为多个第一处理单位块，并以按每个第一处理单位块来执行所述运动补偿处理的方式，来控制所述运动补偿处理部。

14.如权利要求8所述的图像处理装置，

所述多个第一处理部包括，执行帧内预测处理的帧内预测处理部，

所述控制部，在用于所述帧内预测处理的预测块比所述第一尺寸大的情况下，将所述预测块分割为多个第一处理单位块，并以按每个第一处理单位块来执行所述帧内预测处理的方式，来控制所述帧内预测处理部。

15.如权利要求8、13或14所述的图像处理装置，

所述多个第一处理部包括去块滤波处理部，该去块滤波处理部，执行用于除去块的边界的编码失真的去块滤波处理，

所述控制部，以根据所述图像被编码时所执行的频率变换处理的顺序，来对每个频率变换块执行所述去块滤波处理的方式，来控制所述去块滤波处理部。

16.一种图像编码方法，对图像进行编码，所述图像编码方法包括：

编码处理步骤，将所述图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块，对所述图像执行编码处理；以及

去块滤波处理步骤，按与每个编码单位块不同的规定的每个数据单位，针对垂直边界以及水平边界之中的一方执行去块滤波处理后，针对另一方执行去块滤波处理，所述去块滤波处理是用于除去执行了所述编码处理的所述图像中包含的块的边界的编码失真的处理。

17.一种图像编码方法，对图像进行编码，所述图像编码方法包括：

编码处理步骤，将所述图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块，对所述图像执行编码处理；以及

去块滤波处理步骤，根据针对所述图像执行的所述编码处理的顺序，按每个编码单位块执行用于除去块的边界的编码失真的去块滤波处理。

18.一种图像编码方法，按每个编码单位块，对图像进行编码，所述图像编码方法包括：

频率变换处理步骤，将所述图像中包含的编码单位块分割为多个频率变换块，针对所述编码单位块，按每个频率变换块执行频率变换处理；以及

去块滤波处理步骤，根据针对所述编码单位块执行的所述频率变换处理的顺序，按每个编码单位块执行用于除去块的边界的编码失真的去块滤波处理。

19.一种图像编码方法，按每个编码单位块，对图像进行编码，所述图像编码方法包括：

频率变换处理步骤，将所述图像中包含的编码单位块分割为多个频率变换块，针对所述编码单位块，按每个频率变换块执行频率变换处理；以及

编码处理步骤，对执行了所述频率变换处理的所述编码单位块进行编码，以使所述图像的亮度信息以及色差信息按每个频率变换块混合在一起的方式，来生成编码流。

20.一种图像处理方法，以流水线方式对编码流施行多个第一处理，该编码流是，通过将图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块对所述图像进行编码而得到的编码流，所述图像处理方法包括：

多个第一处理步骤，通过分别执行所述多个第一处理之中的某一个，来以所述流水线方式对所述编码流施行所述多个第一处理；以及

控制步骤，将所述编码流分割为分别以第一尺寸构成的多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理步骤。

21.一种程序，用于使计算机执行权利要求20所述的图像处理方法中包含的步骤。

22.一种集成电路，以流水线方式对编码流施行多个第一处理，该编码流是，通过将图像分割为至少存在两种尺寸的多个编码单位块，并按每个编码单位块对所述图像进行编码而得到的编码流，所述集成电路具备：

多个第一处理部，通过分别执行所述多个第一处理之中的某一个，来以所述流水线方式对所述编码流施行所述多个第一处理；以及

控制部，将所述编码流分割为分别以第一尺寸构成的多个第一处理单位块，并以按每个第一处理单位块来执行所述多个第一处理的方式，来控制所述多个第一处理部。

Images