CN104104967A - 图像处理设备及图像处理方法 - Google Patents

Abstract

本公开提供一种图像处理设备和图像处理方法。该图像处理设备包括解码单元、去块效应滤波器和样本自适应偏移处理单元。解码单元被配置成针对编码流执行解码过程以生成图像。去块效应滤波器被配置成将由解码单元生成的图像的块中这样的块存储在存储器中：该块的在当前边缘上的相应块没有被输入，并且在相应块被输入时读取被存储在存储器中的块，以执行滤波过程。样本自适应偏移处理单元被配置成使用已被去块效应滤波器进行了滤波过程的块的像素来执行样本自适应偏移过程。

Description

图像处理设备及图像处理方法

相关申请的交叉引用

本申请要求2013年4月12日提交的日本优先权专利申请JP2013-083453的优先权，其全部内容通过引用合并到本文中。

技术领域

本公开内容涉及图像处理设备以及图像处理方法，更具体地涉及能够减少对编码或解码处理所需的外部存储器的访问数量的图像处理设备以及图像处理方法。

背景技术

目前，如下设备变得普及：其将图像信息处理为数字信息，同时为了高效传输和累积信息的目的，采用用于通过正交变换如离散余弦变换等进行压缩以及使用对于图像信息独特的冗余进行运动补偿的编码***对图像执行压缩编码。编码***的示例包括MPEG（运动图像专家组）、H.264、MPEG-4部分10（先进的视频编码，在下文中，称为H.264/AVC）等。

当前，为了与H.264/AVC相比进一步提高编码效率，作为ITU-T和ISO/IEC的联合标准化组织的JCTVC（联合合作组-视频编码）正在推行称作HEVC（高效视频编码）的编码***的标准化。

在这一点上，在HEVC的草案中，采用去块效应滤波器和采样自适应偏移（SAO）滤波器作为环路滤波器。去块效应滤波器是用于去除由图像压缩导致的块噪声的图像质量提高工具。去块效应滤波器不仅用于HEVC中而且用于H.264/AVC中，但在滤波处理的顺序方面不同。

在H.264/AVC中，基于宏块对相应竖直边缘和相应水平边缘按此顺序执行滤波处理。另一方面，在HEVC中，基于图片对相应整个竖直边缘执行滤波，然后对相应整个水平边缘执行滤波。

为此，该处理不与基于编码单元（在下文中，称作CU）和基于编码树单元（在下文中，称为CTU）的处理兼容。

在HEVC的参考软件HM中，调用一个函数，使得去块效应滤波处理之前的一个图片的局部解码完成，然后相对于整个图片对竖直边缘执行滤波，然后调用一个函数，使得对整个图片的水平边缘执行滤波。

应当指出的是，在环路滤波器中，按照去块效应滤波器和样本自适应偏移滤波器的顺序执行处理。然而，在基于LCU（其为最大编码单元）对LCU的水平边缘（在下文中，也简称为LCU边缘）执行处理的情况下，必须为每个边缘提供线存储器。总共需要大量的线存储器。

鉴于上述内容，为了减少大量线存储器，已经给出了各种提议。例如，“Line Memory Reduction for ALF Decoding（ALF解码的线存储器减少）”（Semih Esenlik、Matthias Narroschke、Thomas Wedi，JCTVC-E225，2011年3月）（在下文中，称为非专利文献1）提出，将重建像素（即，去块效应之前的像素）用于针对为去块效应保持的线的样本自适应偏移滤波处理（抽头参考像素（tap reference pixel））。

发明内容

非专利文献1中提出的方法是专门进行基于LCU的处理的处理。

相反，在以与HM实现相同的架构执行硬件实现的情况下，图像处理设备由以下方面构成：外部存储器、用于将外部存储器与内部总线连接的外部控制器和总线、连接至总线和外部控制器的去块效应滤波处理之前的图像处理流水线、用于竖直边缘的去块效应滤波处理单元、用于水平边缘的去块效应滤波处理单元、以及样本自适应偏移滤波处理单元。

然而，使用这样的结构，对于每个滤波处理频繁出现对于外部存储器的读访问和写访问。

鉴于上述情形，期望减少编码或解码处理所需的对外部存储器的访问数量。

根据本公开内容的第一实施方式，提供了一种包括解码单元、去块效应滤波器和样本自适应偏移处理单元的图像处理设备。解码单元被配置成执行编码流的解码处理以生成图像。去块效应滤波器被配置成将由解码单元生成的图像的块中这样的块存储在存储器中：该块的在当前边缘上的相应块没有被输入，并且在该相应块被输入时读取被存储在存储器中的该块，以执行滤波过程。样本自适应偏移处理单元被配置成使用已被去块效应滤波器进行了滤波过程的块的像素来执行样本自适应偏移过程。

去块效应滤波器可以将由解码单元生成的图像的块中被布置在当前竖直边缘的左侧的块存储在存储器中，并且在布置在竖直边缘的右侧的块被输入时读取被存储在存储器中的块，以执行滤波过程。

去块效应滤波器可以将由解码单元生成的图像的块中被布置在当前水平边缘的上侧的块存储在存储器中，并且在布置在水平边缘的下侧的块被输入时读取被存储在存储器中的块，以执行滤波过程。

去块效应滤波器可以将由解码单元生成的图像的块中这样的块存储在存储器中：该块的在当前边缘上的相应块没有被输入，并且将该块的至少最上侧线上的像素输出至样本自适应偏移处理单元。

根据本公开内容的第一实施方式的图像处理方法包括：由图像处理设备针对编码流执行解码过程以生成图像；由图像处理设备将所生成的图像的块中这样的块存储在存储器中：该块的在当前边缘上的相应块没有被输入，并且在相应块被输入时读取被存储在存储器中的该块，以执行滤波过程；以及由图像处理设备使用已经经历了滤波过程的该块的像素来执行样本自适应偏移过程。

根据本公开内容的第二实施方式，提供了一种包括去块效应滤波器、样本自适应偏移处理单元和编码单元的图像处理设备。去块效应滤波器被配置成将在图像编码时执行了局部解码过程的图像的块中这样的块存储在存储器中：该块的在当前边缘上的相应块没有被输入，并且在相应块被输入时读取被存储在存储器中的该块，以执行滤波过程。样本自适应偏移处理单元被配置成使用已经被去块效应滤波器进行了滤波过程的块的像素来执行样本自适应偏移过程。编码单元被配置成使用已经被样本自适应偏移处理单元进行了样本自适应偏移过程的像素来对图像进行编码。

去块效应滤波器可以将在图像编码时执行了局部解码过程的图像的块中的布置在当前竖直边缘的左侧的块存储在存储器中，并且在布置在竖直边缘的右侧的块被输入时读取被存储在存储器中的块，以执行滤波过程。

去块效应滤波器可以将在图像编码时执行了局部解码过程的图像的块中的布置在当前水平边缘的上侧的块存储在存储器中，并且在布置在水平边缘的下侧的块被输入时读取被存储在存储器中的块，以执行滤波过程。

去块效应滤波器可以将在图像编码时执行了局部解码过程的图像的块中这样的块存储在存储器中：该块的在当前边缘上的相应块没有被输入，并且将该块的至少最上侧线上的像素输出至样本自适应偏移处理单元。

根据本公开内容的第二实施方式的图像处理方法包括：由图像处理设备将在图像编码时执行了局部解码过程的图像的块中这样的块存储在存储器中：该块的在当前边缘上的相应块没有被输入，并且在相应块被输入时读取被存储在存储器中的块，以执行滤波过程；由图像处理设备使用已经经历了滤波过程的块的像素来执行样本自适应偏移过程；以及由图像处理设备使用已经经历了样本自适应偏移过程的像素来对图像进行编码。

在本公开内容的第一实施方式中，通过执行编码流的解码处理生成图像，将所生成的图像的块中这样的块存储在存储器中：该块的在当前边缘上的相应块没有被输入，并且在相应块被输入时读取被存储在存储器中的块，以执行滤波过程。然后，使用已经经历了滤波过程的块的像素，由此执行样本自适应偏移过程。

在本公开内容的第二实施方式中，将在图像编码时执行了局部解码过程的图像的块中这样的块存储在存储器中：该块的在当前边缘上的相应块没有被输入，并且在相应块被输入时读取被存储在存储器中的块，以执行滤波过程。然后，使用已经经历了滤波过程的块的像素，由此对图像进行编码。

应当指出的是，上述图像处理设备可以是独立设备或构成图像编码设备或图像解码设备的内部块。

根据本公开内容的第一实施方式，可以对图像进行解码。具体地，可以减少解码处理所需的对外部存储器的访问计数。

根据本公开内容的第二实施方式，可以对图像进行编码。具体地，可以减少编码处理所需的对外部存储器的访问计数。

根据如附图中示出的本公开内容的最佳模式实施方式的下面详细的描述，本公开内容的这些和其他目标、特征和优点将变得更明显。

附图说明

图1是示出图像编码设备的主要结构示例的框图；

图2是说明编码处理示例的流程图；

图3是示出图像解码设备的主要结构示例的框图；

图4是说明解码处理的流程示例的流程图；

图5是说明HEVC的去块效应滤波器的图；

图6是示出HEVC的图像处理***的结构示例的框图；

图7是示出应用了本技术的图像处理***的结构示例的框图；

图8是示出将数据输入到VE去块效应滤波处理单元的顺序的示例的图；

图9是示出竖直和水平中间存储器中的写状态的框图；

图10是示出竖直线存储器中的写状态的框图；

图11是示出在图片的右端MB的情况下竖直和水平中间存储器中的写状态的框图；

图12是示出读取竖直和水平中间存储器中的数据的顺序的图；

图13是示出在图片的右端MB的情况下读取竖直和水平中间存储器中的数据的顺序的图；

图14是说明HE去块效应滤波处理单元的输出方法的图；

图15是说明环路滤波器的流水线处理的图；

图16是说明环路滤波处理的流程图；

图17是说明竖直边缘的去块效应滤波处理的流程图；

图18是说明水平边缘的环路滤波处理的流程图；

图19是示出个人计算机的主要结构示例的框图；

图20是示出电视设备的示意结构示例的框图；

图21是示出移动电话的示意结构示例的框图；

图22是示出记录和再现设备的示意结构示例的框图；以及

图23是示出摄像设备的示意结构示例的框图。

具体实施方式

在下文中，将描述本公开内容的实施方式。应当指出的是，将以下面的顺序给出描述。

1.设备和操作的概要

2.关于相关技术中的方法的描述

3.第一实施方式

4.第二实施方式

5.应用示例

〈1.设备和操作的概要〉

（图像编码设备的结构示例）

图1是示出作为本公开内容应用于的图像处理设备的图像编码设备的结构示例的图。

图1中示出的图像编码设备11a使用预测处理对图像数据进行编码。例如，使用了HEVC（高效视频编码）***等作为编码***。

在图1的示例中，图像编码设备11a包括A/D（模拟/数字）转换单元21、画面重排缓冲器22、计算单元23、正交变换单元24、量化单元25、无损编码单元26和累积缓冲器27。图像编码设备11a还包括逆量化单元28、逆正交变换单元29、计算单元30、环路滤波器31a、帧存储器32、选择单元33、帧内预测单元34、运动预测和补偿单元35、预测图像选择单元36和速率控制单元37。

A/D转换单元21执行输入图像数据的A/D转换，并且将该数据输出至画面重排缓冲器22以将该数据存储其中。

画面重排缓冲器22根据GOP（图片组）结构将以显示顺序存储的图像的帧重排成用于编码的顺序。画面重排缓冲器22将其中帧被重排的图像提供给计算单元23。另外，画面重排缓冲器22还将其中帧被重排的图像提供给帧内预测单元34以及运动预测和补偿单元35。

计算单元23从读取自画面重排缓冲器22的图像中减去经由预测图像选择单元36从帧内预测单元34或运动预测和补偿单元35提供的预测图像，并且将由此获得的差分信息输出至正交变换单元24。

例如，在要对其执行帧内编码的图像的情况下，计算单元23从读取自画面重排缓冲器22的图像中减去从帧内预测单元34提供的预测图像。另外，例如，在要对其执行帧间编码的图像的情况下，计算单元23从读取自画面重排缓冲器22的图像中减去从运动预测和补偿单元35提供的预测图像。

正交变换单元24对从计算单元23提供的差分信息执行正交变换如离散余弦变换和卡洛变换，并且将由此获得的变换系数提供给量化单元25。

量化单元25对从正交变换单元24输出的变换系数进行量化。量化单元25将经量化的变换系数提供给无损编码单元26。

无损编码单元26执行经量化的变换系数的无损编码如可变长度编码和算术编码。

无损编码单元26从帧内预测单元34获得参数如指示帧内预测模式的信息，并且从运动预测和补偿单元35获得参数如指示帧间预测模式的信息。

无损编码单元26对经量化的变换系数进行编码，并且对由此获得的参数（语法元素）进行编码以被设置为编码数据的报头信息的一部分（多路复用）。无损编码单元26将由此获得的编码数据提供给累积缓冲器27，并且使得数据累积在其中。

例如，在无损编码单元26中，执行无损编码处理如可变长度编码和算术编码。例如，可以给出CAVLC（上下文自适应可变长度编码）作为可变长度编码。例如，可以给出CABAC（上下文自适应二进制算术编码）作为算术编码。

累积缓冲器27临时存储从无损编码单元26提供的编码数据，并且在预定时刻将编码数据作为编码图像输出至稍后阶段处的记录设备（未示出）、传输线（未示出）等。

另外，在量化单元25中量化的变换系数也被提供给逆量化单元28。逆量化单元28以如下方式执行经量化的变换系数的逆量化：使得与量化单元25的量化相对应。逆量化单元28将由此获得的变换系数提供给逆正交变换单元29。

逆正交变换单元29以如下方式执行所提供的变换系数的逆正交变换：使得与正交变换单元24的正交变换处理相对应。将经历了逆正交变换的输出（已恢复的差分信息）提供给计算单元30。

计算单元30将经由预测图像选择单元36从帧内预测单元34或运动预测和补偿单元35提供的预测图像加至逆正交变换结果，即从逆正交变换单元29提供的已恢复的差分信息，从而获得局部解码的图像（解码图像）。

例如，当差分信息对应于要对其执行帧内编码的图像时，计算单元30将从帧内预测单元34提供的预测图像加至差分信息。例如，当差分信息对应于要对其执行帧间编码的图像时，计算单元30将从运动预测和补偿单元35提供的预测图像加至差分信息。

将作为相加结果的解码图像提供给环路滤波器31a和帧存储器32。

环路滤波器31a包括去块效应滤波器和样本自适应偏移（SAO）滤波器。环路滤波器31a执行解码图像的像素（即，重建像素）的去块效应滤波处理和样本自适应偏移滤波处理，并且将通过相加滤波处理的结果而获得的图像提供给帧存储器32。

应当指出的是，在环路滤波器31a中，以流水线方式执行去块效应滤波器和样本自适应偏移滤波处理的竖直处理和水平处理。将参照图7详细描述环路滤波器31a的结构。

帧存储器32在预定时刻通过选择单元33将所累积的参考图像输出至帧内预测单元34或运动预测和补偿单元35。

例如，在要对其执行帧内编码的图像的情况下，帧存储器32通过选择单元33将参考图像提供给帧内预测单元34。例如，在要执行帧间编码的情况下，帧存储器32通过选择单元33将参考图像提供给运动预测和补偿单元35。

在从帧存储器32提供的参考图像是要经历帧内编码的图像的情况下，选择单元33将参考图像提供给帧内预测单元34。此外，在从帧存储器32提供的参考图像是要经历帧间编码的图像的情况下，选择单元33将参考图像提供给运动预测和补偿单元35。

帧内预测单元34使用屏幕中的像素值执行用于生成预测图像的帧内预测（屏幕内预测）。帧内预测单元34以多种模式（帧内预测模式）执行帧内预测。

帧内预测单元34以全部帧内预测模式生成预测图像，对预测图像进行评估，并且选择最佳模式。一旦选择最佳帧内预测模式，帧内预测单元34通过预测图像选择单元36将以最佳模式生成的预测图像提供给计算单元23和计算单元30。

此外，如上所述，帧内预测单元34根据需要将参数如指示所采用的帧内预测模式的帧内预测模式信息提供给无损编码单元26。

运动预测和补偿单元35使用从画面重排缓冲器22提供的输入图像和从帧存储器32通过选择单元33提供的参考图像针对要经历帧间编码的图像执行运动补偿。运动预测和补偿单元35根据由运动预测检测到的运动矢量执行运动补偿处理，并且生成预测图像（帧间预测图像信息）。

运动预测和补偿单元35以作为候选的全部帧间预测模式执行帧间预测处理以生成预测图像。运动预测和补偿单元35通过预测图像选择单元36将所生成的预测图像提供给计算单元23和计算单元30。

另外，运动预测和补偿单元35将参数如指示所采用的帧间预测模式的帧间预测模式信息和指示所计算的运动矢量的运动矢量信息提供给无损编码单元26。

在要经历帧内编码的图像的情况下，预测图像选择单元36将帧内预测单元34的输出提供给计算单元23和计算单元30，而在要经历帧间编码的图像的情况下，预测图像选择单元36将运动预测和补偿单元35的输出提供给计算单元23和计算单元30。

基于累积缓冲器27中累积的压缩图像，速率控制单元37控制量化单元25的量化操作的速率，以便不导致上溢或下溢。

（图像编码设备的操作）

参照图2，将给出关于由上述图像编码设备11a执行的编码处理的流程的描述。

在步骤S11中，A/D转换单元21执行输入至其的图像的A/D转换。在步骤S12中，画面重排缓冲器22存储已经执行了A/D转换的图像，并且执行从显示图片的顺序到编码的顺序的重排。

在从画面重排缓冲器22提供的作为处理目标的图像是要经历帧内处理的块的图像的情况下，从帧存储器32读取已经解码且要被参考的图像，并且通过选择单元33将其提供给帧内预测单元34。

基于这些图像，在步骤S13中，帧内预测单元34以作为候选的所有帧内预测模式对作为处理目标的块的像素进行帧内预测。应当指出的是，使用未经环路滤波器31滤波的像素作为要参考的解码像素。

通过该处理，以作为候选的所有帧内预测模式执行帧内预测，并且对于作为候选的所有帧内预测模式计算成本函数值。然后，基于所计算的成本函数值，选择最佳帧内预测模式，并且将由帧内预测以最佳帧内预测模式生成的预测图像以及其成本函数值提供给预测图像选择单元36。

在从画面重排缓冲器22提供的作为处理目标的图像是要对其执行帧间处理的图像的情况下，从帧存储器32读取要参考的图像，并且通过选择单元33将其提供给运动预测和补偿单元35。基于这些图像，运动预测和补偿单元35在步骤S14中执行运动预测和补偿处理。

通过该处理，以作为候选的所有帧间预测模式执行运动预测处理，并且对于作为候选的所有帧间预测模式计算成本函数值。基于所计算的成本函数值，确定最佳帧间预测模式。然后，将由最佳帧间预测模式生成的预测图像以及其成本函数值提供给预测图像选择单元36。

在步骤S15中，基于帧内预测单元34以及运动预测和补偿单元35输出的成本函数值，预测图像选择单元36将最佳帧内预测模式和最佳帧间预测模式中的一个确定为最佳预测模式。然后，预测图像选择单元36选择所确定的最佳预测模式的预测图像，并且将所选择的预测图像提供给计算单元23和计算单元30。预测图像用于下文要描述的步骤S16至S21中的计算。

应当指出的是，将预测图像的选择信息提供给帧内预测单元34或运动预测和补偿单元35。在选择了最佳帧内预测模式的预测图像的情况下，帧内预测单元34将指示最佳帧内预测模式的信息（即，与帧内预测有关的参数）提供给无损编码单元26。

在选择了最佳帧间预测模式的预测图像的情况下，运动预测和补偿单元35将指示最佳帧间预测模式的信息以及与最佳帧间预测模式相对应的信息（即，与运动预测有关的参数）输出至无损编码单元26。给出了运动矢量信息、参考帧信息等作为与最佳帧间预测模式相对应的信息。

在步骤S16中，计算单元23计算步骤S12中重排的图像与步骤S15中选择的预测图像之间的差。在执行帧间预测的情况下，将预测图像从运动预测和补偿单元35通过预测图像选择单元36提供给计算单元23，或在执行帧内预测的情况下，将预测图像从帧内预测单元34通过图像选择单元36提供给计算单元23。

差分数据与正交图像数据相比具有较小的数据量。因此，与图像照原样被编码的情况相比，可以压缩数据量。

在步骤S17中，正交变换单元24针对从计算单元23提供的差分信息执行正交变换。具体地，执行正交变换如离散余弦变换和卡洛变换以输出变换系数。

在步骤S18中，量化单元25对变换系数进行量化。在量化时，如将在步骤S26中描述的，对速率进行控制。

如上述量化的差分信息被如下地局部解码。具体地，在步骤S19中，逆量化单元28使用与量化单元25的特性相对应的特性执行由量化单元25量化的变换系数的逆量化。在步骤S20中，逆正交变换单元29使用与正交变换单元24的特性相对应的特性执行已经经历了逆量化单元28的逆量化的变换系数的逆正交变换。

在步骤S21中，计算单元30将通过预测图像选择单元36输入的预测图像加至局部解码的差分信息，从而生成局部解码的图像（与到计算单元23的输入相对应的图像）。

在步骤S22中，环路滤波器31a对于从计算单元30输出的图像执行由去块效应滤波和样本自适应偏移滤波组成的滤波处理。此时，以流水线方式执行去块效应滤波器和样本自适应偏移滤波处理的竖直处理和水平处理。下文将参照图16详细描述环路滤波处理。将来自环路滤波器31a的解码图像输出至帧存储器32。

在步骤S23中，帧存储器32存储已经经历了滤波的图像。应当指出的是，未经环路滤波器31a滤波的图像也被从计算单元30提供给帧存储器32，并且存储其中。

另一方面，步骤S18中量化的变换系数也被提供给无损编码单元26。在步骤S24中，无损编码单元26对从量化单元25输出的经量化的变换系数和所提供的参数进行编码。也就是说，差分图像经历无损编码如可变长度编码和算术编码，并且从而被压缩。

在步骤S25中，累积缓冲器27累积经编码的差分图像（即，编码流）作为压缩图像。需要时读取累积缓冲器27中累积的压缩图像，并且通过传输线将其传输至解码侧。

在步骤S26中，基于累积缓冲器27中累积的压缩图像，速率控制单元37控制量化单元25的量化操作的速率，以便不导致上溢或下溢。

当步骤S26的处理完成时，编码处理完成。

（图像解码设备的结构示例）

图3是示出作为本公开内容应用于的图像处理设备的图像解码设备的结构示例的图。图3中示出的图像解码设备11b是与图1中示出的图像编码设备11a相对应的解码设备。

由图像编码设备11a编码的编码数据通过预定传输线传输至与图像编码设备11a相对应的图像解码设备11b，并且被解码。

如图3所示，图像解码设备11b包括累积缓冲器61、无损解码单元62、逆量化单元63、逆正交变换单元64、计算单元65、环路滤波器31b、画面重排缓冲器67和D/A转换单元68。此外，图像解码设备11b包括帧存储器69、选择单元70、帧内预测单元71、运动预测和补偿单元72和选择单元73。

累积缓冲器61累积传输至其的编码数据。编码数据由图像编码设备11a编码。无损解码单元62在如下的***中在预定时刻对从累积缓冲器61读取的编码数据进行解码：该***对应于图1中示出的无损编码单元26的编码***。

无损解码单元62将参数如指示被解码的帧内预测模式的信息提供给帧内预测单元71，并且将参数如指示帧间预测模式的信息和运动矢量信息提供给运动预测和补偿单元72。

逆量化单元63在如下***中执行通过由无损解码单元62解码而获得的系数数据（量化系数）的逆量化：该***对应于图1中示出的量化单元25的量化***。换言之，逆量化单元63使用由图像编码设备11a提供的量化参数来以与图1中示出的逆量化单元28相同的方式执行量化系数的逆量化。

逆量化单元63将已经经历了逆量化的系数数据即正交变换系数提供给逆正交变换单元64。逆正交变换单元64以如下方式执行正交变换系数的逆正交变换：该方式对应于通过图1中示出的正交变换单元24的正交变换，从而获得与图像编码设备11a中的正交变换之前的残余数据相对应的解码残余数据。

将由逆正交变换获得的解码残余数据提供给计算单元65。另外，通过选择单元73将预测图像从帧内预测单元71或运动预测和补偿单元72提供给计算单元65。

计算单元65将解码残余数据和预测图像相加，从而获得与图像编码设备11a的计算单元23的预测图像的相减之前的图像数据相对应的解码图像数据。计算单元65将解码图像数据提供给环路滤波器31b。

类似于图像编码设备11a的环路滤波器31a，环路滤波器31b包括去块效应滤波器和样本自适应偏移滤波器。环路滤波器31b对于解码图像的像素（即，重建像素）执行去块效应滤波处理和样本自适应偏移滤波处理，并且将对其相加滤波处理的结果的图像提供给画面重排缓冲器67。

应当指出的是，在环路滤波器31b中，以流水线方式执行去块效应滤波器和样本自适应偏移滤波处理的竖直处理和水平处理。下文将参照图7详细描述环路滤波器31b的结构。

画面重排缓冲器67执行图像重排。也就是说，通过图1中示出的平面重排缓冲器22的用于编码的重排的帧顺序被重排成用于显示的原始顺序。D/A转换单元68执行由平面重排缓冲器67提供的图像的D/A转换，并且将图像输出在显示器（未示出）上并且在其上显示。

也将环路滤波器31b的输出提供给帧存储器69。

帧存储器69、选择单元70、帧内预测单元71、运动预测和补偿单元72以及选择单元73分别对应于帧存储器32、选择单元33、帧内预测单元34、运动预测和补偿单元34以及预测图像选择单元36。

选择单元70从帧存储器69读取要经历帧间处理的图像以及要参考的图像，并且将图像提供给运动预测和补偿单元72。另外，选择单元70从帧存储器69读取要用于帧内预测的图像，并且将该图像提供给帧内预测单元71。

根据需要将指示通过对报头信息进行解码而获得的帧内预测模式的信息等从无损解码单元62提供给帧内预测单元71。基于该信息，帧内预测单元71根据从帧存储器69获得的参考图像生成预测图像，并且将所生成的预测图像提供给选择单元73。

将通过对报头信息进行解码获得的信息（预测模式信息、运动矢量信息、参考帧信息、标志、各种参数等）从无损解码单元62提供给运动预测和补偿单元72。

基于由无损解码单元62提供的这些信息项，运动预测和补偿单元72根据从帧存储器69获得的参考图像生成预测图像，并且将所生成的预测图像提供给选择单元73。

选择单元73选择由运动预测和补偿单元72或帧内预测单元71生成的预测图像，并且将所选择的预测图像提供给计算单元65。

（图像解码设备的操作）

参照图4，将给出关于由上述图像解码设备11b执行的解码处理的流程示例的描述。

当开始解码处理时，在步骤S51中，累积缓冲器61累积所传输的编码数据。在步骤S52中，无损解码单元62对由累积缓冲器61提供的编码数据进行解码。对由图1中示出的无损编码单元26编码的I图片、P图片和B图片进行解码。

在图片的解码之前，也对参数如运动矢量信息、参考帧信息和预测模式信息（帧内预测模式或帧间预测模式）进行解码。

在预测模式信息是帧内预测模式信息的情况下，将预测模式信息提供给帧内预测单元71。在预测模式信息是帧间预测模式信息的情况下，将与预测模式信息相对应的运动矢量信息等提供给运动预测和补偿单元72。

在步骤S53中，帧间预测单元71或运动预测和补偿单元72根据由无损解码单元62提供的预测模式信息执行预测图像生成处理。

也就是说，在从无损解码单元62提供帧间预测模式的情况下，帧间预测单元71通过并行处理生成最可能的模式以及在帧间预测模式下生成帧间预测图像。在从无损解码单元62提供帧间预测模式信息的情况下，运动预测和补偿单元72在帧间预测模式下执行运动预测和补偿处理，以生成帧间预测图像。

通过该处理，将由帧内预测单元71生成的预测图像（帧内预测图像）或由运动预测和补偿单元72生成的预测图像（帧间预测图像）提供给选择单元73。

在步骤S54中，选择单元73选择预测图像。也就是说，提供由帧内预测单元71生成的预测图像或由运动预测和补偿单元72生成的预测图像。因此，所提供的预测图像被选择，并且被提供给计算单元65，然后在下文要描述的步骤S57中将预测图像与逆正交变换单元64的输出相加。

在上述步骤S52中，也将由无损解码单元62解码的变换系数提供给逆量化单元63。在步骤S55中，逆量化单元63使用与图1中示出的量化单元25的特性相对应的特性执行由无损解码单元62解码的变换系数的逆量化。

在步骤S56中，逆正交变换单元64使用与图1中示出的正交变换单元24的特性相对应的特性执行已经经历了逆量化单元63的逆量化的变换系数的逆正交变换。因此，将与图1中示出的正交变换单元24的输入（计算单元23的输出）相对应的差分信息解码。

在步骤S57中，计算单元65将在步骤S54的处理中选择的并且通过选择单元73输入的预测图像与差分信息相加。因此，将原始图像解码。

在步骤S58中，环路滤波器31b对于从计算单元65输出的图像执行由去块效应滤波和样本自适应偏移滤波形成的滤波处理。此时，以流水线方式执行去块效应滤波器和样本自适应偏移滤波处理的竖直处理和水平处理。下文将参照图16详细描述环路滤波处理。将来自环路滤波器31b的解码图像输出至帧存储器69和画面重排缓冲器67。

在步骤S59中，帧存储器69存储已经经历了滤波的图像。

在步骤S60中，画面重排缓冲器67在环路滤波器31b之后执行图像重排。也就是说，通过图像编码设备11a的画面重排缓冲器22的用于编码的重排的帧顺序被重排成用于显示的原始顺序。

在步骤S61中，D/A转换单元68执行来自画面重排缓冲器67的图像的D/A转换。将该图像输出至显示器（未示出）并且在其上显示。

当步骤S61的处理完成时，解码处理完成。

〈关于相关技术中的方法的描述〉

在HEVC中，采用去块效应滤波器和样本自适应偏移滤波器作为环路滤波器。去块效应滤波器不仅用于HEVC中，而且用于H.264和MPEG（运动图片专家组）4部分10（AVC（先进视频编码））（在下文中称为H.264/AVC）中。然而，它们之间在滤波处理的顺序方面存在差异。

在H.264/AVC中，基于宏块针对相应竖直边缘和相应水平边缘以此顺序执行滤波处理。另一方面，在HEVC中，基于图片针对相应整个竖直边缘执行滤波，并且之后针对相应整个水平边缘执行滤波。

为此，该处理不与基于编码单元（在下文中，称为CU）和基于编码树单元（在下文中，称为CTU）的处理兼容。

在此，将简洁描述LCU（最大编码单元）和CU（编码单元）。在H.264/AVC中，将一个宏块划分成多个运动补偿块，并且可以对于这些块给出不同的运动信息。换言之，在H.264/AVC中，定义了宏块和子宏块的层次结构。另一方面，在HEVC中，定义了编码单元（CU）。

CU是作为用于编码（解码）的处理单元的区域（基于图片的图像的部分区域），这与H.264/AVC中的宏块作用相似。后者具有16×16像素的恒定尺寸，而前者具有不恒定的从而以各自序列中的图像压缩信息指定的尺寸。

例如，在包含在要输出的编码数据中的序列参数组（SPS）中，定义了最大编码单元（LCU）和最小编码单元（SCU）。

在LCU中，通过在这种范围内将拆分-标志=1设置为不小于SCU的尺寸，可以执行划分以获得具有较小尺寸的CU。

在定义了CU并且基于CU执行各种处理的这种编码***的情况下，如在上述HEVC***中，可以考虑H.264/AVC***中的宏块对应于LCU，以及块（子块）对应于CU。然而，CU具有层次结构，使得最上层的LCU的尺寸通常被设置成大于H.264/AVC***中的宏块，例如为64×64像素。

从而，在下文中，假定LCU包括H.264/AVC***中的宏块，并且CU包括H.264/AVC中的块（子块）。也就是说，下面描述中所使用的“块”表示图片中的任何部分区域，并且其尺寸、形状、特性等不受限制。具体地，“块”包括任何区域（处理单元）如TU、PU、SCU、CU、LCU、子块、宏块和片。当然，除了上述之外的部分区域（处理单元）也包括在其中。如果需要限制尺寸、处理单元等，将适当给出描述。

另外，在本说明书中，假定CTU（编码树单元）是包括LCU（最大编码单元）的CTB（编码树块）和基于LCU（等级）的处理时的参数的单元。另外，假定形成CTU的CU（编码单元）是包括其基于CU（等级）的处理时的参数的单元。

（HEVC的去块效应滤波器的描述）

参照图5，将描述HEVC***中的去块效应滤波器。在图5的示例中，示出了图片中的CTU边缘、CU边缘和PU边缘。

HEVC的去块效应滤波器执行整个图片的竖直边缘的滤波，然后执行水平边缘的滤波。

在图5的放大部分中指示的数字示出滤波处理的顺序。在数字2的处理终止前，数字3的处理难以执行，从而不确定关于左上的CTU值。也就是说，水平边缘的滤波难以执行，直到具有下一个CTU或CU的竖直边缘的滤波执行。换言之，水平边缘滤波处理和竖直边缘滤波处理具有滤波处理的依赖关系。

HEVC的去块效应滤波器直到基于CTU或CU工作的去块效应滤波器的前级不与图像处理流水线兼容，因为该处理在上述CTU或CU中是不闭合的。

另外，在HEVC的参考软件HM中，调用函数使得在去块效应滤波处理终止之前的一个图片的局部解码之后，对于整个图片针对竖直边缘执行滤波。之后，调用函数使得针对整个图片的水平边缘执行滤波。

（HEVC的图像处理***的结构）

图6是示出HEVC的图像处理***的结构示例的框图。在图6的示例中，示出了其中使用与HM实现相同的架构执行硬件实现的图像处理***101。

图像处理***101由图像处理设备11和由DRMA（动态随机访问存储器）等形成的外部存储器111构成。

图像处理设备11包括总线和外部存储器控制器121、DF（去块效应滤波）预处理图像处理单元122和环路滤波器31。

应当指出的是，图6中示出的图像处理单元11对应于图1中示出的图像编码设备11a和图3中示出的图像解码设备11b。

总线和外部存储器控制器121将内部总线与外部存储器111连接。除了外部存储器111之外，图像处理设备11中的DF预处理图像处理单元122以及环路滤波器31的单元连接至总线和外部存储器控制器121。应当指出的是，在下文中，在没有特别说明的情况下，DF预处理图像处理单元122以及环路滤波器31的单元通过总线和外部存储器控制器121访问外部存储器111。

DF预处理图像处理单元122基于CU或CTU操作，以从外部存储器111读取图片数据，执行去块效应滤波预处理之前的图像处理，并且在去块效应滤波之前将图片数据顺序地写入外部存储器111。

应当指出的是，在图6中示出的图像处理设备11对应于图1中示出的图像编码设备11a的情况下，DF预处理图像处理单元122对应于除了环路滤波器31a之外的单元，而环路滤波器31对应于图1中示出的图像编码设备11a中的环路滤波器31a。

另外，在图6中示出的图像处理设备11对应于图3中示出的图像解码设备11b的情况下，DF预处理图像处理单元122对应于除了环路滤波器31b之外的单元，而环路滤波器31对应于图3中示出的图像解码设备11b中的环路滤波器31b。

环路滤波器31由VE（竖直边缘）去块效应滤波处理单元131、HE（水平边缘）去块效应滤波处理器单元132和SAO处理单元133构成。

当DF预处理图像处理单元122写入一个图片的数据时，VE去块效应滤波处理单元131开始操作，并且在读取外部存储器111的数据的同时执行竖直边缘的滤波。VE去块效应滤波处理单元131将已经经历了滤波的数据回写到外部存储器111。

HE去块效应滤波处理单元132执行水平边缘的滤波，同时从外部存储器111读取已经经历了VE去块效应滤波处理单元131的滤波的数据。HE去块效应滤波处理单元132将已经经历了滤波的数据回写到外部存储器111。

最后，SAO处理单元133执行样本自适应偏移处理，同时从外部存储器111读取已经经历了HE去块效应滤波处理单元132的滤波的数据。SAO处理单元133将已经经历该处理的数据回写到外部存储器111。

应当指出的是，在图像处理设备11对应于图1中示出的图像编码设备11a的情况下，在SAO处理单元133的前级，设置了确定SAO的参数等的滤波器确定单元等，但与本技术不具有直接关系，所以省略了其描述。

当通过SAO处理单元133将所有像素数据回写到外部存储器111时，局部解码完成。

然而，在这种结构中，每次执行环路滤波器31的滤波处理，频繁出现对于外部存储器111的读取访问和写入访问。例如，在实时处理4096×21604:2:08位60P的序列的情况下，需要大约38Gbps作为环路滤波器31的整个滤波器的DRAM带宽。

应当指出的是，环路滤波器31的整个滤波器的DRAM带宽指代相对于外部存储器111的DF预处理图像处理单元122的写入以及VE去块效应滤波处理单元131至SAO处理单元133的读取和写入的总计带宽。

〈3.第一实施方式〉

（根据本技术的图像处理***的结构示例）

图7是示出应用了本技术的图像处理***的结构示例的框图。

图7中示出的图像处理***201包括外部存储器111和图像处理设备11，图像处理设备11包括总线和外部存储器控制器121、DF预处理图像处理单元122和环路滤波器31。

然而，图7中示出的图像处理***201仅在DF预处理图像处理单元122的处理之后的输出目的地和环路滤波器31的结构方面不同于图6中示出的图像处理***101。

图7中示出的环路滤波器31包括VE去块效应滤波处理单元131、HE去块效应滤波处理单元132、SAO处理单元133、竖直线存储器211、竖直和水平中间存储器212、水平线存储器213和SAO线存储器214。

也就是说，图7中示出的环路滤波器31在设置有VE去块效应滤波处理单元131、HE去块效应滤波处理单元132和SAO处理单元133方面与图6中示出的环路滤波器31相同。此外，图7中示出的环路滤波器31与图6中示出的环路滤波器31不同在于：另外设置有竖直线存储器211、竖直和水平中间存储器212、水平线存储器213和SAO线存储器214。

竖直线存储器211、竖直和水平中间存储器212、水平线存储器213和SAO线存储器214例如由SRAM（静态随机存取存储器）构成。

应当指出的是，竖直线存储器211以及竖直和水平中间存储器212可以由一个SRAM构成。此时，可以去除竖直线存储器211。在如图中虚线所示去除竖直线存储器211的情况下，图片数据临时存储在竖直和水平中间存储器212中而不是竖直线存储器211中，如图中虚线箭头所示读取竖直和水平中间存储器212中的数据，并且执行去块效应滤波处理单元131的处理。

在图7的示例中，在去块效应滤波之前，DF预处理图像处理单元122不将图片数据输出至总线和外部存储器控制器121而是直接输出至VE去块效应滤波处理单元131。

也就是说，对于每个CU或CTU基础，将来自DF预处理图像处理单元122的在去块效应滤波器之前的图片数据顺序输入至VE去块效应滤波处理单元131。依赖于DF预处理图像处理单元122的单元的并行度，从一个时钟周期一个像素输入到一个时钟周期多个像素输入的各种输入单元是可能的。在下面的描述中，将给出其中一个时钟周期同时输入16（4×4）个像素的示例。

此外，依赖于CU或CTU，亮度Y和色差Cb/Cr的各种复用方法是可以的。在下面的描述中，如图8中所示，给出了其中构造了DF预处理图像处理单元122的流水线处理，使得Y的16（4×4）个像素输入16次，然后Cb的16（4×4）个像素输入4次，然后Cr的16（4×4）个像素输入4次。

应当指出的是，在HEVC中，MB（宏块）不存在，但其中Y、Cb和Cr复用的单元在本说明书中称为MB。此外，在环路滤波器31中，对于每个MB执行该处理。根据CTU的处理顺序将MB输入至VR去块效应滤波处理单元131。此外，在下文中，16（4×4）个像素也可以适当地称为块。

在输入块是块——该块在当前竖直边缘上的相应块（作为当前执行处理的目标）没有被输入——的情况下，VE去块效应滤波处理单元131将该块临时写入竖直线存储器211。VE去块效应滤波处理单元131在相应块被输入时读取被写入到竖直线存储器211的块，执行针对当前竖直边缘的滤波处理，并且将结果写入竖直和水平中间存储器212。

应当指出的是，在本说明书中，当前竖直边缘是指作为对于当前竖直边缘执行去块效应滤波的处理目标的区域，并且包括至少输入块和与该块相对应的块。此外，当前竖直边缘上的相应块是指例如当前竖直边缘上的由图5的具有数字1和2的箭头指示的夹在之间的具有竖直方向上的实际边缘的成对位置上的块。

在HE去块效应滤波处理单元132输入被写入竖直和水平中间存储器212的块并且输入块是这样的块——该块在当前水平边缘上的相应块没有被输入——的情况下，HE去块效应滤波处理单元132将该块临时写入水平线存储器213。当输入相应块时，HE去块效应滤波处理单元132读取写入水平线存储器213的块，对于当前水平边缘执行滤波处理，并且将该处理结果输出至SAO处理单元133。

应当指出的是，在本说明书中，当前水平边缘是指作为对于当前水平边缘执行去块效应滤波的处理目标的区域，并且包括至少输入块和与该块相对应的块。此外，水平边缘上的相应块是指例如当前水平边缘上的由图5的具有数字3和4的箭头指示的夹在之间的具有水平方向上的实际边缘的成对位置上的块。

SAO处理单元133执行MB的SAO处理，并且将MB中的在输入其下侧的与该MB相邻的MB（在下文中，称为下相邻MB）之后被处理的块以及处理下相邻MB所需的块（像素）写入SAO线存储器214。当输入下相邻MB时，SAO处理单元133读取写入SAO线存储器214的块，执行下相邻MB的SAO处理，并且将已经经历该处理的像素通过总线和外部存储器控制器121写入外部存储器111。

（VE去块效应滤波处理单元的操作）

首先，将参照图8至图11描述VE去块效应滤波处理单元131的操作。在图8中，方块表示16（4×4）个像素，添加至每个方块的数字表示数据输入到VE去块效应滤波处理单元131的顺序。图9是示出对竖直和水平中间存储器212的写状态的示例的图。图10是示出对竖直线存储器211的写状态的示例的图。图11是在图片的右端MB的情况下对竖直和水平中间存储器212的写状态的示例的图。

因为VE去块效应滤波处理单元131每水平8像素边缘地执行滤波处理，在输入图8中示出的使用数字1、3、5、7、9、11、13、15、17、19、21和23表示的块时，相应块（在成对的相对位置上）还未输入到MB中。因此此时难以执行竖直边缘的滤波。

鉴于此，直到输入其右侧上与这些块中的每个块相邻的块（在下文中，称为右手相邻块）的像素数据，VE去块效应滤波处理单元131将这些块的像素数据写入竖直线存储器211。然后，在输入块中的每个块的右手相邻块的像素数据时，VE去块效应滤波处理单元131读取写入竖直线存储器211的像素数据。VE去块效应滤波处理单元131执行由与读取块相对应的块形成的竖直边缘的滤波处理。

具体地，在图8中示出的示例的情况下，对于具有数字1的块，其右手相邻块是MB的具有数字4的块。对于具有数字3的块，其右手相邻块是MB的具有数字6的块。此外，对于具有数字5的块，其右手相邻块是右侧上的相邻MB的具有数字0的块。对于具有数字7的块，其右手相邻块是右侧上的相邻MB的具有数字2的块。

对于具有数字9的块，其右手相邻块是MB的具有数字12的块。对于具有数字11的块，其右手相邻块是MB的具有数字14的块。对于具有数字13的块，其右手相邻块是右侧上的相邻MB的具有数字8的块。对于具有数字15的块，其右手相邻块是右侧上的相邻MB的具有数字10的块。

此外，对于具有数字17的块，其右手相邻块是右侧上的相邻MB的具有数字16的块。对于具有数字19的块，其右手相邻块是右侧上的相邻MB的具有数字18的块。以相同的方式，对于具有数字21的块，其右手相邻块是右侧上的相邻MB的具有数字20的块。对于具有数字23的块，其右手相邻块是右侧上的相邻MB的具有数字22的块。

VE去块效应滤波处理单元131将已经经历滤波处理的块顺序写入水平和竖直中间存储器212。

对于Y，如图9中所示，将通过与该MB左手相邻的MB的右侧上的4×16个像素（即，具有数字5、7、13和15的四个块）与该MB的左侧上的12×16个像素（即，具有数字0、1、2、3、4、6、8、9、10、11、12和14的十二个块）组合所获得的16×16个像素的数据以图8中示出的相应位置上的块的数字顺序写入水平和竖直中间存储器212。

也就是说，图9中示出的16×16个像素的数据以如下顺序被写入：左手相邻MB的具有数字5的块、MB的具有数字0的块、左手相邻MB的具有数字7的块、MB的具有数字2的块、MB的具有数字1的块、MB的具有数字4的块、MB的具有数字3的块、MB的具有数字6的块、左手相邻MB的具有数字13的块、MB的具有数字8的块、左手相邻MB的具有数字15的块、MB的具有数字10的块、MB的具有数字9的块、MB的具有数字12的块、MB的具有数字11的块以及MB的具有数字14的块。

此外，对于Cb，如图9中所示，通过将左手相邻MB的右手侧上的4×8个像素（即，具有数字17和19的两个块）与MB的左手侧上的4×8个像素（即，具有数字16和18的两个块）组合所获得的8×8个像素的数据以图8中示出的相应位置上的块的数字顺序写入水平和竖直中间存储器212。

也就是说，图9中示出的Cb的8×8个像素的数据被以如下顺序写入：左手相邻MB的具有数字17的块、MB的具有数字16的块、左手相邻MB的具有数字19的块以及MB的具有数字18的块。

类似地，对于Cr，如图9中示出的，将通过左手相邻MB的右侧上4×8个像素（即，具有数字21和23的两个块）与MB的左侧上的4×8个像素（即，具有数字20和22的两个块）组合所获得的8×8个像素的数据以图8中示出的相应位置上的块的数字顺序写入水平和竖直中间存储器212。

也就是说，图9中示出的Cr的8×8个像素的数据以如下顺序被写入：左手相邻MB的具有数字21的块、MB的具有数字20的块、左手相邻MB的具有数字23的块以及MB的具有数字22的块。

当1MB的像素数据到VE去块效应滤波处理单元131的输入完成时，如图10中示出的，将Y的右手4×16个像素以及Cb和Cr的右手4×8个像素存储到竖直线存储器211，并且等待其右手相邻块输入到VE去块效应滤波处理单元131。

应当指出的是，在图片的右端MB上，不存在对于右端相邻MB的滤波处理，所以不生成到竖直线存储器211的写入。在这种情况下，对于Y，如图11中示出的，通过将左手相邻MB的右手4×16个像素（即，具有数字5、7、13和15的四个块）与MB的16×16个像素（即，具有数字0、1、2、3、4、6、8、9、10、11、12、14、5、7、13和15的十六个块）组合所获得20×16个像素的数据写入水平和竖直中间存储器212。

此外，对于Cb，如图11中示出的，通过将左手相邻MB的右手4×8个像素（即，具有数字17和19的两个块）与MB的8×8个像素（具有数字16、18、17和19的四个块）组合所获得的12×8个像素的数据写入水平和竖直中间存储器212。

类似地，对于Cr，如图11中示出的，将通过左手相邻MB的右手相邻4×8个像素（即，具有数字21和23的两个块）与MB的8×8个像素（即，具有数字20、22、21和23的四个块）组合所获得的12×8个像素的数据写入水平和竖直中间存储器212。

为了执行上述处理，考虑到64×64CTU，竖直线存储器211仅需要存储Y的4×64个像素以及Cb和Cr中的每个的4×32个像素，所以竖直线存储器211的容量需要具有512字节（=4×64+4×32×2）。对于水平和竖直中间存储器212，如果Y的20×16个像素以及Cb和Cr中的每个的12×8个像素的两个集合被提供为其容量，则可以平滑地继续这些处理。所以，1024字节（=（20×16+12×8×2）×2）是必要的。

（HE去块效应滤波处理单元的操作）

接下来，将参照图12和图13描述HE去块效应滤波处理单元132的操作。在图12中，方块表示16（4×4）个像素，并且添加至每个方块的数字表示读取水平和竖直中间存储器212的数据的顺序。在图13中，方块表示16（4×4）个像素，并且添加至每个方块的数字表示在图片的右端MB的情况下读取水平和竖直中间存储器212的数据的顺序。

因为HE去块效应滤波处理单元132每竖直8像素边缘地执行滤波处理，所以HE去块效应滤波处理单元132以图12或图13中示出的数字的升序即以MB的竖直方向读取水平和竖直中间存储器212的数据。

在存在在其上侧与MB相邻的MB（在下文中，称为上相邻MB）的情况下，HE去块效应滤波处理单元132在读取图12中示出的具有数字0、4、8、12、16、18、20和22的块的数据时从水平线存储器213读取上相邻MB的下侧4个线的数据。HE去块效应滤波处理单元132对于由读取块和相应块（在成对的相对位置上）形成的水平边缘执行滤波处理。

在图13的示例中，在存在上相邻MB的情况下，HE去块效应滤波处理单元132在读取具有数字0、4、8、12、16、20、22、24、26、28和30的块的数据时从水平线存储器213读取上相邻MB的下侧4个线的数据，然后对成对的块执行滤波处理。

在不存在上相邻MB的情况下，HE去块效应滤波处理单元132不从水平线存储器213读取数据。

在MB不是图片的下端MB的情况下，HE去块效应滤波处理单元132可能无法执行图12中示出的使用数字3、7、11、15、17、19、21和23表示的块以及图13中示出的使用数字3、7、11、15、19、21、23、25、27、29和31表示的块的滤波，直到输入在下侧与相应块相邻的MB（下相邻MB）。

鉴于此，HE去块效应滤波处理单元132将这些块的像素数据写入水平线存储器213，直到输入这些块的下相邻MB的像素数据。然后，HE去块效应滤波处理单元132在该块的下相邻块的像素数据被输入时读取被写入水平线存储器213的像素数据。HE去块效应滤波处理单元132对于由读取块和与其相对应的块形成的水平边缘执行滤波处理。

HE去块效应滤波处理单元132将已经经历滤波处理的块的像素数据顺序输出至SAO处理单元133。

为了执行上述处理，依赖于可以由图像处理设备11处理的图片的最大水平像素计数，水平线存储器213的所需容量不同。例如，在可以最大执行4096个像素的处理的情况下，存储Y的4096×4个像素以及Cb和Cr中的每个的2048×4个像素，所以其容量是32k字节（=（4096×4+2048×4×2）/1024）。

应当指出的是，如上所述，当MB不是图片的下端MB时，将图12中示出的使用数字3、7、11、15、17、19、21和23表示的块以及图13中示出的使用数字3、7、11、15、19、21、23、25、27、29和31表示的块的像素数据写入水平线存储器213。在还未完成滤波处理的MB中的下侧四个线中，最上侧线具有不由水平边缘的去块效应滤波处理改变的值，因此被写入水平线存储器213并且被输出至SAO处理单元133作为SAO处理单元133的边缘偏移处理的比较像素数据。

应当指出的是，仅一个最上侧线具有不由滤波处理改变的值，但可以将MB中的下四个线的数据输出至SAO处理单元133。在这种情况下，使用滤波处理之后的数据将下四个线中的三个线的数据覆写。

（HE去块效应滤波处理单元的输出方法）

图14示出了在处理区不位于图片的屏幕端的情况下从HE去块效应滤波处理单元132输出MB中的块的顺序的示例的图。

首先，将给出关于Y的描述。例如，在其中布置在MB的左侧上的MBA（N-L-1）的使用数字0表示的块以及在其上侧相邻于MB的MBA（N-L）的使用数字5、22和27表示的块被写入水平线存储器213的状态下，将在其左侧相邻于MB的MBA（N-1）的使用数字1表示的块输入至HE去块效应滤波处理单元132。

HE去块效应滤波处理单元132从水平线存储器213读取使用数字0表示的块。然后，HE去块效应滤波处理单元132对于具有数字0的块和具有数字1的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

然后，将作为左手相邻MB的MBA（N-1）的具有数字2的块和具有数字3的块输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132执行具有数字2的块和具有数字3的块的水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

之后，将作为左手相邻MB的MBA（N-1）的具有数字4的块输入至HE去块效应滤波处理单元132。具有数字4的块难以经历滤波处理，直到输入在下侧与MBA（N-1）相邻的MB的右上块，所以将具有数字4的块写入水平线存储器213。此时，具有数字4的块的一个最上侧线具有不由水平边缘的去块效应滤波处理改变的值，因此将其输出至SAO处理单元133作为SAO处理单元133的边缘偏移处理的比较像素数据。

类似地，将作为所涉及的MB的MBN N的具有数字6的块输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132从水平线存储器213读取具有数字5的块。HE去块效应滤波处理单元132对于具有数字5的块和具有数字6的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

接下来，将MBA N的具有数字7的块和具有数字8的块以所陈述的顺序输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132执行具有数字7的块和具有数字8的块的水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

之后，将MBA N的具有数字9的块输入至HE去块效应滤波处理单元132。将具有数字9的块写入水平线存储器213，因为该块难以经历滤波处理，直到输入MBA N的下相邻MB中的左上块。此时，具有数字9的块的一个最上侧线具有不由水平边缘的去块效应滤波处理改变的值，因此将其输出至SAO处理单元133作为SAO处理单元133的边缘偏移处理的比较像素数据。

将给出关于Cb的描述。例如，在其中布置在MB的左上的MBA（N-L-1）的使用数字10表示的块以及在其上侧相邻于MB的MBA（N-L）的使用数字13表示的块被写入水平线存储器213的状态下，将在其左侧相邻于MB的MBA（N-1）的使用数字11表示的块输入至HE去块效应滤波处理单元132。

HE去块效应滤波处理单元132从水平线存储器213读取使用数字10表示的块。然后，HE去块效应滤波处理单元132对于具有数字10的块和具有数字11的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

然后，将作为左手相邻MB的MBA（N-1）的具有数字12的块输入至HE去块效应滤波处理单元132。具有数字12的块难以经历滤波处理，直到输入在其下侧与MBA（N-1）相邻的MB的右上块，所以将具有数字12的块写入水平线存储器213。此时，具有数字12的块的一个最上侧线具有不由水平边缘的去块效应滤波处理改变的值，因此将其输处至SAO处理单元133作为SAO处理单元133的边缘偏移处理的比较像素数据。

类似地，将作为所涉及的MB的MBN N的具有数字14的块输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132从水平线存储器213读取具有数字13的块。HE去块效应滤波处理单元132对于具有数字13的块和具有数字14的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

接下来，将MBA N的具有数字15的块输入至HE去块效应滤波处理单元132。将具有数字15的块写入水平线存储器213，因为该块难以经历滤波处理，直到输入MBA N的下相邻MB中的左上块。此时，具有数字15的块的一个最上侧线具有不由水平边缘的去块效应滤波处理改变的值，因此将其输出至SAO处理单元133作为SAO处理单元133的边缘偏移处理的比较像素数据。

将给出关于Cr的描述。例如，在其中布置在MB的左上的MBA（N-L-1）的使用数字16表示的块以及在其上侧相邻于MB的MBA（N-L）的使用数字19表示的块被写入水平线存储器213的状态下，将在其左侧相邻于MB的MBA（N-1）的使用数字17表示的块输入至HE去块效应滤波处理单元132。

HE去块效应滤波处理单元132从水平线存储器213读取使用数字16表示的块。然后，HE去块效应滤波处理单元132对于具有数字16的块和具有数字17的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

然后，将作为左手相邻MB的MBA（N-1）的具有数字18的块输入至HE去块效应滤波处理单元132。具有数字18的块难以经历滤波处理，直到输入在其下侧与MBA（N-1）相邻的MB的右上块，所以将具有数字18的块写入水平线存储器213。此时，具有数字18的块的一个最上侧线具有不由水平边缘的去块效应滤波处理改变的值，因此将其输处至SAO处理单元133作为SAO处理单元133的边缘偏移处理的比较像素数据。

类似地，将作为所涉及的MB的MBN N的具有数字20的块输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132从水平线存储器213读取具有数字19的块。HE去块效应滤波处理单元132对于具有数字19的块和具有数字20的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

接下来，将MBA N的具有数字21的块输入至HE去块效应滤波处理单元132。将具有数字21的块写入水平线存储器213，因为该块难以经历滤波处理，直到输入MBA N的下相邻MB中的左上块。此时，具有数字21的块的一个最上侧线具有不由水平边缘的去块效应滤波处理改变的值，因此将其输出至SAO处理单元133作为SAO处理单元133的边缘偏移处理的比较像素数据。

将再次给出关于Y的描述。此外，将作为所涉及的MB的MBA N的具有数字23的块输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132对于具有数字22的块和具有数字23的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

然后，将MBA N的具有数字24的块和具有数字25的块以所陈述的顺序输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132对于具有数字24的块和具有数字25的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

之后，将MBA N的具有数字26的块输入至HE去块效应滤波处理单元132。将具有数字26的块写入水平线存储器213，因为该块难以经历滤波处理，直到输入与MBA N的下相邻MB中的左上块右手相邻的块。此时，具有数字26的块的一个最上侧线具有不由水平边缘的去块效应滤波处理改变的值，因此将其输出至SAO处理单元133作为SAO处理单元133的边缘偏移处理的比较像素数据。

类似地，将作为所涉及的MB的MBN N的具有数字28的块输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132从水平线存储器213读取具有数字27的块。HE去块效应滤波处理单元132对于具有数字27的块和具有数字28的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

然后，将MBA N的具有数字29的块和具有数字30的块以所陈述的顺序输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132对于具有数字29的块和具有数字30的块执行水平边缘的去块效应滤波处理，并且将这些块输出至SAO处理单元133。

之后，将MBA N的具有数字31的块输入至HE去块效应滤波处理单元132。将具有数字31的块写入水平线存储器213，因为该块难以经历滤波处理，直到输入与MBA N的下相邻MB中的右上块左手相邻的块。此时，具有数字31的块的一个最上侧线具有不由水平边缘的去块效应滤波处理改变的值，因此将其输出至SAO处理单元133作为SAO处理单元133的边缘偏移处理的比较像素数据。

如上所述，当将具有数字4、9、12、15、18、21、26和31的块写入水平线存储器213（即，在滤波处理之前）时，如图中L2所示的具有数字4、9、12、15、18、21、26和31的块的一个最上侧线被输出至SAO处理单元133。因此，可以对于SAO处理单元133中的如L1所示的具有3、8、11、14、17、20、25和30的块执行边缘偏移处理的比较处理，而不等待其下侧MB中的块的输入和处理。

应当指出的是，将如L1所示的具有数字3、8、11、14、17、20、25和30的块的一个最下侧线写入SAO线存储器214，并且当处理转移至下相邻MB时，该线的像素数据用于边缘偏移处理。

此外，当该处理转移至下相邻MB时，从HE去块效应滤波处理单元132再次将如由L2所示的具有数字4、9、12、15、18、21、26和31的块的一个最上侧线输出至SAO处理单元133。

应当指出的是，在该实施方式中，仅需要为竖直线存储器211和竖直和水平中间存储器212提供总共1.5k字节，为水平线存储器213提供32k字节以及为SAO线存储器214提供8k字节。

如上所述，使用图7中示出的环路滤波器的结构，将环路滤波器31的整个滤波器的必要DRAM带宽从大约38Gbps减小至大约5.9Gbps，这是用于通过SAO处理单元133写入的带宽。

此外，在上述环路滤波器31中设置有线存储器，并且将像素数据写入线存储器，因此可以在环路滤波器31中如下执行流水线处理。

（环路滤波器的流水线处理）

接下来，参照图15，将描述环路滤波器31的流水线处理。在图15中示出的示例中，示出了Y的Ctb尺为32的情况。例如，将从使用数字24表示的块被输入至VE去块效应滤波处理单元131开始给出描述。

当将Y的具有数字24的块输入至VE去块效应滤波处理单元131时，从竖直线存储器211的地址0读取具有数字5的块。VE去块效应滤波处理单元131执行具有数字5的块和数字24的块的竖直边缘的滤波处理，并且将该处理的结果写入竖直和水平中间存储器212的地址32和地址36。

然后，将具有数字25的块写入竖直线存储器211的地址0。此外，当将具有数字26的块输入至VE去块效应滤波处理单元131时，从竖直线存储器211的地址1读取具有数字7的块。VE去块效应滤波处理单元131执行具有数字7的块和具有数字26的块的竖直边缘的滤波处理，并且将该处理的结果写入竖直和水平中间存储器212的地址33和地址37。

此外，将具有数字27的块写入竖直线存储器211的地址1。另外，当将具有数字28的块输入至VE去块效应滤波处理单元131时，从竖直线存储器211的地址0读取具有数字25的块。VE去块效应滤波处理单元131执行具有数字25的块和具有数字28的块的竖直边缘的滤波处理，并且将结果写入竖直和水平中间存储器212的地址40和地址44。

具有数字29的块布置在图片的右端，因此在不通过VE去块效应滤波处理单元131处理的情况下照原样写入竖直和水平中间存储器212的地址48。

在这些处理期间，从竖直和水平中间存储去212的地址4读取具有数字0的块，并且在不通过HE去块效应滤波处理单元132处理的情况下，将该块照原样输出至SAO处理单元133。

接下来，从竖直和水平中间存储器212的地址5和地址6读取具有数字2的块和具有数字8的块，并且将其输入至HE去块效应滤波处理单元132。HE去块效应滤波处理单元132执行具有数字2的块和具有数字8的块的水平边缘的滤波处理，并且将该处理的结果输出至SAO处理单元133。

此外，从竖直和水平中间存储器212的地址7读取具有数字10的块，并且将其写入水平线存储器213，以及将上面的至少一个线照原样输出至SAO处理单元133。

类似地，从竖直和水平中间存储器212的地址22读取具有数字16的块，并且在不通过HE去块效应滤波处理单元132处理的情况下，将其照原样输出至SAO处理单元133。此外，从竖直和水平中间存储器212的地址23读取具有数字18的块，并且将其写入水平线存储器213，以及将上面的至少一个线照原样输入至SAO处理单元133。

通过上面的处理，在图7中示出的环路滤波器31中，可以通过VE去块效应滤波处理单元131、HE去块效应滤波处理单元132和SAO处理单元133执行流水线处理。

（环路滤波器的处理）

接下来，参照图16中示出的流程图，将描述图7中示出的环路滤波器31的环路滤波处理。这是图2的步骤S22或图4的步骤S58中的环路滤波处理。

DF预处理图像处理单元122（图1中示出的计算单元30或图3中示出的计算单元65）将解码数据提供给环路滤波器31的VE去块效应滤波处理单元131。例如，基于16×16个像素输入编码图像的像素数据。

VE去块效应滤波处理单元131在步骤S111中执行竖直边缘的去块效应滤波处理。将参照图17详细描述竖直边缘的去块效应滤波处理。

VE去块效应滤波处理单元131根据需要将像素数据写入竖直线存储器211，并且执行读取的同时执行竖直边缘的去块效应滤波处理。将已经经历VE去块效应滤波处理单元131的像素数据写入竖直和水平中间存储器212。

当将基于16×16像素的数据写入水平和竖直中间存储器212时，HE去块效应滤波处理单元132在步骤S112中执行水平边缘的去块效应滤波处理。

下文将参照图18详细描述水平边缘的去块效应滤波处理。HE去块效应滤波处理单元132根据需要将像素数据写入水平线存储器213，并且执行读取的同时执行水平边缘的去块效应滤波处理。将已经经历HE去块效应滤波处理单元132的像素数据输出至SAO处理单元133。

SAO处理单元133在步骤S113中执行SAO处理。SAO处理单元133将像素数据写入SAO线存储器214，并在执行读取的同时执行SAO处理。

应当指出的是，对于SAO处理，基于CTU确定其偏移的类型（边缘/带宽）以及其参数，并且使用所确定的类型和参数执行该处理（编码侧）。此外，在解码侧，使用从编码侧发送的类型和参数执行该处理。

然而，将参数如Trans Quant（未量化）和PCM（在没有编码的情况下输出图像数据）模式设置在CTU下的层（CU等级）中，并且在其中包括表示没有执行SAO的标志。在这种情况下的SAO处理中，不仅参考部件CTU的参数而且也参考CU的参数。

将已经经历SAO处理的像素数据通过总线和外部存储器控制器121写入外部存储器111。

应当指出的是，写入外部存储器111的像素数据的必要数据由DF预处理图像处理单元122（例如，图1中示出的帧存储器32或图3中示出的帧存储器69）来读取，并且用于后续处理。

（竖直边缘的去块效应滤波处理）

接下来，参照图17中示出的流程图，将描述图16的步骤S111中的竖直边缘的去块效应滤波处理。基于16×16个像素（称为MB）执行该处理，并且在一个时钟周期中同时输入4×4=16个像素（块）。

在步骤S131中，VE去块效应滤波处理单元131确定MB中的块（4×4）是否在图片的右端。在步骤S131中，当该块位于图片的右端时，该处理进行至步骤S135。

在步骤S135中，在不通过VE去块效应滤波处理单元131处理的情况下，将该块原样写入竖直和水平中间存储器212。

当在步骤S131中确定该块不位于图片的右端时，该处理进行至步骤S132。

在步骤S132中，VE去块效应滤波处理单元131确定该块是否是当前竖直边缘右侧的块。当在步骤S132中确定该块位于当前竖直边缘右侧时，处理进行至步骤S133。在这种情况下，在处理进行至的步骤S136中将位于当前竖直边缘的左侧的与该块相对应的块写入竖直线存储器211。

在步骤S133中，VE去块效应滤波处理单元131从竖直线存储器211读取位于当前竖直边缘的左侧的与该块相对应的块。在步骤S134中，VE去块效应滤波处理单元131执行该块以及在步骤S133中读取的块的当前竖直边缘的去块效应滤波处理。

在步骤S135中，VE去块效应滤波处理单元131将已经经历滤波处理的块写入竖直和水平中间存储器212。

另一方面，在如下情况下处理进行步骤S136：在步骤S132中确定该块不是当前竖直边缘的右侧的块，即，该块是当前竖直边缘的左侧的块。

在步骤S136中，VE去块效应滤波处理单元131将该块写入竖直线存储器211。

在步骤S137中，VE去块效应滤波处理单元131确定该块是否是MB中的最后块。当在步骤S137中确定该块是MB中的最后块时，竖直边缘的去块效应滤波处理结束，并且处理返回图16的步骤S111。

在步骤S137中，当确定该块不是MB中的最后块时，处理返回步骤S131，并且对于下一个块重复执行后续处理。

（水平边缘的去块效应滤波处理）

接下来，参照图18中示出的流程图，将描述图16的步骤S112中的水平边缘的去块效应滤波处理。当执行基于16×16个像素（MB）的到竖直和水平中间存储器212的写入时，该处理开始。此外，在一个时钟周期内同时输入16（4×4）个像素（块）。

在步骤S151中，HE去块效应滤波处理单元132确定MB中的块（4×4）是否在图片的下端。在步骤S151中，当该块在图片的下端时，处理进行至步骤S155。

在步骤S155中，在不通过HE去块效应滤波处理单元132处理的情况下，将该块原样输出至SAO处理单元133。

当在步骤S151中确定该块不在图片的下端时，处理进行至步骤S152。

在步骤S152中，HE去块效应滤波处理单元132确定该块是否是当前水平边缘的下侧的块。当在步骤S152中确定该块位于当前水平边缘的下侧时，处理进行至步骤S153。在这种情况下，在处理进行至的步骤S156中将位于当前水平边缘上侧的与该块相对应的块写入水平线存储器213。

在步骤S153中，HE去块效应滤波处理单元132从水平线存储器213读取位于当前水平边缘上侧的与该块相对应的块。在步骤S154中，HE去块效应滤波处理单元132执行该块以及在步骤S153中读取的块的当前水平边缘的去块效应滤波处理。

在步骤S155中，HE去块效应滤波处理单元132将已经经历滤波处理的块输出至SAO处理单元133。

另一方面，在如下情况下处理进行至步骤S156：在步骤S152中确定该块不是位于当前水平边缘下侧的块，即，该块是当前水平边缘上侧的块。

在步骤S156中，HE去块效应滤波处理单元132将该块写入水平线存储器213。然后，在步骤S157中，HE去块效应滤波处理单元132确定该块是否位于MB的下端。当在步骤S157中确定该块位于MB的下端时，处理进行至步骤S158。在步骤S158中，HE去块效应滤波处理单元132将该块（其上的至少一个线）输出至SAO处理单元133。

此外，当在步骤S157中确定该块位于MB的下端时，跳过步骤S158，并且处理进行至步骤S159。在步骤S159中，HE去块效应滤波处理单元132确定该块是否是MB中的最后块。当在步骤S159中确定该块是MB中的最后块时，水平边缘的去块效应滤波处理结束，并且处理返回图16的步骤S112。

在步骤S159中，当确定该块不是MB中的最后块时，处理返回步骤S151，并且对于下一个块重复执行后续处理。

如上所述，根据本技术，可以减少编码或解码处理所需的对外部存储器（DRAM）的访问计数。

另外，根据本技术，可以以流水线方式执行去块效应滤波处理和SAO处理。也就是说，可以基于LCU或CU执行去块效应滤波处理和SAO处理，这与前级之前的图像处理流水线相同，因此可以合并在其中。因此，可以减少局部解码完成之前的延时。

在上面的描述中，对于编码***，将HEVC用作基础。然而，本公开内容不限于此，并且可以使用包括去块效应滤波器和样本自适应偏移滤波器的另一编码***或解码***作为环路滤波器。

应当指出的是，例如，类似HEVC***等，在经由网络介质如卫星广播、有线电视、因特网和移动电话，通过正交变换如离散余弦变换和运动补偿来压缩图像信息（位流）时，本公开内容可以应用于图像编码设备和图像解码设备。此外，本公开内容可以应用于在存储介质如光盘、磁盘和闪存上进行处理时使用的图像编码设备和图像解码设备。

〈4.第二实施方式〉

（个人计算机）

上述一系列处理可以由硬件或软件来实现。在一系列处理由软件实现的情况下，将配置该软件的程序安装在计算机中。在此，计算机的示例包括合并在专用硬件中的计算机以及通过在其中安全各种程序能够执行各种功能的通用个人计算机。

图19是示出通过程序执行上述一系列处理的个人计算机的硬件结构的示例的框图。

在个人计算机500中，CPU（中央处理单元）501、ROM（只读存储器）502和RAM（随机访问存储器）503经由总线504相互连接。

输入和输出接口510也连接至总线504。输入单元511、输出单元512、存储单元513、通信单元514和驱动器515连接至输入和输出接口510。

输入单元511由键盘、鼠标、麦克风等构成。输出单元512由显示器、扬声器等构成。存储单元513由硬盘、非易失性存储器等构成。通信单元514由网络接口等构成。驱动器515驱动可移除介质521如磁盘、光盘、磁光盘和半导体存储器。

在如上述构造的个人计算机500中，CPU501经由输入和输出接口510以及总线504将存储单元513中存储的程序加载至RAM503，并且执行程序，从而执行上述一系列处理。

可以以记录在由磁盘（包括软盘）、光盘（CD-ROM（压缩盘只读存储器）、DVD（数字通用盘）等）、磁光盘或半导体存储器形成的作为封装介质等的可移除介质521中的状态下提供由计算机（CPU501）执行的程序。或者，可以通过有线或无线传输介质如局域网、因特网和数字卫星广播提供程序。

在计算机中，通过将可移除介质521加载至驱动器515，程序可以通过输入和输出接口510安装在存储单元513中。另外，程序可以经由有线或无线传输介质由通信单元514接收，并且被安装至存储单元513。另外，程序可以提前安装在ROM502或存储介质513中。

应当指出的是，由计算机执行的程序可以如按该说明书中的说明顺序以时间顺序进行或可以并行或在必要时（例如被调用的情况）进行。

此外，在本说明书中，用于描述记录在记录介质中的程序的步骤当然包括如按描述顺序以时间顺序执行的处理，并且包括在不以时间顺序进行的情况下并行或单独执行的处理。

此外，在本说明书中，***表示由多个装置（设备）构成的整体设备。

而且，在上文中，可以将描述为一个设备（或处理单元）的结构划分成多个设备（或处理单元）。相反，可以将描述为多个设备（或多个处理单元）的结构配置为一个设备（或处理单元）。此外，可以将除了上述结构之外的另外的结构提供给设备（或处理单元）的结构。此外，如果整个***的结构和操作等同，则某个设备（或处理单元）的结构的一部分可以包括在另一结构（或另一处理单元）的结构中。也就是说，本技术不限于上述实施方式，并且可以在不偏离本技术的本质的情况下进行多种修改。

根据上述实施方式的图像编码设备和图像解码设备可以应用于诸如用于卫星广播的发送机或接收机、有线广播如有线电视、互联网上的分发、通过蜂窝通信到终端的分发等各种电子设备、将图像记录在介质如磁盘和闪存中的记录设备以及将图像从这些记录介质中再现的再现设备。在下文中，将给出四个应用示例。

〈5.应用示例〉

（第一应用示例：电视接收器）

图20是示出应用上述实施方式的电视设备的示意结构的示例的图。电视设备900设置有天线901、调谐器902、多路解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从经由天线901接收的广播信号中提取期望的信道信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调获得的编码位流输出至多路解复用器903。换言之，调谐器902用作电视设备900中的传输装置，其接收其中编码有图像的编码流。

多路解复用器903将作为观看目标的节目的视频流和音频流从编码位流分离，并且将所分离的流输出至解码器904。此外，多路解复用器903从编码位流中提取辅助数据如EPG（电子节目指南），并且将所提取的数据提供给控制单元910。应当指出的是，当编码位流被加扰时，多路解复用器903可以对流进行解扰。

解码器904对从多路解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905将从解码器904输入的视频数据再现，并且使显示单元906显示视频。此外，视频信号处理单元905可以使显示单元906显示经由网络提供的应用画面。此外，视频信号处理单元905可以根据设置对于视频数据执行另外的处理如去噪。此外，视频信号处理单元905可以生成GUI（图形用户接口）的图像如菜单、按钮和光标，并且将所生成的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905提供的驱动信号驱动，以将视频或图像显示在显示装置（例如，液晶显示器、等离子显示器或OELD（有机电发光显示器））的视频屏幕上。

音频信号处理单元907执行从解码器904输入的音频数据的再现处理如D/A转换和放大，并且使音频从扬声器908输出。此外，音频信号处理单元907可以执行音频数据的另外的处理如去噪。

外部接口909是用于将电视设备900与外部设备或网路连接的接口。例如，通过外部接口909接收的视频流或音频流可以由解码器904解码。换言之，外部接口909也用作电视设备900中的传输装置，其接收其中编码有图像的编码流。

控制单元910包括处理器如CPU以及存储器如RAM和ROM。存储器存储由CPU执行的程序、程序数据、EPG数据、经由网络获得的数据等。存储器中存储的程序在例如电视设备900激活时由CPU读取和执行。CPU执行程序，从而根据例如从用户接口911输入的操作信号控制电视设备900的操作。

用户接口911连接至控制单元910。用户接口911包括用于由用户操作电视设备900的按钮和开关以及用于接收遥控信号的接收单元等。通过这些构成部件，用户接口911检测用户的操作，生成操作信号，并且将所生成的操作信号输出至控制单元910。

总线912将调谐器902、多路解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910互连。

在如上述所构造的电视设备900中，解码器904具有根据上述实施方式的图像解码设备的功能。因此，可以减少在对电视设备900中的图像进行解码时解码处理所需的对外部存储器的访问计数。

（第二应用示例：移动电话）

图21是示出应用上述实施方式的移动电话的示意结构的示例的图。移动电话920设置有天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像机单元926、图像处理单元927、多路解复用单元928、记录和再现单元929、显示单元930、控制单元931、操作单元932和总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、多路解复用单元928、记录和再现单元929、显示单元930和控制单元931互连。

移动电话920以包括音频呼叫模式、数据通信模式、图像拍摄模式和视频电话模式的各种模式执行音频信号的发送和接收、电子邮件或图像数据的发送和接收、图像获取、数据记录等。

在音频呼叫模式下，将由麦克风925生成的模拟音频信号提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且执行所转换的音频数据的A/D转换以压缩数据。然后，音频编解码器923将所压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制，并且生成发送信号。然后，通信单元922将所生成的发送信号经由天线921发送至基站（未示出）。此外，通信单元922对经由天线921接收的无线信号进行放大，并且执行频率转换以获得接收信号。然后，通信单元922对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行解压缩，并且对其执行D/A转换以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924，并且使扬声器924输出音频。

此外，在数据通信模式下，例如，控制单元931根据用户对操作单元932的操作生成形成电子邮件的字符数据。控制单元931使显示单元930显示字符。控制单元931根据通过操作单元932来自用户的发送指令生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制，并且生成发送信号。然后，通信单元922将所生成的发送信号经由天线921发送至基站（未示出）。通信单元922对经由天线921接收的无线信号进行放大，并且对其执行频率转换以获得接收信号。然后，通信单元922对接收信号进行解调和解码以恢复电子邮件数据，并且将所恢复的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件的内容，并且使记录和再现单元929的记录介质存储电子邮件数据。

记录和再现单元929包括任何可读可写记录介质。例如，记录介质可以是内置式记录介质如RAM和闪存，或可以是外部附接的记录介质如硬盘、磁盘、磁光盘、光盘、USB（通用串行总线）存储器或存储器卡。

此外，在图像拍摄模式下，例如，摄像机单元926拍摄对象的图像，生成其图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像机单元926输入的图像数据进行编码，并且使记录和再现单元929的记录介质存储编码流。

此外，在视频电话模式下，例如，多路解复用单元928将由图像处理单元927编码的视频流以及从音频编解码器923输入的音频流多路解复用，并且将多路解复用的流输出至通信单元922。通信单元922对流进行编码和调制以生成发送信号。然后，通信单元922将所生成的发送信号经由天线921发送至基站（未示出）。通信单元922对经由天线921接收的无线信号进行放大，并且对其执行频率转换以获得接收信号。发送信号和接收信号可以包括编码位流。然后，通信单元922对接收信号进行解调和解码以恢复流，并且将所恢复的流输出至多路解复用单元928。多路解复用单元928将视频流和音频流从所输入的流分离，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。将视频数据提供给显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩，并且对其执行D/A转换，以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924，并且使扬声器924输出音频。

在如上述所构造的移动电话920中，图像处理单元927具有根据上述实施方式的图像编码设备和图像解码设备的功能。因此，可以减少在对移动电话920中的图像进行编码和解码时编码或解码处理所需的对外部存储器的访问计数。

（第三应用示例：记录和再现设备）

图22是示出应用上述实施方式的记录和再现设备的示意结构的示例的图。记录和再现设备940对所接收的广播节目的音频数据和视频数据进行编码，并且将编码数据记录在例如记录介质中。记录和再现设备940可以对从另一设备获得的音频数据和视频数据进行编码，并且将编码数据记录在例如记录介质中。记录和再现设备940根据用户的指令在监视器上且使用扬声器将记录介质中记录的数据再现。此时，记录和再现设备940对音频数据和视频数据进行解码。

记录和再现设备940设置有调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、盘驱动器945、选择器946、解码器947、OSD（屏上显示器）948、控制单元949和用户接口950。

调谐器941从经由天线（未示出）接收的广播信号提取期望的信道信号，并且对所提取的信号进行解调。然后，协调器941将通过解调获得的编码位流输出至选择器946。也就是说，调谐器941用作记录和再现设备940中的传输装置。

外部接口942是用于将记录和再现设备940与外部设备或网络连接的接口。外部接口942可以是IEEE1394接口、网络接口、USB接口、闪存接口等。例如，将通过外部接口942接收的视频数据和音频数据输入至编码器943。也就是说，外部接口942具有记录和再现设备940中的传输装置的功能。

在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码位流输出至选择器946。

HDD944将其中编码有内容数据如视频数据和音频数据的编码位流、各种程序或硬盘中的其他数据记录在其中。在再现视频和音频时，HDD944从硬盘读取数据。

盘驱动器945对于附接至其的记录介质记录和读取数据。附接至盘驱动器945的记录介质可以是例如DVD盘（DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）或蓝光（注册商标）盘。

在记录视频和音频时，选择器946对从调谐器941或编码器943输入的编码位流进行选择，并且将所选择的编码位流输出至HDD944或盘驱动器945。此外，在再现视频和音频时，选择器946将从HDD944或盘驱动器945输入的编码位流输出至解码器947。

解码器947对编码位流进行解码以生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD948。此外，解码器947将所生成的音频数据输出至外部扬声器。

OSD948将从解码器947输入的视频数据再现以显示视频。OSD948可以将GUI的图像如菜单、按钮和光标叠加在所显示的视频上。

控制单元949包括处理器如CPU以及存储器如RAM和ROM。存储器存储由CPU执行的程序、程序数据等。存储器中存储的程序在记录和再现设备940激活时由CPU读取和执行。CPU执行程序，从而根据例如从用户接口950输入的操作信号控制记录和再现设备940的操作。

用户接口950连接至控制单元949。用户接口950包括用于由用户操作记录和再现设备940的按钮和开关、遥控信号的接收单元等。用户接口950通过这些构成部件检测用户的操作，生成操作信号，并且将所生成的操作信号输出至控制单元949。

在如上述所构造的记录和再现设备940中，编码器943具有根据上述实施方式的图像编码设备的功能。另外，解码器947具有根据上述实施方式的图像解码设备的功能。因此，可以减少在对记录和再现设备940中的图像进行编码和解码时编码或解码所需的对外部存储器的访问计数。

（第四应用示例：摄像设备）

图23是示出应用上述实施方式的摄像设备的示意结构的示例的图。摄像设备960拍摄对象的图像以生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。

摄像设备960设置有光学块961、摄像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971和总线972。

光学块961连接至摄像单元962。摄像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969和控制单元970互连。

光学块961包括聚焦透镜、隔膜机制等。光学块961将对象的光学图像形成在摄像单元962的摄像表面上。摄像单元962包括图像传感器如CCD（电荷耦合装置）和CMOS（互补金属氧化物半导体），并且通过光电转换将在摄像表面上形成的光学图像转换成作为电信号的图像信号。然后，摄像单元962将图像信号输出至信号处理单元963。

信号处理单元963对于从摄像单元962输入的图像信号执行各种摄像机信号处理如拐点（knee）校正、伽玛校正和色彩校正。信号处理单元963将已经经历摄像机信号处理的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码以生成编码数据。然后，图像处理单元964将所生成的编码数据输出至外部接口966或介质驱动器968。此外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示单元965。图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965，并且使显示单元965显示图像。图像处理单元964可以将从OSD969获得的显示数据叠加在输出至显示单元965的图像上。

OSD969生成GUI的图像如菜单、按钮或光标，并且将所生成的图像输出至图像处理单元964。

外部接口966形成为例如USB输入和输出端口。外部接口966在打印图像时将摄像设备960与打印机连接。此外，当需要时驱动器连接至外部接口966。将可移除介质如磁盘和光盘安装至驱动器。可以将从可移除介质读取的程序安装至摄像设备960。此外，外部接口966可以形成为连接至网络如LAN和因特网的网络接口。也就是说，外部接口966用作摄像设备960中的传输装置。

安装在介质驱动器968上的记录介质可以是可读可写可移除介质如磁盘、磁光盘、光盘和半导体存储器。此外，记录介质可以固定安装至介质驱动器968以形成非便携式记录单元如内置硬盘和SSD（固态驱动器）。

控制单元970包括处理器如CPU和存储器如RAM和ROM。存储器存储由CPU执行的程序、程序数据等。存储器中存储的程序在例如摄像设备960激活时由CPU读取和执行。CPU通过执行例如程序根据从用户接口971输入的操作信号控制摄像设备960的操作。

用户接口971连接至控制单元970。用户接口971包括例如用于由用户操作摄像设备的按钮、开关等。用户接口971通过这些构成部件检测用户的操作以生成操作信号，并且将所生成的操作信号输出至控制单元970。

在如上述构造的摄像设备960中，摄像设备964具有根据上述实施方式的图像编码设备的功能。因此，可以减少在对摄像设备960中的图像进行编码和解码时编码或解码所需的对外部存储器的访问计数。

应当指出的是，在本说明书中，主要给出了在水平边缘的滤波处理之前执行竖直边缘的滤波处理的示例。在首先执行水平边缘的滤波处理的情况下也具有通过根据本公开内容的技术的上述效果。此外，处理单元中的去块效应滤波器的尺寸或LCU的尺寸不限于该说明书中的示例，并且可以使用不同的尺寸。

应当指出的是，在本说明书中，多个信息如参数被多路复用到编码流，并且被从编码侧发送至解码侧。然而，发送这些信息的方式不限于上述示例。例如，在不被多路复用到编码位流的情况下，这些信息可以被发送或记录为与编码位流有关的不同段数据。在此，术语“有关”是指包括在位流中的图像（可以是图像的一部分如片和块）可以与对应于解码时的信息的信息链接。也就是说，信息可以在不同于图像（或位流）的发送信道上发送。此外，信息可以被记录在不同于图像（或位流）的记录介质（或相同记录介质中的不同的记录区域）中。此外，信息和图像（或位流）可以基于如多个帧、一个帧或帧中的部分等而彼此相关。

上面参照附图描述了本公开内容的实施方式。然而，本公开内容不限于上述示例。明显的是，本公开内容所属领域的技术人员可以在所附权利要求的范围中描述的技术思想的范围内设想各种修改示例，并且可以理解的是，这些示例当然属于本公开内容的技术范围。

应当指出的是，本公开内容可以采用下面的配置。

（1）一种图像处理设备，包括：

解码单元，被配置成针对编码流执行解码过程以生成图像；

去块效应滤波器，被配置成将由所述解码单元生成的所述图像的块中这样的块存储在存储器中：所述块的在当前边缘上的相应块没有被输入，并且在所述相应块被输入时读取被存储在所述存储器中的所述块，以执行滤波过程；以及

样本自适应偏移处理单元，被配置成使用已被所述去块效应滤波器进行了所述滤波过程的所述块的像素来执行样本自适应偏移过程。

（2）根据项（1）所述的图像处理设备，其中，

所述去块效应滤波器将由所述解码单元生成的所述图像的块中被布置在当前竖直边缘的左侧的块存储在所述存储器中，并且在布置在所述竖直边缘的右侧的块被输入时读取被存储在所述存储器中的所述块，以执行所述滤波过程。

（3）根据项（1）所述的图像处理设备，其中，

所述去块效应滤波器将由所述解码单元生成的所述图像的块中被布置在当前水平边缘的上侧的块存储在所述存储器中，并且在布置在所述水平边缘的下侧的块被输入时读取被存储在所述存储器中的所述块，以执行所述滤波过程。

（4）根据项（1）至（3）中任一项所述的图像处理设备，其中，

所述去块效应滤波器将由所述解码单元生成的所述图像的块中这样的块存储在所述存储器中：所述块的在所述当前边缘上的所述相应块没有被输入，并且将所述块的至少最上侧线上的像素输出至所述样本自适应偏移处理单元。

（5）一种图像处理方法，包括：

由图像处理设备针对编码流执行解码过程以生成图像；

由所述图像处理设备将所生成的所述图像的块中这样的块存储在存储器中：所述块的在当前边缘上的相应块没有被输入，并且在所述相应块被输入时读取被存储在所述存储器中的所述块，以执行滤波过程；以及

由所述图像处理设备使用已经经历了所述滤波过程的所述块的像素来执行样本自适应偏移过程。

（6）一种图像处理设备，包括：

去块效应滤波器，被配置成将在图像编码时执行了局部解码过程的图像的块中这样的块存储在存储器中：所述块的在当前边缘上的相应块没有被输入，并且在所述相应块被输入时读取被存储在所述存储器中的所述块，以执行滤波过程；

样本自适应偏移处理单元，被配置成使用已经被所述去块效应滤波器进行了所述滤波过程的所述块的像素来执行样本自适应偏移过程；以及

编码单元，被配置成使用已经被所述样本自适应偏移处理单元进行了所述样本自适应偏移过程的所述像素来对所述图像进行编码。

（7）根据项（6）所述的图像处理设备，其中，

所述去块效应滤波器将在图像编码时执行了所述局部解码过程的所述图像的块中的布置在当前竖直边缘的左侧的块存储在所述存储器中，并且在布置在所述竖直边缘的右侧的块被输入时读取被存储在所述存储器中的所述块，以执行所述滤波过程。

（8）根据项（6）所述的图像处理设备，其中，

所述去块效应滤波器将在图像编码时执行了所述局部解码过程的所述图像的块中的布置在当前水平边缘的上侧的块存储在所述存储器中，并且在布置在所述水平边缘的下侧的块被输入时读取被存储在所述存储器中的所述块，以执行所述滤波过程。

（9）根据项（6）至（8）中任一项所述的图像处理设备，其中，

所述去块效应滤波器将在图像编码时执行了所述局部解码过程的所述图像的块中这样的块存储在所述存储器中：所述块的在所述当前边缘上的所述相应块没有被输入，并且将所述块的至少最上侧线上的像素输出至所述样本自适应偏移处理单元。

（10）一种图像处理方法，包括：

由图像处理设备将在图像编码时执行了局部解码过程的图像的块中这样的块存储在存储器中：所述块的在当前边缘上的相应块没有被输入，并且在所述相应块被输入时读取被存储在所述存储器中的所述块，以执行滤波过程；

由所述图像处理设备使用已经经历了所述滤波过程的所述块的像素来执行样本自适应偏移过程；以及

由所述图像处理设备使用已经经历了所述样本自适应偏移过程的所述像素来对所述图像进行编码。

本技术领域技术人员应当理解的是，在处于所附权利要求或其等同的范围内的情况下，根据设计要求和其他因素可以出现各种修改、组合、子组合和替换。

Claims (10)

1.一种图像处理设备，包括：

解码单元，被配置成针对编码流执行解码过程以生成图像；

去块效应滤波器，被配置成将由所述解码单元生成的所述图像的块中这样的块存储在存储器中：所述块的在当前边缘上的相应块没有被输入，并且在所述相应块被输入时读取被存储在所述存储器中的所述块，以执行滤波过程；以及

样本自适应偏移处理单元，被配置成使用已被所述去块效应滤波器进行了所述滤波过程的所述块的像素来执行样本自适应偏移过程。

2.根据权利要求1所述的图像处理设备，其中，所述去块效应滤波器将由所述解码单元生成的所述图像的块中被布置在当前竖直边缘的左侧的块存储在所述存储器中，并且在布置在所述竖直边缘的右侧的块被输入时读取被存储在所述存储器中的所述块，以执行所述滤波过程。

3.根据权利要求1所述的图像处理设备，其中，所述去块效应滤波器将由所述解码单元生成的所述图像的块中被布置在当前水平边缘的上侧的块存储在所述存储器中，并且在布置在所述水平边缘的下侧的块被输入时读取被存储在所述存储器中的所述块，以执行所述滤波过程。

4.根据权利要求1所述的图像处理设备，其中，所述去块效应滤波器将由所述解码单元生成的所述图像的块中这样的块存储在所述存储器中：所述块的在所述当前边缘上的所述相应块没有被输入，并且将所述块的至少最上侧线上的像素输出至所述样本自适应偏移处理单元。

5.一种图像处理方法，包括：

由图像处理设备针对编码流执行解码过程以生成图像；

由所述图像处理设备将所生成的所述图像的块中这样的块存储在存储器中：所述块的在当前边缘上的相应块没有被输入，并且在所述相应块被输入时读取被存储在所述存储器中的所述块，以执行滤波过程；以及

由所述图像处理设备使用已经经历了所述滤波过程的所述块的像素来执行样本自适应偏移过程。

6.一种图像处理设备，包括：

去块效应滤波器，被配置成将在图像编码时执行了局部解码过程的图像的块中这样的块存储在存储器中：所述块的在当前边缘上的相应块没有被输入，并且在所述相应块被输入时读取被存储在所述存储器中的所述块，以执行滤波过程；

样本自适应偏移处理单元，被配置成使用已经被所述去块效应滤波器进行了所述滤波过程的所述块的像素来执行样本自适应偏移过程；以及

编码单元，被配置成使用已经被所述样本自适应偏移处理单元进行了所述样本自适应偏移过程的所述像素来对所述图像进行编码。

7.根据权利要求6所述的图像处理设备，其中，所述去块效应滤波器将在图像编码时执行了所述局部解码过程的所述图像的块中的布置在当前竖直边缘的左侧的块存储在所述存储器中，并且在布置在所述竖直边缘的右侧的块被输入时读取被存储在所述存储器中的所述块，以执行所述滤波过程。

8.根据权利要求6所述的图像处理设备，其中，所述去块效应滤波器将在图像编码时执行了所述局部解码过程的所述图像的块中的布置在当前水平边缘的上侧的块存储在所述存储器中，并且在布置在所述水平边缘的下侧的块被输入时读取被存储在所述存储器中的所述块，以执行所述滤波过程。

9.根据权利要求6所述的图像处理设备，其中，所述去块效应滤波器将在图像编码时执行了所述局部解码过程的所述图像的块中这样的块存储在所述存储器中：所述块的在所述当前边缘上的所述相应块没有被输入，并且将所述块的至少最上侧线上的像素输出至所述样本自适应偏移处理单元。

10.一种图像处理方法，包括：

由图像处理设备将在图像编码时执行了局部解码过程的图像的块中这样的块存储在存储器中：所述块的在当前边缘上的相应块没有被输入，并且在所述相应块被输入时读取被存储在所述存储器中的所述块，以执行滤波过程；

由所述图像处理设备使用已经经历了所述滤波过程的所述块的像素来执行样本自适应偏移过程；以及

由所述图像处理设备使用已经经历了所述样本自适应偏移过程的所述像素来对所述图像进行编码。