CN102860009A - 编码失真除去方法、编码方法、解码方法、编码失真除去装置、编码装置、及解码装置 - Google Patents

Abstract

一种编码失真除去方法，除去第一处理边界及第二处理边界的编码失真，上述第一处理边界及第二处理边界分别是图像信号的处理边界、并且是相互不同的方向的处理边界，该编码失真除去方法包括：第一决定步骤（S11），至少基于与第一处理边界邻接的第一邻接像素的像素值，决定第一对象像素，该第一对象像素成为对第一处理边界的编码失真除去处理的对象；第一除去步骤（S13），对第一对象像素进行编码失真除去处理；第二决定步骤（S12），至少基于与第二处理边界邻接的第二邻接像素的像素值，决定第二对象像素，该第二对象像素成为对第二处理边界的编码失真除去处理的对象；以及第二除去步骤（S14），对第二对象像素进行编码失真除去处理；在第二决定步骤（S12）中，基于由第一除去步骤（S13）进行编码失真除去处理前的第二邻接像素的像素值决定第二对象像素。

Description

编码失真除去方法、编码方法、解码方法、编码失真除去装置、编码装置、及解码装置

技术领域

本发明涉及一种除去将图像信号编码时在处理边界发生的编码失真的编码失真除去方法、以及能够使用该编码失真除去方法进一步提高压缩率的编码方法及解码方法等。

背景技术

在以称作H.26x的ITU-T标准及称作MPEG-x的ISO/IEC标准为代表的以往的图像编码方式中，将画面分割为预先设定的单位，并以该分割单位进行编码。例如，在H.264/MPEG-4AVC方式（例如，参照非专利文献1）中，以称作宏块的水平16像素、垂直16像素的单位对画面（图片）进行处理。

在进行运动补偿的情况下，将宏块分割为块（最小为水平4像素、垂直4像素）。并且，按照每个块使用不同的运动矢量进行运动补偿，将与原信号的差分信号进行频率变换，将差分信号集中在低频区域，并进行量化，由此能够压缩信息。已知在使用了将差分信号集中在低频率区域中的DCT等正交变换的块单位编码方法中，可在块的边界上看出称作块失真的格子状的失真。

图40是使用以往的编码失真除去方法的编码失真除去部的模块图。开关1001切换对水平方向的块边界（以下，称作“水平边界”）及垂直方向的块边界（以下，称作“垂直边界”）中的哪个块边界进行处理。滤波对象像素决定部1002基于与块边界邻接的像素的像素值，决定作为编码失真除去处理（以下，适当也称作“滤波处理”）的对象的像素（以下，适当称作“滤波对象像素”或“对象像素”）。并且，滤波处理部1003对该滤波对象像素进行编码失真除去处理。开关1004设定为，在水平边界或垂直边界的处理还没有结束的情况下，将已进行编码失真除去处理的图像信号再次向开关1001输入。滤波对象像素决定部1002对于还没有处理的方向的块边界，决定滤波对象像素。像这样，编码失真除去处理对水平边界及垂直边界依次进行。

现有技术文献

非专利文献

非专利文献1：ISO/IEC14496-10“MPEG-4 Part10 Advanced VideoCoding”

发明概要

发明要解决的问题

但是，在上述以往的方式中，由于依次进行对水平边界的处理和对垂直边界的处理，所以使用针对水平边界或垂直边界的已编码失真除去处理的图像信号，来决定作为编码失真除去处理的对象的对象像素。因此，存在如下问题：无判断块边界上的像素值的变化是由块失真带来的变化还是由物体边界带来的变化，而对物体边界的像素进行编码失真除去处理。

图41是用来说明以往的编码失真除去处理中的问题的图。在图41中，斜线区域表示物体的区域。

如图41（a）所示，首先，对水平边界进行滤波处理。结果，图41（b）的交叉影线的位置的像素值通过滤波处理而被变更。在接着对垂直边界进行滤波处理的情况下，基于对水平边界进行滤波处理后的像素值（交叉影线区域）决定作为滤波处理的对象的像素。结果，对本来是物体边界的位置（1101）执行滤波处理（平滑化处理）。即，通过滤波处理，物体边界变得模糊，结果导致编码效率下降。

发明内容

本发明用于解决上述问题，目的是提供一种损害图像信号的画质的可能性小的编码失真除去方法等。

用于解决问题的手段

为了达到上述目的，本发明的一技术方案的编码失真除去方法，除去第一处理边界及第二处理边界上的编码失真，该第一处理边界及第二处理边界分别为图像信号的处理边界，并且是相互不同的方向的处理边界，该编码失真除去方法包括：第一决定步骤，至少基于与上述第一处理边界邻接的第一邻接像素的像素值，决定第一对象像素，该第一对象像素为对上述第一处理边界的编码失真除去处理的对象；第一除去步骤，对决定的上述第一对象像素进行编码失真除去处理；第二决定步骤，至少基于与上述第二处理边界邻接的第二邻接像素的像素值，决定第二对象像素，该第二对象像素为对上述第二处理边界的编码失真除去处理的对象；以及第二除去步骤，对决定的上述第二对象像素进行编码失真除去处理；在上述第二决定步骤中，基于在上述第一除去步骤中进行编码失真除去处理之前的上述第二邻接像素的像素值，决定上述第二对象像素。

由此，在第一处理边界及第二处理边界双方中，能够基于编码失真除去处理前的像素值来决定编码失真除去处理的对象像素。因而，通过基于编码失真除去处理后的像素值来决定对象像素，能够消除连对应于物体边界的像素都决定为对象像素的以往的问题。即，能够实现损害图像信号的画质的可能性小的编码失真除去处理。

此外，本发明的一技术方案的解码方法，从代码序列解码出图像，包括：解码步骤，从上述代码序列解码出图像信号；以及编码失真除去步骤，使用上述编码失真除去方法，除去在上述解码步骤中解码的图像信号的编码失真。

此外，本发明的一技术方案的编码方法，将图像编码，包括：编码步骤，将图像编码；重构步骤，根据在上述编码步骤中编码后的图像，重构图像信号；以及编码失真除去步骤，使用上述编码失真除去方法，除去在上述重构步骤中重构的图像信号的编码失真；在上述编码步骤中，参照在上述编码失真除去步骤中除去编码失真后的图像信号，将上述图像编码。

此外，本发明的一技术方案的编码失真除去装置，除去第一处理边界及第二处理边界上的编码失真，该第一处理边界及第二处理边界分别为图像信号的处理边界，并且是相互不同的方向的处理边界，该编码失真除去装置具备：第一决定部，至少基于与上述第一处理边界邻接的第一邻接像素的像素值，决定第一对象像素，该第一对象像素为对上述第一处理边界的编码失真除去处理的对象；第一除去部，对决定的上述第一对象像素进行编码失真除去处理；第二决定部，至少基于与上述第二处理边界邻接的第二邻接像素的像素值，决定第二对象像素，该第二对象像素为对上述第二处理边界的编码失真除去处理的对象；以及第二除去部，对决定的上述第二对象像素进行编码失真除去处理；上述第二决定部基于由上述第一除去部进行编码失真除去处理之前的上述第二邻接像素的像素值，决定上述第二对象像素。

此外，本发明的一技术方案的解码装置，从代码序列解码出图像，具备：解码部，从上述代码序列解码图像信号；以及上述编码失真除去装置；上述编码失真除去装置除去由上述解码部解码的图像信号的编码失真。

此外，本发明的一技术方案的编码装置，将图像编码，具备：编码部，将图像编码；重构部，根据由上述编码部编码后的图像，重构图像信号；以及上述编码失真除去装置；上述编码失真除去装置去除由上述重构部重构的图像信号的编码失真除去；上述编码部参照由上述编码失真除去装置除去编码失真后的图像信号，将上述图像编码。

发明效果

根据本发明，在第一处理边界及第二处理边界双方中，基于编码失真除去处理前的像素值来决定编码失真除去处理的对象像素，从而能够实现损害图像信号的画质的可能性小的编码失真除去处理。此外，为了决定编码失真除去处理的对象像素，不使用已进行编码失真除去处理的像素值，所以能够实现将对象像素的决定处理同时实施（并行处理）。由此，能够维持原图像具有的物体的边界，所以其实用价值较高。

附图说明

图1是表示本发明的实施方式1的编码失真除去装置的功能结构的一例的模块图。

图2是表示本发明的实施方式1的编码失真除去方法的一例的流程图。

图3A是用来说明滤波对象像素决定方法的一例的示意图。

图3B是用来说明滤波对象像素决定方法的一例的示意图。

图3C是用来说明滤波对象像素决定方法的一例的示意图。

图4是表示本发明的实施方式1的滤波对象像素决定方法的一例的流程图。

图5是用来说明本发明的实施方式1的滤波处理的概念的图。

图6是表示本发明的实施方式1的变形例的编码失真除去装置的功能结构的一例的模块图。

图7是用来说明本发明的实施方式1的变形例的编码失真除去处理的处理时间的图。

图8是表示本发明的实施方式2的滤波对象像素决定方法的一例的流程图。

图9是表示本发明的实施方式3的垂直边界部的图。

图10是用来说明以往的编码失真除去方法中的6个逐次的步骤的图。

图11A是用来说明决定处理d_1，v内的顺序处理的数量的图。

图11B是用来说明决定处理D_i，v内的顺序处理的数量的图。

图11C是用来说明滤波处理F_i，v内的顺序处理的数量的图。

图12是表示以往的编码失真除去方法中的各处理的依存关系与关键路径中的顺序处理的数量的图。

图13是用来说明本发明的实施方式3的编码失真除去方法中的4个逐次的步骤的图。

图14是表示本发明的实施方式3的编码失真除去方法中的各处理的依存关系和关键路径中的顺序处理的数量的图。

图15是用来说明层级化的处理单位（多层级块构造）的图。

图16A是表示LCU的处理顺序的一例的图。

图16B是表示LCU内的CU的处理顺序的一例的图。

图16C是表示实施编码失真除去处理的处理边界的一例的图。

图17是表示本发明的实施方式4的编码失真除去装置的功能结构的模块图。

图18是表示本发明的实施方式4的编码失真除去装置的动作的流程图。

图19是用来说明本发明的实施方式4的编码失真除去方法的图。

图20A是表示本发明的实施方式5的编码装置的模块图。

图20B是表示本发明的实施方式6的解码装置的模块图。

图20C是表示本发明的一形态的编码失真除去方法的一例的流程图。

图21是实现内容分发服务的内容供给***的整体结构图。

图22是数字广播用***的整体结构图。

图23是表示电视机的结构例的模块图。

图24是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

图25是表示作为光盘的记录介质的构造例的图。

图26的（a）是表示便携电话的一例的图，图26的（b）是表示便携电话的结构例的模块图。

图27是表示复用数据的结构的图。

图28是示意地表示各流在复用数据中怎样被复用的图。

图29是更详细地表示在PES包序列中视频流怎样被保存的图。

图30是表示复用数据的TS包和源包的构造的图。

图31是表示PMT的数据结构的图。

图32是表示复用数据信息的内部结构的图。

图33是表示流属性信息的内部结构的图。

图34是表示识别影像数据的步骤的图。

图35是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。

图36是表示切换驱动频率的结构的图。

图37是表示识别影像数据、切换驱动频率的步骤的图。

图38是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图39的（a）是表示将信号处理部的模块共用的结构的一例的图，图39的（b）是表示将信号处理部的模块共用的结构的另一例的图。

图40是表示以往的图像编码装置及图像解码装置的编码失真除去部的结构的模块图。

图41是说明使用以往的编码失真除去方法的情况下的问题的示意图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

（实施方式1）

在本发明的实施方式1中，说明以块为处理单位除去图像信号的编码失真的方法，上述块是构成图像的至少一个像素的集合。在本实施方式中，假设块是矩形状，第一处理边界是块的水平边界，第二处理边界是垂直边界。

具体而言，垂直边界是当前处理中的块（以下，设为“处理中的块”或“当前块”）与邻接于该当前块的左侧的之前处理过的块（以下，设为“已处理的块”或“前面块”）之间的边界。此外，水平边界是当前块与邻接于该当前块的上侧的前面块之间的边界。

图1是表示本发明的实施方式1的编码失真除去装置100的功能结构的模块图。如图1所示，编码失真除去装置100具备开关101、滤波对象像素决定部102、滤波候选信息保持部103、开关104、开关105、滤波处理部106以及开关107。向编码失真除去装置100的输入信号是有可能包含编码失真的图像信号。

开关101进行向滤波对象像素决定部102的输入信号的输入目的地的切换。作为滤波对象像素决定部102进行的处理的对象的块边界的方向与该输入信号的输入目的地的切换连动地被切换。

在本实施方式中，当开关101连接在“a”上时，图像信号从编码失真除去装置100的外部向滤波对象像素决定部102输入。另一方面，当开关101连接在“b”上时，图像信号再次从滤波对象像素决定部102向滤波对象像素决定部102输入。

滤波对象像素决定部102相当于第一决定部和第二决定部。滤波对象像素决定部102至少使用邻接像素的像素值，决定针对块边界的滤波对象像素。

这里，所谓邻接像素，是邻接于块边界的两个像素。此外，所谓滤波对象像素，是成为由滤波处理部106进行滤波处理的对象的像素。此外，所谓滤波处理，是编码失真除去处理的一例，例如是自适应解块滤波。

具体而言，滤波对象像素决定部102首先基于与垂直边界邻接的邻接像素（第一邻接像素）的像素值，决定针对该垂直边界的滤波对象像素（第一对象像素）。接着，滤波对象像素决定部102基于与水平边界邻接的邻接像素（第二邻接像素）的像素值，决定针对该水平边界的滤波对象像素（第二对象像素）。此时，滤波对象像素决定部102使用进行对垂直边界的滤波处理之前的像素值作为与水平边界邻接的邻接像素的像素值，来决定针对该水平边界的滤波对象像素。

更具体地讲，在本实施方式中，当开关101连接在“a”上时，滤波对象像素决定部102决定针对垂直边界的滤波对象像素。另一方面，当开关101连接在“b”上时，滤波对象像素决定部102决定针对水平边界的滤波对象像素。

滤波候选信息保持部103保持与由滤波对象像素决定部102决定的滤波对象像素有关的信息作为滤波候选信息。具体而言，滤波候选信息保持部103例如按每个块边界保持表示滤波对象像素的位置的信息作为滤波候选信息。此外，滤波候选信息保持部103例如也可以保持表示块边界的邻接像素是否是滤波对象像素的信息作为滤波候选信息。

开关104切换来自滤波对象像素决定部102的输出信号的输出目的地。在本实施方式中，当开关104连接在“a”上时，来自滤波对象像素决定部102的输出信号输出至开关101。另一方面，当开关104连接在“b”上时，来自滤波对象像素决定部102的输出信号输出至开关105。

开关105进行向滤波处理部106的输入信号的输入目的地的切换。作为滤波处理部106所进行的处理的对象的块边界的方向与该输入信号的输入目的地的切换连动地被切换。

滤波处理部106相当于第一除去部和第二除去部。滤波处理部106对所决定的滤波对象像素进行滤波处理。具体而言，当开关105连接在“a”上时，滤波处理部106对针对垂直边界的滤波对象像素进行滤波处理。另一方面，当开关105连接在“b”上时，滤波处理部106对针对水平边界的滤波对象像素进行滤波处理。

开关107切换来自滤波处理部106的输出信号的输出目的地。该输出信号是滤波处理后的图像信号。在本实施方式中，当开关107连接在“a”上时，来自滤波处理部106的输出信号输出至开关105。另一方面，当开关107连接在“b”上时，来自滤波处理部106的输出信号被作为已处理图像信号输出至编码失真除去装置100的外部。

接着，对如以上那样构成的编码失真除去装置100的各种动作进行说明。

图2是表示本发明的实施方式1的编码失真除去方法的一例的流程图。具体而言，图2是表示由本发明的实施方式1的编码失真除去装置100进行的对一个块的处理的流程的流程图。

首先，滤波对象像素决定部102至少使用块边界的邻接像素的像素值，决定针对与第n滤波处理方向对应的块边界的滤波对象像素（S201）。该步骤S201相当于第一决定步骤及第二决定步骤。

以下，说明该步骤S201的处理的具体例。

在处理开始时点，开关101连接在“a”上。输入到开关101的“a”中的图像信号被输入至滤波对象像素决定部102。在开关101连接在“a”上的情况下，滤波对象像素决定部102决定针对与水平方向的滤波处理方向（第一滤波处理方向）对应的垂直边界的滤波对象像素。

此外，在决定针对垂直边界的滤波对象像素后，开关104连接在“b”上。从开关104的“a”输入到开关101的“b”中的图像信号被输入至滤波对象像素决定部102。滤波对象像素决定部102在开关101连接在“b”上的情况下，决定针对与垂直方向的滤波处理方向（第二滤波处理方向）对应的水平边界的滤波对象像素。

这里，使用图3A～图3C说明滤波对象像素决定部102的滤波对象像素的决定方法的一例。

如图3A及图3B所示，将水平边界附近的像素的索引、以及垂直边界附近的像素的索引分别表示为p0～p3及q0～q3。另外，像素值由这些索引表示。以下，例如将索引为p0的像素记载为“像素p0”。

这里，滤波对象像素被以在滤波处理方向上延伸的处理线单位决定。即，滤波对象像素决定处理按每个处理线来进行，该处理线是在与块边界正交的方向上排列的像素列。另外，图3C中示出表示该滤波对象像素决定处理的处理行的示意图。在图3C中示出了针对垂直边界的滤波对象像素决定处理中的处理线。例如，在图3A的左端的垂直线中，像素p0及q0决定为滤波对象像素，在从左端起第二个线中，像素p1、p0、q0、及q1决定为滤波对象像素。

图4是表示本发明的实施方式1的滤波对象像素决定方法的一例的流程图。

首先，滤波对象像素决定部102计算邻接于块边界的像素p0与像素q0的差值的绝对值DIFa（步骤S40a）。接着，滤波对象像素决定部102将计算出的差值的绝对值DIFa与通过预先决定的方法给出的阈值THa比较（步骤S40b）。阈值THa例如是根据在编码或解码中使用的量化步长值决定的值就可以。

这里，在绝对值DIFa比阈值THa小的情况下（步骤S40b中是），滤波对象像素决定部102决定对像素p0和像素q0进行滤波处理（步骤S40c）。即，滤波对象像素决定部102将作为块边界的邻接像素的像素p0和像素q0决定为滤波对象像素。

另一方面，在绝对值DIFa是阈值THa以上的情况下（步骤S40b中否），滤波对象像素决定部102决定为对像素p0和像素q0不进行滤波处理（步骤S40d）。即，滤波对象像素决定部102将作为块边界的邻接像素的像素p0和像素q0决定为滤波非对象像素。

像这样，在步骤S201中，滤波对象像素决定部102基于块边界的邻接像素的像素值，决定针对该块边界的滤波对象像素。另外，关于决定滤波对象像素的方法，只要基于块边界的邻接像素的像素值的关系性（例如差值或比等）决定就可以。关于滤波对象像素的决定方法的其他例子，在其他实施方式中说明。

另外，这里作为滤波处理方向而例示了水平方向和垂直方向，但并不限定于此，在块边界是倾斜方向的情况下，也可以考虑将与该倾斜方向平行或垂直的方向设为滤波处理方向。此外，滤波处理方向并不一定需要是两个方向，根据块的形状，也可以是3个方向以上。

接着，滤波对象像素决定部102将与滤波对象像素有关的信息作为滤波候选信息向滤波候选信息保持部103输出，并且不变更图像信号而原样向开关104输出（步骤S202）。即，滤波候选信息保持部103保持与由滤波对象像素决定部102决定的针对垂直边界或水平边界的滤波对象像有关的信息作为滤波候选信息。

在处理开始时点，开关104连接在“a”上。因而，从滤波对象像素决定部102向开关104输出的图像信号从开关104的“a”传送至开关101的“b”。这里，开关101从“a”切换为“b”。即，从滤波对象像素决定部102输出的图像信号没有被变更而再次输入至滤波对象像素决定部102。

此时，滤波对象像素决定部102如上述那样决定针对水平边界的滤波对象像素。滤波对象像素决定部102将与针对水平边界的滤波对象像素有关的信息向滤波候选信息保持部103输出。

在与第N滤波处理方向有关的步骤S201及S202的处理结束后，开关104连接在“b”上。因而，从滤波对象像素决定部102输出的图像信号被输入至开关105。开关105在处理开始时点连接在“a”上。

接着，滤波处理部106基于从滤波候选信息保持部103取得的滤波候选信息，对输入的图像信号进行滤波处理（步骤S203）。即，滤波处理部106对由滤波对象像素决定部102决定的滤波对象像素进行滤波处理。该步骤S203相当于第一除去步骤及第二除去步骤。

以下，说明该步骤S203的处理的具体例。

滤波处理部106在开关105连接在“a”上的情况下，进行针对垂直边界的滤波处理。另一方面，在开关105连接在“b”上的情况下，滤波处理部106对水平边界进行滤波处理。

图5是用来说明本发明的实施方式1的滤波处理的概念的图。在图5中，横轴表示像素位置，纵轴表示像素值。

例如，如果对图5（a）所示的原图像的图像信号进行块单位的编码处理，则如图5（b）所示，发生块失真。所谓块失真，表示在块内部中像素值平滑地连续变化、仅在块边界处像素值不连续地变化。

所以，通过进行图5（b）所示的块边界的滤波处理，如图5（c）所示被修正为在块边界上像素值连续变化，由编码引起的块失真降低。

这样，滤波处理部106对由滤波对象像素决定部102决定的滤波对象像素进行滤波处理。另外，关于滤波处理的具体的方法，在其他实施方式中详细地说明。

这里，对开关107的开关动作进行说明。滤波处理后的图像信号输出至开关107。在处理开始时点，开关107连接在“a”上。因而，从滤波处理部106向开关107输出的图像信号从开关107的“a”传送至开关105的“b”。这里，开关105从“a”切换为“b”。即，从滤波处理部106输出的已进行对垂直边界的滤波处理的图像信号再次输入至滤波处理部106。

此时，滤波处理部106基于从滤波候选信息保持部103取得的滤波候选信息，进行对水平边界的滤波处理。滤波处理后的图像信号输出至开关107。这里，开关107从“a”切换为“b”。因而，已进行对水平边界的滤波处理的图像信号输出至编码失真除去装置100的外部。

如上所述，编码失真除去装置100在决定针对垂直边界及水平边界双方的滤波对象像素后，进行对垂直边界及水平边界的滤波处理。即，编码失真除去装置100基于进行滤波处理前的像素值，决定滤波对象像素。

（实施方式1的变形例）

另外，在本实施方式中，以针对垂直边界的滤波对象像素的决定、针对水平边界的滤波对象像素的决定的顺序决定了滤波对象像素，但也可以如图6所示，将针对垂直边界的滤波对象像素的决定和针对水平边界的滤波对象像素的决定并行地执行。

图6是表示本发明的实施方式1的变形例的编码失真除去装置600的功能结构的一例的模块图。如图6所示，编码失真除去装置600具备第一滤波对象像素决定部601、第二滤波对象像素决定部602、滤波候选信息保持部603、开关604、滤波处理部605以及开关606。

滤波候选信息保持部603与滤波候选信息保持部103相同，进行相同的动作。此外，开关604与开关105相同，进行相同的动作。此外，滤波处理部605与滤波处理部106相同，进行相同的动作。此外，开关606与开关107相同，进行相同的动作。

此外，第一滤波对象像素决定部601相当于第一决定部，第二滤波对象像素决定部602相当于第二决定部。即，第一滤波对象像素决定部601和第二滤波对象像素决定部602相当于将滤波对象像素决定部102分割为水平方向用和垂直方向用的处理部。因而，第一滤波对象像素决定部601及第二滤波对象像素决定部602双方进行与滤波对象像素决定部102同样的动作。

即，第一滤波对象像素决定部601基于垂直边界的邻接像素的像素值，决定针对该垂直边界的滤波对象像素。此外，第二滤波对象像素决定部602基于水平边界的邻接像素的像素值，决定针对该水平边界的滤波对象像素。

另外，作为将滤波对象像素决定处理分割的方向而例示了水平方向和垂直方向，但并不限定于此，在块边界为倾斜方向的情况下也可以考虑以与其平行或垂直的方向分割。

通过像这样将滤波对象像素决定处理（步骤S201）按滤波处理方向（即块边界的方向）分割而并行地执行，能够削减处理等待时间，因此能够缩短编码失真除去装置600的处理时间。使用图7说明处理时间的差异。

图7是用来说明本发明的实施方式1的变形例的编码失真除去处理的处理时间的图。具体而言，图7（a）是表示以往的编码失真除去方法的处理时间的概念图。此外，图7（b）是表示实施方式1的编码失真除去方法的处理时间的概念图。此外，图7（c）是表示有关本变形例的编码失真除去方法的处理时间的概念图。

这里，设第一滤波对象像素决定处理（垂直边界）所需要的处理时间为TDA，设第一滤波处理（垂直边界）所需要的处理时间为TFA。此外，设第二滤波对象像素决定处理（水平边界）所需要的处理时间为TDB，设第二滤波处理（水平边界）所需要的处理时间为TFB。这里，在各处理之间需要的时间与各处理所需要的时间相比特别短，所以假设各处理之间所需要的时间为零而进行说明。

在以往的编码失真除去方法中，由于需要将全部的处理逐次地进行，所以编码失真除去所需要的处理时间成为TDA+TFA+TDB+TFB。此外，在实施方式1的编码失真除去方法中，也如图7（b）所示，编码失真除去所需要的处理时间成为TDA+TDB+TFA+TFB。即，在实施方式1的编码失真除去方法中，与以往的编码失真除去方法相比，编码失真的除去所需要的处理时间没有变化。

另一方面，在本变形例的编码失真除去方法中，如图7（c）所示，编码失真除去所需要的处理时间为MAX（TDA，TDB）+TFA+TFB。即，在本变形例的编码失真除去方法中，能够以比以往的编码失真除去方法短的时间结束处理。

另外，这里以对垂直边界的滤波处理、对水平边界的滤波处理的顺序执行滤波处理，但也可以是相反的顺序。此外，关于顺序，既可以在编码装置及解码装置中预先决定，或者也可以通过作为流的头信息附加的信号来切换。此外，对垂直边界的滤波处理和对水平边界的滤波处理也可以同时执行。

另外，由于在图1的结构及图6的结构中，已处理图像都完全一致，所以关于选择哪个结构，能够选择在编码装置及解码装置中适合的结构。例如，能够在不适合并行处理的单体软件的情况下选择图1的结构，在并行处理为有效的硬件的情况下选择图6的结构。此外，不论选择哪个结构，处理结果都相同，所以能够维持编码装置及解码装置的互换性，实用效果非常高。

如上所述，根据本发明的实施方式1或其变形例的编码失真除去装置100、600，在针对水平边界及垂直边界的滤波对象像素决定处理中，被输入滤波处理前的图像信号。这里，滤波候选信息保持部103、603保持用来确定决定为滤波对象像素的像素的滤波候选信息。并且，滤波处理部106、605在对图像信号实施水平方向及垂直方向的滤波处理时，通过从滤波候选信息保持部103、603取得滤波候选信息，对所决定的文件对象像素进行滤波处理。

通过这样的动作，编码失真除去装置100、600能够使用对垂直方向或水平方向的滤波处理前的图像信号，决定针对水平边界或垂直边界的滤波对象像素。即，编码失真除去装置100、600能够消除因使用滤波处理后的图像信号来决定滤波对象像素而对于物体边界也判断为滤波对象像素的以往的编码失真除去方法的缺点。即，编码失真除去装置100、600能够实现损害图像信号的画质的可能性小的编码失真除去方法。

此外，编码失真除去装置100、600在滤波对象像素决定处理中不使用滤波处理后的图像信号。由此，如实施方式1的变形例那样，编码失真除去装置600能够将针对水平边界及垂直边界的滤波对象像素决定处理并行地执行，能够缩短编码失真除去处理所需要的时间。

另外，在上述中设为块边界的失真除去而进行了说明，但并不限定于H.264中的块单位，对于变换的处理单位间的失真除去也具有同样的效果。

此外，在上述实施方式1中，在决定了针对垂直边界及水平边界双方的滤波对象像素后，进行对垂直边界及水平边界双方的滤波处理，但并不一定需要这样进行处理。例如，也可以在执行针对垂直边界的滤波对象像素决定处理及滤波处理后执行针对水平边界的滤波对象像素决定处理及滤波处理。在此情况下，需要将进行对垂直边界的滤波处理之前的像素值保持在存储器等中。

此外，上述滤波对象像素决定处理及滤波处理按照每一线进行，但并不一定需要按照每一线进行。

（实施方式2）

接着，对本发明的实施方式2进行说明。具体而言，在本实施方式中，说明与在实施方式1中表示的滤波对象像素的决定方法不同的滤波对象像素的决定方法。此外，对滤波处理的方法也详细地说明。另外，本实施方式的编码失真除去装置与图1所示的实施方式1的编码失真除去装置是同样的，所以省略图示。

关于滤波对象像素的决定方法，使用在图3C所示的滤波处理方向上延伸的处理线中包含的像素p3、p2、p1、p0、q0、q1、q2及q3详细地说明。另外，各像素的值为由像素的索引表示的值。

在实施方式1中，示出了仅使用与块边界邻接的像素值来决定滤波对象像素的方法的一例。但是，滤波对象像素的决定方法例如也可以根据图像信号的生成方法而变更。例如，也可以是，在使用帧内预测来编码的信号的情况下，使用较大范围（例如p2、p1、p0、q0、q1、q2）的像素的像素值的关系性决定滤波对象像素，在其以外的情况下，使用较小范围（例如p1、p0、q0、q1）的像素的像素值的关系性（例如差值）决定滤波对象像素。

以下，说明将滤波对象像素决定方法对应于图像信号的生成方法切换的例子。

图8是表示本发明的实施方式2的滤波对象像素决定方法的一例的流程图。

首先，滤波对象像素决定部102检查与块边界邻接的两个块的像素值是否通过帧内预测被编码（步骤S40X）。这里，在与块边界邻接的两个块中的至少一个块通过帧内预测被编码的情况下（步骤S40X中是），滤波对象像素决定部102决定对像素p2、像素p1、像素p0、像素q0、像素q1、及像素q2进行滤波处理（步骤S400）。即，滤波对象像素决定部102将像素p2、像素p1、像素p0、像素q0、像素q1、及像素q2决定为滤波对象像素。

另一方面，在与块边界邻接的两个块的双方通过运动补偿预测被编码的情况下（步骤S40X中否），滤波对象像素决定部102使用块边界附近的像素p0、像素p1、像素q0、及像素q1分别计算图8所示的差值的绝对值DIFa、DIFb、及DIFc（步骤S401）。接着，滤波对象像素决定部102进行计算出的差值的绝对值DIFa、DIFb、及DIFc与通过预先决定的方法给出的阈值（例如，根据在编码、解码中使用的量化步长值决定的值）THa、及THb的比较（步骤S402）。

这里，另一方面，在步骤S402所示的3个条件中的任何一个条件不满足的情况下（步骤S402中否），滤波对象像素决定部102决定对包含在该处理线中的像素不进行滤波处理（步骤S411）。即，滤波对象像素决定部102将像素p2、像素p1、像素p0、像素q0、像素q1、及像素q2决定为滤波非对象像素。

另一方面，在步骤S402所示的3个条件全部满足的情况下（步骤S402中是），滤波对象像素决定部102决定执行对像素p0及像素q0的滤波处理（步骤S403）。即，滤波对象像素决定部102将像素p0及像素q0决定为滤波对象像素。接着，滤波对象像素决定部102使用块边界附近的像素p2、像素p0、像素q2、及像素q0，分别计算差值的绝对值DIFd及DIFe（步骤S404）。

接着，滤波对象像素决定部102进行计算出的差值的绝对值DIFd与通过预先决定的方法给出的阈值THb的比较（步骤S405）。这里，在满足步骤S405所示的条件的情况下（步骤S405中是），滤波对象像素决定部102决定执行对像素p1的滤波处理（步骤S406）。即，滤波对象像素决定部102将像素p1决定为滤波对象像素。

另一方面，在不满足步骤S405所示的条件的情况下（步骤S405中否），滤波对象像素决定部102决定对像素p1不进行滤波处理（步骤S407）。即，滤波对象像素决定部102将像素p1决定为滤波非对象像素。

接着，滤波对象像素决定部102进行计算出的差值的绝对值DIFe与通过预先决定的方法给出的阈值THb的比较（步骤S408）。这里，在满足步骤S408所示的条件的情况下（步骤S408中是），滤波对象像素决定部102决定执行对像素q1的滤波处理（步骤S409）。即，滤波对象像素决定部102将像素q1决定为滤波对象像素。

另一方面，在不满足步骤S408所示的条件的情况下（步骤S408中否），滤波对象像素决定部102决定对像素q1不进行滤波处理（步骤S410）。即，滤波对象像素决定部102将像素q1决定为滤波非对象像素。

滤波对象像素决定部102通过进行以上的处理，决定是否对像素q1、像素q0、像素p0、及像素p1分别执行滤波处理。

即，有关本实施方式的编码失真除去装置100通过进行上述处理，判断物体边界位于哪里，对于与物体边界对应的像素能够作出不做滤波处理的判断，能够防止物体边界通过滤波处理变成模糊的影像。

这里，以下示出判断是否是物体边界的、在实施方式1及2中记载的阈值THa及THb的决定方法的一例。该阈值在编码及解码双方中通过相同的方法决定。

通过编码发生的编码失***要由将差分信号进行量化处理而引起的。因此，在量化精度较低的情况下，编码失真大，在量化精度较高的情况下，量化失真小。因此，阈值THa及阈值THb例如可以使用在编码及解码中使用的表示量化的精度的值QP（QP越大，则量化精度为越低的值），通过（式1）决定。另外，设定为THa<Thb。

［数式1］

THa＝0y8·（2^{(Qp+OffsetA)/6}+1)

                                    (式1)

THb＝0.5·(QP+OffsetB)-7

这里，OffsetA及OffsetB是用于调整的值，也可以以流单位、帧单位或片单位记述在代码序列中。

另外，使用（式1）的阈值决定方法是一例。即，只要是能够以量化步骤值或QP值越大则阈值越大的方式决定阈值的式子，则使用怎样的式子决定阈值都可以。此外，也可以将具有用（式1）得到的值的表在编码装置及解码装置中管理，使得一边参照该表一边进行编码失真除去处理。此外，例如也可以将（式1）中的“0.8”、“0.5”的部分表示为变量a、b，将该变量a、b的值以流单位、帧单位或片单位记述在代码序列中。

通过这样，能够提高块边界上的像素值的变化是由物体边界带来的像素值的变化、还是由编码失真带来的像素值的变化的判断的精度。

接着，详细地说明对通过上述所示的方法决定的滤波对象像素进行滤波处理的方法。

如实施方式1所示，如果对例如图5（a）所示的原图像的图像信号进行块单位的编码处理，则如图5（b）所示，在块内部中平滑地连续变化，仅在块边界发生像素值不连续的块失真。所以，通过进行滤波处理，修正为如图5（c）所示像素值在块边界部上连续，能够降低由编码引起的块失真。

这里，将像素q1、像素q0、像素p0、像素p1的像素值分别设为q1、q0、p0、p1。此外，将对像素q1、像素q0、像素p0、像素p1的滤波处理后的像素q’1、像素q’0、像素p’0、像素p’1的像素值分别设为为q’1、q’0、p’0、p’1。在此情况下，滤波处理按照（式2）进行。

［数式2］

p′0＝c_0，0·p1+c_0，1·p0+c_0，2·q0+c_0，3·q1

p′1＝c_1，0·p2+c_1，1·p1+c_1，2·p0+c_1,3·q0

q′0＝c_0，0·q1+c_0，1·q0+c_0，2·p0+c_0，3·p1    (式2)

q′1＝c_1，0·q2+c_1，1·q1+c_1，2·q0+c_1，3·q1

c_0,0，c_0,1，c_0,2，c_0,3，c_1,0，c_1,1，c_1,2，c_1,3是滤波系数，例如用（式3）表示。

［数式3］

$\{c_{\mathrm{0,0}},c_{\mathrm{0,1}},c_{\mathrm{0,2}},c_{\mathrm{0,3}}\}=\{\frac{1}{8},\frac{1}{2},\frac{1}{2},-\frac{1}{8},\}$

(式3)

$\{c_{\mathrm{1,0}},c_{\mathrm{1,1}},c_{\mathrm{1,2}},c_{\mathrm{1,3}}\}=\{\frac{7}{16},\frac{3}{16},\frac{5}{16},\frac{1}{16}\}$

使用（式3）的滤波系数的滤波处理将图5（b）的信号平滑化为如图5（c）的信号。另外，关于滤波系数，并不限于（式3），例如也可以是如（式4）那样简单化的滤波系数。

［数式4］

$\{c_{\mathrm{0,0}},c_{\mathrm{0,1}},c_{\mathrm{0,2}},c_{\mathrm{0,3}}\}=\{\frac{1}{4},\frac{1}{4},\frac{1}{4},\frac{1}{4},\}$

(式4)

$\{c_{\mathrm{1,0}},c_{\mathrm{1,1}},c_{\mathrm{1,2}},c_{\mathrm{1,3}}\}=\{\frac{1}{4},\frac{1}{4},\frac{1}{4},\frac{1}{4}\}$

在（式4）的滤波系数的情况下，平滑化程度较强，原本包含在输入图像信号中的信息也有时会丢失，但能够大幅削减用于滤波处理的处理量。

另外，在滤波处理中使用的滤波系数既可以在编码侧和解码侧预先决定相同的值（例如（式3）的值），也可以以流单位、帧单位或片单位记录。此外，也可以一边将多种（例如（式3）、（式4））滤波系数适应性地切换一边进行滤波处理。

这样的滤波系数的切换也与滤波处理对象像素的决定同样，可以依存于量化精度。例如，在以较低的量化精度进行编码处理时，由于参照图像MC的分割边界的差较大，所以使用平滑化程度较强的滤波系数（例如（式4））进行滤波处理。另一方面，在以较高的量化精度进行编码时，为了不丢失原信号的信息，使用平滑化程度较低的滤波系数（例如（式3））进行滤波处理。由此，编码失真除去装置100能够有效地进行编码失真的除去，能够提高画质。

如上所述，本实施方式的编码失真除去装置100通过进行考虑到编码失真及物体边界的滤波对象像素的决定及滤波处理，能够有效地除去编码失真。

另外，这里说明了对滤波对象像素在块边界的两侧的各两个像素的滤波处理，但在对两侧的各3个像素进行滤波处理的情况下，通过增加滤波系数也同样能够实现。

（实施方式3）

接着，对本发明的实施方式3进行说明。在本实施方式中，对滤波对象像素决定方法的另一例进行说明。进而，关于本实施方式的编码失真除去方法的效果，与以往的方法（HM 0.9software（http：//hevc.kw.bbc.co.uk/trac/browser/tags/0.9））比较来说明。另外，以下只要没有特别说明，则决定处理由滤波对象像素决定部进行、滤波处理由滤波处理部进行。

图9是表示本发明的实施方式3的垂直边界部的图。以下，将垂直边界部的左侧的像素的集合表示为“A”，将右侧的像素的集合表示为“B”。此外，在水平边界部的情况下，将水平边界部的上侧的像素的集合表示为“A”，将下侧的像素的集合表示为“B”。

这里，以下说明在各边界部进行的决定处理及滤波处理。

首先，计算是否满足（式5）的条件。

［数式5］

|p2₂-2·p1₂+p0₂|+|q2₂-2·q1₂+q0₂|+|p2₅-2·p1₅+p0₅|+|q2₅-2·q1₅+q0₅|＜β

                                                                (式5)

另外，将作为（式5）的左边的第一部分的（式6）的计算处理（决定处理），在垂直边界的情况下表示为d_1，v，在水平边界的情况下表示为d_1，h。此外，将作为（式5）的左边的第二部分的（式7）的计算处理（决定处理），在垂直边界的情况下表示为d_2，v，在水平边界的情况下表示为d_2，h。

［数式6］

|p2₂-2·p1₂+p0₂|+|q2₂-2·q1₂+q0₂|    (式6)

［数式7］

|p2₅-2·p1₅+p0₅|+|q2₅-2·q1₅+q0₅|    (式7)

这里，在（式5）是真的情况下，决定为对该边界部进行滤波处理。进而，在构成边界部的8个线（i=0～7）的各自中，进行用来决定使用所谓的强滤波和所谓的弱滤波的哪种滤波执行滤波处理的决定处理。该决定处理通过计算（式8）来进行。

［数式8］

d＜(β＞＞2)and(|p3_i-p0_i|+|q0_i-q3_i|)＜(β＞＞3)and|p0_i-q0_i|＜((5·t_c+1)＞＞1)

                                                                        (式8)

另外，在（式8）是真的情况下采用强滤波，否则采用弱滤波。另外，将（式8）的各线中的计算处理（决定处理），在垂直边界的情况下表示为D_i，v，在水平边界的情况下表示为D_i，h。

在弱滤波及强滤波中的、以下的（式9）所示的弱滤波的滤波处理中，在大部分中要求逐次的处理。

［数式9］

Δ＝Clip(-t_c，t_c，(13·(q0_i-p0_i)+4·(q1_i-p1_i)-5·(q2_i-p2_i)+16)＞＞5)

                                                                    (式9)

${p1}_i=\mathrm{Clip}(\mathrm{0,255},{p1}_i+\frac{\mathrm{\&Delta;}}{2})$

另外，将这样的滤波处理在垂直边界的情况下表示为F_i，v，在水平边界的情况下表示为F_i，h。

接着，关于上述决定处理及滤波处理（d_1，v、d_1，h、d_2，v、d_2，h、D_i，v、D_i，h、F_i，v、及F_i，h），对在以往的编码失真除去方法的情况和本实施方式的编码失真除去方法的情况下的关键路径中的顺序处理的数量进行比较来说明。另外，以下将作为处理单位的块的尺寸设为8×8像素进行说明。

在以往的编码失真除去方法的情况下，在决定处理及滤波处理中，如以下这样需要6个逐次的步骤。

1.决定处理d_1，v、d_2，v及d_2，h的执行

2.决定处理的D_i，v（i=1～8）的执行

3.滤波处理F_i，v（i=1～8）的执行

4.决定处理d_1，h的执行

5.决定处理的D_i，h（i=1～8）的执行

6.滤波处理F_i，h（i=1～8）的执行

图10是用来说明以往的编码失真除去方法中的6个逐次的步骤的图。在图10中，右下的块是当前块，其他块是前面块。这里，对右下的块与左下的块之间的垂直边界、和右下的块与右上的块之间的水平边界实施编码失真除去处理。另外，在图10（a）～（f）的各自中，用虚线包围的区域表示为了执行各处理而使用的像素。

这里，对决定处理或滤波处理内的顺序处理的数量进行说明。

图11A是用来说明决定处理d_1，v内的顺序处理的数量的图。如图11A所示，在决定处理d_1，v中，需要4个顺序处理。此外，决定处理d_1，h、d_{2， v}，及d_2，h也同样实现。并且，要求加法处理d_1，v+d_2，v与对β的比较处理这两个追加的顺序处理。

图11B是用来说明决定处理D_i，v内的顺序处理的数量的图。如图11B所示，决定处理D_i，v通过6个顺序处理实现。决定处理D_i，h也同样实现。

图11C是用来说明滤波处理F_i，v内的顺序处理的数量的图。如图11C所示，滤波处理F_i，v通过10个顺序处理实现。决定处理F_i，h也同样实现。

图12是表示以往的编码失真除去方法中的各处理的依存关系与关键路径中的顺序处理的数量的图。具体而言，在图12中，示出了多个决定处理及多个滤波处理间的依存关系。这里，通过在必须的各处理中将顺序处理的数量合计，可知在关键路径中合计有44个顺序处理。

以上，如使用图10～图12说明那样，在以往的编码失真除去方法中，对垂直边界的决定处理及滤波处理、和对水平边界的决定处理及滤波处理相互具有依存关系。因为这些依存关系而不能并行执行的处理变多。结果，关键路径中的顺序处理的数量变多。即，在以往的编码失真除去方法中，难以通过处理的并行化来缩短处理时间。

接着，说明在本实施方式的编码失真除去方法中能够比以往削减关键路径中的顺序处理的数量。

在本实施方式的编码失真除去方法中，基于滤波处理前的图像信号，进行全部的决定处理d_1，v、d_1，h、d_2，v、d_2，h、D_i，v、及D_i，h。由此，能够消除由关键路径中的顺序处理的增大引起的依存关系。

具体而言，在本实施方式的编码失真除去方法的情况下，在决定处理及滤波处理中，如以下这样仅需要4个逐次的步骤。

1.决定处理d_1，v、d_2，v、d_1，h及d_2，h的执行

2.决定处理的D_i，v（i=1～8）及D_i，h（i=1～8）的执行

3.滤波处理F_i，v（i=1～8）及F_i，h（i=1～4）的执行

4.滤波处理F_i，h（i=5～8）的执行

图13是用来说明本发明的实施方式3的编码失真除去方法中的4个逐次的步骤的图。如图13所示，全部的决定处理d_1，v、d_1，h、d_2，v、d_2，h、D_{i， v}及D_i，h基于滤波处理前的信号进行。因而，决定处理d_1，v、d_1，h、d_2，v及d_2，h间的依存关系、和D_i，v及D_i，h间的依存关系被消除，能够并行进行的处理增加。

图14是表示本发明的实施方式3的编码失真除去方法中的各处理的依存关系和关键路径中的顺序处理的数量的图。如图14所示，在有关本实施方式的编码失真除去方法中，关键路径中的顺序处理的数量从以往的44到仅32，减少约30%。

（实施方式4）

接着，对本发明的实施方式4进行说明。

在上述实施方式1～3中，说明了使用包含在当前的块中的像素的滤波处理前的像素值决定滤波处理对象像素的编码失真除去装置。在本实施方式中，说明关于在与当前的块邻接的已处理块中包含的像素也使用滤波处理前的像素值决定滤波处理对象像素的编码失真除去装置。

这里，在对本实施方式的编码失真除去装置进行说明之前，对层级化的处理单位（多层级块构造）进行说明。

首先，对在JCT－VC（Joint Collaborative Team on Video Coding）之下研究的图像编码标准进行说明。所谓JCT－VC，是ITU－T（国际电气通信联盟电气通信标准化部门：International Telecommunication Union-Telecommunication Stadardization Sector）与MPEG（Moving Picture ExpertsGroup：动态图像专家组）的共同小组。

在JCT－VC中，将集合了从各公司提案的工具中的、被图像编码标准采用的可能性高的技术的技术群称作TMuC（Test Model UnderConsideration）。将这样的技术群的文件及软件作为TMuC备齐。

作为该TMuC的基本技术之一，有层级化的处理单位（多层级块构造）的技术。处理单位分割为多个较小的处理单位，该较小的处理单位再分割为多个更小的处理单位，如此被层级化。另外，处理单位越小，该处理单位所处的层级越深而处于越下级，表示该层级的值越大。反之，处理单位越大，该处理单位所处的层级越浅而处于越上级，表示该层级的值越小。

图15是用来说明层级化的处理单位（多层级块构造）的图。处理单位中有CU（编码单位：Coding Unit）、PU（预测单位：Prediction Unit）和TU（变换单位：Transform Unit）。图片被分割为多个片，一个片包括一系列的LCU（最大编码单位：Largest Coding Unit）。

LCU是在片内许可的最大尺寸的CU。LCU具有各种尺寸（例如，16×16像素、32×32像素、64×64像素等）。LCU的位置由最大编码单位地址“lcuAddr”确定。

CU具有各种尺寸（例如，8×8像素、16×16像素等），是相当于以往的宏块的单位。CU被递归地分割为4个CU。CU的位置由表示与位于LCU的左上的像素的相对的位置关系的编码单位索引“cuIdx”确定。

PU是帧间预测处理的基本单位。PU的尺寸是与CU的尺寸相同或比其小的尺寸。PU的位置由表示与位于CU的左上的像素的相对的位置关系的预测单位索引“puIdx”确定。

此外，PU具有多个分区（partition）。该分区可以设为预先决定的任意的形状（例如，16×16像素、16×8像素、8×16像素等）。分区的位置预先由表示分区的形状的模式信息“partMode（PUType）”确定。

TU是正交变换处理及量化处理的基本单位。TU的尺寸是与PU相同的尺寸、或比PU小一层级的尺寸。TU的位置由表示与位于PU的左上的像素的相对的位置关系的变换单位索引“tuIdx”确定。

图16A是表示LCU的处理顺序的一例的图。此外，图16B是表示LCU内的CU的处理顺序的一例的图。在图16A及图16B中，在处理单位内记载的数字表示处理顺序。当以这样的处理顺序对各单元进行处理时，对CU、PU或TU的垂直边界及水平边界实施编码失真除去处理。

图16C是表示实施编码失真除去处理的处理边界的一例的图。在图16C中，示出了与包含在CU中的4个TU的各个处理边界对应的4个垂直边界v1～v4和4个水平边界h1～h4。

对垂直边界的编码失真除去处理从上到下、接着从左到右的顺序处理。此外，对水平边界的编码失真除去处理从左到右、接着从上到下的顺序处理。

根据如上所述的层级化的处理单位，对有关本实施方式的编码失真除去装置进行说明。

图17是表示本发明的实施方式4的编码失真除去装置的功能结构的模块图。

编码失真除去装置700除去第一处理边界及第二处理边界上的编码失真，该第一处理边界及第二处理边界分别是图像信号的处理边界，并且是相互不同的方向的处理边界。如图17所示，编码失真除去装置700具备滤波对象像素决定部701、存储控制部702和滤波处理部703。

另外，在本实施方式中，图像信号是基于第一处理单位和通过将该第一处理单位分割而得到的第二处理单位编码的图像信号。第一处理单位例如是LCU，第二处理单位例如是CU。

滤波对象像素决定部701按每个第二处理单位，基于该第二处理单位的处理边界的邻接像素的像素值决定针对该处理边界的滤波对象像素。此时，滤波对象像素决定部701从存储部710读出邻接像素中的包含在已处理的第二处理单位中的像素的像素值。另外，在存储部710中存储有滤波处理前的像素值。即，滤波对象像素决定部701对于包含在处理中的第二处理单位中的邻接像素和包含在已处理的第二处理单位中的邻接像素双方，基于滤波处理前的像素值决定滤波对象像素。

存储控制部702控制从存储部710的数据的读出和向存储部710的数据的写入。在本实施方式中，存储控制部702在当前的第二处理单位和下一个第二处理单位包含在相互不同的第一处理单位中的情况下，在滤波对象像素的决定被进行之后，将存储在存储部710中的像素值决定为可删除。另外，第二处理单位是通过将第一处理单位分割而得到的处理单位。

滤波处理部703对由滤波对象像素决定部701决定的滤波对象像素进行滤波处理。

接着，对如以上那样构成的编码失真除去装置700的各种动作进行说明。以下，以第一处理单位是LCU、第二处理单位是CU的情况为一例进行说明。另外，在本实施方式的编码失真除去方法中，并不一定需要是这样的处理单位，例如，也可以是，第一处理单位是CU，第二处理单位是TU。

图18是表示本发明的实施方式4的编码失真除去装置的动作的流程图。该流程图按每个CU反复执行。此外，假设在开始前，在当前及前面块中包含的像素的像素值存储在存储部710中。

首先，滤波对象像素决定部701对垂直边界及水平边界决定滤波对象像素（步骤S701）。此时，滤波对象像素决定部701基于存储在存储部710中的滤波处理前的邻接像素的像素值决定滤波对象像素。

接着，存储控制部702判断当前的CU和下一个CU是否包含在同一LCU中（步骤S702）。即，存储控制部702判断下一个CU是否在当前的LCU内。

这里，在当前的CU和下一个CU包含在不同的LCU中的情况下（步骤S702中否），存储控制部702将存储在存储部710中的滤波处理前的像素值决定为可删除（步骤S703）。另一方面，在当前的CU和下一个CU包含在同一LCU中的情况下（步骤S702中是），存储控制部702将存储在存储部710中的滤波处理前的像素值原样保持。

接着，滤波处理部703对所决定的滤波对象像素进行滤波处理（步骤S705）。另外，滤波处理也可以在步骤S702之前执行。

这里，参照图16B和图19，更详细地说明编码失真除去方法。

图19是用来说明本发明的实施方式4的编码失真除去方法的图。在图19中，示出了对各CU进行各处理的定时。

例如，在对第4个CU进行逆变换处理后，滤波对象像素决定部701决定第一个CU与第4个CU之间的垂直边界的滤波对象像素，并且决定第二个CU与第4个CU之间的水平边界的滤波对象像素。

并且，存储控制部702将针对第一个CU与第4个CU之间的垂直边界决定为滤波对象像素的像素A（图16B）的像素值保存到存储部710中，该像素A的像素值是滤波处理前的像素值。

此外，存储控制部702将针对第4个CU与第5个CU之间的垂直边界决定为滤波对象像素的像素C（图16B）的像素值保存到存储部710中，该像素C的像素值是滤波处理前的像素值。

滤波对象像素决定部701基于这样保存在存储部710中的像素A及像素C的像素值，决定第4个及第5个CU与第16个CU之间的水平边界的滤波对象像素。

并且，由于当前的CU（第16个CU）和下一个CU包含在不同的LCU中，所以存储控制部702将包含在之前的CU（第4个及第5个CU）中的像素A及像素C的像素值决定为可删除。

如以上这样，根据本实施方式的编码失真除去装置700，关于包含在已处理的处理单位中的邻接像素，也能够使用滤波处理前的像素值决定滤波对象像素。由此，还能够实现损害图像信号的画质的可能性较小的编码失真除去处理。

此外，根据本实施方式的编码失真除去装置700，当包含处理中的第二处理单位的第一处理单位被切换时，能够将存储在存储部710中的、包含在已处理的第二处理单位中的像素的滤波处理前的像素值决定为可删除。这里，如果将第一处理单位设为较小的处理单位，则能够使用来存储滤波处理前的像素值的存储容量较小。另一方面，如果将第一处理单位设为较大的处理单位，则能够实现损害图像信号的画质的可能性更小的编码失真除去处理。

例如，在第一处理单位是图片的情况下，在决定针对图16A的第10个LCU的水平边界的滤波对象像素之前，第5个LCU的滤波处理前的像素值存储在存储部中。即，至少需要将图片的1个线量的滤波处理前的像素值存储到存储部中，所以虽然存储部的存储容量增大，但损害图像信号的画质的可能性变得更小。

另一方面，在第一处理单位是LCU的情况下，对于包含在第5个LCU中的像素的像素值，使用滤波处理后的像素值来决定针对第10个LCU的水平边界的滤波对象像素。即，虽然能够削减存储部的存储容量，但损害图像信号的画质的可能性变高。

（实施方式5）

在本实施方式中，对能够实现实施方式1～4的任一个表示的编码失真除去方法的编码装置进行说明。

图20A是表示本发明的实施方式5的编码装置的模块图。如图20A所示，编码装置800具备差分部801、变换·量化部802、逆量化·逆变换部803、加法部804、编码失真除去部805、参照图片用存储器806、帧内预测部807、运动补偿预测部808、运动检测部809、开关810、可变长编码部811。参照图片用存储器806也可以以连接在编码装置800上的外部存储器的形式构成。

变换·量化部802是编码部的一例。此外，逆量化·逆变换部803及加法部804是重构部的一例。

输入图像输入到编码装置800中。假设在参照图片用存储器806中，已经存储有已编码图像的解码图像，将其作为将输入图像编码时的参照图片使用。

差分部801取通过后述的方法生成的预测图像PR与输入图像的差分，将计算出的差分图像对变换·量化部802输出。变换·量化部802对输入的差分图像实施变换、量化处理，将量化信号QD对逆量化·逆变换部803和可变长编码部811输出。逆量化·逆变换部803对输入的信号QD实施逆量化·逆变换处理，对加法部804输出。加法部804将从逆量化·逆变换部取得的信号与预测图像PR相加，对编码失真除去部805输出。

这里，编码失真除去部805作为在实施方式1～4的任一个中说明的编码失真除去装置进行动作。

编码失真除去部805对输入的信号实施编码失真除去处理，并作为已编码图像的解码图像而向参照图片用存储器806输出。

预测图像PR的生成，大体分为运动补偿预测和帧内预测，由开关810切换。

对通过帧内预测来生成预测图像PR的情况进行说明。帧内预测部807从参照图片用存储器806取得参照图片，根据所取得的参照图片通过预先决定的方法（例如，将邻接的像素在水平或垂直方向上拉伸）生成帧内预测图像，向开关810的“a”输出。在通过开关810选择了“a”情况下，帧内预测图像作为参照图像PR而用于编码。

对通过运动补偿预测来生成预测图像PR的情况进行说明。运动检测部809从参照图片检测与作为输入图像的编码对象的块对应的区域，将表示位置的运动信息MV向运动补偿预测部808和可变长编码部811输出。另外，检测的方法可以使用输入图像与参照图片内的检测对象图像的差分和以及与运动信息MV的加权和等，在此情况下，只要输出预先决定的参照图片内的区域（例如水平32像素、垂直16像素内）中的取最小值的运动信息MV就可以。

运动补偿预测部808取出由所取得的运动信息MV所示的参照图片内的图像，并作为运动补偿预测图像向开关810的“b”输出。

在开关810中，通过预先决定的方法切换对于预测图像PR使用帧内预测图像还是运动补偿预测图像。例如，也可以将输入图像与帧内预测图像的差分和、以及输入图像与运动补偿预测图像的差分和进行比较，使用差分和小的一方作为预测图像PR。将预测图像PR的生成方法的信息作为预测图像生成信息CI向可变长编码部811输出。

可变长编码部811对量化信号QD、运动信息MV、和预测图像生成信息CI实施可变长编码处理，作为代码序列BS输出。

通过采用这样的结构，能够在图像编码装置中实现实施方式1中说明的编码失真方法。由此，能够生成编码失真较小的参照图像，能够使差分信号变小、削减代码量。

（实施方式6）

在本实施方式中，对能够实现实施方式1～4中的任一个所示的编码失真除去方法的解码装置进行说明。

图20B是表示本发明的实施方式6的解码装置的模块图。如图20B所示，解码装置900具备可变长解码部901、逆量化·逆变换部902、加法部903、编码失真除去部904、参照图片用存储器905、帧内预测部906、运动补偿预测部907、开关908。参照图片用存储器905也可以以连接在解码装置900上的外部存储器的形式构成。可变长解码部901及逆量化·逆变换部902是解码部的一例。

这里，假设在参照图片用存储器905中，已经存储有已解码的图像，该已解码的图像被用作将输入图像解码时的参照图片。

代码序列BS输入到解码装置900中。可变长解码部901对代码序列BS进行可变长解码，取得预测图像生成信息CI、运动信息MV和量化信号QD，分别向开关908、运动补偿预测部907、逆量化·变换部902输出。逆量化·逆变换部902对量化信号QD实施逆量化·逆变换处理作为差分信号，向加法部903输出。加法部903将差分信号与后述的预测图像PR相加，向编码失真除去部904输出。

这里，编码失真除去部904作为在实施方式1～4的任一个中说明的编码失真除去装置进行动作。

编码失真除去部904对输入的信号实施编码失真除去处理，并作为已解码图像向参照图片用存储器905输出。

另外，关于预测图像PR的生成方法，基于预测图像生成信息CI，与在实施方式2中示出的编码装置同样，基于从参照图片用存储器905取得的参照图片，由帧内预测部906、或者由运动信息MV和运动补偿预测部907生成。

通过采用这样的结构，能够在图像解码装置中实现实施方式1中说明的编码失真方法。由此，在编码装置中，能够将实施了编码失真方法的代码序列正确地解码。

另外，对于没有实施在实施方式1中说明的编码失真方法的代码序列，通过将图20B所示的解码装置的结构变形，能够对解码图像实现编码失真方法。

将图20B的加法部903的输出值不是向编码失真除去部904输出，而是向参照图片用存储器905输出。另一方面，采用编码失真除去部不向参照图片用存储器905输出、而仅作为解码图像来输出的结构，动作与上述动作相同。

通过采用这样的结构，由编码失真除去部904处理的图像不会被用作参照图片，所以能够与编码装置同样生成参照图像PR，能够正确地将代码序列解码，还能够对输出图像（解码图像）使用解码失真除去方法，所以能够减少编码失真。

以上，基于实施方式1～6对编码失真除去方法进行了说明，但本发明的一形态的编码失真除去方法并不限定于这些实施方式。例如，本发明的一形态的编码失真除去方法也可以是包括如图20C所示的各步骤的方法。

图20C是表示本发明的一形态的编码失真除去方法的一例的流程图。在图20C中，首先，至少基于与第一处理边界邻接的第一邻接像素的像素值，决定成为对第一处理边界的编码失真除去处理的对象的第一对象像素（步骤S11）。进而，至少基于与第二处理边界邻接的第二邻接像素的像素值，决定成为对第二处理边界的编码失真除去处理的对象的第二对象像素（步骤S12）。

接着，对所决定的第一对象像素进行编码失真除去处理（步骤S13）。接着，对所决定的第二对象像素进行编码失真除去处理（步骤S14）。

另外，本发明也可以实现为具备下述处理部的编码失真除去装置，该处理部执行包含在图20C所示的编码失真除去方法中的各步骤的处理。

（实施方式7）

通过将用来实现上述各实施方式所示的动态图像编码方法或动态图像解码方法的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机***中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的动态图像编码方法及动态图像解码方法的应用例和使用它的***。

图21是表示实现内容分发服务的内容供给***ex100的整体结构的图。将通信服务的提供区分割为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给***ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA（PersonalDigital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给***ex100并不限定于图21那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division Multiple Access）方式、W－CDMA（Wideband－Code Division Multiple Access）方式、或LTE（Long Term Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（PersonalHandyphone System）等，是哪种都可以。

在内容供给***ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD－ROM、软盘、硬盘等）中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

如以上这样，在内容供给***ex100中，客户端能够接收编码的数据而再现。这样，在内容供给***ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给***ex100的例子，如图22所示，在数字广播用***ex200中也能够装入上述实施方式的至少动态图像编码装置（图像编码装置）或动态图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或***中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。

图23是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理不ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免***的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图24中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。***控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由***控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。***控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

在图25中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用***ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外，车载导航仪ex211的结构可以考虑例如在图23所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图26（a）是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图26（b）对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用***ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的代码数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、***中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式8）

也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的动态图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图27是表示复用数据的结构的图。如图27所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的一个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的动态图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图28是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图29更详细地表示在PES包序列中怎样保存视频流。图29的第一段表示视频流的视频帧序列。第二段表示PES包序列。如图29的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（PresentationTime-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图30表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图30下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival Time Clock）与作为PTS及DTS的时间轴的STC（System TimeClock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图31是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图32所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图32所示，由***速率、再现开始时刻、再现结束时刻构成。***速率表示复用数据的向后述的***目的地解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为***速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图33所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图34中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的动态图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、***中。

（实施方式9）

在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图35中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成一个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、***LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field ProgrammableGate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式10）

在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图36表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图35的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图35的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式8中记载的识别信息。关于识别信息，并不限定于在实施方式8中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图38所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图37表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式11）

在电视机、便携电话等上述的设备、***中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图39（a）的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4－AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在逆量化方面具有特征，因此可以考虑例如对于逆量化使用专用的解码处理部ex901，对于除此之外的熵解码、解块滤波、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图39（b）的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

工业实用性

使用本发明的一个方式的编码失真除去方法的编码方法及解码方法能够在维持在以往的编码失真除去方法中有时会丢失的物体边界的状态下通过编码失真的除去来进行，由此具有能够大幅提高解码图像的画质的效果，能够在储存、传送、通信等各种用途中使用。例如，能够利用于电视机、数字视频记录机、汽车导航仪、便携电话、数字照相机、数字摄像机等的高分辨率的信息显示设备或摄像设备，利用价值较高。

标号说明

100、600、700编码失真除去装置

102、701、1002滤波对象像素决定部

103、603滤波候选信息保持部

101、104、105、107、604、606、810、908、1001、1004开关

106、605、703、1003滤波处理部

601第一滤波对象像素决定部

602第二滤波对象像素决定部

800编码装置

801差分部

802变换·量化部

803、902逆量化·逆变换部

804、903加法部

805、904编码失真除去部

806、905参照图片用存储器

807、906帧内预测部

808、907运动补偿预测部

809运动检测部

811可变长编码部

900解码装置

901可变长解码部

Claims (10)

1.一种编码失真除去方法，除去第一处理边界及第二处理边界的编码失真，上述第一处理边界及第二处理边界分别是图像信号的处理边界、并且是相互不同的方向的处理边界，该编码失真除去方法包括：

第一决定步骤，至少基于与上述第一处理边界邻接的第一邻接像素的像素值，决定第一对象像素，该第一对象像素成为对上述第一处理边界的编码失真除去处理的对象；

第一除去步骤，对所决定的上述第一对象像素进行编码失真除去处理；

第二决定步骤，至少基于与上述第二处理边界邻接的第二邻接像素的像素值，决定第二对象像素，该第二对象像素成为对上述第二处理边界的编码失真除去处理的对象；以及

第二除去步骤，对所决定的上述第二对象像素进行编码失真除去处理；

在上述第二决定步骤中，基于由上述第一除去步骤进行编码失真除去处理之前的上述第二邻接像素的像素值，决定上述第二对象像素。

2.如权利要求1所述的编码失真除去方法，

上述第一决定步骤和上述第二决定步骤并行地执行。

3.如权利要求1或2所述的编码失真除去方法，

上述第一决定步骤、上述第一除去步骤、上述第二决定步骤及上述第二除去步骤按每个处理单位执行，该处理单位包含构成上述图像信号的至少一个像素；

下述像素值存储在存储部中，该像素值是包含在已处理的处理单位中的像素的像素值、并且是进行编码失真除去处理之前的像素值；

在上述第二决定步骤中，从上述存储部读出上述第二邻接像素中的包含在已处理的处理单位中的像素的像素值，基于读出的像素值决定上述第二对象像素。

4.如权利要求3所述的编码失真除去方法，

上述图像信号是基于第一处理单位和第二处理单位进行编码而得到的图像信号，上述第二处理单位是通过将上述第一处理单位分割而得到的处理单位；

上述第一决定步骤、上述第一除去步骤、上述第二决定步骤及上述第二除去步骤按每个上述第二处理单位执行；

上述编码失真除去方法还包括：

存储控制步骤，在当前的第二处理单位和下一个第二处理单位包含在相互不同的第一处理单位中的情况下，在进行上述第二决定步骤之后，将存储在上述存储部中的上述像素值决定为可删除。

5.如权利要求1～4中任一项所述的编码失真除去方法，

在上述第一决定步骤中，在上述第一邻接像素的像素值间的差值的绝对值小于阈值的情况下，将上述第一邻接像素决定为上述第一对象像素；

在上述第二决定步骤中，在上述第二邻接像素的像素值间的差值的绝对值小于阈值的情况下，将上述第二邻接像素决定为上述第二对象像素。

6.一种解码方法，从代码序列解码出图像，包括：

解码步骤，从上述代码序列解码出图像信号；以及

编码失真除去步骤，使用权利要求1～5中任一项所述的编码失真除去方法，除去在上述解码步骤中解码出的图像信号的编码失真。

7.一种编码方法，将图像编码，包括：

编码步骤，将图像编码；

重构步骤，从由上述编码步骤编码后的图像，重构图像信号；以及

编码失真除去步骤，使用权利要求1～5中任一项所述的编码失真除去方法，除去由上述重构步骤重构的图像信号的编码失真；

在上述编码步骤中，参照由上述编码失真除去步骤除去编码失真后的图像信号，将上述图像编码。

8.一种编码失真除去装置，除去第一处理边界及第二处理边界的编码失真，上述第一处理边界及第二处理边界分别是图像信号的处理边界、并且是相互不同的方向的处理边界，该编码失真除去装置具备：

第一决定部，至少基于与上述第一处理边界邻接的第一邻接像素的像素值，决定第一对象像素，该第一对象像素成为对上述第一处理边界的编码失真除去处理的对象；

第一除去部，对所决定的上述第一对象像素进行编码失真除去处理；

第二决定部，至少基于与上述第二处理边界邻接的第二邻接像素的像素值，决定第二对象像素，该第二对象像素成为对上述第二处理边界的编码失真除去处理的对象；以及

第二除去部，对所决定的上述第二对象像素进行编码失真除去处理；

上述第二决定部基于由上述第一除去部进行编码失真除去处理之前的上述第二邻接像素的像素值，决定上述第二对象像素。

9.一种解码装置，从代码序列解码出图像，具备：

解码部，从上述代码序列解码出图像信号；以及

权利要求8所述的编码失真除去装置；

上述编码失真除去装置除去由上述解码部解码后的图像信号的编码失真。

10.一种编码装置，将图像编码，具备：

编码部，将图像编码；

重构部，从由上述编码部编码后的图像，重构图像信号；以及

权利要求8所述的编码失真除去装置；

上述编码失真除去装置除去由上述重构部重构的图像信号的编码失真；

上述编码部参照由上述编码失真除去装置除去编码失真后的图像信号，将上述图像编码。

Images