CN114173117B - 编码方法、解码方法及发送方法 - Google Patents

编码方法、解码方法及发送方法 Download PDF

Info

Publication number
CN114173117B
CN114173117B CN202111528019.XA CN202111528019A CN114173117B CN 114173117 B CN114173117 B CN 114173117B CN 202111528019 A CN202111528019 A CN 202111528019A CN 114173117 B CN114173117 B CN 114173117B
Authority
CN
China
Prior art keywords
block
filter
pixel
unit
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111528019.XA
Other languages
English (en)
Other versions
CN114173117A (zh
Inventor
加纳龙一
西孝启
远间正真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN202111528019.XA priority Critical patent/CN114173117B/zh
Publication of CN114173117A publication Critical patent/CN114173117A/zh
Application granted granted Critical
Publication of CN114173117B publication Critical patent/CN114173117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Error Detection And Correction (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请提供编码方法、解码方法及发送方法。编码方法决定是否对第1块与相邻的第2块之间的边界进行滤波，在决定为进行滤波时，利用限制处理将第1、第2块中的沿着相交于边界的线排列的多个像素的值，以各个值的滤波前后的变化量不超过各个限制幅度的方式进行变更，第1、第2块中的多个像素的各个限制幅度是基于第1、第2块的块尺寸而非对称地选择的，第1块的多个像素包括位于第1位置的第1像素，第2块的多个像素包括位于相对于边界与第1位置对应的第2位置的第2像素，限制幅度包括分别与第1、第2像素对应的第1、第2限制幅度，第1、第2限制幅度是非零的不同的值，当第1块大于第2块的情况下，第1限制幅度大于第2限制幅度。

Description

编码方法、解码方法及发送方法
本申请是申请日为2017年12月21日、申请号为201780080129.X、发明名称为“编码装置、解码装置、编码方法及解码方法”的发明专利申请的分案。
技术领域
本发明涉及编码装置、解码装置、编码方法及解码方法。
背景技术
被称作HEVC(High－Efficiency Video Coding)的影像编码标准规格由JCT－VC(Joint Collaborative Team on Video Coding)进行了标准化。
现有技术文献
非专利文献
非专利文献1：H.265(ISO/IEC 23008－2HEVC(High Efficiency Video Coding))
发明内容
发明要解决的课题
在这样的编码及解码技术中，被要求进一步的改善。
所以，本发明的目的是提供一种能够实现进一步的改善的编码装置、解码装置、编码方法或解码方法。
用来解决课题的手段
有关本发明的一技术方案的编码方法，决定是否对第1块与相邻于上述第1块的第2块之间的边界进行滤波，在决定为对上述边界进行滤波时，利用限制处理将上述第1块及上述第2块中的、沿着相交于上述边界的线排列的多个像素的值，以各个值的滤波前后的变化量不超过各个限制幅度的方式进行变更，上述第1块及上述第2块中的上述多个像素的上述各个限制幅度是基于上述第1块及上述第2块的块尺寸而非对称地选择的，上述第1块的多个像素包括位于第1位置的第1像素，上述第2块的多个像素包括位于第2位置的第2像素，上述第2位置相对于边界与上述第1位置对应，上述限制幅度包括与上述第1像素对应的第1限制幅度和与上述第2像素对应的第2限制幅度，上述第1限制幅度和上述第2限制幅度是非零的不同的值，当上述第1块大于上述第2块的情况下，上述第1限制幅度大于上述第2限制幅度。
有关本发明的一技术方案的解码方法，决定是否对第1块与相邻于上述第1块的第2块之间的边界进行滤波，在决定为对上述边界进行滤波时，利用限制处理将上述第1块及上述第2块中的、沿着相交于上述边界的线排列的多个像素的值，以各个值的滤波前后的变化量不超过各个限制幅度的方式进行变更，上述第1块及上述第2块中的上述多个像素的上述各个限制幅度是基于上述第1块及上述第2块的块尺寸而非对称地选择的，上述第1块的多个像素包括位于第1位置的第1像素，上述第2块的多个像素包括位于第2位置的第2像素，上述第2位置相对于边界与上述第1位置对应，上述限制幅度包括与上述第1像素对应的第1限制幅度和与上述第2像素对应的第2限制幅度，上述第1限制幅度和上述第2限制幅度是非零的不同的值，当上述第1块大于上述第2块的情况下，上述第1限制幅度大于上述第2限制幅度。
有关本发明的一技术方案的发送方法，其是比特流的发送方法，上述比特流包含用于决定是否使解码装置执行滤波处理的滤波信息，在决定为执行上述滤波处理的情况下，上述滤波处理包括以下处理：为了对第1块与相邻于上述第1块的第2块之间的边界进行滤波，利用限制处理将上述第1块及上述第2块中的、沿着相交于上述边界的线排列的多个像素的值，以各个值的滤波前后的变化量不超过各个限制幅度的方式进行变更，上述第1块及上述第2块中的上述多个像素的上述各个限制幅度是基于上述第1块及上述第2块的块尺寸而非对称地选择的，上述第1块的多个像素包括位于第1位置的第1像素，上述第2块的多个像素包括位于第2位置的第2像素，上述第2位置相对于边界与上述第1位置对应，上述限制幅度包括与上述第1像素对应的第1限制幅度和与上述第2像素对应的第2限制幅度，上述第1限制幅度和上述第2限制幅度是非零的不同的值，当上述第1块大于上述第2块的情况下，上述第1限制幅度大于上述第2限制幅度。
另外，这些包含性或具体的技术方案也可以由***、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由***、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
发明效果
本发明能够提供能够实现进一步的改善的编码装置、解码装置、编码方法或解码方法。
附图说明
图1是表示有关实施方式1的编码装置的功能结构的框图。
图2是表示实施方式1的块分割的一例的图。
图3是表示与各变换类型对应的变换基函数的表。
图4A是表示ALF中使用的滤波器的形状的一例的图。
图4B是表示ALF中使用的滤波器的形状的另一例的图。
图4C是表示ALF中使用的滤波器的形状的另一例的图。
图5A是表示帧内预测的67个帧内预测模式的图。
图5B是用来说明基于OBMC处理进行的预测图像修正处理的概要的流程图。
图5C是用来说明基于OBMC处理进行的预测图像修正处理的概要的概念图。
图5D是表示FRUC的一例的图。
图6是用来说明沿着运动轨迹的2个块之间的图案匹配(双向匹配)的图。
图7是用来说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的图。
图8是用来说明假定了等速直线运动的模型的图。
图9A是用来说明基于多个相邻块的运动矢量进行的子块单位的运动矢量的导出的图。
图9B是用来说明基于合并模式的运动矢量导出处理的概要的图。
图9C是用来说明DMVR处理的概要的概念图。
图9D是用来说明采用基于LIC处理的亮度修正处理的预测图像生成方法的概要的图。
图10是表示有关实施方式1的解码装置的功能结构的框图。
图11是有关实施方式1的去块滤波处理的流程图。
图12是表示有关实施方式1的块边界处的像素配置例的图。
图13是有关实施方式1的去块滤波处理的流程图。
图14是有关实施方式2的去块滤波处理的流程图。
图15是表示有关实施方式2的块内的像素位置与误差的关系的图。
图16是有关实施方式3的去块滤波处理的流程图。
图17是表示有关实施方式3的DCT－II的变换基的图。
图18是表示有关实施方式3的DST－VII的变换基的图。
图19是有关实施方式4的去块滤波处理的流程图。
图20是有关实施方式5的去块滤波处理的流程图。
图21是表示有关实施方式5的基于帧内预测方向和块边界的方向的权重的一例的图。
图22是有关实施方式6的去块滤波处理的流程图。
图23是表示有关实施方式6的基于量化参数的权重的一例的图。
图24是表示作为基的一例的DCT－II的图。
图25是表示作为基的一例的DST－VII的图。
图26是表示相互相邻的4个块的误差分布和对于它们的去块滤波处理后的误差分布的图。
图27是表示有关实施方式7的循环滤波部的主要的结构的框图。
图28是表示有关实施方式7的循环滤波部的概略性的处理动作的流程图。
图29是表示有关实施方式7的循环滤波部的详细的结构的框图。
图30是表示具有相对于块边界对称的滤波特性的去块滤波的例子的图。
图31是表示每个块尺寸的DCT－II的例子的图。
图32是表示每个块尺寸的DCT－V的例子的图。
图33是表示每个块尺寸的DCT－VIII的例子的图。
图34是表示每个块尺寸的DST－I的例子的图。
图35是表示每个块尺寸的DST－VII的例子的图。
图36是表示在实施方式7中决定的滤波系数的一例的图。
图37是表示在实施方式7中决定的滤波系数的其他例子的图。
图38是表示在实施方式7中决定的滤波系数的再其他例子的图。
图39是用来说明块尺寸与误差的关系的图。
图40是表示在实施方式7中决定的滤波系数的再其他例子的图。
图41是表示根据块尺寸而不同的基的梯度的图。
图42是表示有关各实施方式的编码装置的安装例的框图。
图43是表示有关各实施方式的解码装置的安装例的框图。
图44是实现内容分发服务的内容供给***的整体结构图。
图45是表示分级编码时的编码构造的一例的图。
图46是表示分级编码时的编码构造的一例的图。
图47是表示web页的显示画面例的图。
图48是表示web页的显示画面例的图。
图49是表示智能电话的一例的图。
图50是表示智能电话的结构例的框图。
具体实施方式
有关本发明的一技术方案的编码装置具备处理电路和存储器；上述处理电路使用上述存储器进行以下处理：按每个分别由多个像素构成的块，使用基，将该块变换为由多个变换系数构成的块；按每个由上述多个变换系数构成的块，对该块至少进行逆变换，由此重构由多个像素构成的块；基于重构后的相互相邻的2个块各自的变换中使用的基的组合，决定对于上述2个块的边界的滤波特性；进行具有所决定的上述滤波特性的去块滤波处理。
根据在相互相邻的2个块的变换中使用的基的组合，这2个块的边界附近的误差分布不同。例如，有时通过2个块的变换，在2个块中的一方块的边界附近发生较大的误差，在另一方块的边界附近发生较小的误差。另外，该误差是原图像或输入图像与重构图像的像素值的差。在这样的情况下，如果进行具有相对于其边界为对称的滤波特性的去块滤波处理，则较小误差的像素值有可能较大地受到较大误差的像素值的影响。即，有可能不能充分地抑制误差。所以，在有关本发明的一技术方案的编码装置中，基于在重构后的相互相邻的2个块各自的变换中使用的基的组合，决定对于这2个块的边界的滤波特性。由此，例如能够决定相对于该边界为非对称的滤波特性。结果，即使在如上述那样在2个块的边界附近在误差中有差异的情况下，也能够通过进行具有非对称的滤波特性的去块滤波处理，来提高抑制其误差的可能性。
此外，也可以是，上述处理电路在上述滤波特性的决定中，是处于在块的变换中使用的基的振幅越大的位置的像素，则对于该像素决定越小的滤波系数作为上述滤波特性。
例如，是处于基的振幅越大的位置的像素，则该像素的像素值具有越大的误差的可能性高。在有关本发明的一技术方案的编码装置中，对于该具有较大的误差的像素值的像素决定较小的滤波系数。因而，通过具有这样的滤波系数的去块滤波处理，能够进一步抑制该较大的误差的像素值对较小的误差的像素值带来的影响。即，能够进一步提高抑制误差的可能性。
此外，上述基的振幅也可以是0次基的振幅。
越低次的基，对误差带来的影响越大。因而，通过是处于0次基的振幅越大的位置的像素，则对于该像素决定越小的滤波系数，能够进一步提高抑制误差的可能性。
此外，也可以是，上述2个块由第1块、以及处于上述第1块的右侧或下侧的第2块构成；上述处理电路在上述滤波特性的决定中，在上述第1块的变换中使用的基是第1基、上述第2块的变换中使用的基是第2基的情况下，基于上述第1基及上述第2基，将对于上述第1块内的处于上述边界附近的像素的第1滤波系数和对于上述第2块内的处于上述边界附近的像素的第2滤波系数分别决定为上述滤波特性。例如，也可以是，上述处理电路在上述滤波特性的决定中，在上述第1基及上述第2基是DST(Discrete Sine Transforms，离散正弦变换)－VII的情况下，将比上述第1滤波系数大的上述第2滤波系数决定为上述滤波特性。
在第1基及第2基是DST－VII的情况下，在第1块的边界附近误差较大、在第2块的边界附近误差较小的可能性高。因而，在这样的情况下，通过决定比第1滤波系数大的第2滤波系数，并进行具有这些第1及第2滤波系数的去块滤波处理，能够提高适当地抑制其边界附近的误差的可能性。
此外，也可以是，上述处理电路在上述滤波特性的决定中，在上述第1基及上述第2基是DCT(Discrete Cosine Transforms，离散余弦变换)－II的情况下，将与上述第1滤波系数相等的上述第2滤波系数决定为上述滤波特性。
在第1基及上述第2基是DCT－II的情况下，在第1块的边界附近和第2块的边界附近误差相等的可能性高。因而，在这样的情况下，通过决定与第1滤波系数相等的第2滤波系数，并进行具有这些第1及第2滤波系数的去块滤波处理，能够提高适当地抑制其边界附近的误差的可能性。
此外，也可以是，上述处理电路在上述滤波特性的决定中，在上述第1基及上述第2基是DST(Discrete Sine Transforms)－VII、上述第2块的尺寸比上述第1块的尺寸小的情况下，将比上述第1滤波系数大的上述第2滤波系数决定为上述滤波特性；上述第1滤波系数与上述第2滤波系数之间的滤波系数的倾斜比上述第1块及上述第2块的尺寸相等的情况平缓。
在第1基及第2基是DST－VII、第2块的尺寸比第1块的尺寸小的情况下，在第1块的边界附近误差较大、在第2块的边界附近误差是中水平的可能性高。即，第1块与第2块的边界附近的误差分布具有平缓的梯度的可能性高。
在有关本发明的一技术方案的编码装置中，在这样的情况下，决定比第1滤波系数大的第2滤波系数，并进行具有这些第1及第2滤波系数的去块滤波处理。这里，决定的第1滤波系数与第2滤波系数之间的滤波系数的倾斜比第1块及第2块的尺寸相等的情况平缓。因而，即使第1块与第2块的边界附近的误差分布具有平缓的梯度，也能够提高适当地抑制其边界附近的误差的可能性。
此外，也可以是，上述处理电路在上述滤波特性的决定中，还基于上述第1块及上述第2块的基的组合，将对于上述第1块的第1阈值和对于上述第2块的第2阈值决定为上述滤波特性；在上述去块滤波处理中，通过对对象像素的像素值进行使用上述第1滤波系数及上述第2滤波系数的运算，取得上述对象像素的运算后的像素值；判定上述对象像素的从运算前的像素值向运算后的像素值的变化量是否比上述第1阈值及上述第2阈值中的上述对象像素所属的块的阈值大；在上述变化量比上述阈值大的情况下，将上述对象像素的运算后的像素值限制为上述对象像素的运算前的像素值与上述阈值的和或差。
由此，在对象像素的运算后的像素值的变化量比阈值大的情况下，其运算后的像素值被限制为运算前的像素值与阈值的和或差，所以能够抑制通过去块滤波处理而处理对象的像素值大幅变化。此外，对于第1块的第1阈值和对于第2块的第2阈值基于该第1块及第2块的基的组合而决定。因而，在第1块及第2块各自中，能够对处于基的振幅较大的位置的像素即误差较大的像素决定较大的阈值，对处于基的振幅较小的位置的像素即误差较小的像素决定较小的阈值。结果，能够许可通过去块滤波处理而误差较大的像素的像素值大幅变化，禁止误差较小的像素的像素值大幅变化。因而，能够进一步提高适当地抑制第1块及第2块的边界附近的误差的可能性。
此外，有关本发明的一技术方案的编码装置具备处理电路和存储器；上述处理电路使用上述存储器进行以下处理：基于第1块及与上述第1块相邻的第2块的块尺寸，决定对于上述第1块与上述第2块的边界的滤波特性；进行具有所决定的上述滤波特性的去块滤波处理。例如，也可以是，上述处理电路在上述滤波特性的决定中，将对于上述第1块内的处于上述边界附近的像素的第1滤波系数和对于上述第2块内的处于上述边界附近的像素的第2滤波系数分别作为上述滤波特性；在上述第2块的尺寸比上述第1块的尺寸小的情况下，将比上述第1滤波系数大的上述第2滤波系数决定为上述滤波特性。
由此，能够根据块尺寸的差异，决定例如相对于其边界为非对称的滤波特性。结果，即使在如上述那样在2个块的边界附近在误差中有差异的情况下，也能够通过进行具有非对称的滤波特性的去块滤波处理，来提高抑制其误差的可能性。
有关本发明的一技术方案的解码装置具备处理电路和存储器；上述处理电路使用上述存储器进行以下处理：按每个由多个变换系数构成的块，对该块至少进行逆变换，由此重构由多个像素构成的块，上述多个变换系数是通过使用基的变换而得到的；基于重构后的相互相邻的2个块各自的变换中使用的基的组合，决定对于上述2个块的边界的滤波特性；进行具有所决定的上述滤波特性的去块滤波处理。
根据在相互相邻的2个块的变换中使用的基的组合，这2个块的边界附近的误差分布不同。例如，有时通过2个块的变换，在2个块中的一方块的边界附近发生较大的误差，在另一方块的边界附近发生较小的误差。另外，该误差是原图像或输入图像与重构图像的像素值的差。在这样的情况下，如果进行具有相对于其边界为对称的滤波特性的去块滤波处理，则较小误差的像素值有可能较大地受到较大误差的像素值的影响。即，有可能不能充分地抑制误差。所以，在有关本发明的一技术方案的解码装置中，基于在重构后的相互相邻的2个块各自的变换中使用的基的组合，决定对于这2个块的边界的滤波特性。由此，例如能够决定相对于该边界为非对称的滤波特性。结果，即使在如上述那样在2个块的边界附近在误差中有差异的情况下，也能够通过进行具有非对称的滤波特性的去块滤波处理，来提高抑制其误差的可能性。
此外，也可以是，上述处理电路在上述滤波特性的决定中，是处于在块的变换中使用的基的振幅越大的位置的像素，则对于该像素决定越小的滤波系数作为上述滤波特性。
例如，是处于基的振幅越大的位置的像素，该像素的像素值具有越大的误差的可能性高。在有关本发明的一技术方案的解码装置中，对于该具有较大的误差的像素值的像素决定较小的滤波系数。因而，通过具有这样的滤波系数的去块滤波处理，能够进一步抑制该较大的误差的像素值对较小的误差的像素值带来的影响。即，能够进一步提高抑制误差的可能性。
此外，上述基的振幅也可以是0次基的振幅。
越低次的基，对误差带来的影响越大。因而，通过是处于0次基的振幅越大的位置的像素，则对于该像素决定越小的滤波系数，能够进一步提高抑制误差的可能性。
此外，也可以是，上述2个块由第1块和处于上述第1块的右侧或下侧的第2块构成；上述处理电路在上述滤波特性的决定中，在上述第1块的变换中使用的基是第1基、上述第2块的变换中使用的基是第2基的情况下，基于上述第1基及上述第2基，将对于上述第1块内的处于上述边界附近的像素的第1滤波系数和对于上述第2块内的处于上述边界附近的像素的第2滤波系数分别决定为上述滤波特性。例如，也可以是，上述处理电路在上述滤波特性的决定中，在上述第1基及上述第2基是DST(Discrete Sine Transforms)－VII的情况下，将比上述第1滤波系数大的上述第2滤波系数决定为上述滤波特性。
在第1基及第2基是DST－VII的情况下，在第1块的边界附近误差较大、在第2块的边界附近误差较小的可能性高。因而，在这样的情况下，通过决定比第1滤波系数大的第2滤波系数，并进行具有这些第1及第2滤波系数的去块滤波处理，能够提高适当地抑制其边界附近的误差的可能性。
此外，也可以是，上述处理电路在上述滤波特性的决定中，在上述第1基及上述第2基是DCT(Discrete Cosine Transforms)－II的情况下，将与上述第1滤波系数相等的上述第2滤波系数决定为上述滤波特性。
在第1基及上述第2基是DCT－II的情况下，在第1块的边界附近和第2块的边界附近误差相等的可能性高。因而，在这样的情况下，通过决定与第1滤波系数相等的第2滤波系数，并进行具有这些第1及第2滤波系数的去块滤波处理，能够提高适当地抑制其边界附近的误差的可能性。
此外，也可以是，上述处理电路在上述滤波特性的决定中，在上述第1基及上述第2基是DST(Discrete Sine Transforms)－VII、上述第2块的尺寸比上述第1块的尺寸小的情况下，将比上述第1滤波系数大的上述第2滤波系数决定为上述滤波特性；上述第1滤波系数与上述第2滤波系数之间的滤波系数的倾斜比上述第1块及上述第2块的尺寸相等的情况平缓。
在第1基及第2基是DST－VII、第2块的尺寸比第1块的尺寸小的情况下，在1的块的边界附近误差较大、在第2块的边界附近误差是中水平的可能性高。即，第1块与第2块的边界附近的误差分布具有平缓的梯度的可能性高。
在有关本发明的一技术方案的解码装置中，在这样的情况下，决定比第1滤波系数大的第2滤波系数，并进行具有这些第1及第2滤波系数的去块滤波处理。这里，决定的第1滤波系数与第2滤波系数之间的滤波系数的倾斜比第1块及第2块的尺寸相等的情况平缓。因而，即使第1块与第2块的边界附近的误差分布具有平缓的梯度，也能够提高适当地抑制其边界附近的误差的可能性。
此外，也可以是，上述处理电路在上述滤波特性的决定中，还基于上述第1块及上述第2块的基的组合，将对于上述第1块的第1阈值和对于上述第2块的第2阈值决定为上述滤波特性；在上述去块滤波处理中，通过对对象像素的像素值进行使用上述第1滤波系数及上述第2滤波系数的运算，取得上述对象像素的运算后的像素值；判定上述对象像素的从运算前的像素值向运算后的像素值的变化量是否比上述第1阈值及上述第2阈值中的上述对象像素所属的块的阈值大；在上述变化量比上述阈值大的情况下，将上述对象像素的运算后的像素值限制为上述对象像素的运算前的像素值与上述阈值的和或差。
由此，在对象像素的运算后的像素值的变化量比阈值大的情况下，其运算后的像素值被限制为运算前的像素值与阈值的和或差，所以能够抑制通过去块滤波处理而处理对象的像素值大幅变化。此外，对于第1块的第1阈值和对于第2块的第2阈值基于该第1块及第2块的基的组合而决定。因而，在第1块及第2块各自中，能够对处于基的振幅较大的位置的像素即误差较大的像素决定较大的阈值，对处于基的振幅较小的位置的像素即误差较小的像素决定较小的阈值。结果，能够许可通过去块滤波处理而误差较大的像素的像素值大幅变化，禁止误差较小的像素的像素值大幅变化。因而，能够进一步提高适当地抑制第1块及第2块的边界附近的误差的可能性。
此外，有关本发明的一技术方案的解码装置具备处理电路和存储器；上述处理电路使用上述存储器进行以下处理：基于第1块及与上述第1块相邻的第2块的块尺寸，决定对于上述第1块与上述第2块的边界的滤波特性；进行具有所决定的上述滤波特性的去块滤波处理。例如，也可以是，上述处理电路在上述滤波特性的决定中，将对于上述第1块内的处于上述边界附近的像素的第1滤波系数和对于上述第2块内的处于上述边界附近的像素的第2滤波系数分别作为上述滤波特性；在上述第2块的尺寸比上述第1块的尺寸小的情况下，将比上述第1滤波系数大的上述第2滤波系数决定为上述滤波特性。
由此，能够根据块尺寸的差异，决定例如相对于其边界为非对称的滤波特性。结果，即使在如上述那样在2个块的边界附近在误差中有差异的情况下，也能够通过进行具有非对称的滤波特性的去块滤波处理，来提高抑制其误差的可能性。
另外，这些包含性或具体的技术方案也可以由***、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由***、方法、集成电路、计算机程序及记录介质的任意的组合来实现。
以下，参照附图具体地说明实施方式。
另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例，不是限定权利要求的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素而进行说明。
(实施方式1)
首先，作为能够应用在后述的本发明的各形态中说明的处理及/或结构的编码装置及解码装置的一例，说明实施方式1的概要。但是，实施方式1只不过是能够应用在本发明的各形态中说明的处理及/或结构的编码装置及解码装置的一例，在本发明的各形态中说明的处理及/或结构在与实施方式1不同的编码装置及解码装置中也能够实施。
在对于实施方式1应用在本发明的各形态中说明的处理及/或结构的情况下，例如也可以进行以下中的某个。
(1)对于实施方式1的编码装置或解码装置，将构成该编码装置或解码装置的多个构成要素中的、与在本发明的各形态中说明的构成要素对应的构成要素，替换为在本发明的各形态中说明的构成要素；
(2)对于实施方式1的编码装置或解码装置，在对构成该编码装置或解码装置的多个构成要素中的一部分构成要素施以功能或实施的处理的追加、替换、删除等的任意的变更后，将与在本发明的各形态中说明的构成要素对应的构成要素替换为在本发明的各形态中说明的构成要素；
(3)对于实施方式1的编码装置或解码装置实施的方法，施以处理的追加、及/或对于该方法中包含的多个处理中的一部分处理施以替换、删除等的任意的变更后，将与在本发明的各形态中说明的处理对应的处理替换为在本发明的各形态中说明的处理；
(4)将构成实施方式1的编码装置或解码装置的多个构成要素中的一部分构成要素，与在本发明的各形态中说明的构成要素、具备在本发明的各形态中说明的构成要素所具备的功能的一部分的构成要素、或实施在本发明的各形态中说明的构成要素所实施的处理的一部分的构成要素组合而实施；
(5)将具备构成实施方式1的编码装置或解码装置的多个构成要素中的一部分构成要素所具备的功能的一部分的构成要素、或实施构成实施方式1的编码装置或解码装置的多个构成要素中的一部分构成要素所实施的处理的一部分的构成要素，与在本发明的各形态中说明的构成要素、具备在本发明的各形态中说明的构成要素所具备的功能的一部分的构成要素、或实施在本发明的各形态中说明的构成要素所实施的处理的一部分的构成要素组合而实施；
(6)对于实施方式1的编码装置或解码装置所实施的方法，将该方法中包含的多个处理中的与在本发明的各形态中说明的处理对应的处理，替换为在本发明的各形态中说明的处理；
(7)将在实施方式1的编码装置或解码装置所实施的方法中包含的多个处理中的一部分的处理与在本发明的各形态中说明的处理组合而实施。
另外，在本发明的各形态中说明的处理及/或结构的实施的方式并不限定于上述的例子。例如，也可以在以与实施方式1中公开的运动图像/图像编码装置或运动图像/图像解码装置不同的目的使用的装置中实施，也可以将在各形态中说明的处理及/或结构单独地实施。此外，也可以将在不同的形态中说明的处理及/或结构组合而实施。
[编码装置的概要]
首先，说明有关实施方式1的编码装置的概要。图1是表示有关实施方式1的编码装置100的功能结构的框图。编码装置100是将运动图像/图像以块单位进行编码的运动图像/图像编码装置。
如图1所示，编码装置100是将图像以块单位进行编码的装置，具备分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、块存储器118、循环滤波部120、帧存储器122、帧内预测部124、帧间预测部126和预测控制部128。
编码装置100例如由通用处理器及存储器实现。在此情况下，当保存在存储器中的软件程序被处理器执行时，处理器作为分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、循环滤波部120、帧内预测部124、帧间预测部126及预测控制部128发挥功能。此外，编码装置100也可以作为与分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、循环滤波部120、帧内预测部124、帧间预测部126及预测控制部128对应的专用的1个以上的电子电路实现。
以下，对编码装置100中包含的各构成要素进行说明。
[分割部]
分割部102将输入运动图像中包含的各图片分割为多个块，将各块向减法部104输出。例如，分割部102首先将图片分割为固定尺寸(例如128×128)的块。该固定尺寸的块有被称作编码树单元(CTU)的情况。并且，分割部102基于递归性的四叉树(quadtree)及/或二叉树(binary tree)块分割，将固定尺寸的各个块分割为可变尺寸(例如64×64以下)的块。该可变尺寸的块有被称作编码单元(CU)、预测单元(PU)或变换单元(TU)的情况。另外，在本实施方式中，不需要将CU、PU及TU区分，而也可以将图片内的一部分或全部的块作为CU、PU、TU的处理单位。
图2是表示实施方式1的块分割的一例的图。在图2中，实线表示基于四叉树块分割的块边界，虚线表示基于二叉树块分割的块边界。
这里，块10是128×128像素的正方形块(128×128块)。该128×128块10首先被分割为4个正方形的64×64块(四叉树块分割)。
左上方的64×64块再被垂直地分割为2个矩形的32×64块，左方的32×64块再被垂直地分割为2个矩形的16×64块(二叉树块分割)。结果，左上方的64×64块被分割为2个16×64块11、12和32×64块13。
右上方的64×64块被水平地分割为2个矩形的64×32块14、15(二叉树块分割)。
左下方的64×64块被分割为4个正方形的32×32块(四叉树块分割)。4个32×32块中的左上方的块及右下方的块进一步被分割。左上方的32×32块被垂直地分割为2个矩形的16×32块，右方的16×32块再被水平地分割为2个16×16块(二叉树块分割)。右下方的32×32块被水平地分割为2个32×16块(二叉树块分割)。结果，左下方的64×64块被分割为16×32块16、2个16×16块17、18、2个32×32块19、20、以及2个32×16块21、22。
右下方的64×64块23不被分割。
如以上这样，在图2中，块10基于递归性的四叉树及二叉树块分割而被分割为13个可变尺寸的块11～23。这样的分割有被称作QTBT(quad－tree plus binary tree，四叉树加二叉树)分割的情况。
另外，在图2中，1个块被分割为4个或2个块(四叉树或二叉树块分割)，但分割并不限定于此。例如，也可以是1个块被分割为3个块(三叉树分割)。包括这样的三叉树分割在内的分割有被称作MBT(multi type tree，多类型树)分割的情况。
[减法部]
减法部104以由分割部102分割的块单位从原信号(原样本)减去预测信号(预测样本)。即，减法部104计算编码对象块(以下称作当前块)的预测误差(也称作残差)。并且，减法部104将计算出的预测误差向变换部106输出。
原信号是编码装置100的输入信号，是表示构成运动图像的各图片的图像的信号(例如亮度(luma)信号及2个色差(chroma)信号)。以下，也有将表示图像的信号也称作样本的情况。
[变换部]
变换部106将空间域的预测误差变换为频域的变换系数，将变换系数向量化部108输出。具体而言，变换部106例如对空间域的预测误差进行预先设定的离散余弦变换(DCT)或离散正弦变换(DST)。
另外，变换部106也可以从多个变换类型之中适应性地选择变换类型，使用与所选择的变换类型对应的变换基函数(transform basis function)，将预测误差变换为变换系数。这样的变换有被称作EMT(explicit multiple core transform，多核变换)或AMT(adaptive multiple transform，自适应多变换)的情况。
多个变换类型例如包括DCT－II、DCT－V、DCT－VIII、DST－I及DST－VII。图3是表示与各变换类型对应的变换基函数的表。在图3中，N表示输入像素的数量。从这些多个变换类型之中的变换类型的选择，例如既可以依赖于预测的种类(帧内预测及帧间预测)，也可以依赖于帧内预测模式。
表示是否应用这样的EMT或AMT的信息(例如称作AMT标志)及表示所选择的变换类型的信息以CU级被信号化。另外，这些信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或CTU级)。
此外，变换部106也可以对变换系数(变换结果)进行再变换。这样的再变换有被称作AST(adaptive secondary transform，自适应二次变换)或NSST(non－separablesecondary transform，不可分二次变换)的情况。例如，变换部106按与帧内预测误差对应的变换系数的块中包含的每个子块(例如4×4子块)进行再变换。表示是否应用NSST的信息及与NSST中使用的变换矩阵有关的信息以CU级被进行信号化。另外，这些信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或CTU级)。
这里，Separable(可分离)的变换是指与输入的维度数相当地按每个方向分离而进行多次变换的方式，Non－Separable(不可分)的变换是指当输入是多维时将2个以上的维度合起来看作1个维度而一起进行变换的方式。
例如，作为Non－Separable的变换的1例，可以举出在输入是4×4的块的情况下将其看作具有16个元素的一个排列，对该排列以16×16的变换矩阵进行变换处理的方式。
此外，同样，在将4×4的输入块看作具有16个元素的一个排列后对该排列多次进行Givens旋转的方式(Hypercube Givens Transform)，也是Non－Separable的变换的例子。
[量化部]
量化部108对从变换部106输出的变换系数进行量化。具体而言，量化部108对当前块的变换系数以规定的扫描顺序进行扫描，基于与被扫描的变换系数对应的量化参数(QP)对该变换系数进行量化。并且，量化部108将当前块的量化后的变换系数(以下称作量化系数)向熵编码部110及逆量化部112输出。
规定的顺序是用于变换系数的量化/逆量化的顺序。例如，用频率的升序(从低频向高频的顺序)或降序(从高频向低频的顺序)定义规定的扫描顺序。
量化参数是指定义量化步长(量化宽度)的参数。例如，如果量化参数的值增加，则量化步长也增加。即，如果量化参数的值增加，则量化误差增大。
[熵编码部]
熵编码部110通过对作为来自量化部108的输入的量化系数进行可变长编码，生成编码信号(编码比特流)。具体而言，熵编码部110例如将量化系数进行二值化，对二值信号进行算术编码。
[逆量化部]
逆量化部112对作为来自量化部108的输入的量化系数进行逆量化。具体而言，逆量化部112对当前块的量化系数以规定的扫描顺序进行逆量化。并且，逆量化部112将当前块的逆量化后的变换系数向逆变换部114输出。
[逆变换部]
逆变换部114通过对作为来自逆量化部112的输入的变换系数进行逆变换，复原预测误差。具体而言，逆变换部114通过对变换系数进行与变换部106的变换对应的逆变换，复原当前块的预测误差。并且，逆变换部114将复原后的预测误差向加法部116输出。
另外，复原后的预测误差由于通过量化丢失了信息，所以与减法部104计算出的预测误差不一致。即，复原后的预测误差中包含量化误差。
[加法部]
加法部116通过将作为来自逆变换部114的输入的预测误差与作为来自预测控制部128的输入的预测样本相加，重构当前块。并且，加法部116将重构的块向块存储器118及循环滤波部120输出。重构块有被称作本地解码块的情况。
[块存储器]
块存储器118是用来将在帧内预测中参照的、编码对象图片(以下称作当前图片)内的块进行保存的存储部。具体而言，块存储器118保存从加法部116输出的重构块保存。
[循环滤波部]
循环滤波部120对由加法部116重构的块施以循环滤波，将滤波后的重构块向帧存储器122输出。循环滤波是指在编码循环内使用的滤波(环内滤波)，例如包括解块滤波(DF)、样本自适应偏移(SAO)及自适应循环滤波(ALF)等。
在ALF中，采用用来除去编码失真的最小二乘误差滤波器，例如按当前块内的每个2×2子块，采用基于局部性的梯度(gradient)的方向及活性度(activity)从多个滤波器中选择的1个滤波器。
具体而言，首先将子块(例如2×2子块)分类为多个类(例如15或25类)。子块的分类基于梯度的方向及活性度来进行。例如，使用梯度的方向值D(例如0～2或0～4)和梯度的活性值A(例如0～4)，计算分类值C(例如C＝5D+A)。并且，基于分类值C，将子块分类为多个类(例如15或25类)。
梯度的方向值D例如通过将多个方向(例如水平、垂直及2个对角方向)的梯度进行比较而导出。此外，梯度的活性值A例如通过将多个方向的梯度相加、并对相加结果进行量化来导出。
基于这样的分类的结果，从多个滤波器之中决定用于子块的滤波器。
作为在ALF中使用的滤波器的形状，例如使用圆对称形状。图4A～图4C是表示在ALF中使用的滤波器的形状的多个例子的图。图4A表示5×5钻石形状滤波器，图4B表示7×7钻石形状滤波器，图4C表示9×9钻石形状滤波器。表示滤波器的形状的信息以图片级被进行信号化。另外，表示滤波器的形状的信息的信号化不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、CTU级或CU级)。
ALF的开启/关闭例如以图片级或CU级决定。例如，关于亮度，以CU级决定是否采用ALF，关于色差，以图片级决定是否采用ALF。表示ALF的开启/关闭的信息以图片级或CU级被进行信号化。另外，表示ALF的开启/关闭的信息的信号化并不需要限定于图片级或CU级，也可以是其他级(例如，序列级、切片级、瓦片级或CTU级)。
可选择的多个滤波器(例如到15个或25个为止的滤波器)的系数集以图片级被进行信号化。另外，系数集的信号化并不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、CTU级、CU级或子块级)。
[帧存储器]
帧存储器122是用来将在帧间预测中使用的参照图片进行保存的存储部，也有被称作帧缓冲器的情况。具体而言，帧存储器122保存由循环滤波部120滤波后的重构块。
[帧内预测部]
帧内预测部124参照保存在块存储器118中的当前图片内的块而进行当前块的帧内预测(也称作画面内预测)，从而生成预测信号(帧内预测信号)。具体而言，帧内预测部124通过参照与当前块相邻的块的样本(例如亮度值、色差值)进行帧内预测而生成帧内预测信号，并将帧内预测信号向预测控制部128输出。
例如，帧内预测部124使用预先规定的多个帧内预测模式中的1个进行帧内预测。多个帧内预测模式包括1个以上的非方向性预测模式和多个方向性预测模式。
1个以上的非方向性预测模式例如包括由H.265/HEVC(High－Efficiency VideoCoding)规格(非专利文献1)规定的Planar(平面)预测模式及DC预测模式。
多个方向性预测模式例如包括由H.265/HEVC规格规定的33个方向的预测模式。另外，多个方向性预测模式也可以除了33个方向以外还包括32个方向的预测模式(合计65个方向性预测模式)。图5A是表示帧内预测中的67个帧内预测模式(2个非方向性预测模式及65个方向性预测模式)的图。实线箭头表示由H.265/HEVC规格规定的33个方向，虚线箭头表示追加的32个方向。
另外，在色差块的帧内预测中，也可以参照亮度块。即，也可以基于当前块的亮度成分来预测当前块的色差成分。这样的帧内预测有被称作CCLM(cross－component linearmodel，跨组件的线性模型)预测的情况。也可以将这样的参照亮度块的色差块的帧内预测模式(例如称作CCLM模式)作为色差块的帧内预测模式的1个来添加。
帧内预测部124也可以基于水平/垂直方向的参照像素的梯度，将帧内预测后的像素值进行修正。伴随着这样的修正的帧内预测有被称作PDPC(position dependent intraprediction combination，位置决定的帧内预测组合)的情况。表示有没有采用PDPC的信息(例如称作PDPC标志)例如以CU级被进行信号化。另外，该信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或CTU级)。
[帧间预测部]
帧间预测部126参照保存在帧存储器122中的与当前图片不同的参照图片进行当前块的帧间预测(也称作画面间预测)，从而生成预测信号(帧间预测信号)。帧间预测以当前块或当前块内的子块(例如4×4块)的单位进行。例如，帧间预测部126对于当前块或子块，在参照图片内进行运动估计(motion estimation)。并且，帧间预测部126使用通过运动估计得到的运动信息(例如运动矢量)进行运动补偿，从而生成当前块或子块的帧间预测信号。并且，帧间预测部126将所生成的帧间预测信号向预测控制部128输出。
在运动补偿中使用的运动信息被信号化。在运动矢量的信号化中也可以使用预测运动矢量(motion vector predictor)。即，也可以是运动矢量与预测运动矢量之间的差被信号化。
另外，也可以是，不仅使用通过运动估计得到的当前块的运动信息，还使用相邻块的运动信息来生成帧间预测信号。具体而言，也可以将基于通过运动估计得到的运动信息的预测信号、与基于相邻块的运动信息的预测信号进行加权相加，由此以当前块内的子块单位生成帧间预测信号。这样的帧间预测(运动补偿)有被称作OBMC(overlapped blockmotion compensation，重叠块运动补偿)的情况。
在这样的OBMC模式中，对表示用于OBMC的子块的尺寸的信息(例如称作OBMC块尺寸)以序列级进行信号化。此外，对表示是否采用OBMC模式的信息(例如称作OBMC标志)以CU级进行信号化。另外，这些信息的信号化的级别并不需要限定于序列级及CU级，也可以是其他级(例如图片级、切片级、瓦片级、CTU级或子块级)。
对于OBMC模式更具体地进行说明。图5B及图5C是用来说明基于OBMC处理进行的预测图像修正处理的概要的流程图及概念图。
首先，使用被分配给编码对象块的运动矢量(MV)，取得通过通常的运动补偿得到的预测图像(Pred)。
接着，对编码对象块采用已编码的左相邻块的运动矢量(MV_L)而取得预测图像(Pred_L)，通过将上述预测图像和Pred_L加权叠加，进行预测图像的第1次修正。
同样，对编码对象块采用已编码的上相邻块的运动矢量(MV_U)而取得预测图像(Pred_U)，通过对进行上述第1次修正后的预测图像和Pred_U加权叠加，进行预测图像的第2次修正，将其作为最终的预测图像。
另外，这里说明了使用左相邻块和上相邻块的两阶段的修正的方法，但也可以构成为使用右相邻块及下相邻块进行比两阶段多的次数的修正。
另外，进行叠加的区域也可以不是块整体的像素区域，而仅是块边界附近的一部分区域。
另外，这里对根据1张参照图片的预测图像修正处理进行了说明，但在根据多张参照图片对预测图像进行修正的情况下也是同样的，在根据各个参照图片取得修正后的预测图像后，将得到的预测图像进一步叠加，由此作为最终的预测图像。
另外，上述处理对象块也可以是预测块单位，也可以是将预测块进一步分割的子块单位。
作为是否采用OBMC处理的判定的方法，例如有使用表示是否采用OBMC处理的信号即obmc_flag的方法。作为具体的一例，在编码装置中，判定编码对象块是否属于运动复杂的区域，在属于运动复杂的区域的情况下，作为obmc_flag而设定值1并采用OBMC处理进行编码，在不属于运动复杂的区域的情况下，作为obmc_flag而设定值0，不采用OBMC处理而进行编码。另一方面，在解码装置中，通过将流中记述的obmc_flag解码，根据其值切换是否采用OBMC处理，来进行解码。
另外，也可以不将运动信息进行信号化，而在解码装置侧导出。例如，也可以使用由H.265/HEVC规格规定的合并模式。此外，例如也可以通过在解码装置侧进行运动估计来导出运动信息。在此情况下，不使用当前块的像素值而进行运动估计。
这里，对在解码装置侧进行运动估计的模式进行说明。该在解码装置侧进行运动估计的模式有被称作PMMVD(pattern matched motion vector derivation，图案匹配的运动矢量推导)模式或FRUC(frame rate up－conversion，帧速率上转换)模式的情况。
在图5D中表示FRUC处理的一例。首先，参照与当前块在空间或时间上相邻的已编码块的运动矢量，生成分别具有预测运动矢量的多个候选的列表(也可以与合并列表共用)。接着，从登记在候选列表中的多个候选MV之中选择最佳候选MV。例如，计算候选列表中包含的各候选的评价值，基于评价值选择1个候选。
并且，基于所选择的候选的运动矢量，导出用于当前块的运动矢量。具体而言，例如将所选择的候选的运动矢量(最佳候选MV)原样作为用于当前块的运动矢量来导出。此外，例如也可以通过在与所选择的候选的运动矢量对应的参照图片内的位置的周边区域中进行图案匹配，来导出用于当前块的运动矢量。即，也可以对最佳候选MV的周边区域通过同样的方法进行搜索，在有评价值为更好的值的MV的情况下，将最佳候选MV更新为上述MV，将其作为当前块的最终的MV。另外，也可以做成不实施该处理的结构。
也可以在以子块单位进行处理的情况下也进行完全同样的处理。
另外，关于评价值，通过与运动矢量对应的参照图片内的区域和规定区域之间的图案匹配求出重构图像的差分值来计算。另外，也可以是，除了差分值以外还使用其以外的信息来计算评价值。
作为图案匹配，使用第1图案匹配或第2图案匹配。第1图案匹配及第2图案匹配有分别被称作双向匹配(bilateral matching)及模板匹配(template matching)的情况。
在第1图案匹配中，在不同的2个参照图片内的、沿着当前块的运动轨迹(motiontrajectory)的2个块之间进行图案匹配。因而，在第1图案匹配中，作为上述的用于候选的评价值的计算的规定区域，使用沿着当前块的运动轨迹的其他参照图片内的区域。
图6是用来说明沿着运动轨迹的2个块间的图案匹配(双向匹配)的一例的图。如图6所示，在第1图案匹配中，通过在沿着当前块(Cur block)的运动轨迹的2个块、且不同的2个参照图片(Ref0，Ref1)内的2个块的对之中搜索最匹配的对，导出2个运动矢量(MV0，MV1)。具体而言，对于当前块，导出由候选MV指定的第1已编码参照图片(Ref0)内的指定位置处的重构图像、与由将上述候选MV以显示时间间隔进行缩放后的对称MV指定的第2已编码参照图片(Ref1)内的指定位置处的重构图像的差分，使用所得到的差分值计算评价值。可以在多个候选MV之中选择评价值为最好的值的候选MV作为最终MV。
在连续性的运动轨迹的假定下，指示2个参照块的运动矢量(MV0，MV1)相对于当前图片(Cur Pic)与2个参照图片(Ref0，Ref1)之间的时间上的距离(TD0，TD1)成比例。例如，在当前图片在时间上位于2个参照图片之间、从当前图片向2个参照图片的时间上的距离相等的情况下，在第1图案匹配中，导出镜像对称的双方向的运动矢量。
在第2图案匹配中，在当前图片内的模板(在当前图片内与当前块相邻的块(例如上及/或左相邻块))与参照图片内的块之间进行图案匹配。因而，在第2图案匹配中，作为上述的用于候选的评价值的计算的规定区域，使用当前图片内的与当前块相邻的块。
图7是用来说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的一例的图。如图7所示，在第2图案匹配中，通过在参照图片(Ref0)内搜索与在当前图片(Cur Pic)内相邻于当前块(Cur block)的块最匹配的块，导出当前块的运动矢量。具体而言，对于当前块，导出左相邻及上相邻的双方或某一方的已编码区域的重构图像与由候选MV指定的已编码参照图片(Ref0)内的同等位置处的重构图像的差分，使用所得到的差分值计算评价值，在多个候选MV之中选择评价值为最好的值的候选MV作为最佳候选MV。
这样的表示是否采用FRUC模式的信息(例如称作FRUC标志)以CU级被信号化。此外，在采用FRUC模式的情况下(例如FRUC标志为真的情况下)，表示图案匹配的方法(第1图案匹配或第2图案匹配)的信息(例如称作FRUC模式标志)以CU级被信号化。另外，这些信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级、CTU级或子块级)。
这里，说明基于假定了等速直线运动的模型来导出运动矢量的模式。该模式有被称作BIO(bi－directional optical flow，双向光流)的情况。
图8是用来说明假定了等速直线运动的模型的图。在图8中，(vx，vy)表示速度矢量，τ0、τ1分别表示当前图片(Cur Pic)与2个参照图片(Ref0，Ref1)之间的时间上的距离。(MVx0，MVy0)表示与参照图片Ref0对应的运动矢量，(MVx1，MVy1)表示与参照图片Ref1对应的运动矢量。
此时，在速度矢量(vx，vy)的等速直线运动的假定下，(MVx0，MVy0)及(MVx1，MVy1)分别被表示为(vxτ0，vyτ0)及(－vxτ1，－vyτ1)，以下的光流(optical flow)等式(1)成立。
[数式1]
这里，I(k)表示运动补偿后的参照图像k(k＝0、1)的亮度值。该光流等式表示(i)亮度值的时间微分、(ii)水平方向的速度及参照图像的空间梯度的水平成分的积、以及(iii)垂直方向的速度及参照图像的空间梯度的垂直成分的积的和等于零。基于该光流等式与埃尔米特内插值(Hermite interpolation)的组合，对从合并列表等得到的块单位的运动矢量以像素单位进行修正。
另外，也可以通过与基于假定了等速直线运动的模型的运动矢量的导出不同的方法，在解码装置侧导出运动矢量。例如，也可以基于多个相邻块的运动矢量，以子块单位导出运动矢量。
这里，对基于多个相邻块的运动矢量以子块单位导出运动矢量的模式进行说明。该模式有被称作仿射运动补偿预测(affine motion compensation prediction)模式的情况。
图9A是用来说明基于多个相邻块的运动矢量进行的子块单位的运动矢量的导出的图。在图9A中，当前块包括16个4×4子块。这里，基于相邻块的运动矢量，导出当前块的左上角控制点的运动矢量v0，基于相邻子块的运动矢量，导出当前块的右上角控制点的运动矢量v1。并且，使用2个运动矢量v0及v1，通过以下的式(2)，导出当前块内的各子块的运动矢量(vx，vy)。
[数式2]
这里，x及y分别表示子块的水平位置及垂直位置，w表示预先设定的权重系数。
在这样的仿射运动补偿预测模式中，也可以包括左上及右上角控制点的运动矢量的导出方法不同的若干模式。表示这样的仿射运动补偿预测模式的信息(例如称作仿射标志)以CU级被信号化。另外，表示该仿射运动补偿预测模式的信息的信号化并不需要限定于CU级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级、CTU级或子块级)。
[预测控制部]
预测控制部128选择帧内预测信号及帧间预测信号中的某一个，将所选择的信号作为预测信号，向减法部104及加法部116输出。
这里，说明通过合并模式导出编码对象图片的运动矢量的例子。图9B是用来说明基于合并模式的运动矢量导出处理的概要的图。
首先，生成登记有预测MV的候选的预测MV列表。作为预测MV的候选，有在空间上位于编码对象块的周边的多个已编码块所具有的MV即空间相邻预测MV、将已编码参照图片中的编码对象块的位置投影的近旁的块所具有的MV即时间相邻预测MV、将空间相邻预测MV与时间相邻预测MV的MV值组合而生成的MV即结合预测MV、以及值为零的MV即零预测MV等。
接着，通过从登记在预测MV列表中的多个预测MV之中选择1个预测MV，决定为编码对象块的MV。
进而，在可变长编码部中，将作为表示选择了哪个预测MV的信号的merge_idx记述在流中并编码。
另外，在图9B中说明的预测MV列表中登记的预测MV是一例，也可以是与图中的个数不同的个数、或者是不包含图中的预测MV的一部分种类的结构、或者是追加了图中的预测MV的种类以外的预测MV的结构。
另外，也可以使用通过合并模式导出的编码对象块的MV进行后述的DMVR处理，从而决定最终的MV。
这里，对使用DMVR处理决定MV的例子进行说明。
图9C是用来说明DMVR处理的概要的概念图。
首先，将对处理对象块设定的最优MVP作为候选MV，按照上述候选MV，从作为L0方向的已处理图片的第1参照图片及作为L1方向的已处理图片的第2参照图片分别取得参照像素，通过取各参照像素的平均来生成模板。
接着，使用上述模板，分别搜索第1参照图片及第2参照图片的候选MV的周边区域，将成本最小的MV决定为最终的MV。另外，关于成本值，使用模板的各像素值与搜索区域的各像素值的差分值及MV值等来计算。
另外，在编码装置及解码装置中，这里说明的处理的概要基本上是共通的。
另外，即使不是这里说明的处理本身，只要是能够搜索候选MV的周边并导出最终的MV的处理，也可以使用其他处理。
这里，对使用LIC处理生成预测图像的模式进行说明。
图9D是用来说明使用基于LIC处理的亮度修正处理的预测图像生成方法的概要的图。
首先，导出用来从作为已编码图片的参照图片取得与编码对象块对应的参照图像的MV。
接着，对于编码对象块，使用左相邻及上相邻的已编码周边参照区域的亮度像素值和由MV指定的参照图片内的同等位置处的亮度像素值，提取表示在参照图片和编码对象图片中亮度值怎样变化的信息，计算亮度修正参数。
通过使用上述亮度修正参数对由MV指定的参照图片内的参照图像进行亮度修正处理，生成对于编码对象块的预测图像。
另外，图9D中的上述周边参照区域的形状是一例，也可以使用其以外的形状。
此外，这里对根据1张参照图片生成预测图像的处理进行了说明，但在根据多张参照图片生成预测图像的情况下也是同样的，在对从各个参照图片取得的参照图像以同样的方法进行亮度修正处理后生成预测图像。
作为是否采用LIC处理的判定的方法，例如有使用作为表示是否采用LIC处理的信号的lic_flag的方法。作为具体的一例，在编码装置中，判定编码对象块是否属于发生了亮度变化的区域，在属于发生了亮度变化的区域的情况下，作为lic_flag而设定值1，采用LIC处理进行编码，在不属于发生了亮度变化的区域的情况下，作为lic_flag而设定值0，不采用LIC处理而进行编码。另一方面，在解码装置中，通过将记述在流中的lic_flag解码，根据其值切换是否采用LIC处理而进行解码。
作为是否采用LIC处理的判定的其他方法，例如还有按照在周边块是否采用了LIC处理来判定的方法。作为具体的一例，在编码对象块是合并模式的情况下，判定在合并模式处理中的MV的导出时所选择的周边的已编码块是否采用LIC处理进行了编码，根据其结果，切换是否采用LIC处理而进行编码。另外，在该例的情况下，解码中的处理也完全同样。
[解码装置的概要]
接着，对能够将从上述编码装置100输出的编码信号(编码比特流)进行解码的解码装置的概要进行说明。图10是表示有关实施方式1的解码装置200的功能结构的框图。解码装置200是将运动图像/图像以块单位进行解码的运动图像/图像解码装置。
如图10所示，解码装置200具备熵解码部202、逆量化部204、逆变换部206、加法部208、块存储器210、循环滤波部212、帧存储器214、帧内预测部216、帧间预测部218和预测控制部220。
解码装置200例如由通用处理器及存储器实现。在此情况下，当由处理器执行了保存在存储器中的软件程序时，处理器作为熵解码部202、逆量化部204、逆变换部206、加法部208、循环滤波部212、帧内预测部216、帧间预测部218及预测控制部220发挥功能。此外，解码装置200也可以作为与熵解码部202、逆量化部204、逆变换部206、加法部208、循环滤波部212、帧内预测部216、帧间预测部218及预测控制部220对应的专用的1个以上的电子电路实现。
以下，对解码装置200中包含的各构成要素进行说明。
[熵解码部]
熵解码部202对编码比特流进行熵解码。具体而言，熵解码部202例如从编码比特流算数解码为二值信号。接着，熵解码部202将二值信号进行多值化(debinarize)。由此，熵解码部202以块单位将量化系数向逆量化部204输出。
[逆量化部]
逆量化部204对作为来自熵解码部202的输入的解码对象块(以下称作当前块)的量化系数进行逆量化。具体而言，逆量化部204对于当前块的量化系数，分别基于与该量化系数对应的量化参数，对该量化系数进行逆量化。并且，逆量化部204将当前块的逆量化后的量化系数(即变换系数)向逆变换部206输出。
[逆变换部]
逆变换部206通过对作为来自逆量化部204的输入的变换系数进行逆变换，将预测误差复原。
例如在从编码比特流读解出的信息表示采用EMT或AMT的情况下(例如AMT标志是真)，逆变换部206基于读解出的表示变换类型的信息，对当前块的变换系数进行逆变换。
此外，例如在从编码比特流读解出的信息表示采用NSST的情况下，逆变换部206对变换系数应用逆再变换。
[加法部]
加法部208通过将作为来自逆变换部206的输入的预测误差与作为来自预测控制部220的输入的预测样本相加，重构当前块。并且，加法部208将重构的块向块存储器210及循环滤波部212输出。
[块存储器]
块存储器210是用来将作为在帧内预测中参照的、解码对象图片(以下称作当前图片)内的块进行保存的存储部。具体而言，块存储器210保存从加法部208输出的重构块。
[循环滤波部]
循环滤波部212对由加法部208重构的块施以循环滤波，将滤波后的重构块向帧存储器214及显示装置等输出。
在从编码比特流读解出的表示ALF的开启/关闭的信息表示ALF的开启的情况下，基于局部性的梯度的方向及活性度从多个滤波器之中选择1个滤波器，对所重构块应用选择的滤波器。
[帧存储器]
帧存储器214是用来将在帧间预测中使用的参照图片进行保存的存储部，也有称作帧缓冲器的情况。具体而言，帧存储器214保存由循环滤波部212滤波后的重构块。
[帧内预测部]
帧内预测部216基于从编码比特流读解出的帧内预测模式，参照保存在块存储器210中的当前图片内的块进行帧内预测，由此生成预测信号(帧内预测信号)。具体而言，帧内预测部216通过参照与当前块相邻的块的样本(例如亮度值、色差值)进行帧内预测，由此生成帧内预测信号，将帧内预测信号向预测控制部220输出。
另外，在色差块的帧内预测中选择了参照亮度块的帧内预测模式的情况下，帧内预测部216也可以基于当前块的亮度成分来预测当前块的色差成分。
此外，在从编码比特流读解出的信息表示PDPC的采用的情况下，帧内预测部216基于水平/垂直方向的参照像素的梯度，对帧内预测后的像素值进行修正。
[帧间预测部]
帧间预测部218参照保存在帧存储器214中的参照图片，预测当前块。预测以当前块或当前块内的子块(例如4×4块)的单位进行。例如，帧间预测部218使用从编码比特流读解出的运动信息(例如运动矢量)进行运动补偿，由此生成当前块或子块的帧间预测信号，将帧间预测信号向预测控制部220输出。
另外，在从编码比特流读解出的信息表示采用OBMC模式的情况下，帧间预测部218不仅使用通过运动估计得到的当前块的运动信息，还使用相邻块的运动信息来生成帧间预测信号。
此外，在从编码比特流读解出的信息表示采用FRUC模式的情况下，帧间预测部218按照从编码流读解出的图案匹配的方法(双向匹配或模板匹配)进行运动估计，由此导出运动信息。并且，帧间预测部218使用所导出的运动信息进行运动补偿。
此外，帧间预测部218在采用BIO模式的情况下，基于假定了等速直线运动的模型导出运动矢量。此外，在从编码比特流读解出的信息表示采用仿射运动补偿预测模式的情况下，帧间预测部218基于多个相邻块的运动矢量以子块单位导出运动矢量。
[预测控制部]
预测控制部220选择帧内预测信号及帧间预测信号中的某一个，将所选择的信号作为预测信号，向加法部208输出。
[去块滤波处理]
接着，参照附图对在如以上那样构成的编码装置100及解码装置200中进行的去块滤波处理具体地进行说明。另外，以下主要说明编码装置100具备的循环滤波部120的动作，但解码装置200具备的循环滤波部212的动作也是同样的。
如上述那样，编码装置100在将图像编码时，通过将帧内预测部124或帧间预测部126生成的预测信号从原信号中减去，计算预测误差。编码装置100通过对预测误差实施正交变换处理及量化处理等，生成量化系数。进而，编码装置100通过对得到的量化系数进行逆量化及逆正交变换，将预测误差复原。这里，由于量化处理是不可逆的处理，所以复原的预测误差相对于变换前的预测误差具有误差(量化误差)。
由循环滤波部120进行的去块滤波处理是以减小该量化误差等的目的实施的滤波处理的一种。为了除去块噪声，去块滤波处理适用于块边界。另外，以下将该去块滤波处理还简单记作滤波处理。
图11是表示循环滤波部120实施的去块滤波处理的一例的流程图。例如，将图11所示的处理按每个块边界进行。
首先，循环滤波部120为了决定去块滤波处理的动作而计算块边界强度(Bs)(S101)。具体而言，循环滤波部120使用作为滤波对象的块的预测模式或运动矢量的性质等决定Bs。例如，如果夹着边界的块中的至少单方是帧内预测块，则设定为Bs＝2。此外，如果满足(1)夹着边界的块中的至少单方的块包含优越的正交变换系数、(2)夹着块边界的两个块的运动矢量的差分是阈值以上、以及(3)夹着块边界的两个块的运动矢量的条数或参照图像不同这(1)～(3)的条件中的至少一个，则设定为Bs＝1。如果对(1)～(3)的条件的哪个都不符合，则设定为Bs＝0。
接着，循环滤波部120判定所设定的Bs是否比第1阈值大(S102)。在Bs是第1阈值以下的情况下(S102中否)，循环滤波部120不进行滤波处理(S107)。
另一方面，在所设定的Bs比第1阈值大的情况下(S102中是)，循环滤波部120使用块边界的两侧的块内的像素值，计算边界区域的像素变动d(S103)。使用图12对该处理进行说明。如果将块边界的像素值如图12那样定义，则循环滤波部120例如计算d＝|p30－2×p20+p10|+|p33－2×p23+p13|+|q30－2×q20+q10|+|q33－2×q23+q13|。
接着，循环滤波部120判定计算出的d是否比第2阈值大(S104)。在d是第2阈值以下的情况下(S104中否)，循环滤波部120不进行滤波处理(S107)。另外，第1阈值与第2阈值不同。
在计算出的d比第2阈值大的情况下(S104中是)，循环滤波部120决定滤波特性(S105)，进行所决定的滤波特性的滤波处理(S106)。例如使用(1，2，2，2，1)/8这样的5抽头(tap)的滤波器。即，对于图12所示的p10，进行(1×p30+2×p20+2×p10+2×q10+1×q20)/8的运算。这里，在滤波处理时，以变位包含在一定范围内的方式进行限制(Clip)处理，以免成为过度的平滑化。这里所述的限制处理是指，例如在限制处理的阈值是tc、滤波前的像素值是q的情况下，使得滤波后的像素值仅能够取q±tc的范围的阈值处理。
以下，对在由有关本实施方式的循环滤波部120进行的去块滤波处理中应用夹着块边界而非对称的滤波的例子进行说明。
图13是表示有关本实施方式的去块滤波处理的一例的流程图。另外，图13所示的处理既可以按每个块边界进行，也可以按包括1个以上的像素的每个单位像素进行。
首先，循环滤波部120取得编码参数，使用所取得的编码参数，决定夹着块边界而非对称的滤波特性(S111)。在本发明中，假设所取得的编码参数例如使误差分布具有特征。
这里，滤波特性是指滤波系数及在滤波处理的控制中使用的参数等。此外，编码参数只要是能够用于滤波特性的决定的参数，可以是任何参数。编码参数既可以是表示误差本身的信息，也可以是与误差关联的(例如影响误差的大小关系的)信息或参数。
此外，以下将基于编码参数被判定为误差较大或较小的像素、即误差较大或较小的可能性高的像素也简单记作误差较大或较小的像素。
这里，不需要每次都进行判定处理，也可以按预先设定的将编码参数与滤波特性建立关联的规则来进行处理。
另外，即使是以统计上看误差较小的可能性高的像素，如果按每个像素来看，则也有与误差较大的可能性高的像素的误差相比误差大的情况。
接着，循环滤波部120执行具有所决定的滤波特性的滤波处理(S112)。
这里，在步骤S111中决定的滤波特性不需要一定是非对称，也可以是对称的设计。另外，以下将具有夹着块边界而非对称的滤波特性的滤波器也称作非对称滤波器，将具有夹着块边界而对称的滤波特性的滤波器称作对称滤波器。
具体而言，考虑以下2点来决定滤波特性：使得被判定为误差较小的像素不易受到周围的误差较大的像素的影响；使得被判定为误差较大的像素容易受到周围的误差较小的像素的影响。即，决定滤波特性，以使得误差越大的像素，滤波处理的影响越大。例如，决定滤波特性，以使得误差越大的像素，滤波处理前后的像素值的变化量越大。由此，关于误差较小的可能性高的像素，能够防止因值大幅变动而从真实值偏离。相反，关于误差较大的可能性高的像素，通过使其较强地受到误差较小的像素的影响而使值变动，从而能够减小误差。
另外，以下将使由滤波带来的变位变化的要素定义为滤波的权重。换言之，权重表示滤波处理对对象像素的影响的程度。使权重变大意味着滤波处理对该像素的影响变大。换言之，是指滤波处理后的像素值容易受到其他像素的影响。具体而言，使权重变大是指决定滤波特性，以使滤波处理前后的像素值的变化量变大、或容易进行滤波处理。
即，循环滤波部120对于误差越大的像素，使权重越大。另外，对于误差越大的像素使权重越大并不限于基于误差连续地变更权重，也包括阶段性地变更权重的情况。即，第1像素的权重只要比误差大于第1像素的第2像素的权重小就可以。此外，以下也使用同样的表现。
另外，在最终决定的滤波特性中，不需要误差越大的像素则权重越大。即，循环滤波部120只要例如将通过以往的方法决定的作为基准的滤波特性修正为，误差越大的像素则权重越大的趋势就可以。
以下，说明非对称地变更权重的具体的多个方法。另外，既可以使用以下所示的方法中的某一个，也可以使用将多个方法组合的方法。
作为第1方法，循环滤波部120对于误差越大的像素使滤波系数越小。例如，循环滤波部120使误差较大的像素的滤波系数较小，使误差较小的像素的滤波系数较大。
说明例如图12所示的对像素p1进行的去块滤波处理的例子。以下，将不应用本方法而例如用以往的方法决定的滤波器称作基准滤波起。假设基准滤波器是与块边界垂直的5抽头的滤波器，是跨(p3，p2，p1，q1，q2)而伸展的滤波器。此外，假设滤波系数是(1，2，2，2，1)/8。此外，假设块P的误差较大的可能性高，块Q的误差较小的可能性高。在此情况下，设定滤波系数，以使误差较大的块P容易受到误差较小的块Q的影响。具体而言，将对误差较小的像素使用的滤波系数设定得大，将对误差较大的像素使用的滤波系数设定得小。例如，作为滤波系数而使用(0.5，1.0，1.0，2.0，1.5)/6。
作为另一例，对于误差较小的像素的滤波系数也可以使用0。例如，作为滤波系数也可以使用(0，0，1，2，2)/5。即，也可以变更滤波器抽头。相反，也可以将当前为0的滤波系数设为0以外的值。例如，作为滤波系数也可以使用(1，2，2，2，1，1)/9等。即，循环滤波部120也可以将滤波器抽头向误差较小侧伸展。
另外，基准滤波器也可以不是如上述的(1，2，2，2，1)/8那样以对象像素为中心左右对称的滤波器。在这样的情况下，循环滤波部120进一步调整该滤波器。例如，对Q块的左端的像素使用的基准滤波器的滤波系数是(1，2，3，4，5)/15，对块P的右端的像素使用的基准滤波器的滤波系数是(5，4，3，2，1)/15。即，在此情况下，在夹着块边界的像素间使用左右反转的滤波系数。将这样的夹着块边界而反转对称的滤波特性也称作“夹着块边界而对称的滤波特性”。即，夹着块边界而非对称的滤波特性是指不是夹着块边界而反转对称的滤波特性。
此外，与上述同样，在块P的误差较大、块Q的误差较小的情况下，循环滤波部120例如将对块P的右端的像素使用的基准滤波器的滤波系数(5，4，3，2，1)/15变更为(2.5，2.0，1.5，2.0，1.0)/9。
这样，在去块滤波处理中，使用滤波系数夹着块边界而非对称地变化的滤波器。例如，循环滤波部120按照预先设定的基准，决定具有夹着块边界而对称的滤波特性的基准滤波器。循环滤波部120将该基准滤波器变更为具有夹着块边界而非对称的滤波特性。具体而言，循环滤波部120进行使基准滤波器的滤波系数中的误差较小的至少一个像素的滤波系数变大、以及使误差较大的至少一个像素的滤波系数变小的至少一方。
接着，对非对称地变更权重的第2方法进行说明。首先，循环滤波部120进行使用基准滤波器的滤波运算。接着，循环滤波部120对使用基准滤波器的滤波运算前后的像素值的变化量即基准变化量Δ0进行夹着块边界而非对称的加权。另外，以下为了区分，将使用基准滤波器的处理称作滤波运算，将包括滤波运算和其后的修正处理(例如非对称的加权)的一系列的处理称作滤波处理(去块滤波处理)。
例如，循环滤波部120对于误差较小的像素，通过对基准变化量Δ0乘以比1小的系数，计算修正后的变化量Δ1。此外，循环滤波部120对于误差较大的像素，通过对基准变化量Δ0乘以比1大的系数，计算修正后的变化量Δ1。接着，循环滤波部120通过对滤波运算前的像素值加上修正后的变化量Δ1，生成滤波处理后的像素值。另外，循环滤波部120也可以仅进行对于误差较小的像素的处理和对于误差较大的像素的处理中的一方。
例如，与上述同样，假设块P的误差较大、块Q的误差较小。在此情况下，循环滤波部120对于在误差较小的块Q中包含的像素，例如通过将基准变化量Δ0进行0.8倍，计算修正后的变化量Δ1。此外，循环滤波部120对于误差较大的块P中包含的像素，例如通过将基准变化量Δ0进行1.2倍，计算修正后的变化量Δ1。通过这样，能够减小误差较小的像素的值的变动。此外，能够增大误差较大的像素的值的变动。
另外，作为对误差较小的像素的基准变化量Δ0乘以的系数与对误差较大的像素的基准变化量Δ0乘以的系数的比率，也可以有选择1：1的情况。在此情况下，滤波特性夹着块边界而对称。
此外，循环滤波部120也可以通过对基准系数乘以常数来计算对基准变化量Δ0乘以的系数。在此情况下，循环滤波部120关于误差较大的像素，使用比误差较小的像素大的常数。结果，相对于误差较大的像素的像素值的变化量增加，相对于误差较小的可能性高的像素的像素值的变化量减少。例如，循环滤波部120对于与块边界相邻的像素，作为常数而使用1.2或0.8，对于从与块边界相邻的像素离开了1像素的像素，作为常数而使用1.1或0.9。此外，基准系数例如通过(A×(q1－p1)－B×(q2－p2)+C)/D求出。这里，A、B、C、D是常数。例如是A＝9，B＝3，C＝8，D＝16。此外，p1、p2、q1、q2是夹着块边界处于图12所示的位置关系的像素的像素值。
接着，对非对称地变更权重的第3方法进行说明。循环滤波部120与第2方法同样，进行使用基准滤波器的滤波系数的滤波运算。接着，循环滤波部120对滤波运算后的像素值加上夹着块边界而非对称的偏移值。具体而言，循环滤波部120对误差较大的像素的像素值加上正的偏移值，以使误差较大的像素的值接近于误差较小的可能性高的像素的值、并且该误差较大的像素的变位变大。此外，循环滤波部120对误差较小的像素的像素值加上负的偏移，以使误差较小的像素的值不接近于误差较大的像素的值，并且该误差较小的像素的变位变小。结果，相对于误差较大的像素的像素值的变化量增加，相对于误差较小的像素的像素值的变化量减少。另外，循环滤波部120也可以仅进行对于误差较小的像素的处理和对于误差较大的像素的处理中的一方。
例如，循环滤波部120对于误差较大的块中包含的像素，通过对基准变化量Δ0的绝对值加上正的偏移值(例如1)，计算修正后的变化量Δ1。此外，循环滤波部120对于误差较小的块中包含的像素，通过对基准变化量Δ0的绝对值加上负的偏移值(例如－1)，计算修正后的变化量Δ1。接着，循环滤波部120通过对滤波运算前的像素值加上修正后的变化量Δ1，生成滤波处理后的像素值。另外，循环滤波部120也可以不是对变化量加上偏移值，而是对滤波运算后的像素值加上偏移值。此外，偏移值也可以不是夹着块边界而对称。
此外，循环滤波部120在滤波器抽头从块边界跨多个像素而伸展的情况下，也可以仅变更对某特定像素的权重，也可以变更对全部像素的权重。此外，循环滤波部120也可以根据从块边界到对象像素的距离而变更权重。例如，循环滤波部120也可以将作用于从块边界起2个像素的滤波系数设为非对称，将作用于其以后的像素的滤波系数设为对称。此外，滤波的权重既可以对多个像素是共通的，也可以按每个像素而设定。
接着，对非对称地变更权重的第4方法进行说明。循环滤波部120进行使用基准滤波器的滤波系数的滤波运算。接着，循环滤波部120在滤波运算前后的像素值的变化量Δ超过作为基准值的限制幅度的情况下，将变化量Δ限制为限制幅度。循环滤波部120将限制幅度设定为夹着块边界而非对称。
具体而言，循环滤波部120将对误差较大的像素的限制幅度设为比误差较小的像素的限制幅度大。例如，循环滤波部120将对误差较大的像素的限制幅度设为误差较小的像素的限制幅度的常数倍。使限制幅度变化的结果是，误差较小的像素的值不能大幅变化。此外，误差较大的像素的值能够大幅变化。
另外，循环滤波部120也可以不是指定限制幅度的比，而是调整限制幅度的绝对值。例如，循环滤波部120将对于误差较大的像素的限制幅度固定为预先设定的基准限制幅度的倍数。循环滤波部120将误差较大的像素的限制幅度与误差较小的像素的限制幅度的比设定为1.2：0.8。具体而言，例如，基准限制幅度是10，滤波运算前后的变化量Δ是12。在此情况下，在原样使用基准限制幅度的情况下，通过阈值处理，将变化量Δ修正为10。另一方面，在对象像素是误差较大的像素的情况下，例如将基准限制幅度进行1.5倍。由此，限制幅度成为15，所以不进行阈值处理，变化量Δ成为12。
接着，对非对称地变更权重的第5方法进行说明。循环滤波部120夹着块边界而非对称地设定判定是否进行滤波处理的条件。这里，判定是否进行滤波处理的条件，例如是图11所示的第1阈值或第2阈值。
具体而言，循环滤波部120对于误差较大的像素设定条件，以使滤波处理容易进行，对于误差较小的像素设定条件，以使滤波处理不易进行。例如，循环滤波部120使对于误差较小的像素的阈值比误差较大的像素的阈值高。例如，循环滤波部120使对于误差较小的像素的阈值为误差较大的像素的阈值的常数倍。
此外，也可以是，循环滤波部120不仅指定阈值的比，还调整阈值的绝对值。例如，循环滤波部120也可以将对于误差较小的像素的阈值固定为预先设定的基准阈值的倍数，将误差较小的像素的阈值与误差较大的像素的阈值的比设定为1.2：0.8。
具体而言，假设步骤S104中的第2阈值的基准阈值是10，根据块内的像素值计算出的d是12。在作为第2阈值而原样使用基准阈值的情况下，判定为进行滤波处理。另一方面，在对象像素是误差较小的像素的情况下，例如作为第2阈值而使用将基准阈值进行1.5倍后的值。在此情况下，第2阈值为15，比d大。由此，判定为不进行滤波处理。
此外，在上述第1～第5方法中使用的表示基于误差的权重的常数等，既可以是在编码装置100及解码装置200中预先设定的值，也可以是可变的。具体而言，该常数是第1方法中的对滤波系数或基准滤波器的滤波系数乘以的系数，第2方法中的对基准变化量Δ0乘以的系数或对基准系数乘以的常数，第3方法中的对偏移值、第4方法中的对限制幅度或基准限制幅度乘以的常数，以及第5方法中的对阈值或基准阈值乘以的常数等。
在常数可变的情况下，也可以将表示该常数的信息例如作为序列或切片单位的参数而包含在比特流中，从编码装置100向解码装置200发送。另外，表示常数的信息既可以是表示常数本身的信息，也可以是表示与基准值的比或差的信息。
此外，作为根据误差将系数或常数变更的方法，例如有线性地变更的方法、以二次函数变更的方法、以指数函数变更的方法、或使用表示误差与常数的关系的查找表的方法等。
此外，在误差为基准以上的情况下、或误差为基准以下的情况下，作为常数也可以使用固定值。例如也可以是，循环滤波部120在误差为规定的范围以下的情况下将变量设定为第1值，在误差为规定的范围以上的情况下将变量设定为第2值，在误差为规定的范围内的情况下根据误差而将变量从第1值到第2值连续地变更。
此外，循环滤波部120在误差超过了规定的基准的情况下，也可以不使用非对称滤波器而使用对称滤波器(基准滤波器)。
此外，循环滤波部120在使用查找表等的情况下，既可以保持误差较大的情况和较小的情况下的两者的表，也可以仅保持一方的表，根据该表的内容按照预先设定的规则来计算另一方的常数。
如以上这样，有关本实施方式的编码装置100及解码装置200通过使用非对称滤波器，能够降低重构图像的误差，所以能够使编码效率提高。
(实施方式2)
在实施方式2～实施方式6中，说明对上述的误差分布赋予特征的编码参数的具体例。在本实施方式中，循环滤波部120根据对象像素在块内的位置来决定滤波特性。
图14是表示有关本实施方式的去块滤波处理的一例的流程图。首先，循环滤波部120取得表示对象像素在块内的位置的信息作为对误差分布赋予特征的编码参数。循环滤波部120基于该位置，夹着块边界而非对称的滤波特性(S121)。
接着，循环滤波部120执行具有所决定的滤波特性的滤波处理(S122)。
这里，距帧内预测的参照像素较远的像素与距帧内预测的参照像素较近的像素相比误差大的可能性高。因此，循环滤波部120决定滤波特性，以使得距帧内预测的参照像素越远的像素则该滤波处理前后的像素值的变化量越大。
例如，在H.265/HEVC或JEM的情况下，如图15所示，距参照像素较近的像素是存在于块内的左上的像素，距参照像素较近的像素是存在于块内的右下的像素。因此，循环滤波部120决定滤波特性，以使块内的右下的像素的权重比左上的像素的权重大。
具体而言，循环滤波部120对于距帧内预测的参照像素较远的像素，如在实施方式1中说明那样决定滤波特性，以使滤波处理的影响变大。即，循环滤波部120使距帧内预测的参照像素较远的像素的权重变大。这里，使权重变大，如上述那样是指实施(1)使滤波系数变小、(2)使夹着边界的像素(即距帧内预测的参照像素较近的像素)的滤波系数变大、(3)使对变化量乘以的系数变大、(4)使变化量的偏移值变大、(5)使限制幅度变大、以及(6)将阈值修正以使滤波处理容易被执行中的至少一个。另一方面，循环滤波部120对于距帧内预测的参照像素较近的像素决定滤波特性，以使滤波处理的影响变小。即，循环滤波部120使距帧内预测的参照像素较近的像素的权重变小。这里，使权重变小，如上述那样是指实施(1)使滤波系数变大、(2)使夹着边界的像素(即距帧内预测的参照像素较近的像素)的滤波系数变小、(3)使对变化量乘以的系数变小、(4)使变化量的偏移值变小、(5)使限制幅度变小、以及(6)将阈值修正以使滤波处理不易被执行中的至少一个。
另外，也可以在使用帧内预测的情况下进行上述处理，对于使用帧间预测的块不进行上述处理。但是，由于有帧内预测块的性质还被延伸到帧间预测的情况，所以也可以对帧间预测块也进行上述处理。
此外，循环滤波部120也可以任意地指定特定的块内的位置而变更权重。例如，循环滤波部120如上述那样，也可以使块内的右下的像素的权重变大，使块内的左上的像素的权重变小。另外，循环滤波部120并不限于左上及右下，也可以任意地指定块内的位置而变更权重。
此外，如图15所示，在左右方向的相邻块边界，左侧块的误差较大，右侧块的误差较大。因此，循环滤波部120也可以对左右方向的相邻块边界，使左侧块的权重变大、使右侧块的权重变小。
同样，在上下方向的相邻块边界，上侧块的误差较大，下侧块的误差较小。因此，循环滤波部120也可以对于上下方向的相邻块边界，使上侧块的权重变大，使下侧块的权重变小。
此外，循环滤波部120也可以根据距帧内预测的参照像素的距离使权重变化。此外，循环滤波部120既可以以块边界单位决定权重，也可以以像素单位决定权重。距参照像素越远，则误差越容易变大。因此，循环滤波部120决定滤波特性，以使得距参照像素越远则权重的梯度越陡峭。此外，循环滤波部120决定滤波特性，以使块的右边的上侧权重的梯度比下侧权重的梯度平缓。
(实施方式3)
在本实施方式中，循环滤波部120根据正交变换基来决定滤波特性。
图16是表示有关本实施方式的去块滤波处理的一例的流程图。首先，循环滤波部120取得表示在对象块中使用的正交变换基的信息，作为对误差分布赋予特征的编码参数。循环滤波部120基于该正交变换基，决定夹着块边界而非对称的滤波特性(S131)。
接着，循环滤波部120执行具有所决定的滤波特性的滤波处理(S132)。
编码装置100从多个候选中选择一个作为进行正交变换时的变换基的正交变换基。多个候选例如包括DCT－II等的0次变换基平坦的基、和DST－VII等的0次变换基不平坦的基。图17是表示DCT－II的变换基的图。图18是表示DCT－VII的变换基的图。
DCT－II的0次基不论块内的位置如何都是一定的。即，在使用DCT－II的情况下，块内的误差是一定的。因此，循环滤波部120在夹着块边界的两方的块被以DCT－II变换的情况下，进行不使用非对称滤波器而使用对称滤波器的滤波处理。
另一方面，DST－VII的0次基随着距左方或上方的块边界的距离变远而值变大。即，随着距左方或上方的块边界的距离变远，误差变大的可能性高。因此，循环滤波部120在夹着块边界的二个块中的至少一方被以DST－VII变换的情况下，使用非对称滤波器。具体而言，循环滤波部120决定滤波特性，以使得低次(例如0次)基在块内的值越小的像素，滤波处理的影响越小。
具体而言，在夹着块边界的两方的块被以DST－VII变换的情况下，循环滤波部120对于块内的右下的像素，通过上述的方法决定滤波特性，以使滤波处理的影响变大。此外，循环滤波部120对于块内的左上的像素决定滤波特性，以使滤波处理的影响变大。
此外，在DST－VII与DCT－II上下相邻的情况下，循环滤波部120也决定滤波特性，以使对于与块边界相邻的使用了DST－VII的上块的下部的像素的滤波的权重比对于使用了DCT－II的下块的上部的像素的滤波的权重大。但是，该情况下的低次基的振幅的差比DST－VII彼此相邻的情况下的低次基的振幅的差小。因此，循环滤波部120设定滤波特性，以使该情况下的权重的倾斜比DST－VII彼此相邻的情况下的权重的倾斜小。循环滤波部120例如将DCT－II与DCT－II相邻的情况下的权重设定为1：1(对称滤波)，将DST－VII与DST－VII相邻的情况下的权重设定为1.3：0.7，将DST－VII与DCT－II相邻时的权重设定为1.2：0.8。
(实施方式4)
在本实施方式中，循环滤波部120根据夹着块边界的像素值来决定滤波特性。
图19是表示有关本实施方式的去块滤波处理的一例的流程图。首先，循环滤波部120取得表示夹着块边界的块内的像素值的信息，作为对误差分布赋予特征的编码参数。循环滤波部120基于该像素值，决定夹着块边界而非对称的滤波特性(S141)。
接着，循环滤波部120执行具有所决定的滤波特性的滤波处理(S142)。
例如，像素值的差d0越大，则循环滤波部120使夹着块边界的滤波特性的差越大。具体而言，循环滤波部120决定滤波特性，以使滤波处理的影响的差变大。例如，循环滤波部120在满足d0>(量化参数)×(常数)的情况下将权重设定为1.4：0.6，在不满足上述关系的情况下将权重设定为1.2：0.8。即，循环滤波部120将像素值的差d0与基于量化参数的阈值比较，在像素值的差d0比阈值大的情况下，与像素值的差d0比阈值小的情况相比，使夹着块边界的滤波特性的差更大。
作为其他例，例如夹着块边界的两块内的像素值的方差的平均值b0越大，则循环滤波部120使夹着块边界的滤波特性的差越大。具体而言，循环滤波部120也可以决定滤波特性，以使滤波处理的影响的差变大。例如，循环滤波部120在满足b0>(量化参数)×(常数)的情况下将权重设定为1.4：0.6，在不满足上述关系的情况下将权重设定为1.2：0.8。即，循环滤波部120也可以将像素值的方差b0与基于量化参数的阈值比较，在像素值的方差b0比阈值大的情况下，与像素值的方差b0比阈值小的情况相比，使夹着块边界的滤波特性的差更大。
另外，在相邻的块中使哪个块的权重更大、即哪个块的误差更大，可以通过上述的实施方式2或3的方法或后述的实施方式6的方法等来确定。即，循环滤波部120按照规定的规则(例如，实施方式2、3或6的方法)，决定夹着块边界而非对称的滤波特性。接着，循环滤波部120基于像素值的差d0，变更该决定的滤波特性，以使夹着块边界的滤波特性的差变大。即，循环滤波部120使误差较大的像素的权重与误差较小的像素的权重的比或差变大。
这里，在像素值的差d0较大的情况下，有可能是块边界与图像内的物体的边缘一致的情况，所以在这样的情形下，通过使夹着块边界的滤波特性的差变小，能够抑制进行不需要的平滑化。
另外，循环滤波部120也可以与上述相反，像素值的差d0越大，则使夹着块边界的滤波特性的差越小。具体而言，循环滤波部120决定滤波特性，以使滤波处理的影响的差变小。例如，循环滤波部120在满足d0>(量化参数)×(常数)的情况下将权重设定为1.2：0.8，在不满足上述关系的情况下将权重设定为1.4：0.6。另外，也可以在满足上述关系的情况下将权重设定为1：1(对称滤波)。即，循环滤波部120将像素值的差d0与基于量化参数的阈值比较，在像素值的差d0比阈值大的情况下，与像素值的差d0比阈值小的情况相比，使夹着块边界的滤波特性的差更小。
例如，像素值的差d0较大，是指块边界容易醒目，所以在这样的情形下，通过使夹着块边界的滤波特性的差变小，能够抑制因非对称的滤波而平滑化变弱的情况。
另外，这二个处理也可以同时进行。例如，循环滤波部120也可以在像素值的差d0小于第1阈值的情况下使用第1权重，在像素值的差d0为第1阈值以上且小于第2阈值的情况下使用与第1权重相比差大的第2权重，在像素值的差d0为第2阈值以上的情况下使用与第2权重相比差小的第3权重。
此外，像素值的差d0既可以是夹着边界的像素值的差本身，也可以是像素值的差的平均值或方差。例如，像素值的差d0根据(A×(q1－p1)－B×(q2－p2)+C)/D求出。这里，A、B、C、D是常数。例如，A＝9，B＝3，C＝8，D＝16。此外，p1、p2、q1、q2是夹着块边界处于图12所示的位置关系的像素的像素值。
另外，该像素值的差d0及权重的设定既可以以像素单位进行，也可以以块边界单位进行，也可以以包括多个块的块群单位(例如LCU(Largest Coding Unit)单位进行。
(实施方式5)
在本实施方式中，循环滤波部120根据帧内预测方向和块边界方向来决定滤波特性。
图20是表示有关本实施方式的去块滤波处理的一例的流程图。首先，循环滤波部120取得表示帧内预测的预测方向与块边界的角度的信息，作为对误差分布赋予特征的编码参数。循环滤波部120基于该角度，决定夹着块边界而非对称的滤波特性(S151)。
接着，循环滤波部120执行具有所决定的滤波特性的滤波处理(S152)。
具体而言，循环滤波部120中，上述角度越接近于垂直则使夹着块边界的滤波特性的差越大，上述角度越接近于水平则使夹着块边界的滤波特性的差越小。更具体地讲，决定滤波特性，以使得在帧内预测方向相对于块边界接近于垂直的情况下，对于夹着块边界的两侧的像素的滤波的权重的差变大，在帧内预测方向相对于块边界接近于水平的情况下，对于夹着块边界的两侧的像素的滤波的权重的差变小。图21是表示与帧内预测方向和块边界的方向的关系对应的权重的例子的图。
另外，使相邻的块中的哪个块的权重较大、即哪个块的误差更大，可以通过上述的实施方式2或3的方法、或后述的实施方式6的方法等来确定。即，循环滤波部120按照规定的规则(例如，实施方式2、3或6的方法)，决定夹着块边界而非对称的滤波特性。接着，循环滤波部120基于帧内预测方向和块边界的方向，将该决定的滤波特性变更为，夹着块边界的滤波特性的差变大。
此外，编码装置100及解码装置200例如使用帧内预测模式确定帧内预测方向。
另外，在帧内预测模式是平面(Planar)模式或DC模式的情况下，循环滤波部120也可以不考虑块边界的方向。例如，循环滤波部120在帧内预测模式是平面模式或DC模式的情况下，也可以与块边界的方向无关地使用预先设定的权重或权重的差。或者，循环滤波部120也可以在帧内预测模式是平面模式或DC模式的情况下使用对称滤波器。
(实施方式6)
在本实施方式中，循环滤波部120根据表示量化的宽度的量化参数来决定滤波特性。
图22是表示有关本实施方式的去块滤波处理的一例的流程图。首先，循环滤波部120取得表示在对象块的量化时使用的量化参数的信息，作为对误差分布赋予特征的编码参数。循环滤波部120基于该量化参数，决定夹着块边界而非对称的滤波特性(S161)。
接着，循环滤波部120执行具有所决定的滤波特性的滤波处理(S162)。
这里，量化参数越大，则误差越大的可能性高。因此，循环滤波部120决定滤波特性，以使得量化参数越大则滤波处理的影响越大。
图23是表示对于量化参数的权重的例子的图。如图23所示，循环滤波部120使对于块内的左上像素的权重随着量化参数的增加而增加。另一方面，循环滤波部120使对于块内的右下像素的伴随于量化参数的增加的权重的增加变小。即，循环滤波部120决定滤波特性，以使左上像素的伴随于量化参数的变化的滤波处理的影响的变化比右下像素的伴随于量化参数的变化的滤波处理的影响的变化大。
这里，块内的左上像素与块内的右下像素相比更容易受到量化参数的影响。因此，通过进行上述那样的处理，能够适当地减小误差。
此外，循环滤波部120对于夹着边界的两个块的各个块，既可以基于该块的量化参数来决定该块的权重，也可以计算两个块的量化参数的平均值，并基于该平均值来决定两个块的权重。或者，循环滤波部120也可以基于一方块的量化参数来决定两个块的权重。例如，循环滤波部120使用上述方法，基于一方块的量化参数来决定该一方块的权重。接着，循环滤波部120基于所决定的权重，按照预先设定的规则来决定另一方块的权重。
此外，循环滤波部120在两个块的量化参数不同的情况下、或在两个块的量化参数的差超过阈值的情况下，也可以使用对称滤波器。
此外，在图23中，使用一次函数来设定权重，但也可以使用一次函数以外的任意的函数或表。例如，也可以使用表示量化参数与量化步长(量化宽度)的关系的曲线。
此外，循环滤波部120在量化参数超过阈值的情况下，也可以不使用非对称滤波器而使用对称滤波器。
此外，在将量化参数以小数点精度记载的情况下，循环滤波部120对量化参数进行四舍五入、向上取整或向下取整等运算，将运算后的量化参数用于上述处理。或者，循环滤波部120也可以考虑到小数点单位来进行上述处理。
如以上这样，在实施方式2～6中，对判定误差的多个方法分别进行了说明，但也可以将这些方法中的2个以上组合。在此情况下，循环滤波部120也可以对组合的2个以上的要素进行加权。
以下，对变形例进行说明。
也可以使用在上述中说明的编码参数的例子以外。例如，编码参数也可以是表示正交变换的种类(Wavelet、DFT或重复变换等)、块尺寸(块的宽度及高度)、运动矢量的方向、运动矢量的长度、或在帧间预测中使用的参照图片的张数、基准滤波器的特性的信息。此外，也可以将它们组合而使用。例如，循环滤波部120也可以仅在块边界的长度是16像素以下且滤波对象像素距帧内预测的参照像素近的情况下使用非对称滤波器，在其他情况下使用对称滤波器。作为另一例，也可以仅在使用多个滤波器候选中的规定的某一个类型的滤波器的情况下进行非对称处理。例如，也可以仅在通过(A×(q1－p1)－B×(q2－p2)+C)/D计算由基准滤波器带来的变位的情况下使用非对称滤波器。这里，A、B、C、D是常数。例如，A＝9，B＝3，C＝8，D＝16。此外，p1、p2、q1、q2是夹着块边界处于图12所示的位置关系的像素的像素值。
此外，循环滤波部120既可以对亮度信号和色差信号中的一方进行上述处理，也可以对双方进行上述处理。此外，循环滤波部120既可以对亮度信号和色差信号进行共同的处理，也可以进行不同的处理。例如，循环滤波部120既可以对亮度信号和色差信号使用不同的权重，也可以按照不同的规则决定权重。
此外，在上述处理中使用的各种参数既可以在编码装置100中决定，也可以是预先设定的固定值。
此外，进行还是不进行上述处理、或上述处理的内容，也可以以规定单位进行切换。规定单位例如是切片单位、瓦片单位、波阵面分割单位或CTU单位。此外，上述处理的内容是表示使用在上述中表示的多个方法的哪一个或权重等的参数、或用来决定它们的参数。
此外，循环滤波部120也可以将进行上述处理的区域限定于CTU的边界、切片的边界或瓦片的边界。
此外，在对称滤波器和非对称滤波器中，滤波器的抽头数也可以不同。
此外，循环滤波部120也可以根据帧类别(I帧、P帧、B帧)来变更是否进行上述处理、或变更上述处理的内容。
此外，循环滤波部120也可以根据是否进行了前级或后级的特定处理来决定是否进行上述处理或上述处理的内容。
此外，循环滤波部120既可以根据在块中使用的预测模式的种类进行不同的处理，也可以仅对使用特定的预测模式的块进行上述处理。例如，循环滤波部120也可以在使用帧内预测的块、使用帧间预测的块和合并的块中进行不同的处理。
此外，编码装置100也可以将作为表示是否进行上述处理或上述处理的内容的参数的滤波信息进行编码。即，编码装置100也可以生成包含滤波信息的编码比特流。该滤波信息也可以包含表示是否对亮度信号进行上述处理的信息、表示是否对色差信号进行上述处理的信息、或表示是否按每个预测模式使处理不同的信息等。
此外，解码装置200也可以基于编码比特流中包含的滤波信息进行上述处理。例如，解码装置200也可以基于滤波信息来决定是否进行上述处理或上述处理的内容。
(实施方式7)
在本实施方式中，与上述实施方式3同样，循环滤波部120根据正交变换基来决定滤波特性。另外，在本实施方式中，更具体地表示上述实施方式3的结构及处理，特别对根据相互相邻的块各自的正交变换基的组合来决定滤波特性的结构及处理进行说明。此外，解码装置200中的循环滤波部212具有与编码装置100的循环滤波部120同样的结构，进行与该循环滤波部120同样的处理动作。因而，在本实施方式中，对编码装置100的循环滤波部120的结构及处理动作进行说明，省略解码装置200的循环滤波部212的结构及处理动作的详细的说明。
在图像的编码时使用的正交变换中，使用各种正交变换基。因此，发生误差分布在空间上不均匀的情况。另外，将正交变换基也称作变换基或简单称作基。
具体而言，在图像的编码时，对通过帧间预测或帧内预测生成的预测信号与原信号的残差进行正交变换并量化。由此，削减数据量。由于量化是不可逆的处理，所以在被编码的图像中发生相对于编码前的图像的偏差即误差。
但是，对在编码中发生的误差分布而言，即使量化参数是一定的，也并不一定在空间上是均匀的。可以想到该误差分布依赖于正交变换的基。
即，变换部106从多个候选中选择进行正交变换时的变换基。此时，既有作为0次变换基平坦的基而例如选择DCT－II的情况，也有作为0次变换基不平坦的基而例如选择DST－VII的情况。
图24是表示作为基的一例的DCT－II的图。另外，图24中的曲线图的横轴表示一维空间上的位置，纵轴表示基的值(即振幅)。这里，k表示基的次数，n表示一维空间上的位置，N表示被正交变换的像素数。另外，一维空间上的位置n是水平方向的位置或垂直方向的位置，从水平方向的左朝右、或从垂直方向的上朝下表示更大的值。进而，xn表示位置n处的像素的像素值(具体而言是残差)，Xk表示k次的频率变换结果、即变换系数。
在DCT－II中，在k＝0的情况下，变换系数X0由以下的式(3)表示。
[数式3]
此外，在DCT－II中，在1≤k≤N-1的情况下，变换系数Xk由以下的式(4)表示。
[数式4]
图25是表示作为基的一例的DST－VII的图。另外，图25中的横轴表示一维空间上的位置，纵轴表示基的值(即振幅)。
在DST－VII中，在0≤k≤N-1的情况下，变换系数Xk由以下的式(5)表示。
[数式5]
这样，变换系数基本上由Σ(像素值×变换基)决定。此外，低次基的变换系数容易变得比高次基的变换系数大。因此，假如将0次基不平坦的DST－VII对于块用作变换基，则即使变换系数带有相同的量化误差，也根据低次基的值(即振幅)而在误差分布发生偏倚。即，在块内的低次基的值较小的上侧或左侧的区域中，误差容易变小，相反，在块内的低次基的值较大的下侧或右侧的区域中，误差容易变大。
图26是表示相互相邻的4个块的误差分布和对于它们的去块滤波处理后的误差分布的图。
如图26的(a)及(b)的左侧所示，在4个块各自的正交变换中使用DST－VII的情况下，在这些块内的上侧或左侧的区域中误差较小，相反，在块内的下侧或右侧的区域中误差较大。
像这样在误差分布不均匀的情况下，如果对块边界进行具有对称的滤波特性的去块滤波处理，则如图26的(a)的右侧所示，有发生误差变得更大的区域的问题。即，在误差较大的区域与误差较小的区域相邻时，对本来误差较小的像素加以多余的误差。
所以，在本实施方式中，基于在块的正交变换中使用的基，推测误差分布，基于其结果进行去块滤波处理。由此，如图26的(b)的左侧所示，不用对本来误差较小的像素加以误差就能够抑制本来误差较大的像素中的该误差。
图27是表示有关本实施方式的循环滤波部120的主要的结构的框图。
循环滤波部120具备误差分布推测部1201、滤波特性决定部1202及滤波处理部1203。
误差分布推测部1201基于误差关联参数推测误差分布。误差关联参数是对误差的大小关系带来影响的参数，例如表示应用于夹着待进行去块滤波处理的块边界的2个块各自的正交变换的基的类别。
滤波特性决定部1202基于由误差分布推测部1201推测出的误差分布，决定滤波特性。
滤波处理部1203对块边界附近进行具有由滤波特性决定部1202决定的滤波特性的去块滤波处理。
图28是表示有关本实施方式的循环滤波部120的概略性的处理动作的流程图。
首先，误差分布推测部1201取得误差关联参数。该误差关联参数是对误差的大小关系带来影响的参数，换言之，是对作为去块滤波处理的对象的区域中的误差分布赋予特征的信息。具体而言，误差关联参数表示应用于夹着待进行去块滤波处理的块边界的2个块的正交变换的基的类别，即2个块的基的组合。并且，误差分布推测部1201基于该误差关联参数，推测作为去块滤波处理的对象的区域中的误差分布(步骤S1201)。具体而言，误差分布推测部1201从被分类为N个的误差分布中，选择与该误差关联参数对应的第i(1≤i≤N)个误差分布。由此，推测误差分布。
接着，滤波特性决定部1202决定与该推测出的误差分布对应的滤波特性(步骤S1202)。即，滤波特性决定部1202参照将滤波特性与N个误差分布分别建立了对应的表。并且，滤波特性决定部1202从该表中找出与步骤S1201中推测出的误差分布建立了对应的滤波特性。由此，决定滤波特性。
最后，滤波处理部1203对于由输入信号表示的图像，执行反映了在步骤S1202中决定的滤波特性的去块滤波处理(步骤S1203)。另外，由输入信号表示的图像例如是重构图像。
在本实施方式中，误差关联参数表示在块的变换中使用的基的类别。因而，在本实施方式中，基于基进行去块滤波处理。例如，循环滤波部120根据对相互相邻的2个块使用的正交变换的基的组合，将去块滤波处理的滤波系数及阈值中的至少1个决定为滤波特性。即，滤波特性基于误差的大小关系来设计。并且，循环滤波部120对对象像素进行具有该决定的滤波特性的去块滤波处理。
即，本实施方式的编码装置100例如具备处理电路和存储器。并且，处理电路使用该存储器进行以下的处理。即，处理电路按分别由多个像素构成的每个块，使用基将该块变换为由多个变换系数构成的块。接着，处理电路通过按每个由该多个变换系数构成的块对该块至少进行逆变换，重构由多个像素构成的块。接着，处理电路基于重构后的相互相邻的2个块各自的变换中使用的基的组合，决定对于这2个块的边界的滤波特性。并且，处理电路进行具有所决定的滤波特性的去块滤波处理。
另外，处理电路例如由CPU(Central Processing Unit)或处理器等构成，作为图1所示的循环滤波部120发挥功能。此外，存储器既可以是块存储器118或帧存储器122，也可以是其他的存储器。
同样，本实施方式的解码装置200例如具备处理电路和存储器。并且，处理电路使用该存储器进行以下的处理。即，处理电路按每个由多个变换系数构成的块，对该块至少进行逆变换，由此重构由多个像素构成的块，上述多个变换系数是通过使用基进行变换而得到的。接着，处理电路基于重构后的相互相邻的2个块各自的变换中使用的基的组合，决定对于这2个块的边界的滤波特性。并且，处理电路进行具有所决定的滤波特性的去块滤波处理。
另外，处理电路例如由CPU(Central Processing Unit)或处理器等构成，作为图10所示的循环滤波部212发挥功能。此外，存储器也可以是块存储器210或帧存储器214，也可以是其他的存储器。
由此，基于在重构的相互相邻的2个块各自的变换中使用的基的组合，决定对于这2个块的边界的滤波特性，所以例如能够对该边界决定非对称的滤波特性。结果，即使在夹着2个块的边界的像素各自的像素值的误差中有差异的情况下，也能够通过进行具有非对称的滤波特性的去块滤波处理，来提高抑制其误差的可能性。
图29是表示有关本实施方式的循环滤波部120的详细的结构的框图。
循环滤波部120与图27所示的结构同样，具备误差分布推测部1201、滤波特性决定部1202及滤波处理部1203。进而，循环滤波部120具备开关1205、1207及1209、边界判定部1204、滤波判定部1206和处理判定部1208。
边界判定部1204判定在块边界附近是否存在待进行去块滤波处理的像素(即对象像素)。并且，边界判定部1204将其判定结果向开关1205及处理判定部1208输出。
开关1205在由边界判定部1204判定为在块边界附近存在对象像素的情况下，将滤波处理前的图像向开关1207输出。相反，开关1205在由边界判定部1204判定为在块边界附近不存在对象像素的情况下，将滤波处理前的图像向开关1209输出。
滤波判定部1206基于处于对象像素的周边的至少1个周边像素的像素值和由误差分布推测部1201推测出的误差分布，判定是否对对象像素进行去块滤波处理。并且，滤波判定部1206将其判定结果向开关1207及处理判定部1208输出。
开关1207在由滤波判定部1206判定为对对象像素进行去块滤波处理的情况下，将经由开关1205取得的滤波处理前的图像向滤波处理部1203输出。相反，开关1207在由滤波判定部1206判定为不对对象像素进行去块滤波处理的情况下，将经由开关1205取得的滤波处理前的图像向开关1209输出。
滤波处理部1203在经由开关1205及1207取得了滤波处理前的图像的情况下，对对象像素执行具有由滤波特性决定部1202决定的滤波特性的去块滤波处理。并且，滤波处理部1203将该滤波处理后的像素向开关1209输出。
开关1209根据由处理判定部1208进行的控制，将没有被去块滤波处理的像素和由滤波处理部1203进行去块滤波处理后的像素有选择地输出。
处理判定部1208基于边界判定部1204及滤波判定部1206各自的判定结果，对开关1209进行控制。即，处理判定部1208在由边界判定部1204判定为在块边界附近存在对象像素、并且由滤波判定部1206判定为对对象像素进行去块滤波处理的情况下，使去块滤波处理后的像素从开关1209输出。此外，在上述的情况以外，处理判定部1208使没有被去块滤波处理的像素从开关1209输出。通过反复进行这样的像素的输出，从开关1209输出滤波处理后的图像。
图30是表示具有相对于块边界为对称的滤波特性的去块滤波的例子的图。
在HEVC的去块滤波处理中，使用像素值和量化参数，选择特性不同的2个去块滤波，即强滤波及弱滤波中的某1个。在强滤波中，如图30所示，在夹着块边界而存在像素p0－p2和像素q0－q2的情况下，像素q0－q2各自的像素值通过进行以下的式子所示的运算而被变更为像素值q’0－q’2。
q’0＝(p1+2×p0+2×q0+2×q1+q2+4)/8
q’1＝(p0+q0+q1+q2+2)/4
q’2＝(p0+q0+q1+3×q2+2×q3+4)/8
另外，在上述的式子中，p0－p2及q0－q2是像素p0－p2及像素q0－q2各自的像素值。此外，q3是在与块边界相反侧与像素q2相邻的像素q3的像素值。此外，在上述各式的右边，对在去块滤波处理中使用的各像素的像素值乘以的系数是滤波系数。
进而，在HEVC的去块滤波处理中，进行限制处理，以使运算后的像素值不会超过阈值而变化。在该限制处理中，使用根据量化参数决定的阈值将上述的式子中的运算后的像素值限制为“运算前的像素值±2×阈值”。由此，能够防止过度的平滑化。
但是，在这样的去块滤波处理中，像素值的变化由周边的像素值和量化参数决定，其滤波特性被设计为不反映块内的误差分布的非均匀性。因而，有发生图26的(a)所示那样的课题的情况。
所以，本实施方式的循环滤波部120反映块内的误差分布的非均匀性而决定去块滤波处理的滤波特性。具体而言，是处于基的振幅越大的位置的像素，则误差分布推测部1201推测为该像素的像素值的误差越大。接着，滤波特性决定部1202基于由误差分布推测部1201推测的误差分布来决定滤波特性。这里，滤波特性决定部1202在决定滤波特性中的滤波系数时，对于其误差较大的像素决定较小的滤波系数，以使误差较小的像素不易受到周围的误差较大的像素的影响。此外，滤波特性决定部1202对于其误差较小的像素决定较大的滤波系数，以使误差较大的像素容易受到周围的误差较小的像素的影响。
即，由循环滤波部120决定的滤波系数或阈值并不需要一定相对于块边界是对称的。循环滤波部120在对误差较大的对象像素进行去块滤波处理时，对于误差较小的像素决定较大的滤波系数。此外，循环滤波部120在对夹着块边界的2个像素中的误差较小的对象像素进行去块滤波处理时，对于误差较大的像素决定较小的滤波系数。
即，在本实施方式中，处理电路在滤波特性的决定中，是处于在块的变换中使用的基的振幅越大的位置的像素，则对该像素决定越小的滤波系数作为滤波特性。此外，如上述那样，低次基的变换系数与高次基的变换系数相比更容易变大。因而，上述的基的振幅例如是低次基的振幅，特别是0次基的振幅。
例如，是处于基的振幅越大的位置的像素，则该像素的像素值具有越大的误差的可能性高。在本实施方式的编码装置100中，对于该具有较大的误差的像素值的像素决定较小的滤波系数。因而，通过具有这样的滤波系数的去块滤波处理，能够进一步抑制该较大的误差的像素值对较小的误差的像素值带来的影响。即，能够进一步提高抑制误差的可能性。此外，越低次的基，则对误差带来的影响越大。因而，是处于0次基的振幅越大的位置的像素，则对该像素决定越小的滤波系数，由此能够进一步提高抑制误差的可能性。
另外，误差分布推测部1201也可以使用正交变换基、块尺寸、前级滤波的有无、帧内预测方向、帧间预测的参照张数及量化参数等中的至少1个作为误差关联参数。
图31～图35是表示每个块尺寸的正交变换基的例子的图。即，这些图表示关于块尺寸N＝32、16、8及4各自的正交变换基的例子。具体而言，图31表示DCT－II的基中的0次～5次的基，图32表示DCT－V的基中的0次～5次的基，图33表示DCT－VIII的基中的0次～5次的基。图34表示DST－I的基中的0次～5次的基，图35表示DST－VII的基中的0次～5次的基。另外，图31～35中的各曲线图的横轴表示一维空间上的位置，纵轴表示基的值(即振幅)。
误差分布推测部1201基于图31～图35所示的DCT－II、DCT－V、DCT－VIII、DST－I及DST－VII等的基，推测误差分布。此时，误差分布推测部1201也可以还基于应用了这些基的正交变换的块的尺寸即像素数N，推测误差分布。
<DST－VII/DST－VII的具体例>
图36是表示所决定的滤波系数的一例的图。
例如，循环滤波部120如图36所示，对对象像素p0进行去块滤波处理。另外，块P和块Q例如在水平方向上相邻，对象像素p0在该块P中存在于距与块Q的边界(即块边界)较近的位置。
这里，例如块P及块Q分别是通过DST－VII进行了正交变换的块。在这样的情况下，如图35所示，在块内的上侧和左侧的区域中，低次(具体而言，0次)基的振幅较小，在该块内的下侧和右侧的区域中，低次基的振幅较大。
因而，在块P与块Q在水平方向上相邻的情况下，在左侧的块P的块边界附近、即该块P内的右侧，低次(具体而言，0次)基的振幅较大。此外，在右侧的块Q的块边界附近、即块Q内的左侧，低次基的振幅较小。
结果，误差分布推测部1201在块P内的块边界附近推测较大的误差，在块Q内的块边界附近推测较小的误差。由此，推测出块边界附近的误差分布。
滤波特性决定部1202基于该推测出的误差分布，例如将5抽头的去块滤波器的滤波系数决定为滤波特性。
另外，5抽头的去块滤波器是使用沿水平方向排列的5个像素的去块滤波器。在像素p0是对象像素的情况下、5个像素是像素p2、p1、p0、q0及q1。此外，作为基准的5抽头的去块滤波器的滤波系数例如是(1，2，2，2，1)/8。通过使用该作为基准的滤波系数的运算，即通过p’0＝(1×p2+2×p1+2×p0+2×q0+1×q1)/8，计算对象像素p0的运算后的像素值p’0。
在推测出了上述那样的误差分布的情况下，本实施方式的滤波特性决定部1202将与上述基准不同的滤波系数决定为滤波特性。具体而言，对于块P内的被推测为误差较大的位置的像素决定较小的滤波系数，对于块Q内的被推测为误差较小的位置的像素，决定较大的滤波系数。更具体地讲，如图36所示，滤波特性决定部1202如(0.5，1.0，1.0，2.0，1.5)/6那样决定用来对块P的对象像素p0进行去块滤波处理的像素p2、p1、p0、q0、q1各自的滤波系数。在此情况下，对于块P内的被推测为误差较大的位置的像素p0决定的滤波系数是“1.0/6”，对于块Q内的被推测为误差较小的位置的像素q0决定的滤波系数是“2.0/6”。即，像素p0的滤波系数比像素q0的滤波系数小，像素q0的滤波系数比像素p0的滤波系数大。
结果，滤波处理部1203通过进行使用这样决定的滤波系数的运算，即，通过p’0＝(0.5×p2+1.0×p1+1.0×p0+2.0×q0+1.5×q1)/6，计算对象像素p0的运算后的像素值p’0。该运算后的像素值p’0是对象像素p0的去块滤波处理后的像素值。
这里，本实施方式的滤波特性决定部1202也可以基于该推测出的误差分布，还决定限制处理的阈值作为滤波特性。另外，阈值是上述的基准值或限制幅度。例如，滤波特性决定部1202对于基的振幅较大的位置、即推测为误差较大的位置的像素，决定较大的阈值。相反，滤波特性决定部1202对于基的振幅较小的位置、即推测为误差较小的位置的像素，决定较小的阈值。另外，该基的振幅例如是低次基的振幅，具体而言是0次基的振幅。例如，在作为基准的阈值是10的情况下，滤波特性决定部1202对于距块P的块边界较近的右侧的像素，将12决定为阈值，对于距块Q的块边界较近的左侧的像素，将8决定为阈值。
滤波处理部1203在对于对象像素p0决定了阈值的情况下，对对象像素p0的运算后的像素值p’0进行限制处理。对于对象像素p0决定的阈值例如是12。所以，滤波处理部1203在从运算前的像素值p0向运算后的像素值p’0的变化量比阈值12大的情况下，滤波处理部1203将其运算后的像素值p’0限制为像素值(p0+12)或像素值(p0－12)。更具体地讲，滤波处理部1203在(p0－p’0)>12的情况下，将运算后的像素值p’0限制为(p0－12)，在(p0－p’0)<－12的情况下，将运算后的像素值p’0限制为(p0+12)。由此，像素值(p0+12)或像素值(p0－12)成为对象像素p0的去块滤波处理后的像素值p’0。另一方面，在其变化量为12以下的情况下，运算后的像素值p’0成为对象像素p0的去块滤波处理后的像素值。
这样，在本实施方式中，2个块由第1块和处于该第1块的右侧或下侧的第2块构成。处理电路在滤波特性的决定中，在第1块的变换中使用的基是第1基、在第2块的变换中使用的基是第2基的情况下，基于第1基及第2基，将对于第1块内的处于边界附近的像素的第1滤波系数和对于第2块内的处于边界附近的像素的第2滤波系数分别决定为滤波特性。具体而言，处理电路在滤波特性的决定中，在第1基及第2基是DST(Discrete Sine Transforms)－VII的情况下，将比第1滤波系数大的第2滤波系数决定为滤波特性。
在第1基及第2基是DST－VII的情况下，在第1块的边界附近误差较大、在第2块的边界附近误差较小的可能性高。因而，在这样的情况下，决定比第1滤波系数大的第2滤波系数，通过进行具有这些第1及第2滤波系数的去块滤波处理，能够提高将其边界附近的误差适当地抑制的可能性。
此外，处理电路在滤波特性的决定中，还基于第1块及第2块的基的组合，将对于第1块的第1阈值和对于第2块的第2阈值决定为滤波特性。并且，处理电路在去块滤波处理中，通过对对象像素的像素值进行使用第1滤波系数及第2滤波系数的运算，取得对象像素的运算后的像素值。接着，处理电路判定从对象像素的运算前的像素值向运算后的像素值的变化量是否比第1阈值及第2阈值中的对象像素所属的块的阈值大。并且，处理电路在变化量比阈值大的情况下，将对象像素的运算后的像素值限制为对象像素的运算前的像素值与阈值的和或差。
由此，在对象像素的运算后的像素值的变化量比阈值大的情况下，其运算后的像素值被限制为运算前的像素值与阈值的和或差，所以能够抑制通过去块滤波处理而处理对象的像素值大幅变化。此外，对于第1块的第1阈值和对于第2块的第2阈值基于该第1块及第2块的基的组合来决定。因而，能够在第1块及第2块各自中，对处于基的振幅较大的位置的像素即误差较大的像素决定较大的阈值，对处于基的振幅较小的位置的像素即误差较小的像素决定较小的阈值。结果，能够许可通过去块滤波处理而误差较大的像素的像素值大幅变化，禁止误差较小的像素的像素值大幅变化。因而，能够进一步提高适当地抑制第1块及第2块的边界附近的误差的可能性。
<DST－VII/DCT－II的具体例>
图37是表示所决定的滤波系数的另一例的图。
例如，循环滤波部120与图36所示的例子同样，如图37所示，对对象像素p0进行去块滤波处理。
这里，例如块P是通过DST－VII进行正交变换后的块，块Q是通过DCT－II进行正交变换后的块。在这样的情况下，如图35所示，在块P内的上侧和左侧的区域中，低次(具体而言，0次)基的振幅较小，在该块P内的下侧和右侧的区域中，低次基的振幅较大。另一方面，如图31所示，在块Q内，低次基的振幅是一定的，但比块P的上侧和左侧的区域中的振幅大，比块P的下侧和右侧的区域中的振幅小。即，在块Q内，低次基的振幅在中水平下是一定的。
因而，在块P和块Q在水平方向上相邻的情况下，在左侧的块P的块边界附近、即该块P内的右侧，低次(具体而言，0次)基的振幅较大。此外，在右侧的块Q的块边界附近、即块Q内的左侧，低次基的振幅是中水平。
结果，误差分布推测部1201在块P内的块边界附近推测出较大的误差，在块Q内的块边界附近推测出中水平的误差。由此，推测出块边界附近的误差分布。即，与图36所示的例子相比，推测出在与块边界垂直的方向上呈现平缓的误差变化的误差分布。
滤波特性决定部1202基于该推测出的误差分布，例如将5抽头的去块滤波器的滤波系数决定为滤波特性。即，滤波特性决定部1202决定滤波系数，以使块P内的处于误差较大的位置的对象像素p0容易受到块Q内的具有中水平的误差的像素的影响。此外，由于块边界附近的误差分布在与块边界垂直的方向上呈现平缓的误差变化，所以滤波特性决定部1202决定与图36所示的例子相比彼此的差分较小的5个滤波系数。具体而言，滤波特性决定部1202如(0.5，1.0，1.5，1.75，1.25)/6那样决定用来对块P的对象像素p0进行去块滤波处理的像素p2、p1、p0、q0、q1各自的滤波系数。在此情况下，对于块P内的推测为误差较大的位置的像素p0决定的滤波系数是“1.5/6”，对于块Q内的推测为误差是中水平的位置的像素q0决定的滤波系数是“1.75/6”。即，像素p0的滤波系数比像素q0的滤波系数小，像素q0的滤波系数比像素p0的滤波系数大。此外，像素p0的滤波系数与像素q0的滤波系数的差分比图36所示的例子的情况小。
此外，在块P与块Q在垂直方向上相邻的情况下，误差分布推测部1201也与上述同样推测误差分布，滤波特性决定部1202基于该误差分布来决定滤波系数。进而，滤波特性决定部1202也可以与图36所示的例子同样地决定限制处理的阈值，滤波处理部1203使用该阈值进行限制处理。
<DST－I/DST－I的具体例>
图38是表示所决定的滤波系数的再另一例的图。
例如，循环滤波部120与图36及图37所示的例子同样，如图38所示，对对象像素p0进行去块滤波处理。
这里，例如块P及块Q分别是通过DST－I进行正交变换后的块。在这样的情况下，如图34所示，块内的上侧和左侧的区域中的低次(具体而言，0次)基的振幅与块内的下侧和右侧的区域中的低次基的振幅相等。
因而，在块P与块Q在水平方向上相邻的情况下，块P的块边界附近的低次基的振幅与块Q的块边界附近的低次基的振幅相等。
结果，误差分布推测部1201作为块P及块Q的块边界附近的误差分布，推测相对于该块边界而对称的误差分布。
在这样的情况下，滤波特性决定部1202将上述的基准的滤波特性、即相对于块边界为对称的滤波特性决定为基于该误差分布的滤波特性。
此外，在块P及块Q分别是通过DCT－II进行正交变换后的块的情况下，也与上述同样，块P的块边界附近的低次基的振幅与块Q的块边界附近的低次基的振幅相等。因而，即使在这样的情况下，误差分布推测部1201作为块P及块Q的块边界附近的误差分布而推测相对于该块边界而对称的误差分布。并且，滤波特性决定部1202将上述基准的滤波特性、即相对于块边界为对称的滤波特性决定为基于该误差分布的滤波特性。作为基准的5抽头的去块滤波器的滤波系数例如是(1，2，2，2，1)/8。在此情况下，对于块P内的像素p0决定的滤波系数是“2/8”，对于块Q内的像素q0决定的滤波系数是“2/8”。即，这些滤波系数相对于块边界是对称的。
这样，在本实施方式中，在第1基及第2基是DCT(Discrete Cosine Transforms)－II的情况下，将与第1滤波系数相等的第2滤波系数决定为滤波特性。
在第1基及第2基是DCT－II的情况下，在第1块的边界附近和第2块的边界附近误差相等的可能性高。因而，在这样的情况下，决定与第1滤波系数相等的第2滤波系数，并进行具有这些第1及第2滤波系数的去块滤波处理，由此能够提高适当地抑制该边界附近的误差的可能性。
<块尺寸的具体例>
图39是用来说明块尺寸与误差的关系的图。另外，块尺寸是块宽度或块内的像素数。具体而言，图39的(a)表示块尺寸N＝32下的DST－VII的0次～5次基，图39的(b)表示块尺寸N＝4下的DST－VII的0次～5次基。另外，图39中的各曲线图的横轴表示一维空间上的位置，纵轴表示基的值(即振幅)。
块边界处的基的振幅根据待进行正交变换的块的像素数即块尺寸而不同。所以，本实施方式的误差分布推测部1201还基于该块尺寸来推测误差分布。由此，能够提高所决定的滤波系数的精度。
例如，如图39所示，即使是通过DST－VII进行正交变换后的块，在块尺寸N＝4的情况和块尺寸N＝32的情况下，块边界处的基的振幅也不同。具体而言，在块尺寸N＝32的情况下，如图39的(a)所示，DST－VII的位置n＝32处的0次～5次基的振幅全部是1。另外，n＝32的位置是块尺寸N＝32的块内的右侧或下侧的端部。另一方面，在块尺寸N＝4的情况下，如图39的(b)所示，在DST－VII的位置n＝4处的0次～3次基的振幅中，有比1小的值。另外，n＝4的位置是块尺寸N＝4的块内的右侧或下侧的端部。
因而，本实施方式的误差分布推测部1201，作为通过DST－VII进行正交变换后的块的右侧及下侧的误差，在块尺寸N＝4的情况下推测较小的误差，在块尺寸N＝32的情况下推测比其大的误差。
图40是表示所决定的滤波系数的再另一例的图。
例如，循环滤波部120与图36～图38所示的例子同样，如图40所示，对对象像素p0进行滤波处理。
这里，例如块P是通过DST－VII进行正交变换后的块尺寸N＝32的块，块Q是通过DST－VII进行正交变换后的块尺寸N＝4的块。在这样的情况下，如图39的(a)所示，在块P内的上侧和左侧的区域中，低次(具体而言，0次)基的振幅较小，在该块P内的下侧和右侧的区域中，低次基的振幅较大。另一方面，如图39的(b)所示，在块Q内的上侧和左侧的区域中，低次基的振幅是中水平。
结果，误差分布推测部1201在块P内的块边界附近推测出较大的误差，在块Q内的块边界附近推测出中水平的误差。由此，推测出块边界附近的误差分布。即，与图36所示的例子相比，推测出在与块边界垂直的方向上呈现平缓的误差变化的误差分布。
滤波特性决定部1202基于该推测出的误差分布，例如将5抽头的滤波器的滤波系数决定为滤波特性。即，滤波特性决定部1202决定滤波系数，以使块P内的误差较大的对象像素p0容易受到块Q内的具有中水平的误差的像素的影响。此外，块边界附近的误差分布在与块边界垂直的方向上呈现平缓的误差变化，所以滤波特性决定部1202决定与图36所示的例子相比彼此的差分较小的5个滤波系数。具体而言，滤波特性决定部1202如(0.5，1.0，1.5，1.75，1.25)/6那样决定用来对块P的对象像素p0进行去块滤波处理的像素p2、p1、p0、q0、q1各自的滤波系数。在此情况下，对于块P内的推测为误差较大的位置的像素p0决定的滤波系数是“1.5/6”，对于块Q内的推测为误差是中水平的位置的像素q0决定的滤波系数是“1.75/6”。即，像素p0的滤波系数比像素q0的滤波系数小，像素q0的滤波系数比像素p0的滤波系数大。此外，像素p0的滤波系数与像素q0的滤波系数的差分比图36所示的例的情况小。
这样，在本实施方式中，处理电路在滤波特性的决定中，在第1基及第2基是DST(Discrete Sine Transforms)－VII、第2块的尺寸比第1块的尺寸小的情况下，将比第1滤波系数大的第2滤波系数决定为滤波特性。该决定的第1滤波系数与第2滤波系数之间的滤波系数的倾斜与第1块及第2块的尺寸相等的情况相比较平缓。
在第1基及第2基是DST－VII、第2块的尺寸比第1块的尺寸小的情况下，在第1块的边界附近误差较大、在第2块的边界附近误差为中水平的可能性高。即，第1块和第2块的边界附近的误差分布具有平缓的梯度的可能性高。
在本实施方式的编码装置100中，在这样的情况下，决定比第1滤波系数大的第2滤波系数，进行具有这些第1及第2滤波系数的去块滤波处理。这里，决定的第1滤波系数与第2滤波系数之间的滤波系数的倾斜与第1块及第2块的尺寸相等的情况相比更平缓。因而，即使第1块与第2块的边界附近的误差分布具有平缓的梯度，也能够提高适当地抑制其边界附近的误差的可能性。
<变形例1>
在上述实施方式7中，滤波处理部1203对误差较小的像素也进行了去块滤波处理，但也可以将对误差较小的像素的去块滤波处理设为关闭。另外，将去块滤波处理设为关闭，与将对于对象像素的滤波系数设定为1、并将对于对象像素以外的像素的滤波系数设定为零是等价的。
此外，在上述实施方式7中，滤波判定部1206和滤波特性决定部1202基于由误差分布推测部1201推测出的误差分布进行处理。但是，滤波判定部1206也可以仅使用量化参数来判定是否进行滤波处理，滤波特性决定部1202也可以基于量化参数和正交变换的基决定滤波特性。
此外，在本变形例中，也可以对亮度信号及色差信号分别进行去块滤波处理。在此情况下，关于循环滤波部120，既可以独立地设计亮度信号的去块滤波器和色差信号的去块滤波器，也可以以相互依赖的方式设计。例如，循环滤波部120也可以仅对亮度信号及色差信号中的一方的信号进行上述实施方式7的去块滤波处理，对于另一方的信号进行其以外的去块滤波处理。
此外，在本变形例中，例如也可以仅对帧内预测块进行上述实施方式7的去块滤波处理。或者，也可以对帧内预测块和帧间预测块双方进行上述实施方式7的去块滤波处理。
此外，循环滤波部120也可以以切片单位、瓦片单位、波阵面分割单位或CTU单位切换上述实施方式7的去块滤波处理的开启和关闭。
此外，存在通过在正交变换后进一步进行变换而提高频率空间中的系数的偏倚、提高压缩效率的技术(例如，JVET中的Non－Separable SecondaryTransform)。此时，循环滤波部120也可以基于正交变换的变换基来决定滤波特性。
此外，例如有对于第1块在第1次及第2次分别进行基于DST－VII的正交变换、对于第2块在第1次进行基于DST－VII的正交变换、在第2次进行基于DCT－II的正交变换的情况。在这样的情况下，循环滤波部120对于第1块推测比第2块陡峭的误差分布。即，第1块的水平方向及垂直方向上的误差分布的倾斜比第2块的误差分布的倾斜陡峭。并且，循环滤波部120基于该陡峭的误差分布来决定滤波特性。
此外，有在第1次的变换和第2次的变换中块尺寸不同的情况。在这样的情况下，循环滤波部120对相互不同的2个块尺寸的块的至少一方的边界进行去块滤波处理。
此外，在对于帧间预测块进行上述实施方式7的去块滤波处理的情况下，预想根据预测方法而对于正交变换后的各频率的系数分布或绝对值不同。在该预测方法中，例如有Uni－pred(1张参照预测)和Bi－pred(2张参照预测)。
因而，循环滤波部120也可以决定与预测方法对应的滤波系数。例如，循环滤波部120使对于具有系数的绝对值较大的倾向的Uni－pred的块的滤波的权重比对于Bi－pred的块的滤波的权重小。
此外，循环滤波部120也可以独自决定对于应用了合并模式的块的滤波的权重。例如，循环滤波部120使对于应用了合并模式的块的滤波的权重比对于应用了合并模式以外的预测的块的滤波的权重大或小。
此外，上述实施方式7中的去块滤波处理不仅使处理对象的图像接近于原图像，还与以往的去块滤波处理同样，使块边界变得不易醒目。因此，如果将权重不仅置于客观的评价、而且还置于主观的评价，则按每个块尺寸使滤波的特征变化是有效的。
具体而言，在误差较大的块中块噪声较醒目，所以循环滤波部120也可以将夹着块边界的两侧的滤波系数、阈值或滤波器的抽头数比对于误差较小的块的滤波系数、阈值或滤波器的抽头数设定得大。
基本上，距离越近的像素间，像素值的相关度越高，所以可以想到在对象像素的去块滤波处理中使用从该对象像素越远离的像素则客观的评价越恶化。但是，在去块滤波处理中使用的像素越多，在主观上块噪声越不易显醒目。因而，基于客观的评价与主观的评价的权衡，即使是从对象像素远离的像素，循环滤波部120也可以在去块滤波处理中使用该像素。
此外，在上述实施方式7中，根据DCT和DST等的基来推测误差分布，基于该推测出的误差分布来决定滤波特性。但是，也可以代替这些基，根据KLT(Karhunen－LoeveTransform)、DFT(Discrete Fourier transform)、Wavelet变换及重复变换等其他的变换方法推测误差分布，基于该推测出的误差分布来决定滤波特性。
此外，上述实施方式7中的编码装置100具备误差分布推测部1201，推测误差分布，但也可以不具备该误差分布推测部1201。即，编码装置100也可以不推测误差分布，而是根据在块的变换中使用的基直接地决定滤波特性。
<变形例2>
在上述实施方式7或其变形例1中，进行具有基于基的组合决定的滤波特性的去块滤波处理，但也可以进行去块滤波处理以外的其他的循环滤波处理。
例如，循环滤波部120也可以使用在变换中使用的基和对象像素在块内的位置来决定SAO(Sample Adaptive Offset，采样自适应偏移)的滤波系数。或者，循环滤波部120也可以进行基于3个参数的三边滤波处理。这3个参数例如由像素值的差、像素间的距离和根据正交变换的基推测的误差分布构成。或者，循环滤波部120也可以进行在帧内处理循环内应用了上述实施方式7或其变形例1的去块滤波处理的滤波处理。此外，循环滤波部120不需要基于周围像素的信息使对象像素的像素值变化，也可以按每个对象像素来赋予与误差分布对应的偏移。
此外，循环滤波部120如果能够预想到误差分布，则不需要按每个滤波处理来取得误差关联参数。例如，在基于JEM(Joint Exploration Model)4.0软件的帧内预测块中，在上述的EMT的设计上，在块的上侧和左侧不易产生误差，在块的下侧和右侧容易产生误差。因而，循环滤波部120也可以预先考虑到该情况，在JEM4.0的帧内预测块的上侧和左侧进行滤波强度弱的去块滤波处理。
在上述实施方式7或其变形例1中，滤波判定部1206判定是否对对象像素进行去块滤波处理，但也可以不进行该判定，而对全部的块边界进行去块滤波处理。
此外，在上述实施方式7或其变形例1中，循环滤波部120对于从加法部116输出的重构块的块边界，进行具有基于基的组合而决定的滤波特性的去块滤波处理。这里，例如，编码装置100也可以具备与循环滤波部120不同的滤波部。即，该滤波部对于重构块进行滤波处理，循环滤波部120对于由该滤波部滤波处理后的重构块的块边界进行去块滤波处理。在这样的情况下，循环滤波部120也可以基于基的组合以及该滤波部的滤波特性来决定去块滤波处理的滤波特性。进而，滤波部也可以进行具有相对于块边界为对称的滤波特性的去块滤波处理。在此情况下，在滤波部中使用的滤波系数比在编码装置100中不具备上述实施方式7或其变形例1的循环滤波部120的情况下的滤波系数设定得小。此外，滤波部也可以作为具有相对于块边界为对称的滤波特性的去块滤波处理而进行基于2个参数的双边滤波处理。2个参数例如由像素值的差和像素间的距离构成。在此情况下，循环滤波部120例如也可以决定与图36～38及图40所示的滤波系数相比整体上较小的滤波系数。
此外，在上述实施方式7或其变形例1中，循环滤波部120对块边界进行去块滤波处理，但也可以对块内的不是块边界的区域进行滤波处理。例如，循环滤波部120也可以在1个块内使用误差较小的像素的像素值使误差较大的像素的像素值变化。以下，将这样的滤波处理称作块内滤波处理。
具体而言，如图35所示，在通过DST－VII进行正交变换后的块内，处于上侧或左侧的像素的误差较小，处于下侧或右侧的像素的误差较大。因而，循环滤波部120通过进行块内滤波处理，使用处于上侧或左侧的像素的像素值，使处于下侧或右侧的像素的像素值变化。由此，能够提高减小误差的可能性。
图41是表示根据块尺寸而不同的基的梯度的图。另外，图41中的各曲线图的横轴表示一维空间上的位置，纵轴表示基的值(即振幅)。
如图41的(a)所示，块尺寸N＝32下的DST－VII的0次基的振幅在一维空间上的位置n＝1到n＝32增加到约10倍。另一方面，块尺寸N＝4下的DST－VII的0次基的振幅在一维空间上的位置n＝1到n＝4增加到约3倍。
因而，即使在2个块各自的变换中使用的基相同，只要块尺寸不同，则块内的基的梯度也是较小的块较陡峭、较大的块较平缓。
即，如上述那样，在循环滤波部120进行块内滤波处理的情况下，能够更好地发挥对于正交变换的低次基的梯度较陡峭的块即较小的块，提高误差减小的可能性的效果。
此外，在块的块尺寸较大的情况下，只要该块内的像素值的相关性的距离依赖性或方向依赖性较弱，则通过由循环滤波部120进行块内滤波处理，就能够提高误差减小的可能性。例如，帧内预测的方向对像素值的相关性的距离依赖性或方向依赖性带来影响。距离依赖性是2个像素间的距离越近则这些像素的像素值的相关性越高的性质。方向依赖性是根据从一方像素朝向另一方像素的方向而这些像素的像素值的相关性不同的性质。所以，循环滤波部120也可以通过进行与帧内预测的方向对应的块内滤波处理，使误差较大的像素的像素值变化。
[安装例]
图42是表示有关上述各实施方式的编码装置100的安装例的框图。编码装置100具备处理电路160及存储器162。例如，图1所示的编码装置100的多个构成要素通过图42所示的处理电路160及存储器162安装。
处理电路160是进行信息处理的电路，是能够对存储器162进行访问的电路。例如，处理电路160是将运动图像进行编码的专用或通用的电子电路。处理电路160既可以是CPU那样的处理器。此外，处理电路160也可以是多个电子电路的集合体。此外，例如处理电路160也可以起到图1所示的编码装置100的多个构成要素中的用来存储信息的构成要素以外的多个构成要素的作用。
存储器162是存储用于由处理电路160将运动图像进行编码的信息的通用或专用的存储器。存储器162既可以是电子电路，也可以连接于处理电路160。此外，存储器162也可以包含在处理电路160中。此外，存储器162也可以是多个电子电路的集合体。此外，存储器162既可以是磁盘或光盘等，也可以表现为存储装置(storage)或记录介质等。此外，存储器162既可以是非易失性存储器，也可以是易失性存储器。
例如，在存储器162中，既可以存储有被编码的运动图像，也可以存储有与被编码的运动图像对应的比特列。此外，在存储器162中，也可以存储有用于由处理电路160将运动图像进行编码的程序。
此外，例如存储器162也可以起到图1所示的编码装置100的多个构成要素中的用来存储信息的构成要素的作用。具体而言，存储器162也可以起到图1所示的块存储器118及帧存储器122的作用。更具体地讲，在存储器162中，也可以存储已处理子块、已处理块及已处理图片等。
另外，在编码装置100中，也可以不安装图1等所示的多个构成要素的全部，也可以不进行上述的多个处理的全部。图1等所示的多个构成要素的一部分也可以包含在其他装置中，上述的多个处理的一部分也可以由其他装置执行。并且，在编码装置100中，安装着图1等所示的多个构成要素中的一部分，进行上述的多个处理的一部分，由此能够以较少的代码量将运动图像适当地处理。
图43是表示有关上述各实施方式的解码装置200的安装例的框图。解码装置200具备处理电路260及存储器262。例如，图10所示的解码装置200的多个构成要素由图43所示的处理电路260及存储器262安装。
处理电路260是进行信息处理的电路，是能够对存储器262进行访问的电路。例如，处理电路260是将运动图像进行解码的通用或专用的电子电路。处理电路260也可以是CPU那样的处理器。此外，处理电路260也可以是多个电子电路的集合体。此外，例如处理电路260也可以起到图10所示的解码装置200的多个构成要素中的除了用来存储信息的构成要素以外的多个构成要素的作用。
存储器262是存储用于由处理电路260将运动图像进行解码的信息的通用或专用的存储器。存储器262也可以是电子电路，也可以连接于处理电路260。此外，存储器262也可以包含在处理电路260中。此外，存储器262也可以是多个电子电路的集合体。此外，存储器262既可以是磁盘或光盘等，也可以表现为存储设备或记录介质等。此外，存储器262既可以是非易失性存储器，也可以是易失性存储器。
例如，在存储器262中，也可以存储与被编码的运动图像对应的比特列，也可以存储与被解码的比特列对应的运动图像。此外，在存储器262中，也可以存储有用于由处理电路260将运动图像进行解码的程序。
此外，例如存储器262也可以起到图10所示的解码装置200的多个构成要素中的用于存储信息的构成要素的作用。具体而言，存储器262也可以起到图10所示的块存储器210及帧存储器214的作用。更具体地讲，在存储器262中，也可以存储已处理子块、已处理块及已处理图片等。
另外，在解码装置200中，也可以不安装图10等所示的多个构成要素的全部，也可以不进行上述的多个处理的全部。图10等所示的多个构成要素的一部分也可以包含在其他装置中，上述的多个处理的一部分也可以由其他装置执行。并且，在解码装置200中，安装图10等所示的多个构成要素中的一部分，进行上述的多个处理的一部分，由此能够以较少的代码量将运动图像适当地处理。
[补充]
上述各实施方式的编码装置100及解码装置200分别既可以作为图像编码装置及图像解码装置利用，也可以作为运动图像编码装置及运动图像解码装置利用。或者，编码装置100及解码装置200分别可以作为帧间预测装置利用。即，编码装置100及解码装置200也可以分别仅与帧间预测部126及帧间预测部218对应。
此外，在上述各实施方式中，将预测块作为编码对象块或解码对象块进行了编码或解码，但编码对象块或解码对象块并不限于预测块，也可以是子块，也可以是其他块。
此外，在上述各实施方式中，各构成要素也可以由专用的硬件构成，或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。
具体而言，编码装置100及解码装置200分别也可以具备处理电路(ProcessingCircuitry)、以及与该处理电路电连接的能够从该处理电路访问的存储装置(Storage)。
处理电路包括专用的硬件及程序执行部的至少一方，使用存储装置执行处理。此外，存储装置在处理电路包括程序执行部的情况下，存储由该程序执行部执行的软件程序。
这里，实现上述各实施方式的编码装置100或解码装置200等的软件是以下这样的程序。
即，该程序使计算机执行遵循图5B、图5D、图11、图13、图14、图16、图19、图20、图22及图28中的任一项所示的流程图的处理。
此外，各构成要素如上述那样也可以是电路。这些电路既可以作为整体而构成1个电路，也可以是分别单独的电路。此外，各构成要素既可以由通用的处理器实现，也可以由专用的处理器实现。
此外，也可以由其他构成要素执行特定的构成要素执行的处理。此外，也可以将执行处理的顺序变更，也可以将多个处理并行执行。此外，也可以是编码解码装置具备编码装置100及解码装置200。
在说明中使用的第1及第2等的序数也可以适当替换。此外，对于构成要素等既可以新赋予序数也可以去除序数。
以上，对于编码装置100及解码装置200的技术方案，基于各实施方式进行了说明，但编码装置100及解码装置200的技术方案并不限定于这些实施方式。只要不脱离本发明的主旨，对实施方式施以了本领域技术人员想到的各种变形后的形态、或将不同实施方式的构成要素组合而构建的形态也可以包含在编码装置100及解码装置200的技术方案的范围中。
(实施方式8)
在以上的各实施方式中，各个功能块通常可以通过MPU及存储器等实现。此外，各个功能块的处理通常通过由处理器等程序执行部将记录在ROM等记录介质中的软件(程序)读出并执行来实现。该软件既可以通过下载等来分发，也可以记录到半导体存储器等记录介质中来分发。另外，当然也能够通过硬件(专用电路)实现各功能块。
此外，在各实施方式中说明的处理既可以通过使用单一的装置(***)集中处理来实现，或者也可以通过使用多个装置进行分散处理来实现。此外，执行上述程序的处理器既可以是单个，也可以是多个。即，既可以进行集中处理，也可以进行分散处理。
本发明的形态并不限定于以上的实施例，能够进行各种各样的变更，它们也包含在本发明的形态的范围内。
进而，这里说明在上述各实施方式中表示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的应用例和使用它的***。该***的特征在于，具有使用图像编码方法的图像编码装置、使用图像解码方法的图像解码装置、以及具备两者的图像编码解码装置。关于***中的其他结构，根据情况能够适当地变更。
[使用例]
图44是表示实现内容分发服务的内容供给***ex100的整体结构的图。将通信服务的提供区分割为希望的大小，在各单元内分别设有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
在该内容供给***ex100中，在因特网ex101上经由因特网服务提供商ex102或通信网ex104、以及基站ex106～ex110连接着计算机ex111、游戏机ex112、相机ex113、家电ex114以及智能电话ex115等各设备。该内容供给***ex100也可以将上述的某些要素组合而连接。也可以不经由作为固定无线站的基站ex106～ex110而将各设备经由电话网或近距离无线等直接或间接地相互连接。此外，流媒体服务器ex103经由因特网ex101等而与计算机ex111、游戏机ex112、相机ex113、家电ex114及智能电话ex115等各设备连接。此外，流媒体服务器ex103经由卫星ex116而与飞机ex117内的热点内的终端等连接。
另外，也可以代替基站ex106～ex110而使用无线接入点或热点等。此外，流媒体服务器ex103既可以不经由因特网ex101或因特网服务提供商ex102而直接与通信网ex104连接，也可以不经由卫星ex116而直接与飞机ex117连接。
相机ex113是数字相机等能够进行静止图像摄影及运动图像摄影的设备。此外，智能电话ex115是与通常被称作2G、3G、3.9G、4G、及今后被称作5G的移动通信***的方式对应的智能电话机、便携电话机或PHS(Personal Handyphone System)等。
家电ex118是电冰箱或在家庭用燃料电池热电联供***中包含的设备等。
在内容供给***ex100中，具有摄影功能的终端经由基站ex106等连接到流媒体服务器ex103上，由此能够进行现场分发等。在现场分发中，终端(计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115及飞机ex117内的终端等)对由用户使用该终端拍摄的静止图像或运动图像内容进行在上述各实施方式中说明的编码处理，将通过编码得到的影像数据和将与影像对应的声音进行编码而得到的声音数据复用，将得到的数据向流媒体服务器ex103发送。即，各终端作为有关本发明的一形态的图像编码装置发挥功能。
另一方面，流媒体服务器ex103将对有请求的客户端发送的内容数据进行流分发。客户端是能够将上述编码处理后的数据进行解码的计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115或飞机ex117内的终端等。接收到被分发的数据的各设备对接收到的数据进行解码处理并再现。即，各设备作为有关本发明的一形态的图像解码装置发挥功能。
[分散处理]
此外，流媒体服务器ex103也可以是多个服务器或多个计算机，将数据分散处理或记录而分发。例如，流媒体服务器ex103也可以由CDN(Contents Delivery Network)实现，通过将分散在世界中的许多边缘服务器与边缘服务器之间相连的网络来实现内容分发。在CDN中，根据客户端而动态地分配在物理上较近的边缘服务器。并且，通过向该边缘服务器高速缓存及分发内容，能够减少延迟。此外，在发生了某种错误的情况下或因通信量的增加等而通信状态变化的情况下，能够用多个边缘服务器将处理分散、或将分发主体切换为其他边缘服务器、或绕过发生故障的网络的部分而继续分发，所以能够实现高速且稳定的分发。
此外，不限于分发自身的分散处理，所拍摄的数据的编码处理既可以由各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，通常在编码处理中进行2次处理循环。在第1次的循环中对帧或场景单位的图像的复杂度或代码量进行检测。此外，在第2次的循环中进行维持画质而使编码效率提高的处理。例如，通过由终端进行第1次的编码处理、由接收到内容的服务器侧进行第2次的编码处理，能够在减少各终端中的处理负荷的同时使内容的质和效率提高。在此情况下，如果有几乎实时地接收并解码的请求，则也可以将终端进行的第一次编码完成的数据由其他终端接收并再现，所以也能够进行更灵活的实时分发。
作为其他例子，相机ex113等从图像进行特征量提取，将关于特征量的数据作为元数据压缩并向服务器发送。服务器例如根据特征量来判断目标的重要性而切换量化精度等，进行与图像的意义对应的压缩。特征量数据对于服务器中的再次压缩时的运动矢量预测的精度及效率提高特别有效。此外，也可以由终端进行VLC(可变长编码)等简单的编码，由服务器进行CABAC(上下文自适应二值算术编码方式)等处理负荷大的编码。
作为其他例子，在体育场、购物中心或工厂等中，有存在由多个终端拍摄大致相同的场景而得到的多个影像数据的情况。在此情况下，使用进行了拍摄的多个终端、以及根据需要而使用没有进行摄影的其他终端及服务器，例如以GOP(Group of Picture)单位、图片单位或将图片分割而得到的瓦片单位等分别分配编码处理而进行分散处理。由此，能够减少延迟而更好地实现实时性。
此外，由于多个影像数据是大致相同场景，所以也可以由服务器进行管理及/或指示，以将由各终端拍摄的影像数据相互参照。或者，也可以是服务器接收来自各终端的已编码数据并在多个数据间变更参照关系，或将图片自身进行修正或替换而重新编码。由此，能够生成提高了一个个数据的质和效率的流。
此外，服务器也可以进行将影像数据的编码方式变更的转码后将影像数据分发。例如，服务器也可以将MPEG类的编码方式变换为VP类，也可以将H.264变换为H.265。
这样，编码处理能够由终端或1个以上的服务器进行。因此，以下作为进行处理的主体而使用“服务器”或“终端”等的记载，但也可以将由服务器进行的处理的一部分或全部用终端进行，也可以将由终端进行的处理的一部分或全部用服务器进行。此外，关于这些，对于解码处理也是同样的。
[3D、多角度]
近年来，将由相互大致同步的多个相机ex113及/或智能电话ex115等终端拍摄的不同场景、或从不同的角度拍摄了相同场景的图像或影像合并而利用的情况增加。将由各终端拍摄的影像基于另取得的终端间的相对位置关系、或影像中包含的特征点一致的区域等来合并。
服务器不仅是将二维的运动图像进行编码，也可以基于运动图像的场景解析等自动地或在用户指定的时刻将静止图像进行编码并向接收终端发送。服务器还在能够取得拍摄终端间的相对位置关系的情况下，不仅是二维的运动图像，还能够基于从不同的角度拍摄了相同场景的影像，生成该场景的三维形状。另外，服务器也可以将由点云(pointcloud)等生成的三维的数据另行编码，也可以基于使用三维数据将人物或目标进行识别或跟踪的结果，从由多个终端拍摄的影像中选择或重构而生成向接收终端发送的影像。
这样，用户既能够任意地选择与各拍摄终端对应的各影像而欣赏场景，也能够欣赏从使用多个图像或影像重构的三维数据中切取了任意视点的影像的内容。进而，与影像同样，声音也可以从多个不同的角度集音，由服务器匹配于影像而将来自特定的角度或空间的声音与影像复用并发送。
此外，近年来，Virtual Reality(VR：虚拟现实)及Augmented Reality(AR：增强现实)等将现实世界与虚拟世界建立对应的内容也正在普及。在VR图像的情况下，服务器分别制作右眼用及左眼用的视点图像，既可以通过Multi－View Coding(MVC：多视点编码)等进行在各视点影像间容许参照的编码，也可以相互不参照而作为不同的流进行编码。在不同的流的解码时，可以根据用户的视点相互同步地再现，以再现虚拟的三维空间。
在AR图像的情况下，也可以是，服务器基于三维的位置或用户的视点的移动，对现实空间的相机信息重叠虚拟空间上的虚拟物体信息。解码装置取得或保持虚拟物体信息及三维数据，根据用户的视点的移动而生成二维图像，通过平滑地相连来制作重叠数据。或者，也可以是，解码装置除了虚拟物体信息的委托以外还将用户的视点的移动发送给服务器，服务器根据保持在服务器中的三维数据，匹配于接收到的视点的移动而制作重叠数据，将重叠数据进行编码并向解码装置分发。另外，重叠数据在RGB以外具有表示透射度的α值，服务器将根据三维数据制作出的目标以外的部分的α值设定为0等，在该部分透射的状态下进行编码。或者，服务器也可以如色度键那样将规定值的RGB值设定为背景，生成将目标以外的部分设为背景色的数据。
同样，分发的数据的解码处理既可以由作为客户端的各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，也可以是某个终端先向服务器发送接收请求，由其他终端接收与该请求对应的内容并进行解码处理，将已解码的信号向具有显示器的装置发送。通过与可通信的终端自身的性能无关地都将处理分散而选择适当的内容，能够再现画质较好的数据。此外，作为其他例子，也可以由TV等接收大尺寸的图像数据，并且由欣赏者的个人终端将图片被分割后的瓦片等一部分区域进行解码并显示。由此，能够在使整体像共有化的同时，在手边确认自己的负责领域或想要更详细地确认的区域。
此外，预想今后在不论室内外都能够使用近距离、中距离或长距离的多个无线通信的状况下，利用MPEG－DASH等的分发***标准，一边对连接中的通信切换适当的数据一边无缝接收内容。由此，用户不仅用自身的终端，还能够自由地选择设置在室内外的显示器等解码装置或显示装置来实时地切换。此外，能够基于自身的位置信息等，切换解码的终端及显示的终端来进行解码。由此，还能够在向目的地的移动中一边在埋入有可显示的设备的旁边的建筑物的墙面或地面的一部分上显示地图信息一边移动。此外，还能够基于在能够从接收终端以短时间访问的服务器中高速缓存有编码数据、或在内容分发服务的边缘服务器中复制有编码数据等的向网络上的编码数据的访问容易性，来切换接收数据的比特率。
[可分级编码]
关于内容的切换，使用图45所示的、使用应用在上述各实施方式中表示的运动图像编码方法进行压缩编码的可分级(scalable)的流进行说明。对服务器而言，作为单独的流也可以具有内容相同而品质不同的多个流，也可以是如图示那样利用通过分层进行编码而实现的时间/空间上的可分级的流的特征来切换内容的结构。即，通过由解码侧根据性能这样的内在因素和通信频带的状态等外在因素来决定解码到哪个层，解码侧能够自由地切换低分辨率的内容和高分辨率的内容来解码。例如在想要将在移动中用智能电话ex115视听的影像的后续在回家后用因特网TV等设备视听的情况下，该设备只要将相同的流解码到不同的层就可以，所以能够减轻服务器侧的负担。
进而，在如上述那样按每个层将图片编码、实现在基本层的上位存在增强层的分级性的结构以外，也可以是增强层(enhancement layer)包含基于图像的统计信息等的元信息，解码侧通过基于元信息将基本层的图片进行超析像来生成高画质化的内容。超析像可以是相同分辨率下的SN比的提高及分辨率的扩大中的任意一种。元信息包括用来确定在超析像处理中使用的线性或非线性的滤波系数的信息、或确定在超析像处理中使用的滤波处理、机器学习或最小2乘运算中的参数值的信息等。
或者，也可以是根据图像内的目标等的意义将图片分割为瓦片等，解码侧通过选择进行解码的瓦片而仅将一部分区域解码的结构。此外，通过将目标的属性(人物、车、球等)和影像内的位置(同一图像中的坐标位置等)作为元信息保存，解码侧能够基于元信息确定希望的目标的位置，决定包括该目标的瓦片。例如，如图46所示，使用HEVC中的SEI消息等与像素数据不同的数据保存构造来保存元信息。该元信息例如表示主目标的位置、尺寸或色彩等。
此外，也可以以流、序列或随机访问单位等由多个图片构成的单位保存元信息。由此，解码侧能够取得特定人物在影像内出现的时刻等，通过与图片单位的信息匹配，能够确定目标存在的图片、以及图片内的目标的位置。
[Web页的优化]
图47是表示计算机ex111等中的web页的显示画面例的图。图48是表示智能电话ex115等中的web页的显示画面例的图。如图47及图48所示，有web页包含多个作为向图像内容的链接的链接图像的情况，根据阅览的设备而其可见方式不同。在画面上能看到多个链接图像的情况下，在用户明示地选择链接图像之前、或链接图像接近于画面的中央附近或链接图像的整体进入到画面内之前，显示装置(解码装置)中作为链接图像而显示各内容所具有的静止图像或I图片，或用多个静止图像或I图片等显示gif动画那样的影像，或仅接收基本层而将影像解码及显示。
在由用户选择了链接图像的情况下，显示装置将基本层最优先地解码。另外，如果在构成web页的HTML中有表示是可分级的内容的信息，则显示装置也可以解码到增强层。此外，在为了确保实时性而在选择之前或通信频带非常紧张的情况下，显示装置可以通过仅将前方参照的图片(I图片、P图片、仅进行前方参照的B图片)解码及显示，来减少开头图片的解码时刻与显示时刻之间的延迟(从内容的解码开始到显示开始的延迟)。此外，显示装置也可以将图片的参照关系强行地忽视而将全部的B图片及P图片设为前方参照而粗略地解码，随着时间经过而接收到的图片增加，进行正常的解码。
[自动行驶]
此外，在为了车的自动行驶或行驶辅助而收发二维或三维的地图信息等的静止图像或影像数据的情况下，接收终端也可以除了属于1个以上的层的图像数据以外，还作为元信息而接收天气或施工的信息等，将它们建立对应而解码。另外，元信息既可以属于层，也可以只与图像数据复用。
在此情况下，由于包含接收终端的车、无人机或飞机等在移动，所以接收终端通过在接收请求时发送该接收终端的位置信息，能够切换基站ex106～ex110来进行无缝接收及解码。此外，接收终端根据用户的选择、用户的状况或通信频带的状态，能够动态地切换将元信息以何种程度接收、或将地图信息以何种程度更新。
如以上这样，在内容供给***ex100中，客户端能够将用户发送的已编码的信息实时地接收并解码、再现。
[个人内容的分发]
此外，在内容供给***ex100中，不仅是由影像分发业者提供的高画质、长时间的内容，还能够进行由个人提供的低画质、短时间的内容的单播或多播分发。此外，可以想到这样的个人内容今后也会增加。为了使个人内容成为更好的内容，服务器也可以在进行编辑处理后进行编码处理。这例如可以通过以下这样的结构实现。
在拍摄时实时地或累积下来拍摄后，服务器根据原图像或已编码数据，进行拍摄错误、场景搜索、意义的解析及目标检测等的识别处理。并且，服务器基于识别结果，手动或自动地进行将焦点偏差或手抖动等修正、或将明亮度比其他图片低或焦点没有对上的场景等的重要性低的场景删除、或将目标的边缘强调、或使色调变化等的编辑。服务器基于编辑结果，将编辑后的数据进行编码。此外，已知如果拍摄时刻过长则视听率会下降，服务器也可以根据拍摄时间，不仅将如上述那样重要性低的场景，还将运动少的场景等基于图像处理结果自动地裁剪，以成为特定的时间范围内的内容。或者，服务器也可以基于场景的意义解析的结果而生成摘要并编码。
另外，个人内容在原状态下有被写入侵害著作权、著作者人格权或肖像权等的内容的情形，也有共享的范围超过了想要的范围等对于个人而言不便的情况。因此，例如服务器也可以将画面的周边部的人的脸、或家中等强行地变更为不对焦的图像而进行编码。此外，服务器也可以识别在编码对象图像内是否拍摄到与预先登记的人物不同的人物的脸，在拍摄到的情况下，进行对脸部分施加马赛克等的处理。或者，作为编码的前处理或后处理，也可以从著作权等的观点出发，用户指定想要将图像加工的人物或背景区域，服务器进行将所指定的区域替换为别的影像、或将焦点模糊化等的处理。如果是人物，则能够在运动图像中跟踪人物的同时，将脸部分的影像替换。
此外，数据量小的个人内容的视听其实时性要求较强，所以虽然也取决于带宽，但解码装置首先将基本层最优先地接收并进行解码及再现。解码装置也可以在此期间中接收增强层，在再现被循环的情况等2次以上被再现的情况下，将增强层也包括在内再现高画质的影像。这样，如果是进行了可分级编码的流，则能够提供在未选择时或刚开始看的阶段是虽然较粗糙的运动图像但流逐渐变得流畅而图像变好的体验。除了可分级编码以外，在第1次被再现的较粗糙的流和参照第1次的运动图像而被编码的第2次的流构成为1个流的情况下也能够提供同样的体验。
[其他使用例]
此外，这些编码或解码处理通常在各终端所具有的LSIex500中处理。LSIex500既可以是单芯片也可以是由多芯片构成的结构。另外，也可以将运动图像编码或解码用的软件装入到能够由计算机ex111等读取的某种记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码处理及解码处理。进而，在智能电话ex115带有相机的情况下，也可以发送由该相机取得的运动图像数据。此时的运动图像数据是用智能电话ex115所具有的LSIex500进行编码处理后的数据。
另外，LSIex500也可以是将应用软件下载并将其激活的结构。在此情况下，终端首先判定该终端是否与内容的编码方式对应、或是否具有特定服务的执行能力。在终端不与内容的编码方式对应的情况下、或不具有特定服务的执行能力的情况下，终端下载编解码器或应用软件，然后进行内容取得及再现。
此外，并不限于经由因特网ex101的内容供给***ex100，也能够在数字广播用***中组装上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)中的某一种。由于利用卫星等使广播用的电波承载将影像与声音复用的复用数据而收发，所以相对于内容供给***ex100的容易单播的结构，有适合多播的差异，但关于编码处理及解码处理能够进行同样的应用。
[硬件结构]
图49是表示智能电话ex115的图。此外，图50是表示智能电话ex115的结构例的图。智能电话ex115具有用来在与基站ex110之间收发电波的天线ex450、能够拍摄影像及静止图像的相机部ex465、显示由相机部ex465拍摄的影像及将由天线ex450接收到的影像等解码后的数据的显示部ex458。智能电话ex115还具备作为触摸面板等的操作部ex466、用来输出声音或音响的作为扬声器等的声音输出部ex457、用来输入声音的作为麦克风等的声音输入部ex456、能够保存所拍摄的影像或静止图像、录音的声音、接收到的影像或静止图像、邮件等的编码后的数据或解码后的数据的存储器部ex467、或者作为与SIMex468的接口部的插槽部ex464，所述SIMex468用来确定用户，进行以网络为代表向各种数据的访问的认证。此外，也可以代替存储器部ex467而使用外置存储器。
此外，对显示部ex458及操作部ex466等进行综合控制的主控制部ex460与电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、显示器控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464及存储器部ex467经由总线ex470相互连接。
电源电路部ex461如果通过用户的操作使电源键成为开启状态，则通过从电池组对各部供给电力，将智能电话ex115启动为能够动作的状态。
智能电话ex115基于具有CPU、ROM及RAM等的主控制部ex460的控制，进行通话及数据通信等处理。在通话时，通过声音信号处理部ex454将由声音输入部ex456集音的声音信号变换为数字声音信号，将其用调制/解调部ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟变换处理及频率变换处理之后经由天线ex450发送。此外，将接收数据放大并实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处理，由声音信号处理部ex454变换为模拟声音信号后，将其从声音输出部ex457输出。在数据通信时，通过主体部的操作部ex466等的操作将文本、静止图像或影像数据经由操作输入控制部ex462向主控制部ex460送出，同样进行收发处理。在数据通信模式时，在发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将保存在存储器部ex467中的影像信号或从相机部ex465输入的影像信号通过在上述各实施方式中表示的运动图像编码方法进行压缩编码，将编码后的影像数据向复用/分离部ex453送出。此外，声音信号处理部ex454将在由相机部ex465拍摄影像、静止图像等的过程中由声音输入部ex456集音的声音信号编码，将编码后的声音数据向复用/分离部ex453送出。复用/分离部ex453将已编码影像数据和已编码声音数据以规定的方式复用，由调制/解调部(调制/解调电路部)ex452及发送/接收部ex451实施调制处理及变换处理，经由天线ex450发送。
在接收到添附在电子邮件或聊天工具中的影像、或链接在网页等上的影像的情况下，为了将经由天线ex450接收到的复用数据进行解码，复用/分离部ex453通过将复用数据分离而将复用数据分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给，并将编码后的声音数据向声音信号处理部ex454供给。影像信号处理部ex455通过与在上述各实施方式中表示的运动图像编码方法对应的运动图像解码方法将影像信号进行解码，经由显示器控制部ex459从显示部ex458显示被链接的运动图像文件中包含的影像或静止图像。此外，声音信号处理部ex454将声音信号进行解码，从声音输出部ex457输出声音。另外，由于实时流媒体正在普及，所以根据用户的状况，也可能发生声音的再现在社会上不适合的场合。因此，作为初始值，优选的是不将声音信号再现而仅将影像数据再现的结构。也可以仅在用户进行了将影像数据点击等操作的情况下将声音同步地再现。
此外，这里以智能电话ex115为例进行了说明，但作为终端，可以考虑除了拥有编码器及解码器双方的收发型终端以外，还有仅具有编码器的发送终端、仅具有解码器的接收终端这3种安装形式。进而，在数字广播用***中，假设将在影像数据中复用了声音数据等的复用数据接收、发送而进行了说明，但在复用数据中除了声音数据以外还可以复用与影像关联的字符数据等，也可以不是将复用数据而是将影像数据自身接收或发送。
另外，假设包括CPU的主控制部ex460控制编码或解码处理而进行了说明，但终端具备GPU的情况也较多。因此，也可以做成通过由CPU和GPU共用的存储器、或以能够共同使用的方式管理地址的存储器，来利用GPU的性能将较大的区域一起处理的结构。由此，能够缩短编码时间，确保实时性，实现低延迟。特别是，如果将运动估计、解块滤波、SAO(SampleAdaptive Offset)及变换/量化的处理不是用CPU进行而是用GPU以图片等单位一起进行，则更有效。
产业上的可利用性
本发明能够对编码装置、解码装置、编码方法及解码方法。
标号说明
100 编码装置
102 分割部
104 减法部
106 变换部
108 量化部
110 熵编码部
112、204 逆量化部
114、206 逆变换部
116、208 加法部
118、210 块存储器
120、212 循环滤波部
122、214 帧存储器
124、216 帧内预测部
126、218 帧间预测部
128、220 预测控制部
160、260 处理电路
162、262 存储器
200 解码装置
202 熵解码部

Claims (3)

1.一种编码方法，其特征在于，
决定是否对第1块与相邻于上述第1块的第2块之间的边界进行滤波，
在决定为对上述边界进行滤波时，利用限制处理将上述第1块及上述第2块中的、沿着相交于上述边界的线排列的多个像素的值，以各个值的滤波前后的变化量不超过各个限制幅度的方式进行变更，
上述第1块及上述第2块中的上述多个像素的上述各个限制幅度是基于上述第1块及上述第2块的块尺寸而非对称地选择的，
上述第1块的多个像素包括位于第1位置的第1像素，上述第2块的多个像素包括位于第2位置的第2像素，上述第2位置相对于边界与上述第1位置对应，
上述限制幅度包括与上述第1像素对应的第1限制幅度和与上述第2像素对应的第2限制幅度，
上述第1限制幅度和上述第2限制幅度是非零的不同的值，
当上述第1块大于上述第2块的情况下，上述第1限制幅度大于上述第2限制幅度。
2.一种解码方法，其特征在于，
决定是否对第1块与相邻于上述第1块的第2块之间的边界进行滤波，
在决定为对上述边界进行滤波时，利用限制处理将上述第1块及上述第2块中的、沿着相交于上述边界的线排列的多个像素的值，以各个值的滤波前后的变化量不超过各个限制幅度的方式进行变更，
上述第1块及上述第2块中的上述多个像素的上述各个限制幅度是基于上述第1块及上述第2块的块尺寸而非对称地选择的，
上述第1块的多个像素包括位于第1位置的第1像素，上述第2块的多个像素包括位于第2位置的第2像素，上述第2位置相对于边界与上述第1位置对应，
上述限制幅度包括与上述第1像素对应的第1限制幅度和与上述第2像素对应的第2限制幅度，
上述第1限制幅度和上述第2限制幅度是非零的不同的值，
当上述第1块大于上述第2块的情况下，上述第1限制幅度大于上述第2限制幅度。
3.一种发送方法，其是比特流的发送方法，其特征在于，
上述比特流包含用于决定是否使解码装置执行滤波处理的滤波信息，在决定为执行上述滤波处理的情况下，上述滤波处理包括以下处理：
为了对第1块与相邻于上述第1块的第2块之间的边界进行滤波，利用限制处理将上述第1块及上述第2块中的、沿着相交于上述边界的线排列的多个像素的值，以各个值的滤波前后的变化量不超过各个限制幅度的方式进行变更，
上述第1块及上述第2块中的上述多个像素的上述各个限制幅度是基于上述第1块及上述第2块的块尺寸而非对称地选择的，
上述第1块的多个像素包括位于第1位置的第1像素，上述第2块的多个像素包括位于第2位置的第2像素，上述第2位置相对于边界与上述第1位置对应，
上述限制幅度包括与上述第1像素对应的第1限制幅度和与上述第2像素对应的第2限制幅度，
上述第1限制幅度和上述第2限制幅度是非零的不同的值，
当上述第1块大于上述第2块的情况下，上述第1限制幅度大于上述第2限制幅度。
CN202111528019.XA 2016-12-27 2017-12-21 编码方法、解码方法及发送方法 Active CN114173117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111528019.XA CN114173117B (zh) 2016-12-27 2017-12-21 编码方法、解码方法及发送方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662439237P 2016-12-27 2016-12-27
US62/439237 2016-12-27
PCT/JP2017/045911 WO2018123800A1 (ja) 2016-12-27 2017-12-21 符号化装置、復号装置、符号化方法及び復号方法
CN201780080129.XA CN110100443B (zh) 2016-12-27 2017-12-21 编码装置、解码装置、编码方法及解码方法
CN202111528019.XA CN114173117B (zh) 2016-12-27 2017-12-21 编码方法、解码方法及发送方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780080129.XA Division CN110100443B (zh) 2016-12-27 2017-12-21 编码装置、解码装置、编码方法及解码方法

Publications (2)

Publication Number Publication Date
CN114173117A CN114173117A (zh) 2022-03-11
CN114173117B true CN114173117B (zh) 2023-10-20

Family

ID=62710404

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202111527160.8A Active CN114157865B (zh) 2016-12-27 2017-12-21 编码装置、解码装置及非暂时性的存储介质
CN201780080129.XA Active CN110100443B (zh) 2016-12-27 2017-12-21 编码装置、解码装置、编码方法及解码方法
CN202111528020.2A Active CN114173118B (zh) 2016-12-27 2017-12-21 编码方法、解码方法及发送方法
CN202111527192.8A Active CN114157866B (zh) 2016-12-27 2017-12-21 编码装置、解码装置及非暂时性的存储介质
CN202111528069.8A Active CN114173119B (zh) 2016-12-27 2017-12-21 解码装置及非暂时性的存储介质
CN202111528019.XA Active CN114173117B (zh) 2016-12-27 2017-12-21 编码方法、解码方法及发送方法

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN202111527160.8A Active CN114157865B (zh) 2016-12-27 2017-12-21 编码装置、解码装置及非暂时性的存储介质
CN201780080129.XA Active CN110100443B (zh) 2016-12-27 2017-12-21 编码装置、解码装置、编码方法及解码方法
CN202111528020.2A Active CN114173118B (zh) 2016-12-27 2017-12-21 编码方法、解码方法及发送方法
CN202111527192.8A Active CN114157866B (zh) 2016-12-27 2017-12-21 编码装置、解码装置及非暂时性的存储介质
CN202111528069.8A Active CN114173119B (zh) 2016-12-27 2017-12-21 解码装置及非暂时性的存储介质

Country Status (7)

Country Link
US (3) US10917641B2 (zh)
EP (1) EP3565256A4 (zh)
JP (4) JP6770095B2 (zh)
KR (5) KR20230085949A (zh)
CN (6) CN114157865B (zh)
TW (1) TWI774718B (zh)
WO (1) WO2018123800A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230085949A (ko) * 2016-12-27 2023-06-14 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
EP3732886A1 (en) * 2017-12-29 2020-11-04 Telefonaktiebolaget Lm Ericsson (Publ) Methods providing encoding and/or decoding of video using reference values and related devices
CN109215092B (zh) * 2018-09-10 2020-03-13 百度在线网络技术（北京）有限公司 仿真场景的生成方法及装置
JP7228980B2 (ja) * 2018-09-21 2023-02-27 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
JP7189234B2 (ja) * 2018-12-21 2022-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
WO2020130134A1 (ja) * 2018-12-21 2020-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN115914627A (zh) 2019-04-15 2023-04-04 北京字节跳动网络技术有限公司 自适应环路滤波器中的裁剪参数推导
JP2022540982A (ja) * 2019-06-25 2022-09-21 オッポ広東移動通信有限公司 情報処理方法及び装置、設備、記憶媒体
CN114424541B (zh) * 2019-08-16 2024-05-31 苹果公司 压缩视频及重建压缩视频的***、方法、及存储介质
CN114342383B (zh) * 2019-08-29 2024-05-03 日本放送协会 编码装置、解码装置及程序
WO2021063389A1 (en) * 2019-10-03 2021-04-08 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods using interpolation filtering

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007013437A1 (ja) * 2005-07-25 2007-02-01 Sony Corporation 画像処理装置、画像処理方法およびプログラム
JP2007180767A (ja) * 2005-12-27 2007-07-12 Toshiba Corp 情報処理装置
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
JP2010141883A (ja) * 2008-12-10 2010-06-24 Nvidia Corp 画像データの測定ベースのスケーラブルデブロックフィルタリング
WO2011145601A1 (ja) * 2010-05-18 2011-11-24 ソニー株式会社 画像処理装置と画像処理方法
CN103703774A (zh) * 2011-07-19 2014-04-02 松下电器产业株式会社 滤波方法、运动图像解码方法、运动图像编码方法、运动图像解码装置、运动图像编码装置及运动图像编码解码装置
CN103718556A (zh) * 2011-07-22 2014-04-09 Sk电信有限公司 利用灵活解块滤波的编码解码装置和方法
CN105872548A (zh) * 2011-01-18 2016-08-17 索尼公司 图像处理装置和图像处理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275533B1 (en) * 1997-06-20 2001-08-14 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data recording medium
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US7095787B2 (en) * 2001-11-29 2006-08-22 Matsushita Electric Industrial Co., Ltd. Coding distortion removal method, moving picture coding method, moving picture decoding method, and apparatus for realizing the same, program
CN100571391C (zh) * 2007-05-09 2009-12-16 安凯（广州）软件技术有限公司 用于视频编解码***中解块滤波的并行处理方法
WO2010005269A1 (en) 2008-07-11 2010-01-14 Electronics And Telecommunications Research Institute Filter and filtering method for deblocking of intra macroblock
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
KR101647376B1 (ko) * 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101457396B1 (ko) * 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
US8805100B2 (en) * 2010-06-03 2014-08-12 Sharp Kabushiki Kaisha Filter device, image decoding device, image encoding device, and filter parameter data structure
US9565436B2 (en) * 2011-01-14 2017-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method for filter control and a filtering control device
PT2664141E (pt) * 2011-01-14 2015-10-21 Ericsson Telefon Ab L M Filtragem de desbloqueio
CN103385001B (zh) * 2011-02-25 2017-08-08 太阳专利托管公司 用于去块的高效率决策
JP5973434B2 (ja) * 2011-06-23 2016-08-23 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像フィルタ装置、フィルタ方法および動画像復号装置
EP3654647A1 (en) * 2011-11-03 2020-05-20 Sun Patent Trust Efficient rounding for deblocking
IN2014CN03020A (zh) * 2011-11-04 2015-07-03 Panasonic Corp
MY164978A (en) * 2011-11-25 2018-02-28 Sun Patent Trust Image processing method and image processing apparatus
WO2015076634A1 (en) * 2013-11-24 2015-05-28 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using adaptive sampling
WO2016195460A1 (ko) * 2015-06-05 2016-12-08 한양대학교 산학협력단 화면 내 예측에 대한 부호화/복호화 방법 및 장치
KR20230085949A (ko) * 2016-12-27 2023-06-14 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
TWI832814B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007013437A1 (ja) * 2005-07-25 2007-02-01 Sony Corporation 画像処理装置、画像処理方法およびプログラム
JP2007180767A (ja) * 2005-12-27 2007-07-12 Toshiba Corp 情報処理装置
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
JP2010141883A (ja) * 2008-12-10 2010-06-24 Nvidia Corp 画像データの測定ベースのスケーラブルデブロックフィルタリング
WO2011145601A1 (ja) * 2010-05-18 2011-11-24 ソニー株式会社 画像処理装置と画像処理方法
CN105872548A (zh) * 2011-01-18 2016-08-17 索尼公司 图像处理装置和图像处理方法
CN103703774A (zh) * 2011-07-19 2014-04-02 松下电器产业株式会社 滤波方法、运动图像解码方法、运动图像编码方法、运动图像解码装置、运动图像编码装置及运动图像编码解码装置
CN103718556A (zh) * 2011-07-22 2014-04-09 Sk电信有限公司 利用灵活解块滤波的编码解码装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gary J ET AL.overview of the high efficiency video coding (HEVC) standard.IEEE transactions on circuits and systems for video technology.2012,全文. *
Jianle Chen ET AL.algorithm description of joint exploration test model 1 (JEM 1).international organization for standardization iso/iec jtc1/sc29/wg11 coding of moving pictures.2015,全文. *

Also Published As

Publication number Publication date
KR20210142780A (ko) 2021-11-25
KR102423590B1 (ko) 2022-07-21
KR20210036417A (ko) 2021-04-02
US10917641B2 (en) 2021-02-09
CN114173117A (zh) 2022-03-11
CN114173118B (zh) 2023-10-20
KR20220106231A (ko) 2022-07-28
JP6770095B2 (ja) 2020-10-14
CN110100443A (zh) 2019-08-06
JP2020202595A (ja) 2020-12-17
CN114173119A (zh) 2022-03-11
US20190313094A1 (en) 2019-10-10
EP3565256A4 (en) 2020-05-13
US11570432B2 (en) 2023-01-31
WO2018123800A1 (ja) 2018-07-05
CN110100443B (zh) 2021-12-28
JP7013537B2 (ja) 2022-01-31
JP2022066194A (ja) 2022-04-28
EP3565256A1 (en) 2019-11-06
TW202247654A (zh) 2022-12-01
US20210127109A1 (en) 2021-04-29
CN114173119B (zh) 2023-10-20
KR102233887B1 (ko) 2021-03-29
KR102331220B1 (ko) 2021-12-01
CN114157866B (zh) 2023-10-20
CN114157865B (zh) 2023-10-20
TWI774718B (zh) 2022-08-21
CN114157866A (zh) 2022-03-08
KR102541882B1 (ko) 2023-06-13
KR20230085949A (ko) 2023-06-14
JP2023162383A (ja) 2023-11-08
JPWO2018123800A1 (ja) 2019-10-31
US20230093946A1 (en) 2023-03-30
KR20190087524A (ko) 2019-07-24
CN114157865A (zh) 2022-03-08
CN114173118A (zh) 2022-03-11
JP7373596B2 (ja) 2023-11-02
TW201840184A (zh) 2018-11-01

Similar Documents

Publication Publication Date Title
CN114173117B (zh) 编码方法、解码方法及发送方法
CN116055721A (zh) 编码装置和编码方法
JPWO2018186433A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2024056965A (ja) 符号化装置、復号装置及びビットストリーム生成装置
JPWO2018186430A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
CN114040199B (zh) 解码装置及编码装置
JPWO2018186429A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
CN114466184B (zh) 编码方法、解码方法及发送方法
CN117640951A (zh) 解码装置和编码装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant