CN109076217A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN109076217A
CN109076217A CN201780025492.1A CN201780025492A CN109076217A CN 109076217 A CN109076217 A CN 109076217A CN 201780025492 A CN201780025492 A CN 201780025492A CN 109076217 A CN109076217 A CN 109076217A
Authority
CN
China
Prior art keywords
image
pixel
class
unit
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780025492.1A
Other languages
English (en)
Inventor
川合拓郎
细川健郎
细川健一郎
千田圭祐
中神央二
永野隆浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109076217A publication Critical patent/CN109076217A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技术涉及一种图像处理装置和图像处理方法，利用该图像处理装置和图像处理方法可以提高S/N比和压缩效率。将滤波应用于通过将预测编码残差与预测图像相加在一起而获得的第一图像，并且生成用于对预测图像进行预测的第二图像。在滤波时，从第一图像中选择构成预测抽头的像素，该预测抽头用于预测计算，该预测计算用于找到与第一图像的待处理像素对应的第二图像的对应像素的像素值，待处理像素被分类成多个类中的一个类，并且通过使用(通过学习找到的多个类中的每个类的预测计算中使用的抽头系数之中的)待处理像素的类的抽头系数和待处理像素的预测抽头执行预测计算来找到对应像素的像素值。例如，本技术可以应用于图像编码装置和解码装置。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置和图像处理方法，并且特别地涉及可以显著提高例如图像的S/N和压缩效率的图像处理装置和图像处理方法。
背景技术
在例如作为预测编码***之一的HEVC(高效视频编码)中提出了ILF(环路滤波器)。此外，预期将在后HEVC(下一代HEVC的预测编码***)中采用ILF。
ILF包括用于减少块噪声的DF(去块滤波器)、用于减少振铃的SAO(样本自适应偏移)以及用于使编码误差(解码图像相对于原始图像的误差)最小化的ALF(自适应环路滤波器)。
在PTL 1中描述了ALF，并且在PTL 2中描述了SAO。
引用列表
专利文献
PTL 1
日本专利第5485983号
PTL 2
JP-T-2014-523183
发明内容
技术问题
在目前提出的ILF的DF、SAO和ALF中，滤波器强度的自由度很低，并且难以精细地控制滤波器强度。因此，难以显著提高图像的S/N(信噪比)(SN比)(SNR)和压缩效率。
鉴于这些情况，已经做出了本技术，并且本技术可以显著提高图像的S/N和压缩效率。
问题的解决方案
本技术提供了一种图像处理装置，该图像处理装置包括：滤波处理单元，其对通过将预测编码的残差与预测图像相加获得的第一图像应用滤波处理，以生成用于对预测图像进行预测的第二图像，滤波处理单元包括：预测抽头选择单元，其从第一图像中选择作为用于预测计算的预测抽头的像素，该预测计算用于获得与第一图像中的作为处理目标的待处理像素对应的第二图像的对应像素的像素值；分类单元，其将待处理像素分类成多个类中的一个类；抽头系数获取单元，其获取多个类中的每一个类的用于预测计算的抽头系数中的待处理像素的类的抽头系数，多个类中的每一个类的用于预测计算的抽头系数是通过使用与第一图像等同的学生图像以及与对应于第一图像的原始图像等同的教师图像进行学习获得的；以及计算单元，其通过使用待处理像素的类的抽头系数和待处理像素的预测抽头执行预测计算来获得对应像素的像素值。
本技术提供了一种图像处理方法，包括：对通过将预测编码的残差与预测图像相加获得的第一图像应用滤波处理以生成用于对预测图像进行预测的第二图像的步骤，该滤波处理包括：从第一图像中选择作为用于预测计算的预测抽头的像素，该预测计算用于获得与第一图像中的作为处理目标的待处理像素对应的第二图像的对应像素的像素值；将待处理像素分类成多个类中的一个类；获取多个类中的每一个类的用于预测计算的抽头系数中的待处理像素的类的抽头系数，多个类中的每一个类的用于预测计算的抽头系数是通过使用与第一图像等同的学生图像以及与对应于第一图像的原始图像等同的教师图像进行学习获得的；以及通过使用待处理像素的类的抽头系数和待处理像素的预测抽头执行预测计算来获得对应像素的像素值。
在本技术的图像处理装置和图像处理方法中，对通过将预测编码的残差与预测图像相加获得的第一图像应用滤波处理，以生成用于对预测图像进行预测的第二图像。在滤波处理中，从第一图像中选择作为用于预测计算的预测抽头的像素，该预测计算用于获得与第一图像中的作为处理目标的待处理像素对应的第二图像的对应像素的像素值。待处理像素被分类成多个类中的一个类。获取多个类中的每一个类的用于预测计算的抽头系数中的待处理像素的类的抽头系数，多个类中的每一个类的用于预测计算的抽头系数是通过使用与第一图像等同的学生图像以及与对应于第一图像的原始图像等同的教师图像进行学习获得的。通过使用待处理像素的类的抽头系数和待处理像素的预测抽头执行预测计算来获得对应像素的像素值。
注意，图像处理装置可以是独立装置或可以是包括在一个装置中的内部块。
此外，可以通过使计算机执行程序来实现图像处理装置。程序可以通过发送介质发送和提供，或者可以记录并提供在记录介质中。
本发明的有益效果
根据本技术，可以显著提高图像的S/N和压缩效率。
注意，此处描述的有益效果可以不受限制，并且有益效果可以是本公开内容中描述的任何有益效果。
附图说明
图1是示出根据本技术的图像处理***的实施方式的配置示例的图。
图2是示出执行自适应分类处理的图像转换装置的第一配置示例的框图。
图3是示出执行对存储在系数获取单元24中的抽头系数的学习的学习装置的配置示例的框图。
图4是示出学习单元33的配置示例的框图。
图5是示出执行自适应分类处理的图像转换装置的第二配置示例的框图。
图6是示出执行对存储在系数获取单元24中的种子系数的学习的学习装置的配置示例的框图。
图7是示出学习单元63的配置示例的框图。
图8是示出学习单元63的另一配置示例的框图。
图9是示出编码装置11的第一配置示例的框图。
图10是示出自适应分类滤波器111的配置示例的框图。
图11是示出图像转换装置131的配置示例的框图。
图12是描述由分类单元23执行的分类的示例的图。
图13是示出学习装置132的配置示例的框图。
图14是描述编码装置11的编码处理的示例的流程图。
图15是描述在步骤S25中执行的自适应分类处理的示例的流程图。
图16是示出解码装置12的第一配置示例的框图。
图17是示出自适应分类滤波器206的配置示例的框图。
图18是示出图像转换装置231的配置示例的框图。
图19是描述解码装置12的解码处理的示例的流程图。
图20是描述在步骤S70中执行的自适应分类处理的示例的流程图。
图21是描述自适应分类处理与ILF的ALF之间关于分类和滤波处理的差异的图。
图22是描述由自适应分类处理与ILF的ALF之间关于分类和滤波处理的差异引起的效果差异的图。
图23是描述自适应分类处理中的预测抽头和类抽头的像素与ILF中的ALF的滤波器系数的像素之间的差异的图。
图24是描述减少通过学习获得的抽头系数的减少方法的示例的图。
图25是示出编码装置11的第二配置示例的框图。
图26是示出解码装置12的第二配置示例的框图。
图27是示出解码装置11的第三配置示例的框图。
图28是示出解码装置12的第三配置示例的框图。
图29是示出编码装置11的第四配置示例的框图。
图30是示出解码装置12的第四配置示例的框图。
图31是描述附加类的概述的图。
图32是示出编码装置11的第五配置示例的框图。
图33是示出自适应分类滤波器411的配置示例的框图。
图34是示出图像转换装置431的配置示例的框图。
图35是示出分类单元441的配置示例的框图。
图36是示出学习装置432的配置示例的框图。
图37是描述编码装置11的编码处理的示例的流程图。
图38是描述在步骤S125中执行的自适应分类处理的示例的流程图。
图39是示出解码装置12的第五配置示例的框图。
图40是示出自适应分类滤波器471的配置示例的框图。
图41是示出图像转换装置481的配置示例的框图。
图42是示出了分类单元491的配置示例的框图。
图43是描述解码装置12的解码处理的示例的流程图。
图44是描述在步骤S170中执行的自适应分类处理的示例的流程图。
图45是描述类的缩减的图。
图46是示出编码装置11的第六配置示例的框图。
图47是示出自适应分类滤波器511的配置示例的框图。
图48是示出图像转换装置531的配置示例的框图。
图49是示出分类单元541的配置示例的框图。
图50是示出学习装置532的配置示例的框图。
图51是描述编码装置11的编码处理的示例的流程图。
图52是描述在步骤S225中执行的自适应分类处理的示例的流程图。
图53是示出解码装置12的第六配置示例的框图。
图54是示出自适应分类滤波器571的配置示例的框图。
图55是示出图像转换装置581的配置示例的框图。
图56是示出分类单元591的配置示例的框图。
图57是描述解码装置12的解码处理的示例的流程图。
图58是描述在步骤S270中执行的自适应分类处理的示例的流程图。
图59是描述对分类系数的学习的概述的图。
图60是描述使用分类系数的分类的概述的图。
图61是示出执行对分类系数的学习的学习装置的配置示例的框图。
图62是描述由学习装置执行的学习处理的示例的流程图。
图63是示出使用分类中的分类系数执行自适应分类处理的图像转换装置的配置示例的框图。
图64是示出分类单元721的配置示例的框图。
图65是描述由分类单元721执行的使用分类系数的分类处理的示例的流程图。
图66是示出编码装置11的第七配置示例的框图。
图67是示出自适应分类滤波器811的配置示例的框图。
图68是示出图像转换装置831的配置示例的框图。
图69是示出分类单元841的配置示例的框图。
图70是示出学习装置832的配置示例的框图。
图71是描述编码装置11的编码处理的示例的流程图。
图72是描述在步骤S425中执行的自适应分类处理的示例的流程图。
图73是示出解码装置12的第七配置示例的框图。
图74是示出自适应分类滤波器861的配置示例的框图。
图75是示出图像转换装置871的配置示例的框图。
图76是描述解码装置12的解码处理的示例的流程图。
图77是描述在步骤S470中执行的自适应分类处理的示例的流程图。
图78是示出学习装置832的另一配置示例的框图。
图79是示出提供基于自适应分类处理执行ILF处理的自适应分类滤波器作为ILF的情况和提供ALF作为ILF的情况的RD(速率-失真)曲线的图。
图80是示出多视点图像编码***的示例的图。
图81是示出根据本技术的多视点图像编码装置的主要配置示例的图。
图82是示出根据本技术的多视点图像解码装置的主要配置示例的图。
图83是示出分层图像编码***的示例的图。
图84是示出根据本技术的分层图像编码装置的主要配置示例的图。
图85是示出根据本技术的分层图像解码装置的主要配置示例的图。
图86是示出计算机的主要配置示例的框图。
图87是示出电视装置的示意性配置的示例的框图。
图88是示出移动电话的示意性配置的示例的框图。
图89是示出记录/再现装置的示意性配置的示例的框图。
图90是示出成像装置的示意性配置的示例的框图。
图91是示出视频设备的示意性配置的示例的框图。
图92是示出视频处理器的示意性配置的示例的框图。
图93是示出视频处理器的示意性配置的另一示例的框图。
具体实施方式
<根据本技术的图像处理***>
图1是示出根据本技术的图像处理***的实施方式的配置示例的图。
在图1中，图像处理***包括编码装置11和解码装置12。
待编码的原始图像被提供给编码装置11。
编码装置11例如使用诸如HEVC和AVC(高级视频编码)的预测编码来对原始图像进行编码。
在编码装置11的预测编码中，生成原始图像的预测图像，并且对原始图像与预测图像之间的残差进行编码。
此外，在编码装置11的预测编码中，执行ILF处理，其中，对通过将预测编码的残差与预测图像相加获得的正被解码图像应用ILF。以这种方式，生成用于对预测图像的预测的参考图像。
此处，通过对正被解码图像应用作为ILF处理的滤波处理(滤波)而获得的图像也将被称为滤波后图像。
除了预测编码以外，编码装置11使用正被解码图像和原始图像来执行学习，以获得用于执行作为ILF处理的滤波处理的滤波信息，使得滤波后图像变得尽可能接近于原始图像。
通过使用通过学习获得的滤波器信息来执行编码装置11的ILF处理。
此处，例如，可以对原始图像的每一个或多个序列、对原始图像的每一个或多个场景(从场景变化到下一个场景变化的帧)、对原始图像的每一个或多个帧(图片)、对原始图像的每一个或多个切片、对作为图片的编码单元的每一个或多个块，或以其他任意单位来执行用于获得滤波器信息的学习。此外，例如，可以在残差等于或大于阈值的情况下执行用于获得滤波器信息的学习。
编码装置11通过发送介质13发送通过对原始图像的预测编码获得的编码数据和通过学习获得的滤波器信息或者将数据和信息发送并记录在记录介质14中。
注意，用于获得滤波器信息的学习可以通过与编码装置11不同的装置执行。
此外，滤波器信息可以与编码数据分开发送，或者可以包括在编码数据中并且被发送。
此外，除了使用原始图像(以及从原始图像获得的正被解码图像)以外，可以通过使用包括与原始图像类似的图像特征值的与原始图像不同的图像来执行用于获得滤波器信息的学习。
解码装置12通过发送介质13或记录介质14收集(接收)(获取)从编码装置11发送的编码数据和滤波器信息并且使用与编码装置11的预测编码对应的***来对编码数据进行解码。
即，解码装置12处理来自编码装置11的编码数据以获得预测编码的残差。此外，解码装置12将残差和预测图像相加，以获得与由编码装置11获得的正被解码图像类似的正被解码图像。然后，解码装置12使用来自编码装置11的滤波器信息对正被解码图像应用作为ILF处理的滤波处理并且获得滤波后图像。
解码装置12将滤波后图像作为原始图像的解码图像输出并且根据需要将滤波后图像临时存储为要用于对预测图像的预测的参考图像。
作为编码装置11和解码装置12的ILF处理的滤波处理是基于自适应分类处理来执行的。在下文中，将描述自适应分类处理。
<自适应分类处理>
图2是示出执行自适应分类处理的图像转换装置的第一配置示例的框图。
此处，自适应分类处理可以被认为是例如将第一图像转换成第二图像的图像转换处理。
将第一图像转换成第二图像的图像转换处理可以是取决于第一图像和第二图像的清晰度(definition)的各种类型的信号处理。
即，例如，如果第一图像是具有低空间分辨率的图像，并且第二图像是具有高空间分辨率的图像，则图像转换处理可以是提高空间分辨率的空间分辨率创建(提高)处理。
此外，例如，如果第一图像是具有低S/N的图像，并且第二图像是具有高S/N的图像，则图像转换处理可以是去除噪声的噪声去除处理。
此外，例如，如果第一图像是具有预定数量像素(大小)的图像并且第二图像是具有高于或低于第一图像的像素数的像素数的图像，则图像转换处理可以是调整(放大或缩小)图像大小的调整大小处理。
此外，例如，如果第一图像是通过对以HEVC等的块编码的图像进行解码而获得的解码图像，并且第二图像是编码之前的原始图像，则图像转换处理可以是去除由基于块的编码和解码引起的块失真的失真去除处理。
注意，除了图像以外，自适应分类处理的处理目标可以是例如声音。对声音的自适应分类处理可以被认为是将第一声音(例如，具有低S/N等的声音)转换成第二声音(例如，具有高S/N等的声音)的声音转换处理。
在自适应分类处理中，通过将在第一图像中定为目标的目标像素(待处理的处理目标像素)的像素值分类成多个类中的一个类而获得的类的抽头系数以及与关于目标像素选择的第一图像中的抽头系数的数量相同数量的像素的像素值被用于执行预测计算，并且获得目标像素的像素值。
图2示出了基于自适应分类处理执行图像转换处理的图像转换装置的配置示例。
在图2中，图像转换装置20包括抽头选择单元21和22、分类单元23、系数获取单元24和预测计算单元25。
第一图像被提供给图像转换装置20。提供给图像转换装置20的第一图像被提供给抽头选择单元21和22。
抽头选择单元21顺序地选择包括在第一图像中的像素作为目标像素。抽头选择单元21还选择包括在第一图像中的用于预测与目标像素对应的第二图像的对应像素(对应像素的像素值)的一些像素(像素的像素值)作为预测抽头。
具体地，抽头选择单元21于在空间或时间上接近目标像素在时空空间中的位置的位置处选择第一图像的多个像素作为预测抽头。
抽头选择单元22选择包括在第一图像中的用于分类并且将目标像素放置在一些类中的一个类中的一些像素(像素的像素值)作为类抽头。即，抽头选择单元22正如抽头选择单元21选择预测抽头那样选择类抽头。
注意，预测抽头和类抽头的抽头结构可以相同或可以不同。
由抽头选择单元21获得的预测抽头被提供给预测计算单元25，并且由抽头选择单元22获得的类抽头被提供给分类单元23。
分类单元23根据特定规则对目标像素进行分类并且将与作为分类结果获得的类对应的类代码提供给系数获取单元24。
即，分类单元23使用例如来自抽头选择单元22的类抽头来对目标像素进行分类并且将与作为分类结果获得的类对应的类代码提供给系数获取单元24。
例如，分类单元23使用类抽头来获得目标像素的图像特征值。分类单元23还根据目标像素的图像特征值对目标像素进行分类并且将与作为分类结果获得的类对应的类代码提供给系数获取单元24。
此处，可以采用的分类方法的示例包括ADRC(自适应动态范围编码)。
在使用ADRC的方法中，将ADRC处理应用于包括在类抽头中的像素(像素的像素值)，并且根据作为ADRC处理的结果获得的ADRC代码(ADRC值)来决定目标像素的类。ADRC代码表示包括目标值的小区域的图像特征值的波形图案。
注意，在L位ADRC中，例如，检测到包括在类抽头中的像素的像素值的最大值MAX和最小值MIN，并且DR＝MAX-MIN用作集合的局部动态范围。包括在类抽头中的每个像素的像素值基于动态范围DR被重新量化成L位。即，从包括在类抽头中的每个像素的像素值中减去最小值MIN，并且将减后的值除以DR/2L(重新量化)。然后，以这种方式获得的包括在类抽头中的L位的像素的像素值以预定顺序排列，并且将位串作为ADRC代码输出。因此，例如，在将1位ADRC处理应用于类抽头的情况下，将包括在类抽头中的每个像素的像素值除以最大值MAX和最小值MIN的平均值(向下舍入到最接近的小数)，并且以这种方式，每个像素的像素值被设置成1位(二值化)。然后以预定顺序排列1位的像素值，并且将位串作为ADRC代码输出。
注意，例如，分类单元23可以输出包括在类抽头中的像素的像素值的等级分布的模式作为类代码。然而，如果类抽头包括N个像素的像素值，并且在这种情况下A个位被分配给每个像素的像素值，则由分类单元23输出的类代码的类型的数量是(2N)A，并且这是与像素的像素值的位数A指数地成比例的巨大数。
因此，优选地，分类单元23使用ADRC处理、向量量化等来压缩类抽头的信息量以执行分类。
系数获取单元24存储通过稍后描述的学习获得的每个类的抽头系数并且还在存储的抽头系数之中获取由从分类单元23提供的类代码指示的类的抽头系数，即，目标像素的类的抽头系数。系数获取单元24还将目标像素的类的抽头系数提供给预测计算单元25。
此处，抽头系数是和与数字滤波器中的所谓抽头中的输入数据相乘的系数等同的系数。
预测计算单元25使用由抽头选择单元21输出的预测抽头和提供给系数获取单元24的抽头系数来执行预定的预测计算，该预定的预测计算用于获得与目标像素对应的第二图像的像素(对应像素)的像素值的真值的预测值。以这种方式，预测计算单元25获得并且输出对应像素的像素值(像素值的预测值)，即，包括在第二图像中的像素的像素值。
图3是示出执行对存储在系数获取单元24中的抽头系数的学习的学习装置的配置示例的框图。
在此处考虑的示例中，第二图像是具有高质量的图像(高质量图像)，并且第一图像是通过使用LPF(低通滤波器)对高质量图像进行滤波以降低图像质量(分辨率)而获得的具有低质量的图像(低质量图像)。从低质量图像中选择预测抽头，并且使用预测抽头和抽头系数来基于预定的预测计算获得(预测)高质量图像的像素(高质量像素)的像素值。
假设例如采用线性一阶预测计算作为预定的预测计算，则通过以下线性一阶方程获得高质量像素的像素值y。
[数学式1]
此处，在式(1)中，xn表示包括在用于作为对应像素的高质量像素y的预测抽头中的低质量图像的第n个像素(下文中适当地称为低质量像素)的像素值，并且wn表示与第n个低质量像素(第n个低质量像素的像素值)相乘的第n个抽头系数。注意，在式(1)中，假设预测抽头包括N个低质量像素x1、x2、......、xN。
此处，也可以使用二阶或更高阶方程来代替式(1)中指示的线性一阶方程，以获得高质量像素的像素值y。
现在，yk与yk′之间的预测误差ek由下式表示，其中，yk表示第k个样本的高质量像素的像素值的真值，并且yk′表示通过式(1)获得的真值yk的预测值。
[数学式2]
ek＝yk-yk...(2)
现在，根据式(1)获得式(2)的预测值yk′，并且根据式(1)替换式(2)的yk′，以获得下式。
[数学式3]
此处，式(3)中的xn，k表示在关于作为对应像素的第k个样本的高质量像素的预测抽头中包括的第n个低质量像素。
尽管当式(3)(或式(2))的预测误差ek为0时，抽头系数wn对于预测高质量像素是最佳的，但是通常难以针对所有高质量像素获得这样的抽头系数wn。
因此，例如，当采用最小二乘法作为指示抽头系数wn最佳的标准时，可以通过使由下式表示的平方误差(统计误差)的总和E最小化来获得最佳抽头系数wn。
[数学式4]
此处，式(4)中的K表示作为对应像素的高质量像素yk和包括在用于高质量像素yk的预测抽头中的低质量像素x1,k、x2,k、......、xN,k的集合的样本数(用于学习的样本数)。
式(4)中的平方误差的总和E的最小值(最低值)由wn提供，其中，如式(5)所示，总和E相对于抽头系数wn的偏导数是0。
[数学式5]
因此，可以获得下式作为式(3)相对于抽头系数wn的偏导数。
[数学式6]
根据式(5)和式(6)获得下式。
[数学式7]
可以将式(3)分配给式(7)的ek，并且式(7)可以由式(8)中指示的正规方程来表示。
[数学式8]
通过使用例如扫出法(Gauss-Jordan的消元方法)等，可以针对抽头系数wn求解式(8)的正规方程。
可以针对每个类建立和求解式(8)的正规方程，以获得每个类的最佳抽头系数(此处，使平方误差的总和E最小化的抽头系数)wn。
图3示出了学习装置的配置示例，该学习装置建立并且求解式(8)的正规方程以执行用于获得抽头系数wn的学习。
在图3中，学习装置30包括教师数据生成单元31、学生数据生成单元32和学习单元33。
用于对抽头系数wn的学习的学习图像被提供给教师数据生成单元31和学生数据生成单元32。可以使用的学习图像的示例包括具有高分辨率的高质量图像。
教师数据生成单元32使用学习图像来生成教师数据作为抽头系数的学习的教师(真值)——即，在自适应分类处理中要获得的教师数据，该教师数据是作为在基于式(1)的预测计算中进行映射的映射目的地的教师图像——并且将教师图像提供给学习单元33。此处，例如，学生数据生成单元32将作为学习图像的高质量图像设置为教师图像并且将教师图像提供给学习单元33。
学生数据生成单元32使用学习图像来生成作为抽头系数的学习的学生的学生数据——即，作为关于自适应分类处理中的抽头系数的预测计算的目标的学生数据，该学生数据是作为在基于式(1)的预测计算中进行映射的转换目标的学生图像——并且将学生图像提供给学习单元33。此处，学生数据生成单元32使用例如LPF(低通滤波器)来对作为学习图像的高质量图像进行滤波，以降低分辨率，从而生成低质量图像，并且学生数据生成单元32将低质量图像作为学生图像提供给学习单元33。
学习单元33顺序地将包括在作为来自学生数据生成单元32的学生数据的学生图像中的像素设置为目标像素并且从学生图像中选择处于与由图2的抽头选择单元21关于目标像素选择的抽头结构相同的抽头结构的像素作为预测抽头。学习单元32还使用与目标像素对应的包括在教师图像中的对应像素和目标像素的预测抽头来针对每个类建立和求解式(8)的正规方程，从而获得每个类的抽头系数。
图4是示出图3的学习单元33的配置示例的框图。
在图4中，学习单元33包括抽头选择单元41和42、分类单元43、求和单元44和系数计算单元45。
学生图像被提供给抽头选择单元41和42，并且教师图像被提供给求和单元44。
抽头选择单元41顺序地选择包括在学生图像中的像素作为目标像素，并且将指示目标像素的信息提供给必要的块。
关于目标像素，抽头选择单元41还从包括在学生图像中的像素中选择与由图2的抽头选择单元21选择的像素相同的像素作为预测抽头，从而获得与由抽头选择单元21获得的抽头结构相同的抽头结构的预测抽头，并且将预测抽头提供给求和单元44。
关于目标像素，抽头选择单元42从包括在学生图像中的像素中选择与由图2的抽头选择单元22选择的像素相同的像素作为类抽头，从而获得与由抽头选择单元22获得的抽头结构相同的抽头结构的类抽头，并且将类抽头提供给分类单元43。
分类单元43使用来自抽头选择单元42的类抽头来执行与由图2的分类单元23执行的分类相同的分类，并且将与作为分类的结果获得的目标像素的类对应的类代码输出至求和单元44。
求和单元44从包括在教师图像中的像素中获取与目标像素对应的对应像素(像素的像素值)，并且针对从分类单元43提供的每个类代码，将对应像素和从抽头选择单元42提供的关于目标像素的预测抽头中包括的学生图像的像素(像素的像素值)求和。
即，作为教师数据的教师图像的对应像素yk、作为学生数据的目标像素的预测抽头xn,k以及指示目标像素的类的类代码被提供给求和单元44。
针对目标像素的每个类，求和单元44使用预测抽头(学生数据)xn,k来执行与式(8)的左侧的矩阵中的学生数据的乘法(xn,kxn',k)和求和(Σ)等同的计算。
此外，针对目标像素的每个类，求和单元44还使用预测抽头(学生数据)xn,k和教师数据yk来执行与式(8)的右侧的向量中的学生数据xn,k和教师数据yk的乘法(xn,kyk)以及求和(Σ)等同的计算。
即，求和单元44将针对作为上次的教师数据的与目标像素对应的对应像素获得的式(8)的左侧的矩阵的分量(Σxn,kxn',k)和右侧的向量的分量(Σxn,kyk)存储在求和单元44的内置存储器(未示出)中。针对作为与新目标像素对应的对应像素的教师数据，求和单元44对通过使用教师数据yk+1和学生数据xn,K+1计算的对应分量xn,K+1xn',k+1或xn,k+1yk+1与矩阵的分量(Σxn,kxn',k)或向量的分量(Σxn,kyk)进行求和(执行由式(8)的求和指示的加法)。
此外，例如，求和单元44将学生图像的所有像素设置为目标像素以执行求和，从而针对每个类建立式(8)中所示的正规方程并且将正规方程提供给系数计算单元45。
系数计算单元45求解从求和单元44提供的每个类的正规方程，以获得并且输出每个类的最佳抽头系数wn。
如上所述获得的每个类的抽头系数wn可以存储在图20的图像转换装置20的系数获取单元24中。
图5是示出执行自适应分类处理的图像转换装置的第二配置示例的框图。
注意，在图5中，对于与图2中的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图5中，图像转换装置20包括抽头选择单元21和22、分类单元23、系数获取单元24和预测计算单元25。
因此，图5的图像转换装置20被配置为图2的情况。
然而，在图5中，系数获取单元24存储稍后描述的种子系数。此外，参数z从外部被提供给图5中的系数获取单元24。
系数获取单元24使用种子系数来生成与参数z对应的每个类的抽头系数并且使用每个类的抽头系数从分类单元23获取类的抽头系数。系数获取单元24将抽头系数提供给计算单元25。
此处，尽管在图2中系数获取单元24存储抽头系数，但是在图5中系数获取单元24存储种子系数。可以提供(决定)参数z以根据种子系数生成抽头系数，并且从该角度看，可以假设种子系数是与抽头系数等同的信息。在本说明书中，假设除了抽头系数以外，抽头系数还包括允许根据需要生成抽头系数的种子系数。
图6是示出执行对存储在系数获取单元24中的种子系数的学习的学习装置的配置示例的框图。
在此处考虑的示例中，第二图像是具有高质量的图像(高质量图像)，并且第一图像是如在图3中描述的情况那样通过降低高质量图像的空间分辨率获得的具有低质量的图像(低质量图像)。从低质量图像中选择预测抽头，并且使用预测抽头和抽头系数来基于例如式(1)的线性一阶预测计算获得(预测)作为高质量图像的像素的高质量像素的像素值。
现在，假设通过使用种子系数和参数z的下式生成抽头系数wn。
[数学式9]
此处，式(9)中的βm,n表示用于获得第n个抽头系数wn的第m个种子系数。注意，在式(9)中，通过使用M个种子系数β1,n、β2,n、……、βM,n来获得抽头系数wn。
此处，用于从种子系数βm,n和参数z获得抽头系数wn的方程不限于式(9)。
现在，通过引入新变量tm，由下式来限定由式(9)中的参数z确定的值zm-1。
[数学式10]
tm＝zm-1(m＝1，2，…，M)...(10)
通过将式(10)分配给式(9)来获得下式。
[数学式11]
根据式(11)，通过种子系数βm，n和变量tm的线性一阶方程来获得抽头系数wn。
顺便提及，现在，yk与yk′之间的预测误差ek由下式表示，其中，yk表示第k个样本的高质量像素的像素值的真值，并且yk′表示通过式(1)获得的真值yk的预测值。
[数学式12]
ek＝yk-yk...(12)
现在，根据式(1)获得式(12)的预测值yk′，并且根据式(1)替换式(12)的yk′以获得下式。
[数学式13]
此处，式(13)中的xn，k表示包括在针对作为对应像素的第k个样本的高质量像素的预测抽头中的第n个低质量像素。
通过将式(11)分配给式(13)的wn获得下式。
[数学式14]
尽管在式(14)的预测误差ek为0时，种子系数βm,n对于预测高质量像素是最佳的，但是通常难以针对所有高质量像素获得这样的种子系数βm,n。
因此，例如，当采用最小二乘法作为指示种子系数βm,n最佳的标准时，可以通过使由下式表示的平方误差的总和E最小化来获得最佳种子系数βm,n。
[数学式15]
此处，式(15)中的K表示作为对应像素的高质量像素yk和包括在用于高质量像素yk的预测抽头中的低质量像素x1,k、x2,k、......、xN,k的集合的样本数(用于学习的样本数)。
式(15)中的平方误差的总和E的最小值(最低值)由βm,n提供，其中，如式(16)中所示，总和E相对于种子系数βm,n的偏导数为0。
[数学式16]
通过将式(13)分配给式(16)获得下式。
[数学式17]
现在，Xi,p,j,q和Yi,p如式(18)和(19)所示的那样被限定。
[数学式18]
[数学式19]
在这种情况下，式(17)可以由使用Xi,p,j,q和Yi,p的式(20)中所示的正规方程表示。
[数学式20]
通过使用例如扫出法(Gauss-Jordan的消元方法)等，可以针对种子系数βm,n求解式(20)的正规方程。
在图5的图像转换装置20中，将大量高质量像素y1、y2、……、yk设置为教师数据，并且将包括在每个高质量像素yk的预测抽头中的低质量像素x1,k、x2,k、……、xN,k设置为学生数据。通过针对每个类建立和求解式(20)的正规方程执行学习而获得的每个类的种子系数βm,n被存储在系数获取单元24中。然后，系数获取单元24基于种子系数βm,n和从外部提供的参数z根据式(9)生成每个类的抽头系数wn。预测计算单元25使用抽头系数wn和包括在关于目标像素的预测抽头中的低质量像素(第一图像的像素)xn来计算式(1)，从而获得高质量像素(第二图像的对应像素)的像素值(接近于像素值的预测值)。
图6示出了学习装置的配置示例，该学习装置针对每个类建立并求解式(20)的正规方程，以执行用于获得每个类的种子系数βm,n的学习。
注意，在图6中，对于与图3中的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图6中，学习装置30包括教师数据生成单元31、参数生成单元61、学生数据生成单元62和学习单元63。
因此，图6中的学习装置30与图3中的情况的共同之处在于，学习装置30包括教师数据生成单元31。
然而，图6的学习装置30与图3的情况的不同之处在于，学习装置30还包括参数生成单元61。此外，图6的学习装置30与图3的情况的不同之处在于，学习装置30包括分别替代学生数据生成单元32和学习单元33的学生数据生成单元62和学习单元63。
参数生成单元61生成参数z的可能范围中的一些值并且将这些值提供给学生数据生成单元62和学习单元63。
例如，如果参数z的可能值是0到Z范围内的实数，则参数生成单元61生成例如具有z＝0、1、2、……、Z的值的参数z并且将参数z提供给学生数据生成单元62和学习单元63。
与提供给教师数据生成单元31的学习图像类似的学习图像被提供给学生数据生成单元62。
学生数据生成单元62正如图3的学生数据生成单元32那样根据学习图像生成学生图像，并且将学生图像作为学生数据提供给学习单元63。
此处，除了学习图像以外，参数z的可能范围中的一些值从参数生成单元61被提供给学生数据生成单元62。
学生数据生成单元62使用例如具有与提供给学生数据生成单元62的参数z对应的截止频率的LPF对作为学习图像的高质量图像进行滤波，从而针对参数z的一些值生成作为学生图像的低质量图像。
即，学生数据生成单元62生成Z+1种类型的低质量图像作为与作为学习图像的高质量图像有关的具有不同空间分辨率的学生图像。
注意，此处，例如，参数z的值越大，所使用的LPF的截止频率越高。LPF用于将高质量图像滤波以生成作为学生图像的低质量图像。在这种情况下，针对作为学生图像的低质量图像的参数z的值越高，空间分辨率越高。
学生数据生成单元62还可以生成如下作为学生图像的低质量图像，其中，根据参数z来降低作为学***方向和竖直方向中的一个或两个方向上的空间分辨率。
此外，在生成如下作为学生图像的低质量图像——其中，作为学***方向和竖直方向两者上的空间分辨率都降低——的情况下，作为学***方向和竖直方向上的空间分辨率可以根据单独的参数——即两个参数z和z'——单独地降低。
在这种情况下，图5的系数获取单元24从外部接收两个参数z和z'并且使用两个参数z和z'以及种子系数来生成抽头系数。
以这种方式，可以获得如下种子系数，所述种子系数允许通过不仅使用一个参数而且使用两个参数z和z'或三个或更多个参数来生成抽头系数。然而，在本说明书中将描述用于通过使用一个参数z生成抽头系数的种子系数的示例，以简化描述。
学习单元63使用来自教师数据生成单元31的作为教师数据的教师图像、来自参数生成单元61的参数z以及来自学生数据生成单元62的作为学生数据的学生图像，来获得并且输出每个类的种子系数。
图7是示出图6的学习单元63的配置示例的框图。
注意，在图7中，对于与图4中的学习单元33对应的部分设置相同的附图标记，并且将适当地省略描述。
在图7中，学习单元63包括抽头选择单元41和42、分类单元43、求和单元71和系数计算单元72。
因此，图7的学习单元63与图4的学习单元33的共同之处在于，学习单元63包括抽头选择单元41和42以及分类单元43。
然而，学习单元63与学习单元33的不同之处在于，学习单元63包括分别替代求和单元44和系数计算单元45的求和单元71和系数计算单元72。
在图7中，抽头选择单元41和42从根据由参数生成单元61生成的参数z生成的学生图像(此处，从通过使用具有与参数z对应的截止频率的LPF生成的作为学生数据的低质量图像)中分别选择预测抽头和类抽头。
求和单元71从来自图6的教师数据生成单元31的教师图像中获取与目标像素对应的对应像素，并且对于从分类单元43提供的每个类，对对应像素、包括在从抽头选择单元41提供的关于目标像素的预测抽头中的学生数据(学生图像的像素)和在生成学生数据时的参数z执行求和。
即，作为与目标像素对应的对应像素的教师数据yk、由抽头选择单元41输出的关于目标像素的预测抽头xi,k(xj,k)以及由分类单元43输出的目标像素的类被提供给求和单元71，并且在生成包括在关于目标像素的预测抽头中的学生数据时的参数z从参数生成单元61被提供给求和单元71。
此外，对于从分类单元43提供的每个类，求和单元71使用预测抽头(学生数据)xi,k(xj,k)和参数z在式(20)的左侧的矩阵中执行与由式(18)限定的用于获得分量Xi,p,j,q的学生数据和参数z的乘法(xi,ktpxj,ktq)和求和(Σ)等同的计算。注意，根据式(10)依据参数z计算式(18)中的tp。此外，以类似的方式计算式(18)的tq。
此外，对于从分类单元43提供的每个类，求和单元71还使用预测抽头(学生数据)xi,k、教师数据yk和参数z在式(20)的右侧的向量中执行与式(19)中限定的用于获得分量Yi,p的学生数据xi,k、教师数据yk和参数z的乘法(xi,ktpyk)和求和(Σ)等同的计算。注意，根据式(10)依据参数z计算式(19)的tp。
即，求和单元71将针对作为上次的教师数据的与目标像素对应的对应像素获得的式(20)中的左侧的矩阵的分量Xi,p,j,q和右侧的向量的分量Yi,p存储在求和单元71的内置存储器(未示出)中。对于作为与新目标像素对应的对应像素的教师数据，求和单元71对通过使用教师数据yk、学生数据xi,k(xj,k)和参数z计算的对应分量xi,ktpxj,ktq或xi,ktpyk与矩阵的分量Xi,p,j,q或向量的分量Yi,p进行求和(执行由式(18)的分量Xi,p,j,q或式(19)的分量Yi,p的求和指示的加法)。
求和单元71将学生图像的所有像素设置为目标像素并且对所有值0、1、......、Z的参数z执行求和。以这种方式，求和单元71针对每个类建立式(20)中指示的正规方程并且将正规方程提供给系数计算单元72。
系数计算单元72求解从求和单元71提供的每个类的正规方程，以获得并输出每个类的种子系数βm,n。
顺便提及，图6的学***方误差的总和最小化。然而，针对种子系数βm,n的学***方误差的总和最小化。
即，将作为学***分辨率和竖直分辨率。针对参数z的每个值(此处，z＝0、1、......、z)，首先使用抽头系数wn和学生数据xn来获得使通过式(1)的线性一阶预测方程预测的教师数据的预测值y的平方误差的总和最小化的抽头系数wn。然后，将针对参数z的每个值获得的抽头系数wn设置为教师数据，并且将参数z设置为学生数据。使用式(11)获得使抽头系数wn的预测值的平方误差的总和最小化的种子系数βm,n作为根据种子系数βm,n和与作为学生数据的参数z对应的变量tm预测的教师数据。
此处，如图3的学***方误差的总和E最小化(微小化)的抽头系数wn。
顺便提及，如式(11)所示，根据种子系数βm，n和与参数z对应的变量tm获得抽头系数。现在，假设wn′表示通过式(11)获得的抽头系数，种子系数βm，n是用于在由下式(21)表示的最佳抽头系数wn与由式(11)获得的抽头系数wn′之间的误差en为0时获得最佳抽头系数wn的最佳种子系数。然而，通常难以针对所有抽头系数wn获得这样的种子系数βm，n。
[数学式21]
en＝wn-wn...(21)
注意，可以基于式(11)如下式那样修改式(21)。
[数学式22]
因此，例如，当也采用最小二乘法作为指示种子系数βm，n最佳的标准时，可以通过使由下式表示的平方误差的总和E最小化来获得最佳种子系数βm，n。
[数学式23]
式(23)中的平方误差的总和E的最小值(最低值)由βm，n提供，其中，如式(24)中所示，总和E相对于种子系数βm，n的偏导数为0。
[数学式24]
可以通过将式(22)分配给式(24)获得下式。
[数学式25]
现在，Xi,j和Yi如式(26)和式(27)所示的那样被限定。
[数学式26]
[数学式27]
在这种情况下，式(25)可以由使用Xi,j和Yi的式(28)中所示的正规方程来表示。
[数学式28]
也可以通过使用例如扫出法等针对种子系数βm,n求解式(28)的正规方程。
图8是示出图6中的学习单元63的另一配置示例的框图。
即，图8示出了学习单元63的配置示例，该学习单元63建立并且求解式(28)的正规方程以执行用于获得种子系数βm,n的学习。
注意，在图8中，对于与图4或图7中的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
图8的学习单元63包括抽头选择单元41和42、分类单元43、系数计算单元45、求和单元81和82以及系数计算单元83。
因此，图8的学习单元63与图4的学习单元33的共同之处在于，学习单元63包括抽头选择单元41和42、分类单元43和系数计算单元45。
然而，图8的学习单元63与图4的学习单元33的不同之处在于，学习单元63包括替代求和单元44的求和单元81并且还包括求和单元82和系数计算单元83。
由分类单元43输出的目标像素的类和由参数生成单元61输出的参数z被提供给求和单元81。针对从分类单元43提供的每个类以及针对由参数生成单元61输出的参数z的每个值，求和单元81针对来自教师数据生成单元31的教师图像中的作为与目标像素对应的对应像素的教师数据以及包括在与从抽头选择单元41提供的目标像素有关的预测抽头中的学生数据执行求和。
即，教师数据yk、预测抽头xn,k、目标像素的类和生成包括在预测抽头xn,k中的学生图像时的参数z被提供给求和单元81。
针对目标像素的每个类以及针对参数z的每个值，求和单元81使用预测抽头(学生数据)xn,k来执行与式(8)的左侧的矩阵中的学生数据的乘法(xn,kxn',k)和求和(Σ)等同的计算。
此外，针对目标像素的每个类以及针对参数z的每个值，求和单元81使用预测抽头(学生数据)xn,k和教师数据yk来执行与式(8)的右侧的向量中的学生数据xn,k和教师数据yk的乘法(xn,kyk)和求和(Σ)等同的计算。
即，求和单元81将针对作为上次的教师数据的与目标像素对应的对应像素获得的式(8)的左侧的矩阵的分量(Σxn,kxn',k)和右侧的向量的分量(Σxn,kyk)存储在求和单元81的内置存储器(未示出)中。针对作为与新目标像素对应的对应像素的教师数据，求和单元81对通过使用教师数据yk+1和学生数据xn,k+1计算的对应分量xn,k+1xn',k+1或xn,k+1yk+1与矩阵的分量(Σxn,kxn',k)或向量的分量(Σxn,kyk)进行求和(执行由式(8)的求和指示的加法)。
然后，求和单元81将学生图像的所有像素设置为目标像素并且执行求和。以这种方式，求和单元81针对每个类中的参数z的每个值建立式(8)中所指示的正规方程并且将正规方程提供给系数计算单元45。
因此，求和单元81针对每个类建立式(8)的正规方程，正如图4的求和单元44一样。然而，求和单元81与图4的求和单元44的不同之处在于，求和单元81还针对参数z的每个值建立式(8)的正规方程。
系数计算单元45求解从求和单元81提供的针对每个类中的参数z的每个值的正规方程，以获得每个类的参数z的每个值的最佳抽头系数wn并且将抽头系数wn提供给求和单元82。
针对每个类，求和单元82执行针对从参数生成单元61(图6)提供的参数z(与参数z对应的变量tm)与从系数计算单元45提供的最佳抽头系数wn的求和。
即，针对每个类，求和单元82使用基于从参数生成单元61提供的参数z由式(10)获得的变量ti(tj)并且在式(28)的左侧的矩阵中执行与用于获得式(26)中限定的分量Xi,j的对应于参数z的变量ti(tj)的乘法(titj)和求和(Σ)等同的计算。
此处，分量Xi,j仅由参数z来确定，并且与类无关。因此，实际上不必针对每个类执行分量Xi,j的计算，并且计算仅需要执行一次。
此外，针对每个类，求和单元82使用基于从参数生成单元61提供的参数z由式(10)获得的变量ti和从系数计算单元45提供的最佳抽头系数wn在式(28)的右侧的向量中执行与用于获得式(27)中限定的分量Yi的对应于参数z的变量ti和最佳抽头系数wn的乘法(tiwn)和求和(Σ)等同的计算。
求和单元82针对每个类获得由式(26)表示的分量Xi,j和由式(27)表示的分量Yi，从而针对每个类建立式(28)的正规方程并且将正规方程提供给系数计算单元83。
系数计算单元83求解从求和单元82提供的针对每个类的式(28)的正规方程，以获得并输出每个类的种子系数βm,n。
图5的系数获取单元24可以存储以这种方式获得的每个类的种子系数βm,n。
注意，如学习抽头系数的情况那样，在对种子系数的学习中，还可以根据选择要被设置为与第一图像对应的学生数据和与第二图像对应的教师数据的图像的方法来获得用于执行各种图像转换处理的种子系数。
即，在上述情况下，通过将学习图像设置为与第二图像对应的教师数据并且将通过降低学习图像的空间分辨率获得的低质量图像设置为与第一图像对应的学生数据来执行对种子系数的学习。这可以获得用于执行作为将第一图像转换为具有提高的空间分辨率的第二图像的空间分辨率创建处理的图像转换处理的种子系数。
在这种情况下，图5的图像转换装置20可以将图像的水平分辨率和竖直分辨率提高到与参数z对应的分辨率。
此外，例如，可以通过将高质量图像设置为教师数据并且将与参数z对应的等级的噪声叠加在作为教师数据的高质量图像上以将该图像设置为学生数据来执行对种子系数的学习。这可以获得用于执行作为将第一图像转换为第二图像的噪声去除处理的图像转换处理的种子系数，在该第二图像中，包括在第一图像中的噪声被去除(减少)。在这种情况下，图5的图像转换装置20可以获得具有与参数z对应的S/N的图像(在与参数z对应的程度上噪声去除后的图像)。
注意，在上述情况下，抽头系数wn由式(9)中所示的β1,nz0+β2,nz1+……+βM,nzM-1限定，以基于式(9)获得用于根据参数z提高水平方向和竖直方向两者上的空间分辨率的抽头系数wn。然而，还可以获得抽头系数wn，以分别根据独立参数zx和zy独立地提高水平分辨率和竖直分辨率。
即，抽头系数wn由例如替代式(9)的三次方程β1,nzx 0zy 0+β2,nzx 1zy 0+β3,nzx 2zy 0+β4, nzx 3zy 0+β5,nzx 0zy 1+β6,nzx 0zy 2+β7,nzx 0zy 3+β8,nzx 1zy 1+β9,nzx 2zy 1+β10,nzx 1zy 2限定，并且式(10)中限定的变量tm由例如替代式(10)的t1＝zx 0zy 0、t2＝zx 1zy 0、t3＝zx 2zy 0、t4＝zx 3zy 0、t5＝zx 0zy 1、t6＝zx 0zy 2、t7＝zx 0zy 3、t8＝zx 1zy 1、t9＝zx 2zy 1、t10＝zx 1zy 2限定。在这种情况下，抽头系数wn也可以最终由式(11)表示。因此，图6的学***分辨率和竖直分辨率并且使用该图像作为学生数据来执行学***分辨率和竖直分辨率的抽头系数wn。
此外，例如，除了分别与水平分辨率和竖直分辨率对应的参数zx和zy以外，还可以引入与时间方向上的分辨率对应的参数zt，以获得用于分别根据独立参数zx、zy和zt独立地提高水平分辨率、竖直分辨率和时间分辨率的抽头系数wn。
此外，图6的学***分辨率和竖直分辨率，并且根据参数zy向教师数据添加噪声，以使用该图像作为学生数据来执行学***分辨率和竖直分辨率并且用于根据参数zy去除噪声的抽头系数wn。
<编码装置11的第一配置示例>
图9是示出图1中的编码装置11的第一配置示例的框图。
在图9中，编码装置11包括A/D转换单元101、重排缓冲器102、计算单元103、正交变换单元104、量化单元105、可逆编码单元106和累积缓冲器107。编码装置11还包括逆量化单元108、逆正交变换单元109、计算单元110、自适应分类滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测补偿单元115、预测图像选择单元116和速率控制单元117。
A/D转换单元101执行将模拟信号的原始图像转换成数字信号的原始图像的A/D转换并且将原始图像提供并存储在重排缓冲器102中。
重排缓冲器102根据GOP(图片组)将原始图像的帧从显示顺序重排为编码(解码)顺序，并且将帧提供给计算单元103、帧内预测单元114、运动预测补偿单元115和自适应分类滤波器111。
计算单元103从来自重排缓冲器102的原始图像中减去通过预测图像选择单元116从帧内预测单元114或运动预测补偿单元115提供的预测图像，并且将通过减法获得的残差(预测残差)提供给正交变换单元104。
例如，在用于帧间编码的图像的情况下，计算单元103从读取自重排缓冲器102的原始图像中减去从运动预测补偿单元115提供的预测图像。
正交变换单元104对从计算单元103提供的残差执行正交变换如离散余弦变换和Karhunen-Loeve变换。注意，正交变换的方法是任意的。正交变换单元104将通过正交变换获得的变换系数提供给量化单元105。
量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105基于从速率控制单元117提供的代码量的目标值(代码量目标值)来设置量化参数QP并且对变换系数进行量化。注意，量化的方法是任意的。量化单元105将经量化的变换系数提供给可逆编码单元106。
可逆编码单元106使用预定的可逆编码***来对由量化单元105量化的变换系数进行编码。在速率控制单元117的控制下量化变换系数，并且通过可逆编码单元106的可逆编码获得的编码数据的代码量是由速率控制单元117设置的代码量目标值(或接近代码量目标值)。
可逆编码单元106还从每个块获取与编码装置11进行的预测编码有关的编码信息中的必要编码信息。
此处，编码信息的示例包括帧内预测或帧间预测的预测模式、诸如运动向量的运动信息、代码量目标值、量化参数QP、图片类型(I、P、B)、CU(编码单元)或CTU(编码树单元)的信息等。
例如，可以从帧内预测单元114或运动预测补偿单元115获取预测模式。此外，可以从例如运动预测补偿单元115获取运动信息。
除了获取编码信息以外，可逆编码单元106还从自适应分类滤波器111获取与自适应分类滤波器111中的自适应分类处理有关的滤波信息。在图9中，滤波信息包括每个类的抽头系数。
可逆编码单元106使用任意的可逆编码***对编码信息和滤波信息进行编码并且将该信息设置(多路复用)为编码数据的头部信息的一部分。
可逆编码单元106通过累积缓冲器107发送编码数据。因此，可逆编码单元106用作发送编码数据——即，包括在编码数据中的编码信息和滤波信息——的发送单元。
可以采用的可逆编码单元106的可逆编码***的示例包括可变长度编码和算术编码。可变长度编码的示例包括在H.264/AVC***中限定的CAVLC(上下文自适应可变长度编码)。算术编码的示例包括CABAC(上下文自适应二进制算术编码)。
累积缓冲器107临时累积从可逆编码单元106提供的编码数据。累积缓冲器107中累积的编码数据在预定时刻被读取和发送。
由量化单元105量化的变换系数被提供给可逆编码单元106并且还被提供给逆量化单元108。逆量化单元108使用与由量化单元105进行的量化对应的方法来执行对经量化的变换系数的逆量化。逆量化的方法可以是任何方法，只要该方法与量化单元105的量化处理对应即可。逆量化单元108将通过逆量化获得的变换系数提供给逆正交变换单元109。
逆正交变换单元109使用与正交变换单元104的正交变换处理对应的方法来执行从逆量化单元108提供的变换系数的逆正交变换。逆正交变换的方法可以是与正交变换单元104的正交变换处理对应的任何方法。将逆正交变换后的输出(恢复的残差)提供给计算单元110。
计算单元110将通过预测图像选择单元116从帧内预测单元114或运动预测补偿单元115提供的预测图像与从逆正交变换单元109提供的逆正交变换结果即恢复的残差相加，并且将相加结果输出作为正被解码的正被解码图像。
由计算单元110输出的正被解码图像被提供给自适应分类滤波器111或帧存储器112。
通过自适应分类处理，自适应分类滤波器111使用ILF，即，用作DF、SAO和ALF中的全部的滤波器，来基于自适应分类处理执行ILF处理。
从计算单元110向自适应分类滤波器111提供正被解码图像。此外，与正被解码图像对应的原始图像从重排缓冲器102提供给自适应分类滤波器111，并且必要的编码信息也从编码装置11的每个块提供给自适应分类滤波器111。
自适应分类滤波器111使用与来自计算单元110的正被解码图像等同的学生图像和与来自重排缓冲器102的原始图像等同的教师图像，并且还根据需要使用编码信息来执行用于获得每个类的抽头系数的学习。
即，例如，自适应分类滤波器111通过将来自计算单元110的正被解码图像设置为学生图像、将来自重排缓冲器102的原始图像设置为教师图像并且根据需要使用编码信息来执行用于获得每个类的抽头系数的学习。每个类的抽头系数作为滤波信息从自适应分类滤波器111被提供给可逆编码单元106。
自适应分类滤波器111还将来自计算单元110的正被解码图像设置为第一图像并且根据需要使用编码信息，以使用每个类的抽头系数执行自适应分类处理(基于自适应分类处理的图像转换)，从而将作为第一图像的正被解码图像转换成作为与原始图像等同的第二图像的滤波后图像(生成滤波后图像)并且输出该图像。
由自适应分类滤波器111输出的滤波后图像被提供给帧存储器112。
此处，如上所述，自适应分类滤波器111将正被解码图像设置为学生图像并且将原始图像设置为教师图像以执行学习。自适应分类滤波器111使用通过学习获得的抽头系数来执行将正被解码图像转换成滤波后图像的自适应分类处理。因此，由自适应分类滤波器111获得的滤波后图像是非常接近原始图像的图像。
帧存储器112临时存储从计算单元110提供的正被解码图像或从自适应分类滤波器111提供的滤波后图像作为本地解码图像。存储在帧存储器112中的解码图像在必要时刻被提供给选择单元113，作为用于生成预测图像的参考图像。
例如，在作为存储在帧存储器112中的解码图像的从计算单元110提供的正被解码图像和从自适应分类滤波器111提供的滤波后图像之中，正被解码图像被用作帧内预测的参考图像。此外，滤波后图像被用作帧间预测的参考图像。
选择单元113选择从帧存储器112提供的参考图像的提供目的地。例如，在由帧内预测单元114进行的帧内预测的情况下，选择单元113将从帧存储器112提供的参考图像提供给帧内预测单元114。此外，例如，在由运动预测补偿单元115进行的帧间预测的情况下，选择单元113将从帧存储器112提供的参考图像提供给运动预测补偿单元115。
帧内预测单元114使用从重排缓冲器102提供的原始图像和通过选择单元113从帧存储器112提供的参考图像来执行帧内预测(画面中的预测)，其中，PU(预测单元)基本上是处理单元。帧内预测单元114基于预定的代价函数选择最佳帧内预测模式并且将以最佳帧内预测模式生成的预测图像提供给预测图像选择单元116。帧内预测单元114还适当地将指示如上所述基于代价函数选择的帧内预测模式的预测模式提供给可逆编码单元106等。
运动预测补偿单元115使用从重排缓冲器102提供的原始图像和通过选择单元113从帧存储器112提供的参考图像来执行运动预测(帧间预测)，其中，PU基本上是处理单元。运动预测补偿单元115还根据通过运动预测检测到的运动向量执行运动补偿，以生成预测图像。运动预测补偿单元115使用多个准备的帧间预测模式来执行帧间预测以生成预测图像。
运动预测补偿单元115基于针对多个帧间预测模式中的每一个获得的预测图像的预定代价函数来选择最佳帧间预测模式。运动预测补偿单元115还将在最佳帧间预测模式下生成的预测图像提供给预测图像选择单元116。
运动预测补偿单元115还将指示基于代价函数选择的帧间预测模式的预测模式、运动信息(如对以帧间预测模式编码的编码数据进行解码所需的运动向量)等提供给可逆编码单元106。
预测图像选择单元116选择要提供给计算单元103和110的预测图像的供应源(帧内预测单元114或运动预测补偿单元115)并且将从所选择的供应源提供的预测图像提供给计算单元103和110。
速率控制单元117基于累积缓冲器107中累积的编码数据的代码量来控制量化单元105的量化操作的速率，以防止发生上溢或下溢。即，速率控制单元117设置编码数据的目标代码量并且将目标代码量提供给量化单元105，以防止累积缓冲器107的上溢和下溢。
<自适应分类滤波器111的配置示例>
图10是示出图9的自适应分类滤波器111的配置示例的框图。
在图10中，自适应分类滤波器111包括图像转换装置131和学习装置132。
从计算单元110(图9)向图像转换装置131提供正被解码图像，并且从学习装置132向图像转换装置131提供每个类的抽头系数。还向图像转换装置131提供编码信息。
图像转换装置131将正被解码图像设置为第一图像并且使用每个类的抽头系数基于自适应分类处理来执行图像转换。以这种方式，图像转换装置131将作为第一图像的正被解码图像转换成作为与原始图像等同的第二图像的滤波后图像(生成滤波后图像)并且将该图像提供给帧存储器112(图9)。
注意，图像转换装置131在自适应分类处理中根据需要使用编码信息来执行分类。
从重排缓冲器102(图9)向学习装置132提供原始图像，并且从计算单元110(图9)向学习装置132提供正被解码图像。还向学习装置132提供编码信息。
学习装置132将正被解码图像设置为学生数据，并且将原始图像设置为教师数据，以执行用于获得每个类的抽头系数的学习(在下文中，也被称为抽头系数学习)。
学习装置132进一步将通过抽头系数学习获得的每个类的抽头系数作为滤波信息提供给图像转换装置131和可逆编码单元106(图9)。
注意，学习装置132在抽头系数学习中根据需要使用编码信息来执行分类。
<图像转换装置131的配置示例>
图11是示出图10的图像转换装置131的配置示例的框图。
注意，在图11中，对于与图像转换装置20对应的部分设置相同的附图标记，并且将适当地省略描述。
在图11中，图像转换装置131包括从抽头选择单元21到预测计算单元25的部件。
因此，图像转换装置131的配置类似于图2的图像转换装置20的配置。
然而，正被解码图像被作为第一图像提供给图像转换装置131中的抽头选择单元21和22，并且在预测计算单元25中获得滤波后图像作为第二图像。
此外，编码信息被提供给图像转换装置131中的分类单元23，并且分类单元23根据需要使用类抽头或编码信息来执行分类。
此外，作为由学习装置132获得的滤波信息的每个类的抽头系数被提供并且存储在图像转换装置131中的系数获取单元24中。
图12是描述由图11的分类单元23执行的分类的示例的图。
分类单元23可以使用根据作为正被解码图像的类抽头的像素的像素值获得的目标像素的图像特征值和目标像素的编码信息中的一者或两者来执行分类。
用于分类的图像特征值的示例包括通过ADRC处理获得的ADRC代码(ADRC值)。
图12是描述1位ADRC处理的示例的图。
此处，将通过提供像素号来指定正被解码图像的像素，并且具有像素号i的像素也将被称为像素i。
在图12中，像素0是正被解码图像中的目标像素。
此外，作为目标像素的像素0周围的十字形状的九个像素形成类抽头。
更具体地，作为目标像素的像素0的类抽头包括总共九个像素0到8，即，像素0、作为像素0上方并且与像素0相邻的两个像素的像素1和像素2、作为像素0左侧并且与像素0相邻的两个像素的像素3和像素4、作为像素0右侧并且与像素0相邻的两个像素的像素5和像素6以及作为像素0下方并且与像素0相邻的两个像素的像素7和像素8。
分类单元23检测包括在类抽头中的像素0到8的像素值的最大值MAX和最小值MIN并且获得最大值MAX和最小值MIN的中间值(平均值)作为量化的阈值。
分类单元23还将像素0到8的像素值与阈值进行比较。在像素值等于或大于阈值的情况下，分类单元23将像素值量化成量化值1，并且在像素值不等于或大于阈值的情况下，将像素值量化成量化值0。
然后，分类单元23获得ADRC代码，该ADRC代码是像素0到8的像素值的量化值按照例如像素号的顺序排列的代码。
现在，假设分类单元23仅使用ADRC代码作为图像特征值来对目标像素(像素0)进行分类以简化描述，则分类单元23将目标像素分类成例如具有与ADRC代码对应的类代码的类。
此处，例如，假设类代码由十进制数表示，则与ADRC代码对应的类代码表示通过假设ADRC代码指示二进制数并将指示二进制数的ADRC代码转换成十进制数获得的值。
在这种情况下，例如，如果通过按像素号的顺序排列像素0到8的像素值的量化值而获得的ADRC代码是000011100，则与ADRC代码000011100对应的类代码是28。
注意，尽管在图12中执行了最大值MAX与最小值MIN之间的一个值是量化阈值的1位ADRC处理，但是可以将多个值设置为量化阈值，以执行将包括在类抽头中的像素的像素值量化成多个N位的N位ADRC处理。
此外，在类抽头包括九个像素0到8的情况下，类的数量是29个类，并且基于1位ADRC处理执行分类。然而，可以减少通过分类获得的类的数量。
例如，在基于1位ADRC处理的分类的情况下，作为通过1位ADRC处理获得的ADRC代码的二进制数和通过反转二进制数的位获得的逆二进制数可以被分类成同一个类，以减少类的数量。以这种方式，类的数量可以是没有减少的情况下的类的数量的1/2。
例如，在基于目标是包括九个像素0到8的类抽头的1位ADRC处理的分类的情况下，可以减少类的数量以将类的数量减少到29-1。
注意，在例如日本专利第4240322号中描述了ADRC。
此处，类抽头不限于如图12所示的目标像素周围的十字形状的九个像素。
即，类抽头可以是例如包括目标像素周围的3×3像素的正方形形状的九个像素以及目标像素周围的菱形形状的十三个像素(其中，水平方向和竖直方向是对角线)。
此外，除了作为目标像素的帧(图片)的目标帧以外，类抽头还可以包括除了目标帧以外的帧的像素，例如与目标像素相邻的帧。
此外，尽管采用从类抽头获得的ADRC代码作为用于图12中的分类的图像特征值，但还可以采用除了ADRC代码以外的图像特征值，例如包括在类抽头中的像素的像素值的动态范围或绝对差之和。
例如，在用于分类的图像特征值是例如包括在类抽头中的像素的像素值的动态范围的情况下，可以使用一个或更多个阈值来将阈值处理应用于动态范围，以将目标像素分类成两个或更多个类中的一个。
此外，可以通过使用例如多个图像特征值(诸如ADRC代码和动态范围)来代替一个图像特征值(诸如ADRC代码)来执行分类。
此外，除了目标像素的图像特征值以外，可以使用目标像素的编码信息来执行分类。
用于分类的目标像素的编码信息的示例包括表示包括目标像素的诸如CU和PU的块中的目标像素的位置的块相位、包括目标像素的图片的图片类型以及包括目标像素的PU的量化参数QP。
在采用块相位作为用于分类的目标像素的编码信息的情况下，可以基于例如目标像素是否是在块的边界处的像素来对目标像素进行分类。
此外，在采用图片类型作为用于分类的目标像素的编码信息的情况下，例如可以根据包括目标图片的图片是I图片、P图片还是B图片来对目标像素进行分类。
此外，在采用量化参数QP作为用于分类的目标像素的编码信息的情况下，例如，可以基于量化的粒度(精细度)来对目标像素进行分类。
此外，除了使用图像特征值或编码信息以外，还可以通过例如使用图像特征值和编码信息二者来执行分类。
<学习装置132的配置示例>
图13是示出图10中的学习装置132的配置示例的框图。
注意，在图13中，对于与图3和图4的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图13中，学习装置132包括学习单元33。学习单元33包括抽头选择单元41和42、分类单元43、求和单元44和系数计算单元45。
因此，图13中的学习装置132与图3的情况的共同之处在于，学习装置132包括学习单元33。此外，学习装置132与图4的情况的共同之处在于，学习单元33包括从抽头选择单元41到系数计算单元45的部件。
然而，图13的学习装置132与图3的情况的不同之处在于，学习装置132不包括教师数据生成单元31和学生数据生成单元32。
此外，图13的学习装置132与图4的情况的不同之处在于，编码信息被提供给学习单元33中的分类单元43。
在图13的学习装置132中，分类单元43根据需要使用类抽头或编码信息来执行与图11的分类单元23进行的分类类似的分类。
此外，图13的学习装置132使用正被解码图像作为学生数据并且使用与正被解码图像对应的原始图像作为教师数据来学习抽头系数。
此外，在图13的学习装置132中，由系数计算单元45获得的每个类的抽头系数被提供给图像转换装置131(图10)，并且抽头系数被作为滤波信息提供给可逆编码单元106(图9)。
注意，可以与原始图像的编码并行地执行抽头系数的学习，或者可以独立于原始图像的编码来预先执行抽头系数的学习。
在独立于原始图像的编码预先执行抽头系数的学习的情况下，可以将多个类的原始图像用作教师数据，并且可以针对每个类执行抽头系数的学习。此外，例如，可以在图像转换装置131中的自适应分类处理中使用在多个类的抽头系数之中使预定代价函数最小化的类的抽头系数，并且可以将该抽头系数作为滤波信息从可逆编码单元106发送。
<编码处理>
图14是描述图9中的编码装置11的编码处理的示例的流程图。
注意，图14所示的编码处理中的步骤的顺序是为了便于描述的顺序，并且实际的编码处理的步骤以必要的顺序适当地并行执行。这也类似地适用于稍后描述的编码处理。
在编码装置11中，自适应分类滤波器111的学习装置132(图10)将提供给学习装置132的正被解码图像设置为学生数据并且将与正被解码图像对应的原始图像设置为教师数据，以适当地执行学习。然后，学习装置132在步骤S11中确定是否是作为滤波信息的抽头系数的更新时刻。
此处，例如，可以例如针对每一个或更多个帧(图片)、针对每一个或更多个序列以及针对每一个或更多个切片来预先确定滤波信息的更新时刻。
此外，例如，可以采用预定代价函数不再等于或小于阈值的时间作为滤波信息的更新时刻。
如果学习装置132在步骤S11中确定不是滤波信息的更新时刻，则处理省略步骤S12和S13并且进行到步骤S14。
此外，如果学习装置132在步骤S11中确定是滤波信息的更新时刻，则处理进行到步骤S12，并且图像转换装置131将作为滤波信息的抽头系数更新成作为从学习装置132提供的最新滤波信息的抽头系数。
即，图像转换装置131(图11)使系数获取单元24存储从学习装置132提供的最新抽头系数。
然后，处理从步骤S12进行到步骤S13。可逆编码单元106将从学习装置132提供的最新滤波信息设置为发送目标，并且处理进行到步骤S14。设置为发送目标的最新滤波信息包括在编码数据中并且在稍后描述的步骤S27中被发送。
在步骤S14和随后的步骤中，执行对原始图像的预测编码处理。
即，A/D转换单元101在步骤S14中执行原始图像的A/D转换并且将原始图像提供给重排缓冲器，并且处理进行到步骤S15。
在步骤S15中，重排缓冲器102存储来自A/D转换单元101的原始图像并且按照编码的顺序重排和输出原始图像。处理进行到步骤S16。
在步骤S16中，帧内预测单元114以帧内预测模式执行帧内预测处理，并且处理进行到步骤S17。在步骤S17中，运动预测补偿单元115以帧间预测模式执行进行运动预测和运动补偿的帧间运动预测处理，并且处理进行到步骤S18。
在帧内预测单元114的帧内预测处理和运动预测补偿单元115的帧间运动预测处理中，计算各种预测模式下的代价函数，并且生成预测图像。
在步骤S18中，预测图像选择单元116基于由帧内预测单元114和运动预测补偿单元115获得的每个代价函数来决定最佳预测模式。然后，预测图像选择单元116在由帧内预测单元114生成的预测图像和由运动预测补偿单元115生成的预测图像之中选择最佳预测模式下的预测图像并且输出预测图像。处理从步骤S18进行到步骤S19。
在步骤S19中，计算单元103计算作为由重排缓冲器102输出的原始图像的待编码的目标图像与由预测图像选择单元116输出的预测图像之间的残差并且将残差提供给正交变换单元104。处理进行到步骤S20。
在步骤S20中，正交变换单元104对来自计算单元103的残差执行正交变换并且将作为正交变换的结果获得的变换系数提供给量化单元105。处理进行到步骤S21。
在步骤S21中，量化单元105对来自正交变换单元104的变换系数进行量化并且将通过量化获得的量化系数提供给可逆编码单元106和逆量化单元108。处理进行到步骤S22。
在步骤S22中，逆量化单元108对来自量化单元105的量化系数执行逆量化并且将作为逆量化的结果获得的变换系数提供给逆正交变换单元109。处理进行到步骤S23。在步骤S23中，逆正交变换单元109对来自逆量化单元108的变换系数执行逆正交变换并且将作为逆正交变换的结果获得的残差提供给计算单元110。处理进行到步骤S24。
在步骤S24中，计算单元110将来自逆正交变换单元109的残差与由预测图像选择单元116输出的预测图像相加，以生成与作为计算单元103中的残差计算的目标的原始图像对应的正被解码图像。计算单元110将正被解码图像提供给自适应分类滤波器111或帧存储器112，并且处理从步骤S24进行到步骤S25。
在正被解码图像被从计算单元110提供给自适应分类滤波器111的情况下，在步骤S25中，自适应分类滤波器111将作为ILF处理的自适应分类处理(自适应分类滤波处理)应用于来自计算单元110的正被解码图像。与使用ILF对正被解码图像进行滤波的情况相比，自适应分类处理可以应用于正被解码图像以获得更接近原始图像的滤波后图像。
自适应分类滤波器111将在自适应分类处理中获得的滤波后图像提供给帧存储器112，并且处理从步骤S25进行到步骤S26。
在步骤S26中，帧存储器112存储从计算单元110提供的正被解码图像或者从自适应分类滤波器111提供的滤波后图像作为解码图像，并且处理进行到步骤S27。在帧存储器112中存储的解码图像被用作作为在步骤S17和S18中生成预测图像的源的参考图像。
在步骤S27中，可逆编码单元106对来自量化单元105的量化系数进行编码。可逆编码单元106还根据需要对诸如在由量化单元105进行的量化中使用的量化参数QP、在帧内预测单元114的帧内预测处理中获得的预测模式、以及在运动预测补偿单元115的帧间运动预测处理中获得的预测模式和运动信息的编码信息进行编码，并且将编码信息包括在编码数据中。
可逆编码单元106还对在步骤S13中被设置为发送目标的滤波信息进行编码并且将滤波信息包括在编码数据中。然后，可逆编码单元106将编码数据提供给累积缓冲器107，并且处理从步骤S27进行到步骤S28。
在步骤S28中，累积缓冲器107累积来自可逆编码单元106的编码数据，并且处理进行到步骤S29。适当地读取和发送累积缓冲器107中累积的编码数据。
在步骤S29中，速率控制单元117基于累积缓冲器107中累积的编码数据的代码量(生成的代码量)来控制量化单元105的量化操作的速率，以防止发生上溢或下溢，并且编码处理结束。
图15是描述在图14的步骤S25中执行的自适应分类处理的示例的流程图。
在步骤S41中，在自适应分类滤波器111的图像转换装置131(图11)中，抽头选择单元21在从计算单元110提供的正被解码图像(作为正被解码图像的块)的像素之中选择尚未成为目标像素的像素作为目标像素。处理进行到步骤S42。
在步骤S42中，抽头选择单元21和22自从计算单元110提供的正被解码图像中选择要作为关于目标像素的预测抽头和类抽头的像素。然后，抽头选择单元21将预测抽头提供给预测计算单元25，并且抽头选择单元22将类抽头提供给分类单元23。
随后，处理从步骤S42进行到步骤S43，并且分类单元23使用与目标像素有关的类抽头和与目标像素有关的编码信息来对目标像素进行分类。
即，在分类中，例如，分类单元23在步骤S51中从包括在来自抽头选择单元22的类抽头中的像素提取(计算)诸如ADRC代码(ADRC值)的图像特征值并且处理进行到步骤S52。
在步骤S52中，分类单元23获取与目标像素有关的必要编码信息，并且根据预定规则将该编码信息转换成信息代码。处理进行到步骤S53。
即，例如，在编码信息是例如指示I图片、P图片或B图片的图片类型的情况下，信息代码0、1和2分别被分配给I图片、P图片和B图片。根据分配将目标像素的图片类型转换成信息代码。
在步骤S53中，分类单元23基于图像特征值和信息代码生成指示目标像素的类的类代码并且将类代码提供给系数获取单元24。步骤S43的分类结束。
在图像特征值是例如ADRC代码的情况下，分类单元23将信息代码添加到作为图像特征值的ADRC代码的高位并且使用所获得的数值来生成指示目标像素的类的类代码。
当完成步骤S43的分类时，处理进行到步骤S44，并且系数获取单元24获取由从分类单元23提供的类代码指示的类的抽头系数并且将抽头系数提供给预测计算单元25。处理进行到步骤S45。
在步骤S45中，预测计算单元25使用来自抽头选择单元21的预测抽头和来自系数获取单元24的抽头系数来执行式(1)的预测计算。由此，预测计算单元25获得与目标像素对应的原始图像的对应像素的像素值的预测值作为滤波后图像的像素值。处理进行到步骤S46。
在步骤S46中，抽头选择单元21确定来自计算单元110的正被解码图像(作为正被解码图像的块)的像素中是否存在尚未成为目标像素的像素。如果抽头选择单元21在步骤S46中确定存在尚未成为目标像素的像素，则处理返回至步骤S41，并且此后重复类似的处理。
此外，如果抽头选择单元21在步骤S46中确定不存在尚未成为目标像素的像素，则处理进行到步骤S47，并且预测计算单元25将滤波后图像提供给帧存储器112(图9)，该滤波后图像包括针对来自计算单元110的正被解码图像(作为正被解码图像的块)获得的像素值。然后，自适应分类处理结束，并且处理返回。
<解码装置12的第一配置示例>
图16是示出图1的解码装置12的第一配置示例的框图。
在图16中，解码装置12包括累积缓冲器201、可逆解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、自适应分类滤波器206、重排缓冲器207、以及D/A转换单元208。解码装置12还包括帧存储器210、选择单元211、帧内预测单元212、运动预测补偿单元213和选择单元214。
累积缓冲器201临时累积从编码装置11发送的编码数据并且在预定时刻将编码数据提供给可逆解码单元202。
可逆解码单元202从累积缓冲器201获取编码数据。因此，可逆解码单元202用作收集从编码装置11发送的编码数据——即，包括在编码数据中的编码信息和滤波信息——的收集单元。
可逆解码单元202使用与图9的可逆编码单元106的编码***对应的***来解码从累积缓冲器201获取的编码数据。
然后，可逆解码单元202将通过对编码数据进行解码获得的量化系数提供给逆量化单元203。
此外，在通过对编码数据进行解码来获得编码信息和滤波信息的情况下，可逆解码单元202将必要的编码信息提供给帧内预测单元212、运动预测补偿单元213和其他必要的块。
可逆解码单元202还将编码信息和滤波信息提供给自适应分类滤波器206。
逆量化单元203使用与图9的量化单元105的量化***对应的***对来自可逆解码单元202的量化系数执行逆量化并且将通过逆量化获得的变换系数提供给逆正交变换单元204。
逆正交变换单元204使用与图9的正交变换单元104的正交变换***对应的***对从逆量化单元203提供的变换系数执行逆正交变换并且将作为逆正交变换的结果获得的残差提供给计算单元205。
残差从逆正交变换单元204被提供给计算单元205，并且预测图像也通过选择单元214从帧内预测单元212或运动预测补偿单元213提供给计算单元205。
计算单元205将来自逆正交变换单元204的残差与来自选择单元214的预测图像相加以生成正被解码图像并且将正被解码图像提供给自适应分类单元206或重排缓冲器207和帧存储器210。例如，正被解码图像中的作为用于帧内预测的参考图像的正被解码图像被提供给重排缓冲器207和帧存储器210，并且其他正被解码图像被提供给自适应分类滤波器206。
通过自适应分类处理，自适应分类滤波器206使用ILF，即，用作DF、SAO和ALF中的全部的滤波器，以基于如在自适应分类滤波器111中那样的自适应分类处理来执行ILF处理(ILF的处理)。
即，自适应分类滤波器206将来自计算单元205的正被解码图像设置为第一图像并且根据需要使用来自可逆解码单元202的编码信息，以使用作为来自可逆解码单元202的滤波信息的每个类的抽头系数执行自适应分类处理(通过自适应分类处理的图像转换)。以这种方式，自适应分类滤波器206将作为第一图像的正被解码图像转换成作为与原始图像等同的第二图像的滤波后图像(生成滤波后图像)并且输出滤波后图像。
由自适应分类滤波器206输出的滤波后图像是与由自适应分类滤波器111输出的滤波后图像类似的图像，并且该图像被提供给重排缓冲器207和帧存储器210。
重排缓冲器207临时存储从计算单元205提供的正被解码图像或从自适应分类滤波器206提供的滤波后图像作为解码图像。重排缓冲器207将解码图像的帧(图片)的顺序从编码(解码)顺序重排为显示顺序并且将解码图像提供给D/A转换单元208。
D/A转换单元208对从重排缓冲器207提供的解码图像执行D/A转换并且在未示出的显示器上输出并显示解码图像。
帧存储器210临时存储从计算单元205提供的正被解码图像或从自适应分类滤波器206提供的滤波后图像作为解码图像。此外，帧存储器210在预定时刻或基于来自帧内预测单元212、运动预测补偿单元213等的外部请求向选择单元211提供作为用于生成预测图像的参考图像的解码图像。
选择单元211选择从帧存储器210提供的参考图像的提供目的地。在对帧内编码之后图像进行解码的情况下，选择单元211将从帧存储器210提供的参考图像提供给帧内预测单元212。此外，在对帧间编码之后的图像进行解码情况下，选择单元211将从帧存储器210提供的参考图像提供给运动预测补偿单元213。
帧内预测单元212使用通过选择单元211从帧存储器210提供的参考图像、根据从可逆解码单元202提供的编码信息中包括的预测模式来执行图9的帧内预测单元114所使用的帧内预测模式下的帧内预测。然后，帧内预测单元212将通过帧内预测获得的预测图像提供给选择单元214。
运动预测补偿单元213使用通过选择单元211从帧存储器210提供的参考图像、根据从可逆解码单元202提供的编码信息中包括的预测模式来执行图9的运动预测补偿单元115所使用的帧间预测模式下的帧间预测。通过根据需要使用包括在从可逆解码单元202提供的编码信息中的运动信息等来执行帧间预测。
运动预测补偿单元213将通过帧间预测获得的预测图像提供给选择单元214。
选择单元214选择从帧内预测单元212提供的预测图像或从运动预测补偿单元213提供的预测图像并且将预测图像提供给计算单元205。
<自适应分类滤波器206的配置示例>
图17是示出图16的自适应分类滤波器206的配置示例的框图。
在图17中，自适应分类滤波器206包括图像转换装置231。
从计算单元205(图16)向图像转换装置231提供正被解码图像，并且从可逆解码单元202向图像转换装置231提供作为滤波信息的每个类的抽头系数以及编码信息。
与图10的图像转换装置131类似，图像转换装置231将正被解码图像设置为第一图像，并且使用每个类的抽头系数通过自适应分类处理执行图像转换，以将作为第一图像的正被解码图像转换为作为与原始图像等同的第二图像的滤波后图像(生成滤波后图像)。图像转换装置231将滤波后图像提供给重排缓冲器207和帧存储器210(图16)。
注意，如图10的图像转换装置131中那样，在自适应分类处理中，图像转换装置231根据需要使用编码信息来执行分类。
<图像转换装置231的配置示例>
图18是示出图17的图像装置231的配置示例的框图。
在图18中，图像转换装置231包括抽头选择单元241和242、分类单元243、系数获取单元244和预测计算单元245。
从抽头选择单元241到预测计算单元245的部件的配置分别与图像转换装置131(图11)中包括的从抽头选择单元21到预测计算单元25的部件的配置类似。
即，正被解码图像从计算单元205(图16)被提供给抽头选择单元241和242。
抽头选择单元241将来自计算单元205的正被解码图像设置为第一图像并且顺序地选择正被解码图像的像素作为目标像素。
抽头选择单元241还从正被解码图像中选择关于目标像素的与由图11的抽头选择单元21选择的预测抽头结构相同的预测抽头，并且将预测抽头提供给预测计算单元245。
抽头选择单元242将来自计算单元205的正被解码图像设置为第一图像，并且从正被解码图像的像素中选择关于目标像素的与由图11的抽头选择单元22选择的类抽头结构相同的类抽头。抽头选择单元242将类抽头提供给分类单元243。
类抽头从抽头选择单元242被提供给分类单元243，并且编码信息也从可逆解码单元202(图16)被提供给分类单元243。
分类单元243使用来自抽头选择单元242的类抽头和来自可逆解码单元202的编码信息来执行与图11的分类单元23的分类相同的分类并且将目标像素的类(指示类的类代码)提供给系数获取单元244。
目标像素的类从分类单元243被提供给系数获取单元244，并且作为滤波信息的每个类的抽头系数也从可逆解码单元202被提供给系数获取单元244。
一旦从可逆解码单元202提供作为滤波信息的每个类的抽头系数，系数获取单元244就将所存储的抽头系数更新成来自可逆解码单元202的抽头系数。
此外，系数获取单元244从存储的抽头系数中获取来自分类单元243的目标像素的类的抽头系数并且将抽头系数提供给预测计算单元245。
预测计算单元245使用来自抽头选择单元241的预测抽头和来自系数获取单元244的抽头系数来执行式(1)的预测计算，并且获得并输出与正被解码图像的目标像素对应的原始图像的对应像素的像素值的预测值作为滤波后图像(即第二图像)的像素的像素值。
<解码处理>
图19是描述图16中的解码装置12的解码处理的示例的流程图。
注意，图19所示的解码处理中的步骤的顺序是为了便于描述的顺序，并且实际的解码处理的步骤以必要的顺序适当地并行执行。这也类似地适用于稍后描述的编码处理。
在解码处理中，在步骤S61中，累积缓冲器201临时累积从编码装置11发送的编码数据，并且将该编码数据适当地提供给可逆解码单元202。处理进行到步骤S62。
在步骤S62中，可逆解码单元202收集并解码从累积缓冲器201提供的编码数据，并且将通过解码获得的量化系数提供给逆量化单元203。
此外，在通过对编码数据进行解码来获得编码信息或滤波信息的情况下，可逆解码单元202将必要的编码信息提供给帧内预测单元212、运动预测补偿单元213和其他必要的块。
可逆解码单元202还将编码信息和滤波信息提供给自适应分类滤波器206。
随后，处理从步骤S62进行到步骤S63，并且自适应分类滤波器206确定是否从可逆解码单元202提供了滤波信息。
如果在步骤S63中自适应分类滤波器206确定未提供滤波信息，则处理省略步骤S64并进行到步骤S65。
此外，如果在步骤S63中自适应分类滤波器206确定提供了滤波信息，则处理进行到步骤S64。自适应分类滤波器206的图像转换装置231(图18)使系数获取单元244从可逆解码单元202获取作为滤波信息的每个类的抽头系数，并将存储的抽头系数更新为来自可逆解码单元202的抽头系数。
然后，处理从步骤S64进行到步骤S65，并且逆量化单元203对来自可逆解码单元202的量化系数执行逆量化，并将作为逆量化的结果而获得的变换系数提供给逆正交变换单元204。处理进行到步骤S66。
在步骤S66中，逆正交变换单元204对来自逆量化单元204的变换系数执行逆正交变换，并将作为逆正交变换的结果而获得的残差提供给计算单元205。处理进行到步骤S67。
在步骤S67中，帧内预测单元212或运动预测补偿单元213通过使用通过选择单元211从帧存储器210提供的参考图像和从可逆解码单元202提供的编码信息来执行生成预测图像的预测处理。然后，帧内预测单元212或运动预测补偿单元213将在预测处理中获得的预测图像提供给选择单元214，并且处理从步骤S67进行到步骤S68。
在步骤S68中，选择单元214选择从帧内预测单元212或运动预测补偿单元213提供的预测图像，并且将该预测图像提供给计算单元205。处理进行到步骤S69。
在步骤S69中，计算单元205将来自逆正交变换单元204的残差与来自选择单元214的预测图像相加以生成正被解码图像。然后，计算单元205将该正被解码图像提供给自适应分类滤波器206或者提供给重排缓冲器207和帧存储器210，并且处理从步骤S69进行到步骤S70。
在正被解码图像被从计算单元205提供给自适应分类滤波器206的情况下，在步骤S70中，自适应分类滤波器206将作为ILF处理的自适应分类处理应用于来自计算单元205的正被解码图像。与编码装置11的情况一样，与使用ILF对正被解码图像进行滤波的情况相比，可以向正被解码图像应用自适应分类处理以获得更接近原始图像的滤波后图像。
自适应分类滤波器206将在自适应分类处理中获得的滤波后图像提供给重排缓冲器207和帧存储器210，并且处理从步骤S70进行到步骤S71。
在步骤S71中，重排缓冲器207临时存储从计算单元205提供的正被解码图像或者从自适应分类滤波器206提供的滤波后图像作为解码图像。重排缓冲器207进一步以显示顺序重排所存储的解码图像并将解码图像提供给D/A转换单元208。处理从步骤S71进行到步骤S72。
在步骤S72中，D/A转换单元208对来自重排缓冲器207的解码图像执行D/A转换，并且处理进行到步骤S73。D/A转换后的解码图像被输出至未示出的显示器并由其显示。
在步骤S73中，帧存储器210存储从计算单元205提供的正被解码图像或者从自适应分类滤波器206提供的滤波后图像作为解码图像，并且解码处理结束。在帧存储器210中存储的解码图像被用作作为在步骤S67的预测处理中生成预测图像的源的参考图像。
图20是描述在图19的步骤S70中执行的自适应分类处理的示例的流程图。
在步骤S81中，在自适应分类滤波器206的图像转换装置231(图18)中，抽头选择单元241在从计算单元205提供的正被解码图像(作为正被解码图像的块)的像素中选择尚未成为目标像素的像素作为目标像素。处理进行到步骤S82。
在步骤S82中，抽头选择单元241和242从自计算单元205提供的正被解码图像中选择要作为关于目标像素的预测抽头和类抽头的像素。然后，抽头选择单元241将预测抽头提供给预测计算单元245，并且抽头选择单元242将类抽头提供给分类单元243。
随后，处理从步骤S82进行到步骤S83，并且分类单元243使用从抽头选择单元242提供的关于目标像素的类抽头和从可逆解码单元202提供的关于目标像素的编码信息来对目标像素进行分类，如图15中所描述的情况那样。
分类单元243生成指示通过分类获得的目标像素的类的类代码，并且将该类代码提供给系数获取单元244。处理从步骤S83进行到步骤S84。
在步骤S84中，系数获取单元244获取由从分类单元243提供的类代码指示的类的抽头系数，并且将该抽头系数提供给预测计算单元245。处理进行到步骤S85。
在步骤S85中，预测计算单元245使用来自抽头选择单元241的预测抽头和来自系数获取单元244的抽头系数来执行式(1)的预测计算。由此，预测计算单元245获得与目标像素对应的原始图像的对应像素的像素值的预测值作为滤波后图像的像素值。处理进行到步骤S86。
在步骤S86中，抽头选择单元241确定在来自计算单元205的正被解码图像(作为正被解码图像的块)的像素中是否存在尚未成为目标像素的像素。在步骤S86中如果抽头选择单元241确定存在尚未成为目标像素的像素，则处理返回至步骤S81，并且此后重复类似的处理。
此外，如果在步骤S86中抽头选择单元241确定不存在尚未成为目标像素的像素，则处理进行到步骤S87，并且预测计算单元245将滤波后图像提供给重排缓冲器207和帧存储器210(图9)，该滤波后图像包括针对来自计算单元205的正被解码图像(作为正被解码图像的块)获得的像素值。然后，自适应分类处理结束，并且处理返回。
如上所述，在编码装置11和解码装置12中通过自适应分类处理执行ILF处理，并且可以获得与ILF的处理结果相比更接近原始图像的滤波后图像。因此，可以显著提高解码图像的S/N。此外，由于可以获得接近原始图像的滤波后图像，因此残差较小。即使包括抽头系数作为编码数据中的开销(overhead)，也可以显着提高压缩效率，特别是对于具有大量数据(如所谓的4k和8k)的高分辨率原始图像。
此处，ILF的示例包括如图9中描述的DF、SAO和ALF等。
DF基于量化参数QP或者基于像素是否在块的边界处来控制滤波器强度以由此减小块噪声(失真)。
然而，只有两种类型的滤波器强度可以应用于DF中的块。此外，滤波器强度的控制单位是DF中的切片，而不能针对每个像素控制滤波器强度。
在SAO中，在每个CTU中切换降低边缘周围的噪声或执行DC校正的滤波器模式。在每个像素中确定偏移值以减少振铃或执行DC校正。
然而，在SAO中难以针对每个像素切换滤波器模式。此外，在SAO中可以执行降低噪声和DC校正中的仅一个的处理，并且两个处理不能同时执行。
在ALF中，使用边缘的方向和活动性(activity)来执行分为十五个类的分类，并且使用在统计上最优的滤波器系数来在每个类中执行滤波处理。
然而，在ALF中，滤波处理的单位是4×4像素单位。因此，无法根据像素周围的波形图案或块相位针对每个像素精细地控制滤波器强度。此外，在ALF中待被分类的类的数量仅为十五类，并且从这个角度而言也不能精确地控制滤波器强度。
另一方面，在自适应分类处理中，每个像素被分类为比ALF的十五类更多的类，并且通过学习获得的统计上最优的抽头系数被用于执行将正被解码图像转换为滤波后图像的滤波处理。因此，与现有的ILF相比，可以显著提高图像质量(S/N)。
具体地，在自适应分类处理中，图像特征值(例如ADRC代码，其是表述像素周围的波形图案和动态范围的图像特征值)以及编码信息(例如量化参数QP、图片类型和块相位)被用于对每个像素进行分类，并且可以获得非常接近原始图像的图像作为滤波后图像。因此，在预测编码中，不仅与不使用ILF的情况相比，而且还与使用ILF的情况相比，都可以显著提高图像的S/N和压缩效率。
<自适应分类处理与ILF中的ALF之间的差异>
图21是描述自适应分类处理与ILF中的ALF之间关于分类和滤波处理的差异的图。
在ALF中，使用边缘的方向和活动性将4×4像素的小块分类为十五类中的一类。
此外，在ALF中，使用4×4像素的小块的类的滤波器系数向该4×4像素的小块应用滤波处理。
此外，在ALF的滤波处理中，在针对作为滤波处理的目标的目标像素的滤波器系数周围使用点对称的滤波器系数。
即，ALF的滤波处理的滤波器系数包括十三个滤波器系数，其针对总共十三个像素，包括：目标像素、在目标像素左侧并且与之相邻的两个像素、在目标图像右侧并且与之相邻的两个像素、在目标像素上方并且与之相邻的两个像素、在目标像素下方并且与之相邻的两个像素、在目标像素左上方并且与之相邻的一个像素，在目标像素左下方并且与之相邻的一个像素、在目标像素右上方并且与之相邻的一个像素以及在目标像素右下方并且与之相邻的一个像素。
此外，针对在目标像素上方并且与之相邻的两个像素中较远的一个像素的滤波器系数和针对在目标像素下方并且与之相邻的两个像素中较远的一个像素的滤波器系数是相同的系数C0。
针对在目标像素左上方并且与之相邻的像素的滤波器系数和针对在目标图像右下方并且与之相邻的像素的滤波器系数是相同的系数C1。
针对在目标像素上方并且与之相邻的两个像素中较近的一个像素的滤波器系数和针对在目标像素下方并且与之相邻的两个像素中较近的一个像素的滤波器系数是相同的系数C2。
针对在目标像素左下方并且与之相邻的像素的滤波器系数和针对在目标图像右上方并且与之相邻的像素的滤波器系数是相同的系数C3。
针对在目标像素左侧并且与之相邻的两个像素中较远的一个像素的滤波器系数和针对在目标像素右侧并且与之相邻的两个像素中较远的一个像素的滤波器系数是相同的系数C4。
针对在目标像素左侧并且与之相邻的两个像素中较近的一个像素的滤波器系数和针对在目标像素右侧并且与之相邻的两个像素中较近的一个像素的滤波器系数是相同的系数C5。
针对目标像素的滤波器系数是系数C6。
如上所述，在ALF中，4×4像素的小块被分类为少量的类，即十五类，并且每个类的滤波器系数是点对称的。因此，滤波处理的效果受到显著限制。
此外，在ALF中，在4×4像素的小块的滤波处理中使用相同的滤波器系数，并且滤波处理对所有的4×4像素产生相同(平均)的效果。
另一方面，在自适应分类处理中对每个像素执行分类，并且因此还对每个像素执行作为滤波处理的式(1)的预测计算。
此外，自适应分类处理不受边缘方向或活动性的限制，并且从类抽头获得的图像特征值和编码信息可以用来基于目标像素周围的波形图案或目标像素在块中的位置对目标像素进行分类。
此外，可以考虑到抽头系数的数据量以及解码图像(滤波后图像)的S/N和压缩效率，基于类抽头中的像素数、分类时使用的将编码信息转换为信息代码的方法(图15)等以任意数量设计分类时的类数。
例如，现在假设类抽头包括八个像素并且使用指示在1位ADRC处理中获得的波形图案的ADRC代码来执行分类以简化描述，则类的数量是256类。
此外，在自适应分类处理中，关于用于作为滤波处理的式(1)的预测计算的抽头系数，不存在如ALF中那样对十三个滤波器系数的限制或对点对称性的限制。因此，通过学习可以获得使滤波后图像相对于原始图像的统计误差比在ALF中的统计误差更小的抽头系数。
此外，在自适应分类处理中，例如，可以考虑抽头系数的数据量以及解码图像的S/N和压缩效率来设计抽头系数的数量(即，包括在预测抽头中的像素数)以及预测抽头的结构。
此外，在自适应分类处理中，预测抽头不仅可以包括目标像素的帧，还可以包括该帧周围的帧的像素。
以这种方式，在自适应分类处理中针对每个像素执行分类和作为滤波处理的式(1)的预测计算。因此，可以在像素中生成适合于每个像素的滤波处理的效果。
因此，例如，可以在不过度减少边缘或纹理的情况下产生NR(降噪)的效果，并且可以抑制振铃。
此外，在自适应分类处理中，例如，可以使用诸如块相位的编码信息来执行分类，并且可以基于目标像素是否是块的边界处的像素来调整NR的效果。
此外，在自适应分类处理中，例如，预测抽头不仅可以包括目标像素的帧，还可以包括该帧周围的帧的像素。这可以改善由运动导致的图像质量的劣化，例如运动模糊。
图22是描述自适应分类处理与ILF中的ALF之间关于分类和滤波处理的差异引起的效果差异的图。
在ALF中，使用边缘和活动性对每个4×4像素的小块执行分类，并且使用通过分类获得的类的滤波器系数来执行4×4像素的小块的每个像素的滤波处理。
因此，在边缘部分和平坦部分混合的情况下，可能无法在去除平坦部分的噪声的同时软化边缘部分(减少细节)，或者相反地，可能无法在保持边缘部分的同时充分地去除平坦部分的噪声。
此外，在ALF中，在不考虑作为编码处理(解码处理)的目标的编码块(PU、CU等)中的像素的位置(块相位)的情况下执行分类。因此，用于去除在编码块的边界处的像素中生成的块失真的滤波器系数和用于去除除了在边界之外的位置处的像素中生成的块失真之外的噪声的滤波器系数不被准备为不同类的滤波器系数。
因此，适合于去除块失真的滤波处理可能不会被应用于具有块失真的像素。因此，适合于去除噪声的滤波处理可能不会被应用于具有除了块失真以外的噪声的像素。
在另一方面，在自适应分类处理中，可以基于从类抽头获得的作为图像特征值的波形图案对每个像素进行分类，并且在每个像素中，通过分类获得的类的抽头系数可以用于执行作为滤波处理的式(1)的预测计算。
因此，对于边缘部分的像素，可以保持该边缘部分(可以保留细节)。对于平坦部分的像素，可以充分地去除噪声。
此外，在自适应分类处理中，可以基于作为编码信息的块相位对每个像素进行分类，并且在每个像素中，通过分类获得的类的抽头系数可以用于执行作为滤波处理的式(1)的预测计算。
因此，适合于去除块失真的滤波处理可以应用于具有块失真的像素，并且适合于去除噪声的滤波处理可以应用于具有除了块失真之外的噪声的像素。
此处，自适应分类处理被应用于在本技术中在编码装置11和解码装置12中处理的正被解码图像，并且可以在编码处理或解码处理中获得块相位和指定块相位所需的关于编码块的信息(例如，编码块的大小、编码块的边界等)。
注意，例如，在日本专利第4770711号中描述了一种技术，其中，通过使用块相位的自适应分类处理来提高由MPEG解码器输出的解码图像的图像质量。在日本专利第4770711号所描述的技术中，自适应分类处理被应用于由MPEG解码器外部的MPEG解码器输出的解码图像。因此，需要预先确定或需要以某种方式检测关于编码块的信息。
图23是描述自适应分类处理中的预测抽头和类抽头的像素与ILF中的ALF的滤波器系数的像素之间的差异的图。
ALF的十三个滤波器系数是针对目标帧中的像素的滤波器系数，目标帧是当前作为编码目标的帧，并且不存在针对其他帧的像素的滤波器系数。
因此，仅目标帧中的像素(像素的像素值)被用来执行ALF的滤波处理，并且难以改善由运动导致的图像质量的劣化例如运动模糊。
另一方面，在自适应分类处理中，预测抽头和类抽头除了包括目标帧(图23中的帧T)中的像素之外还可以包括其他帧(图23中的帧T-1和帧T+1)的像素。
即，在自适应分类处理中，在从目标帧的目标像素移动运动矢量的位置处与目标帧相邻的相邻帧的像素、这些像素周围的像素等可以被包括在预测抽头和类抽头中。
因此，在自适应分类处理中，类抽头和预测抽头可以包括目标帧的像素和相邻帧的像素以执行分类和作为滤波处理的式(1)的预测计算。这可以改善由运动导致的图像质量的劣化，例如运动模糊。
<抽头系数的减少>
图24是描述减少通过学习获得的抽头系数的减少方法的示例的图。
抽头系数是编码数据的开销。因此，即使可以获得抽头系数使得滤波后图像变为非常接近原始图像的图像，但是如果抽头系数的数据量大则会阻碍压缩效率的提高。
因此，可以根据需要减少通过学习获得的抽头系数(抽头系数的数量)。
例如，在如图12所示类抽头包括目标像素周围的十字形状的九个像素并且通过1位ADRC处理执行分类的情况下，例如，可以将最高有效位为1的ADRC代码(目标像素的ADRC结果)的每个位反转以将类的数量从512＝29类缩减到256＝28类。在对类进行缩减之后的256个类中，与使用九个像素的类抽头的ADRC代码(类抽头的1位ADRC处理)作为类代码的情况相比，抽头系数的数据量减少到1/2。
此外，在类抽头中包括的十字形状的九个像素中，在上下方向、左右方向或对角线方向上具有线对称位置关系的像素中具有相同ADRC结果的类可以被整合到一个类中以缩减类，并且类的数量可以是100个类。在这种情况下，100个类的抽头系数的数据量大约是256个类的抽头系数的数据量的39％。
此外，在类抽头中包括的十字形状的九个像素中，具有点对称位置关系的像素中具有相同ADRC结果的类可以被整合到一个类中以缩减类，并且类的数量可以是55个类。在这种情况下，55个类的抽头系数的数据量大约是256个类的抽头系数的数据量的21％。
除了如上所述的类的缩减之外，还可以通过减少抽头系数来减少抽头系数。
即，例如，在预测抽头和编码块包括相同像素的情况下，可以基于块相位来减少抽头系数。
例如，在预测抽头和编码块包括4×4像素的情况下，可以根据在左右方向上具有线对称位置关系的左上方的2×2像素与右上方的2×2像素之间的位置关系、在上下方向上具有线对称位置关系的左上方的2×2像素与左下方的2×2像素之间的位置关系、以及具有点对称位置关系的左上方的2×2像素与右下方的2×2像素之间的位置关系来重排预测抽头的左上方的2×2像素的抽头系数，并且对于各个2×2像素可以采用该重排的抽头系数。在这种情况下，针对预测抽头中包括的4×4像素的十六个抽头系数可以被减少到针对左上方的2×2像素的四个抽头系数。
此外，可以根据在上下方向上具有线对称位置关系的上半部分的4×2像素与下半部分的4×2像素之间的位置关系来重排预测抽头的上半部分的4×2像素的抽头系数，并且对于下半部分的4×2像素的抽头系数可以采用该重排的抽头系数。在这种情况下，针对预测抽头中包括的4×4像素的十六个抽头系数可以被减少到针对上半部分的4×2像素的八个抽头系数。
此外，可以通过对于在预测抽头的左右方向上具有线对称位置关系的像素或者对于在对角线方向上具有线对称位置关系的像素采用相同的抽头系数来减少抽头系数。
注意，如果如上所述基于块相位盲目地减少抽头系数，则通过减少的抽头系数获得的滤波后图像的S/N会降低(相对于原始图像的误差增加)。
因此，在基于块相位减少抽头系数时，例如，可以使用用于分类的ADRC代码来分析预测抽头中包括的像素的波形图案。在波形图案空间对称的情况下，对于具有对称位置关系的预测抽头的像素可以采用相同的抽头系数。
即，例如，在类抽头包括2×2像素并且指示按照光栅扫描的顺序排列的类抽头的像素的ADRC结果的ADRC代码是1001的情况下，假设这些像素是点对称的。对于具有点对称位置关系的预测抽头的像素的抽头系数可以采用相同的抽头系数。
<编码装置11的第二配置示例>
图25是示出图1的编码装置11的第二配置示例的框图。
注意，在图25中，对于与图9的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图25中，编码装置11包括从A/D转换单元101至计算单元110的部件、从帧存储器112至速率控制单元117的部件、自适应分类滤波器261、自适应偏移单元262以及自适应环路滤波器263。
因此，图25的编码装置11与图9的情况的共同之处在于，编码装置11包括从A/D转换单元101至计算单元110的部件以及从帧存储器112至速率控制单元117的部件。
然而，图25的编码装置11与图9的情况的不同之处在于，编码装置11包括自适应分类滤波器261来替代自适应分类滤波器111，并且另外还包括自适应偏移单元262和自适应环路滤波器263。
自适应分类滤波器261的配置与图9的自适应分类滤波器111的配置类似。然而，自适应分类滤波器261是通过自适应分类处理仅用作DF而不是整个ILF(即DF、SAO和ALF)的滤波器，并且这与用作整个ILF的自适应分类滤波器111不同。
在图25中，从计算单元110向自适应分类滤波器261提供正被解码图像。
自适应分类滤波器261将基于自适应分类处理的DF处理应用于来自计算单元110的正被解码图像，并且将作为处理的结果获得的滤波后图像提供给自适应偏移单元262。
自适应偏移单元262向来自自适应分类滤波器261的滤波后图像应用SAO处理，并且将滤波后图像提供给自适应环路滤波器263。
自适应环路滤波器263向来自自适应偏移单元262的滤波后图像应用ALF处理，并且将滤波后图像提供给帧存储器112。
在图25的编码装置11中，自适应分类滤波器261通过自适应分类处理执行ILF中的DF处理。然后，自适应偏移单元262执行SAO处理，并且自适应环路滤波器263执行ALF处理。
注意，在自适应偏移单元262中，SAO处理所需的SAO信息被提供给可逆编码单元106并被包括在编码数据中。
除了这些点之外，图25的编码装置11执行与图9的情况类似的处理。
<解码装置12的第二配置示例>
图26是示出图1的解码装置12的第二配置示例的框图。
注意，在图26中，对于与图16的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图26中，解码装置12包括从累积缓冲器201到计算单元205的部件、重排缓冲器207、D/A转换单元208、从帧存储器210到选择单元214的部件、自适应分类滤波器271、自适应偏移单元272以及自适应环路滤波器273。
因此，图26的解码装置12与图16的情况的共同之处在于，解码装置12包括从累积缓冲器201至计算单元205的部件、重排缓冲器207、D/A转换单元208以及从帧存储器210至选择单元214的部件。
然而，图26的解码装置12与图16的情况的不同之处在于，解码装置12包括自适应分类滤波器271来替代自适应分类滤波器206，并且另外还包括自适应偏移单元272和自适应环路滤波器273。
自适应分类滤波器271的配置与图16的自适应分类滤波器206的配置类似。然而，自适应分类滤波器271是通过自适应分类处理仅用作DF而不是整个ILF(即DF、SAO和ALF)的滤波器，并且这与用作整个ILF的自适应分类滤波器206不同。
在图26中，从计算单元205向自适应分类滤波器271提供正被解码图像。
自适应分类滤波器271将基于自适应分类处理的DF处理应用于来自计算单元205的正被解码图像，并且将作为处理的结果获得的滤波后图像提供给自适应偏移单元272。
自适应偏移单元272向来自自适应分类滤波器271的滤波后图像应用SAO处理，并且将滤波后图像提供给自适应环路滤波器273。
自适应环路滤波器273向来自自适应偏移单元272的滤波后图像应用ALF处理，并且将滤波后图像提供给重排缓冲器207和帧存储器210。
图26的解码装置12对由图25的编码装置11获得的编码数据进行解码。
即，自适应分类滤波器271通过自适应分类处理执行ILF中的DF处理。然后，自适应偏移单元272执行SAO处理，并且自适应环路滤波器273执行ALF处理。
注意，从可逆解码单元202向自适应偏移单元272提供包括在编码数据中的SAO信息。自适应偏移单元272使用来自可逆解码单元202的SAO信息来执行SAO处理。
除了这些点之外，图26的解码装置12执行与图16的情况类似的处理。
<编码装置11的第三配置示例>
图27是示出图1的编码装置11的第三配置示例的框图。
注意，在图27中，对于与图9或图25的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图27中，编码装置11包括从A/D转换单元101至计算单元110的部件、从帧存储器112至速率控制单元117的部件、自适应环路滤波器263、去块滤波器281以及自适应分类滤波器282。
因此，图27的编码装置11与图9的情况的共同之处在于，编码装置11包括从A/D转换单元101至计算单元110的部件以及从帧存储器112至速率控制单元117的部件。
然而，图27的编码装置11与图9的情况的不同之处在于，编码装置11包括自适应分类滤波器282来替代自适应分类滤波器111，另外还包括图25的自适应环路滤波器263，并且另外还包括去块滤波器281。
在图27中，从计算单元110向去块滤波器281提供正被解码图像。
去块滤波器281向来自计算单元110的正被解码图像应用DF处理，并且将正被解码图像提供给自适应分类滤波器282。
自适应分类滤波器282的配置与图9的自适应分类滤波器111的配置类似。然而，自适应分类滤波器282是通过自适应分类处理仅用作SAO而不是整个ILF(即DF、SAO和ALF)的滤波器，并且这与用作整个ILF的自适应分类滤波器111不同。
自适应分类滤波器282将基于自适应分类处理的SAO处理应用于来自去块滤波器281的正被解码图像，并且将作为处理的结果获得的滤波后图像提供给自适应环路滤波器263。
在图27的编码装置11中，去块滤波器281执行DF处理。此外，自适应分类滤波器282通过自适应分类处理执行ILF中的SAO处理。然后，自适应环路滤波器263执行ALF处理。
除了这些点之外，图27中的编码装置11执行与图9的情况类似的处理。
<解码装置12的第三配置示例>
图28是示出图1的解码装置12的第三配置示例的框图。
注意，在图28中，对于与图16或图26的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图28中，解码装置12包括从累积缓冲器201至计算单元205的部件、重排缓冲器207、D/A转换单元208、从帧存储器210到选择单元214的部件、自适应环路滤波器273、去块滤波器291以及自适应分类滤波器292。
因此，图28的解码装置12与图16的情况的共同之处在于，解码装置12包括从累积缓冲器201至计算单元205的部件、重排缓冲器207、D/A转换单元208以及从帧存储器210至选择单元214的部件。
然而，图28的解码装置12与图16的情况的不同之处在于，解码装置12包括自适应分类滤波器292来替代自适应分类滤波器206，另外还包括图26的自适应环路滤波器273，并且另外还包括去块滤波器291。
在图28中，从计算单元205向去块滤波器291提供正被解码图像。
去块滤波器291向来自计算单元205的正被解码图像应用DF处理，并且将正被解码图像提供给自适应分类滤波器291。
自适应分类滤波器292的配置与图16的自适应分类滤波器206的配置类似。然而，自适应分类滤波器292是通过自适应分类处理仅用作SAO而不是整个ILF(即DF、SAO和ALF)的滤波器，并且这与用作整个ILF的自适应分类滤波器206不同。
自适应分类滤波器292将基于自适应分类处理的SAO处理应用于来自去块滤波器291的正被解码图像，并且将作为处理的结果获得的滤波后图像提供给自适应环路滤波器273。
图28的解码装置12对由图27的编码装置11获得的编码数据进行解码。
即，去块滤波器291执行DF处理。此外，自适应分类滤波器292通过自适应分类处理执行ILF中的SAO处理。然后，自适应环路滤波器273执行ALF处理。
除了这些点之外，图28的解码装置12执行与图16的情况类似的处理。
<编码装置11的第四配置示例>
图29是示出图1的编码装置11的第四配置示例的框图。
注意，在图29中，对于与图9、图25或图27的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图29中，编码装置11包括从A/D转换单元101至计算单元110的部件、从帧存储器112至速率控制单元117的部件、自适应偏移单元262、去块滤波器281以及自适应分类滤波器311。
因此，图29的编码装置11与图9的情况的共同之处在于，编码装置11包括从A/D转换单元101至计算单元110的部件以及从帧存储器112至速率控制单元117的部件。
然而，图29的编码装置11与图9的情况的不同之处在于，编码装置11包括自适应分类滤波器311来替代自适应分类滤波器111，另外还包括图25的自适应偏移单元262，并且另外还包括图27的去块滤波器281。
在图29中，从自适应偏移单元262向自适应分类滤波器311提供SAO处理之后的正被解码图像。
自适应分类滤波器311的配置与图9的自适应分类滤波器111的配置类似。然而，自适应分类滤波器311是通过自适应分类处理仅用作ALF而不是整个ILF(即DF、SAO和ALF)的滤波器，并且这与用作整个ILF的自适应分类滤波器111不同。
自适应分类滤波器311将基于自适应分类处理的SAO处理应用于来自自适应偏移单元262的正被解码图像，并且将作为处理的结果获得的滤波后图像提供给帧存储器112。
在图29的编码装置11中，去块滤波器281执行DF处理。此外，自适应偏移单元262执行SAO处理。然后，自适应分类滤波器311通过自适应分类处理执行ILF中的ALF处理。
注意，在自适应偏移单元262中，SAO处理所需的SAO信息被提供给可逆编码单元106并被包括在如图25所述的编码数据中。
除了这些点之外，图29的编码装置11执行与图9的情况类似的处理。
<解码装置12的第四配置示例>
图30是示出图1的解码装置12的第四配置示例的框图。
注意，在图30中，对于与图16、图26或图28的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图30中，解码装置12包括从累积缓冲器201至计算单元205的部件、重排缓冲器207、D/A转换单元208、从帧存储器210到选择单元214的部件、自适应偏移单元272、去块滤波器291以及自适应分类滤波器321。
因此，图30的解码装置12与图16的情况的共同之处在于，解码装置12包括从累积缓冲器201至计算单元205的部件、重排缓冲器207、D/A转换单元208以及从帧存储器210至选择单元214的部件。
然而，图30的解码装置12与图16的情况的不同之处在于，解码装置12包括自适应分类滤波器321来替代自适应分类滤波器206，另外还包括图26的自适应偏移单元272，并且另外还包括图28的去块滤波器291。
在图30中，从自适应偏移单元272向自适应分类滤波器321提供SAO处理之后的正被解码图像。
自适应分类滤波器321的配置与图16的自适应分类滤波器206的配置类似。然而，自适应分类滤波器321是通过自适应分类处理仅用作ALF而不是整个ILF(即DF、SAO和ALF)的滤波器，并且这与用作整个ILF的自适应分类滤波器206不同。
自适应分类滤波器321将基于自适应分类处理的ALF处理应用于来自自适应偏移单元272的正被解码图像，并且将作为处理的结果获得的滤波后图像提供给重排缓冲器297和帧存储器210。
图30的解码装置12对由图29的编码装置11获得的编码数据进行解码。
即，去块滤波器291执行DF处理。此外，自适应偏移单元272执行SAO处理。然后，自适应分类滤波器321通过自适应分类处理执行ILF中的ALF处理。
注意，从可逆解码单元202向自适应偏移单元272提供包括在编码数据中的SAO信息。自适应偏移单元272使用来自可逆解码单元202的SAO信息来执行SAO处理。
除了这些点之外，图30的解码装置12执行与图16的情况类似的处理。
以这种方式，根据自适应分类处理，可以实现整个ILF的功能，并且还可以实现ILF中的DF、SAO或ALF的功能。
此外，根据自适应分类处理，还可以实现DF、SAO和ALF中的两个或更多个的功能。
即，根据自适应分类处理，可以实现DF、SAO和ALF中的一个或更多个的功能。
此外，自适应分类处理实现DF、SAO和ALF中的一个或更多个的功能，并且可以获得具有优异的S/N的图像(即，非常接近原始图像的图像)作为滤波后图像，该滤波后图像用作用于对预测图像进行预测的参考图像。此外，残差可以非常小。因此，可以显著提高S/N和压缩效率。
此外，自适应分类处理实现DF、SAO和ALF中的两个或更多个的功能，并且与设置ILF中的所有DF、SAO和ALF的情况相比可以降低计算成本。
注意，尽管以下将描述通过自适应分类处理实现整个ILF的功能的情况的示例，但是在以下描述的实施方式中，也可以通过自适应分类处理实现DF、SAO和ALF中的任意一个或两个的功能。
<附加类>
图31是描述附加类的概述的图。
在编码装置11和编码装置12的第一至第四配置示例中，使用了从正被解码图像获得的类抽头(类抽头的图像特征值)和包括在编码数据中的编码信息来执行分类。
即，在编码装置11和解码装置12的第一至第四配置示例中，使用了能够由编码装置11和解码装置12二者获取的可获取信息来执行分类。
顺便提及，从获得更接近原始图像的滤波后图像的观点来看，期望在自适应分类处理中使用原始图像来进行分类。此外，可以通过使用例如未被包括在编码数据中的编码信息(例如目标代码量)或在编码时丢失的信息来执行分类，以执行可以获得更接近原始图像的滤波后图像的分类。
然而，原始图像、未被包括在编码数据中的编码信息以及在编码时丢失的信息是不能在解码装置12侧获取的不可获取信息。使用不可获取信息的分类可以由编码装置11执行，但是不能由解码装置12执行。
因此，在编码装置11使用不可获取信息来执行分类的情况下，编码装置11发送通过分类获得的类作为附加类。然后，解码装置12使用从编码装置11发送的附加类来执行自适应分类处理。
即，编码装置11使用可获取信息(例如从正被解码图像获得的类抽头和包括在编码数据中的编码信息)来执行分类并获得普通类作为目标像素的第一类。
编码装置11还使用不可获取信息(例如原始图像和未被包括在编码数据中的编码信息)来执行分类以获得附加类作为目标像素的第二类。
然后，编码装置11根据普通类和附加类获得目标像素的最终类，并且使用该最终类的抽头系数来执行预测计算以获得与目标像素对应的滤波后图像的对应像素的像素值(与目标像素对应的原始图像的像素的像素值的预测值)。
编码装置11还将附加类(指示附加类的类代码)作为滤波信息与抽头系数一起发送。
解码装置12使用可获取信息来执行分类并且获得作为目标像素的第一类的普通类。
解码装置12进一步获取从编码装置11发送的抽头系数和作为目标像素的第二类的附加类。
如在编码装置11中那样，解码装置12然后根据普通类和附加类获得目标像素的最终类，并且使用该最终类的抽头系数来执行预测计算以获得与目标像素对应的滤波后图像的对应像素的像素值。
在图31中，编码装置11使用作为可获取信息的从正被解码图像获得的类抽头来将目标像素分类为由8位类代码指示的普通类。
编码装置11还使用作为不可获取信息的包括与原始图像中的目标像素对应的对应像素的预定单元(例如CU、CTU和切片)，来将目标像素分类为由2位类代码指示的附加类。
编码装置11还将指示2位附加类的类代码添加到指示8位普通类的类代码的较高位以获得由10位类代码指示的作为最终类的类。
然后，编码装置11使用由10位类代码指示的最终类的抽头系数来执行预测计算以获得与目标像素对应的滤波后图像的对应像素的像素值。
编码装置11还发送由10位类代码表示的每个最终类的抽头系数和2位(由类代码指示的)附加类。
此处，尽管在上述情况下，附加类(指示附加类的类代码)被添加到普通类(指示普通类的类代码)的较高位以生成最终类(指示最终类的类代码)，但是根据普通类和附加类生成最终类的方法不限于此。
即，尽管需要预先设定根据普通类和附加类生成最终类的方法，但是可以采用任意方法。例如，可以通过将附加类添加到普通类的较低位来生成最终类。
解码装置12获取从编码装置11发送的每个最终类的抽头系数和2位的附加类。
解码装置12进一步使用作为可获取信息的从正被解码图像获得的类抽头来将目标像素分类成8位(由类代码指示的)普通类。
如在编码装置11中那样，解码装置12还根据从编码装置11发送的8位普通类和2位附加类来获得10位(由类代码指示的)最终类，并且使用该最终类的抽头系数来执行预测计算以获得与目标像素对应的滤波后图像的对应像素的像素值。
注意，使用不可获取信息的分类的示例包括使用图像特征值(例如原始图像的活动性)作为不可获取信息的分类。
例如，在包括与目标像素对应的原始图像的像素的预定区域(在下文中也称为特定区域)例如CU、CTU和切片中包括的像素之中，相邻像素的像素值的绝对差之和可以通过差的数量进行规范化，并且可以采用所获得的值作为原始图像的活动性。
作为不可获取信息的原始图像的图像特征值的其他示例包括与目标像素对应的原始图像的对应像素的像素值的帧之间的差异、原始图像的特定区域的像素值与对应于特定区域的正被解码图像的区域的像素值之间的DC差异、以及其中原始图像的部分频带被减小或强调的图像的图像特征值。
此外，除了作为不可获取信息的原始图像的图像特征值之外，无论编码信息是可获取信息还是不可获取信息，编码信息都可以用于进行使用不可获取信息的分类。
即，例如，可以在使用不可获取信息的分类中使用作为不可获取信息的原始图像的图像特征值和量化参数QP。
例如，在作为原始图像的图像特征值的原始图像中具有大活动性的纹理的区域中量化参数QP大(量化步长大)的情况下，在编码(量化)时丢失的原始图像的信息量大并且滤波后图像(解码图像)显著劣化。
另一方面，在原始图像中具有小活动性的平坦区域中量化参数QP小(量化步长小)的情况下，在编码时丢失的原始图像的信息量小并且滤波后图像不会劣化太多。
因此，在使用活动性作为原始图像的图像特征值和量化参数QP进行分类的情况下，根据滤波后图像的劣化幅度来执行分类，并且可以使用适合于恢复该劣化的抽头系数来执行预测计算。
<编码装置11的第五配置示例>
图32是示出图1的编码装置11的第五配置示例的框图。
注意，在图32中，对于与图9的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图32中，编码装置11包括从A/D转换单元101至计算单元110的部件、从帧存储器112至速率控制单元117的部件以及自适应分类滤波器411。
因此，图32的编码装置11与图9的情况的共同之处在于，编码装置11包括从A/D转换单元101至计算单元110的部件以及从帧存储器112至速率控制单元117的部件。
然而，图32的解码装置11与图9的情况的不同之处在于，解码装置11包括自适应分类滤波器411来替代自适应分类滤波器111。
自适应分类滤波器411是通过自适应分类处理用作ILF(即，所有DF、SAO和ALF)的滤波器，并且其与自适应分类滤波器111的共同之处在于，自适应分类滤波器411通过自适应分类处理来执行ILF处理。
然而，自适应分类滤波器411与自适应分类滤波器111的不同之处在于，自适应分类滤波器411在使用可获取信息的分类中获得作为第一类的普通类，在使用不可获取信息的分类中获得作为第二类的附加类，并且根据该普通类和附加类生成最终类。
自适应分类滤波器411与自适应分类滤波器111的不同之处还在于，自适应分类滤波器411将附加类作为滤波信息与每个最终类的抽头系数一起提供并发送至可逆编码单元106。
<自适应分类滤波器411的配置示例>
图33是示出图32的自适应分类滤波器411的配置示例的框图。
在图33中，自适应分类滤波器411包括图像转换装置431和学习装置432。
从计算单元110(图32)向图像转换装置431提供正被解码图像，并且从学习装置432向图像转换装置431提供每个最终类的抽头系数。还向图像转换装置431提供编码信息。此外，从重排缓冲器102(图32)向图像转换装置431提供原始图像。
图像转换装置431将正被解码图像设定为第一图像，并且使用每个最终类的抽头系数通过自适应分类处理执行图像转换，从而将作为第一图像的正被解码图像转换为作为等同于原始图像的第二图像的滤波后图像(生成滤波后图像)并将该滤波后图像提供给帧存储器112(图32)。
注意，图像转换装置431在自适应分类处理中根据需要使用编码信息来执行分类。
图像转换装置431还使用作为可获取信息的正被解码图像和编码信息(包括在编码数据中的编码信息)来执行分类以获得作为第一类的普通类并且使用例如作为不可获取信息的原始图像等来执行分类以获得作为第二类的附加类。图像转换装置431根据普通类和附加类生成最终类。
图像转换装置431还将附加类作为滤波信息提供给可逆编码单元106(图32)。
从重排缓冲器102(图32)向学习装置432提供原始图像，并且从计算单元110(图32)向学习装置432提供正被解码图像。还向学习装置432提供编码信息。
学习装置432将正被解码图像设定为学生数据，并且将原始图像设定为教师数据，以执行获得每个类(最终类)的抽头系数的学习(抽头系数学习)。
学习装置432进一步将通过抽头系数学习获得的每个类的抽头系数设定为滤波信息并且将该滤波信息提供给图像转换装置431和可逆编码单元106(图32)。
注意，如图像转换装置431中那样，在抽头系数学习中，学习装置432根据需要使用编码信息来执行分类。
此外，如图像转换装置431中那样，在分类中，学习装置432获得普通类和附加类以根据普通类和附加类生成最终类。
<图像转换装置431的配置示例>
图34是示出图33中的图像装置431的配置示例的框图。
注意，在图34中，对于与图11中的图像转换装置131对应的部分设置相同的附图标记，并且将适当地省略描述。
在图34中，图像转换装置431包括抽头选择单元21和22、系数获取单元24、预测计算单元25和分类单元441。
因此，图像转换装置431与图11的图像转换装置131的共同之处在于，图像转换装置431包括抽头选择单元21和22、系数获取单元24和预测计算单元25。
然而，图像转换装置431与图11的图像转换装置131的不同之处在于，图像转换装置431包括分类单元441来替代分类单元23。
从抽头选择单元22向分类单元441提供作为可获取信息的目标像素的类抽头。此外，作为可获取信息的编码信息被提供给分类单元441，并且从重排缓冲器102(图32)向分类单元441提供作为不可获取信息的原始图像。
如图11中的分类单元23中那样，分类单元441使用类抽头和编码信息来执行分类以获得作为目标像素的第一类的普通类。
分类单元441还使用原始图像来执行分类并且获得作为目标像素的第二类的附加类。
然后，分类单元441根据普通类和附加类生成目标像素的最终类并且将最终类提供给系数获取单元24。
分类单元441还将附加类(指示附加类的类代码)作为滤波信息提供给可逆编码单元106。
此处，在图34中，系数获取单元24存储从学习装置432提供的最终类的抽头系数。系数获取单元24从分类单元541获取最终类的抽头系数中的目标像素的最终类的抽头系数，并将该抽头系数提供给预测计算单元25。
图35是示出图34中的分类单元441的配置示例的框图。
在图35中，分类单元441包括第一分类单元451、第二分类单元452和类代码生成单元453。
与图11中的分类单元23类似，第一分类单元451使用类抽头和编码信息来执行分类，获得作为目标像素的第一类的普通类，并且将该普通类提供给类代码生成单元453。
第二分类单元452使用原始图像来执行例如对作为原始图像的图像特征值的活动性的阈值处理以执行分类，并且获得作为目标像素的第二类的附加类。第二分类单元452将附加类提供给类代码生成单元453，并将附加类作为滤波信息提供给可逆编码单元106(图32)。
类代码生成单元453根据来自第一分类单元451的普通类和来自第二分类单元452的附加类生成目标像素的最终类，并将该最终类提供给系数获取单元24(图34)。
即，例如，类代码生成单元453将来自第二分类单元452的指示附加类的类代码添加到来自第一分类单元451的指示普通类的类代码的较高位以生成指示目标像素的最终类的类代码。
<学习装置432的配置示例>
图36是示出图33中的学习装置432的配置示例的框图。
注意，在图36中，对于与图13中的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图36中，学习装置432包括学习单元33。学习单元33包括抽头选择单元41和42、求和单元44、系数计算单元45和分类单元461。
因此，图36中的学习装置432与图13中的情况的共同之处在于，学习装置432包括学习单元33。学习装置432与图13中的情况的共同之处还在于，学习单元33包括抽头选择单元41和42、求和单元44和系数计算单元45。
然而，图36中的学习装置432与图13中的情况的不同之处在于，学习单元33设置有分类单元461来替代分类单元43。
从抽头选择单元42向分类单元461提供作为可获取信息的目标像素的类抽头。此外，作为可获取信息的编码信息被提供给分类单元461，并且从重排缓冲器102(图32)向分类单元461提供作为不可获取信息的原始图像。
分类单元461的配置与图35中的分类单元441的配置类似，并且分类单元461使用类抽头、编码信息和原始图像来执行与由分类单元441执行的分类类似的分类。
即，与图13中的分类单元43类似，分类单元461使用类抽头和编码信息来执行分类并且获得作为目标像素的第一类的普通类。
分类单元461还使用原始图像来执行分类并且获得作为目标像素的第二类的附加类。
然后，分类单元461根据普通类和附加类生成目标像素的最终类并将该最终类提供给求和单元44。
因此，求和单元44执行求和以获得每个最终类的正规方程，并且系数计算单元45获得每个最终类的抽头系数。
此处，每个最终类的抽头系数的数量是等于普通类的数量与附加类的数量的乘积的数。
<编码处理>
图37是描述图32中的编码装置11的编码处理的示例的流程图。
在步骤S111至步骤S129中，图32中的编码装置11执行分别与图14中的步骤S11至S29类似的处理。
尽管编码装置11中的自适应分类滤波器411的学习装置432(图33)如图10中的学习装置132中那样，将提供给学习装置432的正被解码图像设定为学生数据，并且将与正被解码图像对应的原始图像设定为教师数据以适当地执行抽头系数学习，但是在该抽头系数学习中生成每个最终类的抽头系数作为滤波信息。然后，每个最终类的抽头系数被视为在步骤S112中被更新的滤波信息，并且被视为在步骤S113中被设定为发送目标的滤波信息。
此外，尽管如图14的步骤S25中那样，在步骤S125中自适应分类滤波器411将自适应分类处理作为ILF处理应用于来自计算单元110的正被解码图像，但是在该自适应分类处理中使用类抽头、编码信息和原始图像来执行分类，并且根据普通类和附加类生成最终类。
此外，自适应分类滤波器411使用每个最终类的抽头系数来执行自适应分类处理。
自适应分类滤波器411还将在自适应分类处理中获得的附加类作为滤波信息提供给可逆编码单元106。
此外，尽管如图14中的步骤S27那样，在步骤S127中可逆编码单元106对量化系数、编码信息和滤波信息进行编码，但是该滤波信息包括附加类和每个最终类的抽头系数。
因此，由可逆编码单元106获得的编码数据包括作为滤波信息的量化系数、编码信息、附加类，以及每个最终类的抽头系数。此外，如图14中的步骤S28所述，在步骤S128中从累积缓冲器107适当地读取并发送编码数据。
图38是描述在图37的步骤S125中执行的自适应分类处理的示例的流程图。
在步骤S141至S147中，自适应分类滤波器411的图像转换装置431(图34)执行分别与图15的步骤S41至S47类似的处理。
然而，在步骤S143中的对目标像素的分类中，分类单元441(图34和图35)使用类抽头、编码信息和原始图像来对目标像素进行分类。
即，在分类的步骤S151至S153中，分别执行与图15的步骤S51至S53类似的处理。
具体地，在步骤S151中，分类单元441的第一分类单元451(图35)从来自抽头选择单元22的类抽头中包括的像素中提取例如诸如ADRC代码的图像特征值，并且处理进行到步骤S152。
在步骤S152中，第一分类单元451获取关于目标像素的必要编码信息，并且根据预定规则将该编码信息转换为信息代码。处理进行到步骤S153。
在步骤S153中，第一分类单元451使用图像特征值和信息代码来生成指示作为目标像素的第一类的普通类的类代码，并且将该类代码提供给类代码生成单元453。处理进行到步骤S154。
在步骤S154中，第二分类单元452获取包括与原始图像对应的目标像素的对应像素的特定区域，如CU、CTU和切片作为针对作为第二类的附加类的信息。处理进行到步骤S155。
注意，可以从原始图像而且也可以从编码信息(无论该信息是否被包括在编码数据中)获取针对附加类的信息。
在步骤S155中，第二分类单元452从针对附加类的信息中提取例如诸如活动性的图像特征值，并且向该图像特征值应用阈值处理以获得指示目标像素的附加类的类代码。
然后，第二分类单元452将指示附加类的类代码提供给类代码生成单元453，并且处理从步骤S155进行到步骤S156。
在步骤S156中，类代码生成单元453使用来自第一分类单元451的指示普通类的类代码和来自第二分类单元452的指示附加类的类代码来生成指示目标像素的最终类的类代码。
然后，类代码生成单元453将目标像素的最终类(指示最终类的类代码)提供给图像转换装置431(图34)的系数获取单元24，并且结束步骤S143中的分类。
注意，在步骤S147中，如图15的步骤S47中那样，自适应分类滤波器411的图像转换装置431(图34)中的预测计算单元25向帧存储器112(图32)提供包括针对来自计算单元110的正被解码图像获得的像素值的滤波后图像，并且分类单元441(图34)将在步骤S143的分类中获得的作为第二类的附加类作为滤波信息提供给可逆编码单元106(图32)。
<解码装置12的第五配置示例>
图39是示出图1中的解码装置12的第五配置示例的框图。
注意，在图39中，对于与图16中的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图39中，解码装置12包括从累积缓冲器201至计算单元205的部件、重排缓冲器207、D/A转换单元208、从帧存储器210到选择单元214的部件以及自适应分类滤波器471。
因此，图39中的解码装置12与图16中的情况的共同之处在于，解码装置12包括从累积缓冲器201至计算单元205的部件、重排缓冲器207、D/A转换单元208以及从帧存储器210至选择单元214的部件。
然而，图39中的解码装置12与图16中的情况的不同之处在于，解码装置12包括自适应分类滤波器471来替代自适应分类滤波器206。
图39中的解码装置12对从图32中的编码装置11发送的编码数据进行解码。
因此，从可逆解码单元202向自适应分类滤波器471提供的滤波信息包括每个最终类的抽头系数和附加类。
自适应分类滤波器471与图16中的自适应分类滤波器206的共同之处在于，自适应分类滤波器471是通过自适应分类处理用作ILF(即，所有DF、SAO和ALF)的滤波器，并且基于自适应分类处理来执行ILF处理。
然而，自适应分类滤波器471与自适应分类滤波器206的不同之处在于，自适应分类滤波器471使用可获取信息来执行分类以获得作为第一类的普通类，并且使用该普通类和来自可逆解码单元202的作为滤波信息的附加类来生成最终类。
<自适应分类滤波器471的配置示例>
图40是示出图39中的自适应分类滤波器471的配置示例的框图。
在图40中，自适应分类滤波器471包括图像转换装置481。
从计算单元205(图39)向图像转换装置481提供正被解码图像，并且从可逆解码单元202向图像转换装置481提供作为滤波信息的每个最终类的抽头系数和附加类以及编码信息。
与图33中的图像转换装置431类似，图像转换装置481将正被解码图像设定为第一图像，并且使用每个类(最终类)的抽头系数通过自适应分类处理执行图像转换，从而将作为第一图像的正被解码图像转换为作为等同于原始图像的第二图像的滤波后图像(生成滤波后图像)。图像转换装置481将滤波后图像提供给重排缓冲器207和帧存储器210(图39)。
注意，与图33中的图像转换装置431类似，图像转换装置481在自适应分类处理中根据需要使用编码信息来执行分类。
此外，图像转换装置481使用从作为可获取信息的正被解码图像获得的编码信息(包括在编码数据中的编码信息)和类抽头来执行分类以由此获得作为目标像素的第一类的普通类。图像转换装置481从来自可逆解码单元202(图39)的滤波信息中获取通过进行使用作为不可获取信息的原始图像的分类而获得的作为目标像素的第二类的附加类。图像转换装置481使用普通类和附加类来生成目标像素的最终类。
然后，图像转换装置481使用目标像素的最终类的抽头系数来执行式(1)中的预测计算。
<图像转换装置481的配置示例>
图41是示出图40中的图像装置481的配置示例的框图。
注意，在图41中，对于与图18中的图像转换装置231共同的部分设置相同的附图标记，并且将适当地省略描述。
在图41中，图像转换装置481包括抽头选择单元241和242、系数获取单元244、预测计算单元245和分类单元491。
因此，图41中的图像转换装置481与图18中的图像转换装置231的共同之处在于，图像转换装置481包括抽头选择单元241和242、系数获取单元244和预测计算单元245。
然而，图41中的图像转换装置481与图18的图像转换装置231的不同之处在于，图像转换装置481包括分类单元491来替代分类单元243。
来自可逆解码单元202(图39)的作为滤波信息的最终类的抽头系数(等同于普通类的数量与附加类的数量的乘积的数量的类的抽头系数)被提供给系数获取单元244并被存储在其中。
此外，来自可逆解码单元202(图39)的作为滤波信息的附加类被提供给分类单元491。
此外，来自可逆解码单元202的编码信息被提供给分类单元491，并且来自抽头选择单元242的类抽头被提供给分类单元491。
与图18中的分类单元243类似，分类单元491使用类抽头和编码信息来执行分类并且获得作为目标像素的第一类的普通类。
分类单元491还在来自可逆解码单元202(图39)的作为滤波信息的附加类中获取作为目标像素的第二类的附加类。
然后，分类单元491使用目标像素的普通类和附加类来生成目标像素的最终类，并且将该最终类提供给系数获取单元244。
根据来自可逆解码单元202的作为滤波信息的最终类的抽头系数，系数获取单元244从分类单元491获取目标像素的最终类的抽头系数，并且将该抽头系数提供给预测计算单元245。
图42是示出图41中的分类单元491的配置示例的框图。
在图42中，分类单元491包括第一分类单元501和类代码生成单元502。
与图18中的分类单元243类似，第一分类单元501使用来自抽头选择单元242(图41)的类抽头和来自可逆解码单元202(图39)的编码信息来执行分类以获得作为目标像素的第一类的普通类，并且将该普通类提供给类代码生成单元502。
类代码生成单元502在来自可逆解码单元202的作为滤波信息的附加类中获取作为目标像素的第二类的附加类。
与图35中的类代码生成单元453类似，类代码生成单元502然后使用来自第一分类单元501的普通类和从来自可逆解码单元202的滤波信息获取的附加类来生成目标像素的最终类，并且将该最终类提供给系数获取单元244(图41)。
<解码处理>
图43是描述图39中的解码装置12的解码处理的示例的流程图。
在步骤S161至S173中，图39中的解码装置12执行分别与图19中的步骤S61至S73类似的处理。
在步骤S162中，尽管如图19的步骤S62中那样，可逆解码单元202对编码数据进行解码、将通过解码获得的量化系数提供给逆量化单元203，并且将通过对编码数据进行解码而获得的编码信息和滤波信息提供给帧内预测单元212、运动预测补偿单元213、自适应分类滤波器471和其他必要的块，但是提供给自适应分类滤波器471的滤波信息还包括每个最终类的抽头系数和作为第二类的附加类。
此外，尽管如图19的步骤S70中那样，在步骤S170中自适应分类滤波器471将自适应分类处理作为ILF,处理应用于来自计算单元205的正被解码图像，但是在自适应分类处理中通过进行使用类抽头和编码信息的分类来获得作为第一类的普通类，并且根据该普通类和来自可逆解码单元202(图39)的作为滤波信息的附加类来生成最终类。
图44是描述在图43的步骤S170中执行的自适应分类处理的示例的流程图。
在步骤S181至S187中，自适应分类滤波器471的图像转换装置481(图41)执行分别与图20中的步骤S81至S87类似的处理。
然而，在步骤S183中的对目标像素的分类中，分类单元491(图42)根据从可逆解码单元202(图39)提供的作为滤波信息的目标像素的附加类来生成目标像素的最终类。
即，在分类中，在步骤S191至S193中分别执行与图38中的步骤S151至S153类似的处理。
具体地，在步骤S191中，分类单元491(图42)的第一分类单元501从来自抽头选择单元242(图41)的类抽头中包括的像素中提取例如诸如ADRC代码的图像特征值，并且处理进行到步骤S192。
在步骤S192中，第一分类单元501获取关于目标像素的必要编码信息，并且根据预定规则将该编码信息转换为信息代码。处理进行到步骤S193。
在步骤S193中，第一分类单元501使用图像特征值和信息代码来生成指示作为目标像素的第一类的普通类的类代码，并且将该类代码提供给类代码生成单元502。处理进行到步骤S194。
在步骤S194中，类代码生成单元502在从可逆解码单元202(图39)提供的作为滤波信息的附加类中获取作为目标像素的第二类的附加类(指示附加类的类代码)。
类代码生成单元502还使用来自第一分类单元501的普通类(指示普通类的类代码)和从来自可逆解码单元202的作为滤波信息的附加类中获取的目标像素的附加类(指示附加类的类代码)来生成目标像素的最终类(指示最终类的类代码)。
然后，类代码生成单元502将目标像素的最终类提供给系数获取单元244(图41)，并且结束步骤S183中的分类。
<类的缩减>
图45是描述最终类的缩减的图。
如图31所述，可以采用根据通过进行使用可获取信息的分类而获得的普通类和通过进行使用不可获取信息的分类而获得的附加类而生成的最终类来执行能够获得更接近原始图像的滤波后图像的分类，以改善滤波后图像(解码图像)的S/N。
然而，与仅采用普通类的情况相比，在采用根据普通类和附加类生成的最终类的情况下，类的数量增加。因此，编码数据中包括的作为滤波信息的抽头系数的数据量增加，并且编码数据的开销增加。
此外，编码数据的开销的增加会阻碍压缩效率的改善。
因此，在采用根据普通类和附加类生成的最终类的情况下，可以缩减最终类。
在图45中，如图31中那样，编码装置11将指示通过进行使用作为不可获取信息的原始图像的图像特征值的分类而获得的2位附加类的类代码添加到指示通过进行使用从作为可获取信息的正被解码图像获得的类抽头的分类而获得的8位普通类的类代码的较高位来获得由10位类代码指示的类作为最终类。
然后，编码装置11将(由类代码指示的)10位的最终类缩减到8位的缩减类，并且使用该8位的缩减类的抽头系数来执行预测计算以获得与目标像素对应的滤波后图像的对应像素的像素值。
编码装置11还发送每个8位的缩减类的抽头系数以及2位的附加类。
此外，编码装置11生成用于将10位的最终类转换为8位的缩减类的转换表，并且还发送该转换表。
可以通过例如图24中描述的方法来缩减最终类。也可以通过例如将抽头系数(抽头系数集)之间短距离的类并入包括作为坐标轴的抽头系数的抽头系数空间中的一个类中来缩减最终类。还可以通过其他任意方法来缩减最终类。
解码装置12获取从编码装置11发送的每个缩减类的抽头系数、2位的附加类和转换表。
此外，解码装置12使用根据作为可获取信息的正被解码图像获得的类抽头来将目标像素分类成(由类代码指示的)8位的普通类。
此外，解码装置12使用从编码装置11发送的8位的普通类和2位的附加类来获得与编码装置11的情况类似的10位的最终类。
然后，解码装置12根据从编码装置11发送的转换表将10位的最终类转换(缩减)为缩减类，并且使用该缩减类的抽头系数来执行预测计算以由此获得与目标像素对应的滤波后图像的对应像素的像素值。
以这种方式，在采用根据普通类和附加类生成的最终类的情况下，可以缩减最终类以抑制编码数据的开销的增加。
注意，例如可以通过切换操作模式来选择是如图31所述在不缩减最终类的情况下将每个最终类的抽头系数和附加类作为滤波信息来发送，还是如图45所述在缩减最终类之后发送每个缩减类的抽头系数、附加类和转换表。
此外，在将最终类缩减为缩减类的情况下，可以通过例如考虑S/N的改善程度和编码数据的开销的增加量来适当地决定缩减类的数量。
<编码装置11的第六配置示例>
图46是示出图1中的编码装置11的第六配置示例的框图。
注意，在图46中，对于与图32中的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图46中，编码装置11包括从A/D转换单元101至计算单元110的部件、从帧存储器112至速率控制单元117的部件以及自适应分类滤波器511。
因此，图46中的编码装置11与图32中的情况的共同之处在于，编码装置11包括从A/D转换单元101至计算单元110的部件以及从帧存储器112至速率控制单元117的部件。
然而，图46中的解码装置11与图32中的情况的不同之处在于，解码装置11包括自适应分类滤波器511来替代自适应分类滤波器411。
自适应分类滤波器511与自适应分类滤波器411的共同之处在于，自适应分类滤波器511是通过自适应分类处理用作ILF(即，所有DF、SAO和ALF)的滤波器，并且基于自适应分类处理来执行ILF处理。
此外，自适应分类滤波器511与自适应分类滤波器411的共同之处在于，自适应分类滤波器511使用可获取信息来执行分类以获得作为第一类的普通类，使用不可获取信息来执行分类以获取作为第二类的附加类，并且根据普通类和附加类生成最终类。
此外，自适应分类滤波器511与自适应分类滤波器411的共同之处在于，自适应分类滤波器511将附加类作为滤波信息提供并发送至可逆编码单元106。
然而，自适应分类滤波器511与自适应分类滤波器411的不同之处在于，自适应分类滤波器511如图45所描述的那样将最终类转换(缩减)为缩减类。
此外，自适应分类滤波器511与自适应分类滤波器411的不同之处在于，自适应分类滤波器511将用于将最终类转换为缩减类的转换表与每个缩减类的抽头系数一起作为滤波信息提供并发送至可逆编码单元106。
<自适应分类滤波器511的配置示例>
图47是示出图46中的自适应分类滤波器511的配置示例的框图。
在图47中，自适应分类滤波器511包括图像转换装置531和学习装置532。
从计算单元110(图46)向图像转换装置531提供正被解码图像，并且从学习装置532向图像转换装置531提供每个缩减类的抽头系数和转换表。此外，向图像转换装置531提供编码信息。此外，从重排缓冲器102(图46)向图像转换装置531提供原始图像。
图像转换装置531将正被解码图像设定为第一图像，并且使用每个缩减类的抽头系数通过自适应分类处理执行图像转换，从而将作为第一图像的正被解码图像转换为等同于原始图像的作为第二图像的滤波后图像(生成滤波后图像)。图像转换装置531将滤波后图像提供给帧存储器112(图46)。
注意，图像转换装置531在自适应分类处理中根据需要使用编码信息来执行分类。
此外，图像转换装置531使用从作为可获取信息的正被解码图像获得的编码信息(包括在编码数据中的编码信息)和类抽头来执行分类以获得作为第一类的普通类，并且使用例如作为不可获取信息的原始图像来执行分类以获得作为第二类的附加类。图像转换装置531根据普通类和附加类生成最终类。
图像转换装置531还根据来自学习装置532的转换表将最终类转换为缩减类。
图像转换装置531还将附加类作为滤波信息提供给可逆编码单元106(图46)。
从重排缓冲器102(图46)向学习装置532提供原始图像，并且从计算单元110(图46)向学习装置532提供正被解码图像。此外，向学习装置532提供编码信息。
学习装置532将正被解码图像设定为学生数据，并且将原始图像设定为教师数据，以执行用于获得每个缩减类的抽头系数的抽头系数学习。
学习装置532还将通过抽头系数学习获得的每个缩减类的抽头系数设定为滤波信息，并且将该抽头系数提供给图像转换装置531和可逆编码单元106(图46)。
注意，与图像转换装置531类似，学习装置532在抽头系数学习中根据需要使用编码信息来执行分类。
此外，与图像转换装置531类似，学习装置532在分类中获得普通类和附加类，并且根据该普通类和附加类生成最终类。
学习装置532还生成用于将最终类转换为缩减类的转换表，并且根据该转换表将最终类转换为缩减类。
学习装置532还将转换表作为滤波信息提供给图像转换装置531和可逆编码单元106(图46)。
<图像转换装置531的配置示例>
图48是示出图47中的图像装置531的配置示例的框图。
注意，在图48中，对于与图34中的图像转换装置431对应的部分设置相同的附图标记，并且将适当地省略描述。
在图48中，图像转换装置531包括抽头选择单元21和22、系数获取单元24、预测计算单元25和分类单元541。
因此，图像转换装置531与图34的图像转换装置431的共同之处在于，图像转换装置531包括抽头选择单元21和22、系数获取单元24和预测计算单元25。
然而，图像转换装置531与图34的图像转换装置431的不同之处在于，图像转换装置531包括分类单元541来替代分类单元441。
从抽头选择单元22向分类单元541提供作为可获取信息的目标像素的类抽头。此外，作为可获取信息的编码信息被提供给分类单元541，并且从重排缓冲器102(图46)向分类单元541提供作为不可获取信息的原始图像。此外，从学习装置532(图47)向分类单元541提供转换表。
与图34中的分类单元441类似，分类单元541使用类抽头和编码信息来执行分类以获得作为目标像素的第一类的普通类，并且使用原始图像来执行分类以获得作为目标像素的第二类的附加类。
此外，与分类单元441类似，分类单元541将附加类作为滤波信息提供给可逆编码单元106。
此外，与分类单元441类似，分类单元541根据普通类和附加类生成目标像素的最终类。
然后，分类单元541根据来自学习装置532(图47)的转换表将目标像素的最终类转换为缩减类，并将该缩减类提供给系数获取单元24。
此处，在图48中，系数获取单元24存储从学习装置532提供的缩减类的抽头系数，并且在该缩减类的抽头系数中获取来自分类单元541的缩减类的抽头系数。系数获取单元24将抽头系数提供给预测计算单元25。
图49是示出图48中的分类单元541的配置示例的框图。
注意，在图49中，对于与图35中的分类单元441对应的部分设置相同的附图标记，并且将适当地省略描述。
在图49中，分类单元541包括从第一分类单元451至类代码生成单元453的部件和类缩减单元551。
因此，图49中的分类单元541与图35中的分类单元441的共同之处在于，分类单元541包括从第一分类单元451至类代码生成单元453的部件。
然而，分类单元541与分类单元441的不同之处在于，分类单元541还包括类缩减单元551。
从学习装置532(图47)向类缩减单元551提供转换表，并且从类代码生成单元453向类缩减单元551提供目标像素的最终类(指示最终类的类代码)。
类缩减单元551根据来自学习装置532的转换表将来自类代码生成单元453的最终类转换为缩减类(指示缩减类的类代码)，并将该缩减类提供给系数获取单元24(图48)。
<学习装置532的配置示例>
图50是示出图47中的学习装置532的配置示例的框图。
注意，在图50中，对于与图36中的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图50中，学习装置532包括学习单元33和转换表生成单元562。学习单元33包括抽头选择单元41和42、求和单元44、系数计算单元45和分类单元461。
因此，图50中的学习装置532与图36中的情况的共同之处在于，学习装置532包括学习单元33。此外，学习装置532与图36中的学习装置432的共同之处在于，学习单元33包括抽头选择单元41和42、求和单元44、系数计算单元45和分类单元461。
然而，学习装置532与学习装置432的不同之处在于，学习装置532还包括转换表生成单元562。
从系数计算单元45向转换表生成单元562提供每个最终类的抽头系数。
转换表生成单元562将来自系数计算单元45的最终类(每个最终类的抽头系数)缩减为缩减类(每个缩减类的抽头系数)，并且生成用于将最终类转换为缩减类的转换表。
然后，转换表生成单元562将每个缩减类的抽头系数和转换表作为滤波信息提供给图像转换装置531(图47)和可逆编码单元106(图46)。
此处，最终类的数量是等于普通类的数量与附加类的数量的乘积的类数，并且例如，缩减类的数量可以是等于普通类的数量的类数。然而，缩减类的数量不限于例如普通类的数量、附加类的数量等。
可以通过例如图24中描述的方法来缩减最终类。也可以通过例如将抽头系数(抽头系数集)之间短距离的类并入包括作为坐标轴的抽头系数的抽头系数空间中的一个类中来缩减最终类。
还可以基于用于抑制在使用缩减之后的每个缩减类的抽头系数的自适应分类处理中获得的与原始图像对应的第二图像的S/N减小的标准(在下文中也称为S/N标准)来缩减最终类。
在基于S/N标准缩减最终类的情况下，例如，作为教师数据的原始图像和作为学生数据的正被解码图像被提供给转换表生成单元562。
转换表生成单元562使用任意方法来缩减最终类并且使用缩减之后的每个缩减类的抽头系数来执行自适应分类处理。以这种方式，转换表生成单元562获得将原始图像预测为教师数据的第二图像，并且获得以原始图像作为真值的第二图像的S/N。
转换表生成单元562获得针对多个缩减方法(包括具有不同数量的缩减类的缩减)的第二图像的S/N，并且选择缩减方法中S/N等于或大于阈值的一种缩减方法作为缩减最终类的方法。
<编码处理>
图51是描述图46中的编码装置11的编码处理的示例的流程图。
在步骤S211至步骤S229中，图46中的编码装置11执行分别与图37中的步骤S111至S129类似的处理。
然而，尽管如图33中的学习装置432中那样，编码装置11中的自适应分类滤波器511的学习装置532(图47)将提供给学习装置532的正被解码图像设定为学生数据，并且将与正被解码图像对应的原始图像设定为教师数据以适当地执行抽头系数学习，但是在该抽头系数学习中生成通过缩减每个最终类的抽头系数而获得的每个缩减类的抽头系数和用于将最终类转换为缩减类的转换表作为滤波信息。每个缩减类的抽头系数和转换表作为滤波信息被提供给图像转换装置531(图47)和可逆编码单元106(图46)。
此外，在步骤S212中待被更新的滤波信息和在步骤S213中被设定为发送目标的滤波信息包括每个缩减类的抽头系数和转换表。
此外，在步骤S225中，如图37中的步骤S125那样，自适应分类滤波器511将作为ILF处理的自适应分类处理应用于来自计算单元110的正被解码图像。
即，如图37中的情况那样，在自适应分类滤波器511的自适应分类处理中，通过使用类抽头、编码信息和原始图像的分类来获得普通类和附加类，并且根据该普通类和附加类来生成最终类。然后，如图37中的情况那样，将附加类作为滤波信息提供给可逆编码单元106。
然而，在自适应分类滤波器511的自适应分类处理中，根据来自学习装置532(图47)的转换表将最终类转换为缩减类，并且使用每个缩减类的抽头系数。
此外，尽管如图37中的步骤S127那样，在步骤S227中可逆编码单元106对量化系数、编码信息和滤波信息进行编码并且将它们包括在编码数据中，但是该滤波信息包括附加类、每个缩减类的抽头系数和转换表。
因此，由可逆编码单元106获得的编码数据包括量化系数和编码信息，以及作为滤波信息的附加类、每个缩减类的抽头系数和转换表。然后，如图14中的步骤S28所述，在步骤S228中从累积缓冲器107适当地读取并发送编码数据。
图52是描述在图51的步骤S225中执行的自适应分类处理的示例的流程图。
在步骤S241至S247中，自适应分类滤波器511的图像转换装置531(图48)执行分别与图38中的步骤S141至S147类似的处理。
然而，在步骤S243中的对目标像素的分类中，分类单元541(图48和图49)使用类抽头、编码信息和原始图像以根据关于目标像素的普通图像和附加类获得最终类，并且将该最终类缩减为缩减类。
即，在分类中，在步骤S251至S256中分别执行与图38中的步骤S151至S156类似的处理。因此，分类单元541(图49)的类代码生成单元453使用来自第一分类单元451的普通类和来自第二分类单元452的附加类来生成目标像素的最终类并将该最终类提供给类缩减单元551。
随后，处理从步骤S256进行到步骤S257，并且类缩减单元551根据来自学习装置532(图47)的转换表将来自类代码生成单元453的最终类转换为缩减类。
然后，类缩减单元551将缩减类提供给图像转换装置531(图48)的系数获取单元24，并且结束步骤S243中的分类。
<解码装置12的第六配置示例>
图53是示出图1中的解码装置12的第六配置示例的框图。
注意，在图53中，对于与图39中的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图53中，解码装置12包括从累积缓冲器201至计算单元205的部件、重排缓冲器207、D/A转换单元208、从帧存储器210到选择单元214的部件以及自适应分类滤波器571。
因此，图53中的解码装置12与图39中的情况的共同之处在于，解码装置12包括从累积缓冲器201至计算单元205的部件、重排缓冲器207、D/A转换单元208以及从帧存储器210至选择单元214的部件。
然而，图53中的解码装置12与图39中的情况的不同之处在于，解码装置12包括自适应分类滤波器571来替代自适应分类滤波器471。
图53中的解码装置12对从图46中的编码装置11发送的编码数据进行解码。
因此，从可逆解码单元202提供给自适应分类滤波器571的滤波信息包括每个缩减类的抽头系数、转换表和附加类。
自适应分类滤波器571与图39中的自适应分类滤波器471的共同之处在于，自适应分类滤波器571是通过自适应分类处理用作ILF(即，所有DF、SAO和ALF)的滤波器，并且基于自适应分类处理来执行ILF处理。
然而，尽管自适应分类滤波器571如自适应分类滤波器471那样使用来自可逆解码单元202的作为滤波信息的附加类来生成最终类，但是自适应分类滤波器571与自适应分类滤波器471的不同之处在于，自适应分类滤波器571根据来自可逆解码单元202的作为滤波信息的转换表将最终类转换为缩减类。
<自适应分类滤波器571的配置示例>
图54是示出图53中的自适应分类滤波器571的配置示例的框图。
在图54中，自适应分类滤波器571包括图像转换装置581。
从计算单元205(图53)将正被解码图像提供给图像转换装置581，并且从可逆解码单元202将作为滤波信息的每个缩减类的抽头系数、转换表和附加类以及编码信息提供给图像转换装置581。
与图47中的图像转换装置531类似，图像转换装置581将正被解码图像设定为第一图像，并且基于使用每个类(缩减类)的抽头系数的自适应分类处理执行图像转换。以这种方式，图像转换装置581将作为第一图像的正被解码图像转换为作为等同于原始图像的第二图像的滤波后图像(生成滤波后图像)，并将该滤波后图像提供给重排缓冲器207和帧存储器210(图53)。
注意，与图47中的图像转换装置531类似，图像转换装置581在自适应分类处理中根据需要使用编码信息来执行分类。
此外，与图像转换装置481(图40)类似，图像转换装置581使用类抽头执行分类以获得作为目标像素的第一类的普通类，并且从来自可逆解码单元202(图53)的滤波信息获取作为目标像素的第二类的附加类。图像转换装置581根据普通类和附加类生成目标像素的最终类。
然后，图像转换装置581根据来自可逆解码单元202的作为滤波信息的转换表将目标像素的最终类转换为缩减类，并且使用缩减类的抽头系数来执行式(1)中的预测计算。
<图像转换装置581的配置示例>
图55是示出图54中的图像装置581的配置示例的框图。
注意，在图55中，对于与图41中的图像转换装置481共同的部分设置相同的附图标记，并且将适当地省略描述。
在图55中，图像转换装置581包括抽头选择单元241和242、系数获取单元244、预测计算单元245和分类单元591。
因此，图55中的图像转换装置581与图41中的图像转换装置481的共同之处在于，图像转换装置581包括抽头选择单元241和242、系数获取单元244和预测计算单元245。
然而，图55中的图像转换装置581与图41的图像转换装置481的不同之处在于，图像转换装置581包括分类单元591来替代分类单元491。
来自可逆解码单元202(图53)的作为滤波信息的缩减类的抽头系数(等同于普通类的数量与附加类的数量的乘积的数量的类的抽头系数)被提供给系数获取单元244并被存储在其中。
此外，来自可逆解码单元202(图53)的作为滤波信息的附加类和转换表被提供给分类单元591。
此外，来自可逆解码单元202的编码信息被提供给分类单元591，并且从抽头选择单元242向分类单元591提供类抽头。
与图41中的分类单元491类似，分类单元591使用类抽头和编码信息来执行分类以获得作为目标像素的第一类的普通类。
此外，与图41中的分类单元491类似，分类单元591从来自可逆解码单元202(图53)的作为滤波信息的附加类中获取作为目标像素的第二类的附加类。
然后，如图41中的分类单元491那样，分类单元591根据普通类和附加类生成目标像素的最终类。
分类单元591进一步根据来自可逆解码单元202(图53)的作为滤波信息的转换表将目标像素的最终类转换为缩减类，并将该缩减类提供给系数获取单元244。
系数获取单元244从来自可逆解码单元202的作为滤波信息的缩减类的抽头系数中获取来自分类单元591的目标像素的缩减类的抽头系数，并将该抽头系数提供给预测计算单元245。
图56是示出图55中的分类单元591的配置示例的框图。
注意，在图56中，对于与图42中的分类单元491对应的部分设置相同的附图标记，并且将适当地省略描述。
在图56中，分类单元591包括第一分类单元501、类代码生成单元502和类缩减单元601。
因此，图56中的分类单元591与图42中的分类单元491的共同之处在于，分类单元591包括第一分类单元501和类代码生成单元502。
然而，分类单元591与分类单元491的不同之处在于，分类单元591另外还包括类缩减单元601。
由类代码生成单元502生成的目标像素的最终类和包括在来自可逆解码单元202(图53)的滤波信息中的转换表被提供给类缩减单元601。
类缩减单元601根据来自可逆解码单元202的转换表将来自类代码生成单元502的目标像素的最终类转换为缩减类，并将该缩减类提供给系数获取单元244(图55)。
<解码处理>
图57是描述图53中的解码装置12的解码处理的示例的流程图。
在步骤S261至S273中，图53中的解码装置12执行分别与图43中的步骤S161至S173类似的处理。
然而，尽管如图43的步骤S162中那样，在步骤S262中可逆解码单元202对编码数据进行解码、将通过解码获得的量化系数提供给逆量化单元203并且将通过对编码数据进行解码而获得的编码信息和滤波信息提供给帧内预测单元212、运动预测补偿单元213、自适应分类滤波器571和其他必要的块，但是提供给自适应分类滤波器571的滤波信息还可以包括作为第二类的附加类、每个缩减类的抽头系数和转换表。
此外，尽管如图43的步骤S170中那样，在步骤S270中自适应分类滤波器571将自适应分类处理作为ILF处理应用于来自计算单元205的正被解码图像，但是在自适应分类处理中，根据通过使用类抽头和编码信息进行分类获得的普通类并且根据来自可逆解码单元202(图53)的作为滤波信息的附加类生成的最终类被根据来自可逆解码单元202的作为滤波信息的转换表转换为缩减类。
图58是描述在图57的步骤S270中执行的自适应分类处理的示例的流程图。
在步骤S281至S287中，自适应分类滤波器571的图像转换装置581(图55)执行分别与图44中的步骤S181至S187类似的处理。
然而，在步骤S283中对目标像素的分类中，分类单元591(图56)根据从可逆解码单元202(图53)提供的作为滤波信息的目标像素的附加类来生成目标像素的最终像素，并且然后将该最终类转换为缩减类。
即，在分类中，在步骤S291至S294中分别执行与图44中的步骤S191至S194类似的处理。因此，分类单元591(图56)的类代码生成单元502根据来自第一分类单元451的普通类和来自可逆解码单元202(图53)的作为滤波信息的附加类生成目标像素的最终类，并将该最终类提供给类缩减单元601。
随后，处理从步骤S294进行到步骤S295，并且类缩减单元601根据来自可逆解码单元202(图53)的转换表将来自类代码生成单元502的目标像素的最终类转换为缩减类。
然后，类缩减单元601将缩减类提供给图像转换装置581(图55)的系数获取单元244，并且结束步骤S283中的分类。
以这种方式，与仅采用普通类的情况相比，在采用根据普通类和附加类生成的最终类的情况下，类的数量增加，并且这增加了编码数据的开销。然而，通过将最终类转换(缩减)为缩减类，可以抑制编码数据的开销的增加。
<使用分类系数的分类>
图59是描述对分类系数的学习的概述的图。
在根据类抽头获得图像特征值(例如ADRC代码)并使用该图像特征值对目标像素进行分类的情况下，可以不执行分类以便改善在自适应分类处理中获得的第二图像的S/N。
在另一方面，在使用分类系数的分类中，执行分类以便进一步改善在自适应分类处理中获得的第二图像的S/N。
分类系数是与抽头系数一起通过用于最小化统计误差的学习而获得的。
图59示出了对分类系数的学习的概述。
可以说，分类系数是被分层地学习的。第一层将被称为第0层。
在对每层的学习中，获得用于将目标像素子分类为多个子类之一的分类系数。
现在，假设在子分类中目标像素被分类为例如两个子类0和1中的一个，则在对第n层的学习中获得2n个类(片段)的分类系数cc(n,k)(分类系数集)(k＝0,1,......,2n-1)。
此处，尽管分类系数是与抽头系数一起通过用于最小化统计误差的学习而获得的，但是此处为了简化描述将仅集中于对分类系数的学习。
现在，假设类抽头包括M个像素(像素的像素值)，并且将用xm表示这M个像素的第n个像素的像素值。
此外，假设一个类(片段)的分类系数(分类系数集)包括与类抽头的像素数量M相同数量的系数，并且将用wm表示一个类的分类系数中的第m个系数(分类系数)。
此外，将用y表示在对作为学生数据的学生图像的自适应分类处理中获得的作为教师数据的教师图像中的像素的像素值的预测值的预测误差的预测值(在下文中也被称为预测误差预测值)。
此外，假设预测误差预测值y是通过例如下述预定计算获得的，例如由使用类抽头xm和分类系数wm的线性一阶方程y＝w1x1+w2x2+……+wMxM表示的积和计算。此处，例如，表示预定计算的方程y＝w1x1+w2x2+……+wMxM也将被称为预测误差预测方程。
在分类系数的学习中，首先执行对第0层的学习。
例如，在第0层的学习中，学生图像的所有像素被设定为第0层的像素组(0,0)，并且像素组(0,0)的每个像素的像素值被设定为学生数据。在对像素组(0,0)的每个像素的自适应分类处理中获得的与像素组(0,0)的每个像素对应的教师图像的像素的预测值的预测误差被设定为教师数据。获得统计意义上最小化预测误差预测值y的预测误差的分类系数wm(分类系数集)作为第0层的分类系数cc(0,0)。
此外，第0层的分类系数cc(0,0)被用于第0层的像素组(0,0)的每个像素，以根据预测误差预测方程获得预测误差预测值y。
此外，例如，在第0层的像素组(0,0)的像素中预测误差预测值y等于或大于0的像素被子分类为子类0。此外，例如，在第0层的像素组(0,0)的像素中预测误差预测值y小于0的像素被子分类为子类1，并且对第0层的学习结束。
注意，在子分类的另一示例中，预测误差预测值y的绝对值小于阈值的像素可以被分类为子类0，并且预测误差预测值y的绝对值等于或大于阈值的像素可以被分类为子类1。
此外，在子分类中，可以根据像素的预测误差预测值y的绝对值将像素分类为三个或更多个子类中的一个子类。
此处，第0层的像素组(0,0)中包括被子分类为子类0的像素的像素组将被称为像素组(0,0,0)，并且包括被子分类为子类1的像素的像素组将被称为像素组(0,0,1)。
此外，像素组(n,k,s)表示在第n层的像素组(n,k)中通过使用第n层的分类系数cc(n,k)的子分类而被分类为子类s的像素组。
像素组(n,k)表示第n层的第(k+1)像素组。此处，k取2n个值：0,1,......,2n-1，并且因此，(在子分类之前)在第n层有2n个像素组(n,k)。
在对第0层的学习结束之后，根据需要执行对下一层(即第一层)的学习。
在对第一层的学习中，通过对第0层的学习中的子分类获得的21个像素组(0,0,0)和(0,0,1)被设定为第一层的2n个像素组(n,k)，即，第一层的21个像素组(1,0)和(1,1)，并且执行与对第0层的学习类似的处理。
即，对于第一层的第一像素组(1,0)，像素组(1,0)被设定为学生数据，并且在针对像素组(1,0)的每个像素的自适应分类处理中获得的与像素组(1,0)的每个像素对应的教师图像中的像素的像素值的预测值的预测误差被设定为教师数据。获得统计意义上最小化预测误差预测值y的预测误差的分类系数wm作为第一层的第一(类)分类系数cc(1,0)。
此外，对于第一层的像素组(1,0)的每个像素，第一层的分类系数cc(1,0)用于根据预测误差预测方程获得预测误差预测值y。
此外，在第一层的像素组(1,0)的像素中预测误差预测值y等于或大于0的像素被子分类为子类0的像素组(1,0,0)，并且预测误差预测值y小于0的像素被子分类为子类1的像素组(1,0,1)。
类似地，对于第一层的第二像素组(1,1)，像素组(1,1)被设定为学生数据，并且在针对像素组(1,1)的每个像素的自适应分类处理中获得的与像素组(1,1)的每个像素对应的教师图像中的像素的像素值的预测值的预测误差被设定为教师数据。获得统计意义上最小化预测误差预测值y的预测误差的分类系数wm作为第一层的第二(类)分类系数cc(1,1)。
此外，对于第一层的像素组(1,1)的每个像素，第一层的分类系数cc(1,1)用于根据预测误差预测方程获得预测误差预测值y。
此外，在第一层的像素组(1,1)的像素中预测误差预测值y等于或大于0的像素被子分类为子类0的像素组(1,1,0)，并且预测误差预测值y小于0的像素被子分类为子类1的像素组(1,1,1)。
在对第一层的学习结束之后，根据需要执行对下一层(即第二层)的学习。
在对第二层的学习中，通过对第一层的学习中的子分类获得的22个像素组(1,0,0)、(1,0,1)、(1,1,0)和(1,1,1)被设定为第二层的2n个像素组(n,k)，即，第二层的22个像素组(2,0)、(2,1)、(2,2)和(2,3)，并且执行与对第0层的学习类似的处理。
即，对于第二层的第一像素组(2,0)，像素组(2,0)被设定为学生数据，并且在针对像素组(2,0)的每个像素的自适应分类处理中获得的与像素组(2,0)的每个像素对应的教师图像中的像素的像素值的预测值的预测误差被设定为教师数据。获得统计意义上最小化预测误差预测值y的预测误差的分类系数wm作为第一层的第一(类)分类系数cc(2,0)。
此外，对于第二层的像素组(2,0)的每个像素，第二层的分类系数cc(2,0)用于根据预测误差预测方程获得预测误差预测值y。
此外，在第二层的像素组(2,0)的像素中预测误差预测值y等于或大于0的像素被子分类为子类0的像素组(2,0,0)，并且预测误差预测值y小于0的像素被子分类为子类1的像素组(2,0,1)。
类似地，对于第二层的第二像素组(2,1)，像素组(2,1)被设定为学生数据，并且在针对像素组(2,1)的每个像素的自适应分类处理中获得的与像素组(2,1)的每个像素对应的教师图像中的像素的像素值的预测值的预测误差被设定为教师数据。获得统计意义上最小化预测误差预测值y的预测误差的分类系数wm作为第二层的第二分类系数cc(2,1)。
此外，对于第二层的像素组(2,1)的每个像素，第二层的分类系数cc(2,1)用于根据预测误差预测方程获得预测误差预测值y。
此外，在第二层的像素组(2,1)的像素中预测误差预测值y等于或大于0的像素被子分类为子类0的像素组(2,1,0)，并且预测误差预测值y小于0的像素被子分类为子类1的像素组(2,1,1)。
类似地，对于第二层的第三像素组(2,2)，像素组(2,2)被设定为学生数据，并且在针对像素组(2,2)的每个像素的自适应分类处理中获得的与像素组(2,2)的每个像素对应的教师图像中的像素的像素值的预测值的预测误差被设定为教师数据。获得统计意义上最小化预测误差预测值y的预测误差的分类系数wm作为第二层的第三分类系数cc(2,2)。
此外，对于第二层的像素组(2,2)的每个像素，第二层的分类系数cc(2,2)用于根据预测误差预测方程获得预测误差预测值y。
此外，在第二层的像素组(2,2)的像素中预测误差预测值y等于或大于0的像素被子分类为子类0的像素组(2,2,0)，并且预测误差预测值y小于0的像素被子分类为子类1的像素组(2,2,1)。
类似地，对于第二层的第四像素组(2,3)，像素组(2,3)被设定为学生数据，并且在针对像素组(2,3)的每个像素的自适应分类处理中获得的与像素组(2,3)的每个像素对应的教师图像中的像素的像素值的预测值的预测误差被设定为教师数据。获得统计意义上最小化预测误差预测值y的预测误差的分类系数wm作为第二层的第四分类系数cc(2,3)。
此外，对于第二层的像素组(2,3)的每个像素，第二层的分类系数cc(2,3)用于根据预测误差预测方程获得预测误差预测值y。
此外，在第二层的像素组(2,3)的像素中预测误差预测值y等于或大于0的像素被子分类为子类0的像素组(2,3,0)，并且预测误差预测值y小于0的像素被子分类为子类1的像素组(2,3,1)。
在对第二层的学习结束之后，根据需要执行对下一层(即第三层)的学习。
在对第三层的学习中，通过对第二层的学习中的子分类获得的23个像素组(2,0,0)、(2,0,1)、(2,1,0)、(2,1,1)、(2,2,0)、(2,2,1)、(2,3,0)和(2,3,1)被设定为第三层的2n个像素组(n,k)，即，第三层的23个像素组(3,0)、(3,1)、(3,2)、(3,3)、(3,4)、(3,5)、(3,6)和(3,7)，并且执行与对第0层的学习类似的处理。
此后，类似地执行学习直到必要的层。
在执行对分类系数的学习直到第L层的学习的情况下，获得下述分类系数：从第0层的20个分类系数cc(2,0)到第L层的2L个分类系数cc(L,0)、cc(L,1)、......cc(L,2L-1)。
此处，第n层的第(k+1)个像素组(n,k)也将被称为第n层的类k的像素组(n,k)，并且第n层的分类系数cc(n,k)也将被称为第n层的类k的分类系数cc(n,k)。
在分类系数的学习中，在对第n层的学习中使用第n层的类k的分类系数cc(n,k)来根据预测误差预测方程执行对第n层的类k的像素组(n,k)的子分类，并且第n层的类k的像素组(n,k)被分类为子类0的像素组和子类1的像素组。
此外，在学习下一个第(n+1)层时，第n层的类k的像素组(n,k)中的子类0的像素组被设定为第(n+1)层的类k1的像素组(n+1,k1)，并且子类1的像素组被设定为第(n+1)层的另一类k2的像素组(n+1,k2)。
此外，通过使用第(n+1)层的类k1的分类系数cc(n+1,k1)来执行对第(n+1)层的类k1的像素组(n+1,k1)的子分类，并且通过使用第(n+1)层的类k2的分类系数cc(n+1,k2)来执行对第(n+1)层的类k2的像素组(n+1,k2)的子分类。
类似地，递归地重复该子分类，并且获得从第0层到任意层的分类系数。
图60是描述使用分类系数的分类的概述的图。
如对分类系数的学习那样分层地执行使用分类系数的分类。
即，在使用分类系数的分类中，首先执行对第0层的子分类。
在对第0层的子分类中，第0层的分类系数cc(0,0)用于获得关于目标像素的预测误差预测值y。
此外，在目标像素的预测误差预测值y等于或大于0的情况下，目标像素被子分类为第0层的子类0。此外，在目标像素的预测误差预测值y小于0的情况下，目标像素被子分类为第0层的子类1。
被子分类为第0层中的子类0或子类1的目标像素变为下一层即第一层的类的像素。
在目标像素在第0层中被子分类的情况下，通过除了考虑目标像素的第0层的类之外还考虑目标像素的第0层的子类来决定目标像素的第一层的类。
在第0层中不存在类，并且目标像素的第一层的类是根据目标像素的第0层的子类决定的。
即，在目标像素被子分类为第0层中的子类0的情况下，目标像素的第一层的类例如根据子类0被决定为类0。
此外，在目标像素被子分类为第0层中的子类1的情况下，目标像素的第一层的类例如根据子类1被决定为类1。
此处，假设类k表示具有类代码k的类。
在对第0层的子分类结束之后，在存在下一层即存在第一层的分类系数cc(1,0)和cc(1,1)的情况下执行对第一层的子分类。
在对第一层的子分类中，在第一层的分类系数cc(1,0)和cc(1,1)中使用目标像素的第一层的类k的分类系数cc(1,k)。
因此，在目标像素的第一层的类k是类0的情况下，使用第一层的分类系数cc(1,0)来获得目标像素的预测误差预测值y。此外，在目标像素的第一层的类k是类1的情况下，使用第一层的分类系数cc(1,1)来获得目标像素的预测误差预测值y。
此外，在目标像素的预测误差预测值y等于或大于0的情况下，目标像素被子分类为第一层的子类0。此外，在目标像素的预测误差预测值y小于0的情况下，目标像素被子分类为第一层的子类1。
被子分类为第一层中的子类0或子类1的目标像素变为下一层即第二层的类的像素。
在目标像素在第一层中被子分类的情况下，通过除了考虑目标像素的第一层的类之外还考虑目标像素的第一层的子类来决定目标像素的第二层的类。
例如，在目标像素的第一层的类k是类0的情况下，通过除了考虑第一层的类0之外还考虑目标像素的第一层的子类来决定目标像素的第二层的类。
即，在目标像素被子分类为第一层中的子类0的情况下，通过将目标像素的第一层的子类0添加到目标像素的第一层的类0的较低位来将目标像素的第二层的类决定为类002＝0。此处，下标2指示紧接在该下标之前的数值是二进制数。
此外，在目标像素被子分类为第一层中的子类1的情况下，通过将目标像素的第一层的子类1添加到目标像素的第一层的类0的较低位来将目标像素的第二层的类决定为类012＝1。
在另一方面，在目标像素的第一层的类k是类1的情况下，通过除了考虑第一层的类1之外还考虑目标像素的第一层的子类来决定目标像素的第二层的类。
即，在目标像素被子分类为第一层中的子类0的情况下，通过将目标像素的第一层的子类0添加到目标像素的第一层的类1的较低位来将目标像素的第二层的类决定为类102＝2。
此外，在目标像素被子分类为第一层中的子类1的情况下，通过将目标像素的第一层的子类1添加到目标像素的第一层的类1的较低位来将目标像素的第二层的类决定为类112＝3。
在对第一层的子分类结束之后，在存在下一层即存在第二层的分类系数cc(2,0)、cc(2,1)、cc(2,2)和cc(2,3)的情况下执行对第二层的子分类。
在对第二层的子分类中，在第二层的分类系数cc(2,0)至cc(2,3)中使用目标像素的第二层的类k的分类系数cc(2,k)。
因此，例如，在目标像素的第二层的类k是类0＝002的情况下，使用第二层的分类系数cc(2,0)来获得目标像素的预测误差预测值y。
此外，在目标像素的预测误差预测值y等于或大于0的情况下，目标像素被子分类为第二层的子类0。此外，在目标像素的预测误差预测值y小于0的情况下，目标像素被子分类为第二层的子类1。
被子分类为第二层中的子类0或子类1的目标像素变为下一层即第三层的类的像素。
在目标像素在第二层中被子分类的情况下，通过除了考虑目标像素的第二层的类之外还考虑目标像素的第二层的子类来决定目标像素的第三层的类。
在这种情况下，目标像素的第二层的类k是类0＝002，并且通过除了考虑第二层的类0＝002之外还考虑目标像素的第二层的子类来决定目标像素的第三层的类。
即，在目标像素被子分类为第二层中的子类0的情况下，通过将目标像素的第二层的子类0添加到目标像素的第二层的类0＝002的较低位来将目标像素的第三层的类决定为类0002＝0。
此外，在目标像素被子分类为第二层中的子类1的情况下，通过将目标像素的第二层的子类1添加到目标像素的第二层的类0＝002的较低位来将目标像素的第三层的类决定为类0012＝1。
在目标像素的第二层的类k是类1＝012的情况下，使用第二层的分类系数cc(2,1)来获得目标像素的预测误差预测值y。
此外，在目标像素的预测误差预测值y等于或大于0的情况下，目标像素被子分类为第二层的子类0。此外，在目标像素的预测误差预测值y小于0的情况下，目标像素被子分类为第二层的子类1。
被子分类为第二层中的子类0或子类1的目标像素变为下一层即第三层的类的像素。
在目标像素在第二层中被子分类的情况下，通过除了考虑目标像素的第二层的类之外还考虑目标像素的第二层的子类来决定目标像素的第三层的类。
在这种情况下，目标像素的第二层的类k是类1＝012，并且通过除了考虑第二层的类1＝012之外还考虑目标像素的第二层的子类来决定目标像素的第三层的类。
即，在目标像素被子分类为第二层中的子类0的情况下，通过将目标像素的第二层的子类0添加到目标像素的第二层的类1＝012的较低位来将目标像素的第三层的类决定为类0102＝2。
此外，在目标像素被子分类为第二层中的子类1的情况下，通过将目标像素的第二层的子类1添加到目标像素的第二层的类1＝012的较低位来将目标像素的第三层的类决定为类0112＝3。
在目标像素的第二层的类k是类2＝102的情况下，使用第二层的分类系数cc(2,2)来获得目标像素的预测误差预测值y。
此外，在目标像素的预测误差预测值y等于或大于0的情况下，目标像素被子分类为第二层的子类0。此外，在目标像素的预测误差预测值y小于0的情况下，目标像素被子分类为第二层的子类1。
被子分类为第二层中的子类0或子类1的目标像素变为下一层即第三层的类的像素。
在目标像素在第二层中被子分类的情况下，通过除了考虑目标像素的第二层的类之外还考虑目标像素的第二层的子类来决定目标像素的第三层的类。
在这种情况下，目标像素的第二层的类k是类2＝102，并且通过除了考虑第二层的类2＝102之外还考虑目标像素的第二层的子类来决定目标像素的第三层的类。
即，在目标像素被子分类为第二层中的子类0的情况下，通过将目标像素的第二层的子类0添加到目标像素的第二层的类2＝102的较低位来将目标像素的第三层的类决定为类1002＝4。
此外，在目标像素被子分类为第二层中的子类1的情况下，通过将目标像素的第二层的子类1添加到目标像素的第二层的类2＝102的较低位来将目标像素的第三层的类决定为类1012＝5。
在目标像素的第二层的类k是类3＝112的情况下，使用第二层的分类系数cc(2,3)来获得目标像素的预测误差预测值y。
此外，在目标像素的预测误差预测值y等于或大于0的情况下，目标像素被子分类为第二层的子类0。此外，在目标像素的预测误差预测值y小于0的情况下，目标像素被子分类为第二层的子类1。
被子分类为第二层中的子类0或子类1的目标像素变为下一层即第三层的类的像素。
在目标像素在第二层中被子分类的情况下，通过除了考虑目标像素的第二层的类之外还考虑目标像素的第二层的子类来决定目标像素的第三层的类。
在这种情况下，目标像素的第二层的类k是类3＝112，并且通过除了考虑第二层的类3＝112之外还考虑目标像素的第二层的子类来决定目标像素的第三层的类。
即，在目标像素被子分类为第二层中的子类0的情况下，通过将目标像素的第二层的子类0添加到目标像素的第二层的类3＝112的较低位来将目标像素的第三层的类决定为类1102＝6。
此外，在目标像素被子分类为第二层中的子类1的情况下，通过将目标像素的第二层的子类1添加到目标像素的第二层的类3＝1122的较低位来将目标像素的第三层的类决定为类1112＝7。
此后，顺序地执行对每个层的子分类直到没有分类系数cc(n,k)的层为止。
注意，对分类系数的学习和使用分类系数的分类在例如日本专利第5347862号中有描述。
<学习分类系数的学习装置>
图61是示出学习分类系数的学习装置的配置示例的框图。
图61中的学习装置通过学习以使统计误差最小化来获得分类系数以及抽头系数。
在图61中，学习装置包括：抽头系数学习单元701、抽头系数设置单元702、子类教师数据生成单元703、分类系数学习单元704、分类系数设置单元705、子类预测单元706、子分类单元707、类决定单元708、像素预测单元709和结束条件确定单元710。
提供给抽头系数学习单元701的学生数据的示例包括与正被解码图像等同的学生图像，并且提供给抽头系数学习单元701的教师数据的示例包括与原始图像等同的教师图像。
此外，从类决定单元708向抽头系数学习单元701提供学生图像的每个像素的第n层的类k。
对于来自类决定单元708的第n层的每个类k，抽头系数学习单元701通过使用学生图像的第n层的类k的像素组(n,k)和与像素组(n,k)对应的教师图像的像素组来执行用于获得第n层的类k的抽头系数tc(n,k)(抽头系数组)的抽头系数学习。
然后，抽头系数学习单元701向抽头系数设置单元702提供通过抽头系数学习获得的第n层的类k的抽头系数tc(n,k)(k＝0,1,......,2n-1)。
抽头系数设置单元702存储来自抽头系数学习单元701的第n层的类k的抽头系数tc(n,k)(k＝0,1,......,2n-1)，即第n层的2n个类(片段)的抽头系数tc(n,k)，并且在像素预测单元709中设置抽头系数tc(n,k)。
抽头系数设置单元702还根据结束条件确定单元710的控制向外部输出所存储的第n层的2n个类的抽头系数tc(n,k)。
教师图像被提供给子类教师数据生成单元703。此外，从像素预测单元709向子类教师数据生成单元703提供通过使用学生图像和第n层的2n个类的抽头系数tc(n,k)的自适应分类处理获得的预测教师图像的像素的像素值的预测值(下文中，也称为像素预测值)。
子类教师数据生成单元703根据教师图像和来自像素预测单元709的像素预测值生成子类教师数据，并且向分类系数学习单元704提供子类教师数据。
在此，子类教师数据是关于学生图像的像素的子类的信息，并且是分类系数学习单元704中的分类系数学习的教师数据。
可以采用的子类教师数据的示例包括从像素预测单元709提供给子类教师数据生成单元703的像素预测值相对于教师图像的像素的像素值的预测误差。
从子类教师数据生成单元703向分类系数学习单元704提供子类教师数据以及学生图像。
分类系数学习单元704将作为子类教师数据的像素预测值的预测误差设置成教师数据，并且将学生图像的像素中的第n层的类k的像素组(n,k)设置成学生数据。分类系数学习单元704执行分类系数学习，以获得如图59所述的第n层的类k的分类系数cc(n,k)。
即，分类系数学习单元704将第n层的类k的学生图像的像素组(n,k)设置成学生图像，并且将与像素组(n,k)的像素对应的教师图像的像素的像素预测值的预测误差(子类教师数据)设置成教师数据。分类系数学习单元704获得由预测误差预测方程y＝w1x1+w2x2+......+wMxM表示的分类系数wm作为第n层的类k的分类系数cc(n,k)，该预测误差预测方程在统计上使像素预测值的预测误差预测值y的预测误差最小化。如抽头系数学习中那样，在统计上使预测误差预测值y的预测误差最小化的第n层的类k的分类系数cc(n,k)可以通过例如最小二乘法来获得。
一旦分类系数学习单元704通过分类系数学习获得第n层的2n个类的分类系数cc(n,k)，分类系数学习单元704就向分类系数设置单元705提供第n层的2n个类的分类系数cc(n,k)。
分类系数设置单元705存储来自分类系数学习单元704的第n层的2n个类的分类系数cc(n,k)，并且在子类预测单元706中设置分类系数cc(n,k)。
分类系数设置单元705还根据结束条件确定单元710的控制输出所存储的从第0层到第n层的分类系数cc(0,k)、cc(1,k)、……、cc(n,k)。
学生图像被提供给子类预测单元706。
对于学生图像的像素组中的第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)的每个像素，子类预测单元706使用来自分类系数设置单元705的第n层的类k的分类系数cc(n,k)＝{wm}以根据预测误差预测方程y＝w1x1+w2x2+......+wMxM执行预测计算，以获得像素预测值的预测误差预测值y作为子类预测值。
在此，子类预测值是预测作为关于第n层的类k的像素组(n,k)的像素的子类的信息的子类教师数据的预测值。
子类预测单元706向子分类单元707提供子类预测值。
子分类单元707根据来自子类预测单元706的子类预测值来对第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)的每个像素进行子分类。
即，例如，具有等于或大于0的子类预测值(预测误差预测值y)的像素被子分类为子类0，并且具有小于0的子类预测值的像素被子分类为子类1。
子分类单元707向类决定单元708提供第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)的每个像素的子类。
类决定单元708通过除了考虑第n层的类k还考虑来自子分类单元707的第n层的子类来如图60所述决定第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)的每个像素的第(n+1)层的类k'。
类决定单元708以允许识别属于第(n+1)层的类k'的学生图像的像素的形式向抽头系数学习单元701和像素预测单元709提供针对第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)的每个像素决定的第(n+1)层的类k'。
与正被解码图像等同的学生图像被提供给像素预测单元709。
对于来自类决定单元708的第n层的每个类k(k＝0,1,......,2n-1)，像素预测单元709将学生图像的第n层的类k的像素组(n,k)的每个像素设置成目标像素，并且执行以下自适应分类处理(在自适应分类处理中的式(1)的预测计算)：通过使用来自抽头系数设置单元702的第n层的类k的抽头系数tc(n,k)来获得与目标像素对应的教师图像的像素的像素值的像素预测值。
然后，像素预测单元709向子类教师数据生成单元703提供在自适应分类处理中获得的每个像素的像素预测值。
结束条件确定单元710确定是否满足学习的结束条件，并且在满足学习的结束条件的情况下通过学习装置结束对抽头系数tc(n,k)和分类系数cc(n,k)的学习。结束条件确定单元710还控制抽头系数设置单元702和分类系数设置单元705，以向外部输出抽头系数设置单元702中存储的第n层的2n个类的抽头系数tc(n,k)并且向外部输出分类系数设置单元705中存储的从第0层到第(n-1)层的分类系数cc(0,k)、cc(1,k)、......、cc(n-1,k)。
注意，抽头系数设置单元702和分类系数设置单元705可以被包括在一个块中。
图62是描述由图61的学习装置执行的学习处理的示例的流程图。61。
在步骤S311中，结束条件确定单元710将层(指示层的变量)n设置成诸如0的初始值。
随后，处理从步骤S311进行到步骤S312，并且对于来自类决定单元708的第n层的每个类k，抽头系数学习单元701使用学生图像的第n层的类k的像素组(n,k)和与像素组(n,k)对应的教师图像的像素组来执行用于获得第n层的类k的抽头系数tc(n,k)的抽头系数学习。
然后，抽头系数学习单元701在抽头系数设置单元702中提供和存储通过抽头系数学习获得的第n层的2n个类的抽头系数tc(n,k)(k＝0,1,......,2n-1)，并且处理从步骤S312进行到步骤S313。
注意，在步骤S312的抽头系数学习中，学生图像的所有像素被视为第0层(n＝0)的一个类(例如类0)的像素，并且获得1＝20个片段(类)的抽头系数tc(0,0)(抽头系数集)。
在步骤S313中，结束条件确定单元710确定是否满足学习的结束条件。
在此，可以采用的学习的结束条件的示例包括层n是最后一层N。最后一层N是用于获得抽头系数tc(n,k)的最终层，并且最后一层N例如可以被预先设置。
可以采用的学习的结束条件的另一示例包括：包括在像素预测单元709的自适应分类处理中获得的像素预测值的图像的S/N的增加量等于或小于阈值。
如果结束条件确定单元710在步骤S313中确定不满足学习的结束条件，则处理进行到步骤S314，并且此后执行第n层的学习。
即，在步骤S314中，抽头系数设置单元702在像素预测单元709中设置所存储的第n层的2n个类的抽头系数tc(n,k)。
对于来自类决定单元708的第n层的每个类k(k＝0,1,......,2n-1)，像素预测单元709将学生图像的第n层的类k的像素组(n,k)的每个像素设置成目标像素，并且执行以下自适应分类处理(在自适应分类处理中的式(1)的预测计算)：通过使用来自抽头系数设置单元702的第n层的类k的抽头系数tc(n,k)来获得与目标像素对应的教师图像的像素的像素值的像素预测值。
然后，像素预测单元709向子类教师数据生成单元703提供在自适应分类处理中获得的像素预测值，并且处理从步骤S314进行到步骤S315。
注意，在步骤S314的自适应分类处理中，学生图像的所有像素被设置成第0层(n＝0)的一个类(例如类0)的像素，并且在前一步骤S312中获得的1＝20个片段(类)的抽头系数tc(0,0)被用于获得与作为一个类的像素的学生图像的像素对应的教师图像的像素的像素值的像素预测值。
在步骤S315中，子类教师数据生成单元703使用教师图像和来自像素预测单元709的像素的像素预测值来获得(生成)像素预测值相对于教师图像的对应像素的像素值的预测误差作为子类教师数据。
然后，子类教师数据生成单元703向分类系数学习单元704提供子类教师数据，并且处理从步骤S315进行到步骤S316。
在步骤S316中，分类系数学习单元704将来自子类教师数据生成单元703的作为子类教师数据的像素预测值的预测误差设置成教师数据，并且将学生图像的像素中的第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)设置成学生数据。分类学习单元704执行分类系数学习，以针对第n层的每个类k获得用于如图59中所描述的分类的第n层的类k的分类系数cc(n,k)。
一旦分类系数学习单元704通过第n层的每个类k的分类系数学习获得第n层的2n个类的分类系数cc(n,k)，分类系数学习单元704就在分类系数设置单元705中提供并存储第n层的2n个类的分类系数cc(n,k)。
分类系数设置单元705存储来自分类系数学习单元704的第n层的2n个类的分类系数cc(n,k)，并且在子类预测单元706中设置分类系数cc(n,k)。处理从步骤S316进行到步骤S317。
在步骤S317中，对于学生图像的像素组中的第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)的每个像素，子类预测单元706使用来自分类系数设置单元705的第n层的类k的分类系数cc(n,k)＝{wm}，以根据预测误差预测方程y＝w1x1+w2x2+......+wMxM执行预测计算，从而获得像素预测值的预测误差预测值y作为子类预测值。子类预测单元706向子分类单元707提供子类预测值。
子分类单元707根据来自子类预测单元706的子类预测值，对第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)的每个像素进行子分类。
即，子分类单元707将具有等于或大于0的子类预测值(预测误差预测值y)的像素子分类为子类0，并且将具有小于0的预测误差预测值y的像素子分类为子类1。
作为子分类的结果，第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)被分类为第n层的子类0的像素组(n,k,0)和子类1的像素组(n,k,1)。
子分类单元707向类决定单元708提供第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)的每个像素的子类。
类决定单元708通过除了考虑第n层的类k之外还考虑来自子分类单元707的第n层的子类来决定如图60描述的第n层的类k的像素组(n,k)(k＝0,1,......,2n-1)的每个像素的第(n+1)层的类k'。
注意，在步骤S317中，针对第0层(n＝0)的像素组(0,0)，根据第0层的子类决定第一层的类。
即，在第0层中，被子分类为子类0的像素的第一层的类根据子类0被决定为类0，并且被子分类为子类1的像素的第一层的类根据子类1被决定为类1。
一旦类决定单元708在第n层的每个类k中针对第n层的类k的像素组(n,k)的每个像素决定第(n+1)层的类k'，类决定单元708就以允许识别属于第(n+1)层的类k'的学生图像的像素的形式向抽头系数学习单元701和像素预测单元709提供学生图像的每个像素的第(n+1)层的类k'。处理从步骤S317进行到步骤S318。
在步骤S318中，结束条件确定单元710将层n递增1，并且处理返回到步骤S312。
在步骤S312中，在步骤S318中递增层n之后，对于来自类决定单元708的第n层的每个类k，抽头系数学习单元701使用学生图像的第n层的类k的像素组(n,k)和与像素组(n,k)对应的教师图像的像素组来执行用于获得如上所述的第n层的类k的抽头系数tc(n,k)的抽头系数学习。
然后，抽头系数学习单元701在抽头系数设置单元702中提供并且存储通过抽头系数学习获得的第n层的2n个类的抽头系数tc(n,k)(k＝0,1,......,2n-1)，并且处理从步骤S312进行到步骤S313。
在此，从步骤S314开始的作为特定层的第L层的学习从步骤S318返回到步骤S312，并且一旦获得第(L+1)层的2L+1个类的抽头系数tc(L+1,k)(k＝0,1,......,2L+1-1)，则学习结束。
从步骤S314中的开始到从步骤S318返回到步骤S312的处理是一层的学习。
如果结束条件确定单元710在步骤S313中确定满足学习的结束条件，则处理进行到步骤S319。结束条件设置单元710控制抽头系数设置单元702和分类系数设置单元705，以向外部输出抽头系数设置单元702中存储的抽头系数tc(n,k)和分类系数设置单元705中存储的分类系数cc(n,k)。学习处理结束。
即，现在假设第(N-1)层的学习结束，并且层n是最后一层N。
在这种情况下，抽头系数设置单元702根据结束条件确定单元710的控制，向外部输出所存储的第N层的2N个类的抽头系数tc(N,k)(k＝0,1,......,2N-1)。
分类系数设置单元705还根据结束条件确定单元710的控制向外部输出所存储的从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数。
<使用分类中的分类系数执行自适应分类处理的图像转换装置>
图63是示出使用分类中的分类系数执行自适应分类处理的图像转换装置的配置示例的框图。
注意，在图63中，对与图2的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图63中，图像转换装置包括抽头选择单元21和抽头选择单元22、预测计算单元25、分类单元721和系数获取单元722。
因此，图63的图像转换装置与图2的情况的共同之处在于：图像转换装置包括抽头选择单元21和抽头选择单元22以及预测计算单元25。
然而，图63的图像转换装置与图2的情况的不同之处在于：图像转换装置包括分类单元721和系数获取单元722，分别替代分类单元23和系数获取单元24。
从抽头选择单元22向分类单元721提供类抽头。
分类单元721存储由图61的学习装置获得的从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数。
分类单元721根据需要使用来自抽头选择单元22的类抽头并且使用从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数来对目标像素进行分类。分类单元721向系数获取单元722提供通过分类获得的目标像素的类(第N层的类)。
系数获取单元722存储由图61的学习装置获得的第N层的2N个类的抽头系数tc(n,k)(k＝0,1,......,2N-1)。
系数获取单元722从存储的从分类单元721提供的第N层的2N个类的抽头系数tc(N,k)(k＝0,1,......,2N-1)中获取从分类单元721提供的目标像素的类k的抽头系数tc(N,k)，并且向预测计算单元25提供抽头系数tc(N,k)。
图64是示出图63的分类单元721的配置示例的框图。
在图64中，分类单元721包括分类系数设置单元731、子类预测单元732、子分类单元733和类决定单元734。
分类系数设置单元731存储由图61的学习装置获得的从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数。
分类系数设置单元731根据从类决定单元734提供的目标像素的第n层的类k在所存储的从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数中获取第n层的类k的分类系数cc(n,k)，并且在子类预测单元732中设置分类系数cc(n,k)。
目标像素的类抽头被提供给子类预测单元732。
子类预测单元732使用目标像素的类抽头中包括的像素的像素值xm和来自分类系数设置单元731的第n层的类k的分类系数cc(n,k)＝{wm}来根据预测误差预测方程y＝w1x1+w2x2+......+wMxM执行预测计算。
作为预测计算的结果，获得与目标像素对应的原始图像的对应像素的像素预测值的预测误差预测值y作为目标像素的子类预测值，并且从子类预测单元732向子分类单元733提供子类预测值。
子分类单元733根据来自子类预测单元732的子类预测值对第n层的类k的目标像素进行子分类。
即，例如，在目标像素的子类预测值(预测误差预测值y)等于或大于0的情况下，第n层的类k的目标值被子分类为子类0。此外，在目标像素的子类预测值小于0的情况下，第n层的类k的目标像素被子分类为子类1。
子分类单元733将第n层的类k的目标像素的子类提供给类决定单元734。
类决定单元734通过除了考虑目标像素的第n层的类k之外还考虑来自子分类单元733的目标像素的第n层的子类来决定如图60描述的目标像素的第(n+1)层的类k'。
然后，类决定单元734向分类系数设置单元731提供目标像素的第(n+1)层的类k'。
在这种情况下，分类系数设置单元731根据从类决定单元734提供的目标像素的第(n+1)层的类k'在所存储的从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数中获取第(n+1)层的类k'的分类系数cc(n+1,k')，并且在子类预测单元732中设置分类系数cc(n+1,k')。
注意，在第(n+1)层是作为最后一层N的第N层的情况下，类决定单元734向系数获取单元722提供目标像素的第N层的类k作为目标像素的分类结果。
图65是描述使用由图64的分类单元721执行的分类系数的分类的处理的示例的流程图。
在步骤S331中，类决定单元734将层(指示层的变量)n设置成初始值例如0，并且处理进行到步骤S332。
在步骤S332中，类决定单元734确定层n是否是最后一层N。
如果类决定单元734在步骤S332中确定层n不是最后一层N，则处理进行到步骤S333，并且获得目标像素的子类预测值。
即，在步骤S333中，分类系数设置单元731根据从类决定单元734提供的目标像素的第n层的类k在子类预测单元732中设置第n层的类k的分类系数cc(n,k)。
注意，对于第0层(n＝0)，分类系数设置单元731在子类预测单元732中设置第0层的分类系数cc(0,0)。
子类预测单元732使用来自抽头选择单元22(图63)的目标像素的类抽头中包括的像素的像素值xm和来自分类系数设置单元731的第n层的类k的分类系数cc(n,k)＝{wm}来根据预测误差预测方程y＝w1x1+w2x2+......+wMxM执行预测计算。
然后，子类预测单元732向子分类单元733提供通过预测计算获得的目标像素的子类预测值，并且处理从步骤S333进行到步骤S334。
在步骤S334中，子分类单元733根据来自子类预测单元732的子类预测值对第n层的类k的目标像素进行子分类。然后，子分类单元733向类决定单元734提供通过子分类获得的目标像素的第n层的子类，并且处理从步骤S334进行到步骤S335。
在步骤S335中，类决定单元734通过除了考虑如图60中描述的目标像素的第n层的类k之外还考虑来自子分类单元733的第n层的子类来决定目标像素的第(n+1)层的类k。
然后，类决定单元734向分类系数设置单元731提供目标像素的第(n+1)层的类k，并且处理从步骤S335进行到步骤S336。
在步骤S336中，类决定单元734将层n递增1，并且处理返回到步骤S332。
此外，如果类决定单元734在步骤S332中确定层n是最后一层N，则处理进行到步骤S337。类决定单元734向系数获取单元722(图63)提供目标像素的第N层的类k作为目标像素的分类结果，并且分类处理结束。
根据使用分类系数的分类，基于像素值的预测误差对像素进行分类。因此，可以执行分类以便进一步改善在自适应分类处理中获得的第二图像的S/N。
<编码装置11的第七配置示例>
图66是示出图1的编码装置11的第七配置示例的框图。
注意，在图66中，对与图9的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图66中，编码装置11包括从A/D转换单元101到计算单元110的部件、从帧存储器112到速率控制单元117的部件、以及自适应分类滤波器811。
因此，图66的编码装置11与图9的情况的共同之处在于：编码装置11包括从A/D转换单元101到计算单元110的部件以及从帧存储器112到速率控制单元117的部件。
然而，图66的编码装置11与图9的情况的不同之处在于：编码装置11包括自适应分类滤波器811，替代自适应分类滤波器111。
自适应分类滤波器811与自适应分类滤波器111的共同之处在于，自适应分类滤波器811是通过自适应分类处理用作ILF即所有的DF、SAO和ALF的滤波器，并且基于自适应分类处理执行ILF处理。
然而，自适应分类滤波器811与自适应分类滤波器111的不同之处在于，自适应分类滤波器811使用分类系数来执行分类。
此外，自适应分类滤波器811与自适应分类滤波器111的不同之处在于，分类系数作为滤波信息被提供并发送到可逆编码单元106。
<自适应分类滤波器811的配置示例>
图67是示出图66的自适应分类滤波器811的配置示例的框图。
在图67中，自适应分类滤波器811包括图像转换装置831和学习装置832。
从计算单元110(图66)向图像转换装置831提供正被解码图像，并且从学习装置832向图像转换装置831提供每个类的抽头系数和分类系数。此外，编码信息被提供给图像转换装置831。
图像转换装置831将正被解码图像设置成第一图像，以使用每个类的抽头系数基于自适应分类处理执行图像转换，从而将作为第一图像的正被解码图像转换成作为与原始图像等同的第二图像的滤波后图像(生成滤波后图像)并且向帧存储器112(图66)提供滤波后图像。
注意，图像转换装置831使用来自学习装置832的分类系数来在自适应分类处理中执行分类。此外，如图10的图像转换装置131中那样，可以根据需要使用从类抽头和编码信息获得的图像特征值来执行分类。
从重排缓冲器102(图66)向学习装置832提供原始图像，并且从计算单元110(图66)向学习装置832提供正被解码图像。此外，编码信息被提供给学习装置832。
学习装置832使用正被解码图像和原始图像来执行分类系数学习以及抽头系数学习。在抽头系数学习中，通过分类系数学习获得的分类系数用于执行分类。
此外，学习装置832将通过分类系数学习获得的分类系数和通过抽头系数学习获得的每个类的抽头系数作为滤波信息提供给图像转换装置831和可逆编码单元106(图66)。
注意，类似于图像转换装置831，学习装置832可以根据需要使用从类抽头和编码信息获得的图像特征值来执行分类。
<图像转换装置831的配置示例>
图68是示出图67的图像转换装置831的配置示例的框图。
注意，在图68中，对与图11的图像转换装置131对应的部分设置相同的附图标记，并且将适当地省略描述。
在图68中，图像转换装置831包括抽头选择单元21和抽头选择单元22、预测计算单元25、分类单元841和系数获取单元842。
因此，图像转换装置831与图11的图像转换装置131的共同之处在于，图像转换装置831包括抽头选择单元21和抽头选择单元22以及预测计算单元25。
然而，图像转换装置831与图11的图像转换装置131的不同之处在于，图像转换装置831包括分类单元841和系数获取单元842，分别替代分类单元23和系数获取单元24。
分类单元841存储由图67的学习装置832提供的从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数。
分类单元841根据需要使用从抽头选择单元22提供的类抽头并且使用从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数对目标像素进行分类。分类单元841向系数获取单元842提供作为分类结果获得的目标像素的类(第N层的类)。
系数获取单元842存储从图67的学习装置832提供的第N层的2N个类的抽头系数tc(N,k)(k＝0,1,......,2N-1)。
系数获取单元842在所存储的第N层的2N个类的抽头系数tc(N,k)(k＝0,1,......,2N-1)中获取从分类单元841提供的目标像素的类k的抽头系数tc(N,k)，并且向预测计算单元25提供抽头系数tc(N,k)。
注意，除了分类系数之外，分类单元841还可以根据需要使用从类抽头和编码信息获得的图像特征值来执行分类。
例如，在使用分类系数的分类的第0层的子分类中，除了分类系数之外，还可以使用图像特征值和编码信息，以将目标像素分类为两个子类或三个或更多个子类。
图69是示出图68的分类单元841的配置示例的框图。
注意，在图69中，对与图64的分类单元721对应的部分设置相同的附图标记，并且将适当地省略描述。
在图69中，分类单元841包括分类系数设置单元731、子类预测单元732、子分类单元733和类决定单元734。
因此，图69的分类单元841与图64的分类单元721的共同之处在于，分类单元841包括从分类系数设置单元731到类决定单元734的部件。
然而，在图69的分类单元841中，分类系数设置单元731存储从图67的学习装置832提供的从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数。
此外，在图69的分类单元841中，从子类预测单元732向子分类单元733提供目标像素的子类预测值，并且还从子类预测单元732向子分类单元733提供类抽头和编码信息。
除了子类预测值之外，子分类单元733还可以使用从类抽头和编码信息获得的图像特征值来执行第0层的子分类。
除了子类预测值之外，使用图像特征值和编码信息执行第0层的子分类，并且因此，由分类单元841执行的分类是除了使用分类系数之外还使用图像特征值和编码信息的分类。
<学习装置832的配置示例>
图70是示出图67的学习装置832的配置示例的框图。
注意，在图70中，对与图61的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图70中，学习装置832包括抽头系数学习单元701、抽头系数设置单元702、子类教师数据生成单元703、分类系数学习单元704、分类系数设置单元705、子类预测单元706、子分类单元707、类决定单元708、像素预测单元709和结束条件确定单元710。
因此，图70的学习装置832与图61的情况的共同之处在于，学习装置832包括从抽头系数学习单元701到结束条件确定单元710的部件。
然而，在图70的学习装置832中，除了子类预测值之外，还将学生图像和编码信息从子类预测单元706提供给子分类单元707。
类似于图69的子分类单元733，子分类单元707可以除了使用子类预测值之外还使用从由图68的图像转换装置831生成的类抽头获得的图像特征值以及编码信息来对学生图像的每个像素执行第0层的子分类。
由类决定单元708通过除了使用子类预测值之外还使用图像特征值和编码信息执行第0层的子分类决定的类是通过除了使用分类系数之外还使用图像特征值和编码信息的分类获得的类。
此外，在图70的学习装置832中，在自适应分类处理中由像素预测单元709获得的像素预测值可以被提供给结束条件确定单元710，并且教师图像也可以被提供给结束条件确定单元710。
在这种情况下，结束条件确定单元710可以使用教师图像作为真值来获得像素预测值的S/N，并且学习的结束条件可以是：包括像素预测值的图像的S/N的增加量等于或小于阈值。
根据基于结束条件获得的分类系数和抽头系数，S/N可以显著提高到极限(饱和状态)。
<编码处理>
图71是描述图66中的编码装置11的编码处理的示例的流程图。
在图66的编码装置11中，与图14的步骤S11至S29类似的处理分别在步骤S411至S429中执行。
然而，尽管编码装置11中的自适应分类滤波器811的学习装置832(图67)将提供给学习装置832的正被解码图像设置成学生数据并且将与正被解码图像对应的原始图像设置成教师数据以如图10的学习装置132中那样适当地执行学习，但是生成每个类的抽头系数和分类系数作为学习中的滤波信息。然后，将每个类的抽头系数和分类系数视为在步骤S412中更新的滤波信息以及在步骤S413中被设置为发送目标的滤波信息。
此外，如图14的步骤S25中那样，尽管在步骤S425中自适应分类滤波器811将自适应分类处理作为ILF处理应用于来自计算单元110的正被解码图像，但是分类系数被用于在自适应分类处理中执行分类。
在此，尽管在如图69和图70中所描述的使用分类系数的分类中，除了可以使用分类系数之外还可以使用图像特征值和编码信息，但是将适当地省略在使用分类系数的分类中对图像特征值和编码信息的使用的描述，以简化描述。
此外，尽管如图14的步骤S27中那样，在步骤S427中可逆编码单元106(图66)对量化系数、编码信息和滤波信息进行编码，并且将它们包括在编码数据中，但是编码数据中包括的滤波信息除了包括每个类的抽头系数之外还包括分类系数。
因此，由可逆编码单元106获得的编码数据包括量化系数和编码信息以及抽头系数和分类系数作为滤波信息。此外，如图14的步骤S28所描述的，在步骤S428中从累积缓冲器107适当地读取和发送编码数据。
图72是描述在图71的步骤S425中执行的自适应分类处理的示例的流程图。
在自适应分类滤波器811的图像转换装置831(图68)中，与图15的步骤S41至S47类似的处理分别在步骤S441至S447中执行。
然而，在步骤S443的目标像素的分类中，分类单元841(图68和图69)使用分类系数来执行分类以获得目标像素的最后一层N的类，如图65中描述的。
此外，在步骤S444中，系数获取单元842(图68)在第N层的2N个类的抽头系数中获取来自分类单元841的目标像素的最后一层N的类的抽头系数，并且向预测计算单元25提供抽头系数。
<解码装置12的第七配置示例>
图73是示出图1的解码装置12的第七配置示例的框图。
注意，在图73中，对与图16的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图73中，解码装置12包括从累积缓冲器201到计算单元205的部件、重排缓冲器207、D/A转换单元208、从帧存储器210到选择单元214的部件、以及自适应分类滤波器861。
因此，图73的解码装置12与图16的情况的共同之处在于，解码装置12包括从累积缓冲器201到计算单元205的部件、重排缓冲器207、D/A转换单元208，以及从帧存储器210到选择单元214的部件。
然而，图73的解码装置12与图16的情况的不同之处在于，解码装置12包括自适应分类滤波器861，替代自适应分类滤波器206。
图73的解码装置12对从图66的编码装置11发送的编码数据进行解码。
因此，从可逆解码单元202提供给自适应分类滤波器861的滤波信息包括每个类的抽头系数和分类系数。
在此，滤波信息中包括的分类系数是从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数。此外，滤波信息中包括的每个类的抽头系数是作为最后一层N的第N层的2N个类的抽头系数tc(N,k)(k＝0,1,......,2N-1)。
自适应分类滤波器861与图16的自适应分类滤波器206的共同之处在于，自适应分类滤波器861是通过自适应分类处理用作ILF即所有的DF、SAO和ALF的滤波器，并且基于自适应分类处理执行ILF处理。
然而，自适应分类滤波器861与自适应分类滤波器206的不同之处在于，自适应分类滤波器861使用分类系数来执行自适应分类处理中的分类。
<自适应分类滤波器861的配置示例>
图74是示出图73的自适应分类滤波器861的配置示例的框图。
在图74中，自适应分类滤波器861包括图像转换装置871。
从计算单元205(图73)向图像转换装置871提供正被解码图像，并且从可逆解码单元202向图像转换装置871提供作为滤波信息的每个类的抽头系数和分类系数以及编码信息。
类似于图67的图像转换装置831，图像转换装置871将正被解码图像设置成第一图像，以使用每个类的抽头系数通过自适应分类处理执行图像转换，从而将作为第一图像的正被解码图像转换成作为与原始图像等同的第二图像的滤波后图像(生成滤波后图像)并且向重排缓冲器207和帧存储器210(图73)提供滤波后图像。
注意，类似于图67的图像转换装置831，图像转换装置871使用来自可逆解码装置202(图73)的作为滤波信息的分类系数来在自适应分类处理中执行分类。
类似于图67的图像转换装置831，图像转换装置871除了使用分类系数之外，还可以根据需要通过使用从类抽头和编码信息获得的图像特征值来执行分类。
<图像转换装置871的配置示例>
图75是示出图74的图像转换装置871的配置示例的框图。
注意，在图75中，对与图18的图像转换装置231共同的部分设置相同的附图标记，并且将适当地省略描述。
在图75中，图像转换装置871包括抽头选择单元241和抽头选择单元242、预测计算单元245、分类单元881和系数获取单元882。
因此，图75的图像转换装置871与图18的图像转换装置231的共同之处在于，图像转换装置871包括抽头选择单元241和抽头选择单元242以及预测计算单元245。
然而，图75的图像转换装置871与图18的图像转换装置231的不同之处在于，图像转换装置871包括分类单元881和系数获取单元882，分别替代分类单元243和系数获取单元244。
来自可逆解码单元202(图73)的作为滤波信息的分类系数，即从第0层的20个类的分类系数cc(0,0)到第(N-1)层的2N-1个类的分类系数cc(N-1,0)、cc(N-1,1)、……、cc(N-1,2N-1-1)的分类系数被提供给分类单元881并存储在分类单元881中。
作为每个类的抽头系数的第N层的2N个类的抽头系数tc(N,k)(k＝0,1,......,2N-1)(其是来自可逆解码单元202(图73)的滤波信息)被提供给系数获取单元882并存储在系数获取单元882中。
分类单元881的配置与编码装置11(图66)侧的分类单元841(图68和图69)的配置类似。分类单元881与分类单元841中类似地使用分类系数执行分类，并且向系数获取单元882提供作为分类结果而获得的目标像素的第N层的类。
系数获取单元882在所存储的第N层的2N个类的抽头系数tc(N,k)(k＝0,1,......,2N-1)中获取来自分类单元881的目标像素的第N层的类的抽头系数tc(N,k)，并且向预测计算单元245提供抽头系数tc(N,k)。
<解码处理>
图76是描述图73中的解码装置12的解码处理的示例的流程图。
在图73的解码装置12中，与图19的步骤S61至S73类似的处理分别在步骤S461至S473中执行。
然而，尽管如图19的步骤S62中那样，在步骤S462中，可逆解码单元202对编码数据进行解码以向逆量化单元203提供通过解码获得的量化系数，并且向帧内预测单元212、运动预测补偿单元213、自适应分类滤波器861以及其他必要块提供编码信息和通过对编码数据进行解码而获得的滤波信息，但是提供给自适应分类滤波器861的滤波信息包括每个类的抽头系数和每个类的分类系数。
此外，尽管如图19的步骤S70中那样，在步骤S470中，自适应分类滤波器861将自适应分类处理作为ILF处理应用于来自计算单元205的正被解码图像，但是分类系数用于在自适应分类处理中执行分类。
注意，类似于自适应分类滤波器811(图66)，在使用分类系数的分类中，除了分类系数之外，自适应分类滤波器861还可以使用图像特征值和编码信息。
图77是描述在图76的步骤S470中执行的自适应分类处理的示例的流程图。
在自适应分类滤波器861的图像转换装置871(图75)中，类似于图20的步骤S81至S87的处理分别在步骤S481至S487中执行。
然而，在步骤S483的目标像素的分类中，分类单元881(图75)使用从可逆解码单元202提供的作为滤波信息的分类系数来执行分类，如在编码装置11(图66)侧的分类单元841(图68)中那样，以获得目标像素的最后一层N的类。
此外，在步骤S484中，系数获取单元882(图75)在从可逆解码单元202提供的作为滤波信息的第N层的2N个类的抽头系数中获取来自分类单元881的目标像素的最后一层N的类的抽头系数，并且向预测计算单元245提供抽头系数。
<学习装置832的另一配置示例>
图78是示出图67的学习装置832的另一配置示例的框图。
注意，在图78中，对与图70的情况对应的部分设置相同的附图标记，并且将适当地省略描述。
在图78中，学习装置832包括抽头系数学习单元701、抽头系数设置单元702、子类教师数据生成单元703、分类系数学习单元704、分类系数设置单元705、子类预测单元706、子分类单元707、类决定单元708、像素预测单元709、结束条件确定单元710、发送频带(transmission band)检测单元911、发送量计算单元912和发送目标系数设置单元913。
因此，图78的学习装置832与图70的情况的共同之处在于，学习装置832包括从抽头系数学习单元701到结束条件确定单元710的部件。
然而，图78的学习装置832与图70的情况的不同之处在于，学习装置832还包括发送频带检测单元911、发送量计算单元912和发送目标系数设置单元913。
发送频带检测单元911检测可以用于从编码装置11发送编码数据的发送频带(例如，分配给编码数据的比特率)，并且向发送量计算单元912提供发送频带。
基于来自发送频带检测单元911的发送频带，发送量计算单元912获得作为在发送频带处可发送的滤波信息的数据量的可发送量，并且向发送目标系数设置单元913提供可发送量。
从抽头系数设置单元702向发送目标系数设置单元913提供通过每个层的学习获得的每个层的抽头系数即从第0层到第N层的抽头系数。此外，从分类系数设置单元705向发送目标系数设置单元913提供从第0层到第(N-1)层的分类系数。
发送目标系数设置单元913根据来自发送量计算单元912的可发送量在来自抽头系数设置单元702的抽头系数中选择要发送的抽头系数，并且输出抽头系数作为滤波信息。
发送目标系数设置单元913还根据来自发送量计算单元912的可发送量在来自分类系数设置单元705的分类系数中选择要发送的分类系数，并且输出分类系数作为滤波信息。
即，发送目标系数设置单元913根据来自发送量计算单元912的可发送量设置允许发送抽头系数和分类系数的可发送层N'(<＝最后一层N)。可发送量越大，为可发送层N'设置的层越大(越深)。
发送目标系数设置单元913还在从第0层到第N层的抽头系数中设置(选择)第N'层的抽头系数作为发送目标，并且在从第0层到第(N-1)层的分类系数中设置从第0层到(N'-1)层的分类系数作为发送目标。
然后，发送目标系数设置单元913输出被设置成发送目标(要发送的系数)的抽头系数和分类系数作为滤波信息。
因此，在包括图78的学习装置832的编码装置11中发送在由学习装置832获得的抽头系数和分类系数中根据可发送量设置成发送目标的抽头系数和分类系数。
以这种方式，例如，在下述情况下可以处理具有可变发送频带例如自适应流的可变发送***：在由学习装置832获得的抽头系数和分类系数中发送根据可发送量设置成发送目标的抽头系数和分类系数。
即，在发送频带大的情况下，用于对直到深层的类进行分类的分类系数和深层的类的抽头系数被发送，并且这可以显著地有助于提高S/N。此外，在发送频带小的情况下，用于对直到浅层的类进行分类的分类系数和浅层的类的抽头系数被发送，并且可以在小发送频带的可能范围内提高S/N。
注意，在可变发送***中发送编码数据的情况下，可以通过学习获得适合于一些发送频带中的每一个的抽头系数和分类系数的数据量，并且作为滤波信息的要发送的抽头系数和分类系数可以根据发送频带(或可发送量)来切换。
此外，可以根据发送频带从每个发送频带的抽头系数和分类系数中选择作为临时发送目标的抽头系数和分类系数。可以为作为临时发送目标的抽头系数和分类系数进一步设置可发送层N'，并且第N'层的抽头系数和从第0层到第(N'-1)层的分类系数最终可以被选择作为发送目标。
<RD曲线>
图79是示出如下情况的RD(速率-失真)曲线的图：基于自适应分类处理执行ILF处理的自适应分类滤波器被提供作为ILF的情况和ALF被提供作为ILF的情况。
注意，除了提供自适应分类滤波器的情况的RD曲线和提供ALF的情况的RD曲线之外，图79还示出了未提供ILF的情况的RD曲线。
RD曲线是指示竖直轴上的S/N和水平轴上的(编码数据的)比特率的图，并且RD曲线可以通过在编码期间对每个量化参数QP绘制与S/N和比特率对应的点来获得。
压缩效率随着S/N的增加和比特率的降低而提高。因此，位于左上方的RD曲线表示出色的压缩效率。
在图79中，与未提供ILF的情况相比，提供ALF的情况的压缩效率提高了3.2％，并且与未提供ILF的情况相比，提供自适应分类滤波器的情况的压缩效率提高了5.5％。
因此，在提供自适应分类滤波器的情况下的压缩效率的提高可以接近于在提供ALF的情况下的压缩效率的提高的两倍。
注意，尽管从编码装置11提供给解码装置12的滤波信息包括本实施方式中的抽头系数以简化描述，但是滤波信息可以包括替代抽头系数的种子系数和参数z。抽头系数可以从种子系数和参数z获得，并且种子系数和参数z是与抽头系数等同的信息。在本说明书中，作为滤波信息的抽头系数除了抽头系数之外还包括种子系数和参数z。在采用种子系数和参数z作为抽头系数的情况下，可以基于例如预定的代价函数来决定参数z。
<应用于多视点图像编码/解码***>
该系列处理可以应用于多视点图像编码/解码***。
图80是示出多视点图像编码***的示例的图。
如图80所示，多视点图像包括来自多个视点(视图)的图像。多视点图像的多个视图包括用于通过仅使用基本视图的图像而不使用其他视图的信息来执行编码和解码的基本视图，并且包括用于通过使用其他视图的信息来执行编码和解码的的非基本视图。在非基本视图的编码和解码中，可以使用基本视图的信息，或者可以使用其他非基本视图的信息。
在与图80的示例中类似地对多视点图像进行编码和解码的情况下，针对每个视点编码多视点图像。此外，在对以这种方式获得的编码数据进行解码的情况下，对每个视点的编码数据进行解码(即针对每个视点)。实施方式中描述的方法可以应用于每个视点的编码和解码。以这种方式，可以显著提高S/N和压缩效率。即在多视点图像的情况下，S/N和压缩效率也可以以类似的方式显著提高。
<多视点图像编码/解码***>
图81是示出执行上述多视点图像编码/解码的多视点图像编码/解码***的多视点图像编码装置的图。
如图81所示，多视点图像编码装置1000包括编码单元1001、编码单元1002和复用单元1003。
编码单元1001对基本视图图像进行编码以生成基本视图图像编码流。编码单元1002对非基本视图图像进行编码以生成非基本视图图像编码流。复用单元1003对由编码单元1001生成的基本视图图像编码流和由编码单元1002生成的非基本视图图像编码流进行复用，以生成多视点图像编码流。
图82是示出执行上述多视点图像解码的多视点图像解码装置的图。
如图82所示，多视点图像解码装置1010包括解复用单元1011、解码单元1012和解码单元1013。
解复用单元1011对包括复用的基本视图图像编码流和非基本视图图像编码流的多视点图像编码流解复用，并且提取基本视图图像编码流和非基本视图图像编码流。解码单元1012对由解复用单元1011提取的基本视图图像编码流进行解码，并且获得基本视图图像。解码单元1013对由解复用单元1011提取的非基本视图图像编码流进行解码，并且获得非基本视图图像。
例如，在多视点图像编码/解码***中，实施方式中描述的编码装置11可以被应用为多视点图像编码装置1000的编码单元1001和编码单元1002。以这种方式，本实施方式中描述的方法也可以被应用于多视点图像的编码。即，可以显著提高S/N和压缩效率。此外，例如，本实施方式中描述的解码装置12可以被应用为多视点图像解码装置1010的解码单元1012和解码单元1013。以这种方式，本实施方式中描述的方法也可以被应用于多视点图像的编码数据的解码。即，可以显著提高S/N和压缩效率。
<应用于分层图像编码/解码***>
此外，该系列处理可以应用于分层图像编码(可伸缩编码)和解码***。
图83是示出分层图像编码***的示例的图。
在分层图像编码(可伸缩编码)中，图像被分成多个层(图像被分层)以提供用于预定参数的可伸缩性功能，并且图像数据在每个层中被编码。分层图像解码(可伸缩解码)是对应于分层图像编码的解码。
如图83所示，在图像分层中，基于具有可伸缩性功能的预定参数将一个图像划分为多个图像(层)。即，分层后的图像(分层图像)包括具有预定参数的不同值的多个分层(层)的图像。分层图像的多个层包括用于通过仅使用基础层的图像而不使用其他层的图像进行编码和解码的基础层，并且包括用于通过使用其他层的图像进行编码和解码的非基础层(也称为增强层)。在非基础层中，可以使用基础层的图像，或者可以使用其他非基础层的图像。
通常，非基础层包括非基础层的图像和另一层的图像的差异图像的数据(差异数据)，以便减少冗余。例如，在将一个图像划分为包括基础层和非基础层(也称为增强层)的两个层的情况下，可以仅从基础层的数据获得具有比原始图像更低的质量的图像，并且可以组合基础层的数据和非基础层的数据，以获得原始图像(即高质量图像)。
图像以这种方式被分层，并且可以根据情况容易地获得具有各种质量的图像。例如，可以仅将基础层的图像压缩信息发送到具有低处理能力的终端例如移动电话，并且可以再现具有低空间时间分辨率或低图像质量的运动图像。除了基础层之外，还可以将增强层的图像压缩信息发送到具有高处理能力的终端例如TV和个人计算机，并且可以再现具有高空间时间分辨率或高图像质量的运动图像。以这种方式，可以从服务器发送根据终端或网络的能力的图像压缩信息，而不执行代码转换处理。
在与图83的示例中类似地对分层图像进行编码和解码的情况下，分层图像在每个层中被编码。此外，在对以这种方式获得的编码数据进行解码的情况下，对每个层的编码数据进行解码(即以逐层为基础)。实施方式中描述的方法可以应用于每个层的编码和解码。以这种方式，可以显著提高S/N和压缩效率。即，在分层图像的情况下，可以以类似的方式显著提高S/N和压缩效率。
<可伸缩参数>
在分层图像编码和分层图像解码(可伸缩编码和可伸缩解码)中，具有可伸缩性功能的参数是任意的。例如，空间分辨率可以是参数(空间可伸缩性)。在空间可伸缩性的情况下，图像的分辨率在每层中是不同的。
此外，具有可伸缩性的参数的另一示例包括时间分辨率(时间可伸缩性)。在时间可伸缩性的情况下，帧速率在每层中是不同的。
此外，具有可伸缩性的参数的另一示例包括信噪比(SNR)(SNR可伸缩性)。在SNR可伸缩性的情况下，SN比在每层中是不同的。
明显地，具有可伸缩性的参数可以是除了示例中描述的参数之外的参数。例如，存在其中基础层包括8比特图像的比特深度可伸缩性，并且增强层被添加到8比特图像以获得10比特图像。
此外，存在其中基础层包括4:2:0格式的分量图像的色度可伸缩性，并且增强层被添加到分量图像以获得4:2:2格式的分量图像。
<分层图像编码/解码***>
图84是示出执行上述分层图像编码/解码的分层图像编码/解码***的分层图像编码装置的图。
如图84所示，分层图像编码装置1020包括编码单元1021、编码单元1022和复用单元1023。
编码单元1021对基础层图像进行编码以生成基础层图像编码流。编码单元1022对非基础层图像进行编码以生成非基础层图像编码流。复用单元1023对由编码单元1021生成的基础层图像编码流和由编码单元1022生成的非基础层图像编码流进行复用，以生成分层图像编码流。
图85是示出执行上述分层图像解码的分层图像解码装置的图。
如图85所示，分层图像解码装置1030包括解复用单元1031、解码单元1032和解码单元1033。
解复用单元1031对包括复用的基础层图像编码流和非基础层图像编码流的分层图像编码流解复用，并且提取基础层图像编码流和非基础层图像编码流。解码单元1032对由解复用单元1031提取的基础层图像编码流进行解码，并且获得基础层图像。解码单元1033对由解复用单元1031提取的非基础层图像编码流进行解码，并且获得非基础层图像。
例如，在分层图像编码/解码***中，实施方式中描述的编码装置11可以被应用为分层图像编码装置1020的编码单元1021和编码单元1022。以这种方式，在实施方式中描述的方法也可以应用于分层图像的编码。即，可以显著提高S/N和压缩效率。此外，例如，实施方式中描述的解码装置12可以被应用为分层图像解码装置1030的解码单元1032和解码单元1033。以这种方式，实施方式中描述的方法也可以被应用于对分层图像的编码数据进行解码。即，可以显著提高S/N和压缩效率。
<计算机>
该一系列处理可以由硬件执行或者可以由软件执行。在由软件执行一系列处理的情况下，软件中包括的程序安装在计算机上。在此，计算机的示例包括并入到专用硬件中的计算机和可以通过安装各种程序来执行各种功能的通用个人计算机。
图86是示出使用程序来执行一系列处理的计算机的硬件的配置示例的框图。
在图86中所示的计算机1100中，CPU(中央处理单元)1101、ROM(只读存储器)1102和RAM(随机存取存储器)1103通过总线1104彼此连接。
输入输出接口1110也连接至总线1104。输入单元1111、输出单元1112、存储单元1113、通信单元1114和驱动器1115连接至输入输出接口1110。
输入单元1111包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元1112包括例如显示器、扬声器、输出端子等。存储单元1113包括例如硬盘、RAM盘、非易失性存储器等。通信单元1114包括例如网络接口。驱动器1115驱动可移除介质821，例如磁盘、光盘、磁光盘和半导体存储器。
在以这种方式配置的计算机中，CPU 1101例如通过输入输出接口1110和总线1104将存储单元1113中存储的程序加载到RAM 1103以执行程序，从而执行一系列处理。CPU1101执行各种处理所需的数据等也适当地存储在RAM 1103中。
由计算机(CPU 1101)执行的程序可以通过例如将程序记录在作为封装介质等的可移除介质821中来应用。在这种情况下，可移除介质821可以安装在驱动器1115上，以通过输入输出接口1110将程序安装在存储单元1113上。
该程序还可以通过有线或无线发送介质例如局域网、因特网和数字卫星广播来提供。在这种情况下，程序可以由通信单元1114接收并安装在存储单元1113上。
此外，程序也可以预先安装在ROM 1102或存储单元1113上。
<本技术的应用>
根据实施方式的编码装置11和解码装置12可以应用于例如各种电子设备，诸如用于在卫星广播、诸如有线TV的有线广播或因特网中分发或者用于通过蜂窝通信向终端分发的发送器和接收器、在诸如光盘、磁盘或闪存的介质中记录图像的记录装置、以及从这些存储介质中再现图像的再现装置。在下文中，将描述四个应用示例。
<第一应用示例：电视接收器>
图87是示出根据实施方式的电视装置的示意性配置的示例的图。
电视装置1200包括天线1201、调谐器1202、解复用器1203、解码器1204、视频信号处理单元1205、显示单元1206、音频信号处理单元1207、扬声器1208、外部接口(I/F)单元1209、控制单元1210、用户接口(I/F)单元1211和总线1212。
调谐器1202从通过天线1201接收的广播信号中提取期望频道的信号，并且对所提取的信号解调。然后，调谐器1202将通过解调获得的编码比特流输出到解复用器1203。即，调谐器1202在接收图像被编码的编码流的电视装置1200中起到发送单元的作用。
解复用器1203分离要从编码比特流中观看的节目的视频流和音频流，并且向解码器1204输出所分离的流中的每一个。解复用器1203还从编码比特流中提取辅助数据例如EPG(电子节目指南)，并且向控制单元1210提供所提取的数据。注意，在编码比特流被加扰的情况下，解复用器1203可以对编码比特流进行解扰。
解码器1204对从解复用器1203输入的视频流和音频流进行解码。然后，解码器1204向视频信号处理单元1205输出在解码处理中生成的视频数据。解码器1204还向音频信号处理单元1207输出在解码处理中生成的音频数据。
视频信号处理单元1205再现从解码器1204输入的视频数据，并且使显示单元1206显示视频。视频信号处理单元1205还可以使显示单元1206显示通过网络提供的应用屏幕。视频信号处理单元1205还可以根据设置将诸如噪声去除的附加处理应用于视频数据。视频信号处理单元1205还可以生成例如GUI(图形用户接口)的图像，利如菜单、按钮和光标，并且将所生成的图像叠加在输出图像上。
显示单元1206由视频信号处理单元1205提供的驱动信号驱动，并且显示单元1206在显示设备(例如液晶显示器、等离子显示、OELD(有机电致发光显示器)(有机EL显示器)等)的视频屏幕上显示视频或图像。
音频信号处理单元120将诸如D/A转换和放大的再现处理应用于从解码器1204输入的音频数据，并且使扬声器1208输出声音。音频信号处理单元1207还可以将附加处理(例如噪声去除)应用于音频数据。
外部接口单元1209是用于连接电视装置1200和外部设备或网络的接口。例如，解码器1204可以对通过外部接口单元1209接收的视频流或音频流进行解码。即，外部接口单元1209在接收图像被编码的编码流的电视装置1200中也起到发送单元的作用。
控制单元1210包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据、通过网络获取的数据等。CPU在例如电视装置1200的启动时读取并执行存储器中存储的程序。CPU根据例如从用户接口单元1211输入的操作信号执行程序以控制电视装置1200的操作。
用户接口单元1211连接至控制单元1210。用户接口单元1211包括例如用于用户操作电视装置1200的按钮和开关、遥控信号的接收单元等。用户接口单元1211检测用户通过这些组成元件进行的操作以生成操作信号，并且向控制单元1210输出生成的操作信号。
总线1212相互连接调谐器1202、解复用器1203、解码器1204、视频信号处理单元1205、音频信号处理单元1207、外部接口单元1209和控制单元1210。
在以这种方式配置的电视装置1200中，解码器1204可以具有解码装置12的功能。即，解码器1204可以使用实施方式中描述的方法来对编码数据进行解码。以这种方式，电视装置1200可以显著提高S/N和压缩效率。
此外，在以这种方式配置的电视装置1200中，视频信号处理单元1205能够例如对从解码器1204提供的图像数据进行编码，并且通过外部接口单元1209向电视装置1200的外部输出获得的编码数据。此外，视频信号处理单元1205可以具有编码装置11的功能。即，视频信号处理单元1205可以使用实施方式中描述的方法来对从解码器1204提供的图像数据进行编码。以这种方式，电视装置1200可以显著提高S/N和压缩效率。
<第二应用示例：移动电话>
图88是示出根据实施方式的移动电话的示意性配置的示例的图。
移动电话1220包括天线1221、通信单元1222、音频编解码器1223、扬声器1224、麦克风1225、相机单元1226、图像处理单元1227、复用/解复用单元1228、记录/再现单元1229、显示单元1230、控制单元1231、操作单元1232和总线1233。
天线1221连接至通信单元1222。扬声器1224和麦克风1225连接至音频编解码器1223。操作单元1232连接至控制单元1231。总线1233将通信单元1222、音频编解码器1223、相机单元1226、图像处理单元1227、复用/解复用单元1228、记录/再现单元1229、显示单元1230和控制单元1231相互连接。
移动电话1220在包括语音呼叫模式、数据通信模式、成像模式和TV电话模式的各种操作模式中执行诸如发送和接收音频信号、发送和接收电子邮件或图像数据、拍摄图像和记录数据的操作。
在语音呼叫模式中，由麦克风1225生成的模拟音频信号被提供给音频编解码器1223。音频编解码器1223将模拟音频信号转换成音频数据并执行A/D转换以对转换后的音频数据进行压缩。然后，音频编解码器1223向通信单元1222输出压缩后的音频数据。通信单元1222对音频数据进行编码和调制以生成发送信号。然后，通信单元1222通过天线1221向基站(未示出)发送所生成的发送信号。通信单元1222还放大通过天线1221接收的无线信号，并且转换频率以获取接收信号。然后，通信单元1222对接收信号进行解调和解码以生成音频数据，并且向音频编解码器1223输出所生成的音频数据。音频编解码器1223扩展并执行音频数据的D/A转换以生成模拟音频信号。然后，音频编解码器1223向扬声器1224提供所生成的音频信号以输出声音。
此外，例如，控制单元1231根据数据通信模式下用户通过操作单元1232进行的操作来生成电子邮件的字符数据。控制单元1231还使显示单元1230显示字符。控制单元1231还根据来自用户通过操作单元1232的发送指令来生成电子邮件数据，并且向通信单元1222输出生成的电子邮件数据。通信单元1222对电子邮件数据进行编码和调制以生成发送信号。然后，通信单元1222通过天线1221向基站(未示出)发送所生成的发送信号。通信单元1222还放大通过天线1221接收的无线信号，并且转换频率以获取接收信号。然后，通信单元1222对接收信号进行解调和解码以恢复电子邮件数据，并且向控制单元1231输出所恢复的电子邮件数据。控制单元1231使显示单元1230显示电子邮件的内容并且向记录/再现单元1229提供电子邮件数据以将电子邮件数据写入记录/再现单元1229的存储介质。
记录/再现单元1229包括任意读/写存储介质。例如，存储介质可以是内置存储介质例如RAM和闪存，或者可以是外部安装的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器和存储卡。
此外，例如，相机单元1226拍摄对象的图像以生成图像数据，并且在成像模式下向图像处理单元1227输出所生成的图像数据。图像处理单元1227对从相机单元1226输入的图像数据进行编码，并且向记录/再现单元1229提供编码流，以将编码流写入记录/再现单元1229的存储介质。
此外，记录/再现单元1229读取存储介质中记录的编码流，并且在图像显示模式下向图像处理单元1227输出编码流。图像处理单元1227对从记录/再现单元1229输入的编码流进行解码，并且向显示单元1230提供图像数据以显示图像。
此外，例如，复用/解复用单元1228对由图像处理单元1227编码的视频流和从音频编解码器1223输入的音频流进行复用，并且在TV电话模式下向通信单元1222输出所复用的流。通信单元1222对流进行编码和调制以生成发送信号。然后，通信单元1222通过天线1221向基站(未示出)发送所生成的发送信号。通信单元1222还放大通过天线1221接收的无线信号，并且转换频率以获取接收信号。发送信号和接收信号可以包括编码比特流。然后，通信单元1222对接收信号进行解调和解码以恢复流，并且向复用/解复用单元1228输出所恢复的流。复用/解复用单元1228从输入流中分离视频流和音频流，向图像处理单元1227输出视频流，并且向音频编解码器1223输出音频流。图像处理单元1227对视频流进行解码以生成视频数据。视频数据被提供给显示单元1230，并且显示单元1230显示一系列图像。音频编解码器1223扩展并执行音频流的D/A转换以生成模拟音频信号。然后，音频编解码器1223向扬声器1224提供所生成的音频信号以输出声音。
在以这种方式配置的移动电话1220中，图像处理单元1227可以具有例如编码装置11的功能。即，图像处理单元1227可以使用实施方式中描述的方法来编码图像数据。以这种方式，移动电话1220可以显著提高S/N和压缩效率。
此外，在以这种方式配置的移动电话1220中，图像处理单元1227可以具有例如解码装置12的功能。即，图像处理单元1227可以使用实施方式中描述的方法来对编码数据进行解码。以这种方式，移动电话1220可以显著提高S/N和压缩效率。
<第三应用示例：记录/再现装置>
图89是示出根据该实施方式的记录/再现装置的示意性配置的示例的图。
例如，记录/再现装置1240对接收的广播节目的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质中。例如，记录/再现装置1240还可以对从另一装置获取的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质中。例如，记录/再现装置1240还根据用户的指令在监视器和扬声器上再现记录介质中记录的数据。在这种情况下，记录/再现装置1240对音频数据和视频数据进行解码。
记录/再现装置1240包括调谐器1241、外部接口(I/F)单元1242、编码器1243、HDD(硬盘驱动器)单元1244、磁盘驱动器1245、选择器1246、解码器1247、OSD(屏幕菜单式调节方式)单元1248、控制单元1249和用户接口(I/F)单元1250。
调谐器1241从通过天线(未示出)接收的广播信号中提取期望频道的信号，并且对所提取的信号解调。然后，调谐器1241向选择器1246输出通过解调获得的编码比特流。即，调谐器1241在记录/再现装置1240中起到发送单元的作用。
外部接口单元1242是用于连接记录/再现装置1240和外部设备或网络的接口。外部接口单元1242可以是例如IEEE(电气和电子工程师协会)1394接口、网络接口、USB接口、闪存接口等。例如，通过外部接口单元1242接收的视频数据和音频数据被输入到编码器1243。即，外部接口单元1242在记录/再现装置1240中起到发送单元的作用。
在未对从外部接口单元1242输入的视频数据和音频数据编码的情况下，编码器1243对视频数据和音频数据进行编码。然后，编码器1243向选择器1246输出编码比特流。
HDD单元1244将包括视频、声音等的压缩内容数据、各种程序和其他数据的编码比特流记录在内部硬盘中。HDD单元1244还在视频和声音再现时从硬盘读取数据。
磁盘驱动器1245向安装的记录介质记录数据和从安装的记录介质读取数据。安装在磁盘驱动器1245上的记录介质可以是例如DVD(数字多功能盘)盘(DVD-视频、DVD-RAM(DVD-随机存取存储器)、DVD-R(DVD-可记录)、DVD-RW(DVD-可重写)、DVD+R(DVD+可记录)、DVD+RW(DVD+可重写)等)、蓝光(注册商标)盘等。
在记录视频和声音时，选择器1246选择从调谐器1241或编码器1243输入的编码比特流，并且向HDD 1244或磁盘驱动器1245输出所选择的编码比特流。此外，在再现视频和声音时，选择器1246向解码器1247输出从HDD 1244或磁盘驱动器1245输入的编码比特流。
解码器1247对编码比特流进行解码以生成视频数据和音频数据。然后，解码器1247向OSD单元1248输出所生成的视频数据。此外，解码器1247向外部扬声器输出所生成的音频数据。
OSD单元1248再现从解码器1247输入的视频数据并且显示视频。OSD单元1248还可以在所显示的视频上叠加例如GUI的图像，诸如菜单、按钮和光标。
控制单元1249包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。CPU在例如记录/再现装置1240的启动时读取并执行存储器中存储的程序。CPU根据例如从用户接口单元1250输入的操作信号执行程序以控制记录/再现装置1240的操作。
用户接口单元1250连接至控制单元1249。用户接口单元1250包括例如用于用户操作记录/再现装置1240的按钮和开关、遥控信号的接收单元等。用户接口单元1250检测用户通过这些组成元件进行的操作以生成操作信号，并且向控制单元1249输出所生成的操作信号。
在以这种方式配置的记录/再现装置1240中，编码器1243可以具有例如编码装置11的功能。即，编码器1243可以使用实施方式中描述的方法来编码图像数据。以这种方式，记录/再现装置1240可以显著提高S/N和压缩效率。
此外，在以这种方式配置的记录/再现装置1240中，解码器1247可以具有例如解码装置12的功能。即，解码器1247可以使用实施方式中描述的方法来对编码数据进行解码。以这种方式，记录/再现装置1240可以显著提高S/N和压缩效率。
<第四应用示例：成像装置>
图90是示出根据实施方式的成像装置的示意性配置的示例的图。
成像装置1260对对象进行成像，生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。
成像装置1260包括光学块1261、成像单元1262、信号处理单元1263、图像处理单元1264、显示单元1265、外部接口(I/F)单元1266、存储器单元1267、介质驱动器1268、OSD单元1269、控制单元1270、用户接口(I/F)单元1271和总线1272。
光学块1261连接至成像单元1262。成像单元1262连接至信号处理单元1263。显示单元1265连接至图像处理单元1264。用户接口单元1271连接至控制单元1270。总线1272将图像处理单元1264、外部接口单元1266、存储器单元1267、介质驱动器1268、OSD单元1269和控制单元1270相互连接。
光学块1261包括聚焦透镜、光圈机构等。光学块1261在成像单元1262的成像表面上形成对象的光学图像。成像单元1262包括图像传感器，例如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)，并且对在成像表面上形成的光学图像执行光电转换，以将光学图像转换成作为电信号的图像信号。然后，成像单元1262向信号处理单元1263输出图像信号。
信号处理单元1263将各种类型的相机信号处理例如拐点校正、伽马校正和颜色校正应用于从成像单元1262输入的图像信号。信号处理单元1263向图像处理单元1264输出相机信号处理之后的图像数据。
图像处理单元1264对从信号处理单元1263输入的图像数据进行编码以生成编码数据。然后，图像处理单元1264向外部接口单元1266或介质驱动器1268输出所生成的编码数据。图像处理单元1264还对从外部接口单元1266或介质驱动器1268输入的编码数据进行解码，以生成图像数据。然后，图像处理单元1264向显示单元1265输出所生成的图像数据。图像处理单元1264还可以向显示单元1265输出从信号处理单元1263输入的图像数据以显示图像。图像处理单元1264还可以将从OSD单元1269获取的显示数据叠加在输出至显示单元1265的图像上。
OSD单元1269生成例如GUI的图像，诸如菜单、按钮和光标，并且向图像处理单元1264输出所生成的图像。
外部接口单元1266被设置为例如USB输入/输出端子。外部接口单元1266在打印图像时连接例如成像装置1260和打印机。根据需要，驱动器也连接至外部接口单元1266。驱动器设置有例如可移除介质，例如磁盘和光盘，并且从可移除介质读取的程序可以安装在成像装置1260上。此外，外部接口单元1266可以被设置为与网络例如LAN和因特网连接的网络接口。即，外部接口单元1266在成像装置1260中起到发送单元的作用。
安装在介质驱动器1268上的记录介质可以是例如任意读/写可移除介质，例如磁盘、磁光盘、光盘和半导体存储器。此外，记录介质可以固定并安装在介质驱动器1268上，以提供例如非便携式存储单元，例如内置硬盘驱动器和SSD(固态驱动器)。
控制单元1270包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。CPU例如在成像装置1260的启动时读取并执行存储器中存储的程序。CPU执行程序以根据例如从用户接口单元1271输入的操作信号来控制成像装置1260的操作。
用户接口单元1271连接至控制单元1270。用户接口单元1271包括例如用于用户操作成像装置1260的按钮、开关等。用户接口单元1271检测用户通过这些组成元件进行的操作以生成操作信号并且向控制单元1270输出所生成的操作信号。
在以这种方式配置的成像装置1260中，图像处理单元1264可以具有例如编码装置11的功能。即，图像处理单元1264可以使用实施方式中描述的方法来编码图像数据。以这种方式，成像装置1260可以显著提高S/N和压缩效率。
此外，在以这种方式配置的成像装置1260中，图像处理单元1264可以具有例如解码装置12的功能。即，图像处理单元1264可以使用实施方式中描述的方法来对编码数据进行解码。以这种方式，成像装置1260可以显著提高S/N和压缩效率。
<其他应用示例>
注意，本技术还可以应用于例如HTTP流式发送，例如MPEG DASH，其中通过从预先准备的具有不同分辨率等的多条编码数据中以逐段为基础地选择数据来使用适当的数据。即，关于编码和解码的信息也可以在多条编码数据之间共享。
此外，尽管上面描述了根据本技术的装置、***等的示例，但是本技术不限于这些。本技术还可以以在诸如以下的装置或***中包括的装置上安装的任何配置来执行：例如，作为***LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、以及除了该单元之外还设置有其他功能的设备(即装置的部分的配置)。
<视频设备>
将参照图91描述在设备中执行本技术的情况的示例。
图91是示出根据本技术的视频设备的示意性配置的示例的图。
近年来，电子设备设置有更多功能，并且在电子设备的开发或制造中，存在通过销售或提供配置来实现电子设备的部件的配置的情况。替代将配置实现为具有一个功能的配置，通常组合具有相关功能的多个配置，以将配置实现为设置有多个功能的一个设备。
图91中示出的视频设备1300具有带有多种功能的配置，并且具有关于图像的编码或解码(编码和解码中的一者或两者)的功能的设备与具有与所述功能有关的其他功能的设备组合。
如图91所示，视频设备1300包括模块组，例如视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314、以及具有相关功能的设备例如连接设备1321、相机1322和传感器1323。
模块是具有集成功能的部件，其中集成了彼此相关的部件的一些功能。具体的物理配置是任意的，并且例如，具有各个功能的多个处理器、诸如电阻器和电容器的电子电路元件以及其他设备可以被布置并集成在布线板等上。此外，其他模块、处理器等可以与模块组合以提供新模块。
在图91的示例的情况下，具有关于图像处理的功能的部件被组合在视频模块1311中，并且视频模块1311包括应用处理器1331、视频处理器1332、宽带调制解调器1333和RF模块1334。
处理器包括集成在基于SoC(片上***)的半导体芯片上的具有预定功能的部件，并且处理器被称为例如***LSI(大规模集成)等。具有预定功能的部件可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM、以及通过使用它们执行的程序(软件配置)，或者可以是它们的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等，并且部分功能可以由逻辑电路(硬件配置)实现。其他功能可以通过由CPU执行的程序(软件配置)来实现。
图91的应用处理器1331是执行关于图像处理的应用的处理器。由应用处理器1331执行的应用不仅可以执行计算处理，而且还可以根据需要控制例如视频模块1311内部和外部的部件例如视频处理器1332，以便实现预定功能。
视频处理器1332是具有关于图像的编码或解码(编码和解码中的一者或两者)的功能的处理器。
宽带调制解调器1333对要在通过诸如因特网和公共电话网络的宽带电路执行的有线或无线(或有线和无线两者)宽带通信中进行发送的数据(数字信号)执行数字调制等，以将数据转换成模拟信号，并且对在宽带通信中接收的模拟信号进行解调，以将模拟信号转换成数据(数字信号)。宽带调制解调器1333处理例如任意信息，例如要由视频处理器1332处理的图像数据、包括编码图像数据的流、应用程序和配置数据。
RF模块1334是将频率转换、调制和解调、放大、滤波处理等应用于通过天线发送和接收的RF(射频)信号的模块。例如，RF模块1334将频率转换等应用于由宽带调制解调器1333生成的基带信号，以生成RF信号。此外，RF模块1334将例如频率转换等应用于通过前端模块1314接收的RF信号，以生成基带信号。
注意，如图91中的虚线1341所指示的，应用处理器1331和视频处理器1332可以被集成以提供一个处理器。
外部存储器1312是设置在视频模块1311外部并且包括由视频模块1311使用的存储设备的模块。外部存储器1312的存储设备可以通过任何物理配置来实现。然而，在许多情况下，存储设备通常用于存储高容量数据，例如基于帧的图像数据。因此，希望通过例如相对便宜的高容量半导体存储器例如DRAM(动态随机存取存储器)来实现存储设备。
电力管理模块1313管理和控制提供给视频模块1311(视频模块1311中的每个部件)的电力。
前端模块1314是向RF模块1334提供前端功能(天线侧的发送和接收端的电路)的模块。如图91所示，前端模块1314包括例如天线单元1351、滤波器1352和放大单元1353。
天线单元1351包括发送和接收无线信号的天线，并且包括天线周围的部件。天线单元1351发送从放大单元1353提供的信号的无线信号，并且向滤波器1352提供所接收的无线信号的电信号(RF信号)。滤波器1352将滤波处理等应用于通过天线单元1351接收的RF信号，并且向RF模块1334提供处理之后的RF信号。放大单元1353放大从RF模块1334提供的RF信号，并且向天线单元1351提供RF信号。
连接设备1321是具有关于与外部的连接的功能的模块。连接设备1321的物理配置是任意的。例如，连接设备1321包括具有除了由宽带调制解调器1333处理的通信标准之外的标准的通信功能的部件，并且包括外部输入输出端子等。
例如，连接设备1321可以包括：具有符合诸如以下的无线通信标准的通信功能的模块：蓝牙(注册商标)、IEEE 802.11(例如，Wi-Fi(无线保真，注册商标))、NFC(近场通信)和IrDA(红外数据协会)；发射和接收符合标准的信号的天线等。连接设备1321还可以包括：例如，具有符合诸如USB(通用串行总线)和HDMI(注册商标)(高清多媒体接口)的有线通信标准的通信功能的模块；以及符合标准的终端。连接设备1321还可以包括例如其他数据(信号)发送功能等，例如模拟输入输出端子。
注意，连接设备1321可以包括数据(信号)的发送目的地的设备。例如，连接设备1321可以包括驱动器(不仅包括可移除介质的驱动器，还包括硬盘、SSD(固态驱动器)、NAS(网络附加存储设备)等)，该驱动器读取数据并且将数据写入记录介质例如磁盘、光盘、磁光盘和半导体存储器。连接设备1321还可以包括图像和声音的输出设备(诸如监视器和扬声器)。
相机1322是具有对对象进行成像以获得对象的图像数据的功能的模块。通过相机1322的成像获得的图像数据被提供给例如视频处理器1332并由其编码。
传感器1323例如是具有任意传感器功能的模块，例如音频传感器、超声波传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、冲击传感器和温度传感器。由传感器1323检测的数据被提供给例如应用处理器1331并且由应用等使用。
上述模块的配置可以由处理器实现，并且相反地，上述处理器的配置可以通过模块实现。
在如上所述配置的视频设备1300中，本技术可以应用于稍后描述的视频处理器1332。因此，视频设备1300可以被执行为根据本技术的设备。
<视频处理器的配置示例>
图92是示出根据本技术的视频处理器1332(图91)的示意性配置的示例的图。
在图92的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并使用预定***对信号进行编码的功能，并且具有对编码的视频数据和音频数据进行解码以及再现和输出视频信号和音频信号的功能。
如图92所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。视频处理器1332还包括编码/解码引擎1407、视频ES(基本流)缓冲器1408A和1408B、以及音频ES缓冲器1409A和1409B。视频处理器1332还包括音频编码器1410、音频解码器1411、复用单元(MUX(复用器))1412、解复用单元(DMUX(解复用器))1413和流缓冲器1414。
视频输入处理单元1401获取例如从连接设备1321(图91)等输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据应用格式转换、图像的放大/缩小处理等。第二图像放大/缩小单元1403通过视频输出处理单元1404根据输出目的地的格式对图像数据应用图像的放大/缩小处理，并且与第一图像放大/缩小单元1402中类似地对图像数据应用格式转换、图像的放大/缩小处理等。视频输出处理单元1404执行诸如转换图像数据的格式并且将图像数据转换成模拟信号的操作，并且向例如连接设备1321等输出再现的视频信号。
帧存储器1405是用于由以下共享的图像数据的存储器：视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407。帧存储器1405被实现为例如半导体存储器，例如DRAM。
存储器控制单元1406从编码/解码引擎1407接收同步信号，以根据写入访问管理表1406A中的用于访问帧存储器1405的调度来控制用于写入帧存储器1405和从帧存储器1405读取的访问。存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理来更新访问管理表1406A。
编码/解码引擎1407执行图像数据的编码处理和其中图像数据是编码数据的视频流的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将视频流顺序地写入视频ES缓冲器1408A。此外，例如，编码/解码引擎1407从视频ES缓冲器1408B顺序地读取视频流以对视频流解码并且将图像数据顺序地写入帧存储器1405。编码/解码引擎1407使用帧存储器1405作为编码和解码中的工作区。编码/解码引擎1407还在例如每个宏块的处理开始的定时处向存储器控制单元1406输出同步信号。
视频ES缓冲器1408A缓冲由编码/解码引擎1407生成的视频流，并且向复用单元(MUX)1412提供视频流。视频ES缓冲器1408B缓冲从解复用单元(DMUX)1413提供的视频流，并且向编码/解码引擎1407提供视频流。
音频ES缓冲器1409A缓冲由音频编码器1410生成的音频流，并且向复用单元(MUX)1412提供音频流。音频ES缓冲器1409B缓冲从解复用单元(DMUX)1413提供的音频流并且向音频解码器1411提供音频流。
音频编码器1410例如对从例如连接设备1321等输入的音频信号进行数字转换，并且使用例如预定***例如MPEG音频***和AC3(音频代码号3)***来对音频信号进行编码。音频编码器1410将作为音频信号被编码的数据的音频流顺序地写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，执行诸如例如将音频流转换成模拟信号的操作，并且向例如连接设备1321等提供再现的音频信号。
复用单元(MUX)1412复用视频流和音频流。复用的方法(即通过复用生成的比特流的格式)是任意的。在复用中，复用单元(MUX)1412还可以将预定的报头信息等添加至比特流。即，复用单元(MUX)1412可以通过复用来转换流的格式。例如，复用单元(MUX)1412复用视频流和音频流以将流转换成发送流，该发送流是用于发送的格式的比特流。此外，例如，复用单元(MUX)1412复用视频流和音频流以将流转换成用于记录的文件格式的数据(文件数据)。
解复用单元(DMUX)1413使用与复用单元(MUX)1412的复用对应的方法来对其中视频流和音频流被复用的比特流解复用。即，解复用单元(DMUX)1413从自流缓冲器1414读取的比特流中提取视频流和音频流(分离视频流和音频流)。即，解复用单元(DMUX)1413可以对流进行解复用以转换流的格式(复用单元(MUX)1412的转换的逆变换)。例如，解复用单元(DMUX)1413可以通过流缓冲器1414获取从例如连接设备1321、宽带调制解调器1333等提供的发送流，并且解复用发送流以将发送流转换成视频流和音频流。此外，例如，解复用单元(DMUX)1413可以通过流缓冲器1414获取通过连接设备1321从各种记录介质读取的文件数据，并且解复用文件数据以将文件数据转换成视频流和音频流。
流缓冲器1414缓冲比特流。例如，流缓冲器1414缓冲从复用单元(MUX)1412提供的发送流，并且在预定时刻或基于来自外部的请求等向例如连接设备1321、宽带调制解调器1333等提供发送流。
此外，例如，流缓冲器1414缓冲从复用单元(MUX)1412提供的文件数据，并且在预定时刻或者基于来自外部的请求等向例如连接设备1321等提供文件数据以将文件数据记录在各种记录介质中。
流缓冲器1414还缓冲通过例如连接设备1321、宽带调制解调器1333等获取的发送流，并且在预定时刻或基于来自外部的请求等向解复用单元(DMUX)1413提供发送流。
流缓冲器1414还缓冲通过例如连接设备1321等从各种记录介质读取的文件数据，并且在预定时刻或基于来自外部的请求等向解复用单元(DMUX)1413提供文件数据。
接下来，将描述以这种方式配置的视频处理器1332的操作的示例。例如，视频输入处理单元1401将从连接设备1321等输入到视频处理器1332的视频信号转换成预定***例如4：2：2Y/Cb/Cr***的数字图像数据，并且将数字图像数据顺序地写入帧存储器1405。第一图像放大/缩小单元1402或第二图像放大/缩小单元1403读取数字图像数据以将格式转换成预定***，例如4：2：0Y/Cb/Cr***，并且执行放大/缩小处理。数字图像数据被再次写入帧存储器1405。编码/解码引擎1407对图像数据进行编码，并且视频流被写入视频ES缓冲器1408A。
此外，音频编码器1410对从连接设备1321等输入到视频处理器1332的音频信号进行编码，并且音频流被写入音频ES缓冲器1409A。
视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流由复用单元(MUX)1412读取和复用，并且被转换成发送流、文件数据等。由复用单元(MUX)1412生成的发送流由流缓冲器1414缓冲，并且然后通过例如连接设备1321、宽带调制解调器1333等输出到外部网络。此外，流缓冲器1414缓冲由复用单元(MUX)1412生成的文件数据，并且然后将文件数据输出到例如连接设备1321等，并记录在各种记录介质中。
此外，例如，通过连接设备1321、宽带调制解调器1333等从外部网络输入到视频处理器1332的发送流由流缓冲器1414缓冲，并且然后由解复用单元(DMUX)1413解复用。此外，例如，通过连接设备1321等从各种记录介质读取并输入到视频处理器1332的文件数据由流缓冲器1414缓冲，并且然后由解复用单元(DMUX)1413解复用。即，输入到视频处理器1332的发送流或文件数据由解复用单元(DMUX)1413分离为视频流和音频流。
音频流通过音频ES缓冲器1409B被提供给音频解码器1411并且被解码以再现音频信号。此外，视频流被写入视频ES缓冲器1408，并且然后视频流被编码/解码引擎1407顺序地读取和解码并且写入帧存储器1405。解码图像数据被第二图像放大/缩小单元1403放大或缩小，并且写入帧存储器1405。然后，由视频输出处理单元1404读取解码图像数据，并且将格式转换成预定***，例如4：2：2Y/Cb/Cr***。解码图像数据进一步被转换成模拟信号，并且再现和输出视频信号。
在将本技术应用于以这种方式配置的视频处理器1332的情况下，根据实施方式的本技术可以应用于编码/解码引擎1407。即，例如，编码/解码引擎1407可以具有编码装置11的功能和解码装置12的功能中的一者或两者。以这种方式，视频处理器1332可以获得与实施方式的编码装置11和解码装置12的有益效果类似的有益效果。
注意，在编码/解码引擎1407中，本技术(即编码装置11的功能和解码装置12的功能中的一者或两者)可以通过诸如逻辑电路的硬件来实现，可以通过诸如嵌入式程序的软件来实现，或者可以通过硬件和软件两者来实现。
<视频处理器的另一配置示例>
图93是示出根据本技术的视频处理器1332的示意性配置的另一示例的图。
在图93的示例的情况下，视频处理器1332具有使用预定***对视频数据进行编码和解码的功能。
更具体地，如图93所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。视频处理器1332还包括编解码引擎1516、存储器接口1517、复用/解复用单元(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511控制视频处理器1332中的每个处理单元例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码引擎1516的操作。
如图93所示，控制单元1511包括例如主CPU 1531、副CPU 1532和***控制器1533。主CPU 1531执行用于控制视频处理器1332中的每个处理单元的操作的程序等。主CPU 1531根据程序等生成控制信号，并且向每个处理单元提供控制信号(即控制每个处理单元的操作)。副CPU 1532对主CPU 1531起辅助作用。例如，副CPU 1532执行由主CPU 1531执行的程序等的子处理、子例程等。***控制器1533控制主CPU 1531和副CPU 1532的操作，例如指定由主CPU 1531和副CPU 1532执行的程序。
显示接口1512在控制单元1511的控制下向例如连接设备1321等输出图像数据。例如，显示接口1512将数字数据的图像数据转换成模拟信号并且向连接设备1321的监视器装置等输出再现的视频信号或者数字数据的图像数据。
在控制单元1511的控制下，显示引擎1513根据显示图像的监视器装置等的硬件规格来对图像数据应用各种转换处理，例如格式转换、尺寸转换和色域转换。
图像处理引擎1514在控制单元1511的控制下对图像数据应用预定图像处理，诸如例如用于改善图像质量的滤波处理。
内部存储器1515是由显示引擎1513、图像处理引擎1514和编解码引擎1516共享的存储器，并且被设置在视频处理器1332的内部。内部存储器1515用于在例如显示引擎1513、图像处理引擎1514和编解码器擎1516之间发送数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516提供的数据，并且根据需要(例如根据请求)向显示引擎1513、图像处理引擎1514或编解码引擎1516提供数据。尽管内部存储器1515可以由任何存储设备实现，但是在许多情况下，内部存储器1515通常用于存储低容量数据，例如基于块的图像数据和参数，并且期望通过具有高响应速度的相对(例如与外部存储器1312相比)低容量半导体存储器例如SRAM(静态随机存取存储器)来实现内部存储器1515。
编解码引擎1516执行关于图像数据的编码和解码的处理。与编解码引擎1516对应的编码和解码***是任意的，并且可以存在一个***或多个***。例如，编解码引擎1516可以具有多个编码和解码***的编解码器功能，并且可以使用所选择的一个编解码器功能来编码图像数据或对编码数据进行解码。
在图93所示的示例中，编解码引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视点)1545和MPEG-DASH1551，它们是关于编解码器的处理的功能块。
MPEG-2视频1541是使用MPEG-2***对图像数据进行编码和解码的功能块。AVC/H.264 1542是使用AVC***对图像数据进行编码和解码的功能块。HEVC/H.265 1543是使用HEVC***对图像数据进行编码和解码的功能块。HEVC/H.265(可伸缩)1544是使用HEVC***将可伸缩编码和可伸缩解码应用于图像数据的功能块。HEVC/H.265(多视点)1545是使用HEVC***将多视点编码和多视点解码应用于图像数据的功能块。
MPEG-DASH 1551是使用MPEG-DASH(HTTP上的MPEG动态自适应流)***来发送和接收图像数据的功能块。MPEG-DASH是使用HTTP(超文本发送协议)来流式发送视频的技术，并且特征之一是通过从预先准备的具有不同分辨率等的多条编码数据中以逐段为基础地选择编码数据来发送合适的编码数据。MPEG-DASH 1551执行例如生成符合标准的流并且控制流的发送的操作，并且使用从MPEG-2视频1541到HEVC/H.265(多视点)1545的部件来编码和解码图像数据。
存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码引擎1516提供的数据通过存储器接口1517提供给外部存储器1312。此外，从外部存储器1312读取的数据通过存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码引擎1516)。
复用/解复用单元(MUX DMUX)1518复用和解复用关于图像的各种类型的数据，例如编码数据、图像数据和视频信号的比特流。复用和解复用的方法是任意的。例如，复用/解复用单元(MUX DMUX)1518不仅可以在复用中将多条数据组合在一起，而且还可以将预定的报头信息等添加至数据。此外，复用/解复用单元(MUX DMUX)1518不仅可以在解复用中将一条数据划分成多条数据，而且还可以将预定的报头信息等添加至所划分的数据中的每一条。即，复用/解复用单元(MUX DMUX)1518可以复用和解复用数据以转换数据的格式。例如，复用/解复用单元(MUX DMUX)1518可以复用比特流以将比特流转换成作为发送格式的比特流的发送流，或者转换成用于记录的文件格式的数据(文件数据)。明显地，数据的逆变换也可以通过解复用来执行。
网络接口1519例如是用于宽带调制解调器1333、连接设备1321等的接口。视频接口1520例如是用于连接设备1321、相机1322等的接口。
接下来，将描述视频处理器1332的操作的示例。例如，当通过连接设备1321、宽带调制解调器1333等从外部网络接收发送流时，发送流通过网络接口1519被提供给复用/解复用单元(MUX DMUX)1518并且被解复用，并且编解码引擎1516对发送流进行解码。图像处理引擎1514对通过编解码引擎1516的解码获得的图像数据应用例如预定图像处理，并且显示引擎1513执行预定转换。图像数据通过显示接口1512被提供给例如连接设备1321等，并且图像被显示在监视器上。此外，例如，编解码引擎1516再次对通过编解码引擎1516的解码获得的图像数据进行编码，并且复用/解复用单元(MUX DMUX)1518复用图像数据并且将图像数据转换成文件数据。文件数据通过视频接口1520输出到例如连接设备1321等，并且记录在各种记录介质中。
此外，例如，包括由连接设备1321等从未示出的记录介质读取的编码图像数据的编码数据的文件数据通过视频接口1520被提供给复用/解复用单元(MUX DMUX)1518并且被解复用，并且通过编解码引擎1516对文件数据进行解码。图像处理引擎1514对通过编解码引擎1516的解码获得的图像数据应用预定的图像处理，并且显示引擎1513执行图像数据的预定转换。图像数据通过显示接口1512被提供给例如连接设备1321等，并且图像被显示在监视器上。此外，例如，编解码引擎1516再次对通过编解码引擎1516的解码获得的图像数据进行编码，并且复用/解复用单元(MUX DMUX)1518复用图像数据并且将图像数据转换成发送流。发送流通过网络接口1519被提供给例如连接设备1321、宽带调制解调器1333等，并且被发送到未示出的另一装置。
注意，通过使用例如内部存储器1515或外部存储器1312来执行视频处理器1332中的处理单元之间的图像数据和其他数据的发送。此外，电力管理模块1313控制提供给例如控制单元1511的电力。
在将本技术应用于以这种方式配置的视频处理器1332的情况下，根据实施方式的本技术可以应用于编解码引擎1516。即，例如，编解码引擎1516可以包括编码装置11的功能和解码装置12的功能中的一者或两者。以这种方式，视频处理器1332可以获得与编码装置11和解码装置12的有益效果类似的有益效果。
注意，在编解码引擎1516中，本技术(即编码装置11和解码装置12的功能)可以通过诸如逻辑电路的硬件来实现，可以通过诸如嵌入式程序的软件来实现，或者可以通过硬件和软件两者来实现。
尽管已经示出了视频处理器1332的两个配置，但是视频处理器1332的配置是任意的，并且配置可以是除了两个示例的配置之外的其他配置。此外，视频处理器1332可以被设置为一个半导体芯片或者可以被设置为多个半导体芯片。例如，视频处理器1332可以是包括多个堆叠半导体的三维堆叠LSI。视频处理器1332还可以由多个LSI实现。
<应用于设备的示例>
视频设备1300可以并入到处理图像数据的各种装置中。例如，视频设备1300可以并入到电视装置1200(图87)、移动电话1220(图88)、记录/再现装置1240(图89)、成像装置1260(图90)等中。视频设备1300的并入允许装置获得与编码装置11和解码装置12的有益效果类似的有益效果。
注意，视频设备1300的每个配置的一部分可以被执行为根据本技术的配置，只要该部分包括视频处理器1332。例如，视频处理器1332单独可以被执行为根据本技术的视频处理器。此外，例如，由虚线1341指示的处理器、视频模块1311等可以被执行为根据如上所述的本技术的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314可以被组合以执行根据本技术的视频单元1361。在任何配置中，可以获得与编码装置11和解码装置12的有益效果类似的有益效果。
即，包括视频处理器1332的任何配置可以并入到处理图像数据的各种装置中，与视频设备1300的情况类似。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或视频单元1361可以并入到电视装置1200(图87)、移动电话1220(图88)、记录/再现装置1240(图89)、成像装置1260(图90)等中。此外，根据本技术的配置之一的并入允许该装置获得与编码装置11和解码装置12的有益效果类似的有益效果，与视频设备1300的情况类似。
<等>
注意，尽管在本说明书中描述的示例中，各种类型的信息被复用成编码数据(比特流)并且从编码侧发送到解码侧，但是发送信息的方法不限于所述示例。例如，可以不将信息复用成编码数据，并且可以将信息作为与编码数据相关联的单独数据发送或记录。在此，术语“相关联”意味着，例如，编码数据中包括的图像(可以是图像的一部分，例如切片或块)和对应于图像的信息可以在解码时链接。即，可以在与编码数据(图像)不同的发送路径上发送与编码数据(图像)相关联的信息。此外，与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)分开的记录介质中(或者在相同记录介质的单独记录区域中)。此外，图像和与图像对应的信息可以以任意单元例如多个帧、一个帧和帧的一部分彼此相关联。
此外，诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“放进”、“放入”和“***”等术语表示多个事物的分组，例如将标志信息和关于图像的信息的编码数据分组为一条数据，并且每个术语表示上述“关联”的一种方法。
此外，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下可以进行各种改变。
例如，本说明书中的***表示一组多个组成元件(装置、模块(部件)等)，并且所有组成元件是否在同一壳体中无关紧要。因此，在分开的壳体中存储并通过网络连接的多个装置和在一个壳体中存储多个模块的一个装置两者都是***。
此外，例如，上述一个装置(或处理单元)的配置可以被划分以提供多个装置(或处理单元)。相反，可以将上述多个装置(或处理单元)的配置放在一起以提供一个装置(或处理单元)。此外，明显可以将除了上述配置之外的配置添加到每个装置(或每个处理单元)的配置中。此外，装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中，只要整个***的配置和操作基本相同即可。
此外，本技术可以被提供作为例如多个装置共享一个功能并且协作以通过网络执行处理的云计算。
此外，上述程序可以由例如任意装置执行。在这种情况下，该装置可以具有必要的功能(例如功能块)并且获得必要的信息。
此外，例如，一个装置可以执行流程图中描述的每个步骤，或者多个装置可以负责并执行每个步骤。此外，在一个步骤包括多个处理的情况下，一个装置可以执行一个步骤中包括的多个处理，或者多个装置可以负责并执行处理。
注意，由计算机执行的程序可以是描述程序的步骤的处理按照本说明书中描述的时间顺序执行的程序，或者程序可以是用于并行地执行处理或用于在必要的定时例如在调用处理时单独执行处理的程序。即，步骤的处理可以以与上述顺序不同的顺序执行，只要不存在矛盾即可。此外，描述程序的步骤的处理可以与其他程序的处理并行执行，或者可以与其他程序的处理组合执行。
注意，本说明书中描述的多个本技术可以独立地并且单独地执行，只要不存在矛盾即可。明显地，多个任意的本技术可以被组合并执行。例如，在实施方式之一中描述的本技术也可以与另一实施方式中描述的本技术组合执行。此外，以上描述的任意的本技术也可以与以上未描述的另一技术组合执行。
此外，本说明书中描述的有益效果仅是说明性的，并且有益效果不受限制。还可以存在其他有益效果。
注意，本技术也可以按如下配置。
<1>
一种图像处理装置，包括：
滤波处理单元，其对通过将预测编码的残差与预测图像相加获得的第一图像应用滤波处理，以生成用于对所述预测图像进行预测的第二图像，
所述滤波处理单元包括：
预测抽头选择单元，其从所述第一图像中选择作为用于预测计算的预测抽头的像素，所述预测计算用于获得与所述第一图像中的作为处理目标的待处理像素对应的所述第二图像的对应像素的像素值；
分类单元，其将待处理像素分类成多个类中的一个类；
抽头系数获取单元，其获取用于所述多个类中的每一个类的预测计算的抽头系数中的所述待处理像素的类的抽头系数，用于所述多个类中的每一个类的预测计算的抽头系数是通过使用与所述第一图像等同的学生图像以及与对应于所述第一图像的原始图像等同的教师图像进行学习获得的；以及
计算单元，其通过使用所述待处理像素的类的抽头系数和所述待处理像素的预测抽头执行所述预测计算来获得所述对应像素的像素值。
<2>
根据<1>所述的图像处理装置，还包括：
发送单元，其发送所述抽头系数。
<3>
根据<2>所述的图像处理装置，还包括：
学习单元，其执行所述学习。
<4>
根据<2>所述的图像处理装置，其中，
所述分类单元通过使用从所述第一图像获得的图像特征值和与所述待处理像素的预测编码有关的编码信息中的一者或两者来执行分类。
<5>
根据<4>所述的图像处理装置，其中，
所述发送单元发送所述编码信息。
<6>
根据<2>至<5>中任一项所述的图像处理装置，其中，
所述分类单元：
通过使用从所述第一图像获得的图像特征值和与所述待处理像素的预测编码有关的编码信息中的一者或两者，将所述待处理像素分类成第一类，
通过使用在解码侧不能获取的预定信息，将所述待处理像素分类成第二类，以及
根据所述第一类和所述第二类生成所述待处理像素的最终类，并且
所述发送单元发送所述第二类。
<7>
根据<6>所述的图像处理装置，其中，
所述分类单元根据用于将所述待处理像素的最终类转换成缩减类的转换表将所述待处理像素的最终类转换成缩减类，在所述缩减类中，所述待处理像素的最终类的类数目被缩减，
所述抽头系数获取单元获取所述待处理像素的缩减类的抽头系数，并且
所述发送单元发送所述转换表。
<8>
根据<2>所述的图像处理装置，其中，
所述分类单元通过重复以下步骤对所述待处理像素进行分类：
通过使用作为用于所述分类的类抽头的所述第一图像的像素的像素值以及预定的分类系数执行预测计算来获得用于预测与所述待处理像素的子类有关的信息的子类预测值；以及
根据所述子类预测值，将所述待处理像素分类成子类，并且
所述发送单元发送所述分类系数。
<9>
根据<8>所述的图像处理装置，其中，
所述图像处理装置使用所述学生图像来执行用于获得抽头系数的抽头系数学习，并且
所述图像处理装置还包括学习单元，所述学习单元执行一个层的学习，所述学习包括：
使用抽头系数和从所述学生图像选择的预测抽头来执行预测计算，以获得所述教师图像的像素的像素预测值；
将所述像素预测值与所述教师图像的像素的像素值进行比较，以生成与所述子类有关的信息；
执行分类系数学习，所述分类系数学习用于获得所述分类系数，所述分类系数用于将使用所述学生图像来获得与所述子类有关的信息的预测计算的结果同与所述子类有关的信息之间的统计误差最小化；
使用通过所述分类系数学习获得的所述分类系数和所述学生图像来执行预测计算，以获得所述学生图像的像素的所述子类预测值；
根据所述子类预测值，将所述学生图像的像素分类成所述子类；以及
使用每个子类的学生图像的像素来执行对该子类的抽头系数学习。
<10>
根据<9>所述的图像处理装置，其中，
所述学习单元根据所述像素预测值的S/N(信噪比)重复进行所述一个层的学习。
<11>
根据<10>所述的图像处理装置，其中，
所述发送单元发送通过所述一个层的学习中的最后学习而获得的抽头系数以及通过所有的所述一个层的学习而获得的分类系数。
<12>
根据<10>所述的图像处理装置，其中，
所述学习单元根据能够被发送的可发送量，将通过第预定次的所述一个层的学习而获得的抽头系数以及通过所述第预定次之前的所述一个层的学习而获得的分类系数设置为待发送的发送目标系数，并且
所述发送单元发送所述待发送系数。
<13>
根据<1>所述的图像处理装置，还包括：
收集单元，其收集抽头系数。
<14>
根据<13>所述的图像处理装置，其中，
所述分类单元通过使用从所述第一图像获得的图像特征值和与所述待处理像素的预测编码有关的编码信息中的一者或两者来执行分类。
<15>
根据<14>所述的图像处理装置，其中，
所述收集单元收集所述编码信息。
<16>
根据<13>至<15>中任一项所述的图像处理装置，其中，
在通过使用从所述第一图像获得的图像特征值和与所述待处理像素的预测编码有关的编码信息中的一者或两者进行分类获得的第一类以及通过使用在解码侧不能获取的预定信息进行分类获得的第二类之中，所述收集单元收集所述第二类，并且
所述分类单元：
将所述待处理像素分类成所述第一类，以及
根据所述第一类和由所述收集单元收集的所述第二类生成所述待处理像素的最终类。
<17>
根据<16>所述的图像处理装置，其中，
所述收集单元收集用于将所述待处理像素的最终类转换成缩减类的转换表，在所述缩减类中，所述待处理像素的最终类的类数目被缩减，并且
所述分类单元根据所述转换表将所述待处理像素的最终类转换成所述缩减类。
<18>
根据<13>所述的图像处理装置，其中，
所述发送单元收集通过执行使用所述学生图像来获得抽头系数的抽头系数学习并且通过重复进行一个层的学习而获得的抽头系数和分类系数，所述一个层的学习包括：
使用抽头系数和从所述学生图像选择的预测抽头来执行预测计算，以获得所述教师图像的像素的像素预测值；
将所述像素预测值与所述教师图像的像素的像素值进行比较，以生成与所述学生图像的像素的子类有关的信息；
执行分类系数学习，所述分类系数学习用于获得所述分类系数，所述分类系数用于将使用学生图像和通过学习获得的分类系数来获得与所述子类有关的信息的预测计算的结果同与所述子类有关的信息之间的统计误差最小化；
使用通过所述分类系数学习获得的分类系数和所述学生图像来执行预测计算，以获得用于预测与所述学生图像的像素的子类有关的信息的子类预测值；
根据所述子类预测值，将所述学生图像的像素分类成子类；以及
使用每个子类的学生图像的像素来执行该子类的抽头系数学习，并且
所述分类单元通过重复以下步骤来对所述待处理像素进行分类：
通过使用作为用于所述分类的类抽头的所述第一图像的像素的像素值和所述分类系数执行预测计算来获得用于预测与所述待处理像素的子类有关的信息的子类预测值；以及
根据所述子类预测值，将所述待处理像素分类成子类。
<19>
根据<1>至<18>中任一项所述的图像处理装置，其中，
所述滤波处理单元用作包括在ILF(环路滤波器)中的DF(去块滤波器)、SAO(样本自适应偏移)和ALF(自适应环路滤波器)中的一个或更多个。
<20>
一种图像处理方法，包括：
对通过将预测编码的残差与预测图像相加获得的第一图像应用滤波处理以生成用于对所述预测图像进行预测的第二图像的步骤，
所述滤波处理包括：
从所述第一图像中选择作为用于预测计算的预测抽头的像素，所述预测计算用于获得与所述第一图像中的作为处理目标的待处理像素对应的所述第二图像的对应像素的像素值；
将所述待处理像素分类成多个类中的一个类；
获取用于所述多个类中的每一个类的预测计算的抽头系数中的所述待处理像素的类的抽头系数，用于所述多个类中的每一个类的预测计算的抽头系数是通过使用与所述第一图像等同的学生图像以及与对应于所述第一图像的原始图像等同的教师图像进行学习获得的；以及
通过使用所述待处理像素的类的抽头系数和所述待处理像素的预测抽头执行所述预测计算来获得所述对应像素的像素值。
附图标记列表
11 编码装置、12 解码装置、21,22 抽头选择单元、23 分类单元、24 系数获取单元、25 预测计算单元、30 学习装置、31 教师数据生成单元、32 学生数据生成单元、33 学习单元、41,42 抽头选择单元、43 分类单元、44 求和单元、45 系数计算单元、61 参数生成单元、62 学生数据生成单元、63 学习单元、71 求和单元、72 系数计算单元、81,82 求和单元、83 系数计算单元、101 A/D转换单元、102 重排缓冲器、103 计算单元、104 正交变换单元、105 量化单元、106 可逆编码单元、107 累积缓冲器、108 逆量化单元、109 逆正交变换单元、110 计算单元、111 自适应分类滤波器、112 帧存储器、113 选择单元、114 帧内预测单元、115 运动预测补偿单元、116 预测图像选择单元、117 速率控制单元、131 图像转换装置、132 学习装置、201 累积缓冲器、202 可逆解码单元、203 逆量化单元、204 逆正交变换单元、205 计算单元、206 自适应分类滤波器、207 重排缓冲器、208 D/A转换单元、210帧存储器、211选择单元、212 帧内预测单元、213 运动预测补偿单元、214 选择单元、231 图像转换装置、241,242 抽头选择单元、243 分类单元、244 系数获取单元、245 预测计算单元、261 自适应分类滤波器、262 自适应偏移单元、263 自适应环路滤波器、271 自适应分类滤波器、272 自适应偏移单元、273 自适应环路滤波器、281 去块滤波器、282 自适应分类滤波器、291 去块滤波器、292,311,321,411 自适应分类滤波器、431 图像转换装置、432学习装置、441 分类单元、451 第一分类单元、452 第二分类单元、453 类代码生成单元、461 分类单元、471 自适应分类滤波器、481 图像转换装置、491 分类单元、501 第一分类单元、502 类代码生成单元、511 自适应分类滤波器、531 图像转换装置、532 学习装置、541 分类单元、551 类缩减单元、562 转换表生成单元、571 自适应分类滤波器、581 图像转换装置、591 分类单元、601 类缩减单元、701 抽头系数学习单元、702 抽头系数设置单元、703 子类教师数据生成单元、704 分类系数学习单元、705 分类系数设置单元、706 子类预测单元、707 子分类单元、708 子类决定单元、709 像素预测单元、710 结束条件确定单元、721 分类单元、722 系数获取单元、731 分类系数设置单元、732 子类预测单元、733子分类单元、734 类决定单元、811 自适应分类滤波器、831图像转换装置、832学习装置、841 分类单元、842 系数获取单元、861 自适应分类滤波器、871 图像转换装置、881 分类单元、882 系数获取单元、911 发送频带检测单元、912 发送量计算单元、913 发送目标系数设置单元。

Claims (20)

1.一种图像处理装置，包括：
滤波处理单元，其对通过将预测编码的残差与预测图像相加获得的第一图像应用滤波处理，以生成用于对所述预测图像进行预测的第二图像，
所述滤波处理单元包括：
预测抽头选择单元，其从所述第一图像中选择作为用于预测计算的预测抽头的像素，所述预测计算用于获得与所述第一图像中的作为处理目标的待处理像素对应的所述第二图像的对应像素的像素值；
分类单元，其将待处理像素分类成多个类中的一个类；
抽头系数获取单元，其获取用于所述多个类中的每一个类的预测计算的抽头系数中的所述待处理像素的类的抽头系数，用于所述多个类中的每一个类的预测计算的抽头系数是通过使用与所述第一图像等同的学生图像以及与对应于所述第一图像的原始图像等同的教师图像进行学习获得的；以及
计算单元，其通过使用所述待处理像素的类的抽头系数和所述待处理像素的预测抽头执行所述预测计算来获得所述对应像素的像素值。
2.根据权利要求1所述的图像处理装置，还包括：
发送单元，其发送所述抽头系数。
3.根据权利要求2所述的图像处理装置，还包括：
学习单元，其执行所述学习。
4.根据权利要求2所述的图像处理装置，其中，
所述分类单元通过使用从所述第一图像获得的图像特征值和与所述待处理像素的预测编码有关的编码信息中的一者或两者来执行分类。
5.根据权利要求4所述的图像处理装置，其中，
所述发送单元发送所述编码信息。
6.根据权利要求2所述的图像处理装置，其中，
所述分类单元：
通过使用从所述第一图像获得的图像特征值和与所述待处理像素的预测编码有关的编码信息中的一者或两者，将所述待处理像素分类成第一类，
通过使用在解码侧不能获取的预定信息，将所述待处理像素分类成第二类，以及
根据所述第一类和所述第二类生成所述待处理像素的最终类，并且
所述发送单元发送所述第二类。
7.根据权利要求6所述的图像处理装置，其中，
所述分类单元根据用于将所述待处理像素的最终类转换成缩减类的转换表将所述待处理像素的最终类转换成缩减类，在所述缩减类中，所述待处理像素的最终类的类数目被缩减，
所述抽头系数获取单元获取所述待处理像素的缩减类的抽头系数，并且
所述发送单元发送所述转换表。
8.根据权利要求2所述的图像处理装置，其中，
所述分类单元通过重复以下步骤对所述待处理像素进行分类：
通过使用作为用于所述分类的类抽头的所述第一图像的像素的像素值以及预定的分类系数执行预测计算来获得用于预测与所述待处理像素的子类有关的信息的子类预测值；以及
根据所述子类预测值，将所述待处理像素分类成子类，并且
所述发送单元发送所述分类系数。
9.根据权利要求8所述的图像处理装置，其中，
所述图像处理装置使用所述学生图像来执行用于获得抽头系数的抽头系数学习，并且
所述图像处理装置还包括学习单元，所述学习单元执行一个层的学习，所述学习包括：
使用抽头系数和从所述学生图像选择的预测抽头来执行预测计算，以获得所述教师图像的像素的像素预测值；
将所述像素预测值与所述教师图像的像素的像素值进行比较，以生成与所述子类有关的信息；
执行分类系数学习，所述分类系数学习用于获得所述分类系数，所述分类系数用于将使用所述学生图像来获得与所述子类有关的信息的预测计算的结果同与所述子类有关的信息之间的统计误差最小化；
使用通过所述分类系数学习获得的所述分类系数和所述学生图像来执行预测计算，以获得所述学生图像的像素的所述子类预测值；
根据所述子类预测值，将所述学生图像的像素分类成所述子类；以及
使用每个子类的学生图像的像素来执行对该子类的抽头系数学习。
10.根据权利要求9所述的图像处理装置，其中，
所述学习单元根据所述像素预测值的S/N(信噪比)重复进行所述一个层的学习。
11.根据权利要求10所述的图像处理装置，其中，
所述发送单元发送通过所述一个层的学习中的最后学习而获得的抽头系数以及通过所有的所述一个层的学习而获得的分类系数。
12.根据权利要求10所述的图像处理装置，其中，
所述学习单元根据能够被发送的可发送量，将通过第预定次的所述一个层的学习而获得的抽头系数以及通过所述第预定次之前的所述一个层的学习而获得的分类系数设置为待发送的发送目标系数，并且
所述发送单元发送所述待发送系数。
13.根据权利要求1所述的图像处理装置，还包括：
收集单元，其收集抽头系数。
14.根据权利要求13所述的图像处理装置，其中，
所述分类单元通过使用从所述第一图像获得的图像特征值和与所述待处理像素的预测编码有关的编码信息中的一者或两者来执行分类。
15.根据权利要求14所述的图像处理装置，其中，
所述收集单元收集所述编码信息。
16.根据权利要求13所述的图像处理装置，其中，
在通过使用从所述第一图像获得的图像特征值和与所述待处理像素的预测编码有关的编码信息中的一者或两者进行分类获得的第一类以及通过使用在解码侧不能获取的预定信息进行分类获得的第二类之中，所述收集单元收集所述第二类，并且
所述分类单元：
将所述待处理像素分类成所述第一类，以及
根据所述第一类和由所述收集单元收集的所述第二类生成所述待处理像素的最终类。
17.根据权利要求16所述的图像处理装置，其中，
所述收集单元收集用于将所述待处理像素的最终类转换成缩减类的转换表，在所述缩减类中，所述待处理像素的最终类的类数目被缩减，并且
所述分类单元根据所述转换表将所述待处理像素的最终类转换成所述缩减类。
18.根据权利要求13所述的图像处理装置，其中，
所述发送单元收集通过执行使用所述学生图像来获得抽头系数的抽头系数学习并且通过重复进行一个层的学习而获得的抽头系数和分类系数，所述一个层的学习包括：
使用抽头系数和从所述学生图像选择的预测抽头来执行预测计算，以获得所述教师图像的像素的像素预测值；
将所述像素预测值与所述教师图像的像素的像素值进行比较，以生成与所述学生图像的像素的子类有关的信息；
执行分类系数学习，所述分类系数学习用于获得所述分类系数，所述分类系数用于将使用学生图像和通过学习获得的分类系数来获得与所述子类有关的信息的预测计算的结果同与所述子类有关的信息之间的统计误差最小化；
使用通过所述分类系数学习获得的分类系数和所述学生图像来执行预测计算，以获得用于预测与所述学生图像的像素的子类有关的信息的子类预测值；
根据所述子类预测值，将所述学生图像的像素分类成子类；以及
使用每个子类的学生图像的像素来执行该子类的抽头系数学习，并且
所述分类单元通过重复以下步骤来对所述待处理像素进行分类：
通过使用作为用于所述分类的类抽头的所述第一图像的像素的像素值和所述分类系数执行预测计算来获得用于预测与所述待处理像素的子类有关的信息的子类预测值；以及
根据所述子类预测值，将所述待处理像素分类成子类。
19.根据权利要求1所述的图像处理装置，其中，
所述滤波处理单元用作包括在ILF(环路滤波器)中的DF(去块滤波器)、SAO(样本自适应偏移)和ALF(自适应环路滤波器)中的一个或更多个。
20.一种图像处理方法，包括：
对通过将预测编码的残差与预测图像相加获得的第一图像应用滤波处理以生成用于对所述预测图像进行预测的第二图像的步骤，
所述滤波处理包括：
从所述第一图像中选择作为用于预测计算的预测抽头的像素，所述预测计算用于获得与所述第一图像中的作为处理目标的待处理像素对应的所述第二图像的对应像素的像素值；
将所述待处理像素分类成多个类中的一个类；
获取用于所述多个类中的每一个类的预测计算的抽头系数中的所述待处理像素的类的抽头系数，用于所述多个类中的每一个类的预测计算的抽头系数是通过使用与所述第一图像等同的学生图像以及与对应于所述第一图像的原始图像等同的教师图像进行学习获得的；以及
通过使用所述待处理像素的类的抽头系数和所述待处理像素的预测抽头执行所述预测计算来获得所述对应像素的像素值。
CN201780025492.1A 2016-05-02 2017-04-18 图像处理装置和图像处理方法 Pending CN109076217A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016092650 2016-05-02
JP2016-092650 2016-05-02
PCT/JP2017/015521 WO2017191749A1 (ja) 2016-05-02 2017-04-18 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN109076217A true CN109076217A (zh) 2018-12-21

Family

ID=60203107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780025492.1A Pending CN109076217A (zh) 2016-05-02 2017-04-18 图像处理装置和图像处理方法

Country Status (6)

Country Link
US (1) US20190124327A1 (zh)
EP (2) EP3454557A1 (zh)
JP (1) JPWO2017191749A1 (zh)
KR (1) KR20190003497A (zh)
CN (1) CN109076217A (zh)
WO (1) WO2017191749A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461147A (zh) * 2020-04-30 2020-07-28 柳州智视科技有限公司 一种基于图像特征的二进制编码组织算法
WO2023082107A1 (zh) * 2021-11-10 2023-05-19 Oppo广东移动通信有限公司 解码方法、编码方法、解码器、编码器和编解码***

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4178204A1 (en) * 2015-08-20 2023-05-10 Nippon Hoso Kyokai Image decoding device, and image decoding method
WO2017191750A1 (ja) * 2016-05-02 2017-11-09 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
US11451833B2 (en) * 2017-12-01 2022-09-20 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
WO2019111720A1 (ja) * 2017-12-06 2019-06-13 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
JPWO2019131161A1 (ja) * 2017-12-27 2020-12-17 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
KR102622950B1 (ko) * 2018-11-12 2024-01-10 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체
CN114097227A (zh) * 2019-07-11 2022-02-25 三星电子株式会社 视频解码方法和设备以及视频编码方法和设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912255B2 (en) * 2002-05-30 2005-06-28 Mobixell Netwoks Inc. Bit rate control through selective modification of DCT coefficients
CN101616324A (zh) * 2009-07-28 2009-12-30 谭洪舟 压缩编码图像的块效应去除装置
CN101841706A (zh) * 2009-12-10 2010-09-22 香港应用科技研究院有限公司 改善视频质量的方法和装置
CN102857749A (zh) * 2011-07-01 2013-01-02 华为技术有限公司 一种视频图像的像素分类方法和装置
CN103959777A (zh) * 2011-10-13 2014-07-30 高通股份有限公司 视频译码中的与自适应环路滤波器合并的样本自适应偏移
CN104541502A (zh) * 2012-09-24 2015-04-22 英特尔公司 用于视频编码和解码的基于直方图分段的局部自适应滤波器
US9189838B2 (en) * 2007-04-23 2015-11-17 Comagna Kft Method and apparatus for image processing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5347862B2 (zh) 1973-01-11 1978-12-23
JP3758228B2 (ja) * 1996-02-29 2006-03-22 ソニー株式会社 クラス分類適応処理における学習方法および学習装置
JP4140259B2 (ja) * 2002-03-29 2008-08-27 ソニー株式会社 情報信号処理装置、情報信号処理方法、プログラムおよびコンピュータ読み取り可能な媒体
JP4158479B2 (ja) * 2002-10-18 2008-10-01 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
JP4240322B2 (ja) 2005-10-03 2009-03-18 ソニー株式会社 係数生成装置及び係数生成方法
JP4770711B2 (ja) 2006-11-15 2011-09-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8204128B2 (en) * 2007-08-01 2012-06-19 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Learning filters for enhancing the quality of block coded still and video images
EP2237557A1 (en) 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
MX2011013861A (es) * 2009-06-19 2012-02-13 Mitsubishi Electric Corp Dispositivo de codificacion de imagen, dispositivo de decodificacion de imagen, metodo de codificacion de imagen y metodo de decodificacion de imagen.
JP2012235407A (ja) * 2011-05-09 2012-11-29 Sony Corp 画像処理装置および画像処理方法
MX2014000046A (es) 2011-06-28 2014-02-17 Samsung Electronics Co Ltd Metodo de codificacion de video que utiliza ajustes de desplazamiento de comformidad clasificacion de pixel y aparato para ello, metodo de decodificacion de video y aparato para ello.
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
JP2013085113A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
WO2014049981A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912255B2 (en) * 2002-05-30 2005-06-28 Mobixell Netwoks Inc. Bit rate control through selective modification of DCT coefficients
US9189838B2 (en) * 2007-04-23 2015-11-17 Comagna Kft Method and apparatus for image processing
CN101616324A (zh) * 2009-07-28 2009-12-30 谭洪舟 压缩编码图像的块效应去除装置
CN101841706A (zh) * 2009-12-10 2010-09-22 香港应用科技研究院有限公司 改善视频质量的方法和装置
CN102857749A (zh) * 2011-07-01 2013-01-02 华为技术有限公司 一种视频图像的像素分类方法和装置
CN103959777A (zh) * 2011-10-13 2014-07-30 高通股份有限公司 视频译码中的与自适应环路滤波器合并的样本自适应偏移
CN104541502A (zh) * 2012-09-24 2015-04-22 英特尔公司 用于视频编码和解码的基于直方图分段的局部自适应滤波器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461147A (zh) * 2020-04-30 2020-07-28 柳州智视科技有限公司 一种基于图像特征的二进制编码组织算法
WO2023082107A1 (zh) * 2021-11-10 2023-05-19 Oppo广东移动通信有限公司 解码方法、编码方法、解码器、编码器和编解码***

Also Published As

Publication number Publication date
EP3454557A4 (en) 2019-03-13
EP3454557A1 (en) 2019-03-13
WO2017191749A1 (ja) 2017-11-09
EP3684056A1 (en) 2020-07-22
JPWO2017191749A1 (ja) 2019-03-07
US20190124327A1 (en) 2019-04-25
KR20190003497A (ko) 2019-01-09

Similar Documents

Publication Publication Date Title
CN109076217A (zh) 图像处理装置和图像处理方法
CN109417621A (zh) 图像处理装置及方法
CN109076226A (zh) 图像处理装置和方法
JP6977719B2 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
CN104620586B (zh) 图像处理装置和方法
CN109076222A (zh) 图像处理装置和方法
CN109804632A (zh) 图像处理装置和图像处理方法
CN105359522B (zh) 图像解码装置和方法
CN105900424B (zh) 解码装置、解码方法、编码装置以及编码方法
CN109644269A (zh) 图像处理设备、图像处理方法和程序
CN110431843A (zh) 图像处理装置及方法
CN109076242A (zh) 图像处理设备和方法
CN105915908A (zh) 图像处理装置和图像处理方法
CN105594208A (zh) 解码装置、解码方法、编码装置以及编码方法
CN105230017B (zh) 图像编码装置和方法以及图像解码装置和方法
CN110169072A (zh) 图像处理装置和图像处理方法
JP7047776B2 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
CN110169071A (zh) 图像处理装置和图像处理方法
CN107683606A (zh) 图像处理装置和图像处理方法
CN109691100A (zh) 图像处理设备和图像处理方法
CN105874801A (zh) 解码设备和解码方法、以及编码设备和编码方法
CN110476427A (zh) 编码装置和编码方法以及解码装置和解码方法
CN110383836A (zh) 编码装置、编码方法、解码装置和解码方法
CN109219959A (zh) 图像处理装置及方法
CN102986222B (zh) 编码设备、编码方法、解码设备以及解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221