CN111903125A - 图像编码装置、图像编码方法、图像解码装置和图像解码方法 - Google Patents

图像编码装置、图像编码方法、图像解码装置和图像解码方法 Download PDF

Info

Publication number
CN111903125A
CN111903125A CN201980021591.1A CN201980021591A CN111903125A CN 111903125 A CN111903125 A CN 111903125A CN 201980021591 A CN201980021591 A CN 201980021591A CN 111903125 A CN111903125 A CN 111903125A
Authority
CN
China
Prior art keywords
image
orthogonal transform
transform
unit
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980021591.1A
Other languages
English (en)
Inventor
近藤健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111903125A publication Critical patent/CN111903125A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开内容涉及可以减少在编码处理和解码处理中执行的处理量的图像编码装置、图像编码方法、图像解码装置和图像解码方法。在该编码装置中，设置用于识别正交变换最大尺寸阈值的识别信息，如果编码单元大于正交变换最大尺寸阈值，则对编码单元执行简单正交变换，并且对作为简单正交变换的结果的简单变换系数进行编码，以生成包括识别信息的比特流。在图像解码装置中，从比特流中解析识别信息，对比特流进行解码，以生成作为对编码单元执行简单正交变换而获得的结果的简单变换系数，并且对识别信息执行与编码单元的尺寸相对应的简单逆正交变换。本公开内容可以例如适用于对图像进行编码的图像编码装置和对图像进行解码的图像解码装置。

Description

图像编码装置、图像编码方法、图像解码装置和图像解码方法
技术领域
本公开内容涉及图像编码装置、图像编码方法、图像解码装置和图像解码方法，尤其涉及能够减少编码和解码的处理量的图像编码装置、图像编码方法、图像解码装置和图像解码方法。
背景技术
搜索ITU-T(国际电信联盟电信标准化部门)的下一代视频编码的JVET(联合视频探索小组)提出了帧间预测(仿射运动补偿(MC)预测)，基于子块的顶点的运动矢量，该帧间预测利用参考图像的仿射变换来执行运动补偿(例如，参见NPL 1)。利用这样的帧间预测，不仅可以预测屏幕之间的平移(平行运动)，还可以预测更复杂的运动，例如旋转、缩放和倾斜。随着预测质量提高，编码效率期望提高。
引用列表
非专利文献
[NPL 1]
Jianle Chen，Elena Alshina，Gary J.Sullivan，Jens-Rainer，JillBoyce的“Algorithm Description of Joint Exploration Test Model 4”，JVET-G1001_v1,ITU-TSG 16 WP 3的联合视频探索小组(JVET)和ISO/IEC JTC 1/SC 29/WG 11第七次会议：都灵，意大利，2017年7月13日至21日
发明内容
技术问题
顺便提及，由于上述仿射变换中的代码量大，因此应用仿射变换来执行帧间预测不仅改善了预测质量，而且还提高了具有大尺寸的编码单元的编码效率。然而，关注的是，当编码单元的尺寸增加时，例如编码和解码中的正交变换和逆正交变换的处理量增加。
鉴于这样的情况做出本公开内容，并且本公开内容实现了编码和解码的处理量的减少。
根据本公开内容的第一方面，提供了一种图像编码装置，包括：设置部，其被配置成设置用于识别正交变换最大尺寸的阈值的识别信息，正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸；正交变换部，其被配置成在作为图像的编码中的处理单元的编码单元大于正交变换最大尺寸的阈值的情况下，对编码单元执行简单正交变换；以及编码部，其被配置成对作为通过正交变换部的简单正交变换的结果获得的简单变换系数进行编码，从而生成包括识别信息的比特流。
根据本公开内容的第一方面，提供了一种图像编码方法，包括：通过被配置成对图像进行编码的编码装置，设置用于识别正交变换最大尺寸的阈值的识别信息，正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸；在作为图像的编码中的处理单元的编码单元大于正交变换最大尺寸的阈值的情况下，对编码单元执行简单正交变换；以及对作为简单正交变换的结果的简单变换系数进行编码，从而生成包括识别信息的比特流。
在本公开内容的第一方面中，设置用于识别正交变换最大尺寸的阈值的识别信息，正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸。在作为图像的编码中的处理单元的编码单元大于正交变换最大尺寸的阈值的情况下，对编码单元执行简单正交变换。对作为简单正交变换的结果而获得的简单变换系数进行编码，从而生成包括识别信息的比特流。
根据本公开内容的第二方面，提供了一种图像解码装置，包括：解析部，其被配置成从包括用于识别正交变换最大尺寸的阈值的识别信息的比特流中解析识别信息，正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸；解码部，其被配置成对比特流进行解码，以生成作为对编码单元进行简单正交变换的结果的简单变换系数，所述编码单元为对所述图像进行编码时的处理单元；以及逆正交变换部，其被配置成通过参考由解析部解析的识别信息基于编码单元的尺寸来执行简单逆正交变换。
根据本公开内容的第二方面，提供了一种图像解码方法，包括：通过被配置成对图像进行解码的解码装置，从包括用于识别正交变换最大尺寸的阈值的识别信息的比特流中解析识别信息，正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸；对比特流进行解码，以生成作为对编码单元进行简单正交变换的结果的简单变换系数，所述编码单元为对所述图像进行编码时的处理单元；以及通过参考解析的识别信息基于编码单元的尺寸来执行简单逆正交变换。
在本公开内容的第二方面中，从包括用于识别正交变换最大尺寸的阈值的识别信息的比特流中解析识别信息，正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸。对比特流进行解码，从而生成作为对作为在图像的编码中的处理单元的编码单元的简单正交变换的结果的简单变换系数。通过参考所解析的识别信息，基于编码单元的尺寸来执行简单逆正交变换。
发明的有益效果
根据本公开内容的第一方面和第二方面，可以减少编码和解码的处理量。
注意，此处描述的效果不一定是限制性的，并且可以是本公开内容中描述的任何效果。
附图说明
[图1]图1是示出应用本技术的图像传输***的一个实施方式的配置示例的框图。
[图2]图2是示出在编码电路中执行的处理的图。
[图3]图3是示出在解码电路中执行的处理的图。
[图4]图4是示出图像编码装置的一个实施方式的配置示例的框图。
[图5]图5是示出图像解码装置的一个实施方式的配置示例的框图。
[图6]图6是示出图像编码的流程图。
[图7]图7是示出在执行简单正交变换的情况下的处理的第一处理示例的流程图。
[图8]图8是示出在执行简单正交变换的情况下的处理的第二处理示例的流程图。
[图9]图9是示出在执行简单正交变换的情况下的处理的第三处理示例的流程图。
[图10]图10是示出图像解码的流程图。
[图11]图11是示出在执行简单逆正交变换的情况下的处理的第一处理示例的流程图。
[图12]图12是示出在执行简单逆正交变换的情况下的处理的第二处理示例的流程图。
[图13]图13是示出在执行简单逆正交变换的情况下的处理的第三处理示例的流程图。
[图14]图14是示出应用本技术的计算机的一个实施方式的配置示例的框图。
具体实施方式
<支持技术内容和技术术语的文档等>
本技术公开的范围不仅包括实施方式中描述的范围，而且还包括在提交本申请时众所周知的以下NPL中描述的内容。
NPL 1：(如上所描述的)
NPL 2：ITU(国际电信联盟)的电信标准化部门，“High efficiency videocoding”，H.265，2016年12月
NPL 3：ITU(国际电信联盟)的电信标准化部门，“Advanced video coding forgeneric audiovisual services”，H.264，2017年4月
即，以上描述的NPL 1至NPL 3中描述的内容还用作用于确定支持要求的基础。例如，即使在实施方式中未直接描述在NPL 1中描述的QTBT(四叉树加二叉树)块结构或在NPL2中描述的QT(四叉树)块结构的情况下，这样的结构也在本技术的公开内容的范围内，并且满足权利要求的范围的支持要求。此外，以类似的方式，即使在实施方式中未直接描述技术术语诸如解析、语法和语义的情况下，这样的技术术语也在本技术的公开内容的范围内，并且满足权利要求的范围的支持要求。
<术语>
在本申请中，以下术语定义如下。
<块>
除非另有说明，否则描述为图像(图片)或处理单元的部分区域的“块”(不是表示处理部的块)表示图片中的特定部分区域，并且块的大小、形状、特性等不受限制。例如，“块”包括任何部分区域(处理单元)，例如TB(变换块)、TU(变换单元)、PB(预测块)、PU(预测单元)、SCU(最小编码单元)、CU(编码单元)、LCU(最大编码单元)、CTB(编码树块)、CTU(编码树单元)、变换块、子块、宏块、区块或片。
<块大小的规格>
此外，当要指定这样的块的大小时，可以间接地指定块大小，而不是直接指定块大小。例如，可以通过使用用于识别大小的识别信息来指定块大小。此外，例如，可以从相对于用作基准的块(例如，LCU或SCU)的大小的比率或差来指定块大小。例如，在用于指定块大小的信息作为语法元素等被发送的情况下，如上所描述的用于间接指定大小的信息可以被用作首先提到的信息。这样，可以减少这样的信息的信息量，并且在某些情况下，可以提高编码效率。此外，指定块大小还包括指定块大小的范围(例如，指定允许块大小的范围)。
<信息和处理单元>
在任何数据单元中设置各种类型的信息，并且对任何单元中的数据执行各种类型的处理；以上描述的示例不是限制性的。例如，可以针对每个TU(变换单元)、TB(变换块)、PU(预测单元)、PB(预测块)、CU(编码单元)、LCU(最大编码单元)、子块、块、区块、片、图片、序列或部件来设置信息或处理，或者所述信息和处理可以用于这样的数据单元中的数据。不用说，可以针对每条信息或处理来设置该数据单元，并且不需要将所有信息或处理设置在同一数据单元中。注意，信息被存储在自由选择的位置，并且可以被存储在上述数据单元中的报头、参数集等中。此外，信息可以被存储在多个位置中。
<控制信息>
与本技术相关联的控制信息可以从编码侧发送至解码侧。例如，可以发送用于控制是否允许(或禁止)应用以上描述的本技术的控制信息(例如，enabled_flag)。此外，例如，可以发送用于指示是否要应用以上描述的本技术的对象(或者不将本技术应用到的对象)的控制信息。例如，用于指定与本技术的应用兼容(或允许或禁止应用)的块大小(上限、下限或这两个限制)、帧、部件、层等的控制信息。
<标志>
注意，本文的“标志”是用于识别多个状态的信息，不仅包括用于识别真(1)和假(0)这两个状态的信息，还包括允许识别三个或更多个状态的信息。因此，“标志”的可能值可以例如是1/0的两个值或三个或更多个值。即，“标志”具有任何数量的比特，并且可以具有一个比特或多个比特。另外，关于(包括标志的)识别信息，可以在比特流中包括识别信息，或者可以在比特流中包括关于与用作参考的信息有关的识别信息的差异信息。因此，本文的“标志”和“识别信息”不仅包括关于“标志”或“识别信息”的信息，而且还包括与用作参考的信息有关的差异信息。
<元数据的关联>
此外，可以以任何形式发送或记录关于编码数据(比特流)的各种类型的信息(例如元数据)，只要该信息与编码数据相关联。在此，术语“相关联”例如意指在处理一个数据片段期间可以使用(可以链接)另一数据片段。即，彼此相关联的数据片段可以被整合为一个数据片段，或者可以被提供为单独的数据片段。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)的记录介质不同的记录介质上(或者记录在同一记录介质的不同记录区域中)。注意，数据可以部分彼此“关联”，而不是全部彼此“关联”。例如，图像和与图像相对应的信息可以在任何单元诸如多个帧、一个帧或帧的一部分中彼此相关联。
注意，在本文中的术语诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“放入至”和“***”每个均指对多个事物进行分组，例如，对编码数据和元数据进行分组。所述术语每个均意指以上描述的“关联”的一种方法。此外，在本文中，编码不仅包括将图像变换成比特流的整个处理，而且还包括该处理的一部分。例如，编码不仅包括包含预测、正交变换、量化、算术编码等的处理，而且还包括作为量化和算术编码的统称的处理，还包括包含预测、量化和算术编码等的处理。类似地，解码不仅包括将比特流变换为图像的整个处理，而且还包括该处理的一部分。例如，解码不仅包括包含逆算术解码、逆量化、逆正交变换、预测等的处理，而且还包括包含逆算术解码和逆量化的处理，还包括包含逆算术解码、逆量化和预测等的处理。
现在参照附图详细描述应用本技术的具体实施方式。
<本技术的概述>
参照图1至图5描述了本技术的概述。
图1是示出应用本技术的图像处理***的一个实施方式的配置示例的框图。
如图1所示，图像处理***11包括图像编码装置12和图像解码装置13。例如，在图像处理***11中，由未示出的成像装置拍摄的图像被输入至图像编码装置12，并且图像在图像编码装置12中被编码，结果是生成编码数据。这样，在图像处理***11中，编码数据作为比特流从图像编码装置12发送至图像解码装置13。然后，在图像处理***11中，编码数据在图像解码装置13中被解码，从而生成图像。在未示出的显示装置上显示图像。
图像编码装置12包括经由总线彼此连接的图像处理芯片21和外部存储器22。
图像处理芯片21包括：编码电路23，其被配置成对图像进行编码；以及高速缓冲存储器24，其被配置成临时存储编码电路23在对图像进行编码时所需的数据。
外部存储器22包括例如DRAM(动态随机存取存储器)，并且在图像处理芯片21的处理中的处理单元(例如，帧)中存储要在图像编码装置12中编码的图像的数据。注意，在将NPL 1中描述的QTBT(四叉树加二叉树)块结构或NPL 2中描述的QT(四叉树)块结构用作块结构的情况下，CTB(编码树块)、CTU(编码树单元)、PB(预测块)、PU(预测单元)、CU(编码单元)或CB(编码块)可以被存储在外部存储器22中作为处理单元。优选地，作为将块大小固定为序列级别的处理单元的CTB或CTU用作处理单元。
例如，在图像编码装置12中，在存储在外部存储器22中的一个帧(或CTB)的图像的数据中，将在与编码中的处理单元相对应的编码单元中划分的数据读取到高速缓冲存储器24。然后，在图像编码装置12中，编码电路23在存储在高速缓冲存储器24中的编码单元中执行编码，以生成编码数据。注意，这里，描述了以相同维度处理CU和TU的块的情况，但是可以以诸如QT的不同维度来处理CU和TU的块。
在此，在图像编码装置12中，当生成编码数据时，如稍后参照图4所描述的，基于变换信息Tinfo对预测残差D执行正交变换，并且生成变换系数Coeff作为正交变换的结果。例如，还在与编码单元相对应的处理单元中执行该正交变换。因此，在图像编码装置12中，设置正交变换最大尺寸的阈值，该正交变换最大尺寸是正交变换中的处理单元的最大尺寸。在编码单元大于正交变换最大尺寸的阈值的情况下，执行作为比正交变换简单的处理的简单正交变换，而不是正常的正交变换。例如，简单正交变换包括跳过残差数据的输出、跳过正交变换以及仅生成作为残差数据的直流分量。此外，当执行简单正交变换时，获得不包括残差数据的简单变换系数、包括在空间域中的残差数据的简单变换系数或仅包括作为残差数据的直流分量的简单变换系数。再次注意，描述了以相同维度处理CU和TU的块的情况，但是可以以诸如QT的不同维度来处理CU和TU的块。
然后，在图像处理***11中，将包括用于识别正交变换最大尺寸的阈值的正交变换最大尺寸识别信息的比特流从图像编码装置12发送至图像解码装置13。注意，正交变换最大尺寸识别信息可以是任何表达形式，只要该信息能够识别正交变换的形状或最大尺寸的阈值即可。
图像解码装置13包括经由总线彼此连接的图像处理芯片31和外部存储器32。
图像处理芯片31包括：解码电路33，其被配置成通过对编码数据进行解码来生成图像；以及高速缓存存储器34，其被配置成临时存储解码电路33在对编码数据进行解码时所需的数据。
例如，外部存储器32包括DRAM，并且将要在图像解码装置13中解码的编码数据存储在图像处理单元(例如，帧或CTB)中。
例如，在图像解码装置13中，从比特流中解析正交变换最大尺寸识别信息，并且通过参考编码正交变换最大尺寸识别信息基于编码单元的尺寸来执行正交变换或简单正交变换。然后，在图像解码装置13中，由解码电路33在存储在高速缓冲存储器34中的编码单元中对编码数据进行解码，从而生成图像。
以这样的方式，在图像处理***11的图像编码装置12中，设置用于识别正交变换最大尺寸的阈值的正交变换最大尺寸识别信息，并且将包括子块大小识别信息的比特流发送至图像解码装置13。例如，在图像处理***11中，可以通过高级语法诸如SPS、PPS或SLICE报头来定义正交变换最大尺寸识别信息。例如，考虑到简化图像解码装置13中的处理和解析，正交变换最大尺寸识别信息优选地由SPS或PPS定义。
然后，在图像处理***11中，对大于正交变换最大尺寸的阈值的编码单元进行简单正交变换，从而可以减少编码和解码的处理量。因此，例如，对于要求以减少的处理量而执行的应用，针对正交变换最大尺寸设置小的阈值，从而可以大大减少编码和解码的处理量，从而可以更可靠地执行编码或解码。
参照图2，进一步描述由图像编码装置12的编码电路23执行的处理。
例如，如图2所示，编码电路23被设计成用作设置部、正交变换部和编码部。
具体地，编码电路23可以执行设置用于识别正交变换最大尺寸的阈值的正交变换最大尺寸识别信息的设置处理。
在此，例如，用于执行在图像编码装置12中的图像编码的应用所需的处理量等于或小于预定设置值的情况下，编码电路23设置正交变换最大尺寸识别信息，使得正交变换最大尺寸的阈值取小的值。以类似的方式，在例如用于执行在图像解码装置13中的比特流解码的应用所需的处理量等于或小于预定设置值的情况下，编码电路23设置正交变换最大尺寸识别信息，使得正交变换最大尺寸的阈值取小的值。这里，对于图像编码装置12和图像解码装置13，取决于处理能力，预先设置用于定义要执行的应用的处理量的设置值。例如，在低处理能力的移动终端执行编码或解码的情况下，取决于处理能力设置低的设置值。
此外，在编码单元的尺寸大于正交变换最大尺寸的阈值的情况下，编码电路23可以对编码单元执行简单正交变换，而不是正常正交变换。
这里，在简单正交变换中，编码电路23不对具有尺寸大于正交变换最大尺寸的阈值的编码单元执行正交变换，并且跳过残差数据本身的输出(例如，不执行提供给图4所示的量化部114)。即，在该简单正交变换中，通过对编码单元执行简单正交变换而获得的简单变换系数不包括残差数据。
可替选地，在简单正交变换中，编码电路23跳过对具有尺寸大于正交变换最大尺寸的阈值的编码单元的正交变换，并且输出未经过正交变换的空间域中的残差数据。即，在该简单正交变换中，通过对编码单元执行简单正交变换而获得的简单变换系数包括在空间域中的残差数据。
可替选地，在简单正交变换中，编码电路23对具有尺寸大于正交变换最大尺寸的阈值的编码单元执行正交变换，但是仅生成作为残差数据的直流分量，以输出直流分量。即，在该简单正交变换中，通过对编码单元执行简单正交变换而获得的简单变换系数仅包括用作残差数据的直流分量。
以这样的方式，作为编码电路23中的正交变换或简单正交变换的结果，获得了通过执行正常正交变换而生成的变换系数，或者通过简单正交变换获得的简单变换系数包括空间域中的残差数据或用作残差数据的直流分量。注意，通过简单正交变换获得的简单变换系数不需要包括残差数据。
此外，编码电路23可以执行以下的编码处理：对通过正交变换或简单正交变换而获得的变换系数或简单变换系数(空间域中的残差数据或用作残差数据的直流分量)进行编码，并且生成包括正交变换最大尺寸识别信息的比特流。
参照图3，进一步描述由图像解码装置13的解码电路33执行的处理。
例如，如图3所示，解码电路33被设计成用作解析部、解码部和逆正交变换部。
具体地，解码电路33可以执行以下解析处理：从图像编码装置12发送的比特流中解析用于识别正交变换最大尺寸的阈值的正交变换最大尺寸识别信息。
此外，解码电路33可以执行以下解码处理：对比特流进行解码，并且生成作为编码电路23中的正交变换或简单正交变换的结果而获得的变换系数或简单变换系数。
然后，在编码单元的尺寸大于正交变换最大尺寸的阈值的情况下，解码电路33可以通过参考从比特流解析出的正交变换最大尺寸识别信息来对编码单元执行简单逆正交变换，而不是正常逆正交变换。
这里，在简单逆正交变换中，在编码电路23以简单正交变换跳过残差数据的输出的情况下，编码电路23跳过对具有尺寸大于正交变换最大尺寸的阈值的编码单元的逆正交变换。因此，在这种情况下，来自图像编码装置12的简单变换系数不包括残差数据，并且基本上不执行逆正交变换。这里，不考虑解析用于识别简单变换系数中是否包括残差数据的残差识别信息，编码电路23可以通过参考正交变换最大尺寸识别信息来确定在编码单元的尺寸大于正交变换最大尺寸的阈值的情况下简单变换系数中不包括残差数据。
可替选地，在简单逆正交变换中，在编码电路23已跳过简单正交变换中的正交变换的情况下，编码电路23跳过对具有尺寸大于正交变换最大尺寸的阈值的编码单元的逆正交变换，并且输出未经过正交变换的空间域中的残差数据。因此，在这种情况下，图像解码装置13可以通过不进行任何变化地使用来自图像编码装置12的简单变换系数中所包括的未经过正交变换的空间域中的残差数据来执行解码。
可替选地，在简单逆正交变换中，在编码电路23已在简单正交变换中仅输出作为残差数据的直流分量的情况下，编码电路23不对具有尺寸大于正交变换最大尺寸的阈值的编码单元执行逆正交变换并输出直流分量。因此，在这种情况下，图像解码装置13可以通过不进行任何变化地使用来自图像编码装置12的用作残差数据并且包括在简单变换系数中的直流分量来执行解码。注意，例如，在通过使用用作残差数据的直流分量执行解码的情况下，与不使用残差数据执行解码的情况相比，期望图像质量得到提高。
<图像编码装置的配置示例>
图4是示出应用本技术的图像编码装置的一个实施方式的配置示例的框图。
图4所示的图像编码装置12是被配置成对运动图像的图像数据进行编码的装置。例如，图像编码装置12实现在NPL 1、NPL 2或NPL 3中描述的技术，并且通过符合那些文献中的任何文献中描述的标准的方法来对运动图像的图像数据进行编码。
注意，图4示出了主处理部、主数据流等，并且可能未示出所有内容。即，图像编码装置12可以包括未如图4中的框所示的处理部，或者可能存在未由图4中的箭头等指示的处理或数据流。
如图4所示，图像编码装置12包括控制部101、重新排序缓冲器111、计算部112、正交变换部113、量化部114、编码部115、累积缓冲器116、逆量化部117、逆正交变换部118、计算部119、环内滤波器部120、帧存储器121、预测部122和速率控制部123。注意，预测部122包括帧内预测部和帧间预测部，其并未示出。图像编码装置12是通过对运动图像数据进行编码而生成编码数据(比特流)的装置。
<控制部>
控制部101基于外部或预先指定的处理单元中的块尺寸将由重新排序缓冲器111保持的运动图像数据划分为处理单元的块(CU、PU、变换块等)。此外，控制部101基于例如RDO(率失真优化)来确定要提供给相应的块的编码参数(报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)。
将在后面描述这些编码参数的细节。当如上所描述的确定编码参数时，控制部101将编码参数提供给相应的块。具体说明如下。
报头信息Hinfo被提供给每个块。
预测模式信息Pinfo被提供给编码部115和预测部122。
变换信息Tinfo被提供给编码部115、正交变换部113、量化部114、逆量化部117和逆正交变换部118。
滤波器信息Finfo被提供给环内滤波器部120。
此外，如以上参照图2所描述的，当设置处理单元时，控制部101可以设置用于识别正交变换最大尺寸的阈值的正交变换最大尺寸识别信息。然后，控制部101还将正交变换最大尺寸识别信息提供给编码部115。
<重新排序缓冲器>
将运动图像数据(输入图像)的字段以再现的顺序(显示的顺序)输入至图像编码装置12。重新排序缓冲器111以再现的顺序(显示的顺序)获取并且保存(存储)输入图像。重新排序缓冲器111在控制部101的控制下以编码的顺序(解码的顺序)对输入图像进行重新排序，或者将输入图像划分为处理单元的块。重新排序缓冲器111将每个经处理的输入图像提供给计算部112。此外，重新排序缓冲器111还将每个输入图像(原图像)提供给预测部122和环内滤波器部120。
<计算部>
计算部112接收与处理单元中的块相对应的图像I和从预测部122提供的预测图像P，并从图像I中减去预测图像P，以得到预测残差D(D＝I-P)。计算部112将得到的预测残差D提供给正交变换部113。
<正交变换部>
正交变换部113接收从计算部112提供的预测残差D和从控制部101提供的变换信息Tinfo，并且基于变换信息Tinfo对预测残差D执行正交变换，从而得到变换系数Coeff。正交变换部113将由此获得的变换系数Coeff提供给量化部114。
这里，如参照图2所描述的，正交变换部113可以通过参考正交变换最大尺寸的阈值基于编码单元的尺寸来执行正交变换或简单正交变换。然后，在正交变换部113执行正交变换的情况下，正交变换部113将在处理中生成的变换系数Coeff提供给量化部114。
同时，在正交变换部113执行简单正交变换的情况下，如上面参照图2所描述的，正交变换部113跳过残差数据的输出，将空间域中的残差数据作为简单变换系数提供给量化部114，或者仅将用作残差数据的直流分量作为简单变换系数提供给量化部114。
<量化部>
量化部114接收从正交变换部113提供的变换系数Coeff和从控制部101提供的变换信息Tinfo，并且基于变换信息Tinfo对变换系数Coeff进行缩放(量化)。注意，该量化的速率由速率控制部123控制。量化部114将通过这样的量化获得的量化变换系数——即，量化的变换系数级别“level”——提供给编码部115和逆量化部117。
<编码部>
编码部115接收从量化部114提供的量化的变换系数级别“level”、从控制部101提供的各种编码参数(报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)、与滤波器相关联的信息例如从环内滤波器部120提供的滤波器系数以及与最佳预测模式相关联的并且从预测部122提供的信息。编码部115对量化的变换系数级别“level”执行可变长度编码(例如，算术编码)，以生成比特串(编码数据)。
此外，编码部115从量化的变换系数级别“level”得到残差信息Rinfo，并且对残差信息Rinfo进行编码，以生成比特串。
此外，编码部115将与从环内滤波器部120提供的与滤波器相关联的信息放入滤波器信息Finfo中，并且将从预测部122提供的与最佳预测模式相关联的信息放入预测模式信息Pinfo中。然后，编码部115对上述各种编码参数(报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)进行编码，以生成比特串。
此外，编码部115对如上所述生成的各种类型的信息的比特串进行复用，以生成编码数据。编码部115将编码数据提供给累积缓冲器116。
另外，编码部115可以对从控制部101提供的正交变换最大尺寸识别信息进行编码以生成比特串，并且可以对该比特串进行复用，以生成编码数据。这样，如上面参照图1所描述的，发送包括正交变换最大尺寸识别信息的编码数据(比特流)。
<累积缓冲器>
累积缓冲器116临时保存由编码部115获得的编码数据。例如，累积缓冲器116在预定定时将所保存的编码数据作为比特流输出至图像编码装置12的外部。例如，该编码数据通过任何记录介质、任何传输介质或任何信息处理装置被发送至解码侧。即，累积缓冲器116也是被配置成发送编码数据(比特流)的发送部。
<逆量化部>
逆量化部117执行逆量化的处理。例如，逆量化部117接收从量化部114提供的量化的变换系数级别“level”以及从控制部101提供的变换信息Tinfo，并且基于变换信息Tinfo对量化的变换系数级别“level”的值进行缩放(逆量化)。注意，该逆量化是与在量化部114中执行的量化相反的处理。逆量化部117将通过这样的逆量化获得的变换系数Coeff_IQ提供给逆正交变换部118。
<逆正交变换部>
逆正交变换部118执行逆正交变换的处理。例如，逆正交变换部118接收从逆量化部117提供的变换系数Coeff_IQ和从控制部101提供的变换信息Tinfo，并基于变换信息Tinfo对变换系数Coeff_IQ执行逆正交变换，从而得到预测残差D'。注意，该逆正交变换是与在正交变换部113中执行的正交变换相反的处理。逆正交变换部118将通过这样的逆正交变换获得的预测残差D'提供给计算部119。注意，由于逆正交变换部118与(稍后描述的)在解码侧的逆正交变换部类似，因此(稍后给出的)关于解码侧的描述适用于逆正交变换部118。
<计算部>
计算部119接收从逆正交变换部118提供的预测残差D'和从预测部122提供的预测图像P。计算部119将预测残差D'与对应于预测残差D'的预测图像P相加，从而得到局部解码图像Rlocal(Rlocal＝D'+P)。计算部119将得到的局部解码图像Rlocal提供给环内滤波器部120和帧存储器121。
<环内滤波器部>
环内滤波器部120执行环内滤波的处理。例如，环内滤波器部120接收从计算部119提供的局部解码图像Rlocal、从控制部101提供的滤波器信息Finfo以及从重新排序缓冲器111提供的输入图像(原始图像)。注意，环内滤波器部120接收任何自由选择的信息，并且可能会接收除了这些信息以外的信息。例如，根据需要，可以将关于预测模式、运动信息、代码量目标值、量化参数QP、图片类型或块(CU、CTU等)的信息输入至环内滤波器部120。
环内滤波器部120基于滤波器信息Finfo对局部解码图像Rlocal进行适当地滤波。环内滤波器部120在过滤时根据需要使用输入图像(原始图像)或其他类型的输入信息。
例如，如NPL 1中所描述的，环内滤波器部120按如下顺序应用四个环内滤波器，即双边滤波器、解块滤波器(DBF)、自适应偏移滤波器(SAO(样本自适应偏移))和自适应环路滤波器(ALF)。注意，可以自由地确定并且可以适当地选择应用哪个滤波器以及滤波器的顺序。
不用说，环内滤波器部120执行任何类型的滤波，并且以上描述的示例不是限制性的。例如，环内滤波器部120可以应用维纳(Wiener)滤波器等。
环内滤波器部120将经滤波的局部解码图像Rlocal提供给帧存储器121。注意，例如，在与滤波器相关联的信息例如滤波器系数被发送至解码侧的情况下，环内滤波器部120将与滤波器相关联的信息提供给编码部115。
<帧存储器>
帧存储器121执行用于存储图像数据的处理。例如，帧存储器121接收并保存(存储)从计算部119提供的局部解码图像Rlocal和从环内滤波器部120提供的经滤波的局部解码图像Rlocal。此外，帧存储器121通过使用局部解码图像Rlocal以图片为单位来重构解码图像R，并且保存解码图像R(将解码图像R存储在帧存储器121中的缓冲器中)。帧存储器121响应于来自预测部122的请求将解码图像R(或其一部分)提供给预测部122。
<预测部>
预测部122执行用于生成预测图像的处理。例如，预测部122接收从控制部101提供的预测模式信息Pinfo、从重新排序缓冲器111提供的输入图像(原始图像)以及从帧存储器121读出的解码图像R(或其一部分)。预测部122通过使用预测模式信息Pinfo和输入图像(原始图像)执行预测处理，例如帧间预测或帧内预测，并且通过参考解码图像R作为参考图像来执行预测。预测部122基于预测结果执行运动补偿，以生成预测图像P。预测部122将所生成的预测图像P提供给计算部112和计算部119。此外，预测部122根据需要将与在以上描述的处理中选择的预测模式(即最佳预测模式)相关联的信息提供给编码部115。
<速率控制部>
速率控制部123执行用于速率控制的处理。例如，速率控制部123基于在累积缓冲器116中累积的编码数据的代码量来控制量化部114的量化操作速率，从而既不发生上溢也不发生下溢。
在具有上述配置的图像编码装置12中，控制部101设置用于识别正交变换最大尺寸的阈值的正交变换最大尺寸识别信息。此外，正交变换部113通过参考正交变换最大尺寸的阈值基于编码单元的尺寸来执行正交变换或简单正交变换。然后，编码部115对通过执行正交变换或简单正交变换而获得的变换系数或简单变换系数进行编码，从而生成包括正交变换最大尺寸识别信息的编码数据。因此，例如，通过以使得正交变换最大尺寸的阈值取小的值的方式设置正交变换最大尺寸识别信息，图像编码装置12对具有大的尺寸的编码单元执行简单正交变换，结果是可以减少编码的处理量。
注意，上面已经参照图2描述的在作为设置部、正交变换部和编码部的编码电路23中执行的处理过程可以在图4所示的相应的框中单独执行，并且例如可以分别在多个框中执行。
<图像解码装置的配置示例>
图5是示出应用本技术的图像解码装置的一个实施方式的配置示例的框图。图5所示的图像解码装置13是被配置成对作为图像与相对应的预测图像(诸如AVC或HEVC)之间的编码的预测残差的编码数据进行解码的装置。例如，图像解码装置13实现在NPL 1、NPL 2或NPL 3中描述的技术，并且对编码数据进行解码，所述编码数据是通过符合在这些文献中任何文献所描述的标准的方法来编码的运动图像的图像数据。例如，图像解码装置13对由以上描述的图像编码装置12生成的编码数据(比特流)进行解码。
注意，图5示出了主处理部、主数据流等，并且可能未示出所有内容。即，图像解码装置13可以包括未如图5中的框所示的处理部，或者可能存在未由图5中的箭头等指示的处理或数据流。
在图5中，图像解码装置13包括累积缓冲器211、解码部212、逆量化部213、逆正交变换部214、计算部215、环内滤波器部216、重新排序缓冲器217、帧存储器218以及预测部219。注意，预测部219包括帧内预测部和帧间预测部，其均未示出。图像解码装置13是用于通过对编码数据(比特流)进行解码来生成运动图像数据的装置。
<累积缓冲器>
累积缓冲器211获取并保持(存储)输入至图像解码装置13的比特流。例如，累积缓冲器211在预定定时或在满足预定条件的情况下将累积的比特流提供给解码部212。
<解码部>
解码部212执行用于图像解码的处理。例如，解码部212接收从累积缓冲器211提供的比特流，并且根据语法表的定义对来自比特串的每个语法元素的语法值执行可变长度解码，从而得到参数。
根据语法元素和语法元素的语法值得到的参数包括例如诸如报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo和滤波器信息Finfo的信息。即，解码部212从比特流解析(分析并获取)这些信息。这些信息如下所描述的。
<报头信息Hinfo>
报头信息Hinfo例如包括诸如VPS(视频参数集)、SPS(序列参数集)、PPS(图片参数集)或SH(片报头)的报头信息。报头信息Hinfo包括例如用于定义以下的信息：图像大小(水平宽度PicWidth和垂直宽度PicHeight)、位深度(亮度bitDepthY和色度bitDepthC)、色度阵列类型ChromaArrayType、最大值MaxCUSize/最小值MinCUSize、CU大小、四叉树划分的最大深度MaxQTDepth/最小深度MinQTDepth、二叉树划分的最大深度MaxBTDepth/最小深度MinBTDepth、变换跳过块的最大值MaxTSSize(也被称为“最大变换跳过块尺寸”)或每个编码工具的开/关标志(也被称为“启用标志”)。
报头信息Hinfo中包括的编码工具的开/关标志的示例包括针对以下描述的变换和量化的开/关标志。注意，编码工具的开/关标志也可解释为指示编码工具的语法是否存在于编码数据中的标志。此外，在开/关标志的值为1(真)的情况下，这指示编码工具可用，并且在开/关标志的值为0(假)的情况下，这指示编码工具不可用。注意，可以将对标志值的解释反转。
分量间预测启用标志(ccp_enabled_flag)是指示分量间预测(也被称为“CCP”或“CC预测”)是否可用的标志信息。例如，在该标志信息为“1”(真)的情况下，其指示可用。在该标志信息为“0”(假)的情况下，这指示不可用。
注意，该CCP也被称为“分量间线性预测(CCLM或CCLMP)”。
<预测模式信息Pinfo>
预测模式信息Pinfo包括例如关于要处理的PB(预测块)的大小信息PBSize(预测块大小)、帧内预测模式信息IPinfo和运动预测信息MVinfo的信息。
帧内预测模式信息IPinfo包括例如JCTVC-W1005，7.3.8.5编码单元语法中的prev_intra_luma_pred_flag、mpm_idx、rem_intra_pred_mode以及从其语法得到的亮度帧内预测模式IntraPredModeY。
此外，帧内预测模式信息IPinfo包括例如分量间预测标志(ccp_flag(cclmp_flag))、多类别线性预测模式标志(mclm_flag)、色度样本位置类型标识符(chroma_sampe_loc_type_idx)、色度MPM标识符(chroma_mpm_idx)以及从其语法得到的亮度帧内预测模式(IntraPredModeC)等。
分量间预测标志(ccp_flag(cclmp_flag))是指示是否应用分量间线性预测的标志信息。例如，当ccp_flag＝＝1时，这指示将应用分量间预测。当ccp_flag＝＝0时，这指示将不应用分量间预测。
多类别线性预测模式标志(mclm_flag)是与线性预测模式相关联的信息(线性预测模式信息)。更具体地，多类别线性预测模式标志(mclm_flag)是指示是否设置多类别线性预测模式的标志信息。例如，在标志为“0”的情况下，这指示1级模式(单级模式)(例如，CCLMP)。在标志为“1”的情况下，这指示2级模式(多级模式)(例如，MCLMP)。
色度样本位置类型标识符(chroma_sample_loc_type_idx)是用于识别色度分量的像素位置的类型的标识符(也被称为“色度样本位置类型”)。例如，在作为与颜色格式相关联的信息的色度阵列类型(ChromaArrayType)指示420格式的情况下，以下面的方式分配色度样本位置类型标识符。
chroma_sample_loc_type_idx＝＝0:类型2
chroma_sample_loc_type_idx＝＝1:类型3
chroma_sample_loc_type_idx＝＝2:类型0
chroma_sample_loc_type_idx＝＝3:类型1
注意，该色度样本位置类型标识符(chroma_sample_loc_type_idx)作为(或通过存储在)与色度分量的像素位置(chroma_sample_loc_info())相关联的信息中被发送。
色度MPM标识符(chroma_mpm_idx)是指示色度帧内预测模式候选列表(intraPredModeCandListC)中的哪个预测模式候选被指定为色度帧内预测模式的标识符。
运动预测信息MVinfo例如包括诸如merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X＝{0,1}和mvd(参见例如JCTVC-W1005，7.3.8.6预测单元语法)的信息。
不用说，预测模式信息Pinfo包括任何自由选择的信息，并且可以包括除这些信息以外的信息。
<变换信息Tinfo>
变换信息Tinfo例如包括以下信息。不用说，变换信息Tinfo包括任何自由选择的信息，并且可以包括除这些信息以外的信息。
要处理的变换块的水平宽度大小TBWSize和垂直宽度TBHSize(或TBWSize和TBHSize的对数值log2TBWSize和log2TBHSize均以2为底)
变换跳过标志(ts_flag)：指示是否跳过(逆)一次变换和(逆)二次变换的标志
扫描标识符(scanIdx)
量化参数(qp)
量化矩阵(scaling_matrix(例如，JCTVC-W1005，7.3.4缩放列表数据语法))
<残差信息Rinfo>
残差信息Rinfo(例如，参见JCTVC-W1005的7.3.8.11残差编码语法)例如包括以下语法。
cbf(coded_block_flag)：残差数据存在/不存在标志
last_sig_coeff_x_pos：最后的非零系数X坐标
last_sig_coeff_y_pos：最后的非零系数Y坐标
coded_sub_block_flag：子块非零系数存在/不存在标志
sig_coeff_flag：非零系数存在/不存在标志
gr1_flag：指示非零系数的级别是否大于1的标志(也被称为“GR1标志”)
gr2_flag：指示非零系数的级别是否大于2的标志(也被称为“GR2标志”)
sign_flag：指示非零系数是正还是负的符号(也被称为“符号”)
coeff_abs_level_remaining：非零系数的剩余水平(也被称为“非零系数剩余水平”)，等等。
不用说，残差信息Rinfo包括任何自由选择的信息，并且可以包括除这些信息以外的信息。
<滤波器信息Finfo>
过滤器信息Finfo包括例如与以下描述的每个过滤器处理过程相关联的控制信息。
与解块滤波器(DBF)相关联的控制信息
与像素自适应偏移量(SAO)相关联的控制信息
与自适应环路滤波器(ALF)相关联的控制信息
与其他线性/非线性滤波器相关联的控制信息
更具体地，滤波器信息Finfo包括例如用于指定应用了每个滤波器的图片或图片中的区域的信息，以CU为单位的滤波器开/关控制信息以及与片或区块边界相关联的滤波器开/关控制信息。不用说，滤波器信息Finfo包括任何自由选择的信息，并且可以包括除这些信息以外的信息。
返回到解码部212的描述，解码部212通过参考残差信息Rinfo来得到每个变换块中的每个系数位置处的量化的变换系数级别“level”。解码部212将量化的变换系数级别“level”提供给逆量化部213。
此外，解码部212将解析的报头信息Hinfo、预测模式信息Pinfo、量化的变换系数级别“level”变换信息Tinfo和滤波器信息Finfo提供给相应的块。具体说明如下给出。
报头信息Hinfo被提供给逆量化部213、逆正交变换部214、预测部219和环内滤波器部216。
预测模式信息Pinfo被提供给逆量化部213和预测部219。
变换信息Tinfo被提供给逆量化部213和逆正交变换部214。
滤波器信息Finfo被提供给环内滤波器部216。
不用说，上述示例仅仅是示例，并且这些示例不是限制性的。例如，每个编码参数可以被提供给任何处理部。此外，其他类型的信息可以被提供给任何处理部。
此外，在比特流中包括用于识别正交变换最大尺寸的阈值的正交变换最大尺寸识别信息的情况下，解码部212可以解析正交变换最大尺寸识别信息。此外，解码部212可以对比特流进行解码，以通过正交变换或简单正交变换来生成变换系数或简单变换系数。
<逆量化部>
逆量化部213执行用于逆量化的处理。例如，逆量化部213接收从解码部212提供的变换信息Tinfo和量化的变换系数级别“level”，并且基于变换信息Tinfo对量化的变换系数级别“level”的值进行缩放(逆量化)，从而得到逆量化的变换系数Coeff_IQ。
注意，该逆量化被执行为与量化部114的量化相反的处理。此外，该逆量化是与逆量化部117的逆量化类似的处理。即，逆量化部117执行与逆量化部213的处理类似的处理(逆量化)。
逆量化部213将得到的变换系数Coeff_IQ提供给逆正交变换部214。
<逆正交变换部>
逆正交变换部214执行用于逆正交变换的处理。例如，逆正交变换部214接收从逆量化部213提供的变换系数Coeff_IQ和从解码部212提供的变换信息Tinfo，并基于变换信息Tinfo对变换系数Coeff_IQ执行逆正交变换，从而得到预测残差D'。
注意，该逆正交变换被执行为与正交变换部113的正交变换相反的处理。此外，该逆正交变换是与逆正交变换部118的逆正交变换类似的处理。即，逆正交变换部118执行与逆正交变换部214的处理类似的处理(逆正交变换)。
逆正交变换部214将得到的预测残差D'提供给计算部215。
这里，如以上参照图3所描述的，逆正交变换部214可以通过参考由解码部212从比特流中解析的正交变换最大尺寸识别信息基于编码单元的尺寸对变换系数或简单变换系数执行逆正交变换或简单逆正交变换。然后，在逆正交变换部214执行逆正交变换的情况下，逆正交变换部214将通过对变换系数Coeff_IQ执行逆正交变换而生成的预测残差D'提供给计算部215。
另一方面，在逆正交变换部214执行简单逆正交变换的情况下，逆正交变换部214不对通过简单正交变换获得的简单变换系数执行逆正交变换，并且跳过将残差数据提供给计算部215。可替选地，逆正交变换部214跳过对通过简单正交变换获得的简单变换系数的逆正交变换，并且不进行任何变化地将简单变换系数中包括的空间域中的残差数据提供给计算部215。可替选地，逆正交变换部214跳过对通过简单正交变换获得的简单变换系数的逆正交变换，并且仅将用作简单变换系数中包括的残差数据的直流分量提供给计算部分215。
<计算部>
计算部215执行用于添加关于图像的信息的处理。例如，计算部215接收从逆正交变换部214提供的预测残差D'和从预测部219提供的预测图像P。计算部215将预测残差D'与对应于预测残差D'的预测图像P(预测信号)相加，从而得到局部解码图像Rlocal(Rlocal＝D'+P)。
计算部215将得到的局部解码图像Rlocal提供给环内滤波器部216和帧存储器218。
<环内滤波器部>
环内滤波器部216执行用于环内滤波的处理。例如，环内滤波器部216接收从计算部215提供的局部解码图像Rlocal以及从解码部212提供的滤波器信息Finfo。注意，环内滤波器部216接收任何自由选择的信息，并且会接收这些信息以外的信息。
环内滤波器部216基于滤波器信息Finfo对局部解码图像Rlocal进行适当地滤波。
例如，如NPL 1中所描述的，环内滤波器部216按如下顺序应用四个环内滤波器，即，双边滤波器、解块滤波器(DBF)、自适应偏移滤波器(SAO(样本自适应偏移))和自适应环路滤波器(ALF)。注意，可以自由地确定并且可以适当地选择应用哪个滤波器以及滤波器的顺序。
环内滤波器部216执行与在编码侧执行的滤波相对应的滤波(例如，图4的图像编码装置12的环内滤波器部120)。
不用说，环内滤波器部216执行任何类型的滤波，并且以上描述的示例不是限制性的。例如，环内滤波器部216可以应用维纳(Wiener)滤波器等。
环内滤波器部216将经滤波的局部解码图像Rlocal提供给重新排序缓冲器217和帧存储器218。
<重新排序缓冲器>
重新排序缓冲器217接收并保存(存储)从环内滤波器部216提供的局部解码图像Rlocal。重新排序缓冲器217通过使用局部解码图像Rlocal以图片为单位来重构解码图像R，并且保存解码图像R(将解码图像R存储在缓冲器中)。重新排序缓冲器217将所获得的解码图像R从解码的顺序重新排序为再现的顺序。重新排序缓冲器217将重新排序的解码图像R的组作为运动图像数据输出至图像解码装置13的外部。
<帧存储器>
帧存储器218执行用于存储图像的数据的处理。例如，帧存储器218接收从计算部215提供的局部解码图像Rlocal，以图片为单位重构解码图像R，并将解码图像R存储在帧存储器218中的缓冲器中。
此外，帧存储器218接收从环内滤波器部216提供的环内经滤波的局部解码图像Rlocal，以图片为单位重构解码图像R，并将解码图像R存储在帧存储器218中的缓冲器中。帧存储器218将存储的解码图像R(或其部分)作为参考图像适当地提供给预测部219。
注意，帧存储器218可以存储在解码图像的生成中使用的报头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等。
<预测部>
预测部219执行用于生成预测图像的处理。例如，预测部219接收从解码部212提供的预测模式信息Pinfo，并通过由预测模式信息Pinfo指定的预测方法执行预测，从而得到预测图像P。当得到预测图像P时，预测部219将存储在帧存储器218中并由预测模式信息Pinfo指定的预滤波或经滤波的解码图像R(或其一部分)用作参考图像。预测部219将得到的预测图像P提供给计算部215。
在具有以上描述的配置的图像解码装置13中，解码部212执行从比特流中解析正交变换最大尺寸识别信息的解析处理，并且对该比特流进行解码，以生成变换系数或简单变换系数。此外，逆正交变换部214通过参考正交变换最大尺寸识别信息基于编码单元的尺寸对变换系数或简单变换系数执行逆正交变换或简单逆正交变换。因此，在设置正交变换最大尺寸识别信息使得正交变换最大尺寸的阈值取小的值的情况下，图像解码装置13例如对具有大尺寸的编码单元执行简单逆正交变换，结果是可以减少解码的处理量。
注意，上面已经参照图3描述的在作为解析部、解码部和逆正交变换部的解码电路33中执行的处理过程可以在图5所示的相应的框中单独执行，并且例如可以在多个框中分别执行。
<图像编码和图像解码>
参照图6至图13的流程图，描述了由图像编码装置12执行的图像编码和由图像解码装置13执行的图像解码。
图6是示出由图像编码装置12执行的图像编码的流程图。
当图像编码开始时，在步骤S11中，重新排序缓冲器111在控制部101的控制下将输入的运动图像数的帧顺序从显示的顺序重新排序为编码的顺序。
在步骤S12中，控制部101对由重新排序缓冲器111保存的输入图像设置处理单元(执行块划分)。这里，当设置处理单元时，还执行设置正交变换最大尺寸识别信息的处理。
在步骤S13中，控制部101针对由重新排序缓冲器111保存的输入图像确定(设置)编码参数。
在步骤S14中，预测部122执行预测来以最佳预测模式生成预测图像等。例如，在该预测中，预测部122以最佳帧内预测模式执行帧内预测，以生成预测图像等，并且以最佳帧间预测模式执行帧间预测，以生成预测图像等。预测部122基于成本函数值等从那些预测图像中选择最佳预测模式。
在步骤S15中，计算部112计算输入图像与在步骤S14的预测中选择的最佳模式下的预测图像之间的差。也就是说，计算部112生成输入图像与预测图像之间的预测残差D。如此获得的预测残差D的数据量小于原始图像数据的数据量。因此，与按原样对图像进行编码的情况相比，可以减少数据量。
在步骤S16中，正交变换部113对在步骤S15的处理中生成的预测残差D执行正交变换，从而得到变换系数Coeff。这里，如稍后参照图7至图9所描述的，正交变换部113可以通过参考正交变换最大尺寸的阈值基于编码单元的尺寸来执行简单正交变换，而不是正交变换。
在步骤S17中，量化部114通过使用例如由控制部101计算出的量化参数来对在步骤S16的处理中获得的变换系数Coeff进行量化，从而得到经量化的变换系数级别“level”。
在步骤S18中，逆量化部117利用与步骤S17中的量化的特性相对应的特性对在步骤S17中的处理中生成的经量化的变换系数级别“level”进行逆量化，以得到变换系数Coeff_IQ。
在步骤S19中，逆正交变换部118通过与步骤S16中的正交变换相对应的方法对在步骤S18的处理中得到的变换系数Coeff_IQ执行逆正交变换，由此得到预测残差D'。注意，由于该逆正交变换与(稍后描述的)在解码侧执行的逆正交变换类似，因此(稍后给出的)关于解码侧的描述适用于步骤S19中的该逆正交变换。
在步骤S20中，计算部119将在步骤S14的预测中获得的预测图像与在步骤S19的处理中得到的预测残差D'相加，从而生成局部解码的解码图像。
在步骤S21中，环内滤波器部120对在步骤S20的处理中得到的局部解码图像执行环内滤波。
在步骤S22中，帧存储器121存储在步骤S20的处理中得到的局部解码图像以及在步骤S21中经滤波的局部解码图像。
在步骤S23中，编码部115对在步骤S17的处理中获得的量化的变换系数级别“level”进行编码。例如，编码部115通过算术编码等对作为关于图像的信息的量化的变换系数级别“level”进行编码，从而生成编码数据。此外，在此，编码部115对各种编码参数(报头信息Hinfo、预测模式信息Pinfo和变换信息Tinfo)进行编码。此外，编码部115根据量化的变换系数级别“level”得到残差信息Rinfo，并且对残差信息Rinfo进行编码。
在步骤S24中，例如，累积缓冲器116累积由此获得的编码数据，并将编码数据作为比特流输出至图像编码装置12的外部。该比特流通过例如传输路径或记录介质传输至解码侧。此外，速率控制部123根据需要执行速率控制。
当步骤S24中的处理结束时，图像编码结束。
在具有如上所描述的流程的图像编码中，作为步骤S12和步骤S16中的处理，执行应用了本技术的上述处理。因此，利用该图像编码，在编码单元的尺寸大的情况下执行简单正交变换，从而可以减少图像编码的处理量。
图7是示出在图6的步骤S16中执行简单正交变换的情况下的处理的第一处理示例的流程图。
在步骤S31中，正交变换部113确定编码单元的尺寸是否等于或小于正交变换最大尺寸的阈值。
在正交变换部113在步骤S31中确定编码单元的尺寸等于或小于正交变换最大尺寸的阈值的情况下，处理进入步骤S32。在步骤S32中，正交变换部113对预测残差D执行正交变换，并将在所涉及的处理中生成的变换系数Coeff提供给量化部114。然后，处理结束。
另一方面，在正交变换部113在步骤S31中确定编码单元的尺寸不等于或小于正交变换最大尺寸的阈值(大于正交变换最大尺寸)的情况下，处理进入步骤S33。在步骤S33中，正交变换部113不执行正交变换，并且跳过向量化部114提供残差数据。然后，处理结束。
如上所描述的，在编码单元的尺寸大于正交变换最大尺寸的情况下，正交变换部113可以绕过对编码单元的正交变换，并且跳过残差数据的输出。
图8是示出在图6的步骤S16中执行简单正交变换的情况下的处理的第二处理示例的流程图。
在步骤S41中，正交变换部113确定编码单元的尺寸是否等于或小于正交变换最大尺寸的阈值。
在正交变换部113在步骤S41中确定编码单元的尺寸等于或小于正交变换最大尺寸的阈值的情况下，处理进入步骤S42。在步骤S42中，正交变换部113对预测残差D执行正交变换，并将在所涉及的处理中生成的变换系数Coeff提供给量化部114。然后，处理结束。
另一方面，在正交变换部113在步骤S41中确定编码单元的尺寸不等于或小于正交变换最大尺寸的阈值(大于正交变换最大尺寸)的情况下，处理进入步骤S43。在步骤S43中，正交变换部113跳过正交变换，并且将未经过正交变换的空间域中的残差数据提供给量化部114。然后，处理结束。
如上所描述的，在编码单元的尺寸大于正交变换最大尺寸的情况下，正交变换部113可以跳过对编码单元的正交变换，并且输出空间域中的残差数据。
图9是示出在图6的步骤S16中执行简单正交变换的情况下的处理的第三处理示例的流程图。
在步骤S51中，正交变换部113确定编码单元的尺寸是否等于或小于正交变换最大尺寸的阈值。
在正交变换部113在步骤S51中确定编码单元的尺寸等于或小于正交变换最大尺寸的阈值的情况下，处理进入步骤S52。在步骤S52中，正交变换部113对预测残差D执行正交变换，并将在所涉及的处理中生成的变换系数Coeff提供给量化部114。然后，处理结束。
另一方面，在正交变换部113在步骤S51中确定编码单元的尺寸不等于或小于正交变换最大尺寸的阈值(大于正交变换最大尺寸)的情况下，处理进入步骤S53。在步骤S53中，正交变换部113执行逆正交变换，以仅生成作为残差数据的直流分量，并将直流分量提供给量化部114。然后，处理结束。
如上所描述的，在编码单元的尺寸大于正交变换最大尺寸的情况下，正交变换部113可以仅输出作为对编码单元的正交变换的残差数据的直流分量。
图10是示出由图像解码装置13执行的图像解码的流程图。
当图像解码开始时，在步骤S61中，累积缓冲器211获取并保存(累积)从图像解码装置13的外部提供的编码数据(比特流)。
在步骤S62中，解码部212对编码数据(比特流)进行解码，以获得量化的变换系数级别“level”。此外，解码部212通过该解码从编码数据(比特流)解析(分析并获取)各种编码参数。在此，当执行解码时，如以上参照图3所描述的，还执行从比特流解析正交变换最大尺寸识别信息的处理。此外，通过解码获得的各种编码参数包括作为正交变换或简单正交变换的结果的变换系数或简单变换系数。
在步骤S63中，逆量化部213对在步骤S62的处理中获得的量化的变换系数级别“level”执行作为与在编码侧执行的量化相反的处理的逆量化，从而获得变换系数Coeff_IQ。
在步骤S64中，逆正交变换部214对在步骤S63的处理中获得的变换系数Coeff_IQ执行作为与在编码侧执行的正交变换相反的处理的逆正交变换，从而获得预测残差D'。这里，如稍后参照图11至图13所描述的，逆正交变换部214可以通过参考正交变换最大尺寸识别信息基于编码单元的尺寸来执行简单逆正交变换，而不是逆正交变换。
在步骤S65中，预测部219例如基于在步骤S62中解析的信息执行由编码侧指定的预测方法的预测，并且通过参考存储在帧存储器218中的参考图像来生成预测图像P。
在步骤S66中，计算部215将在步骤S64的处理中获得的预测残差D'与在步骤S65的处理中获得的预测图像P相加，从而得到局部解码图像Rlocal。
在步骤S67中，环内滤波器部216对在步骤S66的处理中获得的局部解码图像Rlocal执行环内滤波。
在步骤S68中，重新排序缓冲器217通过使用在步骤S67的处理中获得的经滤波的局部解码图像Rlocal来得到解码图像R，并且将解码图像R的组的顺序从解码的顺序重新排序为再现的顺序。以再现的顺序重新排序的解码图像R的组作为运动图像被输出至图像解码装置13的外部。
此外，在步骤S69中，帧存储器218存储在步骤S66的处理中获得的局部解码图像Rlocal或在步骤S67的处理中获得的经滤波的局部解码图像Rlocal中的至少一个。
当步骤S69中的处理结束时，图像解码结束。
在具有如上所描述的流程的图像解码中，作为步骤S62和步骤S64中的处理，执行应用了本技术的上述处理。因此，利用该图像解码，在编码单元的尺寸大的情况下执行简单逆正交变换，使得可以减少图像解码的处理量。
图11是示出在图10的步骤S64中执行简单逆正交变换的情况下的处理的第一处理示例的流程图。
在步骤S71中，逆正交变换部214确定编码单元的尺寸是否等于或小于正交变换最大尺寸的阈值。
在逆正交变换部214在步骤S71中确定编码单元的尺寸等于或小于正交变换最大尺寸的阈值的情况下，处理进入步骤S72。在步骤S72中，逆正交变换部214将通过对变换系数Coeff_IQ执行逆正交变换而获得的预测残差D'提供给计算部215。然后，处理结束。
另一方面，在逆正交变换部214在步骤S71中确定编码单元的尺寸不等于或小于正交变换最大尺寸的阈值(大于正交变换最大尺寸)的情况下，处理进入步骤S73。在步骤S73中，逆正交变换部214确定在简单变换系数中不包括残差数据，而不考虑对用于识别在简单变换系数中是否包括残差数据的残差识别信息的解析。然后，处理结束，而不执行逆正交变换。
如上所描述的，在编码单元的尺寸大于正交变换最大尺寸的情况下，逆正交变换部214可以跳过对编码单元的逆正交变换。
在步骤S71中，逆正交变换部214确定编码单元的尺寸是否等于或小于正交变换最大尺寸的阈值。
在逆正交变换部214在步骤S71中确定编码单元的尺寸等于或小于正交变换最大尺寸的阈值的情况下，处理进入步骤S72。在步骤S72中，逆正交变换部214将通过对变换系数Coeff_IQ执行逆正交变换而获得的预测残差D'提供给计算部215。然后，处理结束。
同时，在逆正交变换部214在步骤S71中确定编码单元的尺寸不等于或小于正交变换最大尺寸的阈值(大于正交变换最大尺寸)的情况下，处理进入步骤S73。在步骤S73中，逆正交变换部214确定在简单变换系数中不包括残差数据，而不考虑对用于识别在简单变换系数中是否包括残差数据的残差识别信息的解析。因此，逆正交变换部214不执行逆正交变换，并且跳过将残差数据从逆正交变换部214提供给计算部215。然后，处理结束。即，在这种情况下，计算部215重构图像，而不将预测残差与预测图像相加。
如上所描述的，在编码单元的尺寸大于正交变换最大尺寸的情况下，逆正交变换部214可以跳过对编码单元的逆正交变换。
图12是示出在图10的步骤S64中执行简单逆正交变换的情况下的处理的第二处理示例的流程图。
在步骤S81中，逆正交变换部214确定编码单元的尺寸是否等于或小于正交变换最大尺寸的阈值。
在逆正交变换部214在步骤S81中确定编码单元的尺寸等于或小于正交变换最大尺寸的阈值的情况下，处理进入步骤S82。在步骤S82中，逆正交变换部214将通过对变换系数Coeff_IQ执行逆正交变换而获得的预测残差D'提供给计算部215。然后，处理结束。
另一方面，在逆正交变换部214在步骤S81中确定编码单元的尺寸不等于或小于正交变换最大尺寸的阈值(大于正交变换最大尺寸)的情况下，处理进入步骤S83。在步骤S83中，逆正交变换部214跳过逆正交变换，并且不进行任何变化地将简单变换系数中包括的空间域中的残差数据提供给计算部215。然后，处理结束。即，在这种情况下，计算部215仅可以通过将残差数据与预测图像相加来重构图像。
如上所描述的，在编码单元的尺寸大于正交变换最大尺寸的情况下，逆正交变换部214可以跳过对编码单元的逆正交变换。
图13是示出在图10的步骤S64中执行简单逆正交变换的情况下的处理的第三处理示例的流程图。
在步骤S91中，逆正交变换部214确定编码单元的尺寸是否等于或小于正交变换最大尺寸的阈值。
在逆正交变换部214在步骤S91中确定编码单元的尺寸等于或小于正交变换最大尺寸的阈值的情况下，处理进入步骤S92。在步骤S92中，逆正交变换部214将通过对变换系数Coeff_IQ执行逆正交变换而获得的预测残差D'提供给计算部215。然后，处理结束。
另一方面，在逆正交变换部214在步骤S91中确定编码单元的尺寸不等于或小于正交变换最大尺寸的阈值(大于正交变换最大尺寸)的情况下，处理进入步骤S93。在步骤S93中，逆正交变换部214在不执行逆正交变换的情况下，将用作简单变换系数中包括的残差数据的直流分量提供给计算部215。然后，处理结束。即，在这种情况下，计算部215仅可以通过将直流分量与预测图像相加来重构图像。
如上所描述的，在编码单元的尺寸大于正交变换最大尺寸的情况下，逆正交变换部214可以在不对编码单元执行逆正交变换的情况下输出用作残差数据的直流分量。
<计算机的配置示例>
接下来，可以借助于硬件或软件来执行以上描述的一系列处理过程。在借助软件执行一系列处理过程的情况下，将配置软件的程序安装在通用计算机等中。
图14是示出其中安装有用于执行以上描述的一系列处理过程的程序的计算机的一个实施方式的配置示例的框图。
程序可以预先记录在用作安装在计算机中的记录介质的硬盘305或ROM 303上。
可替选地，程序可以被存储(记录)在由驱动器309驱动的可移动记录介质311中。可移动记录介质311可以作为一般所谓的封装软件提供。这里，可移除记录介质311的示例包括软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘和半导体存储器。
注意，尽管程序可以如上所描述的从可移除记录介质311安装在计算机中，但是程序可以经由通信网络或广播网络下载至计算机，以安装在内部硬盘305中。具体地，程序可以经由人造卫星从下载站点无线地传输至计算机，以进行数字卫星广播，或者可以经由诸如LAN(局域网)或因特网的网络以有线方式被传输至计算机。
该计算机包括内部CPU(中央处理单元)302，并且输入/输出接口310经由总线301连接至CPU 302。
当用户操作输入部307等时，CPU 302根据通过输入/输出接口310输入的命令来执行存储在ROM(只读存储器)303中的程序。可替选地，CPU 302将存储在硬盘305中的程序加载到RAM(随机存取存储器)304中，并且执行该程序。
由此，CPU 302执行根据上述流程图的处理，或执行由上述框图的配置执行的处理。然后，如果需要，CPU 302控制输出部306，以经由例如输入/输出接口310输出处理结果，控制通信部308发送处理结果，或者将处理结果记录在硬盘305中。
注意，输入部307包括键盘、鼠标、麦克风等。此外，输出部306包括LCD(液晶显示器)、扬声器等。
在此，在本说明书中，计算机根据程序执行的处理不必按照流程图中描述的顺序按时间顺序执行。即，计算机根据程序执行的处理包括并行或单独执行的处理过程(例如，并行处理或基于对象的处理)。
此外，程序可以由单个计算机(处理器)处理，或由多个计算机共享和处理。此外，程序可以被传送至远程站点处的计算机以被执行。
此外，本文中的***意指一组多个部件(装置、模块(部分)等)，并且所有部件是否都在单个壳体中并不重要。因此，容纳在单独的壳体中并且经由网络彼此连接的多个装置和其中多个模块容纳在单个壳体中的单个装置都是***。
此外，例如，被描述为单个装置(或处理部)的配置可以被划分成被配置为多个装置(或处理部)。相反，以上描述作为多个装置(或处理部)的配置可以组合成被配置为单个装置(或处理部)。此外，不用说，可以将除了上述配置之外的配置添加到每个装置(或每个处理部)的配置中。此外，只要作为整个***的配置和操作基本不变，则特定装置(或处理部)的配置的部分可以包括在另一装置(或另一处理部)的配置中。
此外，例如，本技术可以采用云计算的配置，其中一种功能由多个装置经由网络共享和处理。
此外，例如，以上描述的程序可以由任何装置执行。在那种情况下，如果装置具有必要的功能(功能块等)并由此可以获得必要的信息就足够了。
此外，以上描述的流程图中描述的相应的步骤可以由单个装置执行或者由多个装置共享并执行。此外，在一个步骤中包括多个处理过程的情况下，一个步骤中包括的多个处理过程可以由单个装置执行或者由多个装置共享并执行。换句话说，一个步骤中包括的多个处理过程可以被执行为多个步骤中的处理。相反，被描述为多个步骤的处理过程可以作为一个步骤共同执行。
注意，对于将由计算机执行的程序，描述该程序的步骤中的处理过程可以按本文所述的顺序按时间顺序或并行地执行。可替选地，可以例如在调用程序时以正确的定时执行程序的处理。即，除非有任何矛盾，否则可以按照与以上描述的顺序不同的顺序执行相应的步骤中的处理过程。此外，描述程序的步骤中的处理过程可以与另一程序的处理过程并行执行，或者可以与另一程序的处理过程结合执行。
注意，除非有任何矛盾，否则本文描述的多个本技术可以彼此独立地或单独地实现。不用说，可以以任何组合来实现多个本技术。例如，在任何实施方式中描述的当前技术的全部或部分可以与在另一实施方式中描述的本技术的全部或部分结合实现。此外，以上描述的任何本技术的全部或部分可以与以上未描述的另外的技术结合实现。
<本技术的应用领域>
本技术适用于任何图像编码和解码***。即，除非与以上描述的本技术有任何矛盾，否则用于图像编码或解码的各种类型的处理诸如变换(逆变换)、量化(逆量化)、编码(解码)和预测可以具有任何规格，并且上述示例不是限制性的。此外，除非与以上描述的本技术有任何矛盾，否则可以部分省略处理。
此外，本技术适用于被配置成对每个包括多个视点(视图)的图像的多视图图像进行编码/解码的多视图图像编码/解码***。在那种情况下，本技术可以适用于每个视点(视图)的编码/解码。
此外，本技术适用于被配置成对每个具有多个层(层次)的层次图像进行编码/解码的层次图像编码(可缩放编码)/解码***，从而预定参数具有可缩放功能。在那种情况下，本技术可以适用于对每个层级(层)的编码/解码。
根据实施方式的图像编码装置和图像解码装置适用于各种电子装置，例如，用于卫星广播的发送器或接收器，诸如有线电视的有线广播，在因特网上的分发或通过蜂窝通信向终端的分发(例如，电视接收器或蜂窝电话)，或者被配置成在诸如光盘、磁盘或闪存的介质上记录图像或从上述存储介质中再现图像的装置(例如，硬盘记录器或摄像机)。
此外，本技术还可以被实现为安装在***的任何装置或一个装置中的任何种类的配置，例如，用作***LSI(大规模集成电路)等的处理器(例如，视频处理器)，使用多个处理器等的模块(例如，视频模块)，使用多个模块等的单元(例如，视频单元)或在包括除了一个单元(即装置的一部分的配置)以外的其他附加功能的集合(例如，视频集)。
此外，本技术还适用于包括多个装置的网络***。例如，本技术还适用于用作向任何终端诸如计算机、AV(视听)装备、便携式信息处理终端或IoT(物联网)设备提供与图像(运动图像)相关的服务的云服务。
注意，应用本技术的***、装置、处理部等可以用于任何领域，例如，运输、医疗、预防犯罪、农业、畜牧业、采矿业、美容保健、工厂、家用电子产品、天气或自然监测。此外，这样的***、装置、处理部等可以用于任何目的。
例如，本技术适用于用于提供观看内容等的***或设备。此外，例如，本技术还适用于被用于运输诸如交通状况管理或自动操作的***或设备。此外，例如，本技术还适用于被用于安全性的***或设备。此外，例如，本技术还适用于被用于机器等的自动控制的***或设备。此外，例如，本技术还适用于用于农业或畜牧业的***或设备。此外，例如，本技术还适用于被用于监测自然诸如火山、森林或海洋、野生动植物等的状态的***或设备。此外，例如，本技术还适用于被用于体育的***或设备。
<配置的组合示例>
注意，本技术还可以采用以下配置。
(1)
一种图像编码装置，包括：
设置部，其被配置成设置用于识别正交变换最大尺寸的阈值的识别信息，所述正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸；
正交变换部，其被配置成在作为对所述图像进行编码时的处理单元的编码单元大于所述正交变换最大尺寸的阈值的情况下，对所述编码单元执行简单正交变换；以及
编码部，其被配置成对作为由所述正交变换部进行的所述简单正交变换的结果的简单变换系数进行编码，从而生成包括所述识别信息的比特流。
(2)根据项(1)所述的图像编码装置，其中，
在执行所述图像的编码或所述比特流的解码的应用所需的处理量等于或小于预定的设定值的情况下，所述设置部将所述识别信息设置成使得所述正交变换最大尺寸的阈值取小的值。
(3)
根据项(1)或(2)所述的图像编码装置，其中，
在所述简单正交变换中，所述正交变换部针对具有大于所述正交变换最大尺寸的阈值的尺寸的所述编码单元跳过残差数据的输出。
(4)
根据项(1)或(2)所述的图像编码装置，其中，
在所述简单正交变换中，所述正交变换部针对具有大于所述正交变换最大尺寸的阈值的尺寸的所述编码单元跳过正交变换。
(5)
根据项(1)或(2)所述的图像编码装置，其中，
在所述简单正交变换中，针对具有大于所述正交变换最大尺寸的阈值的尺寸的所述编码单元，所述正交变换部生成仅包括直流分量的残差数据作为所述简单变换系数。
(6)
一种图像编码方法，包括：
通过被配置成对图像进行编码的编码装置执行以下操作：
设置用于识别正交变换最大尺寸的阈值的识别信息，所述正交变换最大尺寸是对所述图像进行正交变换时的处理单元的最大尺寸；
在作为对所述图像进行编码时的处理单元的编码单元大于所述正交变换最大尺寸的阈值的情况下，对所述编码单元执行简单正交变换；以及
对作为所述简单正交变换的结果的简单变换系数进行编码，从而生成包括所述识别信息的比特流。
(7)
一种图像解码装置，包括：
解析部，其被配置成从包括用于识别正交变换最大尺寸的阈值的识别信息的比特流中解析所述识别信息，所述正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸；
解码部，其被配置成对所述比特流进行解码，以生成作为对编码单元进行简单正交变换的结果的简单变换系数，所述编码单元为对所述图像进行编码时的处理单元；以及
逆正交变换部，其被配置成通过参考由所述解析部解析的识别信息基于所述编码单元的尺寸对所述简单变换系数执行简单逆正交变换。
(8)
根据项(7)所述的图像解码装置，其中，
在所述简单逆正交变换中，所述逆正交变换部不考虑对用于识别在所述简单变换系数中是否包括残差数据的残差识别信息的解析，在所述编码单元的尺寸大于所述正交变换最大尺寸的阈值的情况下，确定在所述编码单元的简单变换系数中不包括残差数据。
(9)
根据项(7)所述的图像解码装置，其中，
在所述简单逆正交变换中，在所述编码单元的尺寸大于所述正交变换最大尺寸的阈值的情况下，所述逆正交变换部对在不执行对所述编码单元的正交变换的情况下输出的所述简单变换系数跳过所述逆正交变换。
(10)
根据项(7)所述的图像解码装置，其中，
在所述简单逆正交变换中，在所述编码单元的尺寸大于所述正交变换最大尺寸的阈值的情况下，所述逆正交变换部输出用作在所述编码单元的简单变换系数中包括的残差数据的直流分量。
(11)
一种图像解码方法，包括：
通过被配置成对图像进行解码的解码装置执行以下操作：
从包括用于识别正交变换最大尺寸的阈值的识别信息的比特流中解析所述识别信息，所述正交变换最大尺寸是对所述图像进行正交变换时的处理单元的最大尺寸；
对所述比特流进行解码，以生成作为对编码单元进行简单正交变换的结果的简单变换系数，所述编码单元为对所述图像进行编码时的处理单元；以及
通过参考所解析的识别信息基于所述编码单元的尺寸对所述简单变换系数执行简单逆正交变换。
注意，本实施方式不限于以上描述的实施方式，并且在不脱离本公开内容的范围的情况下可以进行各种修改。此外，本文中描述的效果仅是示例而并非限制性的，并且可以获得其他效果。
附图标记列表
11图像处理***，12图像编码装置，13图像解码装置，21图像处理芯片，22外部存储器，23编码电路，24缓存存储器，31图像处理芯片，32外部存储器，33解码电路，34缓存存储器，101控制部，122预测部，113正交变换部，115编码部，118逆正交变换部，120环内滤波器部，212解码部，214逆正交变换部，216环内滤波器部，219预测部

Claims (11)

1.一种图像编码装置，包括：
设置部，其被配置成设置用于识别正交变换最大尺寸的阈值的识别信息，所述正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸；
正交变换部，其被配置成在作为对所述图像进行编码时的处理单元的编码单元大于所述正交变换最大尺寸的阈值的情况下，对所述编码单元执行简单正交变换；以及
编码部，其被配置成对作为由所述正交变换部进行的所述简单正交变换的结果的简单变换系数进行编码，从而生成包括所述识别信息的比特流。
2.根据权利要求1所述的图像编码装置，其中，
在执行所述图像的编码或所述比特流的解码的应用所需的处理量等于或小于预定的设定值的情况下，所述设置部将所述识别信息设置成使得所述正交变换最大尺寸的阈值取小的值。
3.根据权利要求1所述的图像编码装置，其中，
在所述简单正交变换中，所述正交变换部针对具有大于所述正交变换最大尺寸的阈值的尺寸的所述编码单元跳过残差数据的输出。
4.根据权利要求1所述的图像编码装置，其中，
在所述简单正交变换中，所述正交变换部针对具有大于所述正交变换最大尺寸的阈值的尺寸的所述编码单元跳过正交变换。
5.根据权利要求1所述的图像编码装置，其中，
在所述简单正交变换中，针对具有大于所述正交变换最大尺寸的阈值的尺寸的所述编码单元，所述正交变换部生成仅包括直流分量的残差数据作为所述简单变换系数。
6.一种图像编码方法，包括：
通过被配置成对图像进行编码的编码装置执行以下操作：
设置用于识别正交变换最大尺寸的阈值的识别信息，所述正交变换最大尺寸是对所述图像进行正交变换时的处理单元的最大尺寸；
在作为对所述图像进行编码时的处理单元的编码单元大于所述正交变换最大尺寸的阈值的情况下，对所述编码单元执行简单正交变换；以及
对作为所述简单正交变换的结果的简单变换系数进行编码，从而生成包括所述识别信息的比特流。
7.一种图像解码装置，包括：
解析部，其被配置成从包括用于识别正交变换最大尺寸的阈值的识别信息的比特流中解析所述识别信息，所述正交变换最大尺寸是对图像进行正交变换时的处理单元的最大尺寸；
解码部，其被配置成对所述比特流进行解码，以生成作为对编码单元进行简单正交变换的结果的简单变换系数，所述编码单元为对所述图像进行编码时的处理单元；以及
逆正交变换部，其被配置成通过参考由所述解析部解析的识别信息基于所述编码单元的尺寸来执行简单逆正交变换。
8.根据权利要求7所述的图像解码装置，其中，
在所述简单逆正交变换中，所述逆正交变换部不考虑对用于识别在所述简单变换系数中是否包括残差数据的残差识别信息的解析，在所述编码单元的尺寸大于所述正交变换最大尺寸的阈值的情况下，确定在所述编码单元的简单变换系数中不包括残差数据。
9.根据权利要求7所述的图像解码装置，其中，
在所述简单逆正交变换中，在所述编码单元的尺寸大于所述正交变换最大尺寸的阈值的情况下，所述逆正交变换部对在不执行对所述编码单元的正交变换的情况下输出的所述简单变换系数跳过所述逆正交变换。
10.根据权利要求7所述的图像解码装置，其中，
在所述简单逆正交变换中，在所述编码单元的尺寸大于所述正交变换最大尺寸的阈值的情况下，所述逆正交变换部输出用作在所述编码单元的简单变换系数中包括的残差数据的直流分量。
11.一种图像解码方法，包括：
通过被配置成对图像进行解码的解码装置执行以下操作：
从包括用于识别正交变换最大尺寸的阈值的识别信息的比特流中解析所述识别信息，所述正交变换最大尺寸是对所述图像进行正交变换时的处理单元的最大尺寸；
对所述比特流进行解码，以生成作为对编码单元进行简单正交变换的结果的简单变换系数，所述编码单元为对所述图像进行编码时的处理单元；以及
通过参考所解析的识别信息基于所述编码单元的尺寸来执行简单逆正交变换。
CN201980021591.1A 2018-03-30 2019-03-18 图像编码装置、图像编码方法、图像解码装置和图像解码方法 Withdrawn CN111903125A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-068856 2018-03-30
JP2018068856 2018-03-30
PCT/JP2019/011047 WO2019188465A1 (ja) 2018-03-30 2019-03-18 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法

Publications (1)

Publication Number Publication Date
CN111903125A true CN111903125A (zh) 2020-11-06

Family

ID=68061609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980021591.1A Withdrawn CN111903125A (zh) 2018-03-30 2019-03-18 图像编码装置、图像编码方法、图像解码装置和图像解码方法

Country Status (3)

Country Link
US (1) US20210006836A1 (zh)
CN (1) CN111903125A (zh)
WO (1) WO2019188465A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI772043B (zh) * 2021-05-31 2022-07-21 敦泰電子股份有限公司 任意倍率的影像縮放方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021061501A (ja) * 2019-10-04 2021-04-15 シャープ株式会社 動画像変換装置及び方法
CN110933433A (zh) * 2019-10-15 2020-03-27 苏州斯普锐智能***有限公司 工业解码模块及基于该工业解码模块的应用市场

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247524A (zh) * 2003-02-21 2008-08-20 松下电器产业株式会社 图像编码方法
WO2015045301A1 (ja) * 2013-09-27 2015-04-02 日本電気株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
JP2015076666A (ja) * 2013-10-07 2015-04-20 日本電気株式会社 ブロック構造決定回路および情報圧縮回路

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147290A (ja) * 2011-01-13 2012-08-02 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247524A (zh) * 2003-02-21 2008-08-20 松下电器产业株式会社 图像编码方法
WO2015045301A1 (ja) * 2013-09-27 2015-04-02 日本電気株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
JP2015076666A (ja) * 2013-10-07 2015-04-20 日本電気株式会社 ブロック構造決定回路および情報圧縮回路

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI772043B (zh) * 2021-05-31 2022-07-21 敦泰電子股份有限公司 任意倍率的影像縮放方法

Also Published As

Publication number Publication date
US20210006836A1 (en) 2021-01-07
WO2019188465A1 (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
US11070799B2 (en) Encoder, decoder and corresponding methods for intra prediction
US20210144376A1 (en) Image processing apparatus and method
US11336919B2 (en) Image processing apparatus and method
CN114616828A (zh) 图像处理装置和方法
JP7235030B2 (ja) 画像処理装置および方法
CN111903125A (zh) 图像编码装置、图像编码方法、图像解码装置和图像解码方法
US20220256151A1 (en) Image processing device and method
CN113039794A (zh) 图像处理装置和方法
JP7494858B2 (ja) 画像処理装置および方法
JP7235031B2 (ja) 画像処理装置および方法
US20210037248A1 (en) Image encoding device, image encoding method, image decoding device, and image decoding method
EP4351143A1 (en) Image processing device and method
WO2020066641A1 (ja) 画像処理装置および方法
CN115176476A (zh) 图像处理装置、比特流生成方法、系数数据生成方法以及量化系数生成方法
WO2020008714A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7517348B2 (ja) 画像処理装置および方法
WO2020129636A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
US20230045106A1 (en) Image processing apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201106