CN111095933A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN111095933A
CN111095933A CN201880058135.XA CN201880058135A CN111095933A CN 111095933 A CN111095933 A CN 111095933A CN 201880058135 A CN201880058135 A CN 201880058135A CN 111095933 A CN111095933 A CN 111095933A
Authority
CN
China
Prior art keywords
prediction
image
component
unit
chroma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880058135.XA
Other languages
English (en)
Other versions
CN111095933B (zh
Inventor
筑波健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111095933A publication Critical patent/CN111095933A/zh
Application granted granted Critical
Publication of CN111095933B publication Critical patent/CN111095933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本发明涉及能够抑制编码效率的降低的图像处理装置和方法。使用线性预测来根据亮度分量参考图像的像素值预测色度分量像素值，在该亮度分量参考图像中，已经使用基于与色度分量像素位置有关的信息和与颜色格式有关的信息而选择的滤波器来修改像素位置。生成色度分量预测图像，并且该生成的预测图像被用来对其中图像已被编码的编码数据的色度分量进行解码。本发明可以例如应用于图像处理装置、图像编码装置或图像解码装置。

Description

图像处理装置和方法
技术领域
本公开内容涉及图像处理装置和方法，并且具体地涉及可以抑制编码效率的降低的图像处理装置和方法。
背景技术
常规上，为了提高色度帧内预测的预测性能，存在被称为分量间线性预测的技术(例如，参见NPL 1)。此外，为了提高分量间线性预测的预测性能，提出了被称为多滤波器线性模型预测的技术，其中从四个下采样滤波器之中选择用于生成要参考的亮度分量的下采样滤波器。
引用列表
非专利文献
NPL 1：Jianle Chen,Elena Alshina,Gary J.Sullivan,Jens-Rainer,JillBoyce,"Algorithm description of Joint Exploration Test Model 6",JVET-F1001,Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11 6th Meeting:Hobart,AU,2017/6/30
发明内容
本发明要解决的问题
然而，在NPL 1中描述的方法的情况下，多滤波器模式的应用以420格式作为色度格式为前提。因此，不能将NPL 1中描述的该多滤波器模式应用于除了420格式之外的色度格式，例如，422格式等。这可能导致在色度格式不是420格式的情况下降低编码效率。
本公开内容是鉴于这样的情况设计的，并且使得可以抑制编码效率的降低。
解决问题的手段
根据本技术的一方面的图像处理装置包括一种图像处理装置，该图像处理装置包括：预测单元，其根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像；以及解码单元，其通过使用预测图像来对图像被编码的编码数据的色度分量进行解码。基于关于色度分量的像素位置的信息和关于颜色格式的信息来选择滤波器。预测图像由预测单元生成。
根据本技术的一方面的图像处理方法包括一种图像处理方法，该图像处理方法包括：根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像；以及通过使用所生成的预测图像来对图像被编码的编码数据的色度分量进行解码。基于关于色度分量的像素位置的信息和关于颜色格式的信息来选择滤波器。
根据本技术的另一方面的图像处理装置包括一种图像处理装置，该图像处理装置包括：预测单元，其根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像；以及编码单元，其通过使用预测图像来对图像的色度分量进行编码。基于关于色度分量的像素位置的信息和关于颜色格式的信息来选择滤波器。预测图像由预测单元生成。
根据本技术的另一方面的图像处理方法包括一种图像处理方法，该图像处理方法包括：根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像；以及通过使用所生成的预测图像来对图像的色度分量进行编码。基于关于色度分量的像素位置的信息和关于颜色格式的信息来选择滤波器。
在根据本技术的一方面的图像处理装置和方法中，根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像，并且通过使用所生成的预测图像来对图像被编码的编码数据的色度分量进行解码。基于关于色度分量的像素位置的信息和关于颜色格式的信息来选择滤波器。
在根据本技术的另一方面的图像处理装置和方法中，根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像，并且通过使用所生成的预测图像来对图像的色度分量进行编码。基于关于色度分量的像素位置的信息和关于颜色格式的信息来选择滤波器。
本发明的效果
根据本公开内容，可以对图像进行处理。尤其是，可以抑制编码效率的降低。
附图说明
[图1]图1是示出分量间线性预测的状态的示例的图。
[图2]图2是示出要处理的像素和参考像素的示例的图。
[图3]图3是示出多类别线性预测的状态的示例的图。
[图4]图4是示出多滤波器线性模型预测的亮度分量的像素位置的图。
[图5]图5是示出与分量间线性预测相关的语法的示例的图。
[图6]图6是示出与分量间线性预测相关的语法的示例的图。
[图7]图7是描述分量间线性预测处理的流程的示例的流程图。
[图8]图8是用于描述常规技术中的分量间线性预测的问题的图。
[图9]图9是用于描述CU的递归块划分的概要的说明图。
[图10]图10是用于描述将PU设置成图9所示的CU的说明图。
[图11]图11是用于描述将TU设置成图9所示的CU的说明图。
[图12]图12是用于描述CU/PU的扫描顺序的说明图。
[图13]图13是描述CU、PU和TU的形状的图。
[图14]图14是示出关于块的语义的示例的图。
[图15]图15是示出图像解码装置的主要部件的示例的框图。
[图16]图16是示出色度样本位置信息的语法的示例的图。
[图17]图17是描述图像解码处理的流程的示例的流程图。
[图18]图18是描述解码处理的流程的示例的流程图。
[图19]图19是描述图18之后的解码处理的流程的示例的流程图。
[图20]图20是示出与分量间线性预测相关的语法的示例的图。
[图21]图21是示出亮度分量的并置块的示例的图。
[图22]图22是示出角度预测的状态的示例的图。
[图23]图23是用于描述色度样本位置类型的设置的图。
[图24]图24是用于描述色度帧内预测模式的设置的图。
[图25]图25是用于描述色度帧内预测模式的设置的图。
[图26]图26是示出色度样本位置信息的语法的示例的图。
[图27]图27是用于描述色度样本位置类型的设置的图。
[图28]图28是示出与分量间线性预测相关的语法的示例的图。
[图29]图29是示出预测单元的主要部件的示例的框图。
[图30]图30是示出帧内预测部的主要部件的示例的框图。
[图31]图31是示出CC预测部的主要部件的示例的框图。
[图32]图32是示出亮度/色度预测部的主要部件的示例的框图。
[图33]图33是描述预测处理的流程的示例的流程图。
[图34]图34是描述帧内预测处理的流程的示例的流程图。
[图35]图35是描述分量间线性预测处理的流程的示例的流程图。
[图36]图36是描述亮度到色度预测处理的流程的示例的流程图。
[图37]图37是用于描述下采样滤波器被选择的状态的示例的图。
[图38]图38是示出下采样滤波器的参考像素位置的示例的图。
[图39]图39是示出下采样滤波器的滤波器因数的示例的图。
[图40]图40是示出下采样滤波器的参考像素位置的示例的图。
[图41]图41是示出下采样滤波器的滤波器因数的示例的图。
[图42]图42是示出下采样滤波器的参考像素位置的示例的图。
[图43]图43是示出下采样滤波器的滤波器因数的示例的图。
[图44]图44是示出下采样滤波器的参考像素位置的示例的图。
[图45]图45是示出下采样滤波器的滤波器因数的示例的图。
[图46]图46是示出下采样滤波器的参考像素位置的示例的图。
[图47]图47是示出下采样滤波器的滤波器因数的示例的图。
[图48]图48是示出下采样滤波器的参考像素位置的示例的图。
[图49]图49是示出下采样滤波器的滤波器因数的示例的图。
[图50]图50是示出下采样滤波器的参考像素位置的示例的图。
[图51]图51是示出下采样滤波器的滤波器因数的示例的图。
[图52]图52是示出Cb/Cr残差预测部的主要部件的示例的框图。
[图53]图53是描述色度间残差预测处理的流程的示例的流程图。
[图54]图54是描述CU级解码处理的流程的示例的流程图。
[图55]图55是示出图像编码装置的主要部件的示例的框图。
[图56]图56是描述图像编码处理的流程的示例的流程图。
[图57]图57是描述图像编码处理的流程的示例的流程图。
[图58]图58是描述图57之后的编码处理的流程的示例的流程图。
[图59]图59是示出预测单元的主要部件的示例的框图。
[图60]图60是描述预测处理的流程的示例的流程图。
[图61]图61是描述帧内预测处理的流程的示例的流程图。
[图62]图62是描述CU级编码处理的流程的示例的流程图。
[图63]图63是描述图62之后的CU级编码处理的流程的示例的流程图。
[图64]图64是描述解码处理的流程的示例的流程图。
[图65]图65是描述图64之后的解码处理的流程的示例的流程图。
[图66]图66是示出与分量间线性预测相关的语法的示例的图。
[图67]图67是示出CC预测部的主要部件的示例的框图。
[图68]图68是描述分量间线性预测处理的流程的示例的流程图。
[图69]图69是描述CU级解码处理的流程的示例的流程图。
[图70]图70是描述编码处理的流程的示例的流程图。
[图71]图71是描述图70之后的编码处理的流程的示例的流程图。
[图72]图72是描述CU级编码处理的流程的示例的流程图。
[图73]图73是描述图72之后的CU级编码处理的流程的示例的流程图。
[图74]图74是示出计算机的主要部件的示例的框图。
[图75]图75是示出电视设备的示意性配置的示例的框图。
[图76]图76是示出移动电话的示意性配置的示例的框图。
[图77]图77是示出记录/再现设备的示意性配置的示例的框图。
[图78]图78是示出成像设备的示意性配置的示例的框图。
[图79]图79是示出视频设备的示意性配置的示例的框图。
[图80]图80是示出视频处理器的示意性配置的示例的框图。
[图81]图81是示出视频处理器的示意性配置的另一示例的框图。
[图82]图82是示出网络***的示意性配置的示例的框图。
具体实施方式
以下描述用于执行本公开内容的模式(以下被称为实施方式)。应当注意，将按照以下顺序给出描述。
1.分量间线性预测
2.第一实施方式(图像解码装置和分量间预测)
3.第二实施方式(图像编码装置和分量间预测)
4.第三实施方式(图像解码装置和色度间残差预测的执行控制)
5.第四实施方式(图像编码装置和色度间残差预测的执行控制)
6.结论
7.其他方面
<1.分量间线性预测>
<分量间线性预测(CCLMP)>
NPL 1具有被称为分量间线性预测(CCLMP(分量间线性模型预测))的技术，以提高色度帧内预测的预测性能。应当注意，该分量间线性预测(CCLMP)也被称为分量间预测(CCP(分量间预测))。此外，以下还将亮度信号或亮度分量称为亮度分量。此外，色度信号或色度分量也被称为色度分量。
CCLMP(CCP)是一种帧内预测技术，其假设分量具有如图1所示的线性关系，例如根据由以下表达式(1)表示的线性模型，从分量A(色度分量C)上的预测目标块的并置位置中的分量B(亮度分量Y)的像素值来预测分量A(色度分量C)上的预测目标块的像素值。
PredC[x，y]＝α×RecL＇[x，y]+β
…(1)
在表达式(1)中，根据线性回归(或最小二乘法)，从图2的A中所示的分量A(色度分量C)的预测目标块的相邻解码像素组和图2的B中所示的并置位置中的分量B(图2的B的示例中的亮度分量Y)的解码像素组推导线性模型的参数α和β。例如，根据下面的表达式(2)推导α，并且根据下面的表达式(3)推导β。应当注意，以下还将要预测的分量称为预测目标分量，并且还将在预测时要参考的分量称为参考分量。
Figure BDA0002402706000000073
Figure BDA0002402706000000072
在表达式(2)和表达式(3)中，N表示色度分量C的相邻解码像素组(或与色度分量C对应的亮度分量Y的缩小的解码像素组(缩小的亮度解码像素组))的样本数量。
此外，C(n)表示色度分量C的相邻的解码像素组的第n个样本，并且L(n)表示与色度分量C对应的缩小的亮度解码像素组的第n个样本。
在色度格式(也称为色度阵列类型ChromaArrayType)是420格式的情况下，通过在原始分辨率的亮度分量的解码像素组RecL[2x,2y]周围应用例如下面的表达式(4)中的下采样滤波器，推导(在并置位置中)与(x，y)位置中的色度分量信号对应的降低分辨率的亮度分量信号RecL′[x,y]。
Rec′L[x，y]＝(2×RecL[2x，2y]+2×RecL[2x，2y+1]+
RecL[2x-1，2y]+RecL[2x+1，2y]+
RecL[2x-1，2y+1]+RecL[2x+1，2y+1]+4)＞＞3
…(4)
<多类别模式(MCLMP)>
为了进一步提高CCLMP的预测准确度，存在一种称为多类别线性预测(MCLMP(多类别线性模型预测)或MMLMP(多模型线性模型预测))的技术，其中在预测预测目标分量(色度分量)时参考的参考分量(亮度分量)被分割成N个类别(N＝2)，并且针对每个类别根据参考分量对预测目标分量进行线性预测。例如，以下表达式(5)表示N＝2的情况下的线性模型公式的示例。
Figure BDA0002402706000000081
在亮度分量的(缩小)解码像素组RecL′[x,y]的像素值小于或等于特定阈值Thr的情况下，分类成类别1。在像素值大于阈值Thr的情况下，分类成类别2色度分量的预测信号PredC[x,y]根据与每个类别对应的线性预测公式导出。阈值Thr是例如缩小的亮度解码像素组RecL′[x,y]的平均值。
<多重滤波器模式(MFLMP)>
为了在色度格式(色度阵列类型ChromaArrayType)是420格式时提高CCLMP的预测性能，提出了一种称为多滤波器线性模型预测(MFLMP(多滤波器线性模型预测))的技术，其中用于生成亮度信号RecL′[x,y]的下采样滤波器针对CCLMP被切换到除了以上表达式(4)之外的以下表达式(6)至(9)中的四个下采样滤波器，该亮度信号RecL′[x,y]指的是线性预测时在(x，y)位置处的色度信号。
应当注意，与表达式(4)和表达式(6)至(9)对应的下采样滤波器中的亮度分量的像素位置(样本位置)分别如图4A至图4E所示。即，图4的A对应于表达式(4)，图4的B对应于表达式(6)，图4的C对应于表达式(7)，图4的D对应于表达式(8)，并且图4的E对应于表达式(9)。在图4中，圆形表示亮度分量的像素位置，星形表示下采样滤波器中使用的亮度分量的像素位置。
Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x+1，2y]+1)＞＞1
…(6)
Rec′L[x，y]＝(RecL[2x+1，2y]+RecL[2x+1，2y+1]+1)＞＞1
…(7)
Rec′L[x，y]＝(RecL[2x，2y+1]+RecL[2x+1，2y+1]+1)＞＞1
…(8)
Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x，2y+1]+RecL[2x+1，2y]+RecL[2x+1，2y+1]+2)＞＞2
…(9)
<Cb到Cr的残差预测>
CCLMP包括被称为Cb/Cr残差预测(Cb到Cr残差预测)的技术，其中，在两个色度分量之间线性地预测预测残差(从Cb分量到Cr分量(从U分量到V分量)线性地预测预测残差)。
表示包括Cb/Cr残差预测的CCLMP的线性模型公式由以下表达式(10)来表示。
Figure BDA0002402706000000091
在表达式(10)中，predCr[x,y]表示通过表达式(1)或表达式(6)表达的CCLMP从亮度分量预测的Cr预测图像。predCr *[x,y]表示Cr预测图像，即通过添加α·resiCb[x,y]校正Cr预测图像predCr[x,y]获得的经校正Cr预测图像。从亮度分量获得Cr预测图像predCr[x，y]。通过将预测残差resiCb[x，y]乘以加权系数α来获得α·resiCb[x，y]。通过对Cb分量的变换系数coefCb进行逆量化/逆变换来获得预测残差resiCb[x，y]。
在表达式(10)中，根据线性回归(或最小二乘法)，从Cr分量的预测目标块的相邻解码像素组和其并置位置中的Cb分量的解码像素组推导线性模型的参数α。例如，根据表达式(11)来确定α。
Figure BDA0002402706000000101
在表达式(11)中，N表示Cr分量的相邻解码像素组的样本数量。此外，Cr(n)表示Cr分量的相邻解码像素组的第n个样本，并且Cb(n)表示Cr分量的相邻解码像素组的并置位置中的Cb分量的相邻解码像素组的第n个样本。此处，表达式(11)中的λ为Σ(Cb(n)·Cb(n))>>9的值。
<分量间线性预测及其扩展模式的语法>
图5和图6示出了与NPL 1中的CCLMP及其扩展模式(多类别模式(MCLMP)和多滤波器模式(MFLMP))相关的语法表的示例。
在图5和图6中，与分量间线性预测相关的主要语法如下。
cclmp_enabled_flag:分量间线性预测有效标志。例如，“0”指示不可用性，而“1”指示可用性。
cclmp_flag：分量间线性预测标志。例如，“0”指示不使用分量间线性预测，而“1”指示使用分量间线性预测。
intra_chroma_pred_mode：用于标识色度帧内预测模式候选列表intraPredCandListC中的模式编号的标识符。
mclmp_flag：多类别模式标志(MCLMP标志)。例如，“0”指示类别1模式(单类别模式)，并且“1”指示类别2模式(多类别模式)。
mflmp_flag：多滤波器模式标志(MFLMP标志)。例如，“0”指示MFLMP模式关闭，而“1”指示下采样滤波器被改变。
mflmp_idx：多滤波器模式标识符(MFLMP标识符)。控制信息指定使用哪个下采样滤波器。
LM_CHROMA_IDX：指示cclmp_flag＝＝1、mclmp_flag＝＝0以及mflm_flag＝＝0的情况下的CCLMP预测的模式编号。
MMLM_CHROMA_IDX：指示CCLMP预测的模式编号，其中cclmp_flag＝＝1，以及mclmp_flag＝＝1。
LM_CHROMA_FX_IDX：指示cclmp_flag＝＝1，mclmp_flag＝＝0、mflm_flag＝＝1、mflm_idx＝＝(X-1)(X＝1..4)的情况下的CCLMP预测的模式编号。
<多滤波器模式的特性>
NPL 1中描述的多滤波器模式具有例如以下特性。
例如，在NPL 1中，多滤波器模式的应用以420格式作为色度格式为前提，并且未考虑关于其他色度格式(例如，422格式)的任何内容。因此，难以将NPL 1中描述的多滤波器模式应用于422格式。因此，存在编码效率降低的风险。
此外，在色度格式是444格式的情况下，亮度分量和色度分量具有相同的分辨率。这消除了利用下采样滤波器生成亮度分量信号RecL'[x,y]的必要性，并且允许原始分辨率的亮度分量的解码像素组RecL[x,y]被按原样使用。当对色度分量信号进行线性预测时，参考亮度分量信号RecL'[x,y]。因此，在色度格式是444格式的情况下，与多滤波器模式有关的控制信息的编码/解码是冗余的。因此，存在编码效率降低的风险。
此外，在NPL 1中，仅将切换下采样滤波器的多滤波器模式应用于多类别模式(mclmp_flag＝1)，而不应用于单类别模式(mclmp_flag＝0)。因此，存在编码效率降低的风险。
<Cb/Cr残差预测的特性>
参照图7的流程图描述由解码器(未示出)执行的NPL 1中描述的分量间线性预测(CCLMP)处理的流程的示例。
当分量间线性预测处理开始时，在步骤S11中，解码器解析与要从编码数据解码的CU(也被称为当前CU)相关的语法组。
在步骤S12中，解码器生成亮度分量的预测图像。
在步骤S13中，解码器执行逆量化/逆变换，以将亮度分量的变换系数变换成预测残差。
在步骤S14中，解码器根据亮度分量的预测残差和预测图像来恢复解码图像。
在步骤S15中，解码器根据亮度分量的解码图像来生成色度分量(Cb)的预测图像。
在步骤S16中，解码器执行逆量化/逆变换，以将色度分量(Cb)的变换系数变换成预测残差。
在步骤S17中，解码器根据色度分量(Cb)的预测残差和预测图像来恢复解码图像。
在步骤S18中，解码器根据亮度分量的解码图像来生成色度分量(Cr)的预测图像。
在步骤S19中，解码器执行逆量化/逆变换，以将色度分量(Cr)的变换系数变换成预测残差。
在步骤S20中，解码器通过使用色度分量(Cb)的预测残差(Cb/Cr残差预测)来校正色度分量(Cr)的预测图像。
在步骤S21中，解码器根据色度分量(Cr)的预测残差和经校正的预测图像来恢复解码图像。
如图7所示，在要处理的编码单元中执行分量间线性预测的情况下，不能在完成亮度分量的解码之前生成Cb分量的预测图像(步骤S15)。类似地，在亮度分量的解码完成之前，也不能生成Cr分量的预测图像(步骤S18)。此外，在Cr分量的预测残差的生成(步骤S16)完成之前，不能对Cr分量的预测图像进行校正(步骤S20)。
如上所述，分量之间的相关性发生在分量间预测中。尤其是Cr分量取决于亮度分量和Cb分量，并且因此与Cb分量的解码相比，延迟可能进一步增加。
总之，NPL 1中描述的分量间线性预测具有如图8中所示的问题。
<基于色度样本位置信息和色度阵列类型的滤波器选择>
因此，通过线性预测根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值来预测色度分量的像素值，并且生成色度分量的预测图像，该滤波器基于与色度分量的像素位置有关的信息和与颜色格式有关的信息(色度阵列类型)来选择。这使得可以抑制编码效率的降低。
<块划分>
顺便提及，在诸如MPEG2(运动图像专家组2(ISO/IEC 13818-2))或MPEG-4Part 10(高级视频编码，下文中被称为AVC)的老式图像编码方法中，按称为宏块的处理单元执行编码处理。宏块是具有16×16像素的均匀大小的块。相反，在HEVC(高效视频编码)中，以被称为CU(编码单元)的处理单元(编码单元)来执行编码处理。CU是大小可变的块，并且通过递归地划分作为最大编码单元的LCU(最大编码单元)来形成。CU的可选择的最大大小是64×64像素。CU的可选择的最小大小是8×8像素。具有最小大小的CU被称为SCU(最小编码单元)。注意，CU的最大大小不限于64×64像素，而是可以是更大的块大小，例如128×128像素或256×256像素。
以这种方式，采用了具有可变大小的CU，并且因此，在HEVC中，图像质量和编码效率可根据图像的内容来适应性地调整。在称为PU(预测单元)的处理单元(预测单元)中执行用于预测编码的预测处理。PU通过以若干划分模式中的一个模式来划分CU而形成。此外，PU包括每个亮度(Y)和色度(Cb或Cr)的被称为PB(预测块)的处理单元(预测块)。此外，在被称为TU(变换单元)的处理单元(变换单元)中执行正交变换处理。TU通过将CU或PU划分到某一深度而形成。此外，TU包括每个亮度(Y)和色度(Cb或Cr)的被称为TB(变换块)的处理单元(变换块)。
<块的递归划分>
图9是用于描述HEVC中的CU上的递归块划分的概要的说明图。通过递归地重复从一个块划分成四个(＝2×2)子块来执行CU的块划分，并且因此，形成四叉树形状(四叉树)的树结构。一个四叉树的整体被称为CTB(编码树块)，并且与CTB对应的逻辑单元被称为CTU(编码树单元)。
图9的上部分示出了作为示例的C01，其是具有64×64像素的大小的CU。C01的划分深度等于零。这意味着C01是CTU的根(root)并且对应于LCU。LCU大小可以由被编码在SPS(序列参数集)或PPS(图片参数集)中的参数指定。作为CU的C02是通过划分C01获得的四个CU中的一个CU，并且具有32×32像素的大小。C02的划分深度等于1。作为CU的C03是通过划分C02获得的四个CU中的一个CU，并且具有16×16像素的大小。C03的划分深度等于2。作为CU的C04是通过划分C03获得的四个CU中的一个CU，并且具有8×8像素的大小。C04的划分深度等于3。如上所述，CU通过递归地划分要编码的图像而形成。划分深度是可变的。例如，可以针对诸如蓝天的平坦图像区域设置具有较大大小(即，较小深度)的CU。相反，可以针对具有许多边缘的陡峭图像区域设置具有较小大小(即，较大深度)的CU。然后，将所设置的CU中的每一个用作编码处理的处理单元。
<PU至CU的设置>
PU是包括帧内预测和帧间预测的预测处理的处理单元。PU通过以若干划分模式中的一个模式来划分CU而形成。图10是用于描述向图9所示的CU设置PU的说明图。图10的右边示出了八种划分模式：2N×2N、2N×N、N×2N、N×N、2N×nU、2N×nD、nL×2N和nR×2N。在这些划分模式中，可以在帧内预测中选择两种类型的划分模式：2N×2N和N×N(N×N仅在SCU中可选)。相反，在非对称运动划分启用的情况下，在帧间预测中，所有八种划分模式都是可选择的。
<TU至CU的设置>
TU是正交变换处理的处理单元。TU通过将CU(对于帧内CU而言，CU中的每个PU)划分到某一深度而形成。图11是用于描述向图10所示的CU设置TU的说明图。图11的右侧示出了可以在C02中设置的一个或更多个TU。例如，T01具有32×32像素的大小，并且其TU划分深度等于零。作为TU的T02具有16×16像素的大小，并且其TU划分深度等于1。作为TU的T03具有8×8像素的大小，且其TU划分深度等于2。
执行什么块划分以在图像中设置诸如上述的CU、PU或TU的块通常基于影响编码效率的成本比较来确定。例如，编码器在一个2M×2M像素的CU与四个M×M像素的CU之间比较成本。如果在设置四个M×M像素的CU的情况下的编码效率更高，则编码器确定2M×2M像素的CU被划分成四个M×M像素的CU。
<CU和PU的扫描顺序>
当对图像进行编码时，以光栅扫描顺序扫描在图像(或片或区块)中以格状形式设置的CTB(或LCU)。在一个CTB中，扫描CU以从左到右和从上到下跟踪四叉树。当处理当前块时，上部和左侧相邻块的信息被用作输入信息。图12是用于描述对CU和PU的扫描顺序的说明图。图12的左上部示出了作为可以被包括在一个CTB中的四个CU的C10、C11、C12和C13。每个CU的帧中的数字指示处理顺序中的位置。以作为左上CU的C10、作为右上CU的C11、作为左下CU的C12以及作为右下CU的C13的顺序来执行编码处理。图12的右侧示出了可以在作为CU的C11中设置的用于帧间预测的一个或更多个PU。图12的下部示出了可以在作为CU的C12中设置的用于帧内预测的一个或更多个PU。如这些PU的框中的数字所示，PU也是从左到右并且从上到下被扫描。
以下有时通过使用“块”(不是处理单元中的块)作为图像(图片)或处理单元的部分区域来进行描述。在这种情况下，“块”指示图片内的任何部分区域，并且其大小、形状、特性等不受限制。即，在这种情况下，“块”例如包括任何部分区域(处理单元)，例如TB、TU、PB、PU、SCU、CU、LCU(CTB)、子块、宏块、区块或片。
<CU、PU和TU的形状>
应当注意，图像数据的编码/解码具有任何块结构，并且不限于上述示例。例如，可以应用下述QTBT(四叉树加二叉树)结构。
例如，图13中所示的CU、PU和TU(变换单元)是以下中描述的QTBT的CU、PU和TU：JVET-C0024，“EE2.1：四叉树加二叉树结构与JEM工具的集成(EE2.1:Quadtree plusbinary tree structure integration with JEM tools.)”。具体地，在CU的块划分中，不仅可以将一个块划分成四个(＝2×2)子块，而且还可以将一个块划分成两个子块(＝1×2或2×1)。换言之，通过递归地重复将一个块划分成四个子块或两个子块来执行CU的块划分，并且因此，形成了水平方向或垂直方向上的四叉树(四叉树)形状或二叉树(二叉树)形状的树结构。
因此，CU不仅可以具有正方形形状，而且可以具有矩形形状。例如，在LCU(最大编码单元)的大小为128×128的情况下，如图13所示，CU的大小(水平方向上的大小w×垂直方向上的大小h)不仅可以是正方形大小，例如128×128、64×64、32×32、16×16、8×8或4×4，而且可以是矩形大小，例如128×64、128×32、128×16、128×8、128×4、64×128、32×128、16×128、8×128、4×128、64×32、64×16、64×8、64×4、32×64、16×64、8×64、4×64、32×16、32×8、32×4、16×32、8×32、4×32、16×8、16×4、8×16、4×16、8×4或4×8。应当注意，与CU相同的情况适用于PU和TU。
此外，TU包括亮度(Y)变换块和色度(Cb/Cr)变换块。在颜色格式为4:2:0(例如，YUV420)的情况下，色度图片大小与亮度图片大小相对于垂直宽度和水平宽度的比例为1/2。因此，如果亮度变换块的大小为8×4，则对应色度变换块的大小为4×2。此外，在颜色格式为4:2:2(例如，YUV422)的情况下，色度图片大小与亮度图片大小相对于垂直宽度的比例为1/2，并且色度图片大小与亮度图片大小相对于水平宽度的比例为1。因此，如果亮度变换块的大小为8×4，则对应色度变换块的大小为8×2。此外，在颜色格式为4:4:4(例如，YUV444)的情况下，色度图片大小与亮度图片大小相对于垂直宽度的比例为1，色度图片大小与亮度图片大小相对于水平宽度的比例为1。因此，如果亮度变换块的大小为8×4，则对应色度变换块的大小为8×4。
应当注意，关于I片，可以将编码作为亮度(Y)与色度(Cb/Cr)之间的不同CU来执行。在这种情况下，可以在亮度与色度之间采用不同的CU划分结构，并且表现出提高I片的编码效率的效果。尽管为了方便起见下面描述亮度和色度的信息被包括在相同CU中，但是这不是限制性的。
图14示出了JEM中关于这些块的信息的语义的示例。本技术还可应用于如上所述的QTBT结构的图像编码和图像解码。
<2.第一实施方式>
<图像解码装置>
图15是示出作为应用本技术的图像处理装置的模式的图像解码装置的配置的示例的框图。图15所示的图像解码装置100是对通过对如AVC或HEVC中的图像与预测图像的预测残差进行编码而获得的编码数据进行解码的装置。图像解码装置100例如实现对HEVC提出的技术或对JVET(联合视频探索小组)提出的技术。
在图15中，图像解码装置100包括解码单元111、逆量化单元112、逆变换单元113、预测单元114、计算单元115、帧存储器116和环路滤波器单元117。图像解码装置100是用于通过对输入的编码数据#1(比特流)进行解码来生成运动图像#2的装置。
<解码单元>
解码单元111执行用于对图像进行解码的处理。例如，解码单元111被配置成使用编码数据#1作为输入，根据语法表的定义对来自编码数据#1的位串的语法元素中的每一个的语法值执行可变长度解码，并且推导参数。
从语法元素和语法元素的语法值推导的参数包括信息，例如头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo和滤波器信息Finfo。下面描述这些类型的信息。
<头部信息Hinfo>
头部信息Hinfo例如包括诸如VPS(视频参数集)/SPS(序列参数集)/PPS(图片参数集)/SH(片头部)的头部信息。头部信息Hinfo包括例如用于限定以下的信息：图像大小(水平宽度PicWidth和垂直宽度PicHeight)；位深度(亮度bitDepthY和色度bitDepthC)；色度阵列类型ChromaArrayType；CU大小的最大值MaxCUSSize/最小值MinCUSize；四叉树划分(quad-tree partition)(也称为四叉树划分(Quad-tree partition))的最大深度MaxCTDDepth/最小深度MinQTDepth；二叉树划分(二叉树划分)的最大深度MaxCBTDepth/最小深度MinBTDepth；变换跳过块的最大值MaxDSSSize(也称为最大变换跳过块大小)；每个编码工具的开启/关闭标志(也称为启用标志)等。
包括在头部信息Hinfo中的编码工具的开启/关闭标志的示例包括针对下面描述的变换和量化处理的开启/关闭标志。应当注意，编码工具的开启/关闭标志也被解释为指示编码工具的语法是否存在于编码数据中的标志。此外，在开启/关闭标志的值为1(真)的情况下，指示编码工具可用，并且在开启/关闭标志的值为0(假)的情况下，指示编码工具不可用。应当注意，对标志的值的解释可以颠倒。
分量间预测有效标志(ccp_enabled_flag)：指示分量间预测(也被称为CCP(分量间预测)或CC预测)是否可用的标志信息。例如，在该标志信息为“1”(真)的情况下，其指示可用性。在该标志信息为“0”(假)的情况下，其指示不可用性。
应当注意，该CCP也被称为分量间线性预测(CCLM或CCLMP)。
<预测模式信息Pinfo>
预测模式信息Pinfo例如包括诸如要处理的PB(预测块)的大小信息PBSize(预测块大小)、帧内预测模式信息IPinfo和运动预测信息MVinfo的信息。
帧内预测模式信息IPinfo包括例如JCTVC-W1005,7.3.8.5编码单元语法中的prev_intra_luma_pred_flag、mpm_idx、rem_intra_pred_mode、从其语法中导出的亮度帧内预测模式IntraPredModeY等。
此外，帧内预测模式信息IPinfo包括例如分量间预测标志(ccp_flag(cclmp_flag))、多类别线性预测模式标志(mclm_flag)、色度样本位置类型标识符(chroma_sampe_loc_type_idx)、色度MPM标识符(chroma_mpm_idx)、从其语法导出的亮度帧内预测模式(IntraPredModeC)等。
分量间预测标志(ccp_flag(cclmp_flag))是指示是否应用分量间线性预测的标志信息。例如，当ccp_flag＝＝1时，这指示应用分量间预测。当ccp_flag＝＝0时，这指示不应用分量间预测。
多类别线性预测模式标志(mclm_flag)是关于线性预测模式的信息(线性预测模式信息)。更具体地，多类别线性预测模式标志(mclm_flag)是指示是否设置多类别线性预测模式的标志信息。例如，在“0”的情况下，其指示类别1模式(单类别模式)(例如，CCLMP)。在“1”的情况下，其指示类别2模式(多类别模式)(例如，MCLMP)。
色度样本位置类型标识符(chroma_sample_loc_type_idx)是用于标识色度分量的像素位置的类型(也称为色度样本位置类型)的标识符。例如，在作为关于颜色格式的信息的色度阵列类型(ChromaArrayType)指示420格式的情况下，以下面的方式分配色度样本位置类型标识符。
chroma_sample_loc_type_idx＝＝0：类型2
chroma_sample_loc_type_idx＝＝1：类型3
chroma_sample_loc_type_idx＝＝2：类型0
chroma_sample_loc_type_idx＝＝3：类型1
应当注意，该色度样本位置类型标识符(chroma_sample_loc_type_idx)作为关于色度分量的像素位置的信息(chroma_sample_loc_info())被发送(存储)，例如，如同图16所示的语法。
色度MPM标识符(chroma_mpm_idx)是指示色度帧内预测模式候选列表(intraPredModeCandListC)中的哪个预测模式候选被指定为色度帧内预测模式的标识符。
运动预测信息MVinfo包括例如诸如merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X＝{0，1}和mvd(参见例如JCTVC-W1005，7.3.8.6预测单元语法)的信息。
当然，预测模式信息Pinfo可以包括任何信息，并且可以包括除了这些种类的信息之外的信息。
<变换信息Tinfo>
变换信息Tinfo例如包括以下信息。不言而喻，变换信息Tinfo可以包括任何信息，并且可以包括除了这些种类的信息之外的信息。
要处理的变换块的水平宽度大小TBWidth和垂直宽度TBHeight(或TBWidth和TBHeight的对数值log2TBWidth和log2TBHeight，每个都以2作为基数)。
变换跳过标志(ts_flag)：指示是否跳过(逆)一次变换和(逆)二次变换的标志。
扫描标识符(scanIdx)
量化参数(qp)
量化矩阵(scaling_matrix(例如，JCTVC-W1005，7.3.4缩放列表数据语法))
<残差信息Rinfo>
残差信息Rinfo(例如，参见JCTVC-W1005的7.3.8.11残差编码语法)例如包括以下语法。
cbf(coded_block_flag)：残差数据存在/不存在标志，
last_sig_coeff_x_pos：最后的非零系数X坐标，
last_sig_coeff_y_pos：最后的非零系数Y坐标，
coded_sub_block_flag：子块非零系数存在/不存在标志
sig_coeff_flag：非零系数存在/不存在标志，
gr1_flag：指示非零系数的水平是否大于1的标志(也被称为GR1标志)
gr2_flag：指示非零系数的水平是否大于2的标志(也被称为GR2标志)
sign_flag：非零系数的加号或减号(也被称为符号)
coeff_abs_level_remaining：非零系数的剩余水平(也称为非零系数剩余水平)等。
<滤波器信息Finfo>
滤波器信息Finfo包括例如关于下面描述的每个滤波处理的控制信息，并且包括每个滤波器被应用到的图片、用于指定图片中的区域的信息、以CU为单元的滤波器开启/关闭控制信息、关于片和区块的边界的滤波器开启/关闭控制信息等。
关于去块滤波器(DBF)的控制信息
关于样本自适应偏移(SAO)的控制信息
关于自适应环路滤波器(ALF)的控制信息
其他线性/非线性滤波器的控制信息
<解码单元的工作>
解码单元111参考残差信息Rinfo推导每个变换块中的每个系数位置的经量化的变换系数水平level。此外，解码单元111将由解码产生的头部信息Hinfo、预测模式信息Pinfo、经量化的变换系数水平level、变换信息Tinfo和滤波器信息Finfo提供给各个块。详细情况如下。
将头部信息Hinfo提供给逆变换单元113、逆量化单元112、预测单元114和环路滤波器单元117。
将预测模式信息Pinfo提供给预测单元114。
将经量化的变换系数水平level提供给逆量化单元112。
将变换信息Tinfo提供给逆变换单元113和逆量化单元112。
滤波器信息Finfo被提供给环路滤波器单元117。
例如，解码单元111解析并且解码在编码数据中包括的关于分量间线性预测的信息并且获取该信息。关于分量间线性预测的该信息可以是任何信息，只要该信息涉及分量间线性预测。例如，可以包括用于控制与分量间线性预测相关的处理的控制信息。
关于分量间线性预测的该控制信息可以是任何控制信息，只要该控制信息与分量间线性预测相关即可。例如，可以包括上述信息，例如分量间预测有效标志(ccp_enabled_flag)、分量间预测标志(ccp_flag(cclmp_flag))、多类别线性预测模式标志(mclm_flag)、色度阵列类型(ChromaArrayType)和色度样本位置类型标识符(chroma_sample_loc_type_idx)。当然，也可以包含除了该信息之外的信息。
解码单元111将所获取的关于分量间线性预测的信息提供给预测单元114。这允许预测单元114基于该信息执行用于分量间线性预测的处理。
<逆量化单元>
逆量化单元112执行用于逆量化的处理。例如，逆量化单元112被配置成使用从解码单元111提供的变换信息Tinfo和经量化的变换系数水平level作为输入，基于变换信息Tinfo缩放(逆量化)经量化的变换系数水平level的值，并且将经逆量化的变换系数Coeff_IQ输出至逆变换单元113。
<逆变换单元>
逆变换单元113执行用于逆变换的处理。例如，逆变换单元113被配置成使用变换系数Coeff_IQ和变换信息Tinfo作为输入，基于变换信息Tinfo对变换系数Coeff_IQ应用逆变换，推导预测残差D'，并且将预测残差D'输出至计算单元115。
<计算单元>
计算单元115执行用于添加关于图像的信息的处理。例如，计算单元115被配置成使用从逆变换单元113提供的预测残差D'和从预测单元114提供的预测图像P作为输入，如以下表达式(12)所示那样将预测残差D'和与预测残差D'对应的预测图像P(预测信号)相加在一起，推导局部解码图像Rlocal，并且输出局部解码图像Rlocal。
Rlocal＝D'+P...(12)
<预测单元>
预测单元114执行用于生成预测图像的处理。例如，预测单元114被配置成使用预测模式信息Pinfo作为输入，在由预测模式信息Pinfo指定的预测方法中，通过使用由预测模式信息Pinfo指定并存储在帧存储器116中的经滤波的解码图像R'(或尚未经受滤波的解码图像R)作为参考图像来生成预测图像P，并且将预测图像P输出至计算单元115。
<环路滤波器单元>
环路滤波器单元117执行关于环路滤波处理的处理。例如，环路滤波器单元117从帧存储器116读取解码图像R，并且在由滤波器信息Finfo指定的环路滤波处理中生成经滤波的解码图像R'。此外，环路滤波器单元117将经滤波的解码图像R’提供给帧存储器116。应当注意，由环路滤波器单元117执行的环路滤波处理包括去块滤波器(DBF(DeBlockingFilter))、像素自适应偏移(SAO(Sample Adaptive Offset))、自适应环路滤波器(ALF(Adaptive Loop Filter))和其他线性/非线性滤波器(例如，维纳滤波器和双边滤波器)。
<帧存储器>
帧存储器116执行用于存储关于图像的数据的处理。例如，帧存储器116使用从计算单元115提供的局部解码图像Rlocal作为输入，以每个图片单元重构解码图像R，并且将重构的解码图像R存储在帧存储器116中。帧存储器116从缓冲器读取解码图像R并且提供给环路滤波器单元117。
帧存储器116将从环路滤波器单元117提供的并且已经经受环路滤波处理的解码图像R'存储在帧存储器116中的缓冲器中。帧存储器116从缓冲器中读取由预测单元114的预测模式信息Pinfo指定的解码图像R或经滤波的解码图像R'作为参考图像，并且提供给预测单元114。此外，帧存储器116可以将用于生成解码图像的头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等存储在帧存储器内的缓冲器中。帧存储器116被配置成执行如上所述的处理。
即，解码单元111至计算单元115用作解码单元，其对其中图像通过使用由预测单元114生成的预测图像被编码的编码数据的色度分量进行解码。
<图像解码处理的流程>
接下来，描述由如上所述配置的图像解码装置100执行的处理。图像解码装置100执行图像解码处理，从而执行对编码数据进行解码的处理，在该编码数据中，关于从编码侧提供的图像的数据被编码。
当图像解码处理开始时，解码单元111对输入的编码数据(比特流)进行解码并且在步骤S101中获取关于图像的数据。对关于图像的该数据进行量化。即，获取量化系数。在步骤S102中，逆量化单元112对在步骤S101中获取的量化系数执行逆量化并且获取变换系数Coeff_IQ，该逆量化是在编码侧执行的量化的逆处理。
在步骤S103中，逆变换单元113对在步骤S102的处理中获取的变换系数Coeff_IQ执行作为在编码侧执行的变换处理的逆处理的逆变换处理，并且获取预测残差D'。在步骤S104中，预测单元114执行预测处理，参考存储在帧存储器116中的参考图像，并且利用由编码侧指定的预测方法生成预测图像P。
在步骤S105中，计算单元115如表达式(12)中那样将在步骤S103的处理中获取的预测残差D'与在步骤S104的处理中获取的预测图像P相加在一起，以推导局部解码图像Rlocal。计算单元115输出该局部解码图像Rlocal作为解码图像。
此外，在步骤S106中，帧存储器116存储在步骤S105的处理中获得的局部解码图像Rlocal。在步骤S107中，环路滤波器单元117对帧存储器116中存储的局部解码图像执行预定的滤波处理。应当注意，将经滤波的局部解码图像存储在帧存储器116中。
当步骤S107的处理完成时，图像解码处理完成。
<解码处理的流程>
参照图18和图19的流程图，描述了控制信息(分量间预测信息CCInfo)和分量间预测的色度帧内预测模式IntraPredModeC的解码处理以及相关语法等(coding_unit())的解码处理的流程的示例。应当注意，图20是与图18和图19的流程图对应的coding_unit()的语法表的示例。
当解码处理开始时，在步骤S121中，解码单元111根据编码数据解析分量间预测有效标志ccp_enabled_flag并且对所解析的分量间预测有效标志ccp_enabled_flag进行解码(从编码数据中获取分量间预测有效标志ccp_enabled_flag)。
在步骤S122中，解码单元111确定是否满足以下表达式(13)中的条件1。
条件1：ccp_enabled_flag＝＝1
...(13)
即，解码单元111确定分量间预测有效标志ccp_enabled_flag是否为1(真)。在确定满足以上表达式(13)的情况下(在确定ccp_enabled_flag为1(真)的情况下)，处理进行到步骤S123。
在步骤S123中，解码单元111解析编码数据中包括的分量间预测标志ccp_flag并且对经解析的分量间预测标志ccp_flag进行解码(从编码数据中获取分量间预测标志ccp_flag)。当步骤S123的处理完成时，处理进行到步骤S125。
此外，在步骤S122中确定不满足以上表达式(13)(在确定ccp_enabled_flag为0(假)的情况下)，处理进行到步骤S124。
在步骤S124中，解码单元111不解析分量间预测标志ccp_flag(不从编码数据获取分量间预测标志ccp_flag)，而是将分量间预测标志ccp_flag设置为0(假)(ccp_flag＝0)。当步骤S124的处理完成时，处理进行到步骤S125。
在步骤S125中，解码单元111确定是否满足以下表达式(14)中的条件2。
条件2：ccp_flag＝＝0
...(14)
即，解码单元111确定分量间预测标志ccp_flag是否为0(假)。在确定满足以上表达式(14)的情况下(在确定ccp_flag为0(假)的情况下)，处理进行到步骤S126。
应当注意，可以将以上表达式(14)与另一确定公式交换，只要可以获取相同的结果即可。例如，可以替代地使用以下表达式(15)。
条件2a：！ccp_flag
...(15)
在步骤S126中，解码单元111解析编码数据中包括的色度MPM标识符chroma_mpm_idx并且对经解析的色度MPM标识符chroma_mpm_idx进行解码(从编码数据中获取色度MPM标识符chroma_mpm_idx)。
在步骤S127中，解码单元111参考要处理的编码单元的色度块与相邻亮度(子)块的并置位置中的亮度块(并置亮度块)的解码预测模式信息PInfo并且推导应用于要处理的编码单元的色度块的色度帧内预测模式候选列表intraPredModeCandListC。
例如，如果在图21中所示的亮度子块的各个亮度帧内预测模式intraPredModeL之中不重叠的亮度帧内预测模式被按顺序添加到色度帧内预测模式候选列表intraPredModeCandListC，则这是足够的。
并置亮度块Col
位于并置亮度块上侧左端的亮度子块A1
位于并置亮度块上侧右端的亮度子块A2
位于并置亮度块右上方的亮度子块A3
位于并置亮度块左侧上端的亮度子块B1
位于并置亮度块左侧下端的亮度子块B2
位于并置亮度块左下方的亮度子块B3
应当注意，除了Col、A1至A3和B1至B3的帧内预测模式之外，色度帧内预测模式候选列表intraPredModeCandList C可以在添加主要帧内预测模式(例如，图22中的平面预测、DC预测和角度预测之中的水平预测(HOR_IDX＝18)和垂直预测(VER_IDX＝50)的四个帧内预测模式)之后仅包括非重叠帧内预测模式。
此外，可以参考Col、A1至A3和B1至B3的所有六个亮度(子)块来配置色度帧内预测模式候选列表intraPredModeCandListC，或者可以参考Col、A1至A3和B1至B3的一些块来配置色度帧内预测模式候选列表intraPredModeCandListC。
在步骤S128中，解码单元111从色度帧内预测模式候选列表intraPredModeCandListC中选择由色度MPM标识符chroma_mpm_idx指定的候选帧内预测模式intraPredModeCandListC[chroma_mpm_idx]作为色度帧内预测模式intraPredModeC，如以下表达式(16)所示。
intraPredModeC＝intraPredCandListC[chroma_mpm_idx]
…(16)
当步骤S128的处理完成时，解码处理完成并且处理返回至图17。
此外，在图18的步骤S125中确定不满足以上表达式(14)的情况下(在确定ccp_flag为1(真)的情况下)，处理进行到图19的步骤S131。
在步骤S131中，解码单元111确定是否满足以下表达式(17)中的条件3。
条件3：(宽度C*高度C>＝MCLMMinBlkSize)
&&(宽度C*高度C<＝MCLMMaxBlkSize)
...(17)
即，解码单元111确定色度编码块的大小(宽度C*高度C)是否大于或等于MCLM最小块大小MCLMMinBlkSize且小于或等于MCLM最大块大小MCLMMaxBlkSize。
应当注意，可以用以下表达式(18)中的对数表达式来替换以上表达式(17)的用于将色度块的大小与阈值进行比较的部分。
条件3a：(log2Cb宽度C+log2Cb高度C>＝log2MCLMMinBlkSize)&&(log2Cb宽度C+log2Cb高度C>＝log2MCLMMaxBlkSize)
...(18)
此处，log2MCLMMinBlkSize的值例如为4。log2MCLMMinBlkSize的值不限于此。例如，可以利用用于限定在头部信息中报告的log2MCLMMinBlkSize的参数来设置log2MCLMMinBlkSize的值。此处，log2MCLMMaxBlkSize的值例如为32。log2MCLMMinBlkSize的值不限于此。例如，可以利用用于限定在头部信息中报告的log2MCLMMaxBlkSize的参数来设置log2MCLMMaxBlkSize的值。
头部信息中的最小块大小MCLMMinBlkSize和MCLM最大块大小MCLMMaxBlkSize的可控性提供了以下影响。
-可以省略与块大小中的MCLM模式相关的语法的解码(编码)，其中MCLM模式没有影响。即，可以提高编码效率。
-可以省略执行MCLM模式，并且因此可以减少处理量。
在确定满足表达式(17)的情况下(在确定色度编码块的大小(宽度C*高度C)大于或等于MCLM最小块大小MCLMMinBlkSize且小于或等于MCLM最大块大小MCLMMaxBlkSize的情况下)，处理进行到步骤S132。
在步骤S132中，解码单元111解析编码数据中包括的多类别线性预测模式标志mclm_flag并且对经解析的多类别线性预测模式标志mclm_flag进行解码(从编码数据中获取多类别线性预测模式标志mclm_flag)。当步骤S132的处理完成时，处理进行至步骤S134。
此外，在步骤S131中确定不满足表达式(17)的情况下(在确定色度编码块的大小(宽度C*高度C)小于MCLM最小块大小MCLMMinBlkSize或大于MCLM最大块大小MCLMMaxBlkSize的情况下)，处理进行到步骤S133。
在步骤S133中，解码单元111不解析多类别线性预测模式标志mclm_flag(不从编码数据获取多类别线性预测模式标志mclm_flag)，而是将多类别线性预测模式标志mclm_flag设置为0(假)(mclm_flag＝0)。当步骤S133的处理完成时，处理进行到步骤S134。
在步骤S134中，解码单元111确定是否满足以下表达式(19)中的条件4。
条件4：(ChromaArrayType＝＝CHROMA_420)||(ChromaArrayType＝＝CHROMA_422)
...(19)
即，解码单元111确定色度阵列类型ChromaArrayType是CHROMA_420还是CHROMA_422。
在确定满足表达式(19)的情况下(在色度阵列类型ChromaArrayType是CHROMA_420或CHROMA_422的情况下)，处理进行到步骤S135。
在步骤S135中，解码单元111根据语法表的定义来解析编码数据中包括的色度样本位置信息chroma_sample_loc_info()，并且对经解析的色度样本位置信息chroma_sample_loc_info()进行解码(从编码数据中获取色度样本位置信息chroma_sample_loc_info())。
例如，解码单元111根据图16所示的语法表的定义，从编码数据对色度样本位置类型标识符信息chroma_sample_loc_type_idx的仓(bin)序列bin进行解码。此外，该仓序列被逆二值化以提供色度样本位置类型标识符信息chroma_sample_loc_type_idx的值。
色度样本位置类型标识符信息chroma_sample_loc_type_idx是指示针对每个色度阵列类型ChromaArrayType确定的色度样本位置类型(ChromaSampleLocType)的标识符。图23示出了与色度阵列类型ChromaArrayType和色度样本位置类型标识符信息chroma_sample_loc_type_idx相关联的色度样本位置类型ChromaSampelLocType的关系的表的示例。
在步骤S136中，例如参照图24，解码单元111基于色度阵列类型ChromaArrayType和色度样本位置类型标识符信息chroma_sample_loc_type_idx来设置色度样本位置类型ChromaSampleLocType。
当步骤S136的处理完成时，处理进行到步骤S138。此外，在步骤S134中确定满足以上表达式(19)的情况下(在确定色度阵列类型ChromaArrayType不是CHROMA_420或CHROMA_422的情况下)，处理进行到步骤S137。
在步骤S137中，解码单元111不解析色度样本位置类型ChromaArrayType，而是设置预定类型(DefaultType)。该预定类型DefaultType是任何类型，但是，例如，“Type2”是期望的，其中色度样本位置与亮度样本位置一致。当步骤S137的处理完成时，处理进行到步骤S138。
在步骤S138中，参照图24，解码单元111基于解码的分量间预测信息CCInfo(ccp_flag、mclm_flag和ChromaSampleLocType)和色度阵列类型ChromaArrayType来设置色度帧内预测模式intraPredModeC。
应指出，根据分量间预测信息CCInfo和色度阵列类型ChromaArrayType而与色度帧内预测模式intraPredModeC的关联并不限于图24的示例。例如，可以如图25所示的示例那样，按照编号顺序执行分配。
当步骤S138的处理完成时，解码处理完成并且处理返回到图17。
应当注意，已经描述了可变长度代码解码单元21中的色度帧内预测模式和用于分量间预测信息的解码处理，但是这些可以具有改变的各个步骤的处理顺序或者具有在可行的范围内改变的处理内容。
这使得解码单元111将指示亮度分量的样本的色度分量的样本位置的色度样本位置信息解码为分量间预测信息CCInfo的一部分。
因此，在下述的亮度/色度预测部141中，可以基于色度阵列类型和色度样本位置信息来选择缩小色度分量与亮度分量之间的相移的下采样滤波器。这允许进行相移减少的分量间预测，使得能够抑制编码效率的降低。
<色度样本位置信息的另一示例>
已经参照图16描述了色度样本位置信息chroma_sample_loc_info()的语法的示例，但是色度样本位置信息chroma_sample_loc_info()的语法不限于该示例。例如，可以采用图26所示的配置。即，色度样本位置类型可以具有初始值(default_chroma_sample_loc_type)，并且仅在色度样本位置类型具有除初始值之外的值的情况下，可以发送色度样本位置类型标识符信息chroma_sample_loc_type_idx。
在步骤S135(图19)中，解码单元111根据图26所示的语法表的定义对编码数据中包括的以下语法进行解码。
默认色度样本位置类型标志default_chroma_sample_loc_type_flag
色度样本位置类型标识符信息chroma_sample_loc_type_idx
即，解码单元111解析编码数据中包括的默认色度样本位置类型标志default_chroma_sample_loc_type_flag并且对经解析的默认色度样本位置类型标志default_chroma_sample_loc_type_flag(从编码数据中获取默认色度样本位置类型标志default_chroma_sample_loc_type_flag)。
在默认色度样本位置类型标志default_chroma_sample_loc_type_flag为假(0)的情况下(即，在色度分量的像素位置的类型不具有初始值的情况下)，对编码数据中包括的色度样本位置类型标识符信息chroma_sample_loc_type_idx的仓序列bin(从编码数据获取色度样本位置类型标识符信息chroma_sample_loc_type_idx的仓序列bin)进一步解析和解码。此外，该仓序列被逆二值化以提供色度样本位置类型标识符信息chroma_sample_loc_type_idx的值。
此处，每个语法的定义如下。
默认色度样本位置类型标志default_chroma_sample_loc_type_flag是指示色度样本位置类型是否是默认类型(初始值)的标志。例如，在该标志是“0”的情况下，指示色度样本位置类型不是默认类型。此外，例如，在该标志是“1”的情况下，指示色度样本位置类型是默认类型。例如，默认色度样本位置类型可以是类型2。
色度样本位置类型标识符信息chroma_sample_loc_type_idx是指示针对排除默认类型的每个色度阵列类型ChromaArrayType确定的色度样本位置类型ChromaSampleLocType的标识符。
图27示出了与ChromaSampelLocType、色度阵列类型ChromaArrayType、默认色度样本位置类型标志default_chroma_sample_loc_type_flag和色度样本位置类型标识符信息chroma_sample_loc_type_idx相关联的色度样本位置类型的关系的表的示例。
在步骤S136中，例如参照图27，解码单元111基于色度阵列类型ChromaArrayType、默认色度样本位置类型标志default_chroma_sample_loc_type_flag和色度样本位置类型标识符信息chroma_sample_loc_type_idx来设置色度样本位置类型ChromaSampleLocType。
配置如图26所示的色度样本位置信息chroma_sample_loc_type()的语法表允许利用一个仓对经常被用作色度样本位置类型的预定类型(例如，类型2)进行解码/编码。因此，可以以比在图16的情况下配置的语法表中的代码量更小的代码量对色度样本位置信息进行解码/编码。即，可以抑制编码效率的降低。
<色度样本位置信息的存储位置>
在图18和图19的流程图以及图20的语法表中，示出了针对每个编码单元对色度样本位置信息chroma_sample_loc_info()进行解码的配置示例。然而，色度样本位置信息chroma_sample_loc_info()的存储位置不限于此。
基本上，色度样本位置类型是为每个序列确定的，并且色度样本位置信息chroma_sample_loc_info()可以在高于编码单元的头部信息(VPS/SPS/PPS/SH/CTU)中被解码，如图28的A所示。即，色度样本位置信息chroma_sample_loc_info()可以存储在高于编码单元的头部信息(VPS/SPS/PPS/SH/CTU)中。
在这种情况下，与分量间线性预测相关的其他语法也可以在编码单元的头部信息中被解码，如图28的B所示。即，与分量间线性预测相关的其他语法可以存储在编码单元的头部信息中。
这使得可以减少每个编码单元的色度样本位置信息chroma_sample_loc_info()的代码量。即，可以抑制编码效率的降低。
<预测单元>
图29是示出图像解码装置100的预测单元114的主要部件的示例的框图。如图29所示，预测单元114包括帧内预测部121和帧间预测部122。
帧内预测部121执行用于帧内预测的处理。例如，帧内预测部121从帧存储器116获取解码图像作为参考图像，使用解码图像以在由预测模式信息Pinfo指定的帧内预测模式(即，由编码侧采用的最佳预测模式)下执行帧内预测，并且生成预测图像。帧内预测部121将生成的预测图像提供给计算单元115。
帧间预测部122执行用于帧间预测的处理。例如，帧间预测部122从帧存储器116获取解码图像作为参考图像，使用解码图像以在由预测模式信息Pinfo指定的帧间预测模式(即，由编码侧采用的最佳预测模式)下执行帧间预测，并且生成预测图像。帧间预测部122将生成的预测图像提供给计算单元115。
<帧内预测部>
图30是示出帧内预测部121的主要部件的示例的框图。如图30所示，帧内预测部121包括DC预测部131、平面预测部132、角度预测部133和CC预测部134。
DC预测部131执行用于DC预测的处理。平面预测部132执行用于平面预测的处理。角度预测部133执行用于角度预测的处理。此外，CC预测部134执行用于分量间线性预测的处理。
帧内预测部121针对每个分量在与帧内预测模式predModeIntraX(X＝L或C)对应的预测方法中根据预测模式信息Pinfo、色度阵列类型ChromaArrayType以及从帧存储器116提供的要处理的帧的每个分量X(X＝Y、Cb或Cr)的解码图像RecX(X＝Y、Cb或Cr)来生成并且输出预测图像PredX(X＝Y、Cb或Cr)。
在分量X的帧内预测模式predModeIntraX指示DC预测的情况下，DC预测部131参考分量X的解码图像RecX来生成DC预测图像，并且将生成的DC预测图像作为预测图像PredX输出。
在分量X的帧内预测模式predModeIntraX指示平面预测的情况下，平面预测部132参考分量X的解码图像RecX来生成平面预测图像并且将生成的平面预测图像作为预测图像PredX输出。
在分量X的帧内预测模式predModeIntraX指示角度预测的情况下，角度预测部133参考分量X的解码图像RecX来生成角度预测图像并且将生成的角度预测图像作为预测图像PredX输出。
在分量X的帧内预测模式predModeIntraX指示分量间预测的情况下，CC预测部134参考分量X的解码图像RecX和参考分量Z的解码图像RecZ来生成CC预测图像(分量间线性预测图像)并且将生成的CC预测图像作为预测图像PredX输出。
<CC预测部>
图31是示出CC预测部134的主要部件的示例的框图。如图31所示，CC预测部134包括亮度/和色度预测部141(也被称为亮度/色度预测部)和Cb/Cr残差预测部142(也被称为色度间残差预测部)。
例如，在从亮度分量(Y)预测色度分量(Cb/Cr)的预测图像的情况下，CC预测部134使亮度/色度预测部141进行操作，以生成色度分量的预测图像PredX(X＝Cb或Cr)。亮度/色度预测部141执行用于亮度分量与色度分量之间的线性预测的处理。
此外，例如，在通过Cb/Cr残差预测来校正Cr分量的预测图像PredCr的情况下，CC预测部134使Cb/Cr残差预测部142进行操作，以生成经校正的Cr预测图像Pred* Cb。Cb/Cr残差预测部142执行用于通过Cb/Cr残差预测来校正Cr分量的预测图像PredCr的处理。
<亮度/色度预测部141>
图32是示出亮度/色度预测部141的主要部件的示例的方框图。如图32所示，亮度/色度预测部141包括缩小图像生成部151、预测参数推导部152和色度预测图像生成部153。
缩小图像生成部151执行用于生成(即，下采样)缩小图像的处理。预测参数推导部152执行用于导出在亮度分量的线性预测中使用的预测参数(线性预测参数)的处理，该预测参数用于生成色度分量的预测图像。色度预测图像生成部153执行用于生成色度分量的预测图像的处理。
缩小图像生成部151包括下采样滤波器选择部161、亮度并置块像素组缩小部162和亮度并置相邻像素组缩小部163。
下采样滤波器选择部161执行用于选择下采样滤波器的处理。例如，下采样滤波器选择部161选择用于对与要被处理的色度分量的块对应的亮度分量的并置块进行下采样的下采样滤波器。此外，下采样滤波器选择部161例如选择用于对与亮度分量的并置块相邻的相邻像素组进行下采样的下采样滤波器。
下采样滤波器选择部161基于与颜色格式有关的信息(例如，色度阵列类型ChromaArrayType)和与色度分量的像素位置有关的信息(例如，分量间预测信息)来选择这些下采样滤波器。
下采样滤波器选择部161支持多种颜色格式。即，下采样滤波器选择部161选择支持多种颜色格式的候选组中的、与以下颜色格式和关于色度分量的像素位置的信息对应的候选作为下采样滤波器，该颜色格式是由关于颜色格式的信息指定的格式。
例如，候选组可以包括支持420格式的颜色格式的候选和支持422格式的颜色格式的候选。在关于颜色格式的信息指定420格式的颜色格式的情况下，下采样滤波器选择部161在候选组中包括的支持420格式的颜色格式的候选之中选择也符合关于色度分量的像素位置的信息的候选作为下采样滤波器。此外，在关于颜色格式的信息指定422格式的颜色格式的情况下，下采样滤波器选择部161在候选组中包括的支持422格式的颜色格式的候选之中选择也符合关于色度分量的像素位置的信息的候选作为下采样滤波器。
此外，例如，候选组还可以包括支持444格式的颜色格式的候选。在关于颜色格式的信息指定444格式的颜色格式的情况下，下采样滤波器选择部161在候选组中包括的支持444格式的颜色格式的候选之中选择也符合关于色度分量的像素位置的信息的候选作为下采样滤波器。
应当注意，下采样滤波器选择部161也能够基于作为关于线性预测的模式的信息的线性预测模式信息(例如，多类别线性预测模式标志(mclm_flag))、关于色度分量的像素位置的上述信息以及关于颜色格式的上述信息来选择下采样滤波器。
例如，下采样滤波器选择部161可以选择与支持多个线性预测模式的候选组中的由线性预测模式信息指定的模式、关于色度分量的像素位置的信息和关于颜色格式的信息对应的候选作为下采样滤波器。
此外，例如，候选组可以包括支持单类别模式的候选和支持多类别模式的候选。在线性预测模式信息指定单类别模式作为线性预测模式的情况下，下采样滤波器选择部161在支持单类别模式下的线性预测的候选之中选择也符合关于色度分量的像素位置的信息和关于颜色格式的信息的候选作为下采样滤波器。此外，在线性预测模式信息指定多类别模式作为线性预测模式的情况下，在支持多类别模式下的线性预测的候选之中选择也符合关于色度分量的像素位置的信息和关于颜色格式的信息的候选作为下采样滤波器。
下采样滤波器选择部161将选择的下采样滤波器提供给亮度并置块像素组缩小部162和亮度并置相邻像素组缩小部163。
亮度并置块像素组缩小部162执行用于对与要被处理的色度分量的块对应的亮度分量的并置块进行下采样的处理。例如，亮度并置块像素组缩小部162从帧存储器116获取与要被处理的色度分量的块对应的亮度分量的并置块。此外，亮度并置块像素组缩小部162使用从下采样滤波器选择部161提供的下采样滤波器，以对所获取的亮度分量的并置块执行滤波处理，并且生成缩小图像。亮度并置块像素组缩小部162将所生成的亮度分量的并置块的缩小图像提供给色度预测图像生成部153。
亮度并置相邻像素组缩小部163执行用于对与要被处理的色度分量的块对应的亮度分量的并置块的相邻像素组进行下采样的处理。例如，亮度并置相邻像素组缩小部163从帧存储器116获取与要被处理的色度分量的块对应的亮度分量的并置块的相邻像素组。此外，亮度并置相邻像素组缩小部163使用从下采样滤波器选择部161提供的下采样滤波器来对所获取的亮度分量的并置块的相邻像素组执行滤波处理，并且生成缩小图像。亮度并置相邻像素组缩小部163将生成的亮度分量的并置块的相邻像素组的缩小图像提供给预测参数推导部152。
即，亮度并置块像素组缩小部162和亮度并置相邻像素组缩小部163使用由下采样滤波器选择部161选择的滤波器来改变亮度分量的参考图像的像素位置。
预测参数推导部152例如从帧存储器116获取要被处理的色度分量的块的相邻像素组。预测参数推导部152使用从亮度并置相邻像素组缩小部163提供的要被处理的色度分量的块的相邻像素组和亮度分量的并置块的相邻像素组的缩小图像来导出线性预测参数(α和β)。预测参数推导部152将导出的线性预测参数(α和β)提供给色度预测图像生成部153。
色度预测图像生成部153使用从亮度并置块像素组缩小部162提供的亮度并置块的缩小图像和从预测参数推导部152提供的线性预测参数(α和β)来执行线性预测，并且生成要被处理的色度分量的块的预测图像。
即，色度预测图像生成部153通过线性预测根据像素位置通过使用滤波器(例如，下采样滤波器)而改变的亮度分量的参考图像的像素值(例如，亮度并置块的缩小图像)来预测色度分量(例如，Cb分量和Cr分量)的像素值，并且生成色度分量的预测图像，该滤波器基于与色度分量的像素位置有关的信息(例如，色度样本位置信息)和与颜色格式有关的信息(例如，色度阵列类型)来选择。色度预测图像生成部153将生成的预测图像提供给计算单元115。
<预测处理的流程>
接下来，参照图33的流程图来描述由预测单元114执行的预测处理的流程的示例。
当预测处理开始时，预测单元114在步骤S151中确定是否执行帧内预测。在预测模式信息Pinfo指定帧内预测并且确定通过帧内预测生成了要被处理的色度分量的块的预测图像的情况下，处理进行到步骤S152。
在步骤S152中，帧内预测部121执行帧内预测以生成预测图像。当步骤S152的处理完成时，预测处理完成，并且处理返回到图17。
此外，在预测模式信息Pinfo指定帧间预测并且在图33的步骤S151中确定没有执行帧内预测的情况下，处理进行到步骤S153。
在步骤S153中，帧间预测部122执行帧间预测以生成预测图像。当步骤S153的处理完成时，预测处理完成，并且处理返回到图17。
<帧内预测处理的流程>
接下来，参照图34的流程图描述在图33的步骤S152中执行的帧内预测处理的流程的示例。
当开始帧内预测处理时，在步骤S161中，帧内预测部121的DC预测部131、平面预测部132、角度预测部133和CC预测部134各自针对每个分量以与predModeIntraX对应的模式执行帧内预测，以生成预测图像。例如，在predModeIntraX中指定CC预测的情况下，CC预测部134通过分量间线性预测来生成色度分量的预测图像。
当步骤S161的处理完成时，帧内预测处理完成并且处理返回到图33。
<分量间线性预测方法的流程>
接下来，参照图35的流程图描述在图34的步骤S161中执行的分量间线性预测处理的流程的示例。
当开始分量间线性预测处理时，在步骤S171中，亮度/色度预测部141执行亮度到色度预测处理，以根据亮度分量的解码图像来预测色度分量的预测图像。
在步骤S172中，Cb/Cr残差预测部142执行色度间残差预测处理，以通过使用Cb分量的预测残差来校正Cr分量的预测图像。
当步骤S172的处理完成时，分量间线性预测处理完成，并且处理返回到图34。
<亮度到色度预测处理的流程>
接下来，参照图36的流程图描述在图35的步骤S171中执行的亮度到色度预测处理的流程的示例。
当开始亮度到色度预测处理时，在步骤S181中，预测参数推导部152从帧存储器116中读取色度分量(Cb分量)的预测目标块的相邻解码像素组RC,n(图2的A)(以下被称为色度相邻像素组RC,n)。
在步骤S182中，缩小图像生成部151从帧存储器116中读取色度预测目标块的并置位置中的亮度分量的解码像素组RY,col(图2的B)(以下被称为亮度并置块像素组RY,col)和色度相邻像素组Rc,n的并置位置中的亮度分量的相邻解码像素组RY,n(以下被称为亮度并置相邻像素组RY,n)。
即，亮度并置块像素组减少单元162从帧存储器116获取亮度并置块像素组RY,n。此外，亮度并置相邻像素组缩小部163从帧存储器116获取亮度并置相邻像素组RY,n。
在步骤S183中，下采样滤波器选择部161例如如图37所示的表中那样为每个色度阵列类型ChromaArrayType和每个色度样本位置类型ChromaSampleLocType选择下采样滤波器。
更具体地，下采样滤波器选择部161基于色度阵列类型ChromaArrayType和色度样本位置类型ChromaSampleLocType来选择下采样滤波器。下采样滤波器生成具有与色度样本位置相同的坐标的亮度样本。
<ChromaArrayType＝＝CHROMA_420&&ChromaSampleLocType＝＝Type2>
选择下采样滤波器，其生成具有与(2x,2y)位置中的色度样本(感兴趣的色度样本)的坐标相同的坐标的亮度样本，例如，如图38所示。
-选择下采样滤波器，其参考(2x,2y)的位置和(2x,2y)附近的((2x,2y-2)、(2x-2,2y)、(2x+2,2y)和(2x,2y+2))的四个位置中的亮度样本，例如，如图38所示。
-与每个亮度样本位置对应的滤波器因数例如如图39所示。
<ChromaArrayType＝＝CHROMA_420&&ChromaSampleLocType＝＝Type3>
-选择下采样滤波器，其生成具有与(2x+1,2y)位置中的色度样本(感兴趣的色度样本)的坐标相同的坐标的亮度样本，例如，如图40所示。
-选择下采样滤波器，其参考(2x,2y)和(2x+2,2y)的位置中的亮度样本，例如，如图40所示。
-与每个亮度样本位置对应的滤波器因数例如如图41所示。
<ChromaArrayType＝＝CHROMA_420&&ChromaSampleLocType＝＝Type0>
选择下采样滤波器，其生成具有与(2x,2y+1)位置中的色度样本(感兴趣的色度样本)的坐标相同的坐标的亮度样本，例如，如图42所示。
-选择下采样滤波器，其参考(2x,2y)和(2x,2y+2)的位置中的亮度样本，例如，如图42中所示。
-与每个亮度样本位置对应的滤波器因数例如如图43所示。
<ChromaArrayType＝＝CHROMA_420&&ChromaSampleLocType＝＝Type1>
-选择下采样滤波器，其生成具有与(2x+1,2y+1)位置中的色度样本(感兴趣的色度样本)的坐标相同的坐标的亮度样本，例如，如图44所示。
-选择下采样滤波器，其参考(2x,2y)、(2x+2,2y)、(2x,2y+2)和(2x+2,2y+2)的位置中的亮度样本，例如，如图44所示。
-与每个亮度样本位置对应的滤波器因数例如如图45中所示。
<ChromaArrayType＝＝CHROMA_422&&ChromaSampleLocType＝＝Type2>
-选择滤波器，其生成具有与(2x,2y)位置中的色度样本(感兴趣的色度样本)的坐标相同的坐标的亮度样本，例如，如图46所示。
-选择滤波器，其参考(2x,2y)以及右侧和左侧的(2x-2,2y)和(2x+2,2y)的位置中的亮度样本，例如，如图46所示。
-与每个亮度样本位置对应的滤波器因数例如如图47所示。
<ChromaArrayType＝＝CHROMA_422&&ChromaSampleLocType＝＝Type3>
-选择下采样滤波器，其生成具有与(2x+1,2y)位置中的色度样本(感兴趣的色度样本)的坐标相同的坐标的亮度样本，例如，如图48所示。
-选择下采样滤波器，其参考(2x,2y)和(2x+2,2y)的位置中的亮度样本，例如，如图48所示。
-与每个亮度样本位置对应的滤波器因数例如如图49所示。
<ChromaArrayType＝＝CHROMA_444&&ChromaSampleLocType＝＝Type2>
选择下采样滤波器，其生成具有与(2x,2y)位置中的色度样本(感兴趣的色度样本)的坐标相同的坐标的亮度样本，例如，如图50所示。
-选择下采样滤波器，其参考(2x,2y)的位置中的亮度样本，例如，如图50所示。
-与每个亮度样本位置对应的滤波器因数例如如图51所示。
<补充>
应当注意，可以采用任何下采样滤波器，其生成与色度样本位置具有相同坐标的亮度采样，并且上述示例不是限制性的。例如，参考样本的数量可以增加或减少。此外，可以在可行的范围内改变滤波器因数的值。
此外，该下采样滤波器可以是可分离的滤波器或不可分离的滤波器。此外，也可以应用诸如线性插值滤波器、双三次滤波器、Lanczos滤波器(Lanczos滤波器)的任何滤波器，来代替上述下采样滤波器。
再次参照图36的流程图。在步骤S184中，亮度并置相邻像素组缩小部163将所选择的下采样滤波器应用于亮度并置相邻像素组RY,n，并且生成缩小的亮度并置相邻像素组R'Y,n。亮度并置相邻像素组缩小部163将缩小的亮度并置相邻像素组R'Y,n提供给预测参数推导部152。
在步骤S185中，亮度并置块像素组缩小部162将所选择的下采样滤波器应用于亮度并置块像素组RY,col并且生成缩小的亮度并置块像素组R'Y,col。亮度并置块像素组缩小部162将缩小的亮度并置块像素组R'Y,col提供给色度预测图像生成部153。
在步骤S186中，预测参数推导部152基于提供的缩小的亮度并置相邻像素组R'Y,n和色度相邻像素组RC,n，针对每个类别i导出线性预测参数(αi和βi)。线性预测参数(αi和βi)用于亮度/色度预测。
更具体地，预测参数推导部152参考分量间预测信息(的多类别线性预测模式标志mclm_flag)，推导对应数量的类别的预测参数。
例如，在多类别线性预测模式标志mclm_flag＝＝0(假)的情况下(在单类别模式的情况下)，预测参数推导部152基于以上表达式(2)导出预测参数α1(表达式(1)中的缩放变量α)和预测参数β1(表达式(1)中的偏移变量β)。
此外，例如，在多类别线性预测模式标志mclm_flag＝＝1(真)的情况下(在多类别(此处为类别2)模式的情况下)，预测参数推导部152从每个缩小亮度并置相邻像素组R'Y,n获得阈值Thr。该阈值Thr可以以任何方法来确定。例如，阈值Thr可以是平均值。
接下来，预测参数推导部152根据所获得的阈值Thr，对缩小亮度并置相邻像素组R'Y,n分配类别标签j(j＝1或2)。相同的类别标签j(j＝1或2)被分配给位于与每个缩小亮度并置相邻像素组R'Y,n的坐标相同的坐标处的色度相邻像素组RC,n。
然后，预测参数推导部152参考属于每个类别j的缩小亮度并置相邻像素群R'Y,n,j和缩小亮度并置相邻像素群R'Y,n,j，并且根据表达式(2)导出每个类别j的预测参数αj和βj。
<补充>
应当注意，在多类别模式中类别的数量不限于2，而是类别的数量可以被假设为3或更多，并且可以导出每个类别的预测参数。例如，当类别的数量是2或更大时，K均值聚类可以用作分类类别的方法。
再次参照图36的流程图。在步骤S187中，色度预测图像生成部153参考如上所述导出的每个类别j的预测参数(αj和βj)并且从缩小的亮度并置块像素组R'Y,col中生成色度预测图像PredC。
例如，在多类别线性预测模式标志mclm_flag＝＝0(假)的情况下(在单类别模式的情况下)，色度预测图像生成部153参考预测参数(α1和β1)并且基于表达式(1)生成色度预测图像PredC。
此外，例如，在多类别线性预测模式标志mclm_flag＝＝1(真)的情况下(在多类别(此处为类别2)模式的情况下，色度预测图像生成部153参考由预测参数推导部152推导的阈值Thr和每个类别j的预测参数(αj和βj)并且基于表达式(5)来生成色度预测图像PredC。
即，例如，在某个缩小的亮度并置块像素组RecL'[x,y]的值小于或等于阈值Thr的情况下，色度预测图像生成部153将其分类成类别1并且使用与类别1对应的预测参数(α1和β1)来执行线性预测，从而导出具有相同坐标的色度分量的预测值PredC[x,y]。
此外，例如，在某个缩小的亮度并置块像素组RecL'[x,y]的值大于阈值Thr的情况下，色度预测图像生成部153将其分类成类别2并且使用与类别2对应的预测参数(α2和β2)来执行线性预测，从而导出具有相同坐标的色度分量的预测值PredC[x,y]。
<补充>
应当注意，各个步骤的处理可以在可行的范围内改变。此外，步骤的顺序也可以在可行的范围内改变。
再次参照图36的流程图。当步骤S187的处理完成时，处理返回到图35。
如上所述，亮度/色度预测部141能够导出色度分量的预测图像PredC。如上所述，基于单类别模式和多类别模式中的色度阵列类型和色度样本位置信息，亮度/色度预测部141选择生成与色度样本位置具有相同坐标的亮度样本的下采样滤波器，从而可以生成以下缩小的亮度并置相邻像素组R'Y,n，在该缩小的亮度并置相邻像素组R'Y,n中，与亮度并置相邻像素组RY,n的色度分量的相移被减少。因此，减小的相移使得可以导出更准确的预测参数(α和β)。因此，可以抑制编码效率的降低。
此外，基于单类别模式和多类别模式的色度阵列类型和色度样本位置信息，亮度/色度预测部141选择生成与色度样本位置具有相同坐标的亮度样本的下采样滤波器，从而可以生成以下缩小的亮度并置块像素组R'Y,col，在该缩小的亮度并置块像素组R'Y,col中，与亮度并置块像素组RY,col的色度分量的相移被减少。这可以在单类别模式和多类别模式下根据相移通过使用更准确的预测参数(α和β)而减小的缩小的亮度并置块像素组R'Y,col，生成与常规技术相比更准确的预测图像。即，提高了编码效率。
此外，色度格式不限于420格式，而是可以执行符合422格式和444格式的亮度/色度预测。即，可以在422格式和444格式中应用亮度/色度预测，从而提高了编码效率。
<Cb/Cr残差预测部>
接下来，描述Cb/Cr残差预测。如参照图31所述，CC预测部134包括Cb/Cr残差预测部142。图52是示出Cb/Cr残差预测部142的主要部件的示例的框图。
如图52所示，Cb/Cr残差预测部142包括残差预测参数导出部171和色度预测图像校正部172。残差预测参数导出部171执行用于导出残差预测参数的处理，该残差预测参数是在为了校正Cr分量的预测图像而执行的色度间残差预测(Cr/Cb残差预测)中使用的参数。色度预测图像校正部172执行用于校正Cr分量的预测图像的处理。
即，色度预测图像校正部172通过使用与(当前CU的)Cr分量的预测图像对应的Cb分量的并置块的预测残差来校正由色度预测图像生成部153生成的Cr分量的预测图像。
此外，残差预测参数导出部171基于与Cr分量的预测图像相邻的相邻像素和与Cb分量的并置块相邻的相邻像素，导出作为用于校正Cr分量的预测图像的参数的残差预测参数。色度预测图像校正部172使用导出的残差预测参数来执行色度残差预测并且校正Cr分量的预测图像。
<色度间残差预测处理的流程>
接下来，参照图53的流程图来描述在参照图35的流程图描述的分量间线性预测处理的步骤S172中由该Cb/Cr残差预测部142执行的色度间残差预测处理的流程。
当开始色度间残差预测处理时，在步骤S201中，Cb/Cr残差预测部142读取由亮度/色度预测部141生成的Cr分量的预测目标块的预测图像PCr(以下也称为Cr预测图像PCr)和存储在帧存储器116中的相邻解码像素组RCr,n(以下也称为Cr相邻像素组RCr,n)。
Cb/Cr残差预测部142将Cr相邻像素组RCr,n提供给残差预测参数导出部171。此外，Cb/Cr残差预测部142将Cr预测图像PCr提供给色度预测图像校正部172。
在步骤S202中，Cb/Cr残差预测部142从帧存储器116读取Cr相邻像素组RCr,n的并置位置中的Cb分量的相邻解码像素组RCb,n(以下也称为Cb并置相邻像素组RCb,n)。Cb/Cr残差预测部142将Cb并置相邻像素组RCb,n提供给残差预测参数导出部171。
在步骤S203中，Cb/Cr残差预测部142读取通过对Cr分量的预测目标块(Cr预测图像PCr)的并置位置中的Cb分量的并置块的变换系数Coeff进行逆量化/逆变换而获得的预测残差Resi(以下被称为Cb并置预测残差ResiCb)。Cb/Cr残差预测部142将Cb并置预测残差ResiCb提供给色度预测图像校正部172。
在步骤S204中，残差预测参数导出部171基于所提供的Cr相邻像素组RCr,n和Cb并置相邻像素组RCb,n来导出用于Cb/Cr残差预测的残差预测参数α。
更具体地，残差预测参数导出部171基于以上表达式(11)，导出残差预测参数α(以上表达式(10)中的缩放变量α)。
在步骤S205中，色度预测图像校正部172使用残差预测参数α和所提供的Cb并置预测残差ResiCb来执行残差预测，并且校正Cr预测图像PCr。
更具体地，色度预测图像校正部172基于以上表达式(10)，将通过Cb并置预测残差ResiCb乘以预测参数α获得的α·ResiCb与Cr预测图像PCr相加，并且生成经校正的Cr预测图像P* Cr。
在获得通过对如上所述的Cr预测图像PCr进行校正而获得的经校正的Cr预测图像P* Cr时，色度间残差预测处理完成，并且返回到图35。
如上所述，Cb/Cr残差预测部142能够校正Cr分量的预测图像PredCr。
<补充>
应当注意，各个步骤的上述处理可以在可行的范围内改变。此外，步骤的顺序也可以在可行的范围内改变。
<CU级解码处理的流程>
参照图54的流程图来描述如上所述的对一个CU的图像解码处理(CU级解码处理)的流程。
当CU级解码处理开始时，在步骤S221中，解码单元111从编码数据中解析与要被解码的CU(也称为当前CU)相关的语法组，并且获取经解析的语法组。
在步骤S222中，预测单元114生成亮度分量的预测图像。
在步骤S223中，逆量化单元112和逆变换单元113执行逆量化/逆变换，以将通过由解码单元111对编码数据进行解码而获得的当前CU的亮度分量的经量化变换系数变换成预测残差。
在步骤S224中，计算单元115使用在步骤S223的处理中获得的亮度分量的预测残差和在步骤S222的处理中获得的亮度分量的预测图像来恢复当前CU的亮度分量的解码图像。
在步骤S225中，预测单元114执行分量间线性预测处理，并且根据在步骤S224的处理中获得的亮度分量的解码图像来生成当前CU的色度分量(Cb)的预测图像。
在步骤S226，逆量化单元112和逆变换单元113执行逆量化/逆变换，以将通过由解码单元111对编码数据进行解码而获得的当前CU的色度分量(Cb)的经量化变换系数变换成预测残差。
在步骤S227中，计算单元115使用在步骤S226的处理中获得的色度分量(Cb)的预测残差和在步骤S225的处理中获得的色度分量(Cb)的预测图像，来恢复当前CU的色度分量(Cb)的解码图像。
在步骤S228中，预测单元114执行分量间线性预测处理，并且根据在步骤S224的处理中获得的亮度分量的解码图像来生成当前CU的色度分量(Cr)的预测图像。
在步骤S229中，预测单元114执行色度间残差预测(Cb/Cr残差预测)，并且通过使用色度分量(Cb)的预测残差来校正在步骤S228的处理中获得的当前CU的色度分量(Cr)的预测图像。
在步骤S230中，逆量化单元112和逆变换单元113执行逆量化/逆变换，以将通过由解码单元111对编码数据进行解码而获得的当前CU的色度分量(Cr)的经量化变换系数变换成预测残差。
在步骤S231中，计算单元115使用在步骤S229的处理中获得的色度分量(Cr)的预测残差和在步骤S230的处理中获得的色度分量(Cr)的经校正的预测图像来恢复当前CU的色度分量(Cr)的解码图像。
当步骤S231的处理完成时，CU级解码处理完成。
针对每个CU执行上述的CU级解码处理允许图像解码装置100通过使用分量间线性预测处理和色度间残差预测来获取每个CU的解码图像。
如上所述，作为应用本技术的图像处理装置的实施方式的图像解码装置100包括：预测单元，其通过线性预测根据其像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值来预测色度分量的像素值，并且生成色度分量的预测图像，该滤波器基于与色度分量的像素位置有关的信息和与颜色格式有关的信息来选择；以及解码单元，其通过使用由预测单元生成的预测图像来对图像被编码的编码数据的色度分量进行解码。
即，图像解码装置100通过线性预测根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值来预测色度分量的像素值，并且生成色度分量的预测图像，并且通过使用生成的预测图像对其中图像被编码的编码数据的色度分量进行解码。基于与色度分量的像素位置有关的信息和与颜色格式有关的信息来选择滤波器。
因此，图像解码装置100能够抑制如上所述的编码效率的降低。
<3.第二实施方式>
<图像编码装置>
接下来，将描述用于生成如上所述要被解码的编码数据的编码。图55是示出作为应用本技术的图像处理装置的模式的图像编码装置的配置的示例的框图。图55所示的图像编码装置200是与图15的图像解码装置100对应的图像编码装置，并且在与由图像解码装置100使用的解码方法对应的编码方法中通过对图像进行编码，来生成编码数据(比特流)。编码数据(比特流)由图像解码装置100来解码。图像编码装置200例如实现对HEVC提出的技术或对JVET提出的技术。
应当注意，图55示出了诸如处理单元的主要部件、数据流等，但是图55未示出所有部件。即，可以存在图55中未被示为块的图像编码装置200中的处理单元或者图55中未由箭头等指示的处理的流程和数据流。
如图55所示，图像编码装置200包括控制单元201、预测单元211、计算单元212、变换单元213、量化单元214、逆量化单元215、逆变换单元216、计算单元217、帧存储器218、环路滤波器单元219和编码单元220。
<控制单元>
控制单元201基于从外部或预先指定的处理单元的块大小，将运动图像#2划分成作为处理单元的块(CU、PU、变换块等)，并且将与划分的块对应的图像I输入至计算单元212。此外，控制单元201例如基于RDO(率失真优化)来确定要提供给每个块的编码参数(头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo等)。确定的编码参数被提供给每个块。详细情况如下。
头部信息Hinfo被提供给每个块。
预测模式信息Pinfo被提供给编码单元220和预测单元211。
变换信息Tinfo被提供给编码单元220、变换单元213、量化单元214、逆量化单元215和逆变换单元216。
滤波器信息Finfo被提供给环路滤波器单元219。
<预测单元>
预测单元211与图像解码装置100的预测单元114类似地执行用于生成预测图像的处理。例如，预测单元211被配置成使用从控制单元201提供的预测模式信息Pinfo作为输入，在由预测模式信息Pinfo指定的预测方法中通过使用由预测模式信息Pinfo指定并且在帧存储器218中存储的经滤波的解码图像R'(或尚未经受滤波的解码图像R)作为参考图像来生成预测图像P并且将该预测图像P输出至计算单元212。
<计算单元>
计算单元212使用与作为处理单元的块对应的图像I和从预测单元211提供的预测图像P作为输入，如以下表达式(20)中那样从图像I减去预测图像P，推导预测残差D，并且将所导出的预测残差输出至变换单元213。
D＝I-P...(20)
<变换单元>
变换单元213是逆变换单元113的逆处理，使用预测残差D和变换信息Tinfo作为输入，基于变换信息Tinfo对预测残差D应用变换，推导变换系数Coeff，并且将导出的变换系数Coeff输出至量化单元214。
<量化单元>
量化单元214是逆量化单元112的逆处理，使用变换信息Tinfo和变换系数Coeff作为输入，基于变换信息Tinfo对变换系数Coeff进行缩放(量化)，并且将经量化的变换系数(即，经量化的变换系数水平level)输出至编码单元220。
<逆量化单元>
逆量化单元215包括与逆量化单元112的部件类似的部件，并且执行类似的处理。即，逆量化单元215执行量化单元214的逆处理。
<逆变换单元>
逆变换单元216包括与逆变换单元113的部件类似的部件，并且执行类似的处理。即，逆变换单元216执行变换单元213的逆处理。
<计算单元>
计算单元217将预测残差D'和与该预测残差D'对应的预测图像P相加，并且导出局部解码图像Rlocal。
<帧存储器>
帧存储器218执行用于存储关于图像的数据的处理。例如，帧存储器218使用从计算单元217提供的局部解码图像Rlocal作为输入，以每个图片单元重构解码图像R，并且将重构的解码图像R存储在帧存储器218中。帧存储器218从缓冲器读取解码图像R，并且提供给环路滤波器单元219。
<环路滤波器单元>
环路滤波器单元219执行用于环路滤波处理的处理。例如，环路滤波器单元219从帧存储器218读取解码图像R，并且在由滤波器信息Finfo指定的环路滤波处理中生成经滤波的解码图像R'。此外，环路滤波器单元219将经滤波的解码图像R’提供给帧存储器218。应当注意，由环路滤波器单元219执行的环路滤波处理包括去块滤波器(DBF(DBF(DeBlockingFilter))、像素自适应偏移(SAO(Sample Adaptive Offset))、自适应环路滤波器(ALF(Adaptive Loop Filter))和其他线性/非线性滤波器(例如，维纳滤波器和双边滤波器)。
<编码单元>
编码单元220执行作为由解码单元111执行的解码的逆处理的编码。例如，编码单元220使用从控制单元201提供的编码参数(头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)，将从量化单元214提供的量化变换系数水平level变换成每个语法元素的语法值，对每个语法值执行可变长度编码(例如，算术编码)，并且根据语法表的定义来生成位串(编码数据)。
应当注意，编码单元220根据经量化的变换系数水平level导出残差信息Rinfo，对残差信息Rinfo进行编码，并且生成位串。此外，编码单元220对经受可变长度编码的各个语法元素的位串进行多路复用，并且生成并输出编码数据#1。
即，计算单元212至量化单元214和编码单元220用作通过使用由预测单元211生成的预测图像来对图像的色度分量进行编码的编码单元。
<图像编码处理的流程>
接下来，描述由如上所述配置的图像编码装置200执行的处理。图像编码装置200通过执行图像编码处理来执行用于对例如图像进行编码的处理。
当图像编码处理开始时，在步骤S241中，控制单元201执行编码控制处理，并且执行块划分、编码参数的设置等。在步骤S242中，预测单元211执行预测处理并且生成最佳预测模式的预测图像等。
在步骤S243中，计算单元212计算输入图像与在步骤S242的预测处理中选择的最佳模式的预测图像之间的差。即，计算单元212生成输入图像与预测图像之间的预测残差D。与原始图像数据的数据量相比，以这种方式获得的预测残差D的数据量减少。因此，与图像无变化地被编码的情况相比，可以压缩数据量。
在步骤S244中，变换单元213对在步骤S243的处理中生成的预测残差D执行变换处理，并且导出变换系数Coeff。应当注意，该变换处理是对步骤S103的逆变换处理的逆处理，并且是在上述图像解码处理中执行的逆变换处理的逆处理。
在步骤S245中，量化单元214例如通过使用由控制单元201计算的量化参数来量化在步骤S244的处理中获得的变换系数Coeff，并且导出经量化的变换系数水平level。
在步骤S246中，逆量化单元215通过使用与量化的特性对应的特性，对在步骤S245的处理中生成的经量化的变换系数水平level进行逆量化，并且导出变换系数Coeff_IQ。
在步骤S247中，逆变换单元216在与步骤S244的变换处理对应的方法中对在步骤S246的处理中获得的变换系数Coeff_IQ进行逆变换，并且导出预测残差D'。应当注意，与上文描述的图像解码处理中执行的逆变换处理类似地执行该逆变换处理。
在步骤S248中，计算单元217通过将在步骤S242的预测处理中获得的预测图像与在步骤S247的处理中导出的预测残差D'相加来生成已被局部解码的解码图像。
在步骤S249中，帧存储器218存储在步骤S248的处理中获得的已被局部解码的解码图像。
在步骤S250中，编码单元220对在步骤S245的处理中获得的经量化的变换系数水平level进行编码。例如，编码单元220通过使用算术编码等对经量化的变换系数水平level进行编码，并且生成编码数据。经量化的变换系数水平level是关于图像的信息。此外，此时，编码单元220对各种编码参数(头部信息Hinfo、预测模式信息Pinfo和变换信息Tinfo)进行编码。此外，编码单元220根据经量化的变换系数水平level推导残差信息Rinfo，并且对残差信息Rinfo进行编码。
在步骤S251中，环路滤波器单元219对帧存储器218中存储的局部解码图像执行预定的滤波处理。当步骤S251的处理完成时，图像编码处理完成。应当注意，在步骤S251中，将经滤波的局部解码图像存储在帧存储器218中。
当步骤S251的处理完成时，图像编码处理完成。
<编码处理的流程>
参照图57和图58的流程图，描述了在图56的步骤S250中执行的控制信息(分量间预测信息CCInfo)和分量间预测的色度帧内预测模式IntraPredModeC的编码处理以及相关语法(coding_unit())等的编码处理的流程的示例。应当注意，图20是与图57和图58的流程图对应的coding_unit()的语法表的示例。
当解码处理开始时，在步骤S261中，编码单元220在控制单元201的控制下对分量间预测有效标志ccp_enabled_flag进行编码，并且将编码的分量间预测有效标志ccp_enabled_flag添加到编码数据。
在步骤S261中，编码单元220确定是否满足以上表达式(13)中的条件1。即，编码单元220确定分量间预测有效标志ccp_enabled_flag是否为1(真)。在确定满足以上表达式(13)的情况下(在确定ccp_enabled_flag为1(真)的情况下)，处理进行到步骤S263。
在步骤S263中，编码单元220在控制单元201的控制下对分量间预测标志ccp_flag进行编码，并且将编码的分量间预测标志ccp_flag添加到编码数据。当步骤S263的处理完成时，处理进行到步骤S264。此外，在步骤S262中确定不满足以上表达式(13)的情况下(在确定ccp_enabled_flag为0(假)的情况下)，跳过(省略)步骤S263的处理并且处理进行到步骤S264。
在步骤S264中，编码单元220确定是否满足以上表达式(14)中的条件2。即，编码单元220确定分量间预测标志ccp_flag是否为0(假)。在确定满足以上表达式(14)的情况下(在确定ccp_flag为0(假)的情况下)，处理进行到步骤S265。
应当注意，可以将以上表达式(14)与另一确定公式交换，只要可以获得相同结果即可。例如，可以替代地使用以上表达式(15)。
在步骤S265中，编码单元220对色度MPM标识符chroma_mpm_idx进行编码，并且将编码的色度MPM标识符chroma_mpm_idx添加到编码数据。当步骤S265的处理完成时，编码处理完成并且处理返回到图56。
此外，在图57的步骤S264中确定不满足以上表达式(14)的情况下(在确定ccp_flag为1(真)的情况下)，该处理进行到图58。
在图58的步骤S271中，编码单元220确定是否满足以上表达式(17)中的条件3。即，编码单元220确定色度编码块的大小(宽度C*高度C)是否大于或等于MCLM最小块大小MCLMMinBlkSize且小于或等于MCLM最大块大小MCLMMaxBlkSize。应当注意，以上表达式(17)的用于将色度块的大小与阈值进行比较的部分可以用以上表达式(18)中的对数表达式来替换。
在确定满足表达式(17)的情况下(在确定色度编码块的大小(宽度C*高度C)大于或等于MCLM最小块大小MCLMMinBlkSize且小于或等于MCLM最大块大小MCLMMaxBlkSize的情况下)，处理进行到步骤S272。
在步骤S272中，编码单元220对多类别线性预测模式标志mclm_flag进行编码，并且将编码的多类别线性预测模式标志mclm_flag添加到编码数据。当步骤S272的处理完成时，处理进行到步骤S273。此外，在步骤S271中确定不满足表达式(17)的情况下(确定色度编码块的大小(宽度C*高度C)小于MCLM最小块大小MCLMMinBlkSize或大于MCLM最大块大小MCLMMaxBlkSize的情况下)，跳过步骤S272的处理，并且处理进行到步骤S273。
在步骤S273中，编码单元220确定是否满足以上表达式(19)中的条件4，即，色度阵列类型ChromaArrayType是否是CHROMA_420或CHROMA_422。
在确定满足表达式(19)的情况下(在色度阵列类型ChromaArrayType是CHROMA_420或CHROMA_422的情况下)，处理进行到步骤S274。
在步骤S274中，编码单元220在控制单元201的控制下根据语法表的定义来对色度样本位置信息chroma_sample_loc_info()进行编码，并且将编码的色度样本位置信息chroma_sample_loc_info()包括在编码数据中。
例如，编码单元220根据图16所示的语法表的定义对色度样本位置类型标识符信息chroma_sample_loc_type_idx的仓序列bin进行编码。应当注意，色度样本位置类型标识符信息chroma_sample_loc_type_idx被二值化以提供仓序列。
当步骤S274的处理完成时，处理返回到图57，编码处理完成，并且处理返回到图56。
此外，在图58的步骤S273中确定不满足表达式(19)的情况下(在确定色度阵列类型ChromaArrayType不是CHROMA_420或CHROMA_422的情况下)，跳过步骤S274的处理，处理返回到图57，编码处理完成，并且处理返回到图56。
应当注意，上述图像编码处理或编码处理可以具有在实际范围内改变的各个步骤的处理顺序或处理的内容。
如上所述，编码单元220将指示亮度分量的样本的色度分量的样本位置的色度样本位置信息chroma_sample_loc_info()编码为分量间预测信息CCInfo的一部分。这允许亮度/色度预测部141(帧内预测部231)基于色度阵列类型ChromaArrayType和色度样本位置信息chroma_sample_loc_info()来选择使色度分量与亮度分量之间的相移减小的下采样滤波器。这允许图像编码装置200能够执行相移被减小的分量间预测，从而能够抑制编码效率的降低。
<色度样本位置信息的另一示例>
已经参照图16描述了色度样本位置信息chroma_sample_loc_info()的语法的示例，但是色度样本位置信息chroma_sample_loc_info()的语法不限于该示例。例如，可以采用图26所示的配置。即，色度样本位置类型可以具有初始值(default_chroma_sample_loc_type)，并且仅在色度样本位置类型具有除初始值之外的值的情况下，可以发送色度样本位置类型标识符信息chroma_sample_loc_type_idx。
在步骤S274(图58)中，编码单元220根据图26中示出的语法表的定义来对语法进行编码。
默认色度样本位置类型标志default_chroma_sample_loc_type_flag
色度样本位置类型标识符信息chroma_sample_loc_type_idx
即，编码单元220对默认色度样本位置类型标志default_chroma_sample_loc_type_flag进行编码。然后，在该标志为假(0)的情况下，编码单元220还对色度样本位置类型标识符信息chroma_sample_loc_type_idx的仓序列bin进行编码。应当注意，色度样本位置类型标识符信息chroma_sample_loc_type_idx的值被二值化以提供该仓序列。
在基于图26的语法表的定义的色度样本位置信息chroma_sample_loc_type()中，可以利用一个仓对经常用作色度样本位置类型的预定类型(例如，类型2)进行编码。因此，可以与图16的情况下配置的语法表中的代码量相比以更小的代码量对色度样本位置信息进行编码。即，可以抑制编码效率的降低。
<色度样本位置信息的存储位置>
在图57和图58的流程图以及图20的语法表中，示出了针对每个编码单元对色度样本位置信息chroma_sample_loc_info()进行编码的配置示例。然而，色度样本位置信息chroma_sample_loc_info()的存储位置不限于此。
基本上，色度样本位置类型是为每个序列确定的，并且色度样本位置信息chroma_sample_loc_info()可以在高于编码单元的头部信息(VPS/SPS/PPS/SH/CTU)中被编码，如图28的A所示。即，色度样本位置信息chroma_sample_loc_info()可以被存储在高于编码单元的头部信息(VPS/SPS/PPS/SH/CTU)中。
在这种情况下，与分量间线性预测相关的其他语法也可以在编码单元的头部信息中被编码，如图28的B所示。即，与分量间线性预测相关的其他语法可以被存储在编码单元的头部信息中。
这使得可以减少每个编码单元的色度样本位置信息chroma_sample_loc_info()的代码量。即，可以抑制编码效率的降低。
<预测单元>
图59是示出图像编码装置200的预测单元211的主要部件的示例的框图。如图59所示，预测单元211包括帧内预测部231、帧间预测部232和预测图像选择部233。
帧内预测部231执行用于帧内预测的处理。例如，帧内预测部231从帧存储器218获取解码图像作为参考图像，通过使用解码图像基于预测模式信息Pinfo执行帧内预测，并且生成预测图像。帧内预测部231在每个帧内预测模式下执行帧内预测，并且计算每个成本函数(也被称为成本)。帧内预测部231将生成的每个帧内预测模式的预测图像与预测模式信息Pinfo等一起提供给预测图像选择部233。
帧间预测部232执行用于帧间预测的处理。例如，帧间预测部232从帧存储器116获取解码图像作为参考图像，通过使用解码图像基于预测模式信息Pinfo执行帧间预测，并且生成预测图像。帧间预测部232在每个帧间预测模式下执行帧间预测，并且计算每个成本函数。帧间预测部232将生成的每个帧间预测模式的预测图像与预测模式信息Pinfo等一起提供给预测图像选择部233。
预测图像选择部233例如基于成本函数等，从自帧内预测部231提供的帧内预测图像和自帧间预测部232提供的帧间预测图像中选择最佳预测模式的预测图像。预测图像选择部233将所选择的预测图像提供给计算单元212和计算单元217。
<帧内预测处理的流程>
参照图60的流程图来描述在图56的步骤S242中以这种方式配置的预测单元211执行的预测处理的流程的示例。
当预测处理开始时，在步骤S291中，帧内预测部231执行帧内预测以生成预测图像。当步骤S291的处理完成时，处理进行到步骤S292。
在步骤S292中，帧间预测部232执行帧间预测以生成预测图像。当步骤S292的处理完成时，处理进行到步骤S293。
在步骤S293中，帧内预测部231计算每个帧内预测模式的成本函数，帧间预测部232计算每个帧间预测模式的成本函数，并且预测图像选择部233基于成本函数来选择最佳预测模式(的预测图像)。
当步骤S293的处理完成时，预测处理完成，并且处理返回到图56。
这允许预测单元211对最佳预测模式的预测图像进行编码。因此，可以抑制编码效率的降低。
<帧内预测部>
顺便提及，该帧内预测部231包括与图像解码装置100的帧内预测部121的部件基本类似的部件，并且执行类似的帧内预测。即，以上在第一实施方式中描述的帧内预测部121的描述基本上适用于该帧内预测部231。例如，帧内预测部231包括如图30所示的部件。即，帧内预测部231还包括DC预测部131至CC预测部134。
然而，与图像解码装置100的帧内预测部121不同，该帧内预测部231在如上所述的所有的预测模式下执行帧内预测。此外，诸如预测模式信息Pinfo的用于CC预测的参数不是从编码数据中提取的，而是从例如图像编码装置200的诸如控制单元201或编码单元220的另一处理单元提供的。
<帧内预测处理的流程>
参照图61的流程图描述在图60的步骤S291中由帧内预测部231执行的帧内预测处理的流程的示例。
当该帧内预测处理开始时，在步骤S301中，DC预测部131执行DC预测并且生成预测图像。在步骤S302中，平面预测部132执行平面预测并且生成预测图像。在步骤S303中，角度预测部133执行角度预测并且生成预测图像。在步骤S304中，CC预测部134执行CC预测(分量间预测处理)并且生成预测图像。
当步骤S304的处理完成时，帧内预测处理完成并且处理返回到图60。
以这种方式，帧内预测部231在每个预测模式下生成预测图像。这允许预测单元211选择最佳模式的预测图像。即，可以抑制编码效率的降低。
<CC预测部>
应当注意，CC预测部134还包括与第一实施方式的情况中的部件基本类似的部件，并且在这种情况中执行类似的处理。即，在第一实施方式中的上述CC预测部134的描述也基本上适用于这种情况。例如，CC预测部134包括如图30所示的部件，并且执行如参照图35的流程图描述的分量间线性预测处理。
类似地，亮度/色度预测部141包括如图32所示的部件，并且执行如参照图36的流程图描述的亮度到色度预测处理。此外，Cb/Cr残差预测部142包括如图52所示的部件，并且执行如参照图53的流程图描述的色度间残差预测处理。
这允许CC预测部134(亮度/色度预测部141和Cb/Cr残差预测部142)能够各自获得与第一实施方式的情况下的效果类似的效果。因此，可以抑制编码效率的降低。
<CU级编码处理的流程>
参照图62和图63的流程图描述如上所述的对一个CU的图像编码处理(CU级编码处理)的流程的示例。
当CU级编码处理开始时，在图62的步骤S321中，预测单元211生成要被编码的CU(当前CU)的亮度分量的预测图像。
在步骤S322中，计算单元212从当前CU的亮度分量的原始图像减去在步骤S321的处理中生成的当前CU的亮度分量的预测图像，并且生成当前CU的亮度分量的预测残差。
在步骤S323中，变换单元213和量化单元214对在步骤S322的处理中获得的当前CU的亮度分量的预测残差进行变换/量化，并且推导当前CU的亮度分量的经量化的变换系数。
在步骤S324中，逆量化单元215和逆变换单元216执行逆量化/逆变换，以将在步骤S323的处理中获得的当前CU的亮度分量的经量化的变换系数变换成预测残差。
在步骤S325中，计算单元217将在步骤S324的处理中获得的当前CU的亮度分量的预测残差和在步骤S321的处理中生成的当前CU的亮度分量的预测图像相加在一起，以恢复当前CU的亮度分量的解码图像。
在步骤S326中，预测单元211(亮度/色度预测部141)生成要被编码的CU(当前CU)的色度分量(Cb)的预测图像。
在步骤S327中，计算单元212从当前CU的色度分量(Cb)的原始图像中减去在步骤S326的处理中生成的当前CU的色度分量(Cb)的预测图像，并且生成当前CU的色度分量(Cb)的预测残差。
在步骤S328中，变换单元213和量化单元214对在步骤S327的处理中获得的当前CU的色度分量(Cb)的预测残差进行变换/量化，并且推导当前CU的色度分量(Cb)的经量化的变换系数。
在步骤S329中，逆量化单元215和逆变换单元216执行逆量化/逆变换，以将在步骤S328的处理中获得的当前CU的色度分量(Cb)的经量化的变换系数变换成预测残差。当步骤S329的处理完成时，处理进行到图63。
在图63的步骤S331中，计算单元217将在步骤S329的处理中获得的当前CU的色度分量(Cb)的预测残差和在步骤S326的处理中获得的当前CU的色度分量(Cb)的预测图像相加在一起，以恢复当前CU的色度分量(Cb)的解码图像。
在步骤S332中，预测单元211(亮度/色度预测部141)生成要被编码的CU(当前CU)的色度分量(Cr)的预测图像。
在步骤S333中，预测单元211(Cb/Cr残差预测部142)执行色度间残差预测(Cb/Cr残差预测)，以通过使用当前CU的色度分量(Cb)的预测残差来校正在步骤S332的处理中获得的当前CU的色度分量(Cr)的预测图像。
在步骤S334中，计算单元212从当前CU的色度分量(Cr)的原始图像中减去在步骤S333的处理中获得的当前CU的色度分量(Cr)的经校正的预测图像，并且生成当前CU的色度分量(Cr)的预测残差。
在步骤S335中，变换单元213和量化单元214对在步骤S334的处理中获得的当前CU的色度分量(Cr)的预测残差进行变换/量化，并且推导当前CU的色度分量(Cr)的经量化的变换系数。
在步骤S336中，逆量化单元215和逆变换单元216执行逆量化/逆变换，以将在步骤S335的处理中获得的当前CU的色度分量(Cr)的经量化的变换系数变换成预测残差。
在步骤S337中，计算单元217将在步骤S336的处理中获得的当前CU的色度分量(Cr)的预测残差和在步骤S333的处理中获得的当前CU的色度分量(Cr)的经校正的预测图像相加在一起，以恢复当前CU的色度分量(Cr)的解码图像。
在步骤S338中，编码单元220对与要被编码的CU相关的语法组执行可变长度编码。
当步骤S338的处理完成时，CU级编码处理完成。
针对每个CU执行上述的CU级编码处理允许图像编码装置200通过使用分量间线性预测处理和色度间残差预测来获取每个CU的编码图像。
如上所述，作为应用本技术的图像处理装置的实施方式的图像编码装置200包括：预测单元，其通过线性预测根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值来预测色度分量的像素值，并且生成色度分量的预测图像，该滤波器基于与色度分量的像素位置有关的信息和与颜色格式有关的信息来选择；以及编码单元，其通过使用由预测单元生成的预测图像来对图像的色度分量进行编码。
即，图像解码装置200通过线性预测根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值来预测色度分量的像素值，并且生成色度分量的预测图像，并且通过使用所生成的预测图像对图像的色度分量进行编码。基于与色度分量的像素位置有关的信息和与颜色格式有关的信息来选择滤波器。
因此，图像编码装置200能够抑制如上所述的编码效率的降低。
<4.第三实施方式>
<色度间残差预测的控制>
可以控制执行通过色度间残差预测对Cr分量的预测图像的校正。例如，可以将用于控制色度间残差预测的控制信息从图像编码装置200发送至图像解码装置100。作为该控制信息，例如，可以发送色度间残差预测标志chroma_resi_pred_flag。
色度间残差预测标志chroma_resi_pred_flag是用于指定是否执行色度间残差预测的标志信息。例如，在值为“0”(假)的情况下，跳过(省略)色度间残差预测处理。此外，例如，在值为“1”(真)的情况下，执行色度间残差预测处理。
使用这样的标志信息使得可以控制是否执行色度间残差预测。这使得可以抑制色度间残差预测的不必要的执行，因此可以抑制编码/解码负荷和处理时间的增加。
此外，作为控制信息，可以发送色度间残差预测有效标志chroma_resi_pred_enabled_flag。
色度间残差预测有效标志chroma_resi_pred_enabled_flag是指示色度间残差预测标志chroma_resi_pred_flag是否有效的标志信息。即，使用该标志信息使得可以控制是否允许进行是否执行色度间残差预测的控制。
例如，在色度间残差预测有效标志chroma_resi_pred_enabled_flag的值为“0”(假)的情况下，禁用色度间残差预测标志chroma_resi_pred_flag，并且不发送该标志。此外，例如，在色度间残差预测有效标志chroma_resi_pred_enabled_flag的值为“1”(真)的情况下，启用并且发送色度间残差预测标志chroma_resi_pred_flag。
即，仅在色度间残差预测有效标志chroma_resi_pred_enabled_flag的值为“1”(真)的情况下，才可以控制是否执行色度间残差预测。
然而，在色度间残差预测有效标志chroma_resi_pred_enabled_flag的值为“0”(假)的情况下，图像解码装置100跳过解析色度间残差预测标志chroma_resi_pred_flag并且将该值设置为“0”(假)。即，跳过色度间残差预测。这使得可以将色度间残差预测有效标志chroma_resi_pred_enabled_flag解释为用于控制是否允许执行色度间残差预测的标志信息。
使用该标志信息使得可以抑制色度间残差预测标志chroma_resi_pred_flag的不必要的发送，并且因此可以抑制编码效率的降低。此外，可以抑制由用于获取色度间残差预测标志chroma_resi_pred_flag的处理所引起的负荷和处理时间的增加。
<解码处理的流程>
参照图64和图65的流程图描述在应用这些类型的控制信息的情况下的控制信息(分量间预测信息CCInfo)和分量间预测的色度帧内预测模式IntraPredModeC的解码处理以及相关语法等(coding_unit())的解码处理的流程的示例。应当注意，图66是与图64和图65的流程图对应的coding_unit()的语法表的示例。
当解码处理开始时，解码单元111执行与图18的步骤S121至S128的各个处理类似的图64的步骤S351至S358的各个处理。
在步骤S355中确定不满足以上表达式(14)的情况下(在确定ccp_flag为1(真)的情况下)，处理进行到图65。
在步骤S361中，解码单元111确定是否满足以下表达式(21)中的条件5。
条件5：ccp_enabled_flag＝＝1...
(21)
即，确定分量间预测有效标志CCP_enabled_flag是否为“1”(真)。在确定满足表达式(21)(即，分量间预测有效标志ccp_enabled_flag为“1”(真))的情况下，处理进行到步骤S362。
在步骤S362中，解码单元111解析编码数据中包括的色度间残差预测有效标志chroma_resi_pred_enabled_flag，并且对经解析的色度间残差预测有效标志chroma_resi_pred_enabled_flag进行解码。当获取色度间残差预测有效标志chroma_resi_pred_enabled_flag时，处理进行到步骤S364。
此外，在步骤S361中确定不满足表达式(21)(即，分量间预测有效标志ccp_enabled_flag为“0”(假))的情况下，处理进行到步骤S363。
在步骤S363中，解码单元111跳过解析色度间残差预测有效标志chroma_resi_pred_enabled_flag，并且将其设置为值“0”(假)(chroma_resi_pred_enabled_flag＝0)。当步骤S363的处理完成时，处理进行到步骤S364。
即，如图66的A的语法表中那样，仅在分量间预测有效标志ccp_enabled_flag为“1”(真)的情况下，即，仅在允许分量间线性预测的情况下，才发送色度间残差预测有效标志chroma_resi_pred_enabled_flag。在不执行分量间线性预测的情况下，也不执行色度间残差预测。因此，在不允许(或禁止)分量间线性预测的情况下，色度间残差预测有效标志chroma_resi_pred_enabled_flag的值明显为“0”。因此，不需要发送色度间残差预测有效标志chroma_resi_pred_enabled_flag。
即，如上所述，仅在分量间预测有效标志ccp_enabled_flag为“1”(真)的情况下，发送色度间残差预测有效标志chroma_resi_pred_enabled_flag，从而使得可以减少冗余信息并且抑制编码效率的降低。
接下来，再次参照图65。类似于图19的步骤S131至S138的各个处理，执行步骤S364至S371的各个处理。
在步骤S372中，解码单元111确定是否满足以下表达式(22)中的条件6。
条件6：chroma_resi_pred_enabled_flag＝＝1...(22)
即，确定色度间残差预测有效标志chroma_resi_pred_enabled_flag是否为“1”(真)。在确定满足表达式(22)(即，色度间残差预测有效标志chroma_resi_pred_enabled_flag为“1”(真))的情况下，处理进行到步骤S373。
在步骤S373中，解码单元111解析编码数据中包括的色度间残差预测标志chroma_resi_pred_flag，并且对经解析的色度间残差预测标志chroma_resi_pred_flag进行解码。当获取色度间残差预测标志chroma_resi_pred_flag时，处理返回到图64，解码处理完成，并且处理返回到图17。
此外，在图65的步骤S372中确定不满足表达式(22)(即，色度间残差预测有效标志chroma_resi_pred_enabled_flag为“0”(假))的情况下，处理进行到步骤S374。
在步骤S374中，解码单元111跳过解析色度间残差预测标志chroma_resi_pred_flag，并且将其设置为值“0”(假)(chroma_resi_pred_flag＝0)。当步骤S374的处理完成时，处理返回到图64，解码处理完成，并且处理返回到图17。
即，如在图66的B的语法表中，仅在色度间残差预测有效标志chroma_resi_pred_enabled_flag为“1”(真)的情况下，即，仅在允许色度间残差预测的情况下，发送色度间残差预测标志chroma_resi_pred_flag。在不允许(或禁止)色度间残差预测的情况下，色度间残差预测标志chroma_resi_pred_flag的值明显为“0”。因此，不需要发送色度间残差预测有效标志chroma_resi_pred_enabled_flag。
即，如上所述，仅在色度间残差预测有效标志chroma_resi_pred_enabled_flag为“1”(真)的情况下，才发送色度间残差预测标志chroma_resi_pred_flag，从而使得可以减少冗余信息并且抑制编码效率的降低。
应当注意，该解码处理还可以具有在实际范围内改变的各个步骤的处理顺序或处理的内容。
以这种方式执行解码处理引起以多个头部信息(VPS/SPS/PPS/SH/CTU)为单位对色度间残差预测有效标志chroma_resi_pred_enabled_flag进行解码。即，在执行分量间预测而不允许延迟的情况下，将色度间残差预测有效标志chroma_resi_pred_enabledf_flag设置为“0”并且禁止色度间残差预测使得可以打破Cb/Cr之前的相关性。因此，在这种情况下，可以在无需等待Cb分量被解码的情况下对Cr分量进行解码。即，可以减少分量间预测中的延迟。
此外，对色度间残差预测标志chroma_resi_pred_flag进行解码允许CC预测部134基于色度间残差预测标志chroma_resi_pred_flag来控制色度间残差预测。即，可以仅在色度间残差预测有效时执行色度间残差预测。这提高了编码效率。此外，可以抑制负荷的增加。
<CC预测部>
图67是示出这种情况下的CC预测部134的主要部件的示例的框图。如图67所示，与图31的示例的情况类似，在这种情况下的CC预测部134包括亮度/色度预测部141。此外，这种情况下的CC预测部134包括Cb/Cr残差预测部242，而不是图31的示例中的Cb/Cr残差预测部142。
亮度/色度预测部141根据亮度分量来预测色度分量(Cb/Cr)的预测图像PredX(X＝Cb或Cr)，并且与图31的情况类似地生成预测图像PredX(X＝Cb或Cr)。
Cb/Cr残差预测部242获取并且参考色度间残差预测标志chroma_resi_pred_flag。在标志指示应用了色度间残差预测的情况下，Cb/Cr残差预测部242通过色度间残差预测对Cr分量的预测图像PredCr进行校正，并且生成经校正的Cr预测图像Pred* Cb。在该标志指示不应用色度间残差预测的情况下，跳过色度间残差预测(对Cr分量的预测图像PredCr的校正)。
<分量间线性预测方法的流程>
参照图68的流程图描述在这种情况下由CC预测部134执行的分量间线性预测处理的流程的示例。该流程图对应于第一实施方式中的图35的流程图。
当分量间线性预测处理开始时，亮度/色度预测部141在步骤S391中执行亮度到色度预测处理，以根据亮度分量来预测色度分量的预测图像。
在步骤S392中，Cb/Cr残差预测部242参考色度间残差预测标志chroma_resi_pred_flag，并且确定值是否为“1”(真)。在确定色度间残差预测标志chroma_resi_pred_flag的值为“1”(真)的情况下，处理进行到步骤S393。
在步骤S393中，Cb/Cr残差预测部242执行色度间残差预测处理，以通过使用Cb分量来校正Cr分量的预测图像。当步骤S393的处理完成时，分量间线性预测处理完成，并且处理返回到图34。
此外，在图68的步骤S392中确定色度间残差预测标志chroma_resi_pred_flag的值为“0”(假)的情况下，跳过步骤S393的处理，分量间线性预测处理完成，并且处理返回到图34。
以这种方式执行处理使得可以基于色度间残差预测标志chroma_resi_pred_flag来控制色度间残差预测。即，仅在色度间残差预测有效时(即，在不能预期充分的效果时，省略色度间残差预测)，才可以执行色度间残差预测，从而可以抑制编码效率的降低。此外，可以抑制由色度间残差预测引起的负荷和处理时间的增加。
<CU级解码处理的流程>
参照图69的流程图描述在这种情况下对一个CU进行的如上所述的图像解码处理(CU级解码处理)的流程。
当CU级解码处理开始时，与图54的步骤S221至S228的各个处理类似地执行步骤S401至S408的各个处理。
在步骤S409中，预测单元114参考色度间残差预测标志chroma_resi_pred_flag，并且确定值是否为“1”(真)。在确定色度间残差预测标志chroma_resi_pred_flag的值为“1”(真)的情况下，处理进行到步骤S410。
在步骤S410中，预测单元114执行色度间残差预测(Cb/Cr残差预测)，并且通过使用色度分量(Cb)的预测残差来校正在步骤S408的处理中获得的当前CU的色度分量(Cr)的预测图像。当步骤S410的处理完成时，处理进行到步骤S411。
此外，在步骤S409中确定色度间残差预测标志chroma_resi_pred_flag的值为“0”(假)的情况下，跳过步骤S410的处理，并且处理进行到步骤S411。
在步骤S411中，逆量化单元112和逆变换单元113执行逆量化/逆变换，以将通过由解码单元111对编码数据进行解码而获得的当前CU的色度分量(Cr)的经量化的变换系数变换成预测残差。
在步骤S412中，计算单元115使用在步骤S229的处理中获得的色度分量(Cr)的预测残差和在步骤S230的处理中获得的色度分量(Cr)的经校正的预测图像来恢复当前CU的色度分量(Cr)的解码图像。
当步骤S412的处理完成时，CU级解码处理完成。
针对每个CU执行上述的CU级解码处理允许图像解码装置100通过使用分量间线性预测处理和色度间残差预测来获取每个CU的解码图像。此外，可以控制色度间残差预测的执行。
<5.第四实施方式>
<分量间预测信息的编码>
描述与根据第三实施方式的图像解码装置100相对应的图像编码装置200的处理。
在这种情况下，图像编码装置200根据图66中示出的语法表对用于控制色度间残差预测的控制信息进行编码，并且将编码的控制信息发送至图像解码装置100。
例如，如图66的A所示，仅在分量间预测有效标志ccp_enabled_flag为“1”(真)的情况下，即，仅在允许分量间线性预测的情况下，图像编码装置200对色度间残差预测有效标志chroma_resi_pred_enabled_flag进行编码并发送。
此外，例如，如图66的B所示，仅在色度间残差预测有效标志chroma_resi_pred_enabled_flag为“1”(真)的情况下，即，仅在允许色度间残差预测的情况下，图像编码装置200对色度间残差预测标志chroma_resi_pred_flag进行编码并发送。
这使得可以抑制上面在第三实施方式中描述的编码效率的降低。
<编码处理的流程>
参照图70和图71的流程图描述在图56的步骤S250中在这种情况下由图像编码装置200执行的控制信息(分量间预测信息CCInfo)和分量间预测的色度帧内预测模式IntraPredModeC的编码处理以及相关语法等(coding_unit())的编码处理的流程的示例。
当编码处理开始时，与图57的步骤S261至S265的各个处理类似地执行图70的步骤S431至S435的各个处理。
此外，在步骤S434中确定不满足以上表达式(14)的情况下(在确定ccp_flag为1(真)的情况下)，处理进行到图71。
在步骤S441中，编码单元220确定是否满足以上表达式(21)中的条件5。即，确定分量间预测有效标志ccp_enabled_flag是否为“1”(真)。在确定满足表达式(21)(即，分量间预测有效标志ccp_enabled_flag为“1”(真))的情况下，处理进行到步骤S442。
在步骤S442中，编码单元220对色度间残差预测有效标志chroma_resi_pred_enabled_flag进行编码，并且将编码的色度间残差预测有效标志chroma_resi_pred_enabled_flag添加到编码数据。当将色度间残差预测有效标志chroma_resi_pred_enabled_flag添加到编码数据时，处理进行到步骤S443。
此外，在步骤S441中确定不满足表达式(21)(即，分量间预测有效标志ccp_enabled_flag为“0”(假))的情况下，省略步骤S442的处理，并且处理进行到步骤S443。
与图58的步骤S271至S274的各个处理类似地执行步骤S443至S446的各个处理。
在步骤S447中，编码单元220确定是否满足以上表达式(22)中的条件6。
即，确定色度间残差预测有效标志chroma_resi_pred_enabled_flag是否为“1”(真)。在确定满足表达式(22)(即，色度间残差预测有效标志chroma_resi_pred_enabled_flag为“1”(真))的情况下，处理进行到步骤S448。
在步骤S448中，编码单元220对色度间残差预测标志chroma_resi_pred_flag进行编码，并且将编码的色度间残差预测标志chroma_resi_pred_flag添加到编码数据。当将色度间残差预测标志chroma_resi_pred_flag添加到编码数据时，处理返回到图70，编码处理完成，并且处理返回到图56。
此外，在图71的步骤S447中确定不满足表达式(22)(即，色度间残差预测有效标志chroma_resi_pred_enabled_flag为“0”(假))的情况下，省略步骤S448的处理，处理返回到图70，编码处理完成，并且处理返回到56。
以这种方式执行编码处理引起以多个头部信息(VPS/SPS/PPS/SH/CTU)为单位对色度间残差预测有效标志chroma_resi_pred_enabled_flag进行解码。即，在执行分量间预测而不允许延迟的情况下，将色度间残差预测有效标志chroma_resi_pred_enabledf_flag设置为“0”并且禁止色度间残差预测使得可以打破Cb/Cr之前的相关性。因此，在这种情况下，可以在无需等待Cb分量被编码的情况下对Cr分量进行编码。即，可以减少分量间预测中的延迟。
此外，对色度间残差预测标志chroma_resi_pred_flag进行编码允许CC预测部134基于色度间残差预测标志chroma_resi_pred_flag来控制色度间残差预测。即，可以仅在色度间残差预测有效时执行色度间残差预测。这提高了编码效率。此外，可以抑制负荷的增加。
<CU级编码处理的流程>
参照图72和图73的流程图描述在这种情况下对一个CU进行的如上所述的图像编码处理(CU级编码处理)的流程的示例。
当CU级编码处理开始时，与图62的步骤S321至S329的各个处理类似地执行图72的步骤S461至S469的各个处理。当完成步骤S469的处理时，处理进行到图73。
与图63的步骤S331和S332的各个处理类似地执行图73的步骤S471和S472的各个处理。
在步骤S473中，预测单元211参考色度间残差预测标志chroma_resi_pred_flag，并且确定值是否为“1”(真)。在确定色度间残差预测标志chroma_resi_pred_flag的值为“1”(真)的情况下，处理进行到步骤S474。
在步骤S474中，预测单元211执行色度间残差预测(Cb/Cr残差预测)，并且通过使用色度分量(Cb)的预测残差来校正在步骤S472的处理中获得的当前CU的色度分量(Cr)的预测图像。当步骤S474的处理完成时，处理进行到步骤S475。
此外，在步骤S473中确定色度间残差预测标志chroma_resi_pred_flag的值为“0”(假)的情况下，跳过步骤S474的处理，并且处理进行到步骤S475。
类似于图63的步骤S334至S338的各个处理，执行图73的步骤S475至S479的各个处理。
当步骤S479的处理完成时，CU级编码处理完成。
针对每个CU执行上述的CU级编码处理允许图像编码装置200通过使用分量间线性预测处理和色度间残差预测来获取每个CU的编码图像。此外，可以控制色度间残差预测的执行。
<6.结论>
<根据第一实施方式的图像解码装置100和根据第二实施方式的图像编码装置200>
解码单元111/编码单元220对作为分量间预测信息CCInfo的一部分的色度样本位置信息进行解码/编码，该色度样本位置信息指示色度分量相对于亮度分量的样本的样本位置。
这可以基于色度阵列类型和色度样本位置信息来选择减少色度分量与亮度分量之间的相移的下采样滤波器。这允许进行相移减少的分量间预测，从而能够抑制编码效率的降低。
此外，基于单类别模式和多类别模式两者的色度阵列类型和色度样本位置信息，亮度/色度预测部141选择生成与色度样本位置具有相同坐标的亮度样本的下采样滤波器，从而可以生成以下缩小的亮度并置相邻像素组R'Y,n，在该缩小的亮度并置相邻像素组R'Y,n中，与亮度并置相邻像素组R'Y,n的色度分量的相移被减少。因此，减小的相移使得可以推导更准确的预测参数(α和β)。
基于单类别模式和多类别模式两者的色度阵列类型和色度样本位置信息，亮度/色度预测部141选择生成与色度样本位置具有相同坐标的亮度样本的下采样滤波器，从而可以生成以下缩小的亮度并置块像素组R'Y,col，在该缩小的亮度并置块像素组R'Y,col中，与亮度并置块像素组RY,col的色度分量的相移被减少。
这可以在单类别模式和多类别模式下根据相移通过使用更准确的预测参数(α和β)而减小的缩小的亮度并置块像素组R'Y,col，生成与常规技术相比更准确的预测图像。即，提高了编码效率。
此外，与常规技术相比，亮度/色度预测部141的色度格式不限于420格式，也可以执行符合422格式和444格式的亮度/色度预测。即，可以在422格式和444格式中应用亮度/色度预测，从而提高了编码效率。
<根据第三实施方式的图像解码装置100和根据第四实施方式的图像编码装置200>
图像解码装置100/图像编码装置200对色度间残差预测有效标志chroma_resi_pred_enabled_flag进行解码/编码。此外，图像解码装置100/图像编码装置200对色度间残差预测标志chroma_resi_pred_flag进行解码/编码。这使得可以基于色度间残差预测标志chroma_resi_pred_flag来控制色度间残差预测。即，可以仅在色度间残差预测有效时执行色度间残差预测。这提高了编码效率。
此外，在图像解码装置100/图像编码装置200执行分量间预测并且不允许延迟的情况下，色度间残差预测有效标志chroma_resi_pred_enabledf_flag被设置为0，色度间残差预测被禁止，并且Cb/Cr之间的相关性被打破。这允许在无需等待Cb分量被解码/编码的情况下在分量间预测中对Cr分量进行解码/编码。即，可以减少分量间预测中的延迟。
<7.其他方面>
<信息的数据单元>
关于上述图像的上述信息和关于图像编码/解码的信息被设置有任何数据单元(或目标数据的数据单元)，并且上述示例不是限制性的。例如，可以针对每个TU(变换单元)、TB(变换块)、PU(预测单元)、PB(预测块)、CU(编码单元)、LCU(最大编码单元)、子块、块、区块、片、图片、序列或分量来设置这些种类的信息中的每一个，或者可以以数据单元的数据为目标。不言而喻，针对每条信息设置该数据单元。即，不必在相同的数据单元中设置(或以其为目标)所有信息。应当注意，信息被存储在任何地方，并且信息可以被存储在上述数据单元的头部、参数集等中。此外，信息可以被存储在多个位置中。
<控制信息>
可以从编码侧向解码侧发送关于在上述每个实施方式中描述的本技术的控制信息。例如，可以发送用于控制是否允许(或禁止)应用上述本技术的控制信息(例如，enabled_flag)。此外，例如，可以发送用于指定允许(或禁止)应用上述本技术的块大小的上限、下限或上限和下限两者的控制信息。
<编码/解码>
本技术可应用于任何图像编码/解码方案。即，用于图像编码/解码的各种处理例如变换(逆变换)、量化(逆量化)、编码(解码)和预测均具有任何规范，并且上述示例不是限制性的。例如，关于变换(逆变换)，可以执行除(逆)初级变换和(逆)次级变换之外的(逆)变换(即，三次或更多次(逆)变换)。此外，编码(解码)可以是可逆方案或不可逆方案。此外，可以省略量化(逆量化)、环路滤波处理等。
<本技术的应用领域>
例如，应用本技术的***、装置、处理单元等可用于任何领域，例如交通、医疗护理、犯罪预防、农业、畜牧业、采矿业、美容、工厂、家用电器、天气或自然监视。此外，它们具有任何用途。
例如，本技术可应用于用于提供观看内容等的***或装置。此外，例如，本技术也适用于用于诸如交通状况管理或自动驾驶控制的交通用途的***或装置。此外，例如，本技术也适用于用于安全的***或装置。此外，本技术例如适用于用于机械等的自动控制的***或装置。此外，例如，本技术也适用于用于农业和畜牧业的***或装置。此外，例如，本技术也适用于用于监视诸如火山、森林和海洋、野生动物等自然条件的***或装置。此外，例如，本技术也适用于用于体育的***或装置。
<应用于多视图图像编码/解码***>
上述一系列处理可应用于对包括多个视点(视图(view))的图像的多视图图像进行编码/解码的多视图图像编码/解码***。在这种情况下，本技术可以应用于对每个视点(视图(view))进行的编码或解码。
<应用于分层图像编码/解码***>
此外，以上所述的一系列处理可以应用于对在多个层(层级)中成层状(分层)的分层图像进行编码和解码的分层图像编码(可缩放编码)/解码***，以具有关于预定参数的可缩放性(scalability)功能。在该情况下，本技术可以应用于对每个层级(层)的编码/解码。
<计算机>
可以使硬件执行上述一系列处理，并且还可以使软件执行上述一系列处理。在利用软件执行一系列处理的情况下，软件中包括的程序被安装在计算机中。此处，计算机包括结合在专用硬件中的计算机、能够通过安装各种程序来执行例如各种功能的通用个人计算机等。
图74是示出通过使用程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在图74所示的计算机800中，经由总线804将CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803彼此耦接。
输入/输出接口810还耦接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815被耦接至输入/输出接口810。
输入单元811包括例如键盘、鼠标、麦克风、触摸面板、输入终端等。输出单元812包括例如显示器、扬声器、输出终端等。存储单元813包括例如硬盘、RAM盘和非易失存储器等。通信单元814包括例如网络接口。驱动器815驱动可移除介质821如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中，CPU 801经由输入/输出接口810和总线804将例如存储在存储单元813中的程序加载至RAM 803中并且执行该程序，以执行上述一系列处理。在由CPU 801执行各种处理时所需的数据等也被适当地存储在RAM 803中。
例如，可以将由计算机(CPU 801)执行的程序记录并且应用于作为封装介质等的可移动介质821中。在这种情况下，可以通过将可移除介质821安装在驱动器815上经由输入/输出接口810将程序安装在存储单元813中。
此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。在这种情况下，可以由通信单元814接收该程序并且将接收到的程序安装在存储单元813中。
此外，可以预先将该程序安装在ROM 802或存储单元813中。
<本技术的应用>
例如，可以将根据上文描述的实施方式的图像编码装置200或图像解码装置100应用于各种电子装置，例如用于卫星广播、有线广播(例如，有线TV)、因特网上的分发、通过蜂窝通信向终端的分发等的发送器或接收器，或者在诸如光盘、磁盘或闪速存储器的介质上记录图像的记录装置、从这些存储介质再现图像的再现装置等。
<第一应用示例：电视接收器>
图75示出了应用了上述实施方式的电视设备的示意性配置的示例。电视设备900包括天线901、调谐器902、解多路复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911和总线912。
调谐器902从经由天线901接收到的广播信号中提取期望信道的信号并且对所提取的信号进行解调。然后，调谐器902将从解调获得的编码比特流输出至解多路复用器903。即，调谐器902在记录/再现设备900中起到发送单元的作用。发送单元接收图像被编码的编码流。
解多路复用器903从编码比特流中对要观看和收听的节目的视频流和音频流进行解复用，并且将经解复用的流输出至解码器904。此外，解多路复用器903从编码比特流中提取诸如EPG(电子节目指南)的辅助数据，并且将所提取的数据提供至控制单元910。应当注意，在经编码的比特流被加扰的情况下，解多路复用器903可以执行解扰。
解码器904对从解多路复用器903输入的视频流和音频流进行解码。然后，解码器904将在解码处理中生成的视频数据输出至视频信号处理单元905。此外，解码器904将在解码处理中生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，以使显示单元906显示视频。此外，视频信号处理单元905可以使显示单元906显示经由网络提供的应用画面。此外，视频信号处理单元905可以根据设置对视频数据执行附加处理，例如，噪声降低等。此外，视频信号处理单元905可以生成GUI(图形用户接口)的图像，例如菜单、按钮或光标，并且将生成的图像叠加在输出图像上。
显示单元906由从视频信号处理单元905提供的驱动信号来驱动并且将视频或图像显示在显示装置(例如，液晶显示器、等离子显示器、OELD(有机电致发光显示器)(有机EL显示器)等)的视频面上。
音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且使扬声器908输出声音。此外，音频信号处理单元907可以对音频数据执行诸如噪声降低的附加处理。
外部接口单元909是用于将电视设备900与外部设备或网络彼此耦接的接口。例如，经由外部接口单元909接收到的视频流或音频流可以由解码器904来解码。即，外部接口单元909在电视设备900中起到发送单元的作用。发送单元接收图像被编码的编码流。
控制单元910包括：诸如CPU的处理器；以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。例如当电视设备900被启动时，由CPU读取并且执行存储器中存储的程序。CPU执行程序以根据例如从用户接口单元911输入的操作信号来控制电视设备900的操作。
用户接口单元911被耦接至控制单元910。用户接口单元911包括例如用于允许用户操作电视设备900的按钮和开关、用于远程控制信号的接收单元等。用户接口单元911检测用户经由这些部件的操作、生成操作信号并且将生成的操作信号输出至控制单元910。
总线912将调谐器902、解多路复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909以及控制单元910彼此耦接。
在以这种方式配置的电视设备900中，解码器904可以具有上述图像解码装置100的功能。即，解码器904可以以在上述每个实施方式中描述的方法对编码数据进行解码。这允许电视设备900获得与以上参照图1至图73描述的每个实施方式的效果类似的效果。
此外，在以这种方式配置的电视设备900中，视频信号处理单元905可以能够例如对从解码器904提供的图像数据进行编码，并且经由外部接口单元909将获得的编码数据输出至电视设备900的外部。此外，视频信号处理单元905可以具有上述图像编码装置200的功能。即，视频信号处理单元905可以在上述每个实施方式中描述的方法中对从解码器904提供的图像数据进行编码。这允许电视设备900获得与以上参照图1至图73描述的每个实施方式的效果类似的效果。
<第二应用示例：移动电话>
图76示出了应用了上述实施方式的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、多路复用/解多路复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。
天线921被耦接至通信单元922。扬声器924和麦克风925被耦接至音频编解码器923。操作单元932被耦接至控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、多路复用/解多路复用单元928、记录/再现单元929、显示单元930以及控制单元931彼此耦接。
移动电话920在包括音频呼叫模式、数据通信模式、拍摄模式和视频电话模式的各种操作模式下执行操作，例如发送/接收音频信号、发送/接收电子邮件或图像数据、捕获图像、以及记录数据。
在音频呼叫模式下，将由麦克风925生成的模拟音频信号提供给音频编解码器923。然后，音频编解码器923将模拟音频信号转换成音频数据，对经转换的音频数据执行A/D转换，并且压缩音频数据。然后，音频编解码器923将经压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成发送信号。然后，通信单元922经由天线921将生成的发送信号发送至基站(未示出)。此外，通信单元922放大经由天线921接收到的无线信号，转换无线信号的频率，并且获取接收信号。然后，通信单元922对接收信号进行解调和解码以生成音频数据并且将生成的音频数据输出至音频编解码器923。音频编解码器923对音频信号进行扩展，对该音频数据执行D/A转换，并且生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供给扬声器924以输出声音。
此外，在数据通信模式下，例如，控制单元931根据由用户经由操作单元932执行的操作，生成电子邮件中包括的字符数据。此外，控制单元931使显示单元930显示字符。此外，控制单元931根据用户经由操作单元932发出的发送指令生成电子邮件数据，并且将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发送信号。然后，通信单元922经由天线921将生成的发送信号发送至基站(未示出)。此外，通信单元922放大经由天线921接收到的无线信号，转换无线信号的频率，并且获取接收信号。然后，通信单元922对接收信号进行解调和解码以恢复电子邮件数据并将恢复的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件的内容，并且将电子邮件数据提供给记录/再现单元929以将电子数据写入其存储介质中。
记录/再现单元929包括可读和可写的任何存储介质。例如，存储介质可以是内置型存储介质，例如RAM或闪速存储器，或者可以是外部附接的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器或存储卡。
此外，在拍摄模式下，例如摄像装置单元926对对象进行成像以生成图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，并且将编码流提供至记录/再现单元929，以将编码流写到记录/再现单元929的存储介质中。
此外，在图像显示模式中，记录/再现单元929读取在存储介质中记录的编码流，并且将读取的编码流输出至图像处理单元927。图像处理单元927对从记录/再现单元929输入的编码流进行解码，并且将图像数据提供至显示单元930以使图像被显示。
此外，例如，在视频电话模式下，多路复用/解多路复用单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将经多路复用的流输出至通信单元922。通信单元922对流进行编码和调制以生成传输信号。然后，通信单元922经由天线921将生成的发送信号发送至基站(未示出)。此外，通信单元922放大经由天线921接收到的无线信号，转换无线信号的频率，并且获取接收信号。这些发送信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码以恢复流，并且将已恢复的流输出至多路复用/解多路复用单元928。多路复用/解多路复用单元928从输入流中解多路复用视频流和音频流，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频信号进行扩展，对音频数据执行D/A转换，并且生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供给扬声器924以输出声音。
在以这种方式配置的移动电话920中，例如，图像处理单元927可以具有上述图像编码装置200的功能。即，图像处理单元927可以在上述每个实施方式中描述的方法中对图像数据进行编码。这允许移动电话920获得与以上参照图1至图73描述的各实施方式的效果类似的效果。
此外，在以这种方式配置的移动电话920中，例如，图像处理单元927可以具有上述图像解码装置100的功能。即，图像处理单元927可以在上述每个实施方式中描述的方法中对编码数据进行解码。这允许移动电话920获得与以上参照图1至图73描述的各实施方式的效果类似的效果。
<第三应用示例：记录/再现设备>
图77示出了应用了上述实施方式的记录/再现设备的示意性配置的示例。例如，记录/再现设备940对接收到的广播节目的音频数据和视频数据进行编码，并且将编码数据记录到记录介质中。例如，记录/再现设备940还可以对从另一设备获取的音频数据和视频数据进行编码，并且将编码数据记录到记录介质中。此外，记录/再现设备940例如根据用户的指令在监视器和扬声器上再现在记录介质中记录的数据。此时，记录/再现设备940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口(I/F)单元942、编码器943、HDD(硬盘驱动器)单元944、磁盘驱动器945、选择器946、解码器947、OSD(屏幕显示)单元948、控制单元949和用户接口(I/F)950。
调谐器941从经由天线(未示出)接收到的广播信号中提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调而获得的编码比特流输出至选择器946。换言之，调谐器941在记录/再现设备940中起到发送单元的作用。
外部接口单元942是用于将记录/再现设备940和外部设备或网络彼此耦合的接口。外部接口单元942可以是例如IEEE(电气和电子工程师协会)1394接口、网络接口、USB接口、闪存接口等。例如，经由外部接口单元942接收到的视频数据和音频数据被输入至编码器943。换言之，外部接口单元942具有在记录/再现设备940中起到发送单元的作用。
在从外部接口单元942输入的视频数据和音频数据未被编码的情况下，编码器943对该视频数据和音频数据进行编码。编码器943将编码比特流输出至选择器946。
HDD单元944将其中压缩有视频、声音等的内容数据的编码比特流、各种程序和其他数据记录在内部硬盘上。此外，HDD单元944在对视频和声音进行再现时从硬盘读取这些数据。
硬盘驱动器945将数据记录在安装在其上的记录介质中并且从安装在其上的记录介质读取数据。要安装在盘驱动器945上的记录介质可以是例如DVD(数字多功能盘)盘(DVD-视频、DVD-RAM(DVD-随机存取存储器)、DVD-R(DVD-可记录)、DVD-RW(DVD-可重写)、DVD+R(DVD+可记录)、DVD+RW(DVD+可重写)等)、蓝光(注册商标)盘等。
当记录视频和声音时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将选择的编码比特流输出至HDD单元944或盘驱动器945。此外，当再现视频和声音时，选择器946将从HDD单元944或盘驱动器945输入的编码比特流输出至解码器947。
解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD单元948。此外，解码器947将所生成的音频数据输出至外部扬声器。
OSD单元948再现从解码器947输入的视频数据以显示视频。此外，OSD单元948例如可以将诸如菜单、按钮或光标的GUI的图像叠加在显示的视频上。
控制单元949包括：诸如CPU的处理器；以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、节目数据等。例如当记录/再现设备940被启动时，由CPU读取并且执行存储器中存储的程序。CPU执行程序以根据例如从用户接口单元950输入的操作信号来控制记录/再现设备940的操作。
用户接口单元950被耦接至控制单元949。用户接口单元950包括用于允许例如用户操作记录/再现设备940的按钮和开关、用于遥控信号的接收单元等。用户接口单元950检测用户经由这些部件的操作、生成操作信号并且将生成的操作信号输出至控制单元949。
在以这种方式配置的记录/再现设备940中，例如，编码器943可以具有上述图像编码装置200的功能。即，编码器943可以在上述每个实施方式中描述的方法中对图像数据进行编码。这允许记录/再现设备940获得与以上参照图1至图73描述的每个实施方式的效果类似的效果。
此外，在以这种方式配置的记录/再现设备940中，例如，解码器947可以具有上述图像解码装置100的功能。即，解码器947可以以在上述每个实施方式中描述的方法对编码数据进行解码。这允许记录/再现设备940获得与以上参照图1至图73描述的每个实施方式的效果类似的效果。
<第四应用示例：成像设备>
图78示出了应用上述实施方式的成像设备的示意性配置的示例。成像装置960对对象进行成像以生成图像，对图像数据进行编码并且将图像数据记录在记录介质中。
成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口(I/F)单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970、用户接口(I/F)单元971和总线972。
光学块961被耦接至成像单元962。成像单元962被耦接至信号处理单元963。显示单元965被耦接至图像处理单元964。用户接口单元971被耦接至控制单元970。总线972将图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970彼此耦接。
光学块961包括聚焦透镜、光圈机构等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器，并且通过光电转换将在成像表面上形成的光学图像转换成电信号形式的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种类型的摄像装置信号处理如拐点校正(knee correction)、伽马校正和颜色校正。信号处理单元963将经受摄像装置信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码并且生成编码数据。然后，图像处理单元964将生成的编码数据输出至外部接口单元966或介质驱动器968。此外，图像处理单元964对从外部接口单元966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964将生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以使图像被显示。此外，图像处理单元964可以将从OSD单元969获取的显示数据叠加到要输出至显示单元965的图像上。
例如，OSD单元969生成例如诸如菜单、按钮或光标的GUI的图像，并且将所生成的图像输出至图像处理单元964。
外部接口单元966被配置为例如USB输入/输出终端。例如，当打印图像时，外部接口单元966将成像设备960和打印机彼此耦接。此外，驱动器根据需要耦接至外部接口单元966。例如，诸如磁盘或光盘的可移除介质被安装在驱动器上，并且从可移除介质读取的程序可以被安装在成像设备960中。此外，外部接口单元966可以被配置为耦接至网络如LAN或因特网的网络接口。换言之，外部接口单元966在成像设备960中起到发送单元的作用。
安装在介质驱动器968上的记录介质可以是例如任何可读和可写可移除介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以固定地安装在介质驱动器968上，并且例如配置诸如内置硬盘驱动器或SSD(固态驱动器)的非可移动存储单元。
控制单元970包括：诸如CPU的处理器；以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、节目数据等。例如当成像设备960被启动时，由CPU读取并执行存储器中存储的程序。CPU执行程序以根据例如从用户接口单元971输入的操作信号来控制成像设备960的操作。
用户接口单元971被耦接至控制单元970。用户接口单元971例如包括用于允许用户操作成像设备960的按钮、开关等。用户接口单元971检测用户经由这些部件的操作、生成操作信号并且将生成的操作信号输出至控制单元970。
在以这种方式配置的成像设备960中，例如，图像处理单元964可以具有上述图像编码装置200的功能。即，图像处理单元964可以在上述每个实施方式中描述的方法中对图像数据进行编码。这允许成像设备960获得与以上参照图1至图73描述的每个实施方式的效果类似的效果。
此外，在以这种方式配置的成像设备960中，例如，图像处理单元964可以具有上述图像解码装置100的功能。即，图像处理单元964可以在上述每个实施方式中描述的方法中对编码数据进行解码。这允许成像设备960获得与以上参照图1至图73描述的每个实施方式的效果类似的效果。
<第五应用示例：视频设备>
此外，本技术也可以作为将被结合在任何设备中或***中包括的设备中的任何部件来实现，例如，作为***LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、将另一功能添加到单元(即，设备的一些部件)的设备等。图79示出了应用本技术的视频设备的示意性配置的示例。
近年来，电子设备已经多功能化。在开发或制造时在将其一些部件作为销售、提供等来实施的情况下，它们在许多情况下不仅作为具有一个功能的部件来实施，而且还作为具有多个功能的一个设备来实施，该多个功能是从具有彼此相关联的功能的多个部件的组合得到的。
图79中所示的视频设备1300是这样的多功能部件，并且是具有与图像编码和解码(图像编码和解码中的一个或两个)相关的一个或多个功能的装置和具有与该一个或多个功能相关的另一功能的装置的组合。
如图79所示，视频设备1300包括：模块组，该模块组包括视频模块1311、外部存储器1312、电力管理模块1313、前端模块1314等；以及具有诸如连接部1321、摄像装置1322、传感器1323等的相关功能的装置。
模块是针对相干功能集中彼此相关的若干部分功能的部分。尽管有任何特定的物理配置，但是例如，可以设想以下配置，在该配置中，诸如具有相应功能的多个处理器、寄存器或电容器、其他器件等的电子电路元件被设置在布线板等上并且被集成。此外，还可以设想将模块与另一模块、处理等组合以形成新模块。
在图79的示例的情况下，视频模块1311是具有与图像处理有关的功能的部件的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。
每个处理器包括通过SoC(芯片上***)集成在半导体芯片上的具有预定功能的部件，并且一些处理器被称为例如***LSI(大规模集成)等。具有预定功能的部件可以是逻辑电路(硬件部件)、CPU、ROM、RAM等以及使用它们(软件配置)执行的程序(软件部件)，或者可以是它们两者的组合。例如，处理器可以包括逻辑电路以及CPU、ROM、RAM等，并且一部分功能可以通过逻辑电路(硬件部件)来实现，而其他功能可以通过由CPU执行的程序(软件部件)来实现。
图79的应用处理器1331是执行与图像处理相关的应用的处理器。由该应用处理器1331执行的应用不仅能够执行算术处理以实现预定功能，而且还能够根据需要控制视频模块1311内部和外部的部件，例如视频处理器1332等。
视频处理器1332是具有与图像编码/解码(其中之一或两者)相关的功能的处理器。
宽带调制解调器1333对要通过经由诸如因特网和公共电话网络的宽带线路执行的有线或无线(或有线和无线两者)宽带通信发送的数据(数字信号)执行数字调制等以将数据转换成模拟信号，并且对通过宽带通信接收道的模拟信号进行解调以将模拟信号转换成数据(数字信号)。宽带调制解调器1333处理任何信息，例如，诸如要由视频处理器1332处理的图像数据、图像数据被编码的流、应用程序或设置数据。
RF模块1334是对要经由天线发送和接收的RF(射频)信号执行频率转换、调制和解调、放大、滤波处理等的模块。例如，RF模块1334对由宽带调制解调器1333生成的基带信号执行频率转换等以生成RF信号。此外，例如，RF模块1334对经由前端模块1314接收到的RF信号执行频率转换等以生成基带信号。
应当注意，如图79中的虚线1341所示，应用处理器1331和视频处理器1332可以被集成以便被配置为一个处理器。
外部存储器1312是被设置在视频模块1311的外部并且具有由视频模块1311使用的存储装置的模块。尽管外部存储器1312的该存储装置可以通过任何物理部件来实现，但是在许多情况下，该存储装置通常用于存储诸如以帧为单位的图像数据的大量数据。因此，期望通过成本相对较低并且具有大容量的半导体存储器如DRAM(动态随机存取存储器)来实现该存储装置。
电力管理模块1313管理并且控制提供给视频模块1311(视频模块1311中的每个部件)的电力供应。
前端模块1314是向RF模块1334提供前端功能(在天线侧的发送/接收端的电路)的模块。如图79中所示，前端模块1314包括例如天线部1351、滤波器1352以及放大部1353。
天线部1351包括用于发送和接收无线信号的天线以及***部件。天线部1351将从放大部1353提供的信号作为无线信号发送，并且将所接收到的无线信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对经由天线部1351接收到的RF信号执行滤波处理等，并且将经处理的RF信号提供至RF模块1334。放大部1353对从RF模块1334提供的RF信号进行放大，并且提供给天线部1351。
连接部1321是具有与到外部的耦接相关的功能的模块。连接部1321包括任何物理部件。例如，连接部1321包括部件、外部输入/输出终端等，其具有根据除了宽带调制解调器1333所兼容的通信标准之外的标准的通信功能。
例如，连接部1321可以包括：具有符合诸如蓝牙(注册商标)、IEEE802.11(例如，Wi-Fi(无线保真，注册商标))、NFC(近场通信)或IrDA(红外数据协会)的无线通信标准的通信功能的模块；用于发送和接收符合该标准的信号的天线等。此外，例如，连接部1321可以包括：具有符合诸如USB(通用串行总线)或HDMI(注册商标)(高清晰度多媒体接口)的有线通信标准的通信功能的模块；符合该标准的终端等。此外，例如，连接部1321可以具有其他数据(信号)发送功能等，例如模拟输入/输出终端。
应当注意，连接部1321可以包括数据(信号)的发送目的地的装置。例如，连接部1321可以包括用于从诸如磁盘、光盘、磁光盘和半导体存储器的记录介质读取数据以及向记录介质写入数据的驱动器(不仅包括可移除介质的驱动器，而且还包括硬盘、SSD(固态驱动器)、NAS(网络附接存储装置)等)。此外，连接部1321可以包括图像或声音的输出装置(例如，监视器或扬声器)。
摄像装置1322是具有对对象进行成像以获得对象的图像数据的功能的模块。通过摄像装置1322的成像而获得的图像数据例如被提供至视频处理器1332，并且然后被编码。
传感器1323为具有任意传感器功能的模块，例如音频传感器、超声波传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜度传感器、磁标识传感器、振动传感器或温度传感器。由传感器1323检测到的数据被提供给例如应用处理器1331并且被应用等使用。
上述作为模块描述的部件可以实现为处理器，并且相反地，上述作为处理器描述的部件可以实现为模块。
在如上所述配置的视频设备1300中，本技术可以应用于如下面描述的视频处理器1332。因此，可以将视频设备1300作为应用本技术的设备来实施。
<视频处理器的配置示例>
图80示出了应用本技术的视频处理器1332(图79)的示意性配置的示例。
在图80的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并且在预定方案中对其进行编码的功能、以及对编码的视频数据和音频数据进行解码并且再现和输出视频信号和音频信号的功能。
如图80所示，视频处理器1332包括视频输入处理单元1401、第一图像缩放单元1402、第二图像缩放单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。此外，视频处理器1332包括编码/解码引擎1407、视频ES(基本流)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、多路复用单元(MUX(多路复用器))1412、解多路复用单元(DMUX(解多路复用器))1413和流缓冲器1414。
视频输入处理单元1401获取例如从连接部1321(图79)等输入的视频信号，并且将所获取的视频信号转换成数字图像数据。第一图像缩放单元1402对图像数据执行格式转换、图像缩放处理等。第二图像缩放单元1403根据经由视频输出处理单元1404的输出指定处的格式对图像数据执行图像缩放处理，并且对图像数据执行与第一图像缩放单元1402进行的格式转换、图像缩放处理类似的格式转换、图像缩放处理等。视频输出处理单元1404对图像数据执行格式转换、转换成模拟信号等，并且将得到的模拟信号作为再现的视频信号输出至例如连接部1321等。
帧存储器1405是针对由视频输入处理单元1401、第一图像缩放单元1402、第二图像缩放单元1403、视频输出处理单元1404和编码/解码引擎1407共享的图像数据的存储器。例如，帧存储器1405被实现为半导体存储器，例如DRAM。
存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据写在访问管理表1406A中的访问帧存储器1405的调度对访问帧存储器1405的写和读进行控制。访问管理表1406A由存储器控制单元1406根据由编码/解码引擎1407、第一图像缩放单元1402、第二图像缩放单元1403等执行的处理进行更新。
编码/解码引擎1407执行对图像数据的编码处理以及对作为通过对图像数据进行编码获得的数据的视频流的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且顺序地将编码图像数据作为视频流写入视频ES缓冲器1408A中。此外，例如，编码/解码引擎1407从视频ES缓冲器1408B连续地读取视频流并对视频流进行解码，并且将解码的视频流作为图像数据连续地写入帧存储器1405中。编码/解码引擎1407使用帧存储器1405作为编码和解码中的工作区。此外，编码/解码引擎1407在例如开始针对每个宏块的处理的定时处向存储器控制单元1406输出同步信号。
视频ES缓冲器1408A缓存由编码/解码引擎1407生成的视频流，并且提供给多路复用单元(MUX)1412。视频ES缓冲器1408B缓存从解多路复用单元(DMUX)1413提供的视频流，并且提供给编码/解码引擎1407。
音频ES缓冲器1409A缓存由音频编码器1410生成的音频流，并且提供给多路复用单元(MUX)1412。音频ES缓冲器1409B缓存从解多路复用单元(DMUX)1413提供的音频流，并且提供给音频解码器1411。
音频编码器1410例如对例如从连接部1321等输入的音频信号进行数字转换，并且以诸如MPEG音频方案或AC3(音频代码号3)方案的预定方案对数字音频信号进行编码。音频编码器1410将作为通过编码音频信号获得的数据的音频流连续地写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，执行例如转换成模拟信号等，并且提供给例如连接部1321等作为再现的音频信号。
多路复用单元(MUX)1412对视频流和音频流进行多路复用。该多路复用可以以任何方法(即，通过多路复用生成的比特流的格式)来执行。此外，在该多路复用时，多路复用单元(MUX)1412也可以将预定的头部信息等添加到比特流。换言之，多路复用器(MUX)1412能够通过多路复用来转换流的格式。例如，多路复用单元(MUX)1412对视频流和音频流进行多路复用以将这些流转换成传输流，该传输流是具有供传输的格式的比特流。此外，例如，多路复用单元(MUX)1412对视频流和音频流进行多路复用以将流转换成用于记录的文件格式的数据(文件数据)。
解多路复用单元(DMUX)1413在与由多路复用部(MUX)1412进行的多路复用的方法对应的方法中对视频流和音频流经多路复用的比特流进行解多路复用。即，解多路复用单元(DMUX)1413从自流缓冲器1414读取的比特流中提取视频流和音频流(将视频流与音频流彼此解多路复用)。简言之，解多路复用单元(DMUX)1413能够通过解多路复用来转换(逆转换为多路复用单元(MUX)1412进行的转换)流的格式。例如，解多路复用单元(DMUX)1413能够通过经由流缓冲器1414获取传输流并对该传输流进行解多路复用来将例如从连接部1321、宽带调制解调器1333等提供的传输流转换成视频流和音频流。此外，例如，解多路复用单元(DMUX)1413能够通过经由流缓冲器1414获取文件数据并对该文件数据进行解多路复用来将例如通过连接部1321从各种记录介质读取的文件数据转换成视频流和音频流。
流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从多路复用单元(MUX)1412提供的传输流进行缓冲，并且在预定定时处或基于来自外部的请求等向例如连接部1321、宽带调制解调器1333等提供传输流。
此外，例如，流缓冲器1414对从多路复用单元(MUX)1412提供的文件数据进行缓冲，并且在预定定时处或基于来自外部的请求等向例如连接部1321等提供文件数据，以使文件数据被记录在各种记录介质上。
此外，流缓冲器1414对经由例如连接部1321、宽带调制解调器1333等获取的传输流进行缓冲，并且在预定定时处或基于来自外部的请求等向解多路复用单元(DMUX)1413提供传输流。
此外，流缓冲器1414对例如通过连接部1321等从各种记录介质读取的文件数据进行缓冲，并且在预定定时处或者基于来自外部的请求等向解多路复用单元(DMUX)1413提供文件数据。
接下来，描述以这种方式配置的视频处理器1332的操作的示例。例如，由视频输入处理单元1401将从连接部1321等输入到视频处理器1332的视频信号转换成诸如4:2:2Y/Cb/Cr方案的预定方案的数字图像数据，并且顺序地将其写入帧存储器1405。该数字图像数据被读入第一图像缩放单元1402或第二图像缩放单元1403，经受格式转换为诸如4:2:0Y/Cb/Cr方案的预定方案的格式和缩放处理，然后再次写入帧存储器1405。由编码/解码引擎1407对图像数据进行编码并且将其作为视频流写入视频ES缓冲器1408A中。
此外，由音频编码器1410对从连接部1321等输入到视频处理器1332的音频信号进行编码，并且将其作为音频流写入音频ES缓冲器1409A中。
视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被多路复用单元(MUX)1412读取并多路复用，并且被转换成传输流、文件数据等。由多路复用单元(MUX)1412生成的传输流由流缓冲器1414缓冲，然后例如经由连接部1321、宽带调制解调器1333等被输出至外部网络。此外，由多路复用单元(MUX)1412生成的文件数据由流缓冲器1414缓冲，然后，该文件数据被例如输出至连接部1321等以及被记录在各种记录介质上。
此外，例如，经由连接部1321、宽带调制解调器1333等从外部网络输入至视频处理器1332的传输流由流缓冲器1414缓冲，并且然后由解多路复用单元(DMUX)1413解多路复用。此外，例如，通过连接部1321等从各种记录介质读取并输入至视频处理器1332的文件数据由流缓冲器1414缓冲，并且然后由解多路复用单元(DMUX)1413解多路复用。即，输入至视频处理器1332的传输流或文件数据被解多路复用单元(DMUX)1413解多路复用成视频流和音频流。
音频流经由音频ES缓冲器1409B被提供至音频解码器1411并由音频解码器1411解码以再现音频信号。此外，视频流在被写入视频ES缓冲器1408B之后被连续地读取，并且由编码/解码引擎1407解码并被写入帧存储器1405中。解码的图像数据经受第二图像缩放单元1403进行的缩放处理并被写入帧存储器1405中。然后，解码的图像数据被读入视频输出处理单元1404，并且经受格式转换成诸如4:2:2Y/Cb/Cr方案的预定格式。解码的图像数据进一步被转换成模拟信号，并且视频信号被再现和输出。
在本技术应用于以如上所述的方式配置的视频处理器1332的情况下，根据上述各个实施方式的本技术可以应用于编码/解码引擎1407。即，例如，编码/解码引擎1407可以具有上述图像编码装置200的功能或者图像解码装置100的功能或者其两者。这允许视频处理器1332获得与以上参照图1至图73描述的各实施方式的效果类似的效果。
应当注意，在编码/解码引擎1407中，本技术(即，图像编码装置200的功能或图像解码装置100的功能或者其两者)可以通过诸如逻辑电路的硬件或者通过诸如结合的程序的软件来实现，或者可以通过其两者来实现。
<视频处理器的另一配置示例>
图81示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图81的示例的情况下，视频处理器1332具有以预定方案对视频数据进行编码/解码的功能。
更具体地，如图81所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332包括编解码器引擎1516、存储器接口1517、多路复用/解多路复用单元(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511对视频处理器1332中的各个处理单元如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516的操作进行控制。
如图81所示，控制单元1511包括例如主CPU 1531、副CPU 1532以及***控制器1533。主CPU 1531执行用于控制视频处理器1332中的各个处理单元的操作的程序等。主CPU1531根据程序等生成控制信号，并且提供各个处理单元(即，控制各个处理单元的操作)。子CPU 1532充当主CPU 1531的辅助。例如，副CPU 1532执行由主CPU 1531执行的程序等的子处理、子例程等。***控制器1533控制主CPU 1531和副CPU 1532的操作，例如指定要由主CPU 1531和副CPU 1532执行的程序。
例如，显示接口1512在控制单元1511的控制下将图像数据输出至连接部1321等。例如，显示接口1512将具有数字数据形式的图像数据转换成模拟信号，并且将图像数据作为再现视频信号或者将数字数据的图像数据按原样输出至连接部1321的监视器等。
显示引擎1513在控制单元1511的控制下对图像数据执行各种转换处理，例如格式转换、大小转换和颜色区域转换，以匹配要显示其图像的监视器等的硬件规格。
图像处理引擎1514在控制单元1511的控制下对图像数据执行预定图像处理，例如，用于改善图像质量的滤波处理。
内部存储器1515是被设置在视频处理器1332的内部并且由显示引擎1513、图像处理引擎1514和编解码器引擎1516共享的存储器。内部存储器1515用于例如在显示引擎1513、图像处理引擎1514与编解码器引擎1516之间执行数据传输。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且根据需要(例如，根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。虽然该内部存储器1515可以由任何存储装置实现，但是在许多情况下，内部存储器1515通常用于存储少量数据，例如以块或参数为单位的图像数据。因此，希望内部存储器1515由具有相对(例如，与外部存储器1312相比)小的容量但响应速度高的半导体存储器(例如，SRAM(静态随机存取存储器))实现。
编解码器引擎1516执行用于对图像数据进行编码或解码的处理。该编解码器引擎1516与任何编码/解码方案兼容，并且可以与一个或多个方案兼容。例如，编解码器引擎1516可以具有多个编码和解码方案的编解码功能，并且通过从编解码功能中选择的编解码功能来对图像数据进行编码或对编码数据进行解码。
在图81所示的示例中，编解码器引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视图)1545和MPEG-DASH1551，作为用于编解码器的处理的功能块。
MPEG-2视频1541是在MPEG-2方案中对图像数据进行编码或解码的功能块。AVC/H.264 1542是在AVC方案中对图像数据进行编码或解码的功能块。HEVC/H.265 1543是在HEVC方案中对图像数据进行编码或解码的功能块。HEVC/H.265(可缩放)1544是在HEVC方案中对图像数据进行可缩放编码或可缩放解码的功能块。HEVC/H.265(多视图)1545是在HEVC方案中对图像数据进行多视图编码或多视图解码的功能块。
MPEG-DASH 1551是在MPEG-DASH(通过HTTP的MPEG动态自适应流)方案中发送和接收图像数据的功能块。MPEG-DASH是用于通过使用HTTP(超文本传输协议)执行对视频的流传输的技术，并且其特征之一是，从预先准备的并且在分辨率等方面彼此不同的多个编码数据中以分段为单位选择并发送适当的编码数据。MPEG-DASH 1551执行符合标准的流的生成、流的传送控制等，并且为了对图像数据进行编码/解码，使用上述的MPEG-2视频1541至HEVC/H.265(多视图)1545。
存储器接口1517是外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据经由存储器接口1517被提供至外部存储器1312。此外，从外部存储器1312读取的数据经由存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。
多路复用/解多路复用单元(MUX DMUX)1518对与图像有关的各种数据(例如，编码数据、图像数据和视频信号的比特流)执行多路复用和解多路复用。该多路复用/解多路复用可以以任何方法来执行。例如，在多路复用时，多路复用/解多路复用单元(MUX DMUX)1518不仅能够将多个数据集中到一个数据中，而且能够将预定的头部信息等添加到该数据中。此外，在进行解多路复用时，多路复用/解多路复用单元(MUX DMUX)1518不仅能够将一个数据划分成多个数据，还能够向划分的数据中的每个数据添加预定的头部信息等。即，多路复用/解多路复用单元(MUX DMUX)1518可以通过进行多路复用/解多路复用来转换数据的格式。例如，多路复用/解多路复用单元(MUX DMUX)1518能够通过对比特流进行多路复用来执行转换成传输流，该传输流是用于传输的格式的比特流或用于记录的文件格式的数据(文件数据)。自然地，解多路复用还允许逆变换。
网络接口1519是用于例如宽带调制解调器1333、连接部1321等的接口。视频接口1520是用于例如连接部1321、摄像装置1322等的接口。
接下来，描述视频处理器1332等的操作的示例。例如，如果经由连接部1321、宽带调制解调器1333等从外部网络接收到传输流，则传输流经由网络接口1519被提供给多路复用/解多路复用单元(MUX DMUX)1518并且被多路复用/解多路复用单元(MUX DMUX)1518解多路复用，并且被编解码器引擎1516解码。通过编解码器引擎1516的解码而获得的图像数据例如经受由图像处理引擎1514进行的预定图像处理、并经受显示引擎1513的预定转换，并且经由显示接口1512被提供至例如连接部1321等，并且在监视器上显示其图像。此外，例如，通过由编解码器引擎1516进行的解码而获得的图像数据由编解码器引擎1516重新编码，由多路复用/解多路复用单元(MUX DMUX)1518多路复用以被转换成文件数据、经由视频接口1520输出至例如连接部1321等，并且被记录在各种记录介质中。
此外，通过对图像数据进行编码而获得的、例如通过连接部1321等从未示出的记录介质读取的编码数据的文件数据经由视频接口1520被提供给多路复用/解多路复用单元(MUX DMUX)1518并且由多路复用/解多路复用单元(MUX DMUX)1518解多路复用，并且被编解码器引擎1516解码。通过由编解码器引擎1516进行的解码而获得的图像数据经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，并且经由显示接口1512被提供给例如连接部1321等，并且在监视器上显示其图像。此外，例如，通过由编解码器引擎1516进行的解码而获得的图像数据由编解码器引擎1516重新编码，多路复用/解多路复用单元(MUX DMUX)1518多路复用以被转换成传输流，经由网络接口1519被提供给例如连接部1321、宽带调制解调器1333等，并且被发送至未示出的另一设备。
应当注意，例如通过使用内部存储器1515或外部存储器1312，在视频处理器1332中的各个处理单元之间传送图像数据或其他数据。此外，电力管理模块1313控制提供给例如控制单元1511的电力供应。
在将本技术应用于以上所述配置的视频处理器1332的情况下，可以将根据上述的实施方式的本技术应用于编解码器引擎1516。即，例如，编解码器引擎1516可以具有图像编码装置200的功能或图像解码装置100的功能、或者这两者。这允许视频处理器1332获得与以上参照图1至图73描述的各实施方式的效果类似的效果。
注意，在编解码器引擎1516中，本技术(即，图像编码装置200的功能)可以由诸如逻辑电路的硬件实现或者由诸如结合的程序的软件来实现，或者可以由其二者来实现。
尽管以上示出了视频处理器1332的配置的两个示例，但是视频处理器1332可以具有任何配置并且具有除了上述两个示例之外的配置。此外，尽管该视频处理器1332可以被配置为一个半导体芯片，但是视频处理器1332也可以被配置为多个半导体芯片。视频处理器1332可以是例如其中堆叠多个半导体的三维堆叠LSI。此外，视频处理器1332可以由多个LSI实现。
<应用于设备的示例>
可以将视频设备1300结合到处理图像数据的各种设备中。例如，可以将视频设备1300结合到电视设备900(图75)、移动电话920(图76)、记录/再现设备940(图77)、成像设备960(图78)等中。将视频设备1300结合到设备中允许该设备获得与以上参照图1至图73描述的各个实施方式的效果类似的效果。
应当注意，可以将上述视频设备1300的各个部件的一部分实施为应用本技术的部件，只要部件包括视频处理器1332即可。例如，可以仅将视频处理器1332实施为应用本技术的视频处理器。此外，例如，可以将由虚线1341指示的处理器、视频模块1311等实现为如上所述应用本技术的处理器、模块等。此外，例如，可以将视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314组合地实现为应用本技术的视频单元1361。在所述配置中的任何配置的情况下，可以获得与以上参照图1至图73描述的实施方式的效果类似的效果。
即，可以将任何部件结合到与视频设备1300的情况类似地处理图像数据的各种设备中，只要部件包括视频处理器1332即可。例如，可以将视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361结合到电视设备900(图75)、移动电话920(图76)、记录/再现设备940(图77)、成像设备960(图78)等中。将应用本技术的任何部件结合到设备中然后允许该设备与视频设备1300的情况类似地获得与以上参照图1至73描述的各个实施方式的效果类似的效果。
<第六应用示例：网络***>
此外，本技术也适用于包括多个设备的网络***。图82示出了应用本技术的网络***的示意性配置的示例。
图82中所示的网络***1600是设备经由其间的网络传送关于图像(运动图像)的信息的***。该网络***1600的云服务1601是向耦接至云服务1601的诸如计算机1611、AV(视听)设备1612、便携式信息处理终端1613和IoT(物联网)装置1614的终端提供关于图像(运动图像)的服务以允许通信的***。例如，云服务1601向终端提供对图像(运动图像)的内容的供应服务，如所谓的视频分发(按需分发或实时分发)。此外，例如，云服务1601提供用于从终端接收图像(运动图像)的内容以进行存储的备份服务。此外，例如，云服务1601提供用于调解终端之间的图像(运动图像)的内容的传送的服务。
云服务1601包括任何物理部件。例如，云服务1601可以包括各种服务器，例如存储和管理运动图像的服务器、将运动图像分发至终端的服务器、从终端获取运动图像的服务器以及管理用户(终端)或计费的服务器，以及诸如因特网或LAN的任何网络。
计算机1611例如包括信息处理设备，例如个人计算机、服务器或工作站。AV设备1612例如包括图像处理设备，例如电视接收器、硬盘记录器、游戏机或摄像装置。便携式信息处理终端1613包括便携式信息处理设备，例如笔记本个人计算机、平板终端、移动电话和智能电话。IoT装置1614包括执行对图像的处理的任何实体，诸如，例如，机器、家用电器、家具、另一物品、IC标签、以及卡型装置。这些终端各自具有通信功能，并且各自能够与云服务1601耦接(建立会话)并且与云服务1601传送信息(即，通信)。此外，每个终端还能够与另一终端进行通信。终端之间的通信可以经由云服务1601来执行，或者可以在没有云服务1601的干预的情况下执行。
本技术可以应用于如上所述的网络***1600，以便当在终端之间或者在终端与云服务1601之间传送图像(运动图像)的数据时，如上所述的那样在各个实施方式中对图像数据进行编码/解码。即，终端(计算机1611至IoT装置1614)和云服务1601可以各自均具有上述图像编码装置200和图像解码装置100的功能。这允许在其间传送图像数据的终端(计算机1611至IoT装置1614)和云服务1601获得与以上参照图1至图73描述的各个实施方式的效果相同的效果。
<补充>
应当注意，本文中的“标志”是用于标识多个状态的信息，并且不仅包括用于标识真(1)或假(0)这两个状态的信息，而且包括用于允许标识三个或更多个状态的信息。因此，该“标志”可以具有二进制值，例如1/0，或者三进制值或更多的值。即，该“标志”可以包括任意数量的位，并且包括一位或多位。此外，作为标识信息(包括标志)，不仅假设包括标识信息的比特流，而且假设包括针对特定标准信息的标识信息的差异信息的比特流。因此，本文中的“标志”和“标识信息”不仅包括信息，而且包括标准差异信息。
此外，可以以任何形式发送或记录关于编码数据(比特流)的各种类型的信息(例如，元数据)，只要信息与编码数据相关联即可。此处，术语“关联”意味着，当例如要处理数据片段之一时，可以使用(链接)其他数据片段。即，可以将彼此相关联的数据片段集中为一个数据片段，或者可以使彼此相关联的数据片段成为单独的数据片段。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。此外，例如，可以将与编码数据(图像)相关联的信息记录在与用于编码数据(图像)的记录介质不同的记录介质上(或记录在相同记录介质的不同记录区域中)。应当注意，该“关联"不必施加在整个数据上，而是施加在数据的一部分上。例如，图像与对应于图像的信息可以在诸如多个帧、一个帧或帧的一部分的任意单元中彼此相关联。
此外，术语“合成”、“多路复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“装入”和“***”等在本文中表示多个事物被集中到一个事物中，例如，将编码数据和元数据集中到一个中，并且表示上述“关联”的一种方法。
此外，本技术的实施方式不限于上述实施方式，而是可以在它们在本技术的范围内的情况下发生各种改变。
此外，例如，也可以将本技术实施作为包括在设备或***中的任何部件，例如，作为***LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、将另一功能添加到单元(即，设备的一些部件)的设备等。
应当注意，***在本文中意味着一组多个部件(例如，设备和模块(部件))，但是所有部件是否被放置在同一壳体中并不重要。因此，该***包括容纳在不同壳体中并且经由网络彼此耦接的多个设备，以及具有容纳在一个壳体中的多个模块的一个设备。
此外，例如，被描述为一个设备(或一个处理单元)的部件可以被划分成多个设备(或处理单元)并被配置为多个设备(或处理单元)。相反，可以将作为多个设备(或处理单元)的上述部件集中并且配置为一个设备(或处理单元)。此外，不言而喻，除了已经描述的部件之外的部件可以被添加到每个设备(或每个处理单元)的部件。此外，如果配置或操作与整个***基本相同，则特定设备(或特定处理单元)的部件的一部分可以被包括在另一设备(或另一处理单元)的部件中。
此外，例如，本技术能够采用云计算配置，其中，一个功能由多个设备经由网络共享并且协作地处理。
此外，例如，上述程序可以在任何设备中执行。在这种情况下，只要该设备具有必要的功能(例如，功能块)并且允许获取必要的信息就足够了。
此外，例如，不仅可以在一个设备中执行上述流程图中描述的各个步骤，而且可以将各个步骤分发给多个设备以供执行。此外，在一个步骤中包括多个处理的情况下，不仅可以在一个设备中执行一个步骤中包括的多个处理，而且可以将多个处理分发给多个设备以供执行。换言之，还可以执行一个步骤中包括的多个处理作为多个步骤的处理。相反，还可以将描述为多个步骤的处理作为一个步骤来共同执行。
应当注意，在要由计算机执行的程序中描述的步骤的处理可以以本说明书中描述的顺序按时间顺序执行，或者并行地执行，或者在必要的定时(例如，当调用处理时)处单独执行。即，只要不存在不一致性，则可以以与上述顺序不同的顺序执行各个步骤的处理。此外，描述该程序的步骤的处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。
应当注意，除非出现不一致，否则可以单独地且独立地执行本说明书中描述的多个本技术。当然，也可以组合地执行任意数量的多个本技术。例如，还可以结合在另一实施方式中描述的本技术的一部分或全部来执行在任何实施方式中描述的本技术的一部分或全部。此外，也还可以结合上面未描述的另一技术来执行上面描述的任何本技术的一部分或全部。
应当注意，本技术还能够采用以下配置。
(1)
一种图像处理装置，包括：
预测单元，其通过线性预测根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值来预测色度分量的像素值，并且生成所述色度分量的预测图像，其中，所述滤波器基于与所述色度分量的像素位置有关的信息和与颜色格式有关的信息来选择；以及
解码单元，其通过使用所述预测图像来对图像被编码的编码数据的色度分量进行解码，所述预测图像是由所述预测单元生成的。
(2)
根据(1)所述的图像处理装置，还包括滤波器选择单元，所述滤波器选择单元基于与所述色度分量的所述像素位置有关的信息和与颜色格式有关的信息来选择滤波器，所述滤波器改变所述亮度分量的所述参考图像的所述像素位置，其中，
所述预测单元被配置成通过线性预测根据通过使用所述滤波器改变了像素位置的所述亮度分量的所述参考图像的像素值来预测所述色度分量的像素值，并且生成所述色度分量的所述预测图像，所述滤波器由所述滤波器选择单元来选择。
(3)
根据(2)所述的图像处理装置，其中，所述滤波器选择单元选择候选组中的候选作为所述滤波器，所述候选组对应于多个颜色格式，所述候选对应于颜色格式和与所述色度分量的所述像素位置有关的信息，所述颜色格式包括通过与所述颜色格式有关的信息指定的格式。
(4)
根据(3)所述的图像处理装置，其中，
所述候选组包括与420格式的颜色格式对应的候选和与422格式的颜色格式对应的候选，并且
所述滤波器选择单元被配置成在与所述颜色格式有关的信息指定420格式的颜色格式的情况下，在支持所述420格式的颜色格式的候选之中选择也符合与所述色度分量的像素位置有关的信息的候选作为所述滤波器，并且在与所述颜色格式有关的信息指定422格式的颜色格式的情况下，在支持所述422格式的颜色格式的候选之中选择也符合与所述色度分量的像素位置有关的信息的候选作为所述滤波器。
(5)
根据(4)所述的图像处理装置，其中，
所述候选组还包括与444格式的颜色格式对应的候选，并且
所述滤波器选择单元被配置成在与所述颜色格式有关的信息指定444格式的颜色格式的情况下，在支持所述444格式的颜色格式的候选之中选择也符合与所述色度分量的像素位置有关的信息的候选作为所述滤波器。
(6)
根据(2)至(5)中任一项所述的图像处理装置，其中，所述滤波器选择单元基于所述线性预测模式信息、与所述色度分量的像素位置有关的信息以及与所述颜色格式有关的信息来选择所述滤波器，所述线性预测模式信息包括与所述线性预测的模式有关的信息。
(7)
根据(6)所述的图像处理装置，其中，所述滤波器选择单元选择与所述线性预测的多个模式对应的候选组中的候选作为所述滤波器，所述候选对应于由所述线性预测模式信息、与所述色度分量的像素位置有关的信息和与所述颜色格式有关的信息指定的模式。
(8)
根据(7)所述的图像处理装置，其中，
所述候选组包括与单类别模式对应的候选和与多类别模式对应的候选，并且
所述滤波器选择单元被配置成在所述线性预测模式信息将单类别模式指定为所述线性预测的模式的情况下，在支持所述单类别模式下的线性预测的候选之中选择也符合与所述色度分量的像素位置有关的信息和与所述颜色格式有关的信息的候选作为所述滤波器，并且在所述线性预测模式信息将所述多类别模式指定为所述线性预测的模式的情况下，在支持所述多类别模式下的线性预测的候选之中选择也符合与所述色度分量的像素位置有关的信息和与所述颜色格式有关的信息的候选作为所述滤波器。
(9)
根据(2)至(8)中任一项所述的图像处理装置，还包括滤波器处理单元，所述滤波器处理单元通过使用由所述滤波器选择单元选择的所述滤波器来改变所述亮度分量的所述参考图像的像素位置，其中，
所述预测单元被配置成通过线性预测根据位置被所述滤波器处理单元改变的所述亮度分量的所述参考图像的像素值来预测所述色度分量的像素值，并且生成所述色度分量的所述预测图像。
(10)
根据(9)所述的图像处理装置，其中，所述滤波器处理单元改变与要被处理的所述色度分量的块对应的亮度分量的并置块的像素位置，以及改变与所述并置块相邻的相邻像素的像素位置。
(11)
根据(10)所述的图像处理装置，还包括推导单元，所述推导单元基于像素位置被所述滤波器处理单元改变的所述亮度分量的相邻像素和与要被处理的所述色度分量的块相邻的相邻像素，来推导线性预测参数，所述线性预测参数包括用于线性预测的参数，其中，
所述预测单元被配置成通过使用由所述推导单元推导的所述线性预测参数来预测所述色度分量的像素值而执行所述线性预测，并且生成所述色度分量的预测图像。
(12)
根据(1)至(11)中任一项所述的图像处理装置，其中，
所述色度分量包括Cb分量和Cr分量，并且
所述图像处理装置还包括色度间残差预测部，所述色度间残差预测部通过使用Cb分量的并置块来校正所述Cr分量的所述预测图像，所述Cr分量的所述预测图像由所述预测单元生成，所述并置块与所述Cr分量的所述预测图像对应。
(13)
根据(12)所述的图像处理装置，还包括残差预测参数推导部，所述残差预测参数推导部基于与所述Cr分量的所述预测图像相邻的相邻像素和与所述Cb分量的所述并置块相邻的相邻像素来推导残差预测参数，所述残差预测参数包括用于校正所述Cr分量的所述预测图像的参数，其中，
所述色度间残差预测部通过使用由所述残差预测参数推导部推导的所述残差预测参数和所述Cb分量的所述并置块，来校正所述Cr分量的所述预测图像。
(14)
根据(1)至(13)中任一项所述的图像处理装置，其中，
所述解码单元获取与所述编码数据中包括的所述色度分量的像素位置有关的信息，并且
所述预测单元通过所述线性预测通过使用所述亮度分量的所述参考图像的像素值来生成所述色度分量的所述预测图像，所述亮度分量的像素位置基于与所述色度分量的像素位置有关的信息而改变，与所述色度分量的像素位置有关的所述信息由所述解码单元来获取。
(15)
根据(14)所述的图像处理装置，其中，
与所述色度分量的像素位置有关的信息包括色度样本位置类型标识符，所述色度样本位置类型标识符包括用于标识所述色度分量的像素位置的类型的标识符，并且
所述预测单元通过所述线性预测通过使用亮度分量的参考图像的像素值来生成所述色度分量的所述预测图像，所述亮度分量的所述参考图像的像素位置基于由所述色度样本位置类型标识符指示的像素位置的类型而改变。
(16)
根据(15)所述的图像处理装置，其中，
与所述色度分量的像素位置有关的信息包括指示所述色度分量的像素位置的类型是否具有初始值的信息，并且仅在所述色度分量的像素位置的类型不具有初始值的情况下，包括所述色度样本位置类型标识符，并且
所述预测单元通过所述线性预测通过使用亮度分量的参考图像的像素值来生成所述色度分量的所述预测图像，所述亮度分量的所述参考图像的像素位置基于由所述色度样本位置类型标识符指示的像素位置的初始值或类型而改变。
(17)
根据(14)至(16)中任一项所述的图像处理装置，其中，在与所述颜色格式有关的信息指定所述420格式的颜色格式或所述422格式的颜色格式的情况下，所述解码单元获取所述编码数据中包括的与所述色度分量的像素位置有关的信息。
(18)
根据(1)至(17)中任一项所述的图像处理装置，其中，所述解码单元获取指示是否执行分量间预测的分量间预测信息，所述分量间预测用于通过所述线性预测根据所述亮度分量的所述参考图像的像素值来预测所述色度分量的像素值，所述分量间预测信息被包括在所述编码数据中。
(19)
根据(18)所述的图像处理装置，其中，所述解码单元获取指示所述分量间预测信息是否有效的分量间预测有效信息，并且在所述分量间预测有效信息指示所述分量间预测信息有效的情况下，获取所述编码数据中包括的所述分量间预测信息，所述分量间预测有效信息被包括在所述编码数据中。
(20)
根据(18)或(19)所述的图像处理装置，其中，在所述分量间预测信息指示所述分量间预测被执行的情况下，所述解码单元获取包括与所述线性预测的模式有关的信息的所述线性预测模式信息，所述线性预测模式信息被包括在所述编码数据中。
(21)
根据(20)所述的图像处理装置，其中，在所述分量间预测信息指示所述分量间预测被执行并且要被处理的所述色度分量的块的大小落入预定范围内的情况下，所述解码单元获取所述编码数据中包括的所述线性预测模式信息。
(22)
根据(1)至(21)中任一项所述的图像处理装置，其中，所述解码单元获取色度间残差预测信息，所述色度间残差预测信息指示是否通过使用与Cr分量的预测图像对应的Cb分量的并置块来校正所述Cr分量的所述预测图像，所述色度间残差预测信息被包括在所述编码数据中。
(23)
根据(22)所述的图像处理装置，其中，所述解码单元获取指示所述色度间残差预测信息是否有效的色度间残差预测有效信息，并且在所述色度间残差预测有效信息指示所述色度间残差预测信息有效的情况下，获取所述编码数据中包括的所述色度间残差预测信息，所述色度间残差预测有效信息被包括在所述编码数据中。
(24)
根据(1)至(23)中任一项所述的图像处理装置，其中，所述滤波器包括使像素数量减少的下采样滤波器。
(25)
一种图像处理方法，包括：
通过线性预测根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值来预测色度分量的像素值，并且生成所述色度分量的预测图像，其中，所述滤波器基于与所述色度分量的像素位置有关的信息和与颜色格式有关的信息来选择；以及
通过使用所生成的预测图像来对图像被编码的编码数据的色度分量进行解码。
(31)
一种图像处理装置，包括：
预测单元，其通过线性预测根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值来预测色度分量的像素值，并且生成所述色度分量的预测图像，其中，所述滤波器基于与所述色度分量的像素位置有关的信息和与颜色格式有关的信息来选择；以及
编码单元，其通过使用所述预测图像来对图像的色度分量进行编码，所述预测图像是由所述预测单元生成的。
(32)
根据(31)所述的图像处理装置，还包括滤波器选择单元，所述滤波器选择单元基于与所述色度分量的所述像素位置有关的信息和与颜色格式有关的信息来选择滤波器，所述滤波器改变所述亮度分量的所述参考图像的所述像素位置，其中，
所述预测单元被配置成通过线性预测根据通过使用所述滤波器改变了像素位置的所述亮度分量的所述参考图像的像素值来预测所述色度分量的像素值，并且生成所述色度分量的所述预测图像，所述滤波器由所述滤波器选择单元来选择。
(33)
根据(32)所述的图像处理装置，其中，所述滤波器选择单元选择候选组中的候选作为所述滤波器，所述候选组对应于多个颜色格式，所述候选对应于颜色格式和与所述色度分量的所述像素位置有关的信息，所述颜色格式包括通过与所述颜色格式有关的信息指定的格式。
(34)
根据(33)所述的图像处理装置，其中，
所述候选组包括与420格式的颜色格式对应的候选和与422格式的颜色格式对应的候选，并且
所述滤波器选择单元被配置成在与所述颜色格式有关的信息指定420格式的颜色格式的情况下，在支持所述420格式的颜色格式的候选之中选择也符合与所述色度分量的像素位置有关的信息的候选作为所述滤波器，并且在与所述颜色格式有关的信息指定422格式的颜色格式的情况下，在支持所述422格式的颜色格式的候选之中选择也符合与所述色度分量的像素位置有关的信息的候选作为所述滤波器。
(35)
根据(34)所述的图像处理装置，其中，
所述候选组还包括与444格式的颜色格式对应的候选，并且
所述滤波器选择单元被配置成在与所述颜色格式有关的信息指定444格式的颜色格式的情况下，在支持所述444格式的颜色格式的候选之中选择也符合与所述色度分量的像素位置有关的信息的候选作为所述滤波器。
(36)
根据(32)至(35)中任一项所述的图像处理装置，其中，所述滤波器选择单元基于所述线性预测模式信息、与所述色度分量的像素位置有关的信息以及与所述颜色格式有关的信息来选择所述滤波器，所述线性预测模式信息包括与所述线性预测的模式有关的信息。
(37)
根据(36)所述的图像处理装置，其中，所述滤波器选择单元选择与所述线性预测的多个模式对应中的候选作为所述滤波器，所述候选对应于由所述线性预测模式信息、与所述色度分量的像素位置有关的信息和与所述颜色格式有关的信息指定的模式。
(38)
根据(37)所述的图像处理装置，其中，
所述候选组包括与单类别模式对应的候选和与多类别模式对应的候选，并且
所述滤波器选择单元被配置成在所述线性预测模式信息将单类别模式指定为所述线性预测的模式的情况下，在支持所述单类别模式下的线性预测的候选之中选择也符合与所述色度分量的像素位置有关的信息和与所述颜色格式有关的信息的候选作为所述滤波器，并且在所述线性预测模式信息将所述多类别模式指定为所述线性预测的模式的情况下，在支持所述多类别模式下的线性预测的候选之中选择也符合与所述色度分量的像素位置有关的信息和与所述颜色格式有关的信息的候选作为所述滤波器。
(39)
根据(32)至(38)中任一项所述的图像处理装置，还包括滤波器处理单元，所述滤波器处理单元通过使用由所述滤波器选择单元选择的所述滤波器来改变所述亮度分量的所述参考图像的像素位置，其中，
所述预测单元被配置成通过线性预测根据位置被所述滤波器处理单元改变的所述亮度分量的所述参考图像的像素值来预测所述色度分量的像素值，并且生成所述色度分量的所述预测图像。
(40)
根据(39)所述的图像处理装置，其中，所述滤波器处理单元改变与要被处理的所述色度分量的块对应的亮度分量的并置块的像素位置，以及改变与所述并置块相邻的相邻像素的像素位置。
(41)
根据(40)所述的图像处理装置，还包括推导单元，所述推导单元基于像素位置被所述滤波器处理单元改变的所述亮度分量的相邻像素和与要被处理的所述色度分量的块相邻的相邻像素，来推导线性预测参数，所述线性预测参数包括用于线性预测的参数，其中，
所述预测单元被配置成通过使用由所述推导单元推导的所述线性预测参数来预测所述色度分量的像素值而执行所述线性预测，并且生成所述色度分量的预测图像。
(42)
根据(31)至(41)中任一项所述的图像处理装置，其中，
所述色度分量包括Cb分量和Cr分量，并且
所述图像处理装置还包括色度间残差预测部，所述色度间残差预测部通过使用Cb分量的并置块来校正所述Cr分量的所述预测图像，所述Cr分量的所述预测图像由所述预测单元生成，所述并置块与所述Cr分量的所述预测图像对应。
(43)
根据(42)所述的图像处理装置，还包括残差预测参数推导部，所述残差预测参数推导部基于与所述Cr分量的所述预测图像相邻的相邻像素和与所述Cb分量的所述并置块相邻的相邻像素来推导残差预测参数，所述残差预测参数包括用于校正所述Cr分量的所述预测图像的参数，其中，
所述色度间残差预测部通过使用由所述残差预测参数推导部推导的所述残差预测参数和所述Cb分量的所述并置块，来校正所述Cr分量的所述预测图像。
(44)
根据(31)至(43)中任一项所述的图像处理装置，其中，所述编码单元将与所述色度分量的像素位置有关的信息添加到编码数据。
(45)
根据(44)所述的图像处理装置，其中，与所述色度分量的像素位置有关的信息包括色度样本位置类型标识符，所述色度样本位置类型标识符包括用于标识所述色度分量的像素位置的类型的标识符。
(46)
根据(45)所述的图像处理装置，其中，与所述色度分量的像素位置有关的信息包括指示所述色度分量的像素位置的类型是否具有初始值的信息，并且仅在所述色度分量的像素位置的类型不具有初始值的情况下，包括所述色度样本位置类型标识符。
(47)
根据(44)至(46)中任一项所述的图像处理装置，其中，在与所述颜色格式有关的信息指定所述420格式的颜色格式或所述422格式的颜色格式的情况下，所述编码单元将与所述色度分量的像素位置有关的信息添加到所述编码数据。
(48)
根据(31)至(47)中任一项所述的图像处理装置，其中，所述编码单元将分量间预测信息添加到编码数据，所述分量间预测信息指示是否执行分量间预测，所述分量间预测用于通过所述线性预测根据所述亮度分量的所述参考图像的像素值来预测所述色度分量的像素值。
(49)
根据(48)所述的图像处理装置，其中，所述编码单元将分量间预测有效信息添加到所述编码数据，并且在所述分量间预测有效信息指示所述分量间预测信息有效的情况下，将所述分量间预测信息添加到所述编码数据，所述分量间预测有效信息指示所述分量间预测信息是否有效。
(50)
根据(48)所述的图像处理装置，其中，在所述分量间预测信息指示所述分量间预测被执行的情况下，所述编码单元将所述线性预测模式信息添加到所述编码数据中，所述线性预测模式信息包括与所述线性预测的模式有关的信息。
(51)
根据(50)所述的图像处理装置，其中，在所述分量间预测信息指示所述分量间预测被执行并且要被处理的所述色度分量的块的大小落入预定范围内的情况下，所述编码单元将所述线性预测模式信息添加到所述编码数据。
(52)
根据(31)至(51)中任一项所述的图像处理装置，其中，所述编码单元将色度间残差预测信息添加到编码数据，所述色度间残差预测信息指示是否通过使用与Cr分量的预测图像对应的Cb分量的并置块来校正所述Cr分量的所述预测图像。
(53)
根据(52)所述的图像处理装置，其中，所述编码单元将色度间残差预测有效信息添加到所述编码数据，并且在所述色度间残差预测有效信息指示所述色度间残差预测信息有效的情况下，将所述色度间残差预测信息添加到所述编码数据，所述色度间残差预测有效信息指示所述色度间残差预测信息是否有效。
(54)
根据(31)至(53)中任一项所述的图像处理装置，其中，所述滤波器包括减少像素的数量的下采样滤波器。
(55)
一种图像处理方法，包括：
通过线性预测根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值来预测色度分量的像素值，并且生成所述色度分量的预测图像，其中，所述滤波器基于与所述色度分量的像素位置有关的信息和与颜色格式有关的信息来选择；以及
通过使用所生成的预测图像来对图像的色度分量进行编码。
附图标记列表
100图像解码装置，111解码单元，112逆量化单元，113逆变换单元，114预测单元，115计算单元，116帧存储器，117环路滤波器单元，121帧内预测部，122帧间预测部，131DC预测部，132平面预测部，133角度预测部，134CC预测部，141亮度/色度预测部，142Cb/Cr残差预测部，151缩小图像生成部，152预测参数推导部，153色度预测图像生成部，161下采样滤波器选择部，162亮度并置块像素组缩小部，163亮度并置相邻像素组缩小部，171残差预测参数推导部，172色度预测图像校正部，200图像编码装置，201控制单元，211预测单元，212计算单元，213变换单元，214量化单元，215逆量化单元，216逆变换单元，217计算单元，218帧存储器，219环路滤波器单元，220编码单元，231帧内预测部，232帧间预测部，233预测图像选择部，242Cb/Cr残差预测部。

Claims (20)

1.一种图像处理装置，包括：
预测单元，其根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像，所述滤波器基于关于所述色度分量的像素位置的信息和关于颜色格式的信息来选择；以及
解码单元，其通过使用由所述预测单元生成的所述预测图像来对图像被编码的编码数据的色度分量进行解码。
2.根据权利要求1所述的图像处理装置，还包括滤波器选择单元，所述滤波器选择单元基于关于所述色度分量的像素位置的信息和关于所述颜色格式的信息来选择改变亮度分量的参考图像的像素位置的滤波器，其中，
所述预测单元被配置成根据像素位置通过使用由所述滤波器选择单元选择的滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像。
3.根据权利要求2所述的图像处理装置，其中，所述滤波器选择单元选择候选组中的候选作为所述滤波器，所述候选组是与多个颜色格式对应的候选组，所述候选是对应于由关于所述颜色格式的信息指定的形式的颜色格式和关于所述色度分量的像素位置的信息的候选。
4.根据权利要求2所述的图像处理装置，其中，所述滤波器选择单元基于线性预测模式信息、关于所述色度分量的像素位置的信息和关于所述颜色格式的信息来选择所述滤波器，所述线性预测模式信息包括关于所述线性预测的模式的信息。
5.根据权利要求2所述的图像处理装置，还包括滤波器处理单元，所述滤波器处理单元通过使用由所述滤波器选择单元选择的滤波器来改变所述亮度分量的参考图像的像素位置，其中，
所述预测单元被配置成根据位置被所述滤波器处理单元改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像。
6.根据权利要求1所述的图像处理装置，其中，
所述色度分量包括Cb分量和Cr分量，并且
所述图像处理装置还包括色度间残差预测部，所述色度间残差预测部通过使用Cb分量的并置块来校正Cr分量的预测图像，所述Cr分量的预测图像由所述预测单元生成，所述并置块与所述Cr分量的预测图像对应。
7.根据权利要求1所述的图像处理装置，其中，
所述解码单元获取所述编码数据中包括的关于所述色度分量的像素位置的信息，并且
所述预测单元通过使用像素位置基于由所述解码单元获取的关于所述色度分量的像素位置的信息而改变的亮度分量的参考图像的像素值、通过所述线性预测来生成色度分量的预测图像。
8.根据权利要求1所述的图像处理装置，其中，所述解码单元获取所述编码数据中包括的色度间残差预测信息，所述色度间残差预测信息指示是否通过使用与Cr分量的预测图像对应的Cb分量的并置块来校正所述Cr分量的预测图像。
9.根据权利要求8所述的图像处理装置，其中，所述解码单元获取所述编码数据中包括的指示所述色度间残差预测信息是否有效的色度间残差预测有效信息，并且在所述色度间残差预测有效信息指示所述色度间残差预测信息有效的情况下，获取所述编码数据中包括的所述色度间残差预测信息。
10.一种图像处理方法，包括：
根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像，所述滤波器基于关于所述色度分量的像素位置的信息和关于颜色格式的信息来选择；以及
通过使用所生成的所述预测图像来对图像被编码的编码数据的色度分量进行解码。
11.一种图像处理装置，包括：
预测单元，其根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像，所述滤波器基于关于所述色度分量的像素位置的信息和关于颜色格式的信息来选择；以及
编码单元，其通过使用由所述预测单元生成的所述预测图像来对图像的色度分量进行编码。
12.根据权利要求11所述的图像处理装置，还包括滤波器选择单元，所述滤波器选择单元基于关于所述色度分量的像素位置的信息和关于所述颜色格式的信息来选择改变亮度分量的参考图像的像素位置的滤波器，其中，
所述预测单元被配置成根据像素位置通过使用由所述滤波器选择单元选择的滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像。
13.根据权利要求12所述的图像处理装置，其中，所述滤波器选择单元选择候选组中的候选作为所述滤波器，所述候选组是与多个颜色格式对应的候选组，所述候选是对应于由关于所述颜色格式的信息指定的形式的颜色格式和关于所述色度分量的像素位置的信息的候选。
14.根据权利要求12所述的图像处理装置，其中，所述滤波器选择单元基于线性预测模式信息、关于所述色度分量的像素位置的信息和关于所述颜色格式的信息来选择所述滤波器，所述线性预测模式信息是关于所述线性预测的模式的信息。
15.根据权利要求12所述的图像处理装置，还包括滤波器处理单元，所述滤波器处理单元通过使用由所述滤波器选择单元选择的滤波器来改变亮度分量的参考图像的像素位置，其中，
所述预测单元被配置成根据位置被所述滤波器处理单元改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像。
16.根据权利要求11所述的图像处理装置，其中，
所述色度分量包括Cb分量和Cr分量，并且
所述图像处理装置还包括色度间残差预测部，所述色度间残差预测部通过使用Cb分量的并置块来校正Cr分量的预测图像，所述Cr分量的预测图像由所述预测单元生成，所述并置块与所述Cr分量的预测图像对应。
17.根据权利要求11所述的图像处理装置，其中，所述编码单元将关于所述色度分量的像素位置的信息添加到编码数据。
18.根据权利要求11所述的图像处理装置，其中，所述编码单元将色度间残差预测信息添加到编码数据，所述色度间残差预测信息指示是否通过使用与Cr分量的预测图像对应的Cb分量的并置块来校正所述Cr分量的预测图像。
19.根据权利要求18所述的图像处理装置，其中，所述编码单元将色度间残差预测有效信息添加到所述编码数据，并且在所述色度间残差预测有效信息指示所述色度间残差预测信息有效的情况下，将所述色度间残差预测信息添加到所述编码数据，所述色度间残差预测有效信息指示所述色度间残差预测信息是否有效。
20.一种图像处理方法，包括：
根据像素位置通过使用滤波器而改变的亮度分量的参考图像的像素值、通过线性预测来预测色度分量的像素值，并且生成色度分量的预测图像，所述滤波器基于关于所述色度分量的像素位置的信息和关于颜色格式的信息来选择；以及
通过使用所生成的所述预测图像来对图像的色度分量进行编码。
CN201880058135.XA 2017-09-15 2018-08-31 图像处理装置和方法 Active CN111095933B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017177379 2017-09-15
JP2017-177379 2017-09-15
PCT/JP2018/032324 WO2019054200A1 (ja) 2017-09-15 2018-08-31 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN111095933A true CN111095933A (zh) 2020-05-01
CN111095933B CN111095933B (zh) 2022-05-13

Family

ID=65722783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880058135.XA Active CN111095933B (zh) 2017-09-15 2018-08-31 图像处理装置和方法

Country Status (10)

Country Link
US (3) US11070824B2 (zh)
EP (1) EP3684055A4 (zh)
JP (1) JP7167923B2 (zh)
KR (1) KR20200051596A (zh)
CN (1) CN111095933B (zh)
AU (1) AU2018334351B2 (zh)
BR (1) BR112020004557A2 (zh)
CA (1) CA3075641A1 (zh)
RU (1) RU2020109859A (zh)
WO (1) WO2019054200A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915673A (zh) * 2020-07-22 2020-11-10 深圳云天励飞技术有限公司 图像处理方法、装置、终端设备及存储介质
CN117528098A (zh) * 2024-01-08 2024-02-06 北京小鸟科技股份有限公司 基于深压缩码流提升画质的编解码***、方法及设备

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11197005B2 (en) * 2018-11-08 2021-12-07 Qualcomm Incorporated Cross-component prediction for video coding
CN113170169B (zh) * 2018-12-07 2024-01-30 夏普株式会社 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN113424533A (zh) 2019-02-14 2021-09-21 北京字节跳动网络技术有限公司 复杂度降低的解码器侧运动推导
KR20210125086A (ko) * 2019-02-22 2021-10-15 후아웨이 테크놀러지 컴퍼니 리미티드 선형 모델을 사용한 인트라 예측을 위한 방법 및 장치
US11516512B2 (en) * 2019-03-04 2022-11-29 Alibaba Group Holding Limited Method and system for processing video content
CN113545049B (zh) 2019-03-08 2024-04-19 北京字节跳动网络技术有限公司 视频处理中对基于模型的整形的约束
US11451826B2 (en) * 2019-04-15 2022-09-20 Tencent America LLC Lossless coding mode and switchable residual coding
WO2020224629A1 (en) * 2019-05-08 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
CN117692630A (zh) 2019-05-11 2024-03-12 北京字节跳动网络技术有限公司 视频处理中编解码工具的选择性使用
CN110784712B (zh) * 2019-06-21 2021-05-11 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及存储介质
CN113994697A (zh) 2019-06-22 2022-01-28 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
KR102660738B1 (ko) 2019-07-07 2024-04-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링의 시그널링
KR20220073752A (ko) * 2019-10-12 2022-06-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩 툴들을 위한 상위 레벨 신택스
WO2021110116A1 (en) * 2019-12-04 2021-06-10 Beijing Bytedance Network Technology Co., Ltd. Prediction from multiple cross-components
CN114788278A (zh) * 2019-12-08 2022-07-22 抖音视界(北京)有限公司 使用多个分量的跨分量预测
US11463688B2 (en) 2019-12-09 2022-10-04 Qualcomm Incorporated Joint chroma residual video coding
CN115176468A (zh) 2020-02-03 2022-10-11 抖音视界有限公司 跨分量自适应环路滤波器
CN113497937B (zh) * 2020-03-20 2023-09-05 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2022114768A1 (ko) * 2020-11-24 2022-06-02 현대자동차주식회사 성분 간 참조를 이용하는 잔차신호 생성방법과 장치
CN115118982B (zh) * 2022-06-24 2024-05-24 腾讯科技（深圳）有限公司 一种视频处理方法、设备、存储介质及计算机程序产品
US20240015279A1 (en) * 2022-07-11 2024-01-11 Tencent America LLC Mixed-model cross-component prediction mode

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188153A1 (en) * 2005-02-22 2006-08-24 Texas Instruments Incorporated System and method for local saturation adjustment
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
WO2012175646A1 (en) * 2011-06-22 2012-12-27 Canon Kabushiki Kaisha Method and device for processing colour information in an image
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
WO2016115736A1 (en) * 2015-01-23 2016-07-28 Mediatek Singapore Pte. Ltd. Additional intra prediction modes using cross-chroma-component prediction
WO2017058635A1 (en) * 2015-09-29 2017-04-06 Qualcomm Incorporated Improved video intra-prediction using position-dependent prediction combination for video coding
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
RU2477577C2 (ru) 2008-04-10 2013-03-10 Квэлкомм Инкорпорейтед Подобная интерполяции фильтрация положений целочисленных пикселей при видеокодировании
KR101341993B1 (ko) * 2010-10-06 2013-12-16 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
JP5586061B2 (ja) 2010-10-27 2014-09-10 Ｋｄｄｉ株式会社 色コンポーネント間予測型画像符号化装置および復号装置
US9674521B2 (en) * 2011-06-28 2017-06-06 Samsung Electronics Co., Ltd. Prediction method and apparatus for chroma component of image using luma component of image
EP2777250B1 (en) 2011-11-07 2017-05-31 Intel Corporation Cross-channel residual prediction
TWI523497B (zh) * 2011-11-10 2016-02-21 Sony Corp Image processing apparatus and method
US9537793B2 (en) 2012-10-10 2017-01-03 Cisco Technology, Inc. Ensuring any-to-any reachability with opportunistic layer 3 forwarding in massive scale data center environments
JP6666042B2 (ja) 2016-03-28 2020-03-13 キヤノン株式会社 画像形成装置及び画像形成装置の補正方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060188153A1 (en) * 2005-02-22 2006-08-24 Texas Instruments Incorporated System and method for local saturation adjustment
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
WO2012175646A1 (en) * 2011-06-22 2012-12-27 Canon Kabushiki Kaisha Method and device for processing colour information in an image
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关
WO2016115736A1 (en) * 2015-01-23 2016-07-28 Mediatek Singapore Pte. Ltd. Additional intra prediction modes using cross-chroma-component prediction
WO2017058635A1 (en) * 2015-09-29 2017-04-06 Qualcomm Incorporated Improved video intra-prediction using position-dependent prediction combination for video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
EDOUARD FRANCOIS: "Non-CE6a: Use of chroma phase in LM mode", 《JCT-VC》 *
JIANLE CHEN: "Algorithm Description of Joint Exploration Test Model 7", 《JEVT》 *
沈燕飞: "高效视频编码", 《计算机学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915673A (zh) * 2020-07-22 2020-11-10 深圳云天励飞技术有限公司 图像处理方法、装置、终端设备及存储介质
CN117528098A (zh) * 2024-01-08 2024-02-06 北京小鸟科技股份有限公司 基于深压缩码流提升画质的编解码***、方法及设备
CN117528098B (zh) * 2024-01-08 2024-03-26 北京小鸟科技股份有限公司 基于深压缩码流提升画质的编解码***、方法及设备

Also Published As

Publication number Publication date
EP3684055A1 (en) 2020-07-22
RU2020109859A3 (zh) 2021-12-13
RU2020109859A (ru) 2021-09-07
US11695941B2 (en) 2023-07-04
JP7167923B2 (ja) 2022-11-09
WO2019054200A1 (ja) 2019-03-21
EP3684055A4 (en) 2020-07-22
CN111095933B (zh) 2022-05-13
AU2018334351B2 (en) 2022-09-15
US20210281864A1 (en) 2021-09-09
CA3075641A1 (en) 2019-03-21
KR20200051596A (ko) 2020-05-13
AU2018334351A1 (en) 2020-03-26
US11070824B2 (en) 2021-07-20
US20230291916A1 (en) 2023-09-14
JPWO2019054200A1 (ja) 2020-10-22
BR112020004557A2 (pt) 2020-09-08
US20210092413A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN111095933B (zh) 图像处理装置和方法
AU2022203068B2 (en) Apparatus and method for image processing
US20200304790A1 (en) Image processing apparatus and method
US11997316B2 (en) Image processing apparatus and method for curbing deterioration in coding efficiency
US11354824B2 (en) Image processing apparatus and method
US11272180B2 (en) Image processing apparatus and method
EP2843951B1 (en) Image processing device and image processing method
KR20190062420A (ko) 화상 처리 장치 및 화상 처리 방법
JPWO2015005367A1 (ja) 画像復号装置および方法
US20200162735A1 (en) Image processing apparatus and method
AU2017393148A1 (en) Image processing device and image processing method
US10893269B2 (en) Image processing device and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant