CN103327328B - 图像编码装置以及图像解码装置 - Google Patents

图像编码装置以及图像解码装置 Download PDF

Info

Publication number
CN103327328B
CN103327328B CN201310219405.XA CN201310219405A CN103327328B CN 103327328 B CN103327328 B CN 103327328B CN 201310219405 A CN201310219405 A CN 201310219405A CN 103327328 B CN103327328 B CN 103327328B
Authority
CN
China
Prior art keywords
coding
color component
prediction
mentioned
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310219405.XA
Other languages
English (en)
Other versions
CN103327328A (zh
Inventor
关口俊
关口俊一
山岸秀
山岸秀一
守屋芳美
山田悦久
浅井光太郎
村上笃道
出原优
出原优一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN103327328A publication Critical patent/CN103327328A/zh
Application granted granted Critical
Publication of CN103327328B publication Critical patent/CN103327328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种图像编码装置以及图像解码装置。具备：颜色成分分离部，针对每个颜色成分分离输入比特流；块分割部，将输入颜色成分信号分割成利用编码块尺寸指示信息决定的尺寸的块，生成编码单位区域的信号；预测图像生成部，与表示预测图像生成方法的一个以上的预测模式对应地生成针对编码单位区域的信号的预测图像；判定部，根据从预测图像生成部中输出的预测图像的预测效率，判定编码中使用的预测模式；预测误差编码部，对和利用判定部决定的预测模式对应的预测图像与输入颜色成分信号的差分进行编码；以及编码部，对预测模式、预测误差编码部的输出、以及通过颜色成分分离来表示属于哪个颜色成分的颜色成分识别标志进行可变长编码。

Description

图像编码装置以及图像解码装置
本申请是申请号为200880102645.9（PCT/JP2008/061556）、申请日为2008年6月25日（递交日为2010年2月9日）、发明名称为“图像编码装置以及图像解码装置”的发明专利申请的分案申请。
技术领域
本发明涉及图像压缩编码技术、压缩图像数据传送技术等中使用的数字图像信号编码装置、数字图像信号解码装置、数字图像信号编码方法、以及数字图像信号解码方法。
背景技术
以往，在MPEG、ITU－T H.26x等国际标准影像编码方式中，主要以使用被称为4:2:0格式的被标准化的输入信号格式为前提。4:2:0是指，将RGB等彩色运动图像信号变换成亮度成分（Y）与两个色差成分（Cb、Cr），将水平·垂直的色差成分的样本数都削减成亮度成分的一半的格式。色差成分由于与亮度成分相比视觉辨认性降低，所以在MPEG－4AVC（ISO/IEC14496－10）/ITU－T H.264标准（以下AVC）（非专利文献1）那样的以往的国际标准影像编码方式中，以通过在这样进行编码之前进行色差成分的降采样（downsampling）而削减编码对象的原始信息量为前提。另一方面，伴随近年来的视频显示器的高分辨率化、高灰度化，并且，以将数字电影等内容制作时的颜色表现在上映时正确地再现为目的，研究着不对色差成分进行降采样而通过与亮度成分相同的样本进行编码的方式。亮度成分与色差成分完全相同的样本数的格式被称为4:4:4格式。在MPEG－4AVC（ISO/IEC14496－10）/ITU－TH.264标准（以下AVC）中，作为将4:4:4格式为输入的编码方式，策划了“高4:4:4类”。作为适合于该目的的方式，有JPEG2000（ISO/IEC15444）标准（非专利文献2）那样的标准方式。如图10所示，在以往的4:2:0格式中，由于以色差成分的降采样为前提，所以仅限于Y、Cb、Cr这样的颜色空间定义，相对于此，在4:4:4格式中，由于在颜色成分间没有样本比的区分，所以除了Y、Cb、Cr以外，还可以直接使用R、G、B、或利用其他多个颜色空间定义。在使用了4:2:0格式的影像编码方式中，由于其颜色空间被决定成Y、Cb、Cr，所以在编码处理中无需考虑颜色空间的种类，但在上述AVC高4:4:4类中，成为颜色空间定义对编码处理本身造成影响的方式。另一方面，在当前的高4:4:4类中，考虑与将在Y、Cb、Cr空间中定义的4:2:0格式设为编码对象的其他类的互换性，所以无法说是将4:4:4格式的压缩效率设为最佳的设计。
【非专利文献1】MPEG－4AVC（ISO/IEC14496－10）/ITU－T H.264标准
【非专利文献2】JPEG2000（ISO/IEC15444）标准
发明内容
例如，在将AVC的4:2:0格式设为编码对象的高4:2:0类中，在由亮度成分16×16像素构成的宏块区域中，在对应的色差成分中，Cb、Cr都分别成为8×8像素块。在高4:2:0类中的运动补偿预测中，仅针对亮度成分，对成为运动补偿预测的单位的块尺寸信息与预测中使用的参照图像信息、各块的每一个的运动矢量信息进行多路复用，对于色差成分，使用与亮度成分相同的信息来进行运动补偿预测。在这样的方式中，根据与4:2:0格式对图像的结构（纹理（texture））的表现较大地贡献的亮度成分相比，色差成分的贡献更小这样的颜色空间定义的前提而成立。但是，在当前的高4:4:4类中，即使每个宏块的色差信号的块尺寸被扩展成16×16像素的状态下，也仅成为将4:2:0格式的色差用帧内预测模式（intraprediction mode）单纯地扩展的方式，并且，与4:2:0格式时同样地，将一个成分视为亮度成分，并非仅多路复用一个成分的信息而通过三个成分中共同的帧间预测模式（interprediction mode）、参照图像信息以及运动矢量信息来进行运动补偿预测，在图像信号的结构表现时，在各颜色成分等同地贡献的4:4:4格式中未必是最佳的预测方法。
本发明的目的在于提供一种编码装置、解码装置、编码方法、解码方法、以及执行它们的程序和记录有这些程序的记录介质，在对如上述以往技术所述，如4:4:4格式那样的在颜色成分间没有样本比的区分的运动图像信号进行编码时，提高了最佳性。
本发明的图像编码装置是输入由多个颜色成分构成的彩色运动图像信号，将该彩色运动图像信号针对各颜色成分的每一个分割成规定的编码单位区域，选择性地应用画面内编码或运动补偿预测编码，从而对上述彩色运动图像信号进行数字压缩的图像编码装置，具备：颜色成分分离部，针对每个上述颜色成分分离输入比特流；块分割部，将输入颜色成分信号分割成利用编码块尺寸指示信息决定的尺寸的块，生成上述编码单位区域的信号；预测图像生成部，与表示预测图像生成方法的一个以上的预测模式对应地，生成针对上述编码单位区域的信号的预测图像；判定部，根据从该预测图像生成部中输出的预测图像的预测效率，判定编码中使用的预测模式；预测误差编码部，对和利用该判定部决定的预测模式对应的预测图像与上述输入颜色成分信号的差分进行编码；以及编码部，对上述预测模式、预测误差编码部的输出、以及通过上述颜色成分分离来表示属于哪个颜色成分的颜色成分识别标志进行可变长编码，上述编码部将上述编码块尺寸指示信息、以及针对各编码单位区域的每一个的上述预测模式、对预测误差进行编码而得到的信息多路复用在比特流中。
根据本发明的图像编码装置、图像解码装置，可以构成为在进行不限于Y、Cb、Cr等固定的颜色空间而利用多样的颜色空间的编码的情况下，可以灵活地选择各颜色成分中使用的帧内预测模式信息、帧间预测模式信息，在颜色空间的定义涉及多种的情况下也可以进行最佳的编码处理。
附图说明
图1是示出实施方式1中的影像编码装置的结构的说明图。
图2是示出实施方式1中的影像解码装置的结构的说明图。
图3是说明由图1的空间预测部2评价的帧内4×4预测模式的预测图像生成方法的说明图。
图4是说明由图1的空间预测部2评价的帧内16×16预测模式的预测图像生成方法的说明图。
图5是说明在图1的影像编码装置中进行的帧内预测模式判定处理的步骤的流程图。
图6是示出从实施方式1中的影像编码装置中输出的视频比特流的数据排列的说明图。
图7是说明在图2的影像解码装置中进行的帧内预测解码处理的步骤的流程图。
图8是示出从实施方式1中的影像编码装置中输出的视频比特流的其他数据排列的形式的说明图。
图9是说明AVC标准中的色差成分对应帧内预测模式的预测图像生成方法的说明图。
图10是说明以往与现在的宏块的说明图。
图11是示出实施方式2中的影像编码装置的结构的说明图。
图12是示出实施方式2中的影像解码装置的结构的说明图。
图13是说明由图11的空间预测部2评价的帧内8×8预测模式的预测图像生成方法的说明图。
图14是说明在图11的影像编码装置中进行的帧内编码模式判定处理的步骤的流程图。
图15是示出从实施方式2中的影像编码装置中输出的视频比特流的数据排列的说明图。
图16是示出从实施方式2中的影像编码装置中输出的视频比特流的其他数据排列的说明图。
图17是说明在图12的影像解码装置中进行的帧内预测解码处理的步骤的流程图。
图18是说明实施方式3中的C0成分的帧内预测模式编码处理的参数的说明图。
图19是说明实施方式3中的C1成分的帧内预测模式编码处理的参数的说明图。
图20是说明实施方式3中的C2成分的帧内预测模式编码处理的参数的说明图。
图21是示出实施方式3中的帧内预测模式编码处理的流程的流程图。
图22是示出实施方式3中的帧内预测模式编码处理的其他流程的流程图。
图23是示出实施方式3中的帧内预测模式解码处理的流程的流程图。
图24是示出从实施方式4中的影像编码装置中输出的视频比特流的其他数据排列的说明图。
图25是示出实施方式5中的帧内预测模式编码处理的其他流程的流程图。
图26是示出实施方式5中的表化的预测值设定的规则的说明图。
图27是示出实施方式6中的编码步骤的流程图。
图28是示出实施方式6中的CurrIntraPredMode的二值序列结构的说明图。
图29是示出实施方式6中的CurrIntraPredMode的其他二值序列结构的说明图。
图30是示出实施方式7中的影像编码装置的结构的说明图。
图31是示出实施方式7中的影像解码装置的结构的说明图。
图32是示出宏块的单位的说明图。
图33是示出实施方式7中的帧间预测模式判定处理的流程的流程图。
图34是示出从实施方式7中的影像编码装置中输出的视频流的数据排列的说明图。
图35是示出由实施方式7中的可变长解码部25进行的处理的流程的流程图。
图36是示出从实施方式7中的影像编码装置中输出的视频流的其他数据排列的说明图。
图37是示出从实施方式7中的影像编码装置中输出的视频流的其他数据排列的说明图。
图38是示出实施方式8中的帧间预测模式判定处理的流程的流程图。
图39是示出实施方式8中的宏块的级别中的比特流的数据排列的说明图。
图40是示出实施方式8中的帧间预测图像生成处理的流程的流程图。
图41是示出实施方式8中的宏块的级别中的比特流的其他数据排列的说明图。
图42是示出实施方式8中的宏块的级别中的比特流的其他数据排列的说明图。
图43是示出实施方式9中的帧间预测模式判定处理的流程的流程图。
图44是示出实施方式9中的帧间预测图像生成处理的流程的流程图。
图45是示出运动矢量编码部的结构的说明图。
图46是示出运动矢量编码部的动作的说明图。
图47是示出运动矢量解码部的结构的说明图。
图48是示出比特流语法（syntax）的样子的说明图。
图49是示出实施方式11中的宏块编码数据的结构的说明图。
图50是示出实施方式11中的图49中的Cn成分标题信息的编码数据的详细结构的说明图。
图51是示出实施方式11中的宏块编码数据的其他结构的说明图。
图52是示出实施方式11中的比特流的结构的说明图。
图53是示出实施方式11中的切片（slice）的结构的说明图。
图54是示出与实施方式12中的可变长编码部11的算术编码处理相关的内部结构的说明图。
图55是示出实施方式12中的可变长编码部11的算术编码处理的流程的流程图。
图56是示出实施方式12中的图55中的步骤S162的处理的详细流程的说明图。
图57是示出上下文模型（ctx，context model）的概念的说明图。
图58是示出与宏块的运动矢量相关的上下文模型的例子的说明图。
图59是示出与实施方式12中的可变长解码部25的算术解码处理相关的内部结构的说明图。
图60是示出实施方式12中的可变长解码部25的算术解码处理的流程的流程图。
图61是示出实施方式12中的上下文模型11f的说明图。
图62是示出实施方式12中的当前宏块的模式的差异的说明图。
图63是示出实施方式13中的编码装置·解码装置的结构的说明图。
图64是示出实施方式13中的影像编码装置的结构的说明图。
图65是示出实施方式13中的影像解码装置的结构的说明图。
图66是示出实施方式14中的共同编码处理的说明图。
图67是示出实施方式14中的独立编码处理的说明图。
图68是示出实施方式14的编码装置·解码装置中的图片间的时间方向的运动预测参照关系的说明图。
图69是示出由实施方式14的编码装置生成的、由实施方式14的解码装置作为输入·解码处理的对象的比特流的结构的一个例子的说明图。
图70是示出共同编码处理、独立编码处理各自的情况的切片数据的比特流结构的说明图。
图71是示出实施方式14的编码装置的概略结构的说明图。
图72是示出减小编码装置侧的处理延迟的样子的说明图。
图73是示出第一图片编码部的内部结构的说明图。
图74是示出第二图片编码部的内部结构的说明图。
图75是示出实施方式14的解码装置的概略结构的说明图。
图76是示出第一图片解码部的内部结构的说明图。
图77是示出第二图片解码部的内部结构的说明图。
图78是示出实施了颜色空间变换处理的第一图片编码部的内部结构的说明图。
图79是示出实施了颜色空间变换处理的第一图片编码部的内部结构的说明图。
图80是示出实施了逆颜色空间变换处理的第一图片编码部的内部结构的说明图。
图81是示出实施了逆颜色空间变换处理的第一图片编码部的内部结构的说明图。
图82是示出以往的YUV4:2:0格式的比特流中包含的宏块标题信息的编码数据的结构的说明图。
图83是示出确保针对以往的YUV4:2:0格式的比特流的互换性的第一图片解码部的预测部461的内部结构的说明图。
图84是示出实施方式15中的多路复用的编码数据的比特流的结构的说明图。
图85是示出由AUD NAL单元开始的访问单元（access unit）内的图片数据被编码时的图片编码类型的信息的说明图。
图86是示出实施方式15中的多路复用的编码数据的比特流的结构的说明图。
图87是示出实施方式16的编码装置的概略结构的说明图。
图88是示出图片编码部的内部结构的说明图。
图89是示出针对每个色差成分使用不同的块尺寸的情况的说明图。
图90是示出宏块的单位的说明图。
图91是示出来自图片编码部的输出即视频流的数据排列的说明图。
图92是示出实施方式16的解码装置的概略结构的说明图。
图93是示出解码部的内部结构的说明图。
图94是示出半像素预测像素的生成方法的说明图。
图95是仅示出1/4像素MC时的半像素预测像素的生成方法的水平处理的说明图。
图96是示出实施方式17的编码装置的概略结构的说明图。
图97是示出来自图片编码部的输出即视频流的数据排列的说明图。
图98是示出实施方式17的解码装置的概略结构的说明图。
具体实施方式
实施方式1
在本实施方式1中，说明按照将以4:4:4格式输入的影像帧均等分割成16×16像素的矩阵区域（宏块）的单位，在帧之内进行封闭的编码的编码装置、以及对应的解码装置。另外，本编码装置、解码装置以非专利文献1即MPEG－4AVC（ISO/IEC14496－10）/ITU－TH.264标准中采用的编码方式为基础，并赋予了本发明固有的特征。另外，以下，在所有实施方式中，宏块无需限定于帧图像的16×16像素，例如既可以如交错信号（interlaced signal）的情况那样，将场设为编码单位的画面的情形下，将场图像的16×16像素块设为宏块，也可以根据作为帧图像进行宏块编码、还是作为场图像进行宏块编码，而一边适应性地变更宏块的块尺寸，一边进行编码。
图1示出本实施方式1中的影像编码装置的结构，图2示出本实施方式1中的影像解码装置的结构。在图2中，附加了与图1的编码装置的结构要素相同标号的要素表示同一要素。
以下，根据这些图，对编码装置以及解码装置整体的动作、以及本实施方式1的特征性的动作即帧内预测模式判定处理以及帧内预测解码处理进行说明。
1．编码装置的动作概要
在图1的编码装置中，对于输入影像信号1，按照4:4:4格式输入各个影像帧。关于所输入的影像帧，如图10所示，按照将三个颜色成分分割成同一尺寸的16像素×16像素的块并汇总而得到的宏块单位，向编码装置输入。
首先，在空间预测部2中，使用存储在存储器16中的局部解码图像15，按照该宏块的单位，针对各颜色成分的每一个，进行帧内预测处理。针对各颜色成分的每一个，准备三个存储器（在本实施方式中说明为三个，但也可以根据设计而适宜地变更）。在帧内预测的模式中，有：按照图3所示的4像素×4线的块的单位，进行使用了其周边像素的空间预测的帧内4×4预测模式；按照图4所示的16像素×16线的宏块的单位，进行使用了其周边像素的空间预测的帧内16×16预测模式。
（a）帧内4×4预测模式
将宏块内的亮度信号16×16像素块分割成由4×4像素块构成的16个块，按照4×4像素块单位，选择图3所示的9个模式中的某一个。将已经结束编码并进行局部解码处理而存储在存储器16中的周围的块（左上、上、右上、左）的像素用于预测图像生成中。
Intra4×4_pred_mode＝0:将邻接的上部的像素原样地用作预测图像。
Intra4×4_pred_mode＝1:将邻接的左部的像素原样地用作预测图像。
Intra4×4_pred_mode＝2:将邻接的8个像素的平均值用作预测图像。
Intra4×4_pred_mode＝3:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于右45度边缘（edge））。
Intra4×4_pred_mode＝4:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左45度边缘）。
Intra4×4_pred_mode＝5:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左22.5度边缘）。
Intra4×4_pred_mode＝6:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左67.5度边缘）。
Intra4×4_pred_mode＝7:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于右22.5度边缘）。
Intra4×4_pred_mode＝8:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左112.5度边缘）。
在选择帧内4×4预测模式的情况下，需要16个针对每个宏块的模式信息。因此，为了削减模式信息自身的代码量，对于模式信息，利用与邻接的块间的相关高的情况，根据邻接的块的模式信息，进行预测编码。
（b）帧内16×16预测模式
是一次性预测与宏块尺寸相当的16×16像素块的模式，按照宏块单位，选择图4所示的四个模式中的某一个。与帧内4×4预测模式同样地，将已经结束编码并进行局部解码处理而存储在存储器16中的周围的宏块（左上、上、左）的像素用于预测图像生成中。
Intra16×16_pred_mode＝0:将上宏块的最下边的16个像素用作预测图像。
Intra16×16_pred_mode＝1:将左宏块的最右边的16个像素用作预测图像。
Intra16×16_pred_mode＝2:将上宏块的最下边的16个像素（图4的A部分）与左宏块的最左边的16个像素（图4的B部分）这合计32个像素的平均值用作预测图像。
Intra16×16_pred_mode＝3:使用左上的宏块的右下角的像素、上宏块的最下边的15个像素（除了涂白像素的部分）、左宏块的最右边的15个像素（除了涂白像素的部分）这合计31个像素，通过规定的运算处理（与使用的像素和预测的像素位置对应的加权加法处理），得到预测图像。
本实施方式1中的影像编码装置的特征在于，根据帧内预测模式共同化识别标志23，切换针对三个颜色成分的帧内预测处理方法。对于该点，在下记2中详述。
在空间预测部2中，对图3、图4所示的所有模式或子集合，执行预测处理，利用减法器3，得到预测差分信号4。预测差分信号4在编码模式判定部5中被评价其预测效率，将由空间预测部2执行的预测处理中、对预测对象的宏块得到最佳的预测效率的预测模式，作为编码模式6而输出。此处，编码模式6包括判别使用帧内4×4预测模式、还是使用帧内16×16预测模式的判别信息（相当于图6的帧内编码模式），并且还包括在每个预测单位区域中使用的各个预测模式信息（上述Intra4×4_pred_mode或Intra16×16_pred_mode）。预测单位区域在帧内4×4预测模式的情况下相当于4×4像素块，在帧内16×16预测模式的情况下相当于16×16像素块。在选定编码模式6时，还有时加入通过编码控制部19的判断决定的针对各编码模式的权重系数20。向正交变换部8输出在编码模式判定部5中使用编码模式6得到的最佳的预测差分信号4。正交变换部8对输入的预测差分信号4进行变换，作为正交变换系数而输出给量化部9。量化部9针对输入的正交变换系数，根据利用编码控制部19决定的量化参数21，进行量化，作为量化结束变换系数10而输出给可变长编码部11。在可变长编码部11中，利用哈夫曼编码、算术编码等手段，对量化结束变换系数10进行熵编码。另外，量化结束变换系数10经由逆量化部12、逆正交变换部13被还原成局部解码预测差分信号14，利用加法器18与根据编码模式6生成的预测图像7进行加法运算，从而生成局部解码图像15。为了用于以后的帧内预测处理，而向存储器16存储局部解码图像15。另外，向可变长编码部11，还输入表示是否对该宏块实施分块（deblocking）滤波的分块滤波控制标志24（在由空间预测部2实施的预测处理中，将实施分块滤波前的像素数据存储在存储器16中而使用，所以在编码处理中无需分块滤波处理自身，但在解码装置侧，利用分块滤波控制标志24的指示，进行分块滤波，而得到最终的解码图像）。
输入到可变长编码部11的帧内预测模式共同化识别标志23、量化结束变换系数10、编码模式6、量化参数21按照规定的规则（语法）被排列·整形成比特流，输出给发送缓冲器17。在发送缓冲器17中，与连接了编码装置的传送路的频带、记录介质的读出速度匹配地，对比特流进行平滑化，而作为视频流22输出。另外，根据发送缓冲器17中的比特流积蓄状况，向编码控制部19输出反馈信息，对以后的影像帧的编码中的发生代码量进行控制。
2．编码装置中的帧内预测模式判定处理
对本实施方式1的编码装置的特征即帧内预测模式判定处理进行详述。在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位来实施，主要利用图1的编码装置中的空间预测部2、编码模式判定部5进行。另外，图5示出表示本处理的流程的流程图。以下，将构成块的三个颜色成分的图像数据设为C0、C1、C2。
首先，编码模式判定部5接收帧内预测模式共同化识别标志23，根据该值判断在C0、C1、C2中是否使用共同的帧内预测模式（图5的步骤S1）。在共同化的情况下，进入到步骤S2以后，在并非共同化的情况下进入到步骤S5以后。
在C0、C1、C2中对帧内预测模式进行共同化的情况下，编码模式判定部5对空间预测部2，通知可以选择的所有帧内4×4预测模式，空间预测部2评价其所有的预测效率，选择在C0、C1、C2中共同的最佳的帧内4×4预测模式（步骤S2）。接下来，编码模式判定部5对空间预测部2，通知可以选择的所有或一部分的帧内16×16预测模式，空间预测部2评价其所有预测效率，选择在C0、C1、C2中共同的最佳的帧内16×16预测模式（步骤S3）。编码模式判定部5最终地选择在步骤S2、S3中得到的模式中的预测效率上进一步最佳的模式（步骤S4），结束处理。
在C0、C1、C2中不对帧内预测模式进行共同化，而在C0、C1、C2中分别选择最佳的模式的情况下，编码模式判定部5对空间预测部2，通知在Ci（i<＝0<3）成分中可以选择的所有或一部分的帧内4×4预测模式，空间预测部2评价其所有的预测效率，选择Ci（i<＝0<3）成分中的最佳的帧内4×4预测模式（步骤S6）。同样地，选择最佳的帧内16×16预测模式（步骤S7）。最后，在步骤S8中，判定Ci（i<＝0<3）成分中的最佳的帧内预测模式。
作为由空间预测部2进行的预测模式的预测效率评价的规范，例如可以使用通过Jm＝Dm+λRm（λ：正数）提供的速率·失真成本。此处，Dm是应用了帧内预测模式m时的编码失真或预测误差量。编码失真是指，应用帧内预测模式m而得到预测误差，对预测误差进行变换·量化，根据其结果，对影像进行解码而测量针对编码前的信号的误差而得到的。预测误差量是指，得到应用了帧内预测模式m时的预测图像与编码前的信号的差分，对该差分的大小进行定量化而得到的，例如使用差分绝对值和（Sum of Absolute Distance:SAD）等。Rm是应用了帧内预测模式m时的发生代码量。即，Jm是规定应用了帧内预测模式m时的代码量与劣化度的折衷的值，提供最小的Jm的帧内预测模式m提供最佳解。
在编码装置进行了步骤S2以后的处理的情况下，对包括三个颜色成分的宏块，分配一个帧内预测模式的信息。另一方面，在进行了步骤S5以后的处理的情况下，对各颜色成分，分别分配帧内预测模式信息。因此，对宏块分配的帧内预测模式的信息不同，所以需要将帧内预测模式共同化识别标志23多路复用到比特流，而可以在解码装置侧识别编码装置进行了S2以后的处理过程、还是进行了S5以后的处理过程。图6示出这样的比特流的数据排列。
该图示出宏块的级别中的比特流的数据排列。帧内编码模式28是判别是帧内4×4还是帧内16×16的信息，基本帧内预测模式29在帧内预测模式共同化识别标志23表示是“在C0、C1、C2中共同”的情况下，表示共同帧内预测模式信息，在表示并非“在C0、C1、C2中共同”的情况下，表示针对C0的帧内预测模式信息。扩展帧内预测模式30仅在帧内预测模式共同化识别标志23表示并非“在C0、C1、C2中共同”的情况下被多路复用，表示针对C1、C2的帧内预测模式信息。接下来，对量化参数21、量化结束变换系数10进行多路复用。图1中的编码模式6是将上述帧内编码模式28与帧内预测模式（基本·扩展）总称的模式（在图6中不包括在图1中输入给可变长编码部11的分块滤波控制标志24，但并非为了说明本实施方式1的特征而所需的结构要素，所以省略）。
在以往的影像编码标准中采用的4:2:0格式中，虽然颜色空间的定义被固定成Y、Cb、Cr，但在4:4:4格式中不限于Y、Cb、Cr而可以利用多样的颜色空间。通过如图6所示构成帧内预测模式信息，在输入影像信号1的颜色空间的定义涉及多种的情况下，也可以进行最佳的编码处理。例如，在用RGB定义了颜色空间的情况下，由于在R、G、B的各成分中，均等地残存影像纹理的结构，所以通过使用共同的帧内预测模式信息，可以削减帧内预测模式信息自身的冗余性而提高编码效率。另一方面，在用Y、Cb、Cr定义了颜色空间的情况下，由于影像纹理的结构集约成Y，所以共同的帧内预测模式未必提供最佳的结果。因此，通过适应性地利用扩展帧内预测模式30，可以得到最佳的编码效率。
3．解码装置的动作概要
图2的解码装置接收从图1的编码装置中输出的按照图6的排列的视频流22，对三个颜色成分以同一尺寸（4:4:4格式）的宏块的单位进行解码处理，还原各个影像帧。
首先，可变长解码部25将流22作为输入，按照规定的规则（语法）解读流22，抽出帧内预测模式共同化识别标志23、量化结束变换系数10、编码模式6、量化参数21等信息。量化结束变换系数10与量化参数21一起被输入给逆量化部12，进行逆量化处理。接下来，其输出被输入给逆正交变换部13，而还原成局部解码预测差分信号14。另一方面，对空间预测部2输入编码模式6与帧内预测模式共同化识别标志23，按照这些信息得到预测图像7。对于得到预测图像7的具体步骤，在后面叙述。利用加法器18对局部解码预测差分信号14与预测图像7进行加法运算，得到暂定解码图像15（其是与编码装置中的局部解码图像15完全相同的信号）。为了用于以后的宏块的帧内预测，而将暂定解码图像15写回到存储器16。针对各颜色成分的每一个，准备三个存储器（在本实施方式中说明为三个，但也可以通过设计而适宜地变更）。另外，根据利用可变长解码部25解读的分块滤波控制标志24的指示，使分块滤波器26作用于暂定解码图像15，得到最终的解码图像27。
4．解码装置中的帧内预测解码处理
针对本实施方式1的解码装置的特征即帧内预测图像生成处理进行详述。在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位来实施，主要利用图2的解码装置中的可变长解码部25、空间预测部2进行。另外，图7示出表示本处理的流程的流程图。
在图7的流程图中，在可变长解码部25中进行S10～S14。向可变长解码部25的输入即视频流22依照图6的数据排列。在步骤S10中，首先对图6的数据中的帧内编码模式28进行解码，接下来对帧内预测模式共同化识别标志23进行解码（步骤S11）。进而，对基本帧内预测模式29进行解码（步骤S12）。在步骤S13中，使用帧内预测模式共同化识别标志23的结果，来判断是否在C0、C1、C2中对帧内预测模式进行共同化，在共同化的情况下，设为对C0、C1、C2的全部，使用基本帧内预测模式29，在并非共同化的情况下，将基本帧内预测模式29用作C0的模式，进而对扩展帧内预测模式30进行解码（步骤S14），得到C1、C2的模式信息。经由以上的处理过程，确定各颜色成分的编码模式6，所以将其输出给空间预测部2，按照步骤S15～S17，得到各颜色成分的帧内预测图像。得到帧内预测图像的处理按照图3、图4的步骤，与在图1的编码装置中进行的处理相同。
图8示出图6的比特流数据排列的变动。在图7中，帧内预测模式共同化识别标志23并非作为宏块级别的标志，而是作为切片、图片、以及序列等位于上位数据层的标志被多路复用，并且，具备扩展帧内预测模式表指示标志31，以可以从多个定义扩展帧内预测模式30的代码字的代码表中选择某一个。由此，在通过切片以上的上位层中的切换，可以确保充分的预测效率的情况下，无需在宏块级别中逐一地多路复用帧内预测模式共同化识别标志23，而可以削减附加位（overhead bit）。另外，对于扩展帧内预测模式30，通过设置扩展帧内预测模式表指示标志31，可以选择并非与基本帧内预测模式29相同的定义、而特化成C1、C2成分的预测模式的定义，可以进行适合于颜色空间的定义的编码处理。例如，在AVC的4:2:0格式的编码中，对色差成分（Cb、Cr），定义与亮度（Y）不同的帧内预测模式集合。在4:2:0格式中，宏块内的色差信号是8像素×8线，按照宏块单位选择图9所示的四个模式中的某一个，而进行解码处理。色差信号虽然存在Cb与Cr这两种，但使用相同的模式。除了intra_chroma_pred_mode＝0的DC预测以外，成为与图4的帧内16×16预测模式同样的预测处理，但在DC预测中将8×8块分割成四个4×4块，针对各个块的每一个，变更求出平均值的像素的位置而进行处理。在该图中成为“a+x，a or x”的块在像素a与像素x都可以利用的情况下使用a与x的8个像素，在仅可以利用a的情况下使用a的四个像素，在仅可以利用x的情况下仅使用x的四个像素，来求出平均值，而用作预测图像7。在a与x都无法利用的情况下，将值128用作预测图像7。成为“b or x”的块在可以利用图像b的情况下使用b的四个像素来求出平均值，在仅可以利用像素x的情况下使用x的四个像素来求出平均值。
这样，在根据颜色成分的性质而在帧内预测模式的集合中要求变更的情况下，通过图8的语法这样的结构，可以得到更最佳的编码效率。
实施方式2
在本实施方式2中，说明按照将以4:4:4格式输入的影像帧均等分割成16×16像素的矩阵区域（宏块）的单位在帧之内进行封闭的编码的其他编码装置、以及对应的解码装置。本编码装置、解码装置与实施方式1同样地，以非专利文献1即MPEG－4AVC（ISO/IEC14496－10）/ITU－TH.264标准中采用的编码方式为基础，并赋予了本发明固有的特征。
图11示出本实施方式2中的影像编码装置的结构，图12示出本实施方式2中的影像解码装置的结构。在图11中，附加了与图1的编码装置的结构要素相同标号的要素表示同一要素。在图12中，附加了与图11的编码装置的结构要素相同标号的要素表示同一要素。图11中的32是变换块尺寸识别标志，33是帧内编码模式共同化识别标志。
以下，根据这些图，对本实施方式2的编码装置以及解码装置整体的动作、和本实施方式2的特征性的动作即帧内编码·预测模式判定处理以及帧内预测解码处理进行说明。
1．编码装置的动作概要
在图11的编码装置中，对于输入影像信号1，各个影像帧是4:4:4格式，并且按照如图10所示将三个颜色成分分割成同一尺寸的宏块并汇总而得到的单位，向编码装置输入。
在空间预测部2中，使用存储在存储器16中的局部解码图像15，按照该宏块的单位，针对各颜色成分的每一个，进行帧内预测处理。在帧内预测的模式中，有：按照图3所示的4像素×4线的块的单位，进行使用了其周边像素的空间预测的帧内4×4预测模式；按照图13所示的8像素×8线的块的单位，进行使用了其周边像素的空间预测的帧内8×8预测模式；按照图4所示的16像素×16线的宏块的单位，进行使用了其周边像素的空间预测的帧内16×16预测模式。在本实施方式2中的编码装置中，按照变换块尺寸识别标志32的状态，切换使用帧内4×4预测模式与帧内8×8预测模式。关于使用4×4预测、8×8预测、以及16×16预测中的哪一个帧内预测模式对某宏块进行编码，可以与图6同样地通过帧内编码模式来表现。在本实施方式2中的编码装置中，作为帧内编码模式，设置有：使用帧内4×4预测模式或帧内8×8预测模式中的某一个来进行编码的帧内N×N预测编码模式（N是4或8）、以及使用帧内16×16预测模式来进行编码的帧内16×16预测编码模式这两种。以下，按照帧内编码模式进行说明。
（a）帧内N×N预测编码模式
是如下模式：一边选择性地切换将宏块内的亮度信号16×16像素块分割成由4×4像素块构成的16个块并针对各4×4像素块个别地选择预测模式的帧内4×4预测模式、与将宏块内的亮度信号16×16像素块分割成由8×8像素块构成的四个块并针对各8×8像素块个别地选择预测模式的帧内8×8预测模式，一边进行编码。帧内4×4预测模式与帧内8×8预测模式的切换与变换块尺寸识别标志32的状态连动。后述该点。对于帧内4×4预测模式，如实施方式1的说明，按照4×4像素块单位，选择图3所示的九个模式中的某一个。将已经结束编码并进行局部解码处理而存储在存储器16中的周围的块（左上、上、右上、左）的像素用于预测图像生成中。
另一方面，在帧内8×8预测模式中，按照8×8像素块单位，选择图13所示的九个模式中的某一个。从与图3的对比可知，附加变更，以使帧内4×4预测模式的预测方法适合于8×8像素块。
Intra8×8_pred_mode＝0:将邻接的上部的像素原样地用作预测图像。
Intra8×8_pred_mode＝1:将邻接的左部的像素原样地用作预测图像。
Intra8×8_pred_mode＝2:将邻接的8个像素的平均值用作预测图像。
Intra8×8_pred_mode＝3:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于右45度边缘）。
Intra8×8_pred_mode＝4:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左45度边缘）。
Intra8×8_pred_mode＝5:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左22.5度边缘）。
Intra8×8_pred_mode＝6:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左67.5度边缘）。
Intra8×8_pred_mode＝7:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于右22.5度边缘）。
Intra8×8_pred_mode＝8:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左112.5度边缘）。
在选择帧内4×4预测模式的情况下，需要16个针对每个宏块的模式信息。因此，为了削减模式信息自身的代码量，对于模式信息，利用与邻接的块间的相关高的情况，根据邻接的块的模式信息，进行预测编码。同样地，在选择帧内8×8预测模式的情况下，也利用在邻接的块间、帧内预测模式的相关高的情况，根据邻接的块的模式信息，进行预测编码。
（b）帧内16×16预测编码模式
是一次性预测与宏块尺寸相当的16×16像素块的模式，按照宏块单位选择图4所示的四个模式中的某一个。与帧内4×4预测模式同样地，将已经结束编码并进行局部解码处理而存储在存储器16中的周围的宏块（左上、上、左）的像素用于预测图像生成中。模式种类如实施方式1中的图4的说明。在帧内16×16预测编码模式中，将变换块尺寸总是设为4×4。其中，实施如下两个阶段的变换：首先汇总16个4×4块单位的DC（直流成分、平均值），按照该单位进行4×4块变换，针对每个4×4块，变换除了DC部分的剩余的交流成分。
本实施方式2中的影像编码装置的特征在于，根据帧内编码模式共同化识别标志33，切换针对三个颜色成分的帧内预测·变换·编码方法。对于该点，在下记2中详述。
在空间预测部2中，对输入的三个颜色成分的信号，根据帧内编码模式共同化识别标志33的指示，评价帧内预测模式。帧内编码模式共同化识别标志33指示对输入的三个颜色成分分别个别地分配帧内编码模式、还是对三个成分全部分配相同的帧内编码模式。其基于以下的背景。
在4:4:4格式中，除了以往在编码中使用的Y、Cb、Cr颜色空间以外，还可以直接利用RGB。在Y、Cb、Cr颜色空间中，从Cb、Cr的信号中去除了依赖于影像的纹理结构的成分。在Y成分与Cb、Cr这两个成分之间最佳的帧内编码方法变化的概率高。（目前，在高4:2:0类等将AVC/H.264的4:2:0格式设为对象的编码方式中，Y成分与Cb、Cr成分中使用的帧内预测模式的设计不同）。另一方面，在RGB颜色空间中进行编码的情况下，不会如Y、Cb、Cr颜色空间那样去除颜色成分间的纹理结构，由于同一空间上的信号成分的相关变高，所以通过构成为可以共同地选择帧内编码模式，有可能提高编码效率。该点不仅被颜色空间的定义所左右，而且即使使用了某一特定的颜色空间也由影像的性质来左右，编码方式自身优选可以适应性地应对这样的影像信号的性质。因此，在本实施方式中，设置帧内编码模式共同化识别标志33，而可以进行针对4:4:4格式影像的灵活的编码那样地构成了编码装置。
在空间预测部2中，根据如上所述设定的帧内编码模式共同化识别标志33的状态，对图3、图4、图13所示的所有帧内预测模式或规定的子集合，执行针对各颜色成分的预测处理，利用减法器3得到预测差分信号4。预测差分信号4在编码模式判定部5中被评价其预测效率，从由空间预测部2执行的预测处理中，选择对对象的宏块得到了最佳的预测效率的帧内预测模式。此处，在选择了帧内N×N预测的情况下，作为编码模式6，输出帧内N×N预测编码模式，并且在预测模式是帧内4×4预测的情况下，将变换块尺寸识别标志32设定成“4×4块尺寸下的变换”。另外，在预测模式是帧内8×8预测的情况下，将变换块尺寸识别标志32设定成“8×8块尺寸下的变换”。对于变换块尺寸识别标志32的决定方法，考虑各种方法，但在本实施方式2中的编码装置中，作为一个例子，举出如下方法：为了决定对通过帧内N×N预测得到的残差进行变换时的块尺寸，在编码模式判定部5中决定了最佳的帧内N×N预测模式之后，与该N值匹配地决定。例如，在使用帧内4×4预测模式的情况下将变换块尺寸设为8×8像素块时，在预测的结果得到的预测差分信号4中，预测信号的空间连续性按照4×4块的单位被断绝的可能性变高，发生不需要的高频成分，所以通过变换实现的信号电力集中化的效果被削弱。如果与预测模式匹配地将变换块尺寸设为4×4像素块，则不会发生这样的问题。
在编码模式判定部5中选择了帧内16×16预测的情况下，作为编码模式6，输出帧内16×16预测编码模式。另外，在选定编码模式6时，还有时加入编码控制部19的判断来决定的针对各编码模式的权重系数20。
向正交变换部8输出利用编码模式6得到的预测差分信号4。正交变换部8对输入的预测差分信号进行变换，作为正交变换系数而输出给量化部9。量化部9针对输入的正交变换系数，根据利用编码控制部19决定的量化参数21，进行量化，作为量化结束变换系数10而输出给可变长编码部11。
在变换块尺寸是4×4块单位的情况下，按照4×4块单位分割输入到正交变换部8的预测差分信号4并进行正交变换，利用量化部9进行量化。在变换块尺寸是8×8块单位的情况下，按照8×8块单位分割输入到正交变换部8的预测差分信号4并进行正交变换，利用量化部9进行量化。
在可变长编码部11中，利用哈夫曼编码、算术编码等手段，对量化结束变换系数10进行熵编码。另外，量化结束变换系数10按照基于变换块尺寸识别标志32等的块尺寸，经由逆量化部12、逆正交变换部13还原成局部解码预测差分信号14，利用加法器18与根据编码模式6生成的预测图像7进行加法运算，从而生成局部解码图像15。为了用于以后的帧内预测处理，而向存储器16存储局部解码图像15。另外，向可变长编码部11，还输入表示是否对该宏块实施分块滤波的分块滤波控制标志24（在由空间预测部2实施的预测处理中，将实施分块滤波前的像素数据存储在存储器16中而使用，所以在编码处理中无需分块滤波处理自身，但在解码装置侧，利用分块滤波控制标志24的指示，进行分块滤波，而得到最终的解码图像）。
输入到可变长编码部11的帧内编码模式共同化识别标志33、量化结束变换系数10、编码模式6、量化参数21按照规定的规则（语法）被排列·整形成比特流，输出给发送缓冲器17。在发送缓冲器17中，与连接了编码装置的传送路的频带、记录介质的读出速度匹配地，对比特流进行平滑化，而作为视频流22输出。另外，根据发送缓冲器17中的比特流积蓄状况，向编码控制部19输出反馈信息，对以后的影像帧的编码中的发生代码量进行控制。
2．编码装置中的帧内编码模式·预测模式判定处理
对本实施方式2的编码装置的特征即帧内编码模式以及帧内预测模式的判定处理进行详述。在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位实施，主要利用图11的编码装置中的空间预测部2、编码模式判定部5进行。另外，图14示出表示本处理的流程的流程图。以下，将构成块的三个颜色成分的图像数据设为C0、C1、C2。
首先，编码模式判定部5接收帧内编码模式共同化识别标志33，根据该值判断在C0、C1、C2中是否使用共同的帧内编码模式（图14的步骤S20）。在共同化的情况下，进入到步骤S21以后，在并非共同化的情况下进入到步骤S22以后。
在C0、C1、C2中对帧内编码模式进行共同化的情况下，编码模式判定部5对空间预测部2，通知可以选择的所有或一部分的帧内预测模式（帧内N×N预测、帧内16×16预测），空间预测部2评价其所有的预测效率，选择对所有成分最佳的帧内编码模式以及帧内预测模式（步骤S21）。
另一方面，在C0、C1、C2中分别选择最佳的帧内编码模式的情况下，编码模式判定部5对空间预测部2，通知在Ci（i<＝0<3）成分中可以选择的所有或一部分的帧内预测模式（帧内N×N预测、帧内16×16预测），空间预测部2评价其所有的预测效率，选择Ci（i<＝0<3）成分中的最佳的帧内4×4预测模式（步骤S23）。
在上述步骤S21、S23中，空间预测部2选择了帧内4×4预测模式而作为提供最佳的预测效率的模式的情况下，将变换块尺寸识别标志32设定成“4×4块尺寸下的变换”，在空间预测部2选择了帧内8×8预测模式而作为提供最佳的预测效率的模式的情况下，将变换块尺寸识别标志32设定成“8×8块尺寸下的变换”。
作为由空间预测部2进行的预测模式的预测效率评价的规范，例如可以使用通过Jm＝Dm+λRm（λ：正数）提供的速率·失真成本。此处，Dm是应用了帧内预测模式m时的编码失真或预测误差量。编码失真是指，应用帧内预测模式m而得到预测误差，对预测误差进行变换·量化，根据其结果，对影像进行解码，测量针对编码前的信号的误差而得到的。预测误差量是指，得到应用了帧内预测模式m时的预测图像与编码前的信号的差分，对该差分的大小进行定量化而得到的，例如使用差分绝对值和（Sum of Absolute Distance:SAD）等。Rm是应用了帧内预测模式m时的发生代码量。即，Jm是规定应用了帧内预测模式m时的代码量与劣化度的折衷的值，提供最小的Jm的帧内预测模式m提供最佳解。
在编码装置进行了步骤S21以后的处理的情况下，对包括三个颜色成分的宏块，分配一个帧内编码模式的信息。另一方面，在进行了步骤S22以后的处理的情况下，对各颜色成分分别分配帧内编码模式信息（合计三个）。因此，对宏块分配的帧内预测模式的信息不同，所以需要将帧内编码模式共同化识别标志23多路复用到比特流，而可以在解码装置侧识别编码装置进行了S21以后的处理过程、还是进行了S23以后的处理过程。图15示出这样的比特流的数据排列。
在图15中，以宏块级别多路复用到比特流中的帧内编码模式0（34a）、1（34b）、以及2（34c）分别表示针对C0、C1、C2成分的编码模式6。在帧内编码模式是帧内N×N预测编码模式的情况下，变换块尺寸识别标志32、帧内预测模式的信息被多路复用到比特流中。另一方面，在帧内编码模式是帧内16×16预测编码模式的情况下，帧内预测模式的信息被编码成帧内编码模式信息的一部分，变换块尺寸识别标志32、帧内预测模式的信息不被多路复用到比特流中。在帧内编码模式共同化识别标志33表示是“在C0、C1、C2中共同”的情况下，帧内编码模式1（34b）·2（34c）、变换块尺寸识别标志1（32b）·2（32c）、帧内预测模式1（35b）·2（35c）不被多路复用到比特流中（图15中的虚线的圆圈部分表示该分支）。此时，帧内编码模式0（34a）、变换块尺寸识别标志0（32a）、帧内预测模式0（35a）分别作为所有颜色成分共同的编码信息而发挥功能。在图15中，示出帧内编码模式共同化识别标志33被多路复用成切片、图片、序列等宏块的上位级别的比特流数据的例子。特别，在如本实施方式2中举出的例子那样使用的情况下，由于颜色空间不会通过序列而变化的情况较多，所以可以通过按照序列级别多路复用帧内编码模式共同化识别标志33来达成目的。
在本实施方式2中，通过“是否在所有成分中共同”这样的意思来使用了帧内编码模式共同化识别标志33，但其也可以根据输入影像信号1的颜色空间定义例如通过“是否在C1、C2等特定的两个成分中共同”这样的意思来使用（在Y、Cb、Cr那样的情况下，可以在Cb与Cr中共同化的可能性高）。进而，在将帧内编码模式共同化识别标志33的共同化范围仅限定于帧内编码模式，而使用帧内N×N预测模式的情况下，也可以构成为可以在各颜色成分中独立地选择变换块尺寸、N×N预测模式（图16）。通过图16那样的语法结构，针对需要N×N预测那样的复杂的图样的影像，可以在对编码模式信息进行共同化的同时，针对每个颜色成分变更预测方法，可以提高预测效率。
另外，如果在编码装置与解码装置这双方中预先通过某种手段既知帧内编码模式共同化识别标志33的信息，则也可以不载置于视频的比特流中而传送。在该情况下，例如编码装置也可以将帧内编码模式共同化识别标志33固定化成某一个值来进行编码，也可以与视频的比特流独立地传送。
3．解码装置的动作概要
图12的解码装置接收从图11的编码装置中输出的按照图15的排列的视频流22，对三个颜色成分以同一尺寸（4:4:4格式）的宏块的单位进行解码处理，还原各个影像帧。
首先，可变长解码部25将流22作为输入，按照规定的规则（语法）解读流22，抽出帧内编码模式共同化识别标志33、量化结束变换系数10、编码模式6、以及量化参数21等信息。量化结束变换系数10与量化参数21一起被输入给逆量化部12，进行逆量化处理。接下来，其输出被输入给逆正交变换部13，而还原成局部解码预测差分信号14。另一方面，对空间预测部2输入编码模式6与帧内编码模式共同化识别标志33，按照这些信息得到预测图像7。对于得到预测图像7的具体步骤，在后面叙述。利用加法器18对局部解码预测差分信号14与预测图像7进行加法运算，得到暂定解码图像15（其是与编码装置中的局部解码图像15完全相同的信号）。为了用于以后的宏块的帧内预测，而将暂定解码图像15写回到存储器16。针对各颜色成分的每一个，准备三个存储器。另外，根据利用可变长解码部25解读的分块滤波控制标志24的指示，使分块滤波器26作用于暂定解码图像15，得到最终的解码图像27。
4．解码装置中的帧内预测解码处理
针对本实施方式2的解码装置的特征即帧内预测图像生成处理进行详述。在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位来实施，主要利用图12的解码装置中的可变长解码部25、空间预测部2进行。另外，图17示出表示本处理的流程的流程图。
在图17的流程图中，在可变长解码部25中进行S25～S38。向可变长解码部25的输入即视频流22依照图15的数据排列。在步骤S25中，首先对图15的数据中的帧内编码模式0（34a）（对应C0成分）进行解码。结果，在帧内编码模式0（34a）是“帧内N×N预测”的情况下，解码出变换块尺寸识别标志0（32a）与帧内预测模式0（35a）（步骤S26、S27）。接下来，在根据帧内编码模式共同化识别标志33的状态，判断为帧内编码·预测模式信息在所有颜色成分中共同的情况下，将帧内编码模式0（34a）、变换块尺寸识别标志0（32a）、帧内预测模式0（35a）设定成在C1以及C2成分中使用的编码信息（步骤S29、S30）。图17图示出宏块单位的处理，假设在进入到图17的“开始”的处理之前，以切片以上的层级别，利用可变长解码部25，从比特流22中读出了步骤S29的判断中使用的帧内编码模式共同化识别标志33。
在图17中的步骤S29中，被判断为帧内编码·预测模式信息针对各颜色成分的每一个进行编码的情况下，在接下来的步骤S31～S38的处理中，对C1以及C2成分用的帧内编码·预测模式信息进行解码。经由以上处理过程，确定各颜色成分的编码模式6，将其输出给空间预测部2，按照步骤S39～S41，得到各颜色成分的帧内预测图像。得到帧内预测图像的处理按照图3、图4、图13的步骤，与在图11的编码装置中进行的处理相同。
另外，如上所述，如果在编码装置与解码装置这双方中预先通过某种手段既知帧内编码模式共同化识别标志33的信息，则解码装置不从视频的比特流中解析其值，而例如也可以预先通过固定的值进行解码，也可以与视频的比特流独立地传送。
在以往的影像编码标准中采用的4:2:0格式中，虽然颜色空间的定义被固定成Y、Cb、Cr，但在4:4:4格式中不限于Y、Cb、Cr而可以利用多样的颜色空间。通过如图15、图16所示构成帧内宏块的编码信息，可以根据输入影像信号1的颜色空间的定义、影像信号的性质来进行最佳的编码处理，并且可以唯一地解释通过这样的编码处理的结果得到的比特流而进行影像解码再生处理。
实施方式3
在本实施方式3中，示出图11的编码装置、图12的解码装置的其他结构例。本编码装置、解码装置与实施方式1同样地，以非专利文献1即MPEG－4AVC（ISO/IEC14496－10）/ITU－T H.264标准中采用的编码方式为基础，并赋予了本发明固有的特征。本实施方式3中的影像编码装置与图11中说明的实施方式2的编码装置相比，仅可变长编码部11不同。本实施方式3中的影像解码装置与图12中说明的实施方式2的解码装置相比，仅可变长解码部25不同。其他设为与实施方式2同样的动作，此处仅对差异部分进行说明。
1．编码装置中的帧内预测模式信息的编码步骤
在实施方式2的编码装置中，在其可变长编码部11中，对于帧内N×N预测模式的信息，示出了比特流上的数据排列，但没有特别示出其编码步骤。在本实施方式中，示出其编码步骤的具体方法。在本实施方式中，其特征在于，特别考虑帧内N×N预测模式的值在颜色成分间具有高的相关的情况，关于通过各颜色成分得到的帧内N×N预测模式，进行利用了颜色成分间的值的相关的熵编码。
在以下说明中，以图16的形式的比特流排列为前提。另外，为简化说明，对于帧内编码模式共同化识别标志33的值，设定成在C0、C1、C2中对帧内编码模式进行共同化，将帧内编码模式设为帧内N×N预测模式，将变换块尺寸0～2设为4×4块。此时，帧内预测模式0～2（35a～35c）全部成为帧内4×4预测模式。在图18～图20中，将成为编码的对象的当前宏块设为X。另外，将其左邻的宏块设为宏块A，将正上方的宏块设为宏块B。
作为C0、C1、C2的各颜色成分的编码步骤的说明图，使用图18～图20。另外，图21、图22示出步骤的流程图。
图18示出宏块X的C0成分的样子。此处，将编码对象的4×4块称为块X，将块X的左、上的4×4块分别称为块A、块B。在宏块X中，与编码对象的4×4块的位置对应地，存在两个情形。Case1是相对编码对象的4×4块，其左、上的4×4块在当前宏块X之外、即属于宏块A或宏块B的情况。Case2是相对编码对象的4×4块，其左、上的4×4块在当前宏块X的内部、即属于宏块X的情况。不论在什么情况下，都对宏块X内各自的4×4块X各分配一个帧内4×4预测模式，将其设为CurrIntraPredMode。另外，将块A的帧内4×4预测模式设为IntraPredModeA，将块B的帧内4×4预测模式设为IntraPredModeB。IntraPredModeA、IntraPredModeB都是在对块X进行编码的时刻编码已经结束的信息。在对某块X的帧内4×4预测模式进行编码时，首先分配它们的参数（图21中的步骤S50）。
接下来，用下式来确定针对块X的CurrIntraPredMode的预测值predCurrIntraPredMode（步骤S51）。
predCurrIntraPredMode＝Min（IntraPredModeA，IntraPredModeB）
接下来，进行C0成分的CurrIntraPredMode的编码。此处，如果CurrIntraPredMode＝predCurrIntraPredMode，则对表示与预测值相同的情况的一个比特的标志（prev_intra_pred_mode_flag）进行编码。如果CurrIntraPredMode!＝predCurrIntraPredMode，则对CurrIntraPredMode与predCurrIntraPredMode进行比较，在CurrIntraPredMode更小的情况下，将CurrIntraPredMode原样地编码。在CurrIntraPredMode更大的情况下，对CurrIntraPredMode－1进行编码（步骤S52）。
接下来，利用图19，示出C1成分的编码步骤。首先，与C0成分同样地，根据块X的位置，设定IntraPredModeA、IntraPredModeB等附近的编码参数（步骤S53）。
接下来，用下式来确定针对块X的CurrIntraPredMode的预测值候补1predCurrIntraPredMode1（步骤S54）。
predCurrIntraPredMode1＝Min（IntraPredModeA、IntraPredModeB）
如果在C0成分中，prev_intra_pred_mode_flag＝1，则将该predCurrIntraPredMode1原样地用于C1成分的块X中的predCurrIntraPredMode。其理由如下所述。在C0成分的同一个块位置采用prev_intra_pred_mode_flag＝1的情况意味着，在C0成分中在附近图像区域中预测模式间的相关高。在C0成分与C1成分之间没有完全去除纹理结构的相关的RGB信号等的情况下，在这样的情况下，在C1成分中也与C0成分同样地，在附近图像区域间相关有可能高。因此，判断为C1成分的预测值不依赖于C0成分的帧内4×4预测模式。
另一方面，在C0成分中，对prev_intra_pred_mode_flag＝0、即rem_intra_pred_mode进行了编码的情况下（步骤S55），将C0成分的CurrIntraPredMode设为预测值候补2（步骤S56）。即
predCurrIntraPredMode2＝CurrIntraPredMode_C0将其设为预测值候补的背景如下所述。在C0成分中对rem_intra_pred_mode进行编码意味着，在C0成分中附近图像区域间的帧内预测的相关低。在该情况下，在C1成分中也同样地预想到附近图像区域间的相关低，不同的颜色成分中的同一个块位置的帧内预测模式有可能提供更佳的预测值。
C1成分的块X中的CurrIntraPredMode的预测值最终确定成predCurrIntraPredMode1、或predCurrIntraPredMode2中的某一个值（步骤S57）。关于使用哪一个值，用一个比特的标志（pred_flag）来进行追加编码。但是，仅在CurrIntraPredMode与预测值一致时，对pred_flag进行编码，在不一致的情况下（在对rem_intra_pred_mode进行编码的情况下），预测值使用predCurrIntraPredMode1。
在用式来记载以上步骤时，成为
结果，prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_mode被编码成编码数据（步骤S58）。
接下来，利用图20，示出C2成分的编码步骤。首先，与C0、C1成分同样地，根据块X的位置，设定IntraPredModeA、IntraPredModeB等附近的编码参数（步骤S59）。
接下来，用下式来确定针对块X的CurrIntraPredMode的预测值候补1predCurrIntraPredMode1（步骤S60）。
predCurrIntraPredMode1＝Min（IntraPredModeA、IntraPredModeB）
如果在C0、C1成分这两方中，prev_intra_pred_mode_flag＝1，则将该predCurrIntraPredMode1原样地用于C1成分的块X中的predCurrIntraPredMode。其理由如下所述。在C0、C1成分的同一个块位置采用prev_intra_pred_mode_flag＝1的情况意味着，在C0、C1成分中在附近图像区域中预测模式间的相关高。在C0、C1成分与C2成分之间没有完全去除纹理结构的相关的RGB信号等的情况下，在这样的情况下，在C2成分中也与C0、C1成分同样地，在附近图像区域间相关有可能高。因此，判断为C2成分的预测值不依赖于C0、C1成分的帧内4×4预测模式。
另一方面，在C0或C1成分中，对prev_intra_pred_mode_flag＝0、即rem_intra_pred_mode进行了编码的情况下（步骤S61），将C0或C1成分的CurrIntraPredMode设为预测值候补2（步骤S62）。即
将其设为预测值候补的背景如下所述。在C0或C1成分中对rem_intra_pred_mode进行编码意味着，在C0或C1成分中附近图像区域间的帧内预测的相关低。在该情况下，在C2成分中也同样地预想到附近图像区域间的相关低，不同的颜色成分中的同一个块位置的帧内预测模式有可能提供更佳的预测值。另外，根据该考虑方法，在C0、C1成分都对rem_intra_pred_mode进行编码的情况下，C0、C1这两方的当前帧内预测模式可以成为预测值的候补，但此处，将C1成分的当前帧内预测模式用作预测值。其理由为考虑到了，在输入了YUV颜色空间的情况下，C0被处理成亮度、C1/C2被处理成色差的可能性高，在该情况下，与C0相比C1更接近C2的预测模式。在RGB颜色空间输入的情况下，选择C0还是选择C1并不成为那么大的因素，一般认为将C1成分用作预测值是妥当的（也可以通过设计将C2成分用作预测值）。
C2成分的块X中的CurrIntraPredMode的预测值最终确定成predCurrIntraPredMode1、或predCurrIntraPredMode2中的某一个值（步骤S63）。关于使用哪一个值，用一个比特的标志（pred_flag）来进行追加编码。
在用式来记载以上步骤时，成为
结果，prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_mode被编码成编码数据（步骤S64）。
也可以针对帧内8×8预测模式同样地定义以上叙述的编码步骤。通过这样的步骤对帧内N×N预测模式进行编码，从而可以利用与在其他颜色成分中选择的预测模式之间的相关，可以削减预测模式自身的代码量，提高编码效率。
图21与图22的差异在于，将每个MB的帧内预测模式的编码处理针对各颜色成分的每一个分离来进行、还是汇总进行。在图21的情况下，按照4×4块的单位进行各颜色成分的编码，将它们集中16图案并排列为比特流（步骤S65）。在图22的情况下，将各颜色成分的16个4×4块汇总而进行编码，成为将其按照颜色成分排列为比特流的方式（步骤S66、S67、S68）。
另外，在上述步骤中，仅在prev_intra_pred_mode_flag是1时，pred_flag作为有效的信息，但也可以决定成还包含prev_intra_pred_mode_flag是0的情况。即，例如，在举出C1成分的例子时，也可以通过如下步骤来进行编码：
在该方法中，在C0成分的同一位置的块中的帧内预测模式下对rem_intra_pred_mode进行编码的情况下，总是对pred_flag进行编码，但在prev_intra_pred_mode_flag＝0的情况下，也可以使用精度更佳的预测值，可以期待改善编码效率。另外，进而，也可以构成为不依赖于是否在C0成分的同一位置的块中的帧内预测模式下对rem_intra_pred_mode进行编码，而对pred_flag进行编码。在该情况下，总是将C0成分的帧内预测模式用作预测值候补。
即，此时的式如下所述。
另外，并非4×4块单位，而也可以按照宏块、序列的单位来设定pred_flag。在按照宏块单位设定的情况下，针对宏块内的所有的4×4块，对使用预测值候补1或预测值候补2中的哪一个进行共同化，所以可以进一步削减作为pred_flag而传送的开销（overhead）信息。另外，为了根据输入颜色空间定义来决定使用预测值候补1或预测值候补2中的哪一个，还可以按照序列的单位来决定。在该情况下，针对每个宏块也无需传送pred_flag，可以进一步削减开销信息。
2．解码装置中的帧内预测模式信息的解码步骤
在实施方式2的解码装置中，在其可变长解码部25中，对于帧内N×N预测模式的信息，示出了比特流上的数据排列，但没有特别示出其解码步骤。在本实施方式3中，示出其解码步骤的具体方法。在本实施方式3中，其特征在于，特别考虑帧内N×N预测模式的值在颜色成分间具有高的相关的情况，关于通过各颜色成分得到的帧内N×N预测模式，对进行利用了颜色成分间的值的相关的熵编码得到的比特流进行解码。
在以下说明中，以图16的形式的比特流排列为前提。另外，为了将说明限定于帧内预测模式的解码步骤，对于比特流中的帧内编码模式共同化识别标志33的值，设定成在C0、C1、C2中对帧内编码模式进行共同化。另外，将帧内编码模式指定为帧内N×N预测模式，将变换块尺寸0～2指定为4×4块。此时，帧内预测模式0～2（35a～35c）全部成为帧内4×4预测模式。与编码装置同样地，在解码装置中，也使用图18～图20的关系。在解码装置中，将成为解码的对象的当前宏块设为X。另外，将其左邻的宏块设为宏块A，将正上方的宏块设为宏块B。图23示出解码步骤的流程图。在图23中，赋予了与图21、图22相同的号码的步骤表示执行与编码装置的处理相同的处理。
图18示出宏块X的C0成分的样子。在宏块X中，与解码对象的4×4块的位置对应地，存在两个情形。Case1是相对解码对象的4×4块，其左、上的4×4块在当前宏块X之外、即属于宏块A或宏块B的情况。Case2是相对解码对象的4×4块，其左、上的4×4块在当前宏块X的内部、即属于宏块X的情况。此处，将解码对象的4×4块称为块X，将块X的左、上的4×4块分别称为块A、块B。不论在什么情况下，都对宏块X内各自的4×4块X各分配一个帧内4×4预测模式，将其设为CurrIntraPredMode。另外，将块A的帧内4×4预测模式设为IntraPredModeA，将块B的帧内4×4预测模式设为IntraPredModeB。IntraPredModeA、IntraPredModeB都是在对块X进行编码的时刻解码已经结束的信息。在对某块X的帧内4×4预测模式进行解码时，首先分配它们的参数（步骤S50）。
接下来，用下式来确定针对块X的CurrIntraPredMode的预测值predCurrIntraPredMode（步骤S51）。
predCurrIntraPredMode＝Min（IntraPredModeA、IntraPredModeB）
接下来，对表示是否为CurrIntraPredMode＝predCurrIntraPredMode的一个比特的标志（prev_intra_pred_mode_flag）进行解码。prev_intra_pred_mode_flag＝1意味着CurrIntraPredMode＝predCurrIntraPredMode。否则，（prev_intra_pred_mode_flag＝0），从比特流中解码出rem_intra_pred_mode的信息。在对rem_intra_pred_mode与predCurrIntraPredMode进行比较，rem_intra_pred_mode更小的情况下，设为CurrIntraPredMode＝rem_intra_pred_mode。在CurrIntraPredMode更大的情况下，设为CurrIntraPredMode＝rem_intra_pred_mode＋1（步骤S65）。
在汇总这些步骤时，如下所述。
接下来，利用图19，示出C1成分的编码步骤。首先，与C0成分同样地，根据块X的位置，设定IntraPredModeA、IntraPredModeB等附近的编码参数（步骤S53）。
接下来，用下式来确定针对块X的CurrIntraPredMode的预测值候补1predCurrIntraPredMode1（步骤S54）。
predCurrIntraPredMode1＝Min（IntraPredModeA、IntraPredModeB）
如果在C0成分中，prev_intra_pred_mode_flag＝1，则将该predCurrIntraPredMode1原样地用于C1成分的块X中的predCurrIntraPredMode。其理由与在编码装置中说明的理由相同。
另一方面，在C0成分中，prev_intra_pred_mode_flag＝0、即对rem_intra_pred_mode进行了解码的情况下（步骤S55），将C0成分的CurrIntraPredMode设为预测值候补2（步骤S56）。即
predCurrIntraPredMode2＝CurrIntraPredMode_C0
将其设为预测值候补的背景也与在编码装置中说明的理由相同。
C1成分的块X中的CurrIntraPredMode的预测值最终确定成predCurrIntraPredMode1、或predCurrIntraPredMode2中的某一个值（步骤S57）。关于使用哪一个值，对一个比特的标志（pred_flag）进行解码来确定。但是，仅在CurrIntraPredMode与预测值一致时，对pred_flag进行解码，在不一致的情况下（在对rem_intra_pred_mode进行解码的情况下），预测值使用predCurrIntraPredMode1。
在提供了预测值候补1、预测值候补2、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_mode的基础上，通过以下步骤，对CurrIntraPredMode进行解码（步骤S66）。
接下来，利用图20，示出C2成分的解码步骤。首先，与C0、C1成分同样地，根据块X的位置，设定IntraPredModeA、IntraPredModeB等附近的编码参数（步骤S59）。
接下来，用下式来确定针对块X的CurrIntraPredMode的预测值候补1predCurrIntraPredMode1（步骤S60）。
predCurrIntraPredMode1＝Min（IntraPredModeA、IntraPredModeB）
如果在C0、C1成分这两方中，prev_intra_pred_mode_flag＝1，则将该predCurrIntraPredMode1原样地用于C1成分的块X中的predCurrIntraPredMode。其理由与在编码装置中说明的理由相同。
另一方面，在C0或C1成分中，prev_intra_pred_mode_flag＝0、即对rem_intra_pred_mode进行了解码的情况下（步骤S61），将C0或C1成分的CurrIntraPredMode设为预测值候补2（步骤S62）。
即
将其设为预测值候补的背景也与在编码装置中说明的理由相同。
C2成分的块X中的CurrIntraPredMode的预测值最终确定成predCurrIntraPredMode1、或predCurrIntraPredMode2中的某一个值（步骤S63）。关于使用哪一个值，对一个比特的标志（pred_flag）进行解码来确定。但是，仅在CurrIntraPredMode与预测值一致时，对pred_flag进行解码，在不一致的情况下（在对rem_intra_pred_mode进行解码的情况下），预测值使用predCurrIntraPredMode1。
在提供了预测值候补1、预测值候补2、prev_intra_pred_mode_flag、pred_flag、rem_intra_pred_mode的基础上，通过以下步骤，对CurrIntraPredMode进行解码（步骤S71）。
也可以针对帧内8×8预测模式同样地定义以上叙述的解码步骤。通过这样的步骤对帧内N×N预测模式进行解码，从而可以对这样的比特流进行解码，即该比特流利用与在其他颜色成分中选择的预测模式之间的相关，削减预测模式自身的代码量，提高了编码效率。
另外，在上述步骤中，仅在prev_intra_pred_mode_flag是1的情况下，pred_flag作为被解码的信息，但也可以解码成还包含prev_intra_pred_mode_flag是0的情况的信息。
即，例如，在举出C1成分的例子时，也可以按照如下步骤来进行解码：
该方法的效果如对应的编码装置侧的编码步骤的记载中所述。另外，进而，也可以构成为不依赖于是否在C0成分的同一位置的块中的帧内预测模式下对rem_intra_pred_mode进行解码，而对pred_flag进行解码。在该情况下，总是将C0成分的帧内预测模式用作预测值候补。
即，成为如下所述。
另外，如编码装置的说明所述，并非4×4块单位，而也可以按照宏块、序列的单位来将pred_flag包含到比特流。在按照宏块单位设定的情况下，针对宏块内的所有的4×4块，对使用预测值候补1或预测值候补2中的哪一个进行共同化，所以可以削减所解码pred_flag的开销信息。另外，为了根据输入颜色空间定义来决定使用预测值候补1或预测值候补2中的哪一个，还可以按照序列的单位来决定。在该情况下，针对每个宏块也无需传送pred_flag，可以进一步削减开销信息。
实施方式4
在实施方式2中对图16的形式的比特流进行了说明。在实施方式2中，叙述了在帧内编码模式表示“帧内N×N预测”的情况下，根据变换块尺寸识别标志0～2（32a～32c）的值，识别C0、C1、C2各颜色成分的帧内预测模式为帧内4×4预测模式还是帧内8×8预测模式。在本实施方式4中，变更该比特流排列，而如图24所示，针对C1、C2成分，以序列级别传送帧内预测模式指示标志1、2（36a，36b）。帧内预测模式指示标志在帧内编码模式下选择了帧内N×N预测模式的情况下、并且变换块尺寸识别标志指示了4×4变换的情况下、即帧内4×4预测模式的情况下有效，可以根据该值，来切换以下两个状态。
状态1：对于C1或C2成分，所使用的帧内4×4预测模式也从图3的九个中个别地选择来编码。
状态2：对于C1或C成分，将使用的帧内4×4预测模式限定于DC预测、即图3的intra4×4_pred_mode＝2，不对帧内预测模式信息进行编码。
例如，在Y、Cb、Cr那样的颜色空间中进行编码的情况下、且HDTV以上等高分辨率影像的情况下，4×4块对应于极小的图像区域。此时，与特别针对Cb、Cr成分这样的没有保持图像的纹理结构的成分提供选择九个预测模式的余地相比，将预测模式信息自身固定化成一个而不传送成为开销的预测模式信息有时更有效。通过进行这样的比特流排列，可以进行与输入颜色空间的性质、影像的特性对应的最佳的编码。
接收图24的形式的比特流的解码装置在可变长解码部25中对帧内预测模式指示标志（36a，36b）进行解码，利用该值，识别针对比特流以状态1进行了编码、还是以状态2进行了编码。由此，针对C1或C2成分，判断从比特流中解码出帧内4×4预测模式来使用、还是固定地应用DC预测即图3的intra4×4_pred_mode＝2。
另外，在本实施方式4中，在状态2中，针对C1或C2成分，限定于intra4×4_pred_mode＝2，但将预测模式信息固定成一个即可，也可以是其他预测模式。另外，也可以决定成在状态2中，针对C1或C2成分，使用与C0相同的帧内4×4预测模式。在该情况下，对于C1或C2成分，无需对帧内4×4预测模式进行编码，所以也可以削减附加位。
实施方式5
在本实施方式5中，示出图11的编码装置、图12的解码装置的其他结构例。本实施方式5中的编码装置、解码装置与上述其他实施方式同样地，以非专利文献1即MPEG－4AVC（ISO/IEC14496－10）/ITU－TH.264标准中采用的编码方式为基础，并赋予了本发明固有的特征。本实施方式5中的影像编码装置与实施方式2、3中说明的图11的编码装置相比，仅可变长编码部11的动作不同。本实施方式5中的影像解码装置与实施方式2、3中说明的图12的解码装置相比，仅可变长解码部25的动作不同。其他设为与实施方式2、3同样的动作，此处仅对差异部分进行说明。
1．编码装置中的帧内预测模式信息的编码步骤
在实施方式3的编码装置中，在其可变长编码部11中，在图16的形式的比特流中，示出了帧内N×N预测模式信息的具体的编码方法。在本实施方式5中，示出其编码步骤的其他具体方法。在本实施方式5中，其特征在于，特别关注于帧内N×N预测模式的值反映作为图像图案的纹理的结构的情形，提供在同一颜色成分中的附近像素区域内进行适应性的预测的方法。在以下说明中，以图16的形式的比特流排列为前提。另外，在本实施方式5中，设为针对每个颜色成分在C0、C1、C2的各成分的帧内N×N预测模式信息的编码中独立地进行编码，并设为对C1、C2也同样地应用C0成分的编码方法，为简化说明，仅对C0成分进行说明。对于帧内编码模式共同化识别标志33的值，设定成在C0、C1、C2中对帧内编码模式进行共同化，将帧内编码模式设为帧内N×N预测模式，将变换块尺寸识别标志0～2（32a～32c）设为4×4块。此时，帧内预测模式0～2（35a～35c）全部成为帧内4×4预测模式。将图18用作C0成分帧内N×N预测模式信息的编码步骤的说明图。在图18中，将成为编码的对象的当前宏块设为X。另外，将其左邻的宏块设为宏块A，将正上方的宏块设为宏块B。另外，图25示出编码步骤的流程图。
在实施方式3中，对于在图18中针对为各个4×4块X各分配一个的帧内4×4预测模式CurrIntraPredMode的预测值predCurrIntraPredMode，唯一地分配IntraPredModeA、IntraPredModeB中的小的值。其是在目前的AVC/H.264标准中也采用的方法，帧内N×N预测模式的值越大，预测图像生成方式成为伴随加入了图像图案的方向性的像素内插的越复杂的模式，起因于对向一般的图像图案的适合性高的模式分配小的值。在比特率低的情况下，与失真的增量相比，预测模式的代码量增量对模式选择造成更大的影响，所以在该方式下也对于整体的编码效率有益，但在相逆地比特率比较高的情况下，与预测模式的代码量的增量相比，失真的增量对模式选择造成更大的影响，所以不一定是IntraPredModeA、IntraPredModeB中的小的值最适合。根据这样的观察，在本实施方式5中，通过如以下说明使该预测值设定根据IntraPredModeA、IntraPredModeB的状态适应化，提高预测值的精度。在该步骤中，作为判断为在视为图像图案的情况下可以最佳地推测CurrIntraPredMode的值，根据IntraPredModeA、IntraPredModeB的状态，决定predCurrIntraPredMode（步骤S73，S74，S75）。
（1）在IntraPredModeA、IntraPredModeB都处于0至2的范围内时，将MIN（IntraPredModeA、IntraPredModeB）设为predCurrIntraPredMode。
（2）在IntraPredModeA、IntraPredModeB中的某一个是3以上时、且IntraPredModeA、IntraPredModeB的预测的方向完全不同时（例：IntraPredModeA是3、且IntraPredModeB是4时），将DC预测（intra4×4_pred_mode＝2）设为predCurrIntraPredMode。
（3）在IntraPredModeA、IntraPredModeB中的某一个是3以上时、且预测的方向相同时（例：IntraPredModeA是3、且IntraPredModeB是7时（都是从右上的预测）），将对像素进行内插的预测模式（在上述的例子中7）设为predCurrIntraPredMode。
另外，与实施方式3同样地，在事先进行用于IntraPredModeA、IntraPredModeB等编码的准备处理（步骤S50，S53，S59）。结果，从IntraPredModeA、IntraPredModeB的值中唯一地导出predCurrIntraPredMode。图26示出对该预测值设定的规则进行表化的内容。在图26中附加了网格阴影的部分是没有按照以往的MIN（IntraPredModeA、IntraPredModeB）的规则的情形、且是从图像图案的连续性判断出更佳的预测值的情形。在上述步骤（1）中，使用类别0的表。在（2）、（3）中使用类别1的表。
以上的结果，在决定了predCurrIntraPredMode之后，执行实施方式3中叙述的C0成分的剩余的编码步骤，从而完成编码（步骤S52，S58，S64）。
即，成为
也可以针对帧内8×8预测模式同样地定义以上叙述的编码步骤。通过这样的步骤对帧内N×N预测模式进行编码，从而可以更良好地利用同一颜色成分的附近像素区域中的预测模式的相关，可以削减预测模式自身的代码量，提高编码效率。
2．解码装置中的帧内预测模式信息的解码步骤
在实施方式3的解码装置中，针对图16的形式的比特流，示出了可变长解码部25中的帧内N×N预测模式的信息的具体的解码步骤的一个。在本实施方式5中，示出解码步骤的其他具体方法。在本实施方式5中，其特征在于，特别关注于帧内N×N预测模式的值反映作为图像图案的纹理的结构的情形，对于在同一颜色成分中的附近像素区域内进行适应性的预测而进行编码得到的比特流进行解码。
在以下说明中，以图16的形式的比特流排列为前提。另外，为简化说明，对于比特流中的帧内编码模式共同化识别标志33的值，设定成在C0、C1、C2中对帧内编码模式进行共同化。另外，将帧内编码模式指定为帧内N×N预测模式，将变换块尺寸识别标志0～2（32a～32c）指定为4×4块。此时，帧内预测模式0～2（35a～35c）全部成为帧内4×4预测模式。与编码装置同样地，在解码装置中，也使用图18的关系，仅对C0成分进行说明（通过等同的步骤与C0独立地对C1、C2进行解码）。在解码装置中，将成为解码的对象的当前宏块设为X。另外，将其左邻的宏块设为宏块A，将正上方的宏块设为宏块B。
在实施方式3中，也如编码装置的说明记载，对于在图18中针对为各个4×4块X各分配一个的帧内4×4预测模式CurrIntraPredMode的预测值predCurrIntraPredMode，唯一地分配IntraPredModeA、IntraPredModeB中的小的值。相对于此，在本实施方式5的解码装置中，通过与编码步骤中示出的步骤完全相同的步骤，使用图26的表，决定predCurrIntraPredMode。由于IntraPredModeA、IntraPredModeB已经被解码而既知，所以可以进行与编码步骤完全相同的处理。
之后的步骤与实施方式3中叙述的C0成分的解码步骤等价。在汇总时，如下所述。
也可以针对帧内8×8预测模式同样地定义以上叙述的解码步骤。通过这样的步骤对帧内N×N预测模式进行解码，从而可以更良好地利用同一颜色成分的附近像素区域中的预测模式的相关，可以对削减了预测模式自身的代码量的编码比特流进行解码。
另外，在上述例子中，固定地使用图26的表，决定predCurrIntraPredMode，而进行编码·解码，但也可以构成为将图26的表作为初始值，一边将相对IntraPredModeA、IntraPredModeB的状态最易发生的帧内预测模式设为predCurrIntraPredMode而逐次更新，一边进行编码·解码。例如，在图26的成为“类别＝0、IntraPredModeA＝0、IntraPredModeB＝0、predCurrIntraPredMode＝0”的组合中，在上述实施方式中IntraPredModeA＝0、IntraPredModeB＝0的情况下，总是将predCurrIntraPredMode设为0。但是，由于影像信号自身是非恒定信号，所以根据影像的内容，无法保证该组合一定为最佳。在最坏的情况下，在影像整体中，在大部分的情形中，predCurrIntraPredMode作为预测值不合适的可能性也并非零。因此，例如，对在IntraPredModeA＝0、IntraPredModeB＝0的情况下发生的CurrIntraPredMode的频度进行计数，每当CurrIntraPredMode的编码·解码结束时，利用相对IntraPredModeA、IntraPredModeB的状态发生频度最高的预测模式更新predCurrIntraPredMode。通过这样的结构，可以将CurrIntraPredMode的编码·解码中使用的预测值按照影像内容设定成最佳的值。
实施方式6
在本实施方式6中，示出图11的编码装置、图12的解码装置的其他结构例。本实施方式6中的编码装置、解码装置与上述其他实施方式同样地，以非专利文献1即MPEG－4AVC（ISO/IEC14496－10）/ITU－T H.264标准中采用的编码方式为基础，并赋予了本发明固有的特征。本实施方式6中的影像编码装置与实施方式2、3、以及5中说明的图11的编码装置相比，仅可变长编码部11的动作不同。本实施方式6中的影像解码装置与实施方式2、3、以及5中说明的图12的解码装置相比，仅可变长解码部25的动作不同。其他设为与实施方式2、3、以及5同样的动作，此处仅对差异部分进行说明。
1．编码装置中的帧内预测模式信息的编码步骤
在实施方式3、实施方式5的编码装置中，对于图16的形式的比特流，示出了帧内N×N预测模式信息的具体的编码方法。在本实施方式6中，示出其编码步骤的其他具体方法。在本实施方式6中，其特征在于，特别关注于帧内N×N预测模式的值反映作为图像图案的纹理的结构的情形，提供在同一颜色成分中的附近像素区域内进行适应性的算术编码的方法。在以下说明中，以图16的形式的比特流排列为前提。另外，在本实施方式6中，设为针对每个颜色成分，在C0、C1、C2的各成分的帧内N×N预测模式信息的编码中，独立地进行编码，并设为对C1、C2也同样地应用C0成分的编码方法，为简化说明，仅对C0成分进行说明。对于帧内编码模式共同化识别标志33的值，设定成在C0、C1、C2中对帧内编码模式进行共同化，将帧内编码模式设为帧内N×N预测模式，将变换块尺寸识别标志0～2（32a～32c）设为4×4块。此时，帧内预测模式0～2（35a～35c）全部成为帧内4×4预测模式。将图18用作C0成分帧内N×N预测模式信息的编码步骤的说明图。在图18中，将成为编码的对象的当前宏块设为X。另外，将其左邻的宏块设为宏块A，将正上方的宏块设为宏块B。另外，图27示出编码步骤的流程图。
在实施方式3、5中，对于在图18中针对让各个4×4块X各分配一个的帧内4×4预测模式CurrIntraPredMode的预测值predCurrIntraPredMode，唯一地分配IntraPredModeA、IntraPredModeB中的小的值，在与其相等的情况下，将prev_intra_pred_mode_flag设为1，而结束针对块X的帧内4×4预测模式的编码，在不同的情况下，利用rem_intra_pred_mode来传送代码。在本实施方式中，利用IntraPredModeA、IntraPredModeB的状态，对CurrIntraPredMode直接进行算术编码。此时，使用依照AVC/H.264标准中采用的上下文适应二值算术编码的编码步骤。
首先，按照图28所示的形式，对编码对象的CurrIntraPredMode进行二值表现化（步骤76）。二值序列的第一格（bin）成为分类CurrIntraPredMode是纵向预测还是横向预测的代码（参照图3）。在该例子中，将DC预测（intra4×4_pred_mode＝2）分类成横向预测，但其也可以分类成纵向预测。第二格针对在纵向、横向各自中被认为出现频度最高的预测模式值提供Terminate比特。第三格以后是在残存的预测模式值中从出现频度最高的开始依次被Terminate那样地构成代码（优选根据实际的图像数据编码的过程中的符号发生概率，来设定图28中的二值序列结构的第二格以后）。
一边针对二值序列的各格依次选择所使用的（0，1）发生概率表，一边执行算术编码。在第一格的编码中，如下所述决定算术编码中使用的上下文（步骤S78）。
上下文A（CA）：相对IntraPredModeA、IntraPredModeB，定义对帧内预测模式是纵向预测还是横向预测进行二进制表现的标志intra_pred_direction_flag，将以下四个状态设为上下文值。
CA＝（intra_pred_direction_flag for IntraPredModeA＝＝1）+（intra_pred_direction_flag for IntraPredModeB＝＝1）;
此处，intra_pred_direction_flag例如在图3中，在intra4×4_pred_mode取值0、3、5、7的情况下分类成纵向预测（＝0），在取值1、2、4、6、8的情况下分类成横向预测（＝1）。在CA的4状态中，分别预先求出以IntraPredModeA、IntraPredModeB的状态为前提的CurrIntraPredMode的条件附加概率，分配据此决定的（0，1）的初始发生概率表。通过这样构成上下文，可以更良好地推测第一格的条件附加发生概率，可以提高算术编码的效率。根据CA的值，选择第一格的发生概率表，执行算术编码。另外，利用编码值而更新发生概率表（步骤S79）。
对于第二格以后，预先分配根据各预测模式值的发生概率决定的（0，1）的初始发生概率表（步骤S80）。接下来，与第一格同样地，进行二值算术编码、发生概率表更新（步骤S81）。
也可以针对帧内8×8预测模式同样地定义以上叙述的编码步骤。通过这样的步骤对帧内N×N预测模式进行编码，从而可以利用同一颜色成分的附近像素区域中的预测模式的相关，在预测模式信息的编码中应用适应算术编码，所以可以提高编码效率。
2．解码装置中的帧内预测模式信息的解码步骤
在实施方式3、5的解码装置中，对图16的形式的比特流，示出了可变长解码部25中的帧内N×N预测模式的信息的具体的解码步骤的一个。在本实施方式6中，示出解码步骤的其他具体方法。在本实施方式6中，其特征在于，特别关注于帧内N×N预测模式的值反映作为图像图案的纹理的结构的情形，对于在同一颜色成分中的附近像素区域内使用适应性的算术编码进行编码得到的比特流进行解码。
在以下说明中，以图16的形式的比特流排列为前提。另外，为简化说明，对于比特流中的帧内编码模式共同化识别标志33的值，设定成在C0、C1、C2中对帧内编码模式进行共同化。另外，将帧内编码模式指定为帧内N×N预测模式，将变换块尺寸识别标志0～2（32a～32c）指定为4×4块。此时，帧内预测模式0～2（35a～35c）全部成为帧内4×4预测模式。与编码装置同样地，在解码装置中，也使用图18的关系，仅对C0成分进行说明（通过等同的步骤与C0独立地对C1、C2进行解码）。在解码装置中，将成为解码的对象的当前宏块设为X。另外，将其左邻的宏块设为宏块A，将正上方的宏块设为宏块B。
在实施方式3、5中，也如编码装置的说明记载，对于在图18中针对让各个4×4块X各分配一个的帧内4×4预测模式CurrIntraPredMode的预测值predCurrIntraPredMode，唯一地分配IntraPredModeA、IntraPredModeB中的小的值，对prev_intra_pred_mode_flag进行解码，在其值是1的情况下，将predCurrIntraPredMode用作CurrIntraPredMode，在prev_intra_pred_mode_flag是零的情况下，对rem_intra_pred_mode进行解码，从而还原块X的帧内4×4预测模式。相对于此，在本实施方式6中，利用IntraPredModeA、IntraPredModeB的状态，对CurrIntraPredMode直接进行算术解码。此时，使用依照AVC/H.264标准中采用的上下文适应二值算术解码的解码步骤。
解码对象的CurrIntraPredMode设为按照图28所示的形式编码成二值序列，从左端依次对该序列进行二值算术解码。如本实施方式6的编码步骤的说明，二值序列的第一格成为分类CurrIntraPredMode是纵向预测还是横向预测的代码（参照图3），第二格以后是在预测模式值中从出现频度高的开始依次被Terminate那样地构成代码。对于该代码结构的理由，如编码步骤所述。
在解码处理中，首先，在第一格的解码时，决定与编码步骤中使用的上下文相同的CA。根据CA的值，选择第一格的发生概率表，执行算术解码，还原第一格。另外，利用解码值来更新发生概率表。
对于第二格以后，预先分配根据各预测模式值的发生概率决定的（0，1）的初始发生概率表。接下来，与第一格同样地，进行二值算术解码、发生概率表更新。图28的二值序列构成为可以唯一地确定各预测模式值，所以可以在还原了规定数量的格时逐次解码CurrIntraPredMode。
也可以针对帧内8×8预测模式同样地定义以上叙述的解码步骤。通过这样的步骤对帧内N×N预测模式进行解码，从而可以对通过利用同一颜色成分的附近像素区域中的预测模式的相关的算术编码而削减了预测模式自身的代码量的编码比特流进行解码。
在上述例子中，对于图28的表还考虑了其他变动。例如，也可以是构成图29那样的二值序列的方法。此处，在第一格中使用以下的上下文B。
上下文B（CB）：相对IntraPredModeA、IntraPredModeB，定义对帧内预测模式是DC预测还是并非DC预测进行二进制表现的标志intra_dc_pred_flag，将以下四个状态设为上下文值。
CA＝（intra_dc_pred_flag for IntraPredModeA＝＝1）+（intra_dc_pred_flagfor IntraPredModeB＝＝1）;
此处，intra_dc_pred_flag在图3中，在intra4×4_pred_mode取值2的情况下设定成1，在取其他值的情况下设定成0。在CB的四个状态中，分别预先求出以IntraPredModeA、IntraPredModeB的状态为前提的CurrIntraPredMode的条件附加概率，分配据此决定的第一格的值（0，1）的初始发生概率表。在图29中设计成，在CurrIntraPredMode是DC预测的情况下，第一格取值0，在DC预测以外的情况下第一格取值1。另外，设为在第二格中，使用上述上下文A（CA）。通过这样构成上下文，可以相对第一格以及第二格都更良好地推测条件附加发生概率，可以提高算术编码的效率。
实施方式7
在本实施方式7中，说明按照将以4:4:4格式输入的影像帧均等分割成16×16像素的矩阵区域（宏块）而得到的单位来使用帧之间预测进行编码的编码装置、以及对应的解码装置。另外，本编码装置、解码装置以MPEG－4AVC（ISO/IEC14496－10）/ITU－T H.264标准（以下AVC）中采用的编码方式为基础，并赋予了本发明固有的特征。
图30示出本实施方式7中的影像编码装置的结构，图31示出本实施方式7中的影像解码装置的结构。在图31中，附加了与图30的编码装置的结构要素相同标号的要素表示同一要素。
以下，根据这些图，对编码装置以及解码装置整体的动作、本实施方式7的特征性的动作即帧间预测模式判定处理与运动补偿预测解码处理进行说明。
1．编码装置的动作概要
在图30的编码装置中，对于输入影像信号1，设各个影像帧是4:4:4格式，并且按照将三个颜色成分分割成同一尺寸的宏块并汇总而得到的单位，向编码装置输入。
首先，在运动补偿预测部102中，从存储在存储器16中的一个帧以上的运动补偿预测参照图像数据中选择一个帧的参照图像，按照该宏块的单位，针对各颜色成分的每一个，进行运动补偿预测处理。针对各颜色成分的每一个，准备三个的存储器（在本实施方式中说明为三个，但也可以通过设计而适宜地变更）。在进行运动补偿预测的块尺寸中，准备七种，首先在宏块单位中，可以如图32（a）至（d）所示，选择16×16、16×8、8×16、以及8×8中的某一个尺寸。进而，在选择了8×8的情况下，针对各8×8块的每一个，如图32（e）至（h）所示，可以选择8×8、8×4、4×8、以及4×4中的某一个尺寸。对于选择的尺寸信息，宏块单位的尺寸信息作为宏块类型而输出，8×8块单位的尺寸信息作为子宏块类型而输出。另外，针对各个块的每一个，输出所选择的参照图像的识别号码与运动矢量信息。
本实施方式7中的影像编码装置的特征在于，根据帧间预测模式共同化识别标志123，切换针对三个颜色成分的运动补偿预测处理方法。对于该点，在下述2中详述。
在运动补偿预测部102中，对图32所示的所有块尺寸或子块尺寸、以及规定的搜索范围的所有运动矢量137以及可以选择的一个以上的参照图像，执行运动补偿预测处理，利用运动矢量137、一个参照图像、以及减法器3得到预测差分信号4。预测差分信号4在编码模式判定部5中被评价其预测效率，输出从由运动补偿预测部102执行的预测处理中，对预测对象的宏块得到了最佳的预测效率的宏块类型/子宏块类型106、运动矢量137、以及参照图像的识别号码。在选定宏块类型/子宏块类型106时，还有时加入编码控制部19的判断中决定的针对各类型的权重系数20。另外，向正交变换部8，输出通过基于所选定的类型、运动矢量137、以及参照图像的运动补偿预测而得到的预测差分信号4。正交变换部8对输入的预测差分信号4进行变换并作为正交变换系数输出给量化部9。量化部9针对输入的正交变换系数，根据利用编码控制部19决定的量化参数21进行量化，作为量化结束变换系数10输出给可变长编码部11。在可变长编码部11中利用哈夫曼编码、算术编码等手段，对量化结束变换系数10进行熵编码。另外，量化结束变换系数10经由逆量化部12、逆正交变换部13还原成局部解码预测差分信号14，利用加法器18与根据选定的宏块类型/子宏块类型106、运动矢量137、以及参照图像生成的预测图像7相加，从而生成局部解码图像15。局部解码图像15为了用于以后的运动补偿预测处理而存储在存储器16中。另外，对可变长编码部11，还输入表示是否对该宏块实施分块滤波的分块滤波控制标志24（在由运动补偿预测部102实施的预测处理中，将实施分块滤波之前的像素数据存储在存储器16中而使用，所以在编码处理中无需分块滤波处理自身，但在解码装置侧，利用分块滤波控制标志24的指示，进行分块滤波，得到最终的解码图像）。
输入给可变长编码部11的帧间预测模式共同化识别标志123、量化结束变换系数10、宏块类型/子宏块类型106、运动矢量137、参照图像识别号码、量化参数21按照规定的规则（语法）被排列·整形成比特流，输出给发送缓冲器17。在发送缓冲器17中，与连接了编码装置的传送路的频带、记录介质的读出速度匹配地，对比特流进行平滑化而作为视频流22输出。另外，根据发送缓冲器17中的比特流积蓄状况，向编码控制部19实施反馈，对以后的影像帧的编码中的发生代码量进行控制。
2．编码装置中的帧间预测模式判定处理
对本实施方式7的编码装置的特征即帧间预测模式判定处理进行详述。另外，在以下的记述中，帧间预测模式是指，成为上述运动补偿预测的单位的块尺寸、即宏块类型/子宏块类型，帧间预测模式判定处理是指，选定宏块类型/子宏块类型、运动矢量、以及参照图像的处理。在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位实施，主要利用图30的编码装置中的运动补偿预测部102、编码模式判定部5进行。另外，图33示出表示本处理的流程的流程图。以下，将构成块的三个颜色成分的图像数据设为C0、C1、C2。
首先，编码模式判定部5接收帧间预测模式共同化识别标志123，根据该值判断在C0、C1、C2中是否使用共同的帧间预测模式、共同的运动矢量137、以及共同的参照图像（图33的步骤S100）。在共同化的情况下，进入到步骤S101以后，否则进入到步骤S102以后。
在C0、C1、C2中对帧间预测模式与运动矢量137以及参照图像进行共同化的情况下，编码模式判定部5对运动补偿预测部102，通知可以选择的所有帧间预测模式、运动矢量搜索范围以及参照图像，运动补偿预测部102评价其所有的预测效率，选择在C0、C1、C2中共同的最佳的帧间预测模式、运动矢量137以及参照图像（步骤S101）。
在C0、C1、C2中不对帧间预测模式与运动矢量137以及参照图像进行共同化，而在C0、C1、C2中分别选择最佳的模式的情况下，编码模式判定部5对运动补偿预测部102，通知在Ci（i<＝0<3）成分中可以选择的所有的帧间预测模式、运动矢量搜索范围以及参照图像，运动补偿预测部102评价其所有的预测效率，选择Ci（i<＝0<3）成分中的最佳的帧间预测模式、运动矢量137以及参照图像（步骤S102、S103、S104）。
作为由运动补偿预测部102进行的预测模式的预测效率评价的规范，例如可以使用通过Jm、v、r＝Dm、v、r+λRm、v、r（λ：正数）提供的速率·失真成本。此处，Dm、v、r是应用了帧间预测模式m、规定范围的运动矢量v以及参照图像r时的编码失真或预测误差量。编码失真是指，应用帧间预测模式m、运动矢量v以及参照图像r而得到预测误差，对预测误差进行变换·量化，根据其结果，对影像进行解码而测量针对编码前的信号的误差而得到的。预测误差量是指，得到应用了帧间预测模式m、运动矢量v以及参照图像r时的预测图像与编码前的信号的差分，对该差分的大小进行定量化而得到的，例如使用差分绝对值和（Sum ofAbsolute Distance:SAD）等。Rm、v、r是应用了帧间预测模式m、运动矢量v以及参照图像r时的发生代码量。即，Jm、v、r是规定应用了帧间预测模式m以及运动矢量v与参照图像r时的代码量与劣化度的折衷的值，提供最小的Jm、v、r的帧间预测模式m、运动矢量v以及参照图像r提供最佳解。
在编码装置进行了步骤S101以后的处理的情况下，对包括三个颜色成分的宏块，分配一组帧间预测模式与运动矢量137以及参照图像的信息。另一方面，在进行了步骤S102以后的处理的情况下，对各颜色成分分别分配帧间预测模式信息与运动矢量137以及参照图像。因此，对宏块分配的帧间预测模式、运动矢量137以及参照图像的信息不同，所以需要将帧间预测模式共同化识别标志123多路复用到比特流，而可以在解码装置侧识别编码装置进行了S101以后的处理过程、还是进行了S102以后的处理过程。图34示出这样的比特流的数据排列。
图34示出宏块的级别中的比特流的数据排列，宏块类型表示是帧内还是帧间，在帧间模式时包括表示成为运动补偿的单位的块尺寸的信息。子宏块类型仅在宏块类型中选择了8×8块尺寸的情况下被多路复用，包括各8×8块的每一个的块尺寸信息。基本宏块类型128与基本子宏块类型129在帧间预测模式共同化识别标志123表示“在C0、C1、C2中共同”的情况下表示共同宏块类型以及共同子宏块类型，否则表示针对C0的宏块类型以及子宏块类型。扩展宏块类型130以及扩展子宏块类型131仅在帧间预测模式共同化识别标志123表示并非“在C0、C1、C2中共同”的情况下对C1、C2分别进行多路复用，表示针对C1、C2的宏块类型以及子宏块类型。
参照图像识别号码是用于确定针对成为运动补偿单位的8×8块尺寸以上的块的每一个所选择的参照图像的信息。在帧间形式的帧时，可以选择的参照图像是一个帧，所以针对每一个块多路复用一个参照图像识别号码。对于运动矢量信息，针对成为运动补偿单位的块的每一个，对一组的运动矢量信息进行多路复用。对于参照图像识别号码以及运动矢量信息，需要多路复用成为包含在宏块中的运动补偿的单位的块的个数。基本参照图像识别号码132以及基本运动矢量信息133在帧间预测模式共同化识别标志123表示是“在C0、C1、C2中共同”的情况下，表示共同的参照图像识别号码以及共同的运动矢量信息，否则表示针对C0的参照图像识别号码以及运动矢量信息。扩展参照图像识别号码134以及扩展运动矢量信息135仅在帧间预测模式共同化识别标志123表示并非“在C0、C1、C2中共同”的情况下对C1、C2分别进行多路复用，表示针对C1、C2的参照图像识别号码以及运动矢量信息。
接下来，对量化参数21、量化结束变换系数10进行多路复用（在图34中不包括在图30中输入给可变长编码部11的分块滤波控制标志24，但由于并非为了说明本实施方式7的特征而所必需的结构要素，所以省略）。
在以往的影像编码标准中采用的4:2:0格式中，虽然颜色空间的定义被固定成Y、Cb、Cr，但在4:4:4格式中不限于Y、Cb、Cr而可以利用多样的颜色空间。通过如图34所示构成帧间预测模式信息，在输入影像信号1的颜色空间的定义涉及多种的情况下，也可以进行最佳的编码处理。例如，在用RGB定义了颜色空间的情况下，在R、G、B的各成分中均等地残存影像纹理的结构的区域中，使用共同的帧间预测模式信息与共同的运动矢量信息，从而可以削减帧间预测模式信息与运动矢量信息自身的冗余性而提高编码效率。相对于此，例如在完全没有红色的区域（R成分是0）中，对R成分最佳的帧间预测模式和运动矢量信息、与对G、B成分最佳的帧间预测模式和运动矢量信息应该不同。此处，通过适应性地利用扩展帧间预测模式与扩展参照图像识别信息以及扩展运动矢量信息，可以得到最佳的编码效率。
3．解码装置的动作概要
图31的解码装置接收从图30的编码装置中输出的按照图34的排列的视频流22，按照三个颜色成分是同一尺寸（4:4:4格式）的宏块的单位，进行解码处理，还原各个影像帧。
首先，可变长解码部25将流22作为输入，按照规定的规则（语法）解读视频流22，抽出帧间预测模式共同化识别标志123、量化结束变换系数10、宏块类型/子宏块类型106、参照图像识别号码、运动矢量信息、以及量化参数21等信息。量化结束变换系数10与量化参数21一起被输入给逆量化部12，进行逆量化处理。接下来，其输出被输入给逆正交变换部13，而还原成局部解码预测差分信号14。另一方面，对运动补偿预测部102输入宏块类型/子宏块类型106、帧间预测模式共同化识别标志123、运动矢量137以及参照图像识别号码，按照这些信息得到预测图像7。对于得到预测图像7的具体步骤，在后面叙述。利用加法器18对局部解码预测差分信号14与预测图像7进行加法运算，得到暂定解码图像15（其是与编码装置中的局部解码图像15完全相同的信号）。为了用于以后的宏块的运动补偿预测，而将暂定解码图像15写回到存储器16。针对各颜色成分的每一个，准备三个存储器（在本实施方式中说明为三个，但也可以通过设计而适宜地变更）。另外，根据利用可变长解码部25解读的分块滤波控制标志24的指示，使分块滤波器26作用于暂定解码图像15，得到最终的解码图像27。
4．解码装置中的帧间预测解码处理
图31的解码装置接收从图30的编码装置中输出的按照图34的排列的视频流22，按照三个颜色成分是同一尺寸（4:4:4格式）的宏块的单位，进行解码处理，还原各个影像帧。
针对本实施方式7的解码装置的特征即帧间预测图像生成处理进行详述。在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位来实施，主要利用图31的解码装置中的可变长解码部25、运动补偿预测部102进行。另外，图35示出表示本处理中的由可变长解码部25进行的处理流程的流程图。
向可变长解码部25的输入即视频流22按照图34的数据排列。在步骤S110中，对图34的数据中的对帧间预测模式共同化识别标志123进行解码（步骤S110）。进而，对基本宏块类型128以及基本子宏块类型129进行解码（步骤S111）。在步骤S112中，使用帧间预测模式共同化识别标志123的结果，来判断是否在C0、C1、C2中对帧间预测模式进行共同化，在共同化的情况下（在步骤S112中“是”），设为对C0、C1、C2的全部，使用基本宏块类型128以及基本子宏块类型129，否则（在步骤S112中“否”）将基本宏块类型128以及基本子宏块类型129用作C0的模式，进而针对C1、C2分别对扩展宏块类型130以及扩展子宏块类型131进行解码（步骤S113），得到C1、C2的帧间预测模式信息。接下来，对基本参照图像识别号码132与基本运动矢量信息133进行解码（步骤S114），在帧间预测模式共同化识别标志123表示“在C0、C1、C2中共同化”的情况下（在步骤S115中“是”），对C0、C1、C2的全部使用基本参照图像识别号码132以及基本运动矢量信息133，否则（在步骤S115中“否”），将基本参照图像识别号码132以及基本运动矢量信息133用作C0的信息，进而针对C1、C2分别对扩展参照图像识别号码134以及扩展运动矢量信息135进行解码（步骤S116）。经由以上的处理过程，确定各颜色成分的宏块类型/子宏块类型106、参照图像识别号码以及运动矢量信息，所以将它们输出给运动补偿预测部102，得到各颜色成分的运动补偿预测图像。
图36示出图34的比特流数据排列的变动。在图36中，帧间预测模式共同化识别标志123并非作为宏块级别的标志，而被多路复用成切片、图片、以及序列等位于上位数据层的标志。由此，在通过切片以上的上位层中的切换，可以确保充分的预测效率的情况下，无需在宏块级别中逐一地多路复用预测模式共同化识别标志123，而可以削减附加位。
在图34、图36中，将帧间预测模式共同化识别标志123多路复用在每个宏块或切片、图片、以及序列等上位数据层，但在不多路复用帧间预测模式共同化识别标志123而按照4:4:4格式编码的情况下，也可以总是在各成分中使用不同的帧间预测模式与运动矢量信息。图37示出此时的比特流数据的排列。在图37中，不存在帧间预测模式共同化识别标志123，对序列等上位数据层多路复用指示处理4:4:4格式的输入图像的类信息136，利用该类信息的解码结果，对扩展宏块类型130、扩展子宏块类型131、扩展参照图像识别号码134、扩展运动矢量信息135进行多路复用。
实施方式8
在实施方式7中，使宏块类型/子宏块类型、运动矢量、参照图像可以针对各颜色成分的每一个分别不同，但在本实施方式8中，对以可以使宏块类型/子宏块类型和参照图像在各成分中成为共同，而仅使运动矢量在各成分中成为不同为特征的影像编码装置、影像解码装置进行记述。本实施方式8中的影像编码装置以及影像解码装置的结构与实施方式7中的图30以及图31相同，但代替帧间预测模式共同化识别标志123而使用运动矢量共同化识别标志123b这一点不同。
1．编码装置中的帧间预测模式判定处理
关于本实施方式8的编码装置的特征即帧间预测模式判定处理，以与实施方式7不同的处理为中心进行详述。
在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位实施，主要利用图30的编码装置中的运动补偿预测部102、编码模式判定部5进行。另外，图38示出表示本处理的流程的流程图。以下，将构成块的三个颜色成分的图像数据设为C0、C1、C2。
首先，编码模式判定部5接收运动矢量共同化识别标志123b，根据该值判断在C0、C1、C2中是否使用共同的运动矢量137（图37的步骤S120）。在共同化的情况下，进入到步骤S121以后，否则进入到步骤S122以后。
在C0、C1、C2中对运动矢量137进行共同化的情况下，编码模式判定部5对运动补偿预测部102，通知可以选择的所有帧间预测模式、运动矢量搜索范围以及参照图像，运动补偿预测部102评价其所有的预测效率，选择在C0、C1、C2中共同的最佳的帧间预测模式、运动矢量137以及参照图像（步骤S121）。
在C0、C1、C2中不对运动矢量137进行共同化，而在C0、C1、C2中分别选择最佳的运动矢量的情况下，编码模式判定部5对运动补偿预测部102，通知可以选择的所有的帧间预测模式、运动矢量搜索范围以及参照图像，运动补偿预测部102评价其所有的预测效率，选择在C0、C1、C2中共同的最佳的帧间预测模式与参照图像（步骤S122），进而在Ci（i<＝0<3）成分中选择最佳的运动矢量（步骤S123、S124、S125）。
运动矢量共同化识别标志123b需要多路复用到比特流而可以在解码装置侧识别。图39示出这样的比特流的数据排列。
图39示出宏块的级别中的比特流的数据排列。宏块类型128b与子宏块类型129b以及参照图像识别号码132b是“在C0、C1、C2中共同”。基本运动矢量信息133在运动矢量共同化识别标志123b表示是“在C0、C1、C2中共同”的情况下，表示共同的运动矢量信息，否则表示针对C0的运动矢量信息。扩展运动矢量信息135仅在运动矢量共同化识别标志123b表示并非“在C0、C1、C2中共同”的情况下针对C1、C2分别进行多路复用，表示针对C1、C2的运动矢量信息。图30、31中的宏块类型/子宏块类型106是图39中的宏块类型128b与子宏块类型129b的总称。
2．解码装置中的帧间预测解码处理
本实施方式8的解码装置接收从本实施方式8的编码装置中输出的按照图39的排列的视频流22，按照三个颜色成分是同一尺寸（4:4:4格式）的宏块的单位，进行解码处理，还原各个影像帧。
针对本实施方式8的解码装置的特征即帧间预测图像生成处理，以与实施方式7不同的处理为中心进行详述。在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位来实施，主要利用图31的解码装置中的可变长解码部25、运动补偿预测部102进行。另外，图40示出表示本处理中的由可变长解码部25进行的处理流程的流程图。
向可变长解码部25的输入即视频流22按照图39的数据排列。在步骤S126中，对C0、C1、C2中共同的宏块类型128b、子宏块类型129b进行解码。利用所解码的宏块类型128b或子宏块类型129b，决定成为运动补偿的单位的块尺寸，所以接下来针对成为运动补偿的单位的每一个块，对C0、C1、C2中共同的参照图像识别号码132b进行解码（步骤S127）。在步骤S128中，对运动矢量共同化识别标志123b进行解码。接下来，针对成为运动补偿的单位的块的每一个，对基本运动矢量信息133进行解码（步骤S129）。在步骤S130中，使用运动矢量共同化识别标志123b的结果，来判断是否在C0、C1、C2中对运动矢量137进行共同化，在共同化的情况下（在步骤S130中“是”），设为对C0、C1、C2的全部，使用基本运动矢量信息，否则（在步骤S130中“否”）将基本运动矢量信息133用作C0的模式，进而针对C1、C2分别对扩展运动矢量信息135进行解码（步骤S131）。经由以上的处理过程，确定各颜色成分的宏块类型/子宏块类型106、参照图像识别号码以及运动矢量信息，所以将它们输出给运动补偿预测部102，得到各颜色成分的运动补偿预测图像。
图41示出图39的比特流数据排列的变动。在图39中，运动矢量共同化识别标志123b并非作为宏块级别的标志，而被多路复用成切片、图片、以及序列等位于上位数据层的标志。由此，在通过切片以上的上位层中的切换，可以确保充分的预测效率的情况下，无需在宏块级别中逐一地多路复用运动矢量共同化识别标志123b，而可以削减附加位。
在图39、图41中，可以将运动矢量共同化识别标志123b多路复用到每个宏块或切片、图片、以及序列等上位数据层，但在不多路复用运动矢量共同化识别标志123b而按照4:4:4格式编码的情况下，也可以总是在各成分中使用不同的运动矢量信息。图42示出此时的比特流数据的排列。在图42中，不存在运动矢量共同化识别标志123b，对序列等上位数据层多路复用指示处理4:4:4格式的输入图像的类信息136，利用该类信息136的解码结果，对扩展运动矢量信息135进行多路复用。
在本实施方式8中，可以使宏块类型/子宏块类型106与参照图像针对各颜色成分成为共同，而仅使运动矢量137针对各颜色成分成为不同。由此，在通过对各颜色成分仅适应运动矢量137得到充分的预测效率的情况下，无需针对每个颜色成分对宏块类型/子宏块类型106、参照图像识别号码进行多路复用，而可以削减附加位。
实施方式9
在实施方式7中，可以利用帧间预测模式共同化识别标志123或类信息136，切换使宏块类型/子宏块类型106、运动矢量137、参照图像分别在三个成分中成为共同、或使它们针对每个颜色成分成为不同，但在本实施方式9中，假设Y、Cb、Cr形式等4:4:4格式图像，能够切换是否针对亮度成分（Y）与色差成分（Cb、Cr）设为不同（在该情况下，针对色差成分的两个成分使用共同的模式）。即，对以可以切换在三个成分中设为共同、针对各成分的每一个设为不同、或针对亮度成分与色差成分设为不同为特征的影像编码装置以及影像解码装置进行说明。本实施方式9中的影像编码装置以及影像解码装置的结构与实施方式7中的图30以及图31相同。
1．编码装置中的帧间预测模式判定处理
关于本实施方式9的编码装置的特征即帧间预测模式判定处理，以与实施方式7不同的处理为中心进行详述。
在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位实施，主要利用图30的编码装置中的运动补偿预测部102、编码模式判定部5进行。另外，图43示出表示本处理的流程的流程图。以下，将构成块的三个颜色成分的图像数据设为C0、C1、C2。
首先，编码模式判定部5接收帧间预测模式共同化识别标志123，根据该值判断在C0、C1、C2中是否使用共同的帧间预测模式与共同的运动矢量137以及共同的参照图像（图43的步骤S132）。在共同化的情况下，进入到步骤S133以后，否则进入到步骤S134以后或步骤S137以后。
在C0、C1、C2中对帧间预测模式与运动矢量137以及参照图像进行共同化的情况下，编码模式判定部5对运动补偿预测部102，通知可以选择的所有帧间预测模式、运动矢量搜索范围以及参照图像，运动补偿预测部102评价其所有的预测效率，选择在C0、C1、C2中共同的最佳的帧间预测模式、运动矢量137以及参照图像（步骤S133）。
在C0、C1、C2中不对帧间预测模式与运动矢量137以及参照图像进行共同化，而在C0、C1、C2中分别选择最佳的模式的情况下，编码模式判定部5对运动补偿预测部102，通知可以在Ci（i<＝0<3）成分中选择的所有的帧间预测模式、运动矢量搜索范围以及参照图像，运动补偿预测部102评价其所有的预测效率，选择Ci（i<＝0<3）成分中的最佳的帧间预测模式、运动矢量137以及参照图像（步骤S134、S135、S136）。
在C1、C2中对帧间预测模式与运动矢量137以及参照图像进行共同化，在C0（相当于亮度成分）与C1、C2（相当于色差成分）中分别选择最佳的模式的情况下，编码模式判定部5对运动补偿预测部102，通知在C0成分中可以选择的所有帧间预测模式、运动矢量搜索范围以及参照图像，运动补偿预测部102评价其所有的预测效率，选择C0成分中的最佳的帧间预测模式、运动矢量137以及参照图像（步骤S137）。进而，通知在C1、C2成分中可以选择的所有帧间预测模式、运动矢量搜索范围以及参照图像，运动补偿预测部102评价其所有的预测效率，选择在C1、C2中共同的最佳的帧间预测模式、运动矢量137以及参照图像（步骤S138）。
本实施方式9中的编码装置输出的比特流的数据排列与图34相同，但在帧间预测模式共同化识别标志123表示是“在C1、C2中共同”的情况下，扩展宏块类型130、扩展子宏块类型131、扩展参照识别号码134、扩展运动矢量信息135是对C1、C2共同的信息。
2．解码装置中的帧间预测解码处理
本实施方式9的解码装置接收从本实施方式9的编码装置中输出的按照图34的排列的视频流22，按照三个颜色成分是同一尺寸（4:4:4格式）的宏块的单位，进行解码处理，还原各个影像帧。
针对本实施方式9的解码装置的特征即帧间预测图像生成处理，以与实施方式7不同的处理为中心进行详述。在本处理中，按照将上述三个颜色成分汇总而得到的宏块的单位来实施，主要利用图31的解码装置中的可变长解码部25、运动补偿预测部102进行。另外，图44示出表示本处理中的由可变长解码部25进行的处理流程的流程图。
向可变长解码部25的输入即视频流22按照图34的数据排列。在步骤S140中，对图34的数据中的帧间预测模式共同化识别标志123进行解码（步骤S140）。进而，对基本宏块类型128以及基本子宏块类型129进行解码（步骤S141）。在步骤S142中，使用帧间预测模式共同化识别标志123的结果，来判断是否在C0、C1、C2中对帧间预测模式进行共同化，在共同化的情况下，设为对C0、C1、C2的全部，使用基本宏块类型128以及基本子宏块类型129，否则将基本宏块类型128以及基本子宏块类型129用作C0的模式。进而，在C1、C2中共同的情况下，在C1、C2成分中对共同的扩展宏块类型130以及扩展子宏块类型131进行解码（步骤S143）。在对C0、C1、C2使用不同的模式的情况下，针对C1、C2分别对扩展宏块类型130以及扩展子宏块类型131进行解码（步骤S144、S145、S146），得到C1、C2的模式信息。接下来，对基本参照图像识别号码132与基本运动矢量信息133进行解码（步骤S147），在帧间预测模式共同化识别标志123表示是“在C0、C1、C2中共同化”的情况下，针对C0、C1、C2的全部，使用基本参照图像识别号码132以及基本运动矢量信息133，否则将基本参照图像识别号码132以及基本运动矢量信息133用作C0的信息，进而在C1、C2中共同的情况下，对在C1、C2成分中共同的扩展参照图像识别号码134以及扩展运动矢量信息135进行解码（步骤S149）。在对C0、C1、C2使用不同的模式的情况下，针对C1、C2分别对扩展参照图像识别号码134以及扩展运动矢量信息135进行解码（步骤S150、S151、S152）。经由以上的处理过程，确定各颜色成分的宏块类型/子宏块类型106、参照图像识别号码以及运动矢量信息，所以将它们输出给运动补偿预测部102，得到各颜色成分的运动补偿预测图像。
另外，在比特流的数据排列中，图36的情况也同样地，在帧间预测模式共同化识别标志123表示是“在C1、C2中共同”的情况下，扩展宏块类型130、扩展子宏块类型131、扩展参照识别号码134、扩展运动矢量信息135是对C1、C2共同的信息，将按照图36所示的数据的排列的视频流作为输入输出的影像编码装置以及影像解码装置的动作与图34的情况相同。
在本实施方式9中，可以使宏块类型/子宏块类型106、运动矢量137、参照图像针对每个颜色成分分别成为不同，但也可以设为宏块类型/子宏块类型106与参照图像在各成分中成为共同，而切换仅使运动矢量137在三个成分中成为共同、针对各成分的每一个成为不同、或者在C1、C2中共同化并在C0与C1、C2中分别选择最佳的。此时的比特流的数据排列依照图39或图41，在该情况下，在帧间预测模式共同化识别标志123表示是“在C1、C2中共同”的情况下，扩展运动矢量信息135是相对C1、C2共同的信息。
实施方式10
在本实施方式10中，叙述了在实施方式7中叙述的编码装置的可变长编码部11中对输入的运动矢量137进行编码并多路复用到比特流中的方法、和在对应的解码装置的可变长解码部25中从比特流中解码出运动矢量137的方法。
图45是在图30所示的编码装置的可变长编码部11的一部分中，对运动矢量137进行编码的运动矢量编码部的结构。
叙述将三个颜色成分（C0、C1、C2）的运动矢量137按照C0、C1、C2的顺序多路复用在比特流中的方法。
将C0的运动矢量137设为mv0。利用运动矢量预测部111，求出C0的运动矢量137的预测矢量（mvp0）。如图46所示，从存储器中取得与编码对象的运动矢量（mv0）所处的块邻接的块（图46的A、B、C）的运动矢量（mvA0、mvB0、mvC0）。另外，设为A、B、C的运动矢量137已经被多路复用在比特流中。作为mvp0计算出mvA0、mvB0、mvC0的中央值。向差分运动矢量计算部112输入所计算出的预测矢量mvp0与编码对象的运动矢量mv0。在差分运动矢量计算部112中，计算出mv0与mvp0的差分矢量（mvd0）。向差分运动矢量可变长编码部113输入所计算出的mvd0，利用哈夫曼编码、算术编码等手段进行熵编码。
接下来，对C1的运动矢量（mv1）进行编码。利用运动矢量预测部111，求出C1的运动矢量137的预测矢量（mvp1）。如图46所示，从存储器16中取得与编码对象的运动矢量（mv1）所处的块邻接的块的运动矢量（mvA1、mvB1、mvC1）和与mv1所处的块相同位置的C0的运动矢量（mv0）。另外，设为A、B、C的运动矢量137已经被多路复用到比特流中。作为mvp1计算出mvA1、mvB1、mvC1、mv0的中央值。向差分运动矢量计算部112输入所计算出的预测矢量mvp1与编码对象的运动矢量mv1，计算出mv1与mvp1的差分运动矢量（mvd1＝mv1－mvp1）。向差分运动矢量可变长编码部113输入所计算出的mvd1，利用哈夫曼编码、算术编码等手段进行熵编码。
接下来，对C2的运动矢量（mv2）进行编码。利用运动矢量预测部111，求出C2的运动矢量137的预测矢量（mvp2）。如图46所示，从存储器中取得与编码对象的运动矢量（mv2）所处的块邻接的块的运动矢量（mvA2、mvB2、mvC2）和与mv2所处的块相同位置的C0以及C1的运动矢量（mv1、mv2）。作为mvp2计算出mvA2、mvB2、mvC2、mv0、mv1的中央值。向差分运动矢量计算部112输入所计算出的预测矢量mvp2与编码对象的运动矢量mv2，计算出mv2与mvp2的差分运动矢量（mvd2＝mv2－mvp2）。向差分运动矢量可变长编码部113输入所计算出的mvd2，利用哈夫曼编码、算术编码等手段进行熵编码。
图47示出在图31所示的解码装置的可变长解码部25的一部分中、对运动矢量137进行解码的运动矢量解码部250的结构。
在运动矢量解码部250中，对按照C0、C1、C2的顺序多路复用到视频流22中的三个颜色成分的运动矢量137进行解码。
利用差分运动矢量可变长解码部251，抽出被多路复用在视频流22中的三个颜色成分（C0、C1、C2）的差分运动矢量（mvd0、mvd1、mvd2）并进行可变长解码。
利用运动矢量预测部252，计算出C0、C1、C2的运动矢量137的预测矢量（mvp0、mvp1、mvp2）。预测矢量的计算方法与编码装置的运动矢量预测部111相同。
接下来，利用运动矢量计算部253，对差分运动矢量与预测矢量进行加法运算，计算出运动矢量（mvi＝mvdi+mvpi（i＝0，1，2））。计算出的运动矢量137为了用作预测矢量候补而存储在存储器16中。
根据本实施方式10，在对运动矢量进行编码以及解码时，在与编码对象的运动矢量所处的块邻接的同一颜色成分块的运动矢量、和与编码对象的运动矢量所处的块在相同位置且不同的颜色成分的块的运动矢量用作预测矢量候补，所以在物体的边界区域等中与同一颜色成分内的邻接的块的运动矢量没有连续性的情况等中，将不同的颜色成分的相同位置的块的运动矢量用作预测矢量候补，从而提高运动矢量的预测效率，得到削减运动矢量的代码量的效果。
实施方式11
在本实施方式11中，叙述从实施方式7中叙述的编码装置以及解码装置中派生的其他编码装置、解码装置的实施例。本实施方式11中的编码装置·解码装置以提供如下手段为特征：根据规定的控制信号，判断是否按照个别的标题信息对宏块中的C0、C1、C2成分进行编码，将该控制信号的信息多路复用在视频流22中。另外，根据该控制信号，将C0、C1、C2成分的解码中所需的标题信息多路复用在视频流22中，并且根据该控制信号，对没有应传送的运动矢量、变换系数的信息时的跳跃（或not coded）宏块高效地进行编码。
在还包括AVC的以往的MPEG影像编码方式中，对针对编码对象的宏块不存在应传送的编码信息那样的情形特别地做出信令（signaling），从而实现将该宏块的代码量抑制为最小限的高能率编码。例如，在想要对某宏块进行编码的情况下，在运动补偿预测中使用的参照图像上，将完全相同位置的图像数据用作预测图像（即运动矢量是零），另外并且对得到的预测误差信号进行变换、量化的结果，宏块内的量化后的所有变换系数成为零的情况下，即使在解码侧进行了逆量化，得到的预测误差信号的振幅也成为零，应传送给解码装置侧的变换系数数据消失。进而，如果还结合假设运动矢量是零，则可以定义“运动矢量零、无变换系数数据”这样的特别的宏块类型。这样的宏块在以往被称为跳跃宏块或not coded宏块，正在研究通过做出特别的信令来避免传送多余的信息的技术。在AVC中，关于运动矢量的假设，设“进行图32（a）的16×16预测的情况下、并且运动矢量的编码中使用的预测值（与预测矢量mvp0、mvp1、mvp2相应）与实际的运动矢量相等的情况”这样的条件，在与该条件一致、并且没有应传送的变换系数数据的情况下，视为跳跃宏块。在以往的AVC中，在对该跳跃宏块进行编码的情况下，根据所使用的可变长编码方式，选择以下两个方法中的某一个。
方法1：对在切片内连续的跳跃宏块的数量（RUN长度）进行计数，对RUN长度进行可变长编码。
方法2：针对每个宏块，对是否为跳越宏块的指示标志进行编码。
图48示出通过各方法得到的比特流语法。图48（a）是作为可变长编码方式使用了适应哈夫曼编码的情况（方法1），图48（b）是使用了适应算术编码的情况（方法2）。在方法1的情况下，利用mb_skip_run，在方法2的情况下，利用mb_skip_flag，做出跳跃宏块的信令。MB（n）指第n个（并非跳跃）宏块的编码数据。此处，请注意对于mb_skip_run、mb_skip_flag，以将C0、C1、C2成分汇总成一个而得到的宏块为单位进行了分配。
相对于此，在本实施方式11中的编码装置·解码装置中，提供了如下方法：根据上述控制信号、即与实施方式7中叙述的帧间预测模式共同化识别标志123相当的信号的状态，针对C0、C1、C2的各成分的每一个，变更包括运动矢量等的标题信息，针对C0、C1、C2的各成分的每一个做出跳跃宏块的信令。图49、图50示出具体的比特流语法的例子。
图49示出由本实施方式11的编码装置输出，并成为本实施方式11的解码装置的输入的宏块编码数据的结构，图50示出图49中的Cn成分标题信息的编码数据的详细结构。以下，为了说明该比特流的结构的效果，以接收比特流而还原影像信号的解码装置侧的动作为中心进行说明。在解码装置的动作说明中参照图31。
对实施方式7中的帧间预测模式共同化识别标志123扩展定义，而表现成宏块标题共同化识别标志123c。宏块标题共同化识别标志123c设为如下那样指示的标志：将C0成分标题信息139a视为基本宏块标题信息，仅将C0成分标题信息139a多路复用成在C1、C2成分中也共同地使用的标题信息，或者将C1成分标题信息139b、C2成分标题信息139c分别个别地多路复用成扩展标题信息。利用可变长解码部25，从视频流22中，抽出并解码宏块标题共同化识别标志123c。在该标志表示仅将C0成分标题信息139a多路复用成在C1、C2成分中也共同地使用的标题信息的情况下，对宏块中的C0、C1、C2的所有成分，进行使用了C0成分标题信息139a的解码，在表示将C1成分标题信息139b、C2成分标题信息139c分别个别地多路复用成扩展标题信息的情况下，进行使用了宏块中的C0、C1、C2各自的成分中固有的标题信息139a～139c的解码。以下，将这一点进一步详细地作为宏块单位的处理而进行说明。
1．仅多路复用了C0成分标题信息的情况
在宏块标题共同化识别标志123c表示仅将C0成分标题信息139a多路复用成在C1、C2成分中也共同地使用的标题信息的情况下，对C0、C1、C2的所有成分，根据包含在C0成分标题信息139a中的各种宏块标题信息，进行宏块的解码。在该情况下，对C1、C2成分也共同地应用C0成分跳跃指示信息138a与C0成分标题信息139a，所以关于C1、C2成分的跳跃指示信息（138b、138c）、标题信息（139b、139c）不被多路复用在比特流中。
可变长解码部25首先对C0成分跳跃指示信息138a进行解码、评价。此处，在C0成分跳跃指示信息138a表示是“跳跃”的情况下，C0成分标题信息139a视为没有被编码，C0成分标题信息139a中的变换系数有效无效指示信息142视为是零（完全没有被编码的变换系数）。由此，C0～C2成分变换系数数据（140a～140c）视为全部没有被编码，将宏块中的量化结束变换系数10全部设为零而输出。进而，按照跳跃宏块的定义，将C0、C1、C2所有成分的运动矢量137设定成同一值而输出。
在C0成分跳跃指示信息138a表示并非“跳跃”的情况下，设为存在C0成分标题信息139a，进行其解码。在C0成分标题信息139a中，如果宏块类型128b表示帧内编码，则对帧内预测模式141、变换系数有效无效指示信息142、（如果变换系数有效无效指示信息142并非0）量化参数进行解码。此处，如果变换系数有效无效指示信息142并非零，则对C0～C2成分变换系数数据（140a～140c）进行解码而以量化结束变换系数10的形式输出。在变换系数有效无效指示信息142是零的情况下，设为C0～C2成分变换系数数据（140a～140c）全部是零，将宏块中的量化结束变换系数10全部设为零而输出。如果宏块类型128b表示帧间编码，则根据需要对子宏块类型129b进行解码，进而对参照图像识别号码132b、运动矢量信息133b、变换系数有效无效指示信息142、（如果变换系数有效无效指示信息142并非0）量化参数21进行解码。此处，如果变换系数有效无效指示信息142并非零，则对C0～C2成分变换系数数据（140a～140c）进行解码，以量化结束变换系数10的形式输出。在变换系数有效无效指示信息142是零的情况下，设为C0～C2成分变换系数数据（140a～140c）全部是零，将宏块中的量化结束变换系数10全部设为零而输出。使用通过以上动作的来自可变长解码部25的输出，按照规定的处理步骤，进行宏块的解码，这一点与实施方式7相同。
2．针对C0、C1、C2成分多路复用了各对应标题信息的情况
在宏块标题共同化识别标志123c表示将C1成分标题信息139b、C2成分标题信息139c与C0成分标题信息139a不同地分别个别地多路复用成扩展标题信息的情况下，对C0、C1、C2的各成分，根据分别对应的标题信息（139a～139c）中包含的各种宏块标题信息，进行各成分图像的解码。在该情况下，关于C1、C2成分的跳跃指示信息（138b、138c）、标题信息（139b、139c）被多路复用在比特流中。
可变长解码部25首先对C0成分跳跃指示信息138a进行解码、评价。此处，在C0成分跳跃指示信息138a表示是“跳跃”的情况下，C0成分标题信息139a视为没有被编码，C0成分标题信息139a中的变换系数有效无效指示信息142视为是零（完全没有被编码的变换系数）。由此，C0成分变换系数数据140a视为没有被编码，将C0成分中的量化结束全变换系数设为零（即，通过宏块标题共同化识别标志123c的值，C0成分跳跃指示信息138a与变换系数有效无效指示信息142的关系变化）。进而，按照C0成分跳跃时的定义，设定并输出C0成分的运动矢量137。
在C0成分跳跃指示信息138a表示并非“跳跃”的情况下，设为存在C0成分标题信息139a，进行其解码。在C0成分标题信息139a中，如果宏块类型128b表示帧内编码，则对帧内预测模式141（将帧之内的被预测对象像素的附近像素用作预测值的空间像素预测的模式）、变换系数有效无效指示信息142、（如果变换系数有效无效指示信息142并非0）量化参数21进行解码。此处，如果变换系数有效无效指示信息142并非零，则对C0成分变换系数数据进行解码而以量化结束变换系数10的形式输出。在变换系数有效无效指示信息是零的情况下，设为C0成分变换系数数据全部是零。如果宏块类型表示帧间编码，则根据需要对子宏块类型进行解码，进而对参照图像识别号码、运动矢量信息、变换系数有效无效指示信息、（如果变换系数有效无效指示信息并非0）量化参数进行解码。此处，如果变换系数有效无效指示信息并非零，则对C0成分变换系数数据进行解码，以量化结束变换系数10的形式输出。在变换系数有效无效指示信息是零的情况下，设为C0成分变换系数数据全部是零。对C1、C2也同样地进行以上处理步骤。
使用通过以上动作的来自可变长解码部25的输出，按照规定的处理步骤，进行宏块中的C0、C1、C2的各成分的解码，这一点与实施方式7相同。
以上，以解码装置侧的动作为中心进行了叙述，通过这样构成比特流，得到以下效果。首先，在以往的AVC中每个宏块中可以利用的标题信息（图50）仅为一组，需要按照该标题信息将C0～C2的所有成分汇总成一个，而进行帧内·帧间判定，进行编码。另一方面，对如4:4:4格式那样与传送图像信号的内容的的亮度信号相当的信号成分等价地包含在三个颜色成分的情况，有时起因于对输入影像信号的噪声叠加等，而对各成分产生信号特性的偏差，将C0～C2的所有成分汇总为一个而编码的方法有时不一定最佳。通过以本实施方式11中的图49、图50的比特流结构为前提，编码装置利用宏块标题共同化识别标志123c，可以针对C0～C2的各成分的每一个，选择与信号特性对应的最佳的编码模式（包括帧内·帧间编码种类的宏块类型）、运动矢量等，来进行编码，可以提高编码效率。另外，以往，按照将C0～C2的所有成分汇总成一个而得到的宏块的单位进行了编码，所以以所有成分的编码信息都不存在为条件而判定为跳跃，但在本实施方式11中，构成为针对各成分中的每一个可以通过跳跃指示信息138来判别有无编码信息，所以在仅某成分是跳跃，而其他成分并非跳跃这样的情况下，不需要将所有成分设为不跳跃，可以更高效地进行代码量的分配。另外，在编码装置中，利用可变长编码部11，根据量化结束变换系数数据10和运动矢量137·参照图像识别号码132b、宏块类型/子宏块类型106，按照在前面的实施方式11的第2段部分叙述那样的编码装置·解码装置双方唯一地规定的跳跃宏块的定义，来决定跳跃指示信息138的值。
另外，本实施方式11的编码装置·解码装置处理的比特流的结构也可以如图51所示。在该例子中，将C0、C1、C2的各成分的跳跃指示信息（138）、标题信息（139a～139c）、变换系数数据（140a～140c）分别汇总配置。此时，对于跳跃指示信息138，既可以分别用一个比特的代码符号来排列C0、C1、C2的各状态，也可以将八个状态汇总成一个代码符号来编码。在颜色成分间在跳跃状态中相关高的情况下，将代码符号汇总而适当地定义算术编码的上下文模型（在实施方式12中后述），从而还可以提高跳跃指示信息138自身的编码效率。
另外，宏块标题共同化识别标志123c也可以按照宏块、切片、图片、以及序列等任意的数据层的单位多路复用在比特流中。在输入信号中恒定地存在颜色成分间的信号的性质的差异的情况下，如果构成为按照序列的单位多路复用宏块标题共同化识别标志123c，则可以以更少的开销信息，进行高效的编码。如果构成为按照图片的单位多路复用宏块标题共同化识别标志123c，则在宏块类型的变动少的I图片中对标题进行共同化，在宏块类型的变动多的P、B图片中，针对每个颜色成分，使用个别的标题，从而可以期待改善编码效率与运算负荷的平衡等效果。进而，从场景变化（Scene Change）等信号的性质针对每个图片变化那样的影像信号的编码控制的观点来看，图片层中的切换是优选的。在按照宏块的单位多路复用宏块标题共同化识别标志123c时，每个宏块的代码量增加，但另一方面可以按照宏块的单位，根据各颜色成分的信号状态，控制是否进行标题信息的共同化，可以构成更良好地追随图像的局部性的信号变动而提高压缩效率的编码装置。
在如AVC那样按照切片级别切换与图片类型相当的编码类型的情况下，考虑如下方法：针对每个切片多路复用宏块标题共同化识别标志123c，在该标志表示是“在C0、C1、C2中共同”的情况下，以使该切片包括全部三个颜色成分的编码信息的方式构成比特流，并且，在该标志表示并非“在C0、C1、C2中共同”的情况下，以使一个切片包括一个颜色成分的信息的方式构成比特流。图52示出其样子。在图52中，在宏块标题共同化识别标志123c中，具有“当前切片包括全部三个颜色成分的编码信息”或“当前切片包括某特定的颜色成分的编码信息”的作为切片构成识别信息的意思。当然，也可以与宏块标题共同化识别标志123c独立地准备这样的切片构成识别信息。在识别为“当前切片包括某特定的颜色成分的编码信息”的情况下，设为其包括“C0、C1、C2中的哪一个”这样的识别。另外，在这样按照切片单位，切换在C0、C1、C2成分中共同地使用一个宏块标题（C0、C1、C2混合存在切片），或者针对C0、C1、C2成分的每一个个别地多路复用宏块标题（C0切片、C1切片、C2切片）的情况下，在一个图片内混合存在这些两种切片的情况下，设置如下制约：将C0切片、C1切片、C2切片作为总是对画面内的同一位置的宏块进行编码而得到的数据设为组并多路复用到比特流中。即，包含在切片标题中而表示切片的开头宏块的图片内位置的first_mb_in_slice的值在一组的C0切片、C1切片、C2切片中总是取同一值，并且，包含在一组的C0切片、C1切片、C2切片中的宏块的个数相同。图53示出其样子。通过在比特流的结构中设置这样的制约，在编码装置中，可以根据图片内的局部性的信号的性质，在C0、C1、C2混合存在切片、与C0切片、C1切片、C2切片的组中，适应性地选择编码效率高的编码方法来进行编码，解码装置可以接收这样高效地编码的比特流来再生影像信号。例如，在输入给图31的解码装置的比特流22是这样的结构时，在可变长解码部25中，每当输入了切片数据时，从比特流中解码出切片构成识别信息，识别想要从其解码的切片是图52中的哪一个切片。在根据切片构成识别信息，判断为作为C0切片、C1切片、C2切片的组而构成了编码数据的情况下，将帧间预测模式共同化识别标志123（或者宏块标题共同化识别标志123c）的状态确定成“在C0、C1、C2中使用个别的帧间预测模式或（宏块标题）”来进行解码动作即可。由于保证了各切片的first_mb_in_slice的值与切片中的宏块个数相等，所以据此可以不发生C0、C1、C2混合存在切片在图片上的重叠、缺口（gap）地进行解码处理。
另外，在C0、C1、C2的各切片的信号性质大幅不同的情况下，为了避免由于设置这样的制约而引起的编码效率降低，也可以构成为赋予如下识别信息：可以在图片级别或序列级别中，选择是否许可在图片内混合存在具有不同的切片构成识别信息的值的切片。
实施方式12
在本实施方式12中，叙述从实施方式11中叙述的编码装置以及解码装置中派生的其他编码装置、解码装置的实施例。本实施方式12中的编码装置·解码装置的特征在于，在使用适应算术编码方式，进行宏块中的C0、C1、C2各成分的编码的情况下，利用多路复用在比特流中的指示信息，适应性地切换在所有成分中共用算术编码中使用的符号发生概率及其学习过程、还是针对各成分的每一个分离。
在本实施方式12中，在编码装置中仅图30的可变长编码部11，在解码装置中仅图31的可变长解码部25内的处理与实施方式11不同，除此以外的动作按照实施方式11。以下，对本实施方式12的特点即算术编码以及解码处理进行详细说明。
1．编码处理
图54示出涉及可变长编码部11中的算术编码处理的内部结构，图55以及图56示出其动作流程。
本实施方式12中的可变长编码部11包括：上下文模型决定部11a，决定针对作为编码对象数据的运动矢量137、参照图像识别号码132b、宏块类型/子宏块类型106、帧内预测模式141、以及量化结束变换系数10等各个数据类型定义的上下文模型（后述）；二值化部11b，按照针对各编码对象数据类型决定的二值化规则，将多值数据变换成二值数据；发生概率生成部11c，提供二值化后的各自的bin的值（0or1）的发生概率；编码部11d，根据所生成的发生概率，执行算术编码；以及存储器11g，存储发生概率信息。向上下文模型决定部11a的输入是运动矢量137·参照图像识别号码132b、宏块类型/子宏块类型106、帧内预测模式141、以及量化结束变换系数10等向可变长编码部11作为编码对象数据而输入的各种数据，来自编码部11d的输出相当于与视频流22的宏块相关的信息。
（1）上下文模型决定处理（图55中的步骤S160）
上下文模型是指，对与成为信息源符号的发生概率的变动要因的其他信息的依赖关系进行模型化而得到的模型，通过与该依赖关系对应地切换发生概率的状态，可以进行更适合于符号的实际的发生概率的编码。图57示出上下文模型（ctx）的概念。另外，在图57中，信息源符号设为二值，但也可以是多值。图57的0～2这样的ctx的选择分支是假设使用该ctx的信息源符号的发生概率的状态应根据状况而变化的情况而定义的。在本实施方式12中的影像编码中，根据某宏块中的编码数据与其周边的宏块的编码数据之间的依赖关系，切换ctx的值。例如，图58示出在D.Marpe等，“Video Compression Using Context－Based Adaptive Arithmetic Coding”，International Conference on ImageProcessing2001中公开的与宏块的运动矢量相关的上下文模型的例子。在图58中，块C的运动矢量是编码对象（正确而言，对从附近预测了块C的运动矢量的预测差分值mvdk（C）进行编码），ctx_mvd（C，k）表示上下文模型。mvdk（A）表示块A中的运动矢量预测差分值，mvdk（B）表示块B中的运动矢量预测差分值，用于上下文模型的切换评价值ek（C）的定义。评价值ek（C）表示附近的运动矢量的偏差情况，一般，倾向于在该偏差小的情况下，mvdk（C）小，相反地在ek（C）大的情况下，mvdk（C）也大。因此，优选根据ek（C）对mvdk（C）的符号发生概率进行适应化。该发生概率的变动集合（set of variations）是上下文模型，在该情形中有三种发生概率变动。
另外，对于宏块类型/子宏块类型106、帧内预测模式141、以及量化结束变换系数10等编码对象数据，分别预先定义上下文模型，而在编码装置与解码装置中共用。在上下文模型决定部11a中，进行根据这样的编码对象数据的种类来选择预定的模型的处理（关于选择上下文模型中的哪个发生概率变动，相应于下述（3）的发生概率生成处理）。
（2）二值化处理（图55中的步骤S161）
在上下文模型中，利用二值化部11b对编码对象数据进行二值序列化，并根据二值序列的各bin（二进制位置）决定。在二值化的规则中，按照各编码数据的可取的值的大致分布，进行向可变长的二值序列的变换。在二值化中，与原样地进行算术编码相比，按照bin单位，对本来可以取多值的编码对象数据进行编码时，可以削减概率数直线分割数，可以简化运算，具有可以实现上下文模型的简化等优点。
（3）发生概率生成处理（图55中的步骤S162（图56示出步骤S162的详细））
在上述（1）、（2）的处理中，多值的编码对象数据的二值化、与应用于各bin的上下文模型的设定完成，编码准备结束。接下来，利用发生概率生成部11c，进行算术编码中使用的发生概率状态的生成处理。在各上下文模型中，包括针对0/1的各值的发生概率的变动，所以如图54所示，参照在步骤S160中决定的上下文模型11f来进行处理。确定图58的ek（C）所示那样的用于发生概率选择的评价值，按照该评价值，从所参照的上下文模型的选择分支中，决定将哪个发生概率变动用于现在的编码中（图56的步骤S162a）。进而，本实施方式12中的可变长编码部11具备发生概率信息存储存储器11g，具备按照颜色成分存储在编码的过程中依次更新的发生概率状态11h的功能。发生概率生成部11c根据发生概率状态参数共同化识别标志143的值，对于现在的编码中使用的发生概率状态11h，选择：从按照C0～C2的颜色成分保持了的部分中选择、还是在C1、C2中共用C0成分用的发生概率状态11h，来决定实际在编码中使用的发生概率状态11h（图56的S162b～S162d）。
发生概率状态参数共同化识别标志143由于可以在解码装置中进行同样的选择，所以需要多路复用在比特流中。通过设为这样的结构，具有以下效果。例如，在以图58为例子时，在宏块标题共同化识别标志123c表示在其他成分中也使用C0成分标题信息139a的情况下，如果宏块类型128b表示16×16预测模式，则对每个宏块仅确定一个图58的ek（C）。此时，总是使用准备成C0成分用的发生概率状态。另一方面，在宏块标题共同化识别标志123c表示使用与各成分对应的标题信息（139a～139c）的情况下，如果宏块类型128b在C0、C1、C2中的任意一个中都表示16×16预测模式，则图58的ek（C）能够对每个宏块有三个变动。在后级的编码部11d中，针对各自的变动，能够取如下两个选择分支：共同地使用并更新C0成分中准备的发生概率状态11h、或者个别地使用并更新按照各颜色成分准备的发生概率状态11h。在前者中，在C0、C1、C2各成分中具有大致相同那样的运动矢量分布的情况下，通过共同地使用并更新发生概率状态11h，学习次数增加，有可能学习到更良好的运动矢量的发生概率。在后者中，相反地在C0、C1、C2各成分中具有零乱的运动矢量分布的情况下，通过个别地使用并更新发生概率状态11h，可以削减由于学习引起的失配，有可能学习到更良好的运动矢量的发生概率。由于影像信号是非恒定的，所以通过可以进行这样的适应性控制，可以提高算术编码的效率。
（4）编码处理
通过（3），得到算术编码处理中所需的概率数直线上的0/1各值的发生概率，所以按照以往例中举出的处理，在编码部11d中进行算术编码（图55的步骤S163）。另外，实际的编码值（0or1）11e被反馈给发生概率生成部11c，而为了所使用的发生概率状态11h的更新，进行0/1发生频度的计数（步骤S164）。例如，设在使用某特定的发生概率状态11h来进行100个bin的编码处理的时刻，该发生概率变动中的0/1的发生概率是0.25、0.75。此处，在使用相同发生概率变动对1进行了编码时，1的出现频度被更新，0/1的发生概率变化成0.247、0.752。通过该机理，可以进行适合于实际的发生概率的高效的编码。编码值11e成为来自可变长编码部11的输出，作为视频流22从编码装置中输出。
图59示出与可变长解码部25中的算术解码处理相关的内部结构，图60示出其动作流程。
本实施方式12中的可变长解码部25具备：上下文模型决定部11a，确定运动矢量137·参照图像识别号码132b、宏块类型/子宏块类型106、帧内预测模式141、以及量化结束变换系数10等各个解码对象数据的类型，分别决定与编码装置共同地定义的上下文模型；二值化部11b，生成根据解码对象数据的类型来决定的二值化规则；发生概率生成部11c，按照二值化规则与上下文模型，提供各个bin（0or1）的发生概率；解码部25a，根据生成的发生概率执行算术解码，根据其结果得到的二值序列与上述二值化规则，对运动矢量137·参照图像识别号码132b、宏块类型/子宏块类型106、帧内预测模式141、以及量化结束变换系数10等数据进行解码；以及存储器11g，存储发生概率信息。11a～11c以及11ｇ与图54的可变长编码部11的内部结构要素相同。
（5）上下文模型决定处理、二值化处理、发生概率生成处理
这些处理依照编码装置侧的处理（1）～（3）。另外，虽然未图示，但设为从视频流22中预先抽出发生概率状态参数共同化识别标志143。
（6）算术解码处理
为了在直到（6）的处理中确定从现在开始要解码的bin的发生概率，在解码部25a中，按照规定的算术解码处理过程，还原bin的值（图60中的步骤S166）。bin的还原值25b被反馈给发生概率生成部11c，为了所使用的发生概率状态11h的更新，进行0/1发生频度的计数（步骤S164）。在解码部25a中，每当确定各bin的还原值，确认与二值化规则中决定的二值序列图案的一致性，将一致的图案指出的数据值作为解码数据值而输出（步骤S167）。只要解码数据未确定，则返回到步骤S166而继续解码处理。
根据以上结构的具备算术编码以及算术解码处理的编码·解码装置，在根据宏块标题共同化识别标志123c适应性地对颜色成分的每一个的编码信息进行算术编码的情况下，可以进行更高效的编码。
另外，虽然没有特别图示，但对发生概率状态参数共同化识别标志143进行多路复用的单位可以是宏块单位、切片单位、图片单位、以及序列单位中的任一个。通过多路复用成位于切片、图片、以及序列等上位数据层的标志，在根据切片以上的上位层中的切换可以确保充分的编码效率的情况下，无需在宏块级别中逐一地多路复用发生概率状态参数共同化识别标志143，而可以削减附加位。
另外，发生概率状态参数共同化识别标志143也可以是根据与其自身不同的比特流中包含的关联信息在解码装置的内部中决定的信息。
在本实施方式12中，在按照宏块单位对宏块标题共同化识别标志123c进行算术编码时，针对上下文模型11f使用图61所示的模型。在图61中，将宏块X中的宏块标题共同化识别标志123c的值设为IDCX。在进行宏块C中的宏块标题共同化识别标志123c的编码的情况下，根据宏块A的宏块标题共同化识别标志123c的值IDCA、与宏块B的宏块标题共同化识别标志123c的值IDCB的值，根据该图的式，取得以下三个状态。
·值0：A、B这两方都是“在C0、C1、C2中使用共同的宏块标题”的模式。
·值1：A、B中的某一个是“在C0、C1、C2中使用共同的宏块标题”的模式，另一个是“在C0、C1、C2中使用个别的宏块标题”的模式。
·值2：A、B这两方都是“在C0、C1、C2中使用个别的宏块标题”的模式。
通过这样对宏块标题共同化识别标志123c进行编码，可以与附近的宏块的编码状态适合地进行算术编码，可以提高编码效率。另外，对于在编码侧与解码侧中都通过相同的步骤定义上下文模型而进行算术解码的过程，根据上述本实施方式12的解码装置的动作说明可以明确。
另外，在本实施方式12中，针对包含在宏块标题中的图50的标题信息（宏块类型、子宏块类型、帧内预测模式、参照图像识别号码、运动矢量、变换系数有效无效指示信息、量化参数），分别通过针对各信息种类的每一个定义的上下文模型来进行算术编码，但哪一个上下文模型都如图62所示，针对当前宏块C，参照宏块A、B的对应的信息来定义。此处，如图62（a）所示，在宏块C是“在C0、C1、C2中使用共同的宏块标题”的模式、并且宏块B是“在C0、C1、C2中使用个别的宏块标题”的模式的情况下，作为上下文模型定义上的参照信息，使用C0、C1、C2中的某一个特定的颜色成分的信息。
例如，在C0、C1、C2对应于R、G、B颜色成分的情况下，考虑如下方法：选择具有最接近作为良好地表现图像的结构的信号而从以往在编码中使用的亮度信号的成分的G成分。其原因为，考虑即使是“在C0、C1、C2中使用共同的宏块标题”的模式，也以G成分为基准确定宏块标题的信息而进行编码的情形较多。
另一方面，在相逆的情形中，如图62（b）所示，宏块C是“在C0、C1、C2中使用个别的宏块标题”的模式、并且存在宏块B是“在C0、C1、C2中使用共同的宏块标题”的模式的情况下，在宏块C中，需要对三个颜色成分的标题信息进行编码·解码，但此时，作为各颜色成分的标题信息的上下文模型定义上的参照信息，对于宏块B，将三个成分共同的标题信息用作三个成分相同的值。另外，虽然很明确，但在宏块A、B、C中宏块标题共同化识别标志123c都表示相同值的情况下，由于总是存在分别对应的参照信息，所以使用它们。
另外，对于在编码侧与解码侧中都通过相同的步骤定义上下文模型而进行算术解码的过程，根据上述本实施方式12的解码装置的动作说明可以明确。另外，决定了使用参照了哪个成分的信息的上下文模型之后，根据发生概率状态参数共同化识别标志143的状态，更新与该上下文模型对应起来的发生概率状态。
另外，在本实施方式12中，针对C0、C1、C2成分的各变换系数数据，也进行了与各编码对象数据的发生概率分布对应的算术编码。对于这些数据，无论是否对宏块标题进行共同化，三个成分的编码数据总是包含在比特流中。在本实施方式12中，由于在编码输入信号的颜色空间上进行帧内预测、帧间预测来得到预测差分信号，所以对预测差分信号进行整数变换而得到的变换系数数据的分布与图62那样的是否对宏块标题进行共同化这样的周边的状态无关，而成为同样的发生概率分布。因此，在本实施方式12中，针对C0、C1、C2的各成分的每一个，无论是否对宏块标题进行共同化，定义共同的上下文模型而用于编码·解码。
另外，对于在编码侧与解码侧中都通过相同的步骤定义上下文模型而进行算术解码的过程，根据上述本实施方式12的解码装置的动作说明可以明确。另外，在决定了使用参照了哪个成分的信息的上下文模型之后，根据发生概率状态参数共同化识别标志143的状态，更新与该上下文模型对应起来的发生概率状态。
实施方式13
在本实施方式13中，叙述从实施方式7～12中叙述的编码装置以及解码装置中派生的其他编码装置、解码装置的实施方式。本实施方式13中的编码装置·解码装置的特征在于，在实施方式7～12记载的编码装置的输入级中进行颜色空间变换处理，将在摄像后输入到编码装置的影像信号的颜色空间变换成适合于编码的任意的颜色空间，将指定用于在解码侧返回到摄像时的颜色空间的逆变换处理的信息多路复用在比特流中的编码装置，从比特流中抽出指定逆变换处理的信息，利用实施方式7～12记载的解码装置得到解码图像之后，根据指定逆变换处理的信息来进行逆颜色空间变换。
图63示出本实施方式13中的编码装置·解码装置的结构。利用图63，对本实施方式13的编码装置·解码装置进行说明。
本实施方式13的编码装置除了实施方式7～12的编码装置303以外，还在其前级具备颜色空间变换部301。颜色空间变换部301具备一个或多个颜色空间变换处理，通过输入的影像信号的性质、***的设定等，选择所使用的颜色空间变换处理，进行针对输入影像信号的颜色空间变换处理，将其结果得到的变换影像信号302送给编码装置303。另外，将识别同时使用的颜色空间变换处理的信息作为颜色空间变换方法识别信息304输出给编码装置303。编码装置303将变换影像信号302作为编码对象信号，向通过实施方式7～12中示出的方法压缩编码的比特流305，多路复用颜色空间变换方法识别信息304而向传送路送出，或者输出给进行向记录介质的记录的记录装置。
此处，准备的颜色空间变换方法，例如有如下变换：以往标准中使用的从RGB向YUV的变换
C0＝Y＝0.299×R+0.587×G+0.114×B
C1＝U＝－0.169×R－0.3316×G+0.500×B
C2＝V＝0.500×R－0.4186×G－0.0813×B；
颜色成分间的预测、
C0＝G'＝G
C1＝B'＝B－f（G）（其中，f（G）:针对G成分的滤波处理结果）
C2＝R'＝R－f（G）；
从RGB向YCoCg的变换
C0＝Y＝R/2+G/2+B/4
C1＝Co＝R/2－B/2
C2＝Cg＝－R/4+G/2－B/4
针对颜色空间变换部301的输入无需限定于RGB，并且变换处理也不限于上述三种。
本实施方式13的解码装置除了实施方式7～12的解码装置306以外，在其后级还具备逆颜色空间变换部308。解码装置306将比特流305作为输入，从比特流305中抽出并输出颜色空间变换方法识别信息304，并且输出通过实施方式7～12记载的解码装置的动作得到的解码图像307。逆颜色空间变换部308具备分别对应于由上述颜色空间变换部301可以选择的颜色空间变换方法的逆变换处理，根据从解码装置306中输出的颜色空间变换方法识别信息304，确定由颜色空间变换部301执行的变换，对解码图像307实施逆变换处理，进行返回到针对本实施方式13的编码装置的输入影像信号的颜色空间的处理。
根据本实施方式13那样的编码装置·解码装置，在编码的前级与解码处理的后级，对编码的影像信号进行最佳的颜色空间的变换处理，从而在编码前去除由三个颜色成分构成的图像信号中包含的相关，可以以减少了冗余度的状态进行编码，可以提高压缩效率。在以往的MPEG等标准编码方式中，将编码对象的信号的颜色空间限定于YUV这一种，但通过具备颜色空间变换部301、逆颜色空间变换部308，并将颜色空间变换方法识别信息304包含在比特流305中，可以消除与编码输入的影像信号的颜色空间相关的限制，并且可以从去除了颜色成分间的相关的多种手段中使用最佳的变换来进行编码。颜色空间变换方法识别信息304也可以在图片、切片、以及宏块这样的级别下多路复用。例如，通过按照宏块单位多路复用，可以选择性地使用可以最良好地去除三个颜色成分间的局部性的相关的变换，可以提高编码效率。
在本实施方式13中，以使颜色空间变换部301、逆颜色空间变换部308总是动作这样的前提进行了记载，但还可以构成为不使这些处理部动作，而在序列等上位的层中，对指示确保与以往的标准的互换性的信息进行编码。
另外，还可以将本实施方式13的颜色空间变换部301、逆颜色空间变换部308取入到本实施方式7～12的编码装置、解码装置的内部结构，进行预测差分信号级别中的颜色空间变换。图64示出这样构成的编码装置，图65示出解码装置。在图64的编码装置中，代替正交变换部8，而具备变换部310，代替逆正交变换部13，而具备逆变换部312，在图65的解码装置中，代替逆正交变换部13，而具备逆变换部312。
变换部310对从编码模式判定部5中输出的C0、C1、C2成分的预测差分信号4，如作为上述颜色空间变换部301的处理所示那样，从多个颜色空间变换处理中，选择最佳的变换处理，首先执行颜色空间变换。之后，对颜色空间变换的结果，执行与正交变换部8相当的变换。表示选择了哪个变换的颜色空间变换方法识别信息311被送到可变长编码部11，多路复用到比特流中作为视频流22而输出。另外，在逆变换部312中，首先进行了与逆正交变换部13相当的逆变换之后，使用由颜色空间变换方法识别信息311指定的颜色空间变换处理，执行逆颜色空间变换处理。
在解码装置中，由可变长解码部25从比特流中抽出颜色空间变换方法识别信息311，并将其结果送给逆变换部312，从而进行与上述编码装置中的逆变换部312同样的处理。通过这样构成，在预测差分区域中可以充分地去除颜色成分之间残存的相关那样的情况下，可以将其作为编码处理的一部分而执行，具有提高编码效率的效果。但是，在C0、C1、C2成分中使用个别的宏块标题的情况下，最初如C0成分为帧内预测、C1成分为帧间预测这样地，预测的方法能够针对每个成分变化，所以有时不易保持预测差分信号4的区域中的相关。因此，在C0、C1、C2成分中使用个别的宏块标题的情况下，变换部310、逆变换部312既可以以不执行颜色空间变换的方式动作，也可以构成为将在预测差分信号4的区域中是否执行颜色空间变换作为识别信息而多路复用到比特流中。另外，颜色空间变换方法识别信息311也可以按照序列、图片、切片、以及宏块中的任一个单位来切换。
在图64、图65的编码装置、解码装置的结构中，对于C0、C1、C2成分的各变换系数数据，根据颜色空间变换方法识别信息311，编码对象信号的信号定义范畴不同。因此，根据颜色空间变换方法识别信息311，变换系数数据的分布一般成为不同的发生概率分布。因此，在如图64、65那样构成编码装置、解码装置的情况下，针对C0、C1、C2的各成分的每一个，使用针对颜色空间变换方法识别信息311的状态的每一个对应了个别的发生概率状态的上下文模型，进行编码·解码。
另外，对于在编码侧与解码侧中都通过相同的步骤定义上下文模型而进行算术解码的过程，根据上述本实施方式12的解码装置的动作说明可以明确。另外，在决定了使用参照了哪个成分的信息的上下文模型之后，根据发生概率状态参数共同化识别标志143的状态，更新与该上下文模型对应起来的发生概率状态。
实施方式14
在本实施方式14中，关于上述实施方式中叙述的编码装置·解码装置，说明更具体的装置结构。
在上述实施方式中，例如使用依照图1、图2、图30、以及图31等的附图，实施了编码装置·解码装置的动作说明。在这些附图中，说明了如下动作：向编码装置一并输入由三个颜色成分构成的输入影像信号，在装置内部，一边选择根据共同的预测模式或宏块标题对三个颜色成分进行编码、还是根据各自的预测模式或宏块标题进行编码，一边进行编码，将其结果得到的比特流输入给解码装置，在解码装置内部，一边根据从比特流中解码而取出的标志（例如帧内预测模式共同化识别标志23、帧间预测模式共同化识别标志123等）来选择根据共同的预测模式或宏块标题编码了三个颜色成分、还是根据各自的预测模式或宏块标题进行了编码，一边进行解码处理，而得到再生影像。虽然已经明记了也可以按照宏块、切片、图片、以及序列等任意的数据层的单位，对上述标志进行编码·解码，但在本实施方式14中，特别，根据具体的附图，说明以下装置结构·动作：一边按照一个帧（或一个场）的单位切分针对三个颜色成分信号通过共同的宏块标题进行编码、还是通过个别的宏块标题进行编码，一边进行编码·解码。以下，只要没有特别说明，则在记载成“一个帧”的情况下，视为一个帧或一个场的数据单位。
本实施方式14中的宏块标题设为包括图15那样的变换块尺寸识别标志、图50那样的宏块类型·子宏块类型·帧内预测模式等编码·预测模式信息、参照图像识别号码·运动矢量等运动预测信息、变换系数有效无效指示信息、以及针对变换系数的量化参数等变换系数数据以外的宏块开销信息。
以后，将通过共同的宏块标题对一个帧的三个颜色成分信号进行编码的处理记载成“共同编码处理”，将通过个别的独立的宏块标题对一个帧的三个颜色成分信号进行编码的处理记载成“独立编码处理”。同样地，将从通过共同的宏块标题对一个帧的三个颜色成分信号进行编码而得到的比特流中解码帧图像数据的处理记载成“共同解码处理”，将从通过个别的独立的宏块标题对一个帧的三个颜色成分信号进行编码而得到的比特流中解码帧图像数据的处理记载成“独立解码处理”。在本实施方式14的共同编码处理中，如图66所示，将一个帧的输入影像信号分割成汇总了三个颜色成分的形式的宏块。另一方面，在独立编码处理中，如图67所示，将一个帧的输入影像信号分离成三个颜色成分，将它们分割成由单一的颜色成分构成的宏块。即，成为共同编码处理的对象的宏块包括C0、C1、C2这三个颜色成分的样本，但成为独立编码处理的对象的宏块仅包括C0、C1或C2成分中的某一个成分的样本。
图68是示出本实施方式14的编码装置·解码装置中的图片间的时间方向的运动预测参照关系的说明图。在该例子中，将用粗纵直线表示的数据单位作为图片，用包围的虚线示出图片与访问单元的关系。在共同编码·解码处理的情况下，一个图片是表示三个颜色成分混合存在的一个帧的影像信号的数据，在独立编码·解码处理的情况下，将一个图片设为某一个颜色成分的一个帧的影像信号。访问单元是对影像信号赋予以音频·声音信息等的同步等为目的的时间戳的最小数据单位，在共同编码·解码处理的情况下，在一个访问单元中包括一个图片的数据（图68的427a）。另一方面，在独立编码·解码处理的情况下，在一个访问单元中包括三个图片（图68的427b）。其原因为，在独立编码·解码处理的情况下，只有三个颜色成分全部的同一显示时刻的图片聚齐才得到一个帧的再生影像信号。另外，附加到各图片的上部的号码表示图片的时间方向的编码·解码处理顺序（AVC的frame_num）。在图68中，图片间的箭头表示运动预测的参照方向。即，在独立编码·解码处理的情况下，设为不进行同一访问单元中包含的图片之间的运动预测参照、以及不同的颜色成分之间的运动预测参照，一边将C0、C1、C2的各颜色成分的图片限定于同一颜色成分的信号而预测参照，一边进行编码·解码。通过设为这样的结构，在本实施方式14中的独立编码·解码处理的情况下，不完全依赖于其他颜色成分的编码·解码处理而可以执行各颜色成分的编码·解码，并行处理变得容易。
另外，在AVC中，定义了自身进行帧内编码，并且对在运动补偿预测中使用的参照图像存储器的内容进行复位的IDR（instantaneous decoder refresh）图片。由于IDR图片不依赖于其他任何图片而可以解码，所以被用作随机访问点。共同编码处理时的访问单元虽然是一个访问单元＝一个图片，但在独立编码处理时的访问单元中，一个访问单元由多个图片构成，所以在某颜色成分图片是IDR图片的情况下，将其他剩余的颜色成分图片也作为IDR图片，定义IDR访问单元，确保随机访问功能。
以下，在本实施方式14中，将表示通过共同编码处理进行编码、还是通过独立编码处理进行编码的识别信息称为共同编码·独立编码识别信号。
图69是示出由本实施方式14的编码装置生成，本实施方式14的解码装置作为输入·解码处理的对象的比特流的结构的一个例子的说明图。图69是示出从序列到帧级别的比特流结构的图，首先，对序列级别的上位标题（在AVC的情况下，序列参数集合等）中，多路复用共同编码·独立编码识别信号423。按照访问单元的单位，对各个帧进行编码。AUD表示用于在AVC中识别访问单元的切口的唯一的NAL单元即Access Unit Delimiter NAL单元。在共同编码·独立编码识别信号423表示“通过共同编码处理进行的图片编码”的情况下，在访问单元中包括一个图片的编码数据。此时的图片是如上所述表示三个颜色成分混合存在的一个帧的影像信号的数据。此时，第i个访问单元的编码数据构成为切片数据Slice（i，j）的集合。j是一个图片内的切片数据的索引。
另一方面，在共同编码·独立编码识别信号423表示“通过独立编码处理进行的图片编码”的情况下，一个图片是某一个颜色成分的一个帧的影像信号。此时，第p个访问单元的编码数据构成为访问单元内的第q个图片的切片数据Slice（p，q，r）的集合。r是一个图片内的切片数据的索引。在如RGB那样颜色成分由三个构成分构成的影像信号的情况下，q可以取的值的个数是3。另外，在除了由3原色构成的影像信号以外还将例如用于α混合（alphablending）的透过度信息那样的附加数据作为同一访问单元而编码·解码的情况、对由四个成分以上的颜色成分（例如彩色印刷中使用的YMCK等）构成的影像信号进行编码·解码的情况等下，q可以取的值的个数被设定成四个以上。在本实施方式14中的编码装置、解码装置中，如果选择独立编码处理，则对构成影像信号的各颜色成分完全独立地进行编码，所以原理上无需变更编码·解码处理，而可以自由地变更颜色成分的个数。将来，即使在变更了用于进行影像信号的颜色表现的信号形式的情况下，也具有可以通过本实施方式14中的独立编码处理应对的效果。
为了实现这样的结构，在本实施方式14中，通过“包含在一个访问单元内，各自不会相互进行运动预测参照而独立地编码的图片的数量”这样的形式，表现共同编码·独立编码识别信号423。此时，可以通过上述参数q可以取的值的个数，来表现共同编码·独立编码识别信号423，以后，将该参数可以取的值的个数称为num_pictures_in_au。即，num_pictures_in_au＝1表示“共同编码处理”，num_pictures_in_au＝3表示本实施方式14中的“独立编码处理”。在颜色成分为四个以上的情况下，设定成成为num_pictures_in_au>3的值即可。通过做出这样的信令，解码装置如果解码并参照num_pictures_in_au，则不仅可以区分通过共同编码处理得到的编码数据与通过独立编码处理得到的编码数据，而且还可以同时得知在一个访问单元内存在几个单一颜色成分图片，还可以应对将来的影像信号的颜色表现扩展，同时可以在比特流中无缝地执行共同编码处理与独立编码处理。
图70是示出共同编码处理、独立编码处理各自的情况下的切片数据的比特流结构的说明图。在通过独立编码处理编码的比特流中，为了达到后述的效果，对切片数据的开头的标题区域，赋予颜色成分识别标志（color_channel_idc），以可以在解码装置中识别所接收的切片数据是属于访问单元内的哪个颜色成分的图片中的切片。对于color_channel_idc，对其值相同的切片进行分组。即，设为在color_channel_idc的值不同的切片间，不具有任何编码·解码的依赖性（例如运动预测参照、CABAC的上下文建模·发生概率学习等）。通过这样规定，确保了独立编码处理时的访问单元内的各个图片的独立性。另外，对于被多路复用到各切片标题的frame_num（切片所属的图片的编码·解码处理顺序），在一个访问单元内的所有颜色成分图片中设为同一值。
图71是示出本实施方式14的编码装置的概略结构的说明图。在图71中，在第一图片编码部503a中执行共同编码处理，在第二图片编码部503b0、503b1、503b2（准备三个颜色成分的量）中执行独立编码处理。输入影像信号1通过开关（SW）501被供给到第一图片编码部503a、或颜色成分分离部502以及第二图片编码部503b0～503b2中的某一个。利用共同编码·独立编码识别信号423来驱动开关501，向指定的路径供给输入影像信号1。以下，说明如下情况：在输入影像信号是4:4:4格式的情况下，共同编码·独立编码识别信号（num_pictures_in_au）423被多路复用到序列参数集合，设为按照序列的单位选择共同编码处理与独立编码处理的信号。其与上述实施方式7中叙述的帧间预测模式共同化识别标志123、上述实施方式11中叙述的宏块标题共同化识别标志123c在概念上相同。在使用了共同编码处理的情况下，需要在解码装置侧执行共同解码处理，在使用了独立编码处理的情况下，需要在解码装置侧执行独立解码处理，所以共同编码·独立编码识别信号423需要作为对其进行指定的信息而多路复用到比特流中。因此，共同编码·独立编码识别信号423被输入给多路复用部504。只要是由序列内的几个图片群构成的GOP（group of picture）的单位等图片的上位层，则该共同编码·独立编码识别信号423的多路复用单位也可以是任意单位。
在第一图片编码部503a中，为了执行共同编码处理，将输入影像信号1如图66所示分割成汇总了三个颜色成分的样本的形式的宏块，并按照该单位进行编码处理。关于第一图片编码部503a中的编码处理在后面叙述。在选择了独立编码处理的情况下，输入影像信号1在颜色成分分离部502中被分离成C0、C1、C2的一个帧量的数据，被供给到分别对应的第二图片编码部503b0～503b2。在第二图片编码部503b0～503b2中，将针对每个颜色成分分离的一个帧的信号分割成图67所示的形式的宏块，并按照该单位进行编码处理。关于第二图片编码部中的编码处理在后面叙述。
向第一图片编码部503a，输入由三个颜色成分构成的一个图片的影像信号，编码数据作为视频流422a而输出。向第二图片编码部503b0～503b2，输入由单一颜色成分构成的一个图片的影像信号，编码数据作为视频流422b0～422b2而输出。根据共同编码·独立编码识别信号423的状态，通过多路复用部504，按照视频流422c的形式，多路复用并输出这些视频流。
在进行视频流422c的多路复用时，在独立编码处理时的访问单元中，可以在访问单元内的图片（各颜色成分）间，交织切片数据的比特流中的多路复用顺序、传送顺序（图72）。在该情况下，在解码装置侧，需要识别所接收的切片数据是属于访问单元内的哪个颜色成分中的切片。因此，利用向切片数据的开头的标题区域如图70所示多路复用的颜色成分识别标志。
通过这样的结构，在编码装置中，如图71的编码装置那样，使用分别独立的第二图片编码部503b0～503b2这三套，通过并行处理，对三个颜色成分的图片进行编码的情况下，无需等待其他颜色成分图片的编码数据的完成，而只要准备好自身的图片的切片数据，则可以立即送出编码数据。在AVC中可以将一个图片分割成多个切片数据而编码，对于切片数据长度、包含在切片内的宏块的个数，可以根据编码条件灵活地变化。为了在图像空间上相邻的切片之间，确保切片的解码处理的独立性，无法利用帧内预测、算术编码等附近上下文，所以在切片数据长度尽可能长时，编码效率高。另一方面，在传送、记录的过程中在比特流中混入了错误的情况下，切片数据长度越短，从错误的复原越快，易于抑制质量劣化。在不多路复用颜色成分识别标志，而固定了切片的长度、结构、以及颜色成分的顺序等时，在编码装置中比特流的生成条件被固定，无法灵活地应对各种编码要求条件。
另外，如果可以如图72所示构成比特流，则可以在编码装置中减小传送中所需的发送缓冲器尺寸、即编码装置侧的处理延迟。图72示出其样子。如果不容许跨越图片的切片数据的多路复用，则编码装置在直至某特定的颜色成分的图片的编码结束为止的期间，需要对其他图片的编码数据进行缓冲。其意味着发生了图片级别中的延迟。另一方面，如果如图72最下部所示，可以在切片级别中进行交织，则某特定的颜色成分的图片编码部可以按照切片数据的单位，向多路复用部输出编码数据，可以抑制延迟。
另外，在一个颜色成分图片内，既可以按照宏块的光栅扫描（Raster scan）顺序来传送包含在其中的切片数据，也可以构成为在一个图片内也可以进行交织传送。
以下，对第一以及第二图片编码部的动作进行详细说明。
第一图片编码部的动作概要
图73示出第一图片编码部503a的内部结构。在图73中，输入影像信号1是按照4:4:4格式、并且图66的形式的将三个颜色成分汇总的宏块的单位输入的。
首先，在预测部461中，从存储在存储器16a中的运动补偿预测参照图像数据中选择参照图像，按照该宏块的单位，进行运动补偿预测处理。在存储器16a中，存储有涉及多个时刻的由三个颜色成分构成的多个参照图像数据，在预测部461中，从这些中，按照宏块的单位，选择最佳的参照图像，进行运动预测。对于存储器16a内的参照图像数据的配置，既可以针对每个颜色成分按照面顺序分开存储，也可以按照点顺序存储各颜色成分的样本。准备七种进行运动补偿预测的块尺寸，首先可以按照宏块单位，如图32（a）至（d）所示，选择16×16、16×8、8×16、以及8×8中的某一个尺寸。进而，在选择了8×8的情况下，可以针对各8×8块的每一个，如图32（e）至（h）所示，选择8×8、8×4、4×8、以及4×4中的某一个尺寸。
在预测部461中，对图32的全部或一部分的块尺寸·子块尺寸、规定的搜索范围的运动矢量、以及可以利用的一个以上的参照图像，针对每个宏块，执行运动补偿预测处理，利用运动矢量信息、预测中使用的参照图像识别号码463、以及减法器3，得到成为运动补偿预测单位的每个块的预测差分信号4。预测差分信号4在编码模式判定部5中被评价其预测效率，输出由预测部461执行的预测处理中对预测对象的宏块得到了最佳的预测效率的宏块类型/子宏块类型106、运动矢量信息·参照图像识别号码463。宏块类型、子宏块类型、参照图像索引、以及运动矢量等宏块标题信息全部被决定成对三个颜色成分共同的标题信息，用于编码，多路复用在比特流中。在评价预测效率的最佳性时，既可以以抑制运算量为目的，仅评价针对某规定的颜色成分（例如RGB中的G成分、YUV中的Y成分等）的预测误差量，也可以是虽然运算量变大但为了得到最佳的预测性能而对关于所有颜色成分的预测误差量进行综合评价。另外，在选定最终的宏块类型/子宏块类型106时，还有时加入针对编码控制部19的判断中决定的各类型的权重系数20。
同样地，在预测部461中，还执行帧内预测。在帧内预测执行时，在输出信号463中，输出帧内预测模式信息。以后，在不特别区分帧内预测、运动补偿预测的情况下，对于输出信号463，将帧内预测模式信息、运动矢量信息、参照图像识别号码汇总而称为预测开销信息。对于帧内预测，既可以仅评价规定颜色成分的预测误差量，也可以对关于所有颜色成分的预测误差量进行综合评价。最后，在编码模式判定部5中，通过预测效率或编码效率，评价并选定将宏块类型设为帧内预测还是帧间预测。
向变换部310输出通过基于所选定的宏块类型/子宏块类型106、和预测开销信息463的帧内预测·运动补偿预测得到的预测差分信号4。变换部310对输入的预测差分信号4进行变换并作为变换系数而输出给量化部9。此时，也可以从4×4或8×8中的某一个中选择成为进行变换的单位的块的尺寸。在可以选择变换块尺寸的情况下，将在编码时选择的块尺寸反映到变换块尺寸指定标志464的值，将该标志多路复用在比特流中。量化部9针对输入的变换系数，根据利用编码控制部19决定的量化参数21，进行量化，作为量化结束变换系数10而输出给可变长编码部11。量化结束变换系数10包括三个颜色成分的量的信息，在可变长编码部11中，利用哈夫曼编码、算术编码等手段，进行熵编码。另外，量化结束变换系数10经由逆量化部12、逆变换部312被还原成局部解码预测差分信号14，使用加法器18与根据选定的宏块类型/子宏块类型106和预测开销信息463生成的预测图像7相加，从而生成局部解码图像15。局部解码图像15在通过分块滤波器462实施了块失真去除处理之后，为了用于以后的运动补偿预测处理而存储到存储器16a。向可变长编码部11，还输入表示是否对该宏块实施分块滤波的分块滤波控制标志24。
输入到可变长编码部11的量化结束变换系数10、宏块类型/子宏块类型106、预测开销信息463、量化参数21按照规定的规则（语法）被排列·整形成比特流，作为按照图66的形式的汇总了一个或多个宏块的切片数据的单位被NAL单元化的编码数据而输出给发送缓冲器17。在发送缓冲器17中，与连接了编码装置的传送路的频带、记录介质的读出速度匹配地，对比特流进行平滑化，作为视频流422a而输出。另外，根据发送缓冲器17中的比特流积蓄状况，向编码控制部19施加反馈，对以后的影像帧的编码中的发生代码量进行控制。
另外，第一图片编码部503a的输出是将三个成分汇总而得到的单位的切片，且与将访问单元汇总而得到的单位中的代码量等价，所以发送缓冲器17也可以原样地配置在多路复用部504内。
在本实施方式14中的第一图片编码部503a中，可以利用共同编码·独立编码识别信号423来识别序列中的所有切片数据为C0、C1、C2混合存在切片（即三个颜色成分的信息混合存在的切片），所以颜色成分识别标志不会被多路复用在切片标题中。
第二图片编码部的动作概要
图74示出第二图片编码部503b0（503b1、503b2）的内部结构。在图74中，设为按照图67的形式的由单一颜色成分的样本构成的宏块的单位，输入输入影像信号1。
首先，在预测部461中，从存储在存储器16b中的运动补偿预测参照图像数据中选择参照图像，按照该宏块的单位，进行运动补偿预测处理。在存储器16b中，可存储涉及多个时刻的由单一颜色成分构成的多个参照图像数据，在预测部461中，从这些中，按照宏块的单位，选择最佳的参照图像，进行运动预测。存储器16b也可以按照将三个颜色成分的量汇总而得到的单位与存储器16a共用。准备七种进行运动补偿预测的块尺寸，可以首先按照宏块单位，如图32（a）至（d）所示，选择16×16、16×8、8×16、以及8×8中的某一个尺寸。进而，在选择了8×8的情况下，可以针对各8×8块的每一个，如图32（e）至（h）所示，选择8×8、8×4、4×8、以及4×4中的某一个尺寸。
在预测部461中，对图32的全部或一部分的块尺寸·子块尺寸、规定的搜索范围的运动矢量、以及可以利用的一个以上的参照图像，针对每个宏块，执行运动补偿预测处理，利用运动矢量信息、预测中使用的参照图像识别号码463、以及减法器3，得到成为运动补偿预测单位的每个块的预测差分信号4。预测差分信号4在编码模式判定部5中被评价其预测效率，输出由预测部461执行的预测处理中对预测对象的宏块得到了最佳的预测效率的宏块类型/子宏块类型106、运动矢量信息·参照图像识别号码463。宏块类型、子宏块类型、参照图像索引、以及运动矢量等宏块标题信息全部被决定成针对输入影像信号1的单一颜色成分的信号的标题信息，用于编码，多路复用在比特流中。在评价预测效率的最佳性时，仅评价针对成为编码处理对象的单一颜色成分的预测误差量。另外，在选定最终的宏块类型/子宏块类型106时，还有时加入编码控制部19的判断中决定的针对各类型的权重系数20。
同样地，在预测部461中，还执行帧内预测。在帧内预测执行时，在输出信号463中，输出帧内预测模式信息。以后，在不特别区分帧内预测、运动补偿预测的情况下，对于输出信号463，将帧内预测模式信息、运动矢量信息、参照图像识别号码汇总而称为预测开销信息。对于帧内预测，也仅评价针对成为编码处理对象的单一颜色成分的预测误差量。最后，通过预测效率或编码效率，评价并选定将宏块类型设为帧内预测还是帧间预测。
向变换部310输出利用所选定的宏块类型/子宏块类型106、和预测开销信息463得到的预测差分信号4。变换部310对输入的单一颜色成分的量的预测差分信号4进行变换并作为变换系数输出给量化部9。此时，也可以从4×4或8×8中的某一个中选择成为进行变换的单位的块的尺寸。在可以选择的情况下，将在编码时选择的块尺寸反映到变换块尺寸指定标志464的值，将该标志多路复用在比特流中。量化部9针对输入的变换系数，根据利用编码控制部19决定的量化参数21，进行量化，作为量化结束变换系数10而输出给可变长编码部11。量化结束变换系数10包括单一颜色成分的量的信息，在可变长编码部11中，利用哈夫曼编码、算术编码等手段，进行熵编码。另外，量化结束变换系数10经由逆量化部12、逆变换部312被还原成局部解码预测差分信号14，使用加法器18与根据选定的宏块类型/子宏块类型106与预测开销信息463生成的预测图像7相加，从而生成局部解码图像15。局部解码图像15在通过分块滤波器462实施了块失真去除处理之后，为了用于以后的运动补偿预测处理而存储在存储器16b中。向可变长编码部11，还输入表示是否对该宏块实施分块滤波的分块滤波控制标志24。
输入到可变长编码部11的量化结束变换系数10、宏块类型/子宏块类型106、预测开销信息463、量化参数21按照规定的规则（语法）被排列·整形成比特流，作为按照图67的形式的汇总了一个或多个宏块的切片数据的单位被NAL单元化的编码数据而输出给发送缓冲器17。在发送缓冲器17中，与连接了编码装置的传送路的频带、记录介质的读出速度匹配地，对比特流进行平滑化，作为视频流422b0（422b1、422b2）而输出。另外，根据发送缓冲器17中的比特流积蓄状况，向编码控制部19施加反馈，对以后的影像帧的编码中的发生代码量进行控制。
另外，第二图片编码部503b0～503b2的输出是仅由单一颜色成分的数据构成的切片，在需要将访问单元汇总而得到的单位下的代码量控制的情况下，也可以在多路复用部504内设置对所有颜色成分的切片进行多路复用而得到的单位下的共同发送缓冲器，根据该缓冲器的占有量，对各颜色成分的编码控制部19实施反馈。另外，此时，既可以仅使用所有颜色成分的发生信息量来进行编码控制，也可以还加入各颜色成分的发送缓冲器17的状态来进行编码控制。在仅使用所有颜色成分的发生信息量来进行编码控制的情况下，还可以设为用多路复用部504内的共同发送缓冲器来实现与发送缓冲器17相当的功能，设为省略发送缓冲器17的结构。
在本实施方式14中的第二图片编码部503b0～503b2中，可以利用共同编码·独立编码识别信号423来识别序列中的所有切片数据为单一颜色成分切片（即C0切片、C1切片或C2切片），所以向切片标题总是多路复用颜色成分识别标志，而可以在解码装置侧识别哪个切片相应于访问单元内的哪个图片数据。因此，各第二图片编码部503b0～503b2针对来自各自的发送缓冲器17的输出，并非积蓄一个图片的量，而可以在积蓄了一个切片的量的数据的时刻送出。
另外，对于共同编码·独立编码识别信号（num_pictures_in_au），可以同时表现区分通过共同编码处理得到的编码数据与通过独立编码处理得到的编码数据的信息（共同编码识别信息）、和表示在一个访问单元内存在几个单一颜色成分图片的信息（颜色成分的数量），但也可以将上述两个信息编码成独立的信息。
另外，在第一图片编码部503a与第二图片编码部503b0～503b2中，仅存在将宏块标题信息处理成三个成分共同的信息还是处理成单一的颜色成分的信息的差异、与切片数据的比特流结构不同。在图73、图74中的预测部、变换部·逆变换部、量化部·逆量化部、以及分块滤波器等基本的处理块的大部分中，仅存在汇总成三个颜色成分的信息来处理、还是仅处理单一的颜色成分的信息的差异，在第一图片编码部503a与第二图片编码部503b0～503b2中还可以通过共同的功能块来实现。因此，不仅可以设为图71那样的完全独立的编码处理部，而且还可以适宜地组合图73、图74的基本结构要素来实现各种编码装置的安装。另外，如果设为按照面顺序具有第一图片编码部503a中的存储器16a的配置，则可以使参照图像存储器的结构在第一图片编码部503a与第二图片编码部503b0～503b2中共同。
另外，虽然未图示，但在本实施方式14中的编码装置中，假设存在对按照图69、图70的排列的视频流422c进行缓冲的虚拟的流缓冲器（编码图片缓冲器）、与对解码图像427a、427b进行缓冲的虚拟的帧存储器（解码图片缓冲器），以不出现编码图片缓冲器的溢出·下溢、解码图片缓冲器的破绽的形式，生成视频流422c。主要由编码控制部19进行该控制。由此，在解码装置中，按照编码图片缓冲器与解码图片缓冲器的动作（虚拟缓冲器模型）对视频流422c进行解码的情况下，保证在解码装置中不产生破绽。以下规定虚拟缓冲器模型。
按照访问单元单位，进行编码图片缓冲器的动作。如上所述，在进行共同解码处理的情况下，在一个访问单元中，包括一个图片的编码数据，在进行独立解码处理的情况下，在一个访问单元中，包括颜色成分数的量的图片（如果是三个成分，则三个图片）的编码数据。针对编码图片缓冲器规定的动作是访问单元的最初的比特与最后的比特被输入到编码图片缓冲器的时刻、和从编码图片缓冲器中读出访问单元的比特的时刻。另外，规定成瞬时地进行从编码图片缓冲器的读出，并设为在相同的时刻从编码图片缓冲器中读出访问单元的所有比特。在从编码图片缓冲器中读出了访问单元的比特时，被输入到上位标题解析部，如上所述，利用第一图片解码部或第二图片解码部进行解码处理，作为汇总成访问单元单位的彩色影像帧而输出。另外，设为在虚拟缓冲器模型的规定上，瞬时地进行从编码图片缓冲器中读出比特，并作为访问单元单位的彩色影像帧而输出为止的处理。向解码图片缓冲器输入构成为访问单元单位的彩色影像帧，计算出从解码图片缓冲器的输出时刻。从解码图片缓冲器的输出时刻是对从编码图片缓冲器的读出时刻加上了规定的延迟时间而得到的值。该延迟时间可以多路复用到比特流中而控制解码装置。在延迟时间是0的情况、即从解码图片缓冲器的输出时刻等于从编码图片缓冲器的读出时刻的情况下，在彩色影像帧被输入到解码图片缓冲器的同时，从解码图片缓冲器中输出。在除此以外的情况、即从解码图片缓冲器的输出时刻比从编码图片缓冲器的读出时刻晚的情况下，直到成为从解码图片缓冲器的输出时刻为止，彩色影像帧被保存在解码图片缓冲器中。如上所述，按照访问单元单位，规定从解码图片缓冲器的动作。
图75是示出本实施方式14的解码装置的概略结构的说明图。在图75中，在第一图片解码部603a中执行共同解码处理，在颜色成分判定部602与第二图片解码部603b0、603b1、603b2（准备三个颜色成分的量）中执行独立解码处理。
视频流422c在上位标题解析部610中被分割成NAL单元单位，对序列参数集合、图片参数集合等上位标题信息原样地进行解码而存储在解码装置内的第一图片解码部603a、颜色成分判定部602、第二图片解码部603b0～603b2可参照的规定的存储器区域中。被多路复用成序列单位的共同编码·独立编码识别标志423（num_pictures_in_au）作为上位标题信息的一部分而解码并保持。
解码的num_pictures_in_au被供给到开关（SW）601，如果num_pictures_in_au＝1，则开关601将每个图片的切片NAL单元供给到第一图片解码部603a，如果num_pictures_in_au＝3，则供给到颜色成分判定部602。即，如果num_pictures_in_au＝1，则利用第一图片解码部603a进行共同解码处理，如果num_pictures_in_au＝3，则利用三个第二图片解码部603b0～603b2进行独立解码处理。第一以及第二图片解码部的详细动作后述。
颜色成分判定部602利用图70中示出的颜色成分识别标志的值，识别切片NAL单元相当于现在的访问单元内的哪个颜色成分图片，分配供给到适当的第二图片解码部603b0～603b2。通过这样的解码装置的结构，具有如下效果：即使接收到如图72所示在访问单元内交织了切片而编码的比特流，也可以容易地判别哪个切片属于哪个颜色成分图片而正确地解码。
第一图片解码部的动作概要
图76示出第一图片解码部603a的内部结构。第一图片解码部603a在通过上位标题解析部610按照NAL单元单位分割了从图71的编码装置中输出的按照图69、图70的排列的视频流442c之后，按照C0、C1、C2混合存在切片的单位接收，将图66所示的由三个颜色成分的样本构成的宏块作为单位而进行解码处理，还原输出影像帧。
可变长解码部25将分割成NAL单元的视频流442c作为输入，按照规定的规则（语法）解读视频流442c，抽出三个颜色成分的量化结束变换系数10、以及在三个成分中共同地使用的宏块标题信息（宏块类型/子宏块类型106、预测开销信息463、变换块尺寸指定标志464、量化参数21）。量化结束变换系数10与量化参数21一起，被输入给进行与第一图片编码部503a相同的处理的逆量化部12，进行逆量化处理。接下来，其输出被输入给进行与第一图片编码部503a相同的处理的逆变换部312，被还原成局部解码预测差分信号14（如果在视频流422c中存在变换块尺寸指定标志464，则在逆量化、逆变换处理过程中参照该标志）。另一方面，关于预测部461，在第一图片编码部503a中的预测部461中，仅包括参照预测开销信息463生成预测图像7的处理，对预测部461输入宏块类型/子宏块类型106、预测开销信息463，得到三个成分的预测图像7。在宏块类型表示是帧内预测的情况下，从预测开销信息463，按照帧内预测模式信息，得到三个成分的预测图像7，在宏块类型表示是帧间预测的情况下，从预测开销信息463，按照运动矢量、参照图像索引，得到三个成分的预测图像7。利用加法器18对局部解码预测差分信号14与预测图像7进行加法运算，得到三个成分的量的暂定解码图像（局部解码图像）15。对于暂定解码图像15，为了用于以后的宏块的运动补偿预测中，在进行与第一图片编码部503a相同的处理的分块滤波器462中对三个成分的量的暂定解码图像样本实施了块失真去除处理之后，作为解码图像427a输出，并且存储到存储器16a中。此时，根据利用可变长解码部25解读的分块滤波控制标志24的指示，使分块滤波处理作用于暂定解码图像15。在存储器16a中，存储有涉及多个时刻的由三个颜色成分构成的多个参照图像数据，在预测部461中，从它们中，按照宏块的单位，选择从比特流中抽出的参照图像索引所表示的参照图像，进行预测图像生成。对于存储器16a内的参照图像数据的配置，既可以针对每个颜色成分按照面顺序分开存储，也可以按照点顺序存储各颜色成分的样本。解码图像427a包括三个颜色成分，原样地成为共同解码处理中的构成访问单元427a0的彩色影像帧。
第二图片解码部的动作概要
图77示出第二图片解码部603b0～603b2的内部结构。第二图片解码部603b0～603b2中，通过上位标题解析部610按照NAL单元单位分割从图71的编码装置中输出的按照图69、图70的排列的视频流442c，按照由颜色成分判定部602分配的C0、C1、或C2切片NAL单元单位接收，将图67所示的由单一颜色成分的样本构成的宏块作为单位而进行解码处理，还原输出影像帧。
可变长解码部25将视频流422c作为输入，按照规定的规则（语法）解读视频流422c，抽出单一颜色成分的量化结束变换系数10、以及单一颜色成分中应用的宏块标题信息（宏块类型/子宏块类型106、预测开销信息463、变换块尺寸指定标志464、量化参数21）。量化结束变换系数10与量化参数21一起，被输入给进行与第二图片编码部503b0（503b1、503b2）相同的处理的逆量化部12，进行逆量化处理。接下来，其输出被输入给进行与第二图片编码部503b0（503b1、503b2）相同的处理的逆变换部312，被还原成局部解码预测差分信号14（如果在视频流422c中存在变换块尺寸指定标志464，则在逆量化、逆正交变换处理过程中参照该标志）。另一方面，关于预测部461，在第二图片编码部503b0（503b1、503b2）中的预测部461中，仅包括参照预测开销信息463生成预测图像7的处理，对预测部461输入宏块类型/子宏块类型106、预测开销信息463，得到单一颜色成分的预测图像7。在宏块类型表示是帧内预测的情况下，从预测开销信息463，按照帧内预测模式信息，得到单一颜色成分的预测图像7，在宏块类型表示是帧间预测的情况下，从预测开销信息463，按照运动矢量、参照图像索引，得到单一颜色成分的预测图像7。利用加法器18对局部解码预测差分信号14与预测图像7进行加法运算，得到单一颜色成分宏块的暂定解码图像15。对于暂定解码图像15，为了用于以后的宏块的运动补偿预测中，在进行与第二图片编码部503b0（503b1、503b2）相同的处理的分块滤波器26中对单一颜色成分的暂定解码图像样本实施了块失真去除处理之后，作为解码图像427b输出，并且存储到存储器16b中。此时，根据利用可变长解码部25解读的分块滤波控制标志24的指示，使分块滤波处理作用于暂定解码图像15。解码图像427b仅包括单一颜色成分的样本，将图75中的其他并行处理的第二图片解码部603b0～603b2各自的输出即解码图像427b汇总成访问单元427b0的单位，从而构成为彩色影像帧。
如从以上可知，在第一图片解码部603a与第二图片解码部603b0～603b2中，仅存在将宏块标题信息处理成三个成分共同的信息还是处理成单一的颜色成分的信息的差异、与切片数据的比特流结构不同，在图73、图74中的运动补偿预测处理、逆变换、以及逆量化等基本的解码处理块的大部分中，在第一图片解码部603a与第二图片解码部603b0～603b2中可以通过共同的功能块来实现。因此，不仅可以设为图75那样的完全独立的解码处理部，而且还可以适宜地组合图76、图77的基本结构要素来实现各种解码装置的安装。另外，如果设为按照面顺序具有第一图片解码部603a中的存储器16a的配置，则可以使存储器16a、存储器16b的结构在第一图片解码部603a与第二图片解码部603b0～603b2中共同。
另外，图75的解码装置当然也可以接收作为图71的编码装置的其他形式，构成为将共同编码·独立编码识别信号423总是固定成“独立编码处理”，一概不使用第一图片编码部503a，而对所有帧进行独立编码的编码装置中输出的比特流并进行解码。另外，作为图75的解码装置的其他形式，在以共同编码·独立编码识别信号423总是被固定成“独立编码处理”为前提的利用方式中，也可以构成为省略了开关601、第一图片解码部603a的仅进行独立解码处理的解码装置。
另外，设为共同编码·独立编码识别信号（num_pictures_in_au）包括区分通过共同编码处理得到的编码数据与通过独立编码处理得到的编码数据的信息（共同编码识别信息）、和表示在一个访问单元内存在几个单一颜色成分图片的信息（颜色成分的数量），但也可以将上述两个信息编码成独立的信息。
进而，在第一图片解码部603a中，具备将以往的YUV4:2:0格式作为对象汇总三个成分而编码的基于AVC高类的比特流的解码功能，并在上位标题解析部610中，参照从视频流422c中解码的类标识符，判定是通过哪个格式编码的比特流，将判定结果作为共同编码·独立编码识别信号423的信号线的信息的一部分而传送给开关601与第一图片解码部603a，如果取上述结构，还可以构成确保针对以往的YUV4:2:0格式的比特流的互换性的解码装置。
另外，在本实施方式14中的第一图片编码部503a中，在切片数据中混合存在三个颜色成分的信息，并且对三个颜色成分实施完全相同的帧内·帧间预测处理，所以有时在预测误差信号空间中，残存颜色成分间的信号相关。作为去除该相关的办法，例如也可以构成为对预测误差信号，实施上述实施方式13中叙述那样的颜色空间变换处理。图78、图79示出具有这样的结构的第一图片编码部503a的例子。图78是在进行变换处理之前的像素级别中，实施颜色空间变换处理的例子，将颜色空间变换部465配置在变换部310之前，将逆颜色空间变换部466配置在逆变换部312之后。图79是一边对在进行了变换处理之后得到的系数数据适宜地选择处理对象的频率成分，一边实施颜色空间变换处理的例子，将颜色空间变换部465配置在变换部310之后，将逆颜色空间变换部466配置在逆变换部312之前。通过限定实施颜色空间变换的频率成分，具有可以抑制包含在特定颜色成分中的高频噪声成分传播到几乎不包含噪声的其他颜色成分的效果。在可以适应地选择成为颜色空间变换处理的对象的频率成分的情况下，将用于在解码侧判断编码时的选择的信令信息467多路复用在比特流中。
对于颜色空间变换处理，既可以根据编码对象的图像信号的性质按照宏块单位切换而使用上述实施方式13中叙述那样的多个变换方式，也可以构成为按照宏块的单位判定有无变换。还可以构成为在序列级别等中指定可以选择的变换方式的种类，关于从它们中选择哪个，按照图片、切片、以及宏块等单位指定。另外，也可以构成为可以选择在正交变换之前实施还是在之后实施。在进行这些适应编码处理的情况下，也可以构成为针对可以选择的所有选择分支，通过编码模式判定部5进行编码效率的评价而选择编码效率最高的分支。在实施这些适应编码处理的情况下，将用于在解码侧判断编码时的选择的信令信息467多路复用在比特流中。也可以在切片、图片、GOP、以及序列等与宏块不同的级别中，指定这样的信令。
图80、图81示出与图78、图79的编码装置对应的解码装置。图80是对利用图78的编码装置在变换处理前进行颜色空间变换而编码的比特流进行解码的解码装置。可变长解码部25从比特流中，解码出选择在逆颜色空间变换部466中进行还是不进行变换的有无变换的信息、选择在逆颜色空间变换部466中可以执行的变换方式的信息即信令信息467，并供给到逆颜色空间变换部466。图80的解码装置在逆颜色空间变换部466中，根据这些信息，实施针对逆变换后的预测误差信号的颜色空间变换处理。另外，图81是对利用图79的编码装置在变换处理后选择处理对象的频率成分而进行颜色空间变换而编码的比特流进行解码的解码装置。可变长解码部从比特流中，解码出包括选择在逆颜色空间变换部466中进行还是不进行变换的有无变换的信息、选择在逆颜色空间变换部中执行的变换方式的信息、确定实施颜色空间变换的频率成分的信息等的识别信息即信令信息467，并供给到逆颜色空间变换部466。图81的解码装置在逆颜色空间变换部466中，根据这些信息，对逆量化后的变换系数数据实施颜色空间变换处理。
在图80、图81的解码装置中，与图75的解码装置同样地，设为在第一图片解码部603a中，具备将以往的YUV4:2:0格式作为对象汇总三个成分而编码的基于AVC高类的比特流的解码功能，在上位标题解析部610中，参照从视频流422c中解码的类标识符，判定是通过哪个格式编码的比特流，将判定结果作为共同编码·独立编码识别信号423的信号线的信息的一部分而传送给开关601与第一图片解码部603a，如果取上述结构，还可以构成确保针对以往的YUV4:2:0格式的比特流的互换性的解码装置。
图82示出以往的YUV4:2:0格式的比特流中包含的宏块标题信息的编码数据的结构。与图50所示的Cn成分标题信息的不同点仅为，在宏块类型是帧内预测时，包含有帧内色差预测模式144的编码数据。另外，在宏块类型是帧间预测时，宏块标题信息的编码数据的结构与图50所示的Cn成分标题信息相同，但使用包含在宏块标题信息中的参照图像识别号码、运动矢量信息，通过与亮度成分不同的方法，生成色差成分的运动矢量。
对确保针对以往的YUV4:2:0格式的比特流的互换性的解码装置的动作进行说明。如上所述，设为第一图片解码部603a具备以往的YUV4:2:0格式的比特流的解码功能。第一图片解码部的内部结构与图76相同。
对具备以往的YUV4:2:0格式的比特流的解码功能的第一图片解码部的可变长解码部25的动作进行说明。在向可变长解码部输入了视频流422c时，对色差格式指示标志进行解码。色差格式指示标志是包含在视频流422c的序列参数标题中，输入影像格式表示4:4:4、4:2:2、4:2:0、或4:0:0中的某一个格式的标志。利用色差格式指示标志的值，来切换视频流422c的宏块标题信息的解码处理。在宏块类型表示帧内预测的情况下、且色差格式指示标志表示4:2:0或4:2:2的情况下，从比特流中解码出帧内色差预测模式144。在色差格式指示标志表示4:4:4的情况下，跳过帧内色差预测模式144的解码。在色差格式指示标志表示4:0:0的情况下，由于输入影像信号是仅由亮度信号构成的格式（4:0:0格式），所以跳过帧内色差预测模式144的解码。帧内色差预测模式144以外的宏块标题信息的解码处理与不具备以往的YUV4:2:0格式的比特流的解码功能的第一图片解码部603a的可变长解码部相同。在通过以上向可变长解码部25输入了视频流422c时，抽出色差格式指示标志（未图示）、三个成分的量的量化结束变换系数10、宏块标题信息（宏块类型/子宏块类型106、预测开销信息463、变换块尺寸指定标志464、量化参数21）。对预测部461，输入色差指示格式指示标志（未图示）与预测开销信息463，得到三个成分的量的预测图像7。
图83示出确保针对以往的YUV4:2:0格式的比特流的互换性的第一图片解码部的预测部461的内部结构，说明其动作。
切换部4611a判别宏块类型，在宏块类型表示是帧内预测的情况下，利用切换部4611b判别色差格式指示标志的值。在色差格式指示标志的值表示4:2:0或4:2:2中的某一个的情况下，从预测开销信息463中，按照帧内预测模式信息与帧内色差预测模式信息，得到三个成分的量的预测图像7。在三个成分中，按照帧内预测模式信息，利用亮度信号帧内预测部4612，生成亮度信号的预测图像。按照帧内色差预测模式信息，利用进行与亮度成分不同的处理的色产信号帧内预测部4613，生成色差信号2个成分的预测图像。在色差格式指示标志的值表示4:4:4的情况下，按照帧内预测模式信息，利用亮度信号帧内预测部4612，生成三个成分所有的预测图像。在色差格式指示标志的值表示4:0:0的情况下，由于4:0:0格式仅由亮度信号（一个成分）构成，所以按照帧内预测模式信息，利用亮度信号帧内预测部4612，仅生成亮度信号的预测图像。
在通过切换部4611a表示宏块类型是帧间预测的情况下，利用切换部4611c判别色差格式指示标志的值。在色差格式指示标志的值表示4:2:0或4:2:2中的某一个的情况下，针对亮度信号，利用亮度信号帧间预测部4614，从预测开销信息463，按照运动矢量、参照图像索引，按照AVC标准决定的亮度信号的预测图像生成方法，生成预测图像。针对色差信号2个成分的预测图像，利用色差信号帧间预测部4615，根据色差格式，对从预测开销信息463中得到的运动矢量进行标定，而生成色差运动矢量，根据从预测开销信息463中得到的参照图像索引指示的参照图像，根据上述色差运动矢量，按照AVC标准决定的方法，生成预测图像。在色差格式指示标志的值表示4:0:0的情况下，由于4:0:0格式仅由亮度信号（一个成分）构成，所以按照运动矢量、参照图像索引，利用亮度信号帧间预测部4614仅生成亮度信号的预测图像。
如上所述，设置生成以往的YUV4:2:0格式的色差信号的预测图像的手段，根据从比特流中解码的色差格式指示标志的值，切换三个成分的预测图像的生成中使用的手段，所以可以构成确保针对以往的YUV4:2:0格式的比特流的互换性的解码装置。
另外，如果对供给到图80、图81的解码装置的视频流422c，按照序列参数集合等单位，赋予表示是否为在如图75的解码装置那样不支持颜色空间变换处理的解码装置中也可以进行解码的比特流的信息，则在图80、图81以及图75中的任一解码装置中，都可以进行与各自的解码性能对应的比特流的解码，具有易于确保比特流的互换性的效果。
实施方式15
在本实施方式15中，叙述在图71、图75等上述实施方式14的编码装置·解码装置中，仅成为其输入输出对象的比特流的结构不同的其他实施方式。本实施方式15中的编码装置通过图84所示的比特流结构，进行编码数据的多路复用。
在图69的结构的比特流中，AUD NAL单元作为其要素，包括primary_pic_type这样的信息。图85示出对以AUD NAL单元开始的访问单元内的图片数据进行编码时的图片编码类型的信息。
例如，在primary_pic_type＝0的情况下，表示在图片内全部进行帧内编码。在primary_pic_type＝1的情况下，表示在图片内可以混合存在被帧内编码的切片、与可以仅使用一个参照图片来进行运动补偿预测的切片。由于primary_pic_type是规定一个图片可以使用什么样的编码模式来编码的信息，所以通过在编码装置侧操作该信息，可以进行适合于输入影像信号的性质、随机访问功能等各种条件的编码。在上述实施方式14中，由于针对每个访问单元仅具有一个primary_pic_type，所以在进行独立编码处理时的访问单元中，在三个颜色成分图片中，primary_pic_type设为共同。在本实施方式15中，构成为在进行各颜色成分图片的独立编码的情况下，在图69的AUD NAL单元内，根据num_pictures_in_au的值，通过追加而***剩余两个颜色成分图片的primary_pic_type，或者如图84的比特流结构那样，使各颜色成分图片的编码数据从表示颜色成分图片的开始的NAL单元（ColorChannel Delimiter）起开始，在该CCD NAL单元中，包括对应的图片的primary_pic_type信息。在该结构中，由于汇总一个图片的量而多路复用各颜色成分图片的编码数据，所以上述实施方式14中叙述过的颜色成分识别标志（color_channel_idc）不是包含在切片标题，而是包含在CCD NAL单元中。由此，由于可以将需要向各切片多路复用的颜色成分识别标志的信息集约成图片单位的数据，所以具有可以削减开销信息的效果。另外，对构成为字节串的CCD NAL单元进行检测而针对每个颜色成分图片仅验证一次color_channel_idc即可，无需进行可变长解码处理，而可以迅速地发现颜色成分图片的开头，所以无需在解码装置侧，为了针对每个颜色成分分离解码对象的NAL单元而逐一验证切片标题中的color_channel_idc，可以平滑地进行向第二图片解码部的数据供给。
另一方面，在这样的结构中，由于上述实施方式14的图72中叙述那样的降低编码装置的缓冲器尺寸、处理延迟的效果被削弱，所以也可以构成为在更上位的级别（序列、GOP）中对按照切片单位多路复用还是按照颜色成分图片单位多路复用颜色成分识别标志做出信令。通过取这样的比特流结构，编码装置可以根据其利用方式进行灵活的安装。
作为其他实施方式，也可以通过图86所示的比特流结构，进行编码数据的多路复用。在图86中，设为在各AUD中包括在图84中设为包含在CCD NAL单元中的color_channel_idc、primary_pic_type。在本实施方式15中的比特流结构中，构成为在独立编码处理的情况下，也在一个访问单元内包括一个（颜色成分）图片。在这样的结构中，通过将颜色成分识别标志的信息集约成图片单位的数据，而得到开销信息的削减效果，并且，对构成为字节串的AUD NAL单元进行检测而针对每个图片仅验证一次color_channel_idc即可，无需进行可变长解码处理，而可以迅速地发现颜色成分图片的开头，所以在解码装置侧，无需为了针对每个颜色成分分离解码对象的NAL单元而逐一验证切片标题中的color_channel_idc，而可以平滑地进行向第二图片解码部的数据供给。另一方面，一个帧或一个场的图像由三个访问单元构成，所以需要指定三个访问单元是同一时刻的图像数据。因此，在图86的比特流结构中，也可以构成为进而在AUD中，赋予各图片的序列号码（时间方向的编码·解码顺序等）。通过这样的结构，在解码装置侧完全不需要解码切片数据，就可以验证各图片的解码·显示顺序、颜色成分属性、以及IDR的是非等，可以高效地进行比特流级别的编辑、特殊再生。
另外，也可以构成为在图69、84至图86的比特流结构中，在AUD、CCD的区域中，存储指定包含在一个颜色成分图片中的切片NAL单元的个数的信息。
另外，对于上述所有实施例，关于变换处理、逆变换处理，也可以是如DCT那样保证正交性的变换，也可以是AVC那样的严密地讲不是DCT那样的正交变换，而是与量化·逆量化处理组合而近似了正交性的变换。另外，也可以是不进行变换，而将预测误差信号编码成像素级别的信息的结构。
实施方式16
在本实施方式16中，对针对按照4:4:4格式输入的影像帧，按照各颜色成分独立地分割成Mi×Mi像素（i＝0，1，2）的矩形区域的单位，使用帧之内、帧之间适应预测来进行编码的编码装置、以及对应的解码装置进行说明。Mi表示对影像帧的第i个颜色成分的信号进行分割的区域的尺寸。
1．编码装置的动作概要
图87示出本实施方式16中的影像编码装置的结构。4:4:4格式的输入影像信号1在颜色成分分离部502中，被分离成各颜色成分的画面成分505b0、505b1、以及505b2，并分别输入给由相同结构构成的图片编码部503b0、503b1、以及503b2。另外，此时，从颜色成分分离部502中，向分别对应的图片编码部503b0、503b1、以及503b2，输入指定各图片编码部503b0、5003b1、以及503b2中的编码单位的矩形区域的尺寸Mi的信息506b0、506b1、以及506b2。由此，对颜色成分Ci进行编码的图片编码部503b0、503b1、以及503b2根据矩形区域尺寸Mi，分割各画面成分505b0、505b1、以及505b2，按照该单位进行编码。
以下，进行图片编码部503b0、503b1、以及503b2的详细动作说明。在本实施方式16的图片编码部503b0、503b1、以及503b2的说明中，按照将图74的结构变形的形式进行说明。图88示出图片编码部503b0、503b1、以及503b2的内部结构。在该图中，只要没有特别说明，则赋予了与图74的图片编码部相同的号码的功能块、信号线设为与图74的部分相同。以下，在图片编码部503b0、503b1、以及503b2的说明中，代表各颜色成分的画面成分505b0、505b1、以及505b2设为输入信号505，代表指定编码单位的矩形区域的尺寸Mi的信息506b0、506b1、以及506b2而记载成编码块尺寸指示信息506。根据编码块尺寸指示信息506，利用块分割部40，将输入信号505分割成矩形块。另外，将与颜色成分Ci对应的输入信号505，在以后的说明中作为编码处理的数据单位而有时称为图片。
有如下编码方法：对于输入信号505，在输入影像信号1是进行了亮度·色差信号（例如Y、Cb、Cr或Y、Co、Cg等）的颜色空间表现的信号的情况下，作为505b0而分配亮度成分，作为505b1、505b2而分配色差成分。在该情况下，亮度成分成为将图像信号具有的纹理信息集约的信号，色差信号相反地被去除与关于纹理成分的亮度成分的相关，视觉上成为具有针对单色图像的着色的意思的信号成分。因此，在以纹理的结构为根据的帧之间的运动补偿预测、AVC中采用的帧之内的空间预测这样的信号预测中，作为预测的单位的块的尺寸不一定要与亮度成分相同。相逆地，对于色差信号而言，不一定按照与亮度成分相同的块尺寸来进行预测，而在按照可以最大限度地应用色差信号的画面内的相关的个别的块尺寸来进行预测时，可以提高编码效率。例如，在将Y成分设为C0、将Cb成分设为C1、将Cr成分设为C2的情况下，如果作为M0＝16、M1＝M2＝32，与亮度相比增大色差成分的块尺寸，则针对三个中的两个成分，可以将每个编码单位的开销信息（预测模式、运动矢量等）降低至亮度成分的四分之一左右。图89示出其样子。
另外，也可以构成为根据图像尺寸来决定Mi。例如，在对HDTV信号（1920像素×1080线）的影像、与具有意义上相同的内容的CIF信号（352像素×288线）等低分辨率影像进行比较的情况下，HDTV信号的4像素×4线块在CIF信号中仅为一个像素区域的尺寸。因此，图像分辨率越高，每个像素覆盖的实质的图像纹理区域越小。在帧之间的运动补偿预测、帧之内空间预测中，对原来图像的纹理结构的类似度进行检测，而将类似度最高的信号部分用作预测值，所以在成为预测的单位的块内的信号中没有保存某种程度纹理结构时，不能良好地进行预测（预测性能被噪声成分阻碍）。因此，优选构成为在分辨率高的影像中增大块尺寸而可以覆盖在低分辨率时覆盖的纹理区域。因此，还可以取图像尺寸越大，将Mi设得越大等这样的结构。以后，将由Mi×Mi像素构成的矩形区域称为宏块。
对利用块分割部40分割成宏块的输入信号505，首先，在预测部461中，进行：从当前图片的局部解码结束的存储器16b中存储的周边像素、进行空间预测的帧内预测处理，或者从存储在存储器16b中的一个帧以上的预测参照图像数据中，使用参照图像，针对各颜色成分的每一个进行运动补偿预测处理。本实施方式16中的预测部461的处理的动作与图74的预测部461不同，以下进行说明。
1．1帧内预测处理
在预测部461中，使用存储在存储器16b中的参照图像701，按照该宏块的单位，进行帧内预测处理。在帧内预测的模式中，有：按照N像素×N线的块的单位，进行使用了其周边像素的空间预测的帧内N×N预测模式；按照图89所示的宏块的单位，进行使用了其周边像素的空间预测的宏块单位帧内预测模式。
（a）帧内N×N预测模式
将宏块分割成由N×N像素块构成的块，对各块进行空间预测。作为成为进行帧内N×N预测的单位的块尺寸N，选择可以对宏块的尺寸Mi进行均等分割的尺寸。例如，如果Mi＝16，则使用N＝4、8中的某一个，如果Mi＝32，则使用N＝4、8、以及16中的某一个。作为预测值，使用已经结束编码并进行局部解码处理而存储在存储器16b中的当前图片的周围的块（左上、上、右上、左）的像素。作为预测模式，例如准备图3所示那样的多个模式。与上述实施方式1同样地，图3示出N＝4时的预测模式种类，表示有九个预测模式。按照4×4像素块单位选择该九个中的某一个。
Intra4×4_pred_mode＝0:将邻接的上部的像素原样地用作预测图像。
Intra4×4_pred_mode＝1:将邻接的左部的像素原样地用作预测图像。
Intra4×4_pred_mode＝2:将邻接的8个像素的平均值用作预测图像。
Intra4×4_pred_mode＝3:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于右45度边缘）。
Intra4×4_pred_mode＝4:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左45度边缘）。
Intra4×4_pred_mode＝5:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左22.5度边缘）。
Intra4×4_pred_mode＝6:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左67.5度边缘）。
Intra4×4_pred_mode＝7:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于右22.5度边缘）。
Intra4×4_pred_mode＝8:从邻接的像素中针对每2～3像素求出加权平均而用作预测图像（对应于左112.5度边缘）。
在设为N＝4的情况下，需要16个针对每个宏块的模式信息。为了抑制模式信息自身的代码量，对于模式信息，利用与邻接的块间的相关高的情况，根据邻接的块的模式信息，进行预测编码。在N成为8、16这样的尺寸的情况下，虽然未图示，但定义与N＝4的情况同样的加入了图像纹理的方向性的空间预测模式，按照将Mi×Mi的宏块均等地以N×N分割的子块的单位，进行帧内预测处理。
（b）宏块单位帧内预测模式
是一次性预测与宏块尺寸相当的Mi×Mi像素块的模式，在Mi＝16的情况下，按照宏块单位选择图4所示的四个模式中的某一个。与帧内N×N预测模式同样地，将已经结束编码并进行局部解码处理而存储在存储器16b中的周围的宏块（左上、上、左）的像素用于预测图像生成中。
Intra16×16_pred_mode＝0:将上宏块的最下边的16个像素用作预测图像。
Intra16×16_pred_mode＝1:将左宏块的最右边的16个像素用作预测图像。
Intra16×16_pred_mode＝2:将上宏块的最下边的16个像素（图4的A部分）与左宏块的最左边的16个像素（图4的B部分）这合计32个像素的平均值用作预测图像。
Intra16×16_pred_mode＝3:使用左上的宏块的右下角的像素、上宏块的最下边的15个像素（除了涂白像素的部分）、左宏块的最右边的15个像素（除了涂白像素的部分）这合计31个像素，通过规定的运算处理（与使用的像素和预测的像素位置对应的加权加法处理），得到预测图像。在Mi并非16的情况下，也定义与Mi＝16的情况同样的加入了图像纹理的方向性的宏块单位的空间预测模式。
作为由预测部461进行的帧内预测模式选择用的预测效率评价的规范，例如可以使用通过Jm＝Dm+λRm（λ：正数）提供的速率·失真成本。此处，Dm是应用了帧内预测模式m时的编码失真或预测误差量。编码失真是指，应用帧内预测模式m而得到预测差分信号，对预测差分信号进行变换·量化，根据其结果，对影像进行解码而测量针对编码前的信号的误差而得到的。预测误差量是指，得到应用了帧内预测模式m时的预测图像与编码前的信号的差分，对该差分的大小进行定量化而得到的，例如使用差分绝对值和（Sum of AbsoluteDistance:SAD）等。Rm是应用了帧内预测模式m时的发生代码量。即，Jm是规定应用了帧内预测模式m时的代码量与劣化度的折衷的值，提供最小的Jm的帧内预测模式m提供最佳解。
1．2运动补偿预测处理
在预测部461中，进而使用存储在存储器16b中的编码结束的局部解码图像15，按照该宏块的单位，进行帧之间运动补偿预测处理。作为进行运动补偿预测的块尺寸，如图90（a）至（d）所示，在宏块单位中，可以选择Mi×Mi像素、Mi×（Mi/2）、（Mi/2）×Mi、以及（Mi/2）×（Mi/2）中的某一个分割形状类型。进而，在选择了（Mi/2）×（Mi/2）的情况下，可以针对各（Mi/2）×（Mi/2）块的每一个，如图90（e）至（h）所示，选择（Mi/2）×（Mi/2）、（Mi/2）×（Mi/4）、（Mi/4）×（Mi/2）、以及（Mi/4）×（Mi/4）中的某一个尺寸。
进而，也可以构成为如图90（i）至（l）所示，将对宏块进行不均等分割而得到的区域设为运动补偿预测单位。在图像信号中一般包括具有轮廓的被摄体，以轮廓为边界而发生运动的不连续的情况较多。在仅宏块、作为其子集合的矩形块是运动检测的单位时，在块内存在物体边界而产生运动的不连续的情况下，在没有细化块分割而增加了运动矢量的个数时，发生预测效率不高这样的状况。如果如图90（i）至（l）所示，将对宏块进行不均等分割而得到的区域准备为运动补偿预测单位，则可以通过更少的运动矢量来覆盖物体轮廓上的运动的不连续性，而提高预测效率。
另外，一般，在宏块内存在轮廓时的宏块中的轮廓的位置、形状多样，想要将它们全部定义时，不止是图90（i）至（l）那样的形状，需要定义所有块内分割，但如本实施方式16的图90（i）至（l）所示，以直至（Mi/2）×（Mi/2）的块这样的形式限定构成不均匀分割的形状的单位区域，从而具有如下效果：抑制为了表现分割图案而需要编码的附加信息的代码量，抑制为了对各分割图案进行运动检测而所需的运算量，并且用于生成预测值的向存储器16b的访问变得高效化，抑制存储器带宽（memory band width）。
关于在运动补偿预测中使用图90中的哪一个分割，决定成帧间预测模式，生成并输出分配给各分割的运动矢量。对于在某图片中可以利用的帧间预测模式的种类，既可以以可以指定图90的所有分割图案的形式定义帧间预测模式，也可以构成为为了削减最佳的帧间预测模式的选择中所需的运算量、指定帧间预测模式的信息的代码量，而根据条件来限制可以选择成帧间预测模式的分割图案。例如，将宏块内的分割设得越多，编码所需的运动矢量的信息越增加，所以可以构成为在低的比特率下进行编码的情况下，不使用图90（e）至（h）所示那样的进行向（Mi/2）×（Mi/2）像素以下的再分割的图案，而替代地选择运动矢量的代码量可以少的图90（i）至（l）所示的分割图案。例如，可以构成为由于作为比特率的高低的判断基准可以利用量化参数的大小，所以根据进行图片的编码时的量化参数的初始状态的值来切换帧间预测模式的定义。或者，也可以构成为将决定帧间预测模式的定义的专用的识别比特多路复用到比特流中。
进而，在如MPEG－2的B图片、AVC的双向预测等那样，使用来自多个参照图像的预测图像那样的图片中，有必需对针对各参照图像的运动矢量个别地进行编码的情形的情况下，为了削减运动矢量的信息量，不使用图90（e）至（h）所示那样的进行向（Mi/2）×（Mi/2）像素以下的再分割的图案，而可以替代地选择运动矢量的代码量可以少的图90（i）至（l）所示的分割图案。另外，也可以构成为预先推测画面整体的运动的样子，或者根据表示紧接之前进行了编码的图片的编码过程的信息，来切换帧间预测模式的定义。例如，有如下方法：如果是运动复杂的场景，则以可以利用更细致的分割图案的形式，决定帧间预测模式的定义，在判断为运动均匀且即使按照大的块的单位也可以充分地进行预测的状况下，设为不使用细致的分割图案的帧间预测模式的定义。另外，可以构成为可以针对宏块内的各自的分割块的每一个指定预测值生成中使用的参照图像，构成为对参照图像的识别号码进行编码。
作为运动补偿预测处理中的帧间预测模式选择用的预测效率评价的规范，例如可以使用通过Jm、v、r＝Dm、v、r+λRm、v、r（λ：正数）提供的速率·失真成本。此处，Dm、v、r是应用了帧间预测模式m、据此决定的运动矢量v以及参照图像r时的编码失真或预测误差量。编码失真是指，应用帧间预测模式m、运动矢量v以及参照图像r而得到预测差分信号，对预测差分信号进行变换·量化，根据其结果，对影像进行解码而测量针对编码前的信号的误差而得到的。预测误差量是指，得到应用了帧间预测模式m、运动矢量v以及参照图像r时的预测图像与编码前的信号的差分，对该差分的大小进行定量化而得到的，例如使用差分绝对值和（Sum of Absolute Distance:SAD）等。Rm、v、r是应用了帧间预测模式m、运动矢量v以及参照图像r时的发生代码量。即，Jm、v、r是规定应用了帧间预测模式m以及运动矢量v与参照图像r时的代码量与劣化度的折衷的值，提供最小的Jm、v、r的帧间预测模式m、运动矢量v以及参照图像r提供最佳解。
1．3图片编码处理
在预测部461中，对图3、图4所示的帧内预测的所有模式或其子集合，执行帧内预测处理，而生成宏块单位的帧内预测图像，并且对图90所示的运动补偿预测的所有模式或其子集合，执行运动补偿预测处理，输出Mi×Mi块的预测图像7。利用减法器3从输入信号505中减去预测图像7，而得到预测差分信号4。预测差分信号4在编码模式判定部5中评价其预测效率，输出由预测部461执行的预测处理中对预测对象的宏块得到了最佳的预测效率的预测模式而作为编码模式6。即，编码模式6包括识别：使用图3等帧内N×N预测模式、还是使用图4等宏块单位帧内预测模式、还是使用图90所示那样的分割图案中的某一个来进行运动补偿预测的宏块类型的信息。另外，在本实施方式16中，利用由编码控制部19等决定的编码模式定义选择信息711，来切换当前图片中可以选择的编码模式的种类。作为编码模式定义选择信息711，除了使用专用的选择指示信息以外，也可以代替专用的信息，而以单体或复合地组合使用例如对当前图片进行编码时的量化参数21的初始值、与通知到块分割部40的编码块尺寸指示信息506等。在选定编码模式6时，有时还加入针对编码控制部19的判断中决定的各编码模式的权重系数20。在编码模式判定部5中使用编码模式6而得到的最佳的预测差分信号4被输出给变换部310。
变换部310对输入的由Mi×Mi像素块构成的预测差分信号4进行变换而作为变换系数输出给量化部9。在变换时，将Mi×Mi像素块分割成L×L像素块（L＜＝Mi，并且Mi是L的倍数）而变换，利用变换块尺寸指定标志464，指定变换块尺寸L。通过这样构成，可以进行适合于Mi×Mi像素块中的信号的局部性质的变换处理。变换块尺寸L既可以对可以设定的所有L的值进行变换而选择最高效的值，也可以与帧内预测模式的块尺寸、运动补偿预测模式的块尺寸匹配。在后者的情况下，在编码模式6中包括与变换块尺寸指定标志464相当的信息，所以具有也可以不将变换块尺寸指定标志464另行多路复用到比特流中这样的效果。量化部9针对输入的变换系数，根据利用编码控制部19决定的量化参数21，进行量化，作为量化结束变换系数10而输出给可变长编码部11。利用可变长编码部11，通过哈夫曼编码、算术编码等手段，对量化结束变换系数10进行熵编码。另外，量化结束变换系数10经由逆量化部12、逆变换部312被还原成局部解码预测差分信号14，利用加法器18，与通过与编码模式6对应的预测方法生成的预测图像7进行加法运算，从而生成局部解码图像15。局部解码图像15为了用于以后的预测处理中，而根据表示是否实施分块滤波的分块滤波控制标志24，通过分块滤波部462对块边界实施失真去除滤波，或者原样地存储在存储器16b中。另外，在分块滤波部462中，参照编码块尺寸指示信息506、变换块尺寸指定标志464，对宏块边界、变换块边界，分别进行最佳的块失真去除处理。由于在解码装置中也需要进行同样的处理，所以分块滤波控制标志24被输入给可变长编码部11，而多路复用到比特流中。
在可变长编码部11中，利用哈夫曼编码、算术编码等对规定宏块尺寸Mi的编码块尺寸指示信息506、量化结束变换系数10、编码模式6、预测开销信息463、量化参数21进行熵编码，按照规定的规则（语法）排列·整形成比特流，输出给发送缓冲器17。在本实施方式16的预测开销信息463中，在作为编码模式6选择了帧内预测处理的情况下，包括针对每个预测单位块使用的各个预测模式信息（Intra4×4_pred_mode、Intra16×16_pred_mode等）。另外，在作为编码模式6选择了运动补偿预测处理的情况下，包括与针对图90记载的宏块类型的每一个决定的分割图案匹配的运动矢量信息、参照图像索引。在发送缓冲器17中，与连接了编码装置的传送路的频带、记录介质的读出速度匹配地，对比特流进行平滑化，作为视频流422b0而输出。另外，根据发送缓冲器17中的比特流积蓄状况，向编码控制部19输出反馈信息，对以后的影像帧的编码中的发生代码量进行控制。按照汇总了多个宏块而得到的切片的单位，对视频流422b0进行单元化而输出。
2．编码比特流的结构
通过图片编码部503执行以上处理，从而向编码装置的输入影像信号1通过三个独立的图片编码部503b0、503b1、以及503b2分别被独立地编码，按照将多个宏块汇总而成的切片的单位，作为视频流422b0、422b1、以及422b2而输出，在多路复用部504中，排列成作为由三个成分构成的输入影像信号1的视频流422c的形式而从编码装置中输出。
图91示出来自图片编码部503b0、503b1、以及503b2的输出即视频流422b0、422b1、以及422b2的数据排列。通过图片编码得到的视频流422b0、422b1、以及422b2构成为集中了包含在相同图片中的宏块的数量的编码数据，按照宏块集中了多个的切片这样的数据单位被单元化。准备属于同一图片中的宏块作为共同参数而参照的图片级别标题，在图片级别标题中，存储有编码块尺寸指示信息506、编码模式定义选择信息711。对于图片内的所有宏块，利用包含在所参照的图片级别标题中的编码块尺寸指示信息506，决定宏块尺寸Mi，按照编码模式定义选择信息711，决定编码模式6的可变长编码步骤。
各切片分别从切片标题开始，在切片标题中包括表示在该切片中包括哪个颜色成分的编码数据（定义505b0、505b1、以及505b2的种类的信息）的颜色成分识别标志721（与通过图69的独立编码处理得到的切片编码数据的情况相同）。接着切片标题，排列有切片内的各宏块的编码数据（在该例子中，表示在一个图片内的第二切片中包括K个宏块）。在各宏块的数据中，接着编码模式6，排列有预测开销信息463、变换块尺寸指定标志464、（仅在宏块单位中变更量化参数的情况）量化参数21、量化结束变换系数10。成为图87的编码装置的输出的视频流422c取图91的结构的视频流422b0、422b1、以及422b2这三个成分被多路复用的形式。另外，在图91中，将编码块尺寸指示信息506、编码模式定义选择信息711配置在图片级别标题中，但也可以构成为针对它们将三个成分的信息汇总而存储在按照将每多个影像帧汇总的序列的单位赋予的序列级别标题中。由此，无需通过个别的图片级别标题来编码并传送在三个成分中不同的信息，可以削减标题的信息量。
3．解码装置的动作概要
图92的解码装置接收从图87的编码装置中输出的视频流422c，按照宏块的单位进行解码处理，还原各个影像帧。
在图92中，对于视频流422c，在上位标题解析部610中，对序列级别标题、图片级别标题等上位标题信息进行解码，存储到颜色成分判定部602、图片解码部603b0、603b1、以及603b2可参照的规定的存储器区域中。
颜色成分判定部602利用图91中示出的颜色成分识别标志721的值，识别切片相当于哪个颜色成分图片，分配供给到适当的图片解码部（603b0、603b1、以及603b2）。利用这样的解码装置的结构，即使接收到混合存在三个颜色成分的视频流，也可以容易地判别哪个切片属于哪个颜色成分图片而正确地解码。
3．1图片解码部603的动作概要
以下，进行图片解码部603b0、603b1、以及603b2的详细动作说明。在本实施方式16的图片解码部603b0、603b1、以及603b2的说明中，按照将图77的结构变形的形式进行说明。图93示出图片解码部603b0、603b1、以及603b2的内部结构。在该图中，只要没有特别说明，则赋予了与图77的图片解码部相同的号码的功能块、信号线设为与图77的部分相同。
图片解码部603b0、603b1、以及603b2接收通过颜色成分判定部602分配的C0、C1、或C2切片编码数据，将由单一颜色成分的样本构成的宏块作为单位而进行解码处理，还原输出影像帧的相应颜色成分的信号427b0（427b1、427b2）。
可变长解码部25将视频流422c作为输入，按照规定的规则（语法）解读视频流422c，抽出切片标题、各宏块的量化结束变换系数10、预测开销信息463、变换块尺寸指定标志464、量化参数21、以及编码模式6。在图92中，记载成通过上位标题解析部610对序列或图片级别标题进行解码，但在该情况下，构成为在对相应的颜色成分进行解码的图片解码部603中开始切片的解码之前，可以参照编码块尺寸指示信息506、编码模式定义选择信息711这样的信息。在通过各图片解码部603中的可变长解码部25进行解码的情况下，在开始切片的解码之前在可变长解码部25中进行图片级别标题的解码，从比特流中抽出编码块尺寸指示信息506、编码模式定义选择信息711这样的信息。另外，虽然未图示，但编码模式定义选择信息711用于在可变长解码部25内对编码模式6进行解码时，决定其可变长解码步骤。
量化结束变换系数10与量化参数21一起被输入到进行与图片编码部503b0、503b1、以及503b2相同的处理的逆量化部12，进行逆量化处理。接下来，其输出被输入给进行与图片编码部503b0、503b1、以及503b2相同的处理的逆变换部312，被还原成局部解码预测差分信号14。在这些过程中，参照提供成为逆变换以及逆量化的单位的变换块尺寸L的变换块尺寸指示标志464，并为了将逆变换输出构成为Mi×Mi像素块的预测误差图像而参照编码块尺寸指示信息506。另一方面，在预测部461中，在图片编码部503b0、503b1、以及503b2中的预测部461中，仅包括参照编码模式6、预测开销信息463来生成预测图像7的处理。对预测部461输入编码模式6、预测开销信息463，得到预测图像7。在预测部461中，为了根据宏块尺寸Mi，生成针对Mi×Mi像素块的预测图像，而通知编码块尺寸指示信息506。
在编码模式6表示是帧内N×N预测、宏块单位帧内预测等帧内预测模式的情况下，从预测开销信息463中，按照N×N块单位的帧内预测模式信息、宏块单位的帧内预测模式信息等、以及宏块尺寸Mi，使用存储在存储器16b中的参照图像701，得到预测图像7。在编码模式6表示是帧间（运动补偿）预测的情况下，根据编码模式6识别图90的宏块内分割图案，按照从预测开销信息463中得到的运动矢量、参照图像索引、以及宏块尺寸Mi，使用存储在存储器16b中的参照图像701，得到预测图像7。
利用加法器18对局部解码预测差分信号14与预测图像7进行加法运算，得到解码图像427b0（427b1、427b2）。为了用于以后的宏块的运动补偿预测，而有时与图片编码部503b0、503b1、以及503b2同样地，根据分块滤波控制标志24，在分块滤波器26中对解码图像427b0（427b1、427b2）实施块失真去除处理。此时，分块滤波器26的处理结果存储在存储器16b中，为了在以后的图片解码中作为参照图像701而参照，与编码时同样地，参照编码块尺寸指示信息506、变换块尺寸指示标志464，进行分别适应于宏块、变换块的块失真去除处理。解码图像427b0（427b1、427b2）为了用于以后的运动补偿预测处理而存储到存储器16b中。解码图像427b0（427b1、427b2）仅包括单一颜色成分的样本，将进行其他颜色成分的解码的图片解码部603b0、603b1、以及603b2各自的输出即解码图像427b0、427b1、以及427b2汇总成影像帧的单位，从而构成为彩色影像帧。
根据以上叙述的编码装置、解码装置，为了对4:4:4格式的彩色影像信号高效地进行编码，对各颜色成分独立地进行预测编码，并且根据各颜色成分的信号的性质可以动态地切换进行预测、编码的宏块的尺寸，所以可以进行在成为高的压缩率的低比特率编码中针对代码量整体的比率变高的、高效地抑制了帧内预测模式、运动矢量、参照图像索引这样的预测开销信息463的代码量的编码。进而，在运动补偿预测处理中，为了抑制预测开销信息463的代码量，通过少的运动矢量个数来使用用于提高预测效率的宏块内不均匀分割的图案，从而改善预测效率与代码量的平衡，并且使表示这些分割图案的帧间预测模式的种类多样化而提高针对各种运动的预测效率，并且与比特率、图像分辨率等编码条件匹配地切换所需的帧间预测模式的种类，所以可以提供对4:4:4格式的彩色影像信号高效地进行编码的编码装置、解码装置。
另外，在本实施方式16中，使用对图74追加了宏块分割部40的图88的编码装置和与其对应的解码装置进行了说明，但使用其他实施方式中的对针对每个颜色成分进行个别·独立的编码处理的处理功能加上了块分割部40的编码装置以及与其对应的解码装置，也可以得到同样的效果。另外，通过将图71的编码装置中的个别编码处理实施部分置换成图87的编码装置，将图75的解码装置中的个别解码处理实施部分置换成图92的解码装置，可以提供对4:4:4格式的彩色影像信号的编码，适应性·效率更高的编码装置、解码装置。
实施方式17
在本实施方式17中，叙述针对实施方式16的编码装置、解码装置，在进行预测部中的运动补偿预测处理时动态地切换运动矢量检测精度的编码装置、解码装置。
本来，在作为数字图像的输入信号505中，仅存在通过抽样生成的离散的像素信息（以后称为整数像素），但在整数像素之间通过内插运算而制作虚拟的样本，并将其用作预测图像的技术得到了广泛应用。在该技术中，具有如下两个效果：通过增加预测的候补点而提高预测精度、通过伴随内插运算的滤波效果而削减预测图像的特异点以提高预测效率。另一方面，在提高了虚拟样本的精度时，需要还提高表现运动量的运动矢量的精度，所以需要注意其代码量也增加。
在MPEG－1、MPEG－2等编码方式中，采用直至1/2像素精度容许该虚拟样本的精度的半像素预测。图94示出1/2像素精度的样本的生成的样子。在该图中，A、B、C、以及D表示整数像素，e、f、g、h、以及i表示从A～D生成的半像素精度的虚拟样本。
e＝（A+B）//2
f＝（C+D）//2
g＝（A+C）//2
h＝（B+D）//2
i＝（A+B+C+D）//2
（其中、//表示带舍入（化成整数）的除法。）
另外，在MPEG－4（ISO/IEC14496－2）中，采用了使用直至1/4像素精度的虚拟样本的1/4像素精度预测。在1/4像素精度预测中，生成了半像素样本之后，使用它们来生成1/4像素精度的样本。以抑制半像素样本生成时的过度的平滑化为目的，设计成使用抽头（tap）数多的滤波器来极力保持原来的信号的频率成分。例如，在MPEG－4的1/4像素精度预测中，为了1/4像素精度的虚拟样本生成而制作的半像素精度的虚拟样本a是使用其周边八个像素而如下生成的。另外，下式仅表示水平处理的情况，为了1/4像素精度的虚拟样本生成而制作的半像素精度的虚拟样本a、与下式的整数像素的X成分X－4～X4的关系处于图95所示的位置关系。
a＝（COE1*X1+COE2*X2+COE3*X3+COE4*X4+COE－1*X－1+COE－2*X-2+COE－3*X－3+COE－4*X－4）//256
（其中，COEk:滤波系数（系数总和为256）。//表示带舍入的除法。）
在AVC（ISO/IEC14496－10）中，在生成半像素精度的虚拟样本时，采用成为[1，－5，20，20，－5，1]的六个抽头的滤波器，进而通过与上述MPEG－1、MPEG－2的半像素样本生成同样的线性内插处理，来生成1/4像素精度的虚拟样本。
1．编码装置的动作
在本实施方式17中，也可以在运动补偿预测处理时作为虚拟样本的精度而指定至半像素、1/4像素精度。据此，本实施方式17的编码装置、解码装置构成为可以针对各颜色成分的每一个指定所利用的虚拟样本的精度。图96示出本实施方式17中的图片编码部503b0、503b1、以及503b2的结构。相对图88的图片编码部503b0、503b1、以及503b2，仅预测部461、可变长编码部11的动作不同。
本实施方式17中的预测部461接收虚拟像素精度指示信息800，据此决定进行运动矢量检测的虚拟像素的精度来进行处理。虽然未图示，但对进行各颜色成分的编码的图片编码部503，分别按照颜色成分Ci，个别地指定虚拟像素精度指示信息800。预测部461在虚拟像素精度指示信息800表示进行“1/4像素精度的运动矢量检测”的情况下，一边在生成了上述MPEG－4或AVC那样的基于多抽头滤波器的半像素精度样本的基础上，通过线性内插生成1/4像素精度的样本，一边进行运动矢量检测。另一方面，在虚拟像素精度指示信息800表示进行“仅半像素精度的运动矢量检测”的情况下，一边进行上述MPEG－4或AVC那样的基于多抽头滤波器的半像素精度样本生成或如上述MPEG－1，MPEG－2的情况那样通过线性内插来生成半像素精度的样本，一边进行运动矢量检测。由于在解码装置中需要通过相同的方法生成虚拟样本而得到预测图像，所以将虚拟像素精度指示信息800多路复用输出到比特流中。另外，半像素精度样本的生成方法既可以构成为决定成一个而在编码装置与解码装置中通过相同的步骤进行处理，也可以构成为准备多个生成方法并将使用哪一个方法作为虚拟样本生成手法指示信息811多路复用到比特流中而传达给解码装置。作为虚拟像素精度指示信息800的设定方法，例如考虑如下方法：在Y、Cb、Cr那样的颜色空间中进行编码时，针对较强地反映图像的纹理结构的Y成分，将虚拟像素精度指示信息800作为“1/4像素精度的运动矢量检测”，按照细致的精度，进行运动检测，对与Y成分信号相比，与纹理结构的相关低的色差成分（Cb，Cr），将虚拟像素精度指示信息800设为“仅半像素精度的运动矢量检测”。该结构不仅按照颜色成分使虚拟像素精度的指示变化，而且还可以构成为在如RGB信号那样对于任意成分都保存了某种程度的图像纹理结构的情况下，针对所有成分，将虚拟像素精度指示信息800作为“1/4像素精度的运动矢量检测”，按照细致的精度，进行运动检测，具有对任何颜色空间的信号都可以与各颜色成分的信号的性质匹配地进行灵活的运动补偿预测处理这样的效果。
另外，虚拟像素精度指示信息800被送给可变长编码部11，而用于识别在预测部461中检测的运动矢量（包含在预测开销信息463中）的值的单位。在可变长编码部11中，将成为编码对象的运动矢量作为MV，按照规定的预测值决定步骤，将针对MV决定的预测矢量设为PMV。PMV使用编码已经结束的值。在可变长编码部11中，对MV－PMV的值进行编码。此时，在虚拟像素精度指示信息800表示“1/4像素精度的运动矢量检测”的情况下，将MV的值的单位设为1/4像素。另一方面，在虚拟像素精度指示信息800表示进行“仅半像素精度的运动矢量检测”的情况下，将MV的值的单位设为1/2像素。在将1/4像素作为1的运动矢量中，与将1/2像素作为1的情况相比，水平·垂直成分的值域都成为两倍。因此，在仅使用1/2像素精度的样本的情况下，通过将MV的值的单位设为1/2像素，与将1/4像素设为值的单位的情况相比，可以削减MV的编码中所需的信息量。
通过利用该性质，在不仅是伴随颜色空间的信号的性质的差异，而且在进行相对代码量整体来说运动矢量等预测开销信息463的代码量的比率变高的高压缩编码的情况下，还可以调整虚拟像素精度指示信息800，而进行抑制了运动矢量的代码量的编码。由于可以针对每个颜色成分独立地设定虚拟像素精度指示信息800，所以可以进行适应于高压缩时的各颜色成分的状况的控制，可以进行适应性更高的编码处理。
2．编码比特流的结构
图97示出从图96的编码装置中输出的视频流422b0、422b1、以及422b2的数据排列。与图91的流排列相比，不同点在于，在图片级别标题部分中多路复用了虚拟像素指示信息800。由此，接收该比特流的解码装置可以针对每个颜色成分，识别包含在预测开销信息463中的运动矢量的值的单位，与编码装置同样地对运动矢量进行解码，生成预测图像。另外，也可以构成为例如在可以如上所述准备多个用于生成半像素精度的样本的方法的情况下，将虚拟样本生成手法指示信息811多路复用到图片级别标题中。在图97中，将虚拟像素指示信息800、虚拟样本生成手法指示信息811多路复用到图片级别标题区域中，但也可以构成为汇总三个颜色成分的量而多路复用到序列级别标题等的更上位的标题区域中。
3．解码装置的动作
图98示出本实施方式17中的解码装置（图片解码部603b0、603b1、以及603b2）的结构。相对图93的图片解码部603b0、603b1、以及603b2，仅可变长解码部25、预测部461的动作不同。可变长解码部25对图97所示的视频流422b0、422b1、以及422b2进行解码，从视频流中抽出包含在图片级别标题中的虚拟像素精度指示信息800，输出给预测部461。在虚拟像素精度指示信息800的值表示“1/4像素精度的运动矢量检测”的情况下，将包含在预测开销信息463中的运动矢量的值的单位设定成1/4像素，将预测开销信息463送给预测部461。预测部461按照包含在预测开销信息463中的运动矢量的值是1/4像素单位的情况，一边在生成了上述MPEG－4或AVC那样的基于多抽头滤波器的半像素精度样本的基础上通过线性内插生成1/4像素精度的样本，一边进行预测图像的生成。
另一方面，在虚拟像素精度指示信息800的值表示“半像素精度的运动矢量检测”的情况下，将包含在预测开销信息463中的运动矢量的值的单位设定成1/2像素，将预测开销信息463送给预测部461。预测部461按照包含在预测开销信息463中的运动矢量的值是1/2像素单位的情况，一边进行上述MPEG－4或AVC那样的基于多抽头滤波器的半像素精度样本生成、或者如上述MPEG－1，MPEG－2的情况那样通过线性内插生成半像素精度的样本，一边进行预测图像的生成。在构成为可以选择多个半像素样本的生成方法的情况下，构成为在可变长解码部25中，从比特流中抽出图97的虚拟样本生成手法指示信息811，将其传达到预测部461，通过与编码装置相同的方法，进行半像素样本的生成。
根据以上叙述的本实施方式17中的编码装置、解码装置，为了对4:4:4格式的彩色影像信号高效地进行编码，可以在对各颜色成分独立地进行运动补偿预测时，根据各颜色成分的信号的性质，动态地切换在运动矢量检测·预测图像生成时利用的虚拟样本的精度，所以可以进行在成为高压缩率的低比特率编码中针对代码量整体的比率变高的、高效地抑制了运动矢量的代码量的编码。进而，通过准备多个在进行虚拟样本的生成的情况下使用的内插滤波器的种类等虚拟样本生成的手法，并选择性地切换来生成虚拟样本，可以进行与各颜色成分的信号的性质对应的最佳的运动补偿预测处理，可以提供对4:4:4格式的彩色影像信号高效地进行编码的编码装置、解码装置。
另外，在本实施方式17中，使用对上述实施方式16的图88加上了虚拟像素精度指示信息800的图96的编码装置、对图93加上了虚拟像素精度指示信息800的图98的解码装置而进行了说明，但即使使用对其他实施方式的图加上了虚拟像素精度指示信息800的编码装置、以及加上了虚拟像素精度指示信息800的解码装置，也可以得到同样的效果。
实施方式18
对于在上述实施方式中的进行对单一的颜色成分与其他颜色成分独立地进行编码·解码的个别·独立编码处理的编码装置·解码装置，叙述其他实施方式。此处，以实施方式16为例子叙述。在个别·独立编码处理中，将原理上无法进行非可逆编码的编码模式6、运动矢量等预测开销信息463，按照颜色成分分别多路复用到比特流中，所以在相对代码量整体这些代码量的比率变高的高压缩编码的情况下，成为压缩性能的妨碍。因此，在本实施方式18的编码装置中，将通过某特定的颜色成分（例如决定成C0成分）进行了宏块编码的结果得到的编码模式6、预测开销信息463等信息保持成参考信息，在处理其他颜色成分的图片编码部503中，当进行与使用参考信息的C0成分的宏块在图像空间上位于同一位置的宏块的编码时，可以选择留用上述参考信息来进行编码、或者在自身的颜色成分中个别地决定编码模式6、预测开销信息463来进行编码，按照宏块单位多路复用表示选择了哪一个步骤的预测信息编码指示标志。由此，在颜色成分间与编码模式6、预测开销信息463有关的相关高的情况下，可以高效地削减它们的代码量来提高压缩效率。
在自身的颜色成分中个别地决定编码模式6、预测开销信息463来进行编码的情况下，可以原样地利用实施方式16、17中叙述的编码·解码处理步骤。另外，即使在参照参考信息来进行编码的情况下，虽然需要在编码侧直到得到参考信息为止等待其他成分的编码处理，但只是跳过向比特流多路复用编码模式6、预测开销信息463等的多路复用处理，可以大致原样地利用实施方式16、17中叙述的编码处理步骤。在解码侧，虽然最初需要进行参考信息的解码，但只是进行对上述预测信息编码指示标志进行解码来判断使用参考信息、还是使用自身的宏块内的解码信息的处理，后面可以原样地利用实施方式16、17中叙述的解码处理步骤。
进而，通过在更上位的数据阶层（切片、图片、序列）中决定是否总是按照宏块单位多路复用上述预测信息编码指示标志，并多路复用到比特流中，仅限定于高压缩时等仅在需要上述预测信息编码指示标志的情况下，多路复用成宏块级别的代码即可，还可以提高编码效率。另外，也可以构成为不将参考信息限定于某特定的颜色成分的信息，而一边选择将哪一个颜色成分用作参考，一边进行编码·解码。
另外，本实施方式18的结构不限于实施方式16，而也可以应用于本申请实施方式中的进行对单一颜色成分与其他颜色成分独立地进行编码·解码的个别·独立编码处理的编码装置·解码装置的全部。

Claims (5)

1.一种图像编码装置，输入由多个颜色成分构成的彩色运动图像信号，将该彩色运动图像信号针对各颜色成分的每一个分割成规定的编码单位区域，选择性地应用画面内编码或运动补偿预测编码，从而对上述彩色运动图像信号进行数字压缩，该图像编码装置的特征在于，具备：
颜色成分分离部，针对每个上述颜色成分分离输入比特流，生成与各颜色成分对应的输入颜色成分信号；
块分割部，将输入颜色成分信号分割成利用按每个上述颜色成分的编码块尺寸指示信息决定的尺寸的块，生成上述编码单位区域的信号；
预测图像生成部，与表示预测图像生成方法的一个以上的预测模式对应地，生成针对上述编码单位区域的信号的预测图像；
判定部，根据从该预测图像生成部输出的预测图像的预测效率，判定编码中使用的预测模式；
预测误差编码部，对和利用该判定部决定的预测模式对应的预测图像与上述输入颜色成分信号的差分进行编码；以及
编码部，对上述预测模式、预测误差编码部的输出以及通过上述颜色成分的分离来表示属于哪个颜色成分的颜色成分识别标志进行可变长编码，
上述编码部将上述编码块尺寸指示信息、以及针对各编码单位区域的每一个的上述预测模式、对预测误差进行编码而得到的信息多路复用到比特流中。
2.一种图像解码装置，将对由多个颜色成分构成的彩色运动图像信号进行压缩编码而得到的比特流作为输入，针对该彩色运动图像信号的各颜色成分的每一个，选择性地应用画面内解码处理或运动补偿预测解码处理，从而对上述彩色运动图像信号进行解码，该图像解码装置的特征在于，具备：
颜色成分识别部，对识别输入比特流所属的颜色成分的颜色成分识别标志进行解码，判别该比特流包括属于哪个颜色成分的编码信息；
解码部，针对利用上述颜色成分识别部判别的颜色成分的每一个，从比特流中解码出决定成为各颜色成分信号的编码单位区域的块的尺寸的编码块尺寸指示信息，并且根据该编码块尺寸指示信息来决定编码单位区域的块尺寸，针对每个该编码单位区域，按照规定的语法，从比特流中解码出表示该编码单位区域的编码中使用的预测图像生成方法的预测模式、以及对预测误差进行编码而得到的信息；
预测图像生成部，根据上述编码块尺寸指示信息与上述预测模式，生成针对上述编码单位区域的信号的预测图像；
预测误差解码部，根据对上述预测误差进行编码而得到的信息，对预测误差信号进行解码；以及
加法部，将上述预测图像生成部的输出与上述预测误差解码部的输出进行相加。
3.一种图像编码装置，输入由多个颜色成分构成的彩色运动图像信号，将该彩色运动图像信号针对各颜色成分的每一个分割成规定的编码单位区域，使用运动补偿预测编码，对上述彩色运动图像信号进行数字压缩，该图像编码装置的特征在于，具备：
颜色成分分离部，针对每个上述颜色成分分离输入比特流，生成与各颜色成分对应的输入颜色成分信号；
块分割部，将输入颜色成分信号分割成按每个上述颜色成分的规定的块，生成上述编码单位区域的信号；
预测图像生成部，与表示运动补偿预测图像生成方法的一个以上的运动补偿预测模式和运动矢量对应地，生成针对上述编码单位区域的信号的预测图像；
判定部，根据从该预测图像生成部输出的运动补偿预测图像的预测效率，判定编码中使用的运动补偿预测模式以及对应的运动矢量；
预测误差编码部，对和利用该判定部决定的运动补偿预测模式对应的预测图像与上述输入颜色成分信号的差分进行编码；以及
编码部，对上述运动补偿预测模式、运动矢量、预测误差编码部的输出以及通过上述颜色成分的分离来表示属于哪个颜色成分的颜色成分识别标志进行可变长编码，
上述预测图像生成部根据表示在预测图像生成时使用的虚拟像素的上限精度的虚拟像素精度指示信息，以所指定的虚拟像素的精度，针对每个上述编码区域单位，进行预测图像生成，并且，上述判定部根据上述虚拟像素精度指示信息，以所指定的虚拟像素的精度，针对每个上述编码区域单位，求出运动补偿预测模式与运动矢量，上述编码部将上述虚拟像素精度指示信息多路复用到比特流中，并且针对每个上述编码单位区域，根据上述虚拟像素精度指示信息，对运动矢量进行编码，将上述运动补偿预测模式以及对预测误差进行编码而得到的信息多路复用到比特流中。
4.一种图像解码装置，将对由多个颜色成分构成的彩色运动图像信号进行压缩编码而得到的比特流作为输入，针对该彩色运动图像信号的各颜色成分的每一个，使用运动补偿预测解码处理，对上述彩色运动图像信号进行解码，该图像解码装置的特征在于，具备：
颜色成分识别部，对识别输入比特流所属的颜色成分的颜色成分识别标志进行解码，判别该比特流包括属于哪个颜色成分的编码信息；
解码部，针对利用上述颜色成分识别部判别的颜色成分的每一个，从比特流中解码出表示在预测图像生成时使用的虚拟像素的上限精度的虚拟像素精度指示信息，并且针对每个编码单位区域，按照规定的语法，从比特流中解码出表示该编码单位区域的编码中使用的运动补偿预测图像生成方法的运动补偿预测模式、对应的运动矢量以及对预测误差进行编码而得到的信息；
预测图像生成部，根据上述虚拟像素精度指示信息、上述运动补偿预测模式、以及上述运动矢量，生成针对上述编码单位区域的信号的预测图像；
预测误差解码部，根据对上述编码单位区域的预测误差进行编码而得到的信息，对预测误差信号进行解码；以及
加法部，将上述预测图像生成部的输出与上述预测误差解码部的输出进行相加，
上述解码部根据上述虚拟像素精度指示信息，进行运动矢量的解码处理。
5.一种图像编码装置，输入由多个颜色成分构成的彩色运动图像信号，将该彩色运动图像信号针对各颜色成分的每一个分割成规定的编码单位区域，选择性地应用画面内编码或运动补偿预测编码，从而对上述彩色运动图像信号进行数字压缩，该图像编码装置的特征在于，具备：
颜色成分分离部，针对每个上述颜色成分分离输入比特流，生成与各颜色成分对应的输入颜色成分信号；
块分割部，将输入颜色成分信号分割成按每个上述颜色成分的规定的块，生成上述编码单位区域的信号；
预测图像生成部，与表示预测图像生成方法的一个以上的预测模式以及对应的预测开销信息对应地，生成针对上述编码单位区域的信号的预测图像；
判定部，根据从该预测图像生成部输出的预测图像的预测效率，判定编码中使用的预测模式以及预测开销信息；
预测误差编码部，对和利用该判定部决定的预测模式对应的预测图像与上述输入颜色成分信号的差分进行编码；以及
编码部，对上述预测模式、对应的预测开销信息、预测误差编码部的输出以及通过上述颜色成分的分离来表示属于哪个颜色成分的颜色成分识别标志进行可变长编码，
上述判定部选择是在构成同一画面的其他颜色成分的同一图像位置的编码对象区域中原样地使用编码中使用的预测模式以及对应的预测开销信息、还是在自身的颜色成分中使用独自的预测模式以及对应的预测开销信息，从而决定编码中使用的预测模式以及对应的预测开销信息，并且，
上述编码部将表示通过哪个手段决定了预测模式以及对应的预测开销信息的预测信息编码指示标志，按照上述编码单位区域的单位多路复用到比特流中。
CN201310219405.XA 2007-06-28 2008-06-25 图像编码装置以及图像解码装置 Active CN103327328B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-170330 2007-06-28
JP2007170330 2007-06-28
CN2008801026459A CN101889449B (zh) 2007-06-28 2008-06-25 图像编码装置以及图像解码装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2008801026459A Division CN101889449B (zh) 2007-06-28 2008-06-25 图像编码装置以及图像解码装置

Publications (2)

Publication Number Publication Date
CN103327328A CN103327328A (zh) 2013-09-25
CN103327328B true CN103327328B (zh) 2016-08-17

Family

ID=40160460

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310219405.XA Active CN103327328B (zh) 2007-06-28 2008-06-25 图像编码装置以及图像解码装置
CN2008801026459A Active CN101889449B (zh) 2007-06-28 2008-06-25 图像编码装置以及图像解码装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008801026459A Active CN101889449B (zh) 2007-06-28 2008-06-25 图像编码装置以及图像解码装置

Country Status (10)

Country Link
US (6) US7991237B2 (zh)
EP (2) EP2661088A1 (zh)
JP (2) JP5296679B2 (zh)
KR (2) KR101088972B1 (zh)
CN (2) CN103327328B (zh)
BR (1) BRPI0813996B1 (zh)
CA (1) CA2691742C (zh)
HK (1) HK1148148A1 (zh)
RU (3) RU2430486C1 (zh)
WO (1) WO2009001864A1 (zh)

Families Citing this family (244)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050267750A1 (en) 2004-05-27 2005-12-01 Anonymous Media, Llc Media usage monitoring and measurement system and method
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
EP2720467B1 (en) * 2005-09-26 2017-03-29 Mitsubishi Electric Corporation Moving image decoding apparatus
CN101317458B (zh) * 2006-03-16 2012-04-18 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
KR101403338B1 (ko) * 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
CN103338365B (zh) 2007-06-29 2017-04-12 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
AU2007237313A1 (en) * 2007-12-03 2009-06-18 Canon Kabushiki Kaisha Improvement for error correction in distributed vdeo coding
US8238676B2 (en) * 2007-12-14 2012-08-07 Yamaha Corporation Image data compressor and image data decompressor
KR101439847B1 (ko) * 2008-01-02 2014-09-16 삼성전자주식회사 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치
TWI375472B (en) * 2008-02-04 2012-10-21 Ind Tech Res Inst Intra prediction method for luma block of video
WO2009110160A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化／復号化方法及び装置
JP2009218742A (ja) * 2008-03-07 2009-09-24 Canon Inc 画像符号化装置
US8295356B2 (en) 2008-03-07 2012-10-23 International Business Machines Corporation Method and system for coding mode selection in video compression systems
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
KR101375667B1 (ko) * 2008-05-16 2014-03-18 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
FR2933565A1 (fr) * 2008-07-01 2010-01-08 France Telecom Procede et dispositif de codage d'une sequence d'images mettant en oeuvre une prediction temporelle, signal, support de donnees, procede et dispositif de decodage, et produit programme d'ordinateur correspondants
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8942490B2 (en) * 2008-07-08 2015-01-27 Yin-Chun Blue Lan Method of high performance image compression
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101359490B1 (ko) * 2008-12-23 2014-02-10 에스케이 텔레콤주식회사 컬러 영상 부호화/복호화 방법 및 장치
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI405469B (zh) * 2009-02-20 2013-08-11 Sony Corp Image processing apparatus and method
EP2230849A1 (en) * 2009-03-20 2010-09-22 Mitsubishi Electric R&D Centre Europe B.V. Encoding and decoding video data using motion vectors
WO2010143583A1 (ja) * 2009-06-09 2010-12-16 ソニー株式会社 画像処理装置および方法
JP5199956B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5199955B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
CN104539956B (zh) * 2009-06-19 2018-11-06 三菱电机株式会社 图像编码装置、图像编码方法以及图像解码装置
WO2011008243A1 (en) * 2009-06-29 2011-01-20 Thomson Licensing Methods and apparatus for adaptive probability update for non-coded syntax
JP5375372B2 (ja) * 2009-07-01 2013-12-25 ヤマハ株式会社 圧縮符号化装置、および復号装置
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5251774B2 (ja) * 2009-07-27 2013-07-31 ソニー株式会社 画像符号化装置および画像符号化方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP4844657B2 (ja) * 2009-07-31 2011-12-28 カシオ計算機株式会社 画像処理装置及び方法
US8379718B2 (en) * 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
EP2485489A4 (en) 2009-10-01 2014-01-15 Sk Telecom Co Ltd METHOD AND DEVICE FOR CODING AND DECODING IMAGES THROUGH VARIABLE SIZE MACROBLOCKS
HUE026080T2 (en) * 2009-10-01 2016-05-30 Sk Telecom Co Ltd Process and apparatus for encoding / decoding an image using a distributed layer
CN102577393B (zh) * 2009-10-20 2015-03-25 夏普株式会社 运动图像编码装置、运动图像解码装置、运动图像编码/解码***、运动图像编码方法及运动图像解码方法
CN104661026B (zh) * 2009-10-21 2018-03-27 Sk电信有限公司 图像编码和解码装置和方法
EP2508000A1 (en) 2009-12-04 2012-10-10 Thomson Licensing Methods and apparatus for improved chroma transforms for inter frames in video encoding and decoding
US8654859B1 (en) * 2009-12-17 2014-02-18 Ambarella, Inc. Low cost rate-distortion computations for video compression
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
MX364986B (es) * 2010-02-24 2019-05-17 Velos Media Int Ltd Dispositivo de codificacion de imagen y dispositivo de decodificacion de imagen.
KR101318574B1 (ko) * 2010-03-03 2013-10-16 미쓰비시덴키 가부시키가이샤 데이터 압축 장치 및 데이터 압축 방법 및 컴퓨터 판독 가능한 기록 매체
US20120320966A1 (en) * 2010-03-09 2012-12-20 Telegent Systems Inc. c/o M & C Corporate Services Limited Adaptive video decoding circuitry and techniques
US8660177B2 (en) * 2010-03-24 2014-02-25 Sony Computer Entertainment Inc. Parallel entropy coding
US9369736B2 (en) 2010-04-05 2016-06-14 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
WO2011126282A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
WO2011126283A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
US8306343B2 (en) * 2010-04-09 2012-11-06 Newport Media, Inc. Optimized prediction based image compression
CN102215396A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和***
SG10202001623RA (en) * 2010-04-09 2020-04-29 Mitsubishi Electric Corp Moving image encoding device and moving image decoding device
CN105472387B (zh) 2010-04-09 2018-11-02 Lg电子株式会社 处理视频数据的方法和装置
DK3301648T3 (da) 2010-04-13 2020-04-06 Ge Video Compression Llc Nedarvning i samplearraymultitræsunderinddeling
KR102282803B1 (ko) 2010-04-13 2021-07-28 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
KR102145722B1 (ko) 2010-04-13 2020-08-20 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
CN106231336B (zh) 2010-04-13 2020-06-12 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
JP2013526199A (ja) * 2010-04-26 2013-06-20 パナソニック株式会社 予測誤差から導出されるブロック形状を用いた予測符号化
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US20130044814A1 (en) * 2010-05-10 2013-02-21 Thomson Licensing Methods and apparatus for adaptive interpolative intra block encoding and decoding
KR101379188B1 (ko) * 2010-05-17 2014-04-18 에스케이 텔레콤주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
US9083974B2 (en) * 2010-05-17 2015-07-14 Lg Electronics Inc. Intra prediction modes
US9570678B1 (en) 2010-06-08 2017-02-14 Crossbar, Inc. Resistive RAM with preferental filament formation region and methods
US9012307B2 (en) 2010-07-13 2015-04-21 Crossbar, Inc. Two terminal resistive switching device structure and method of fabricating
US8946046B1 (en) 2012-05-02 2015-02-03 Crossbar, Inc. Guided path for forming a conductive filament in RRAM
US9601692B1 (en) 2010-07-13 2017-03-21 Crossbar, Inc. Hetero-switching layer in a RRAM device and method
KR101883236B1 (ko) 2010-06-11 2018-08-01 크로스바, 인크. 메모리 디바이스를 위한 필러 구조 및 방법
KR101673027B1 (ko) * 2010-07-01 2016-11-04 에스케이 텔레콤주식회사 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
US8374018B2 (en) 2010-07-09 2013-02-12 Crossbar, Inc. Resistive memory using SiGe material
US8947908B2 (en) 2010-11-04 2015-02-03 Crossbar, Inc. Hetero-switching layer in a RRAM device and method
US8884261B2 (en) 2010-08-23 2014-11-11 Crossbar, Inc. Device switching using layered device structure
US8168506B2 (en) 2010-07-13 2012-05-01 Crossbar, Inc. On/off ratio for non-volatile memory device and method
US8569172B1 (en) 2012-08-14 2013-10-29 Crossbar, Inc. Noble metal/non-noble metal electrode for RRAM applications
US8879619B2 (en) * 2010-07-15 2014-11-04 Sharp Laboratories Of America, Inc. Method of parallel video coding based on scan order
JP5656998B2 (ja) * 2010-07-15 2015-01-21 三菱電機株式会社 動画像復号装置及び動画像復号方法
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
MY186093A (en) * 2010-07-15 2021-06-21 Velos Media Int Ltd Image encoding device, and image decoding device
US8855188B2 (en) * 2010-07-15 2014-10-07 Sharp Laboratories Of America, Inc. Method of parallel video coding based on mapping
KR101681307B1 (ko) * 2010-07-23 2016-12-01 에스케이 텔레콤주식회사 주파수영역 복수 가중예측필터를 사용한 색공간 예측 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
US8711933B2 (en) * 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
GB2482731B (en) * 2010-08-13 2016-12-21 Advanced Risc Mach Ltd A video decoding apparatus and method
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
US10123009B2 (en) * 2010-08-17 2018-11-06 M&K Holdings Inc. Apparatus for encoding an image
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
US9401475B1 (en) 2010-08-23 2016-07-26 Crossbar, Inc. Method for silver deposition for a non-volatile memory device
US8889521B1 (en) 2012-09-14 2014-11-18 Crossbar, Inc. Method for silver deposition for a non-volatile memory device
US8492195B2 (en) 2010-08-23 2013-07-23 Crossbar, Inc. Method for forming stackable non-volatile resistive switching memory devices
KR101677480B1 (ko) * 2010-09-07 2016-11-21 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR101679233B1 (ko) * 2010-09-08 2016-11-24 삼성전자주식회사 디블록킹 필터 및 이를 포함하는 영상 표시 장치
US9154797B2 (en) 2010-09-20 2015-10-06 Onecodec, Limited Systems and methods for encoding and decoding
US10863196B2 (en) 2010-09-27 2020-12-08 Lg Electronics Inc. Method for partitioning block and decoding device
US8558212B2 (en) 2010-09-29 2013-10-15 Crossbar, Inc. Conductive path in switching material in a resistive random access memory device and control
KR101578318B1 (ko) * 2010-09-30 2015-12-16 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
US9628821B2 (en) * 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
US8885704B2 (en) 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
USRE46335E1 (en) 2010-11-04 2017-03-07 Crossbar, Inc. Switching device having a non-linear element
US8502185B2 (en) 2011-05-31 2013-08-06 Crossbar, Inc. Switching device having a non-linear element
WO2012072402A1 (en) * 2010-11-29 2012-06-07 Thomson Licensing Method and device for reconstructing a self-similar textured region of an image
CN103262539A (zh) 2010-12-17 2013-08-21 三菱电机株式会社 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
EP2645719A4 (en) * 2010-12-23 2014-12-03 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING AN INTRAPREDICTION MODULE FOR AN IMAGE PREDICTING UNIT AND METHOD AND DEVICE FOR DECODING AN INTRAPREDICTION MODE FOR AN IMAGE PREDICTING UNIT
US8930174B2 (en) 2010-12-28 2015-01-06 Crossbar, Inc. Modeling technique for resistive random access memory (RRAM) cells
US8815696B1 (en) 2010-12-31 2014-08-26 Crossbar, Inc. Disturb-resistant non-volatile memory device using via-fill and etchback technique
US9153623B1 (en) 2010-12-31 2015-10-06 Crossbar, Inc. Thin film transistor steering element for a non-volatile memory device
JP5781313B2 (ja) 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
CA2961824C (en) * 2011-01-12 2019-07-23 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US20120183064A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Codeword assignment for intra chroma mode signaling for hevc
WO2012097376A1 (en) 2011-01-14 2012-07-19 General Instrument Corporation Spatial block merge mode
US9066097B2 (en) * 2011-02-01 2015-06-23 Sony Corporation Method to optimize the transforms and/or predictions in a video codec
US9001883B2 (en) 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
JP2012186733A (ja) * 2011-03-07 2012-09-27 Honda Elesys Co Ltd 車載カメラシステム
KR20120103517A (ko) * 2011-03-10 2012-09-19 한국전자통신연구원 인트라 예측 방법 및 그 장치
US9848197B2 (en) * 2011-03-10 2017-12-19 Qualcomm Incorporated Transforms in video coding
US8780996B2 (en) * 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US9620206B2 (en) 2011-05-31 2017-04-11 Crossbar, Inc. Memory array architecture with two-terminal memory cells
CN107257479A (zh) 2011-05-31 2017-10-17 Jvc建伍株式会社 动图像编码装置、动图像编码方法以及记录介质
CN103609110B (zh) * 2011-06-13 2017-08-08 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
ES2962519T3 (es) 2011-06-23 2024-03-19 Sun Patent Trust Procedimiento de decodificación de imágenes, procedimiento de codificación de imágenes
US8619459B1 (en) 2011-06-23 2013-12-31 Crossbar, Inc. High operating speed resistive random access memory
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
KR101668575B1 (ko) * 2011-06-23 2016-10-21 가부시키가이샤 제이브이씨 켄우드 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
CN103535036B (zh) 2011-06-24 2017-04-05 太阳专利托管公司 解码方法和解码装置
CA3208227A1 (en) * 2011-06-24 2012-12-27 Mitsubishi Electric Corporation Intra prediction of a processing block using a predicted value which is proportional to the amount of change in the horizontal direction of the signal value of a pixel adjacent to the left of the processing block
CA2830046C (en) * 2011-06-24 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
HUE052897T2 (hu) 2011-06-27 2021-05-28 Samsung Electronics Co Ltd Mozgásinformáció kódolása és dekódolása
KR102060621B1 (ko) * 2011-06-27 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CN103563377B (zh) 2011-06-28 2017-05-10 太阳专利托管公司 解码方法及解码装置
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
US8946669B1 (en) 2012-04-05 2015-02-03 Crossbar, Inc. Resistive memory device and fabrication methods
KR101598306B1 (ko) * 2011-06-30 2016-02-26 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법, 화상 인코딩 프로그램, 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
US9564587B1 (en) 2011-06-30 2017-02-07 Crossbar, Inc. Three-dimensional two-terminal memory with enhanced electric field and segmented interconnects
US9166163B2 (en) 2011-06-30 2015-10-20 Crossbar, Inc. Sub-oxide interface layer for two-terminal memory
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
US9627443B2 (en) 2011-06-30 2017-04-18 Crossbar, Inc. Three-dimensional oblique two-terminal memory with enhanced electric field
BR112013030562B1 (pt) 2011-06-30 2022-05-03 Sun Patent Trust Método e aparelho de decodificação, método e aparelho de codificação e aparelho de codificação e decodificação
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CN107087185B (zh) 2011-07-11 2020-01-10 太阳专利托管公司 编码方法及编码装置、解码方法及解码装置
US9252191B2 (en) 2011-07-22 2016-02-02 Crossbar, Inc. Seed layer for a p+ silicon germanium material for a non-volatile memory device and method
US9729155B2 (en) 2011-07-29 2017-08-08 Crossbar, Inc. Field programmable gate array utilizing two-terminal non-volatile memory
US8674724B2 (en) 2011-07-29 2014-03-18 Crossbar, Inc. Field programmable gate array utilizing two-terminal non-volatile memory
US10056907B1 (en) 2011-07-29 2018-08-21 Crossbar, Inc. Field programmable gate array utilizing two-terminal non-volatile memory
US10129556B2 (en) 2014-05-16 2018-11-13 Bevara Technologies, Llc Systems and methods for accessing digital data
US10025787B2 (en) 2011-08-17 2018-07-17 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
GB2555287B (en) 2011-10-17 2018-11-07 Kt Corp Video decoding method using transform method selected from a transform method set
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
US9510018B2 (en) * 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
CN102509091B (zh) * 2011-11-29 2013-12-25 北京航空航天大学 一种飞机尾号识别方法
WO2013089700A1 (en) * 2011-12-14 2013-06-20 Intel Corporation Methods, systems, and computer program products for assessing a macroblock candidate for conversion to a skipped macroblock
HUE043876T2 (hu) * 2011-12-16 2019-09-30 Jvc Kenwood Corp Dinamikus kép dekódoló eszköz, dinamikus kép dekódoló eljárás és dinamikus kép dekódoló program
US9503717B2 (en) 2012-01-09 2016-11-22 Texas Instruments Incorporated Context adaptive binary arithmetic coding (CABAC) with scalable throughput and coding efficiency
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
JP2013172323A (ja) * 2012-02-21 2013-09-02 Toshiba Corp 動き検出装置、画像処理装置および画像処理システム
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
BR122020010110B1 (pt) * 2012-03-28 2021-08-17 JVC Kenwood Corporation Dispositivo de codificação de imagem
US9087576B1 (en) 2012-03-29 2015-07-21 Crossbar, Inc. Low temperature fabrication method for a three-dimensional memory device and structure
US9685608B2 (en) 2012-04-13 2017-06-20 Crossbar, Inc. Reduced diffusion in metal electrode for two-terminal memory
US8658476B1 (en) 2012-04-20 2014-02-25 Crossbar, Inc. Low temperature P+ polycrystalline silicon material for non-volatile memory device
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US20150036744A1 (en) * 2012-05-02 2015-02-05 Sony Corporation Image processing apparatus and image processing method
US8796658B1 (en) 2012-05-07 2014-08-05 Crossbar, Inc. Filamentary based non-volatile resistive memory device and method
EP2670140A1 (en) * 2012-06-01 2013-12-04 Alcatel Lucent Method and apparatus for encoding a video stream
CN104335582B (zh) * 2012-06-12 2019-03-08 太阳专利托管公司 动态图像编解码方法以及动态图像编解码装置
US9667965B2 (en) 2012-06-25 2017-05-30 Industry-University Cooperation Foundation Hanyang University Video encoding and decoding method
US9185414B1 (en) * 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
GB2503875B (en) * 2012-06-29 2015-06-10 Canon Kk Method and device for encoding or decoding an image
WO2014009864A2 (en) * 2012-07-09 2014-01-16 Squid Design Systems Pvt Ltd Programmable variable block size motion estimation processor
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9583701B1 (en) 2012-08-14 2017-02-28 Crossbar, Inc. Methods for fabricating resistive memory device switching material using ion implantation
US9741765B1 (en) 2012-08-14 2017-08-22 Crossbar, Inc. Monolithically integrated resistive memory using integrated-circuit foundry compatible processes
US8946673B1 (en) 2012-08-24 2015-02-03 Crossbar, Inc. Resistive switching device structure with improved data retention for non-volatile memory device and method
US20140072048A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
US9312483B2 (en) 2012-09-24 2016-04-12 Crossbar, Inc. Electrode structure for a non-volatile memory device and method
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
US9576616B2 (en) 2012-10-10 2017-02-21 Crossbar, Inc. Non-volatile memory with overwrite capability and low write amplification
US8982647B2 (en) 2012-11-14 2015-03-17 Crossbar, Inc. Resistive random access memory equalization and sensing
US9412790B1 (en) 2012-12-04 2016-08-09 Crossbar, Inc. Scalable RRAM device architecture for a non-volatile memory device and method
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9406379B2 (en) 2013-01-03 2016-08-02 Crossbar, Inc. Resistive random access memory with non-linear current-voltage relationship
US9300964B2 (en) * 2013-01-24 2016-03-29 Sharp Kabushiki Kaisha Image decoding apparatus and image coding apparatus
US10234616B2 (en) 2013-01-30 2019-03-19 Cree, Inc. Simplified low profile module with light guide for pendant, surface mount, wall mount and stand alone luminaires
US9869432B2 (en) 2013-01-30 2018-01-16 Cree, Inc. Luminaires using waveguide bodies and optical elements
US9324942B1 (en) 2013-01-31 2016-04-26 Crossbar, Inc. Resistive memory cell with solid state diode
US9112145B1 (en) 2013-01-31 2015-08-18 Crossbar, Inc. Rectified switching of two-terminal memory via real time filament formation
JP6033725B2 (ja) * 2013-03-28 2016-11-30 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9819944B2 (en) * 2013-04-12 2017-11-14 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9967594B2 (en) * 2013-06-28 2018-05-08 Mozilla Corporation Probability modeling of intra prediction modes
JP6265705B2 (ja) * 2013-11-25 2018-01-24 キヤノン株式会社 画像符号化装置及び画像符号化方法
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10290801B2 (en) 2014-02-07 2019-05-14 Crossbar, Inc. Scalable silicon based resistive memory device
RU2653295C2 (ru) * 2014-03-04 2018-05-07 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Адаптивное переключение цветовых пространств, частот цветовой дискретизации и/или битовых глубин
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
CN110971905B (zh) * 2014-03-14 2023-11-17 Vid拓展公司 编解码视频内容的方法、装置和存储介质
US11070810B2 (en) * 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
EP3123716B1 (en) 2014-03-27 2020-10-28 Microsoft Technology Licensing, LLC Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces
US9584817B2 (en) 2014-03-31 2017-02-28 Sony Corporation Video transmission system with color prediction and method of operation thereof
CN106233716B (zh) * 2014-04-22 2019-12-24 日本电信电话株式会社 动态错觉呈现装置、动态错觉呈现方法、程序
WO2015176009A1 (en) 2014-05-16 2015-11-19 Bevara Technologies, Llc Systems and methods for selecting digital data for archival
US9386317B2 (en) 2014-09-22 2016-07-05 Sony Interactive Entertainment Inc. Adaptive picture section encoding mode decision control
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
WO2016054765A1 (en) 2014-10-08 2016-04-14 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
RU2579966C1 (ru) * 2014-12-04 2016-04-10 Общество с ограниченной ответственностью "РЭЙДИКС" Способ сжатия изображений (варианты)
US9716889B2 (en) * 2014-12-09 2017-07-25 Sony Corporation Intra and inter-color prediction for Bayer image coding
US10091506B2 (en) * 2015-06-11 2018-10-02 Sony Corporation Data-charge phase data compression architecture
JP6328076B2 (ja) * 2015-06-17 2018-05-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 画像復号装置および方法、記録媒体、並びにプログラム
CN112040237A (zh) * 2015-07-16 2020-12-04 杜比实验室特许公司 用于hdr和宽色域信号的信号整形和编码
EP3125108A1 (en) * 2015-07-31 2017-02-01 ARM Limited Vector processing using loops of dynamic vector length
JP6212530B2 (ja) * 2015-11-17 2017-10-11 ジーイー ビデオ コンプレッション エルエルシー 平面間予測
WO2017163441A1 (ja) * 2016-03-24 2017-09-28 富士ゼロックス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN105939479B (zh) * 2016-06-15 2019-06-21 北京奇艺世纪科技有限公司 一种并行编码方法和装置
US20170366819A1 (en) * 2016-08-15 2017-12-21 Mediatek Inc. Method And Apparatus Of Single Channel Compression
JP2018037936A (ja) * 2016-09-01 2018-03-08 株式会社ドワンゴ 画像符号化装置および画像復号装置
JP6891895B2 (ja) * 2016-09-16 2021-06-18 ソニーグループ株式会社 画像処理装置および画像処理方法
US10264264B2 (en) * 2016-09-24 2019-04-16 Apple Inc. Multi-bin decoding systems and methods
WO2019065537A1 (ja) * 2017-09-28 2019-04-04 シャープ株式会社 動き補償フィルタ装置、画像復号装置および動画像符号化装置
US10791341B2 (en) * 2017-10-10 2020-09-29 Qualcomm Incorporated Binary arithmetic coding with progressive modification of adaptation parameters
US10694205B2 (en) * 2017-12-18 2020-06-23 Google Llc Entropy coding of motion vectors using categories of transform blocks
CN113055691A (zh) * 2017-12-29 2021-06-29 深圳市大疆创新科技有限公司 视频解码器及其制造方法，数据处理电路、***和方法
WO2019143808A1 (en) 2018-01-18 2019-07-25 Bevara Technologies, Llc Browser navigation for facilitating data access
US10904555B2 (en) * 2018-07-11 2021-01-26 Tencent America LLC Method and apparatus for video coding
US11113999B2 (en) * 2018-09-03 2021-09-07 Chongqing Hkc Optoelectronics Technology Co., Ltd. Data processing method, display device, and computer-readable storage medium
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
CN110017571B (zh) * 2018-10-31 2020-11-10 徐州轩科农业机械有限公司 柜式空调背景灯控制***
JP2022016726A (ja) * 2018-11-16 2022-01-25 ソニーグループ株式会社 画像処理装置および方法
AU2020240048B2 (en) * 2019-03-18 2022-12-22 Tencent America LLC Method and apparatus for video coding
US11210813B2 (en) * 2019-05-30 2021-12-28 Tencent America LLC Method and apparatus for point cloud compression
KR20220004765A (ko) 2019-06-24 2022-01-11 엘지전자 주식회사 크로마 변환 블록의 최대 크기 제한을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11399199B2 (en) * 2019-08-05 2022-07-26 Qualcomm Incorporated Chroma intra prediction units for video coding
EP3994886A4 (en) 2019-08-06 2022-12-28 Beijing Bytedance Network Technology Co., Ltd. VIDEO ZONE PARTITION ACCORDING TO COLOR FORMAT
MX2022002247A (es) * 2019-09-02 2022-03-22 Beijing Bytedance Network Tech Co Ltd Particion de region de video basada en formato de color.
CN118055248A (zh) 2019-09-21 2024-05-17 北京字节跳动网络技术有限公司 处理视频数据的方法、装置以及计算机可读记录介质
CN111193948B (zh) * 2020-01-07 2022-06-24 上海步频电子科技有限公司 一种显示终端的图片传输和显示的方法和***
CN112204971A (zh) * 2020-02-24 2021-01-08 深圳市大疆创新科技有限公司 视频图像编码方法、设备及可移动平台
CN113329269A (zh) * 2020-02-28 2021-08-31 杭州海康威视数字技术股份有限公司 视频编码、解码方法、装置、电子设备及存储介质
KR20220152299A (ko) * 2020-03-12 2022-11-15 인터디지털 브이씨 홀딩스 프랑스 비디오 인코딩 및 디코딩을 위한 방법 및 장치
US20220107738A1 (en) * 2020-10-06 2022-04-07 Kioxia Corporation Read controller and input/output controller

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829326A (zh) * 2005-03-04 2006-09-06 三星电子株式会社 色彩空间可伸缩性视频编码和解码方法及其设备

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0139164B1 (ko) * 1994-12-19 1998-06-01 김광호 적응적 직교변환부호화 장치
CN1972183A (zh) * 1996-03-18 2007-05-30 株式会社东芝 编码装置和编码方法
EP2352300A1 (en) * 1997-02-13 2011-08-03 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
KR100487989B1 (ko) * 1997-10-23 2005-05-09 미쓰비시덴키 가부시키가이샤 화상 복호화 장치 및 화상 부호화 장치
JP4264571B2 (ja) * 1998-04-09 2009-05-20 ソニー株式会社 ディジタル画像復号装置及び方法、並びに記録媒体
JP3413720B2 (ja) * 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
FR2783388B1 (fr) * 1998-09-15 2000-10-13 Thomson Multimedia Sa Procede de compression d'images et dispositif pour la mise en oeuvre de ce procede
US6532265B1 (en) * 1999-03-25 2003-03-11 Imec Vzw Method and system for video compression
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
JP2002027477A (ja) * 2000-07-04 2002-01-25 Mitsubishi Electric Corp Ｍｐｅｇ画像処理装置およびそのデータ転送方法
JP2003189312A (ja) * 2001-12-20 2003-07-04 Oki Electric Ind Co Ltd 動画像符号化装置及び動画像復号化装置
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
CN100566420C (zh) * 2002-07-15 2009-12-02 株式会社日立制作所 动态图像的编码方法
JP4815107B2 (ja) * 2003-07-16 2011-11-16 三星電子株式会社 カラー平面間予測を利用した無損失映像符号化／復号化方法及び装置
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
DE60317670T2 (de) * 2003-09-09 2008-10-30 Mitsubishi Denki K.K. Verfahren und Vorrichtung zur 3D-Teilbandvideokodierung
KR100754388B1 (ko) * 2003-12-27 2007-08-31 삼성전자주식회사 레지듀 영상 다운/업 샘플링 방법 및 장치와 그를 이용한영상 부호화/복호화 방법 및 장치
JP2006074474A (ja) * 2004-09-02 2006-03-16 Toshiba Corp 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
US8767826B2 (en) * 2005-04-13 2014-07-01 Thomson Licensing Luma and chroma encoding using a common predictor
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
JP2006304102A (ja) * 2005-04-22 2006-11-02 Renesas Technology Corp 画像符号化ユニットと画像符号化方法
EP1753242A2 (en) 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
BRPI0611672A2 (pt) * 2005-07-22 2009-01-13 Mitsubishi Electric Corp codificador e decodificador de imagem, mÉtodo de codificaÇço de imagem, programa de codificaÇço de imagem, meio de gravaÇço legÍvel por computador, mÉtodo de decodificaÇço de imagem, programa de decodificaÇço de imagem, e, corrente de bits codificada por imagem
US8306112B2 (en) * 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300694B2 (en) * 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300700B2 (en) * 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
EP2228995A3 (en) * 2005-09-20 2012-07-25 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
EP2720467B1 (en) * 2005-09-26 2017-03-29 Mitsubishi Electric Corporation Moving image decoding apparatus
JP4844449B2 (ja) * 2006-04-17 2011-12-28 日本ビクター株式会社 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US7529404B2 (en) * 2007-06-20 2009-05-05 Ahdoot Ned M Digital video filter and image processing
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
BRPI0906824A2 (pt) * 2008-01-09 2015-07-14 Mitsubishi Electric Corp Dispositivo de codificação de imagem, dispositivo de decodificação de imagem, método de codificação de imagem e método de decodificação de imagem

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1829326A (zh) * 2005-03-04 2006-09-06 三星电子株式会社 色彩空间可伸缩性视频编码和解码方法及其设备

Also Published As

Publication number Publication date
RU2011119591A (ru) 2012-11-27
EP2169961B1 (en) 2014-03-05
US8145002B2 (en) 2012-03-27
EP2169961A1 (en) 2010-03-31
US20090003441A1 (en) 2009-01-01
RU2430486C1 (ru) 2011-09-27
RU2012140183A (ru) 2014-05-10
US8345968B2 (en) 2013-01-01
US20090003716A1 (en) 2009-01-01
JP5296679B2 (ja) 2013-09-25
CN101889449A (zh) 2010-11-17
CN103327328A (zh) 2013-09-25
JP2013176168A (ja) 2013-09-05
RU2470480C1 (ru) 2012-12-20
CA2691742A1 (en) 2008-12-31
JPWO2009001864A1 (ja) 2010-08-26
CA2691742C (en) 2015-11-24
BRPI0813996B1 (pt) 2020-10-20
RU2514787C1 (ru) 2014-05-10
KR20110061627A (ko) 2011-06-09
US20090003449A1 (en) 2009-01-01
EP2169961A4 (en) 2011-06-15
HK1148148A1 (en) 2011-08-26
EP2661088A1 (en) 2013-11-06
US8139875B2 (en) 2012-03-20
US20090003717A1 (en) 2009-01-01
KR101088972B1 (ko) 2011-12-01
CN101889449B (zh) 2013-06-19
KR101379087B1 (ko) 2014-04-11
RU2010102711A (ru) 2011-08-10
BRPI0813996A2 (pt) 2015-01-06
WO2009001864A1 (ja) 2008-12-31
US8422803B2 (en) 2013-04-16
US7991237B2 (en) 2011-08-02
US20090110067A1 (en) 2009-04-30
US20090003448A1 (en) 2009-01-01
KR20100032438A (ko) 2010-03-25

Similar Documents

Publication Publication Date Title
CN103327328B (zh) 图像编码装置以及图像解码装置
CN102281448B (zh) 图像编码装置及方法、图像解码装置及方法
RU2368095C1 (ru) Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
CN101969566B (zh) 运动图像编码装置以及运动图像编码方法
CN108462874A (zh) 运动图像编码装置以及运动图像解码装置
CN102090065A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN101953166A (zh) 被划分为像素块的图像或图像序列的编码和解码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant