CN103636211A - 图像处理设备以及图像处理方法 - Google Patents

图像处理设备以及图像处理方法 Download PDF

Info

Publication number
CN103636211A
CN103636211A CN201280030622.8A CN201280030622A CN103636211A CN 103636211 A CN103636211 A CN 103636211A CN 201280030622 A CN201280030622 A CN 201280030622A CN 103636211 A CN103636211 A CN 103636211A
Authority
CN
China
Prior art keywords
predicting unit
predictive mode
prediction
unit
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280030622.8A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103636211A publication Critical patent/CN103636211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种能够在可伸缩视频编码中对帧内预测的预测模式进行高效编码的***。提供了一种图像处理设备，该图像处理设备包括：模式设置部，该模式设置部当要被可伸缩视频解码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与该第二层中的、和该第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对该第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，该第二层是该第一层的上层；以及预测部，该预测部根据该模式设置部设置的预测模式生成该第二预测单元的预测图像。

Description

图像处理设备以及图像处理方法
技术领域
本公开内容涉及一种图像处理设备以及一种图像处理方法。
背景技术
为了高效传输或存储数字图像，已广泛使用了如同H.26x（ITU-TQ6/16VCEG）标准和MPEG（运动图像专家组）标准的压缩技术，该压缩技术使用特定于图像的冗余度来压缩图像的信息量。在作为MPEG4的活跃性的一部分的增强压缩视频编码的联合模型中，规定了通过基于H.26x标准来结合新功能能够实现较高压缩率的称为H.264和MPEG-4第10部分（高级视频编码；AVC）的国际标准。
这些图像编码方法中的一个重要技术为图像内部的预测，即，帧内预测。帧内预测为通过使用图像内部的相邻块之间的相关性以根据另一个相邻块的像素值来预测特定块中的像素值来降低待编码的信息量的技术。在MPEG4之前的图像编码方法中，仅正交变换系数的DC分量和低频分量意在用于帧内预测，而在H.264/AVC中，能够针对所有图像分量进行帧内预测。通过使用帧内预测，针对如同例如蓝色天空的图像的像素值略变换的图像，能够期待压缩率的巨大改善。
在H.264/AVC中，使用例如4×4像素、8×8像素或16×16像素的块作为处理单元（即，预测单元（PU））来进行帧内预测。在作为H.264/AVC之后的下一代图像编码方法标准化正在进行的HEVC（高效率视频编码）中，预测单元的大小大约被扩展到32×32像素和64×64像素（见下面的非专利文献1）。
当进行帧内预测时，通常从多个预测模式中选择用于预测待预测的块的像素值的最佳预测模式。典型地，能够基于从参考像素到待预测的像素的预测方向来识别预测模式。针对H.264/AVC中的亮度分量的4×4像素或8×8像素的预测单元，能够选择与8个预测方向（垂直、水平、左下对角线、右下对角线、垂直偏右、水平偏下、垂直偏左、水平偏上）和DC（平均值）预测对应的9个预测模式（见图22和23）。针对16×16像素的预测单元，能够选择与两个预测方向（垂直、水平）、DC（平均值）预测和平面预测对应的四个预测模式（见图24）。在HEVC中，如上所述，不仅扩展PU的大小的范围，而且采用角度帧内预测（angular intraprediction）方法，这增加了预测方向候选的数量（见下面的非专利文献2）。
另一方面，前述图像编码方法中的另一个重要技术为可伸缩视频编码（SVC）。可伸缩视频编码为对发射粗糙图像信号的层和发***致图像信号的层进行分级编码的技术。在可伸缩视频编码中被分级的典型属性主要包括以下三种：
-空间可伸缩性：空间分辨率或图像大小被分级。
-时间可伸缩性：帧速率被分级。
-SNR（信噪比）可伸缩性：SN比被分级。
此外，尽管在标准中未被采用，然而比特深度可伸缩性和色度格式可伸缩性也被讨论。
引用列表
非专利文献
非专利文献1：Sung-Chang Lim,Hahyun Lee等人.“Intra codingusing extended block size”(VCEG-AL28,2009年7月)
非专利文献2：Kemal Ugur等人“Description of video codingtechnology proposal by Tandberg,Nokia,Ericsson”(JCTVC-A119,2010年四月)。
发明内容
技术问题
然而，从编码效率的角度来看，在可伸缩视频编码中对分别用于每个层的预测模式进行编码不是最适合的。如果在下层的预测单元与上层的对应预测单元之间预测模式的候选集合相同，则用于下层的预测模式集合能够被再用于上层。然而，在层之间块大小不同的一些情况下，预测模式的候选集合不同，从而不能简单地重复使用预测模式。这样的情形在块大小的范围被扩展且预测模式的候选集合多变的HEVC中更明显。
因此，期望的是，提供一种能够在可伸缩视频编码中对帧内预测的预测模式进行高效编码的机构。
针对问题的解决方案
根据本公开内容的实施方式，提供了一种图像处理设备，所述图像处理设备包括：模式设置部，所述模式设置部当要被可伸缩视频解码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及预测部，所述预测部根据所述模式设置部设置的预测模式生成所述第二预测单元的预测图像。
以上提及的图像处理装置可以典型地实现为对可伸缩视频编码图像进行解码的图像解码装置。
根据本公开内容的实施方式，提供了一种图像处理方法，所述图像处理方法包括：当要被可伸缩视频解码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及根据所设置的预测模式生成所述第二预测单元的预测图像。
根据本公开内容的实施方式，提供了一种图像处理设备，所述图像处理设备包括：模式设置部，所述模式设置部当要被可伸缩视频编码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及预测部，所述预测部根据所述模式设置部设置的预测模式生成所述第二预测单元的预测图像。
以上提及的图像处理装置可以典型地实现为对图像进行可伸缩编码的图像编码装置。
根据本公开内容的实施方式，提供了一种图像处理方法，所述图像处理方法包括：当要被可伸缩视频编码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及根据所设置的预测模式生成所述第二预测单元的预测图像。
本发明的有益效果
根据本公开内容，提供了一种能够在可伸缩视频编码中对帧内预测的预测模式进行高效编码的机构。
附图说明
[图1]为示出了根据实施方式的图像编码装置的配置的框图。
[图2]为示出了空间可伸缩性的说明图。
[图3]为示出了根据实施方式的图像编码装置的帧内预测部的详细配置的示例的框图。
[图4]为示出了能够在HEVC的角度帧内预测方法中被选择的预测方向候选的说明图。
[图5]为示出了在HEVC的角度帧内预测方法中计算参数值的说明图。
[图6]为示出了当预测模式被扩展时所生成的参数的说明图。
[图7A]为示出了当预测模式被扩展时所生成的参数的修改的第一说明图。
[图7B]为示出了当预测模式被扩展时所生成的参数的修改的第二说明图。
[图8]为示出了预测模式的聚合的第一说明图。
[图9]为示出了预测模式的聚合的第二说明图。
[图10]为示出了预测模式的聚合的修改的说明图。
[图11]为示出了通过最可能模式对预测模式的预测的说明图。
[图12]为示出了根据实施方式的在编码时的帧内预测处理的流程的示例的流程图。
[图13]为示出了图12中的预测模式扩展处理的详细流程的示例的流程图。
[图14A]为示出了图12中的预测模式聚合处理的详细流程的第一示例的流程图。
[图14B]为示出了图12中的预测模式聚合处理的详细流程的第二示例的流程图。
[图15]为示出了根据实施方式的图像解码装置的配置的示例的框图。
[图16]为示出了根据实施方式的图像解码装置的帧内预测部的详细配置的示例的框图。
[图17]为示出了根据实施方式的在解码时的帧内预测处理的流程的示例的流程图。
[图18]为示出了电视的示意性配置的示例的框图。
[图19]为示出了移动电话的示意性配置的示例的框图。
[图20]为示出了记录/再生装置的示意性配置的示例的框图。
[图21]为示出了图像捕捉装置的示意性配置的示例的框图。
[图22]为示出了在H.264/AVC中4×4像素的预测单元中的亮度分量的预测模式的候选集合的说明图。
[图23]为示出了8×8像素的预测单元中的亮度分量的预测模式的候选集合的说明图。
[图24]为示出了16×16像素的预测单元中的亮度分量的预测模式的候选集合的说明图。
具体实施方式
在后文中，将参照附图来详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，用相同的附图标记来表示具有基本上相同功能和结构的元件，并且省略重复说明。
此外，将按照以下提及的顺序来描述“具体实施方式”。
1.根据实施方式的图像编码装置的示例配置
2.根据实施方式的在编码时的处理的流程
3.根据实施方式的图像解码装置的示例配置
4.根据实施方式的在解码时的处理的流程
5.示例应用
6.总结
<1.根据实施方式的图像编码装置的示例配置>
[1-1.总体配置的示例]
图1为示出了根据实施方式的图像编码装置10的配置的示例的框图。参照图1，图像编码装置10包括A/D（模拟到数字）转换部11、排序缓冲器（sorting buffer）12、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、去块滤波器24，帧存储器25、选择器26和27、运动估计部30和帧内预测部40。
A/D转换部11将以模拟格式输入的图像信号转换成数字格式的图像数据，并将一系列数字图像数据输出至排序缓冲器12。
排序缓冲器12对包括在从A/D转换部11输入的该系列图像数据中的图像进行排序。根据编码处理，在根据GOP（图片组）结构对图像进行排序之后，排序缓冲器12将已被排序的图像数据输出至减法部13、运动估计部30和帧内预测部40。
将从排序缓冲器12输入的图像数据和后续描述的由运动估计部30或帧内预测部40输入的预测图像数据提供给减法部13。减法部13计算作为预测图像数据与从排序缓冲器12输入的图像数据之间的差的预测误差数据，并将所计算的预测误差数据输出至正交变换部14。
正交变换部14对从减法部13输入的预测误差数据执行正交变换。例如，要通过正交变换部14来执行的正交变换可以为离散余弦变换（DCT）或Karhunen-Loeve变换。正交变换部14将通过正交变换处理所获取的变换系数数据输出至量化部15。
将从正交变换部14输入的变换系数数据和后续描述的来自速率控制部18的速率控制信号提供给量化部15。量化部15对变换系数数据进行量化，并将已被量化的变换系数数据（在后文中，称为量化数据）输出至无损编码部16和逆量化部21。而且，量化部15基于来自速率控制部18的速率控制信号来切换量化参数（量化标度），从而改变要输入至无损编码部16的量化数据的比特率。
无损编码部16通过对从量化部15输入的量化数据执行无损编码处理来生成编码流。例如，无损编码部16的无损编码可以为可变长度编码或算术编码。此外，无损编码部16将从选择器27输入的与帧内预测有关的信息或与帧间预测有关的信息复用到编码流的头部区域。然后，无损编码部16将所生成的编码流输出至累积缓冲器17。
累积缓冲器17使用存储介质（诸如半导体存储器）来临时存储从无损编码部16输入的编码流。然后，累积缓冲器17根据传输路径的频带以一定速率将所存储的编码流输出至传输部（未示出）（例如，通信接口或***设备接口）。
速率控制部18监测累积缓冲器17的空闲空间。然后，速率控制部18根据累积缓冲器17上的空闲空间来生成速率控制信号，并将所生成的速率控制信号输出至量化部15。例如，当累积缓冲器17上的空闲空间不多时，速率控制部18生成用于降低量化数据的比特率的速率控制信号。而且，例如，当累积缓冲器17上的空闲空间充分大时，速率控制部18生成用于提高量化数据的比特率的速率控制信号。
逆量化部21对从量化部15输入的量化数据执行逆量化处理。然后，逆量化部21将通过逆量化处理所获取的变换系数数据输出至逆正交变换部22。
逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换处理，从而恢复预测误差数据。然后，逆正交变换部22将所恢复的预测误差数据输出至加法部23。
加法部23将从逆正交变换部22输入的所恢复的预测误差数据和从运动估计部30或帧内预测部40输入的预测图像数据相加，从而生成经解码的图像数据。然后，加法部23将所生成的经解码的图像数据输出至去块滤波器24和帧存储器25。
去块滤波器24执行用于降低在图像的编码时发生的块失真的滤波处理。去块滤波器24对从加法部23输入的经解码的图像数据进行滤波以去除块失真，并将滤波之后的经解码的图像数据输出至帧存储器25。
帧存储器25使用存储介质来存储从加法部23输入的经解码的图像数据和从去块滤波器24输入的滤波之后的经解码的图像数据。
选择器26从帧存储器25读取要用于帧间预测的、滤波之后的经解码的图像数据，并将已读取的经解码的图像数据提供给运动估计部30作为参考图像数据。而且，选择器26从帧存储器25读取要用于帧内预测的、滤波之前的经解码的图像数据，并将已读取的经解码的图像数据提供给帧内预测部40作为参考图像数据。
在帧间预测模式中，选择器27将从运动估计部30输出的作为帧间预测的结果的预测图像数据输出至减法部13，并还将与帧间预测有关的信息输出至无损编码部16。在帧内预测模式中，选择器27将从帧内预测部40输出的作为帧内预测的结果的预测图像数据输出至减法部13，并还将与帧内预测有关的信息输出至无损编码部16。选择器27根据从运动估计部30和帧内预测部40输出的代价函数值的大小来切换帧间预测模式和帧内预测模式。
运动估计部30基于从排序缓冲器12输入的要被编码的图像数据（原始图像数据）和经由选择器26提供的经解码的图像数据来执行帧间预测处理（帧之间的预测处理）。例如，运动估计部30使用预定代价函数来估计每个预测模式中的预测结果。接下来，运动估计部30选择其中代价函数值取最小值的预测模式（即，其中压缩率为最高的预测模式）作为最佳预测模式。而且，运动估计部30根据最佳预测模式来生成预测图像数据。然后，运动估计部30将表示所选择的最佳预测模式的预测模式信息、与帧间预测有关的包括运动向量信息和参考像素信息在内的信息、代价函数值和预测图像数据输出至选择器27。
帧内预测部40基于从排序缓冲器12输入的原始图像数据和从帧存储器25提供的作为参考图像数据的经解码的图像数据来针对设置在图像中的每个块执行帧内预测处理。然后，帧内预测部40将与帧内预测有关的包括表示最佳预测模式的预测模式信息的信息、代价函数值和预测图像数据输出至选择器27。
在本实施方式中，能够被帧内预测部40选择的预测模式候选的数量根据预测单元的块大小而不同。例如，当采用前述角度帧内预测方法时，按照块大小的预测模式候选的数量如以下的表1所示：
表1:按照PU大小的帧内预测模式候选的数量
Figure BDA0000442789920000091
即，当块大小为4×4像素时，预测模式候选（可能的帧内预测模式）的数量为17。在这些预测模式候选中，将与DC预测对应的预测模式排除在外的16个预测模式每个均对应于从参考像素到要预测的像素的16个预测方向候选（可能的预测方向）。当块大小为8×8像素时，预测模式候选的数量为34。在这些预测模式候选中，将与DC预测对应的预测模式排除在外的33个预测模式每个均对应于从参考像素到待预测的像素的33个预测方向候选。而且，当块大小为16×16像素或32×32像素时，类似地，存在34个预测模式候选和33个预测方向候选。当块大小为64×64像素时，预测模式候选的数量为3。在这些预测模式候选中，将与DC预测对应的预测模式排除在外的2个预测模式每个均对应于从参考像素到待预测的像素的2个预测方向候选（垂直和水平）。
图像编码装置10针对要被可伸缩视频编码的图像的多个层中的每个层重复本文描述的一系列编码处理。首先要被编码的层为表示最粗糙图像的称作基本层的层。可以在不对其他层的编码流进行解码的情况下独立地对基本层的编码流进行解码。除基本层之外的层为表示较精致图像的称作增强层的层。包含在基本层的编码流中的信息被用于增强层的编码流以增强编码效率。因此，为了再生增强层的图像，对基本层和增强层二者的编码流进行解码。在可压缩视频编码中被处理的层的数量可以为三个或更多。在这样的情况下，最下层为基本层并且剩余层为增强层。针对较高增强层的编码流，包含在较低增强层和基本层的编码流中的信息可以被用于编码和解码。在本说明书中，在具有依赖性的至少两个层中，在被依赖侧的层称作下层，以及在依赖侧的层称作上层。
在图像编码装置10的可伸缩视频编码中，基于帧内预测块中的下层的预测模式来预测上层的预测模式以对帧内预测的预测模式进行高效编码。提供图1所示的帧内预测部40的模式缓冲器44以临时存储下层的预测模式信息。当在层之间帧内预测模式候选的数量为相等时，与设置给下层的预测单元的预测模式相同的预测模式可以被按照原样设置给上层的对应的预测单元。然而，例如，当采用空间可伸缩性或色度格式可伸缩性时，存在彼此对应的两个预测单元的块大小不同的情况，从而能够出现在层之间帧内预测模式候选的数量不同的情形。
图2以空间可伸缩性的示例示出了被可伸缩视频编码的三个层L1、L2、L3。层L1为基本层，以及层L2、L3为增强层。层L2相对层L1的空间分辨率比为2:1。层L3相对层L1的空间分辨率比为4:1。在此情况下，层L2的预测单元B2的块大小为与层L1对应的预测单元B1的块大小（一侧）的两倍。层L3的预测单元B3的块大小为与层L2对应的预测单元B2的块大小的两倍，并且为与层L1对应的预测单元B1的块大小的四倍。
在表1的示例中，例如，当下层的块大小为4×4像素并且上层的块大小为8×8像素、16×16像素或32×32像素时，下层的预测模式候选的数量小于上层的预测模式候选的数量。另一方面，当下层的块大小为32×32像素并且上层的块大小为64×64像素时，下层的预测模式候选的数量大于上层的预测模式候选的数量。在这样的情形下，如将在接下来的部分中详细描述的，图像编码装置10的帧内预测部40基于下层的预测模式通过扩展或聚合预测模式来预测上层的预测模式。
例如，下层的与上层的预测单元对应的预测单元可以为下层的具有与上层的预测单元的预定位置（例如，左上）中的像素对应的像素的预测单元。基于以上限定，即使存在上层的、合并了下层的多个预测单元的预测单元，也能够唯一地决定下层的与上层的预测单元对应的预测单元。
而且，在本说明书中，主要描述了前述角度帧内预测方法被帧内预测部40使用的示例。然而，根据本公开内容的技术不限于这样的示例，并且一般能够被应用于针对可伸缩视频编码在层之间帧内预测模式候选的数量不同的情形。
[1-2.帧内预测部的配置示例]
图3为示出了图1所示的图像编码装置10的帧内预测部40的详细配置的示例的框图。参照图3，帧内预测部40包括模式设置部41、预测部42、模式确定部43、模式缓冲器44和参数生成部45。
在基本层的帧内预测处理中，模式设置部41连续地将多个预测模式候选中的每个预测模式候选设置给编码单元中的一个或更多个预测单元。预测部42根据通过模式设置部41所设置的预测模式候选使用从帧存储器25输入的参考图像数据来生成每个预测单元的预测图像。模式确定部43基于从排序缓冲器12输入的原始图像数据和从预测部42输入的预测图像数据来计算每个预测模式候选的代价函数值。然后，模式确定部43基于所计算的代价函数值来确定最佳预测模式和编码单元中的预测单元的最佳布置。模式缓冲器44使用存储介质来临时存储表示所决定的最佳预测模式的预测模式信息以用于上层中的处理。参数生成部45生成表示预测单元的布置和被模式确定部43确定为最佳的预测模式的参数。然后，模式确定部43将与帧内预测有关的包括被参数生成部45生成的参数的信息、代价函数值和预测图像数据输出至选择器27。
图4为示出了在角度帧内预测方法被用于这样的帧内预测时能够被选择的预测方向候选的说明图。图4所示的像素P1为要预测的像素。在像素P1所属块的周围的阴影像素为参考像素。当块大小为4×4像素时，（除了DC预测之外），还能够选择在图4中用实线（粗线和细线二者）表示并将参考像素和要预测的像素连接的17个预测方向（与其对应的预测模式）。当块大小为8×8像素、16×16像素或32×32像素时，（除了DC预测和平面预测之外），还能够选择在图4中用虚线和实线（粗线和细线二者）表示的33个预测方向（与其对应的预测模式）。当块大小为64×64像素时，（除了DC预测之外），还能够选择在图4中用粗线表示的2个预测方向（与其对应的预测模式）。图3所示的模式设置部41根据每个预测单元的大小将这些预测模式候选设置给每个预测单元。
在前述角度帧内预测方法中，预测方向上的角度的分辨率较高，并且例如当块大小为例如8×8像素时相邻预测方向之间的角度的差为180度/32=5.625度。因此，预测单元42首先如图5所示计算1/8像素精度的参考像素值，并且然后使用所计算的参考像素值根据每个预测模式候选来计算预测像素值。
能够主要将增强层的帧内预测处理划分为预测方向的再使用、预测方向的扩展、和预测方向的聚合的三种类型。在本实施方式中，当下层的预测模式候选的数量与上层的预测模式候选的数量相等时，执行预测方向的再使用。当下层的预测模式候选的数量小于上层的预测模式候选的数量时，执行预测方向的扩展。当下层的预测模式候选的数量大于上层的预测模式候选的数量时，执行预测方向的聚合。然而，本实施方式不限于这样的示例，而例如，当下层的预测模式候选的数量小于上层的预测模式候选的数量时，可以执行预测方向的再使用而非预测方向的扩展。
（1）预测方向的再使用
在增强层的帧内预测处理中，当下层的预测模式候选的数量与上层的预测模式候选的数量相等时，模式设置部41再使用通过存储在模式缓冲器44中的预测模式信息来表示的预测模式。即，在此情况下，模式设置部41对上层的每个预测单元设置与设置给下层的对应的预测单元的预测模式相同的预测模式。预测部42根据通过模式设置部41所设置的一个预测模式来生成每个预测单元的预测图像。当执行预测方向的再使用时，省略由模式确定部43基于代价函数值（该代价函数值可以被计算）对最佳预测模式的确定。当存在更高层时，模式缓冲器44存储表示通过模式设置部41所设置的预测模式的预测模式信息。
（2）预测方向的扩展
当下层的预测模式候选的数量小于上层的预测模式候选的数量时，模式设置部41连续地对上层的每个预测单元设置基于被设置给下层的对应的预测单元的预测模式所选择的每个预测模式候选。
通常，在与仅在空间分辨率方面不同的两个层对应的块之间，在同一位置中的分割图像之间存在相关性。因此，下层的特定块中的最佳预测模式最有可能为上层的对应的块中的最佳预测模式。然而，如果在上层中预测方向上的角度分辨率较高，则最佳预测模式可以由于分辨率差而不同。因此，在此情况下，代替简单地再使用预测模式，可以估计上层中的最佳预测模式以能够通过改善预测精度来提高编码效率。估计预测模式的范围可以限于在下层中的预测方向设置附近的一些预测方向以降低处理代价。
预测部42根据通过模式设置部41所设置的每个预测模式候选使用从帧存储器25输入的参考图像数据来生成每个预测单元的预测图像。模式确定部43基于原始图像数据和从预测部42输入的预测图像数据来计算每个预测模式候选的代价函数值。然后，模式确定部43基于所计算的代价函数值来确定最佳预测模式。当存在更高层时，模式缓冲器44存储表示由模式确定部43所决定的最佳预测模式的预测模式信息。
参数生成部45生成如图6所示的、根据下层中所设置的预测模式与由模式确定部43所决定的最佳预测模式之间的差编码的参数P1。
参照图6，示出了彼此对应的下层的预测单元B1和上层的预测单元B2。作为示例，预测单元B1的大小为4×4像素，以及预测单元B2的大小为8×8像素。预测方向DL为设置给预测单元B1的预测模式的预测方向。能够被设置给预测单元B2的预测模式的预测方向候选包括预测方向DU0、DU1、DU2、DU3、DU4……。两个相邻预测方向候选之间的角度差为θ。
如图6的右表所示，随着预测方向的差的绝对值减小，使用较小的代码数来对参数P1进行编码。例如，如果设置给预测单元B2的最佳预测模式为表示预测方向DU0的预测模式，则角度差为零并且使用代码数“0”来对参数P1进行编码。如果设置给预测单元B2的最佳预测模式为表示预测方向DU1或DU2的预测模式，则角度差为θ或-θ并且使用代码数“1”或“2”来对参数P1进行编码。如果设置给预测单元B2的最佳预测模式为表示预测方向DU3或DU4的预测模式，则角度差为2θ或-2θ并且使用代码数“3”或“4”来对参数P1进行编码。通过无损编码部16将较小的代码数映射到较短的代码字。因此，关于如上所述的参数P1，通过随着预测方向的（角度的）差减小来使用较小的代码数，使上层中的高发生频率的预测模式映射到较短的代码字从而能够提高编码效率。
在图6的示例中，在预测方向的仅在是正还是负方面不同的差之间，对从下层向上层顺时针旋转预测方向的差分配较小的代码数。从而，关于预测方向的差的绝对值相等的两个预测模式，可以对任意预定预测模式分配较小的代码数。代替地，如图7A和7B所示，可以动态地确定上层的预测方向接近哪个特定方向（例如，垂直或水平）以对接近特定方向的预测方向分配较小的代码数。
参照图7A，示出了能够被设置给图像Im1的上层的预测单元的预测模式的的预测方向候选DU0、DU1、DU2…。设置给下层的预测模式的预测方向为预测方向DL。这里，图像Im1的高宽比（垂直/水平）V/H小于1（即，水平大小大于垂直大小）。在这样的风景图像中，当在更接近水平方向的预测方向上进行帧内预测时，预测精度趋于改善。从而，在该情况下，期望的是，在预测方向的差的绝对值相等的两个预测模式之间，对上层中的其预测方向更接近水平方向的预测模式分配较小的代码数。在图7A的示例中，预测方向DU1与预测方向DU2相比更接近水平方向。因此，在图7A的右表中，针对表示预测方向DU1的预测模式使用代码数“1”来对参数P1进行编码，并且针对表示预测方向DU2的预测模式使用代码数“2”来对参数P1进行编码。另一方面，在图7B的示例中，图像Im2的高宽比（垂直/水平）V/H大于1（即，水平大小小于垂直大小）。从而，在该情况下，期望的是，在预测方向的差的绝对值相等的两个预测模式之间，对上层中的其预测方向更接近垂直方向的预测模式分配较小的代码数。因此，在图7B的右表中，针对表示预测方向DU2的预测模式使用代码数“1”来对参数P1进行编码，并且针对表示预测方向DU1的预测模式使用代码数“2”来对参数P1进行编码。可以根据要被编码的图像的高宽比来适应性地决定关于参数P1的角度差与代码数之间的这样的映射。
（3）预测方向的聚合
当下层的预测模式候选的数量大于上层的预测模式候选的数量时，模式设置部41对上层的每个预测单元设置基于设置给下层的对应的预测单元的预测模式所选择的预测模式候选。
通常，如上所述，仅在空间分辨率方面不同的两个层中的下层的预测单元中的最佳预测模式最有可能为上层的对应的预测单元中的最佳预测模式。然而，当下层中的预测模式候选的数量较大时，在上层中可能不能选择下层中的表示相同预测方向的预测模式。因此，在这样的情况下，代替简单地再使用预测模式，模式设置部41根据下层中所设置的预测模式来预测上层中的最佳预测模式。在本实施方式中，在此情况下被预测作为最佳预测模式的预测模式为上层中的表示与在下层中所设置的预测模式的预测方向最接近的预测方向的预测模式。如果在上层中存在表示与下层的预测方向最接近的预测方向的多个预测模式候选，则能够考虑一些技术来唯一地选择最佳预测模式。
参照图8和图9，示出了彼此对应的下层的预测单元B1和上层的预测单元B2。作为示例，预测单元B1的大小为32×32像素，以及预测单元B2的大小为64×64像素。预测方向DL为设置给预测单元B1的预测模式的预测方向。能够被设置给预测单元B2的预测模式的预测方向候选包括预测方向DU1、DU2。在图8的示例中，预测方向DU1与预测方向DU2相比更接近下层的预测方向DL。因此，模式设置部41能够对预测单元B2设置表示预测方向DL的预测模式。另一方面，在图9的示例中，预测方向DU1、DU2与下层的预测方向DL等距离。在此情况下，作为技术，模式设置部41能够对预测单元B2设置表示平均值（DC）预测的预测模式。
当不能够唯一地选择最佳预测模式时，代替如同图9中的示例来选择平均值预测，而模式设置部41可以根据预定条件来选择应当被设置给上层的预测单元的预测模式。例如，预定条件可以为：沿预定旋转方向（顺时针或逆时针）旋转预测方向。在图9的示例中，例如，通过顺时针旋转预测方向所得到的预测方向DU1可以被设置给预测单元B2。例如，预定条件还可以为：选择在代码数变得较小的预测方向。在如上所述的编码侧与解码侧之间，通过同意选择要设置给上层的预测模式的条件，能够在无需特定参数的情况下对上层的可伸缩视频编码的图像数据进行解码。
预测部42根据通过模式设置部41所设置的预测模式使用从帧存储器25输入的参考图像数据来生成每个预测单元的预测图像。在此情况下，省略由模式确定部43基于代价函数值对最佳预测模式的确定（该代价函数值可以被计算）。当存在更高层时，模式缓冲器44存储表示通过模式设置部41所设置的预测模式的预测模式信息。
作为用于唯一地选择最佳预测模式的另一个技术，还可以在预测模式被聚合时估计最佳预测模式。在这样的修改中，当在上层中存在表示与下层的预测方向最接近的预测方向的多个预测模式候选时，模式设置部41连续地对上层的每个预测单元设置多个（通常两个）预测模式候选中的每个预测模式候选。预测部42根据通过模式设置部41所设置的每个预测模式候选使用从帧存储器25输入的参考图像数据来生成每个预测单元的预测图像。模式确定部43基于原始图像数据和从预测部42输入的预测图像数据来计算每个预测模式候选的代价函数值。然后，模式确定部43基于所计算的代价函数值来确定最佳预测模式。当存在更高的层时，模式缓冲器44存储表示由模式确定部43所决定的最佳预测模式的预测模式信息。
参数生成部45能够生成如图10所示的、识别通过模式确定部43所决定的最佳预测模式的参数P2。在图10的示例中，预测方向DL为设置给下层中的预测单元B1的预测模式的预测方向。能够被设置给预测单元B2的预测模式的预测方向候选包括预测方向DUa、DUb，而不包括预测方向DL。预测方向DUa、DUb与下层的预测方向DL等距离。在此情况下，参数生成部45能够生成表示通过模式确定部43所决定的最佳预测模式（使用代码数“0”或“1”来编码）的1比特参数P2。
在预测方向的扩展和聚合二者中，通过参数生成部45所生成的参数每个均被无损编码部16编码为与帧内预测有关的一条信息，并以在编码流的头部区域中的形式被发送给解码侧。
（4）最可能模式
模式设置部41可以根据被设置给参考块的预测模式（预测方向）来估计针对要预测的块的最佳预测模式（预测方向），以抑制由于预测模式信息的编码所产生的代码量增加。在此情况下，如果通过模式设置部所估计的预测模式（在后文中，称作估计预测模式）和通过使用代价函数值所选择的最佳预测模式等同，则仅有表示能够估计预测模式的信息能够被编码为预测模式信息。例如，表示能够估计预测模式的信息对应于H.264/AVC中的“最可能模式”。
在H.264/AVC中，当决定最可能模式时使用在作为要预测的块的预测单元上方的预测单元和在其左侧的预测单元。如果通过最可能模式所估计的估计预测模式的模式数量为Mc，并且左参考块和上参考块的模式数量分别为Ma和Mb，则H.264/AVC中的估计预测模式的模式数量Mc如下所示来决定：
Mc=min（Ma，Mb）
相比之下，在本实施方式中，例如，模式设置部41在决定最可能模式时能够参考甚至下层的、与上层的预测单元对应的预测单元。然而，如果上层的预测单元和作为下层的参考块的预测单元在块大小方面不同，则原样地使用下层中的预测单元的预测模式的模式数量是不适当的。从而，遵循上述预测模式的扩展和聚合的思路，模式设置部41在将下层的预测单元的预测模式转换成上层的预测模式候选之中的预测模式之后决定最可能模式。例如，如图11所示，假定将下层中的预测单元的预测模式的模式数量M1转换为上层的预测模式的模式数量Mu。模式设置部41能够如下所示通过使用左参考块和上参考块的预测模式的模式数量Ma、Mb和在下层的预测单元的转换之后的预测模式的模式数量Mu来决定上层的预测单元的估计预测模式的模式数量Mu：
Mc=min（Ma，Mb，Mu）
代替以上公式，还可以使用其他公式。
如果通过最可能模式所估计的估计预测模式为最佳预测模式，则通过参数生成部45生成表示能够估计预测模式的参数，并能够通过无损编码部16对所生成的参数进行编码。
因此，当决定最可能模式时，通过应用上述预测模式的扩展和聚合的思路并且还参照下层的预测模式，能够使用层之间的图像的相关性以高精度来估计预测模式。
<2.根据实施方式的在编码时的处理的流程>
接下来，将使用图12至图14B来描述在编码时的处理的流程。
图12为示出了具有图3所示配置的帧内预测部40的帧内预测处理的流程的示例的流程图。图13为示出了预测模式扩展处理的详细流程的示例的流程图。图14A和图14B分别为示出了预测模式聚合处理的详细流程的第一示例和第二示例。
参照图12，帧内预测部40首先执行基本层的帧内预测处理（步骤S100）。因此，每个编码单元中的预测单元的布置被决定，并且下层中的最佳预测模式被设置给每个预测单元。模式缓冲器44缓冲表示每个预测单元的最佳预测模式的预测模式信息。
步骤S110至S160中的处理为增强层的帧内预测处理。在这些处理中，针对每个增强层的每个块（每个预测单元）重复步骤S110至S150中的处理。在接着的描述中，“上层”为要预测的层，以及“下层”为要预测的层的下层。
首先，模式设置部41根据每个PU的块大小来识别上层的关注PU(attention PU)的候选预测模式的数量NU和下层的对应的PU的候选预测模式的数量NL，并比较候选预测模式的数量NU、NL（步骤S110）。例如，如果NL=NU，则处理进行到步骤S120（步骤S112）。如果NL＜NU，则处理进行到步骤S130（步骤S114）。如果NL＞NU，则处理进行到步骤S140（步骤S114）。
在步骤S120中，模式设置部41对关注PU设置与被设置给下层的对应的PU的预测模式相同的预测模式（即，再使用预测模式）。然后，预测部42根据所设置的预测模式生成关注PU的预测图像（步骤S120）。
另一方面，在步骤S130中，执行图13所示的预测模式扩展处理。在步骤S140中，执行图14A和图14B所示的预测模式聚合处理。
在图13的预测模式扩展处理中，针对上层的预测模式的每个候选重复步骤S132中的处理和步骤S133中的处理（步骤S131）。首先，由预测部42根据被模式设置部41设置给关注PU的预测模式候选来生成关注PU的预测图像（步骤S132）。然后，由模式确定部43使用预测图像数据和原始图像数据来计算代价函数值（步骤S133）。当循环结束时，模式确定部43通过比较针对多个预测模式候选所计算的代价函数值来选择最佳预测模式（步骤S134）。然后，参数生成部45根据层之间的预测方向的差来生成参数P1以识别所选择的最佳预测模式（步骤S135）。
在图14A的预测模式聚合处理的第一示例中，模式设置部41首先确定在上层的预测方向候选中是否存在与下层的对应的PU的预测方向最接近的多个预测方向（步骤S141）。如果存在与对应的PU的预测方向最接近的多个预测方向，则模式设置部41对关注PU设置平均值（DC）预测模式或根据预定条件所选择的预测模式（步骤S142）。另一方面，如果存在与对应的PU的预测方向最接近的仅一个预测方向，则模式设置部41对关注PU设置表示该一个预测方向的预测模式（步骤S143）。然后，预测部42根据所设置的预测模式来生成关注PU的预测图像（步骤S144）。
在图14B的预测模式聚合处理的第二示例中，模式设置部41首先确定在上层的预测方向候选中是否存在与下层的对应的PU的预测方向最接近的多个预测方向（步骤S141）。当存在与对应的PU的预测方向最接近的仅一个预测方向时所执行的处理与图14A的第一示例中的处理相同（步骤S143、S144）。另一方面，如果存在与对应的PU的预测方向最接近的多个预测方向，则针对多个预测方向中的每个预测方向重复在步骤S146和步骤S147中的处理（步骤S145）。首先，由预测部42根据表示每个预测方向的预测模式候选来生成关注PU的预测图像（步骤S146）。然后，由模式确定部43使用预测图像数据和原始图像数据来计算代价函数值（步骤S147）。当循环结束时，模式确定部43通过比较针对多个预测模式候选所计算的代价函数值来选择最佳预测模式（步骤S148）。然后，参数生成部45生成参数P2以识别所选择的最佳预测模式（步骤S149）。
参照图12，将继续描述帧内预测部40对增强层的帧内预测处理的流程。
在步骤S120、S130或S140中对关注PU设置预测模式并生成预测图像之后，如果在要预测的层中剩余还未被处理的任何PU，则处理返回至步骤S110（步骤S150）。另一方面，如果在要预测的层中未剩余还未被处理的PU，则确定是否存在任何剩余层（较高层）（步骤S160），并且如果存在剩余层，则通过设置已被预测的层作为下层并设置下一层作为上层来重复在步骤S110及其之后的步骤中的处理。通过模式缓冲器44来缓冲预测模式信息。如果不存在剩余层，则图12中的帧内预测处理结束。经由选择器27从模式确定部43将这里生成的预测图像数据和与帧间预测有关的信息（可以包括参数P1、P2）输出至减法部13和无损编码部16中的每一个。
<3.根据实施方式的图像解码装置的示例配置>
在此部分中，将使用图15和图16来描述根据实施方式的图像解码装置的示例配置。
[3-1.总体配置的示例]
图15为示出了根据实施方式的图像解码装置60的配置的示例的框图。参照图15，图像解码装置60包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、去块滤波器66、排序缓冲器67、D/A（数字到模拟）转换部68、帧存储器69、选择器70和71、运动补偿部80和帧内预测部90。
累积缓冲器61使用存储介质临时存储经由传输线路输入的编码流。
无损解码部62根据在编码时使用的编码方法来对从累积缓冲器61输入的编码流进行解码。而且，无损解码部62对被复用到编码流的头部区域的信息进行解码。例如，被复用到编码流的头部区域的信息可以包括上述与帧间预测有关的信息和与帧内预测有关的信息。无损解码部62将与帧间预测有关的信息输出至运动补偿部80。而且，无损解码部62将与帧内预测有关的信息输出至帧内预测部90。
逆量化部63对已被无损解码部62解码的量化数据进行逆量化。逆正交变换部64通过根据在编码时使用的正交变换方法对从逆量化部63输入的变换系数数据执行逆正交变换来生成预测误差数据。然后，逆正交变换部64将生成的预测误差数据输出至加法部65。
加法部65将从逆正交变换部64输入的预测误差数据和从选择器71输入的预测图像数据相加从而生成经解码的图像数据。然后，加法部65将所生成的经解码的图像数据输出至去块滤波器66和帧存储器69。
去块滤波器66通过对从加法部65输入的经解码的图像数据进行滤波来去除块失真，并且将滤波之后的经解码的图像数据输出至排序缓冲器67和帧存储器69。
排序缓冲器67通过对从去块滤波器66输入的图像进行排序按时间序列来生成一系列图像数据。然后，排序缓冲器67将所生成的图像数据输出至D/A转换部68。
D/A转换部68将从排序缓冲器67输入的以数字格式输入的图像数据转换成以模拟格式的图像信号。然后，例如，D/A转换部68通过将模拟图像信号输出至与图像解码装置60连接的显示器（未示出）来使图像被显示。
帧存储器69使用存储介质来存储从加法部65输入的滤波之前的解码的图像数据和从去块滤波器66输入的滤波之后的解码的图像数据。
选择器70针对图像中的每个块根据通过无损解码部62所获取的模式信息来在运动补偿部80与帧内预测部90之间切换来自帧存储器69的图像数据的输出目的地。例如，在指定帧间预测模式的情况下，选择器70将从帧存储器69提供的滤波之后的经解码的图像数据输出至运动补偿部80作为参考图像数据。而且，在指定帧内预测模式的情况下，选择器70将从帧存储器69提供的滤波之前的经解码的图像数据输出至帧内预测部90作为参考图像数据。
选择器71根据通过无损解码部62所获取的模式信息在运动补偿部80与帧内预测部90之间切换要被提供给加法部65的预测图像数据的输出源。例如，在指定帧间预测模式的情况下，选择器71将从运动补偿部80输出的预测图像数据提供给加法部65。而且，在指定帧内预测模式的情况下，选择器71将从帧内预测部90输出的预测图像数据提供给加法部65。
运动补偿部80基于从无损解码部62输入的与帧间预测有关的信息和来自帧存储器69的参考图像数据来执行运动补偿处理，并生成预测图像数据。然后，运动补偿部80将所生成的预测图像数据输出至选择器71。
帧内预测部90基于从无损解码部62输入的与帧内预测有关的信息和来自帧存储器69的参考图像数据来执行帧内预测处理，并生成预测图像数据。能够被帧内预测部90选择的预测模式候选的数量根据预测单元的块大小而不同。例如，当采用前述角度帧内预测方法时，按照块大小的预测模式候选的数量如上述表1所示。然后，帧内预测部90将所生成的预测图像数据输出至选择器71。后续将详细描述上述帧内预测部90进行的帧内预测处理。
图像解码装置60针对可伸缩视频编码图像的多个层中的每个层来重复本文描述的一系列解码处理。首先要被解码的层为基本层。在对基本层进行解码之后对一个或更多个增强层进行解码。当对增强层进行解码时，使用通过对基本层或作为其他增强层的下层进行解码所获得的信息。
针对图像解码装置60的可伸缩视频解码，针对每个预测单元基于下层的预测模式来预测上层的预测模式。预测模式的预测可以包括预测模式的再使用、预测模式的扩展和预测模式的聚合。提供图15中示出的帧内预测部90的模式缓冲器93以临时存储用于预测预测模式的、下层的预测模式信息。
[3-2.帧内预测部的配置示例]
图16为示出了图15所示的图像解码装置60的帧内预测部90的详细配置的示例的框图。参照图16，帧内预测部90包括参数获取部91、模式设置部92、模式缓冲器93和预测部94。
在基本层的帧内预测处理中，参数获取部91获取通过无损解码部62所解码的与帧内预测有关的信息。例如，基本层的与帧内预测有关的信息可以包含识别每个编码单元中的预测单元的布置的信息和每个预测单元的预测模式信息。模式设置部92布置每个编码单元中的预测单元，并且还基于通过参数获取部91所获取的信息来对每个预测单元设置预测模式。模式缓冲器93临时存储表示被设置给每个预测单元的预测模式的预测模式信息。预测部94根据通过模式设置部92所设置的预测模式使用从帧存储器69输入的参考图像数据来生成每个预测单元的预测图像。然后，预测部94将预测图像数据输出至加法部65。
能够主要将增强层的帧内预测处理划分为预测方向的再使用、预测方向的扩展、和预测方向的聚合的三种类型。
（1）预测方向的再使用
在增强层的帧内预测处理中，当下层的预测模式候选的数量与上层的预测模式候选的数量相等时，不获取另外的参数。模式设置部92再使用通过存储在模式缓冲器93中的预测模式信息所表示的预测模式。即，在此情况下，模式设置部92对上层的每个预测单元设置与被设置给下层的对应的预测单元的预测模式相同的预测模式。预测部94根据通过模式设置部92所设置的预测模式来生成每个预测单元的预测图像。当存在更高层时，模式缓冲器93存储表示通过模式设置部92所设置的预测模式的预测模式信息。
（2）预测方向的扩展
当下层的预测模式候选的数量小于上层的预测模式候选的数量时，参数获取部91获取前述根据上层的预测单元与下层的对应的预测单元之间的预测方向的差来编码的参数P1。参数P1为随着预测方向的差的绝对值减小而使用较小的代码数来编码的参数。例如，如果与参数P1对应的代码字为最短的代码字时，由图15所示的无损解码部62将代码字映射到代码数“0”。然后，根据图6、图7A或图7B所示的代码数表，将代码数“0”解释为表示预测方向的差为零。在此情况下，模式设置部92能够对上层的预测单元设置表示与被设置给下层的对应的预测单元的预测模式的预测方向相同的预测方向的预测模式。另一方面，当参数P1的代码数等于“1”或更大时，模式设置部92能够对上层的预测单元设置表示根据预测方向的与代码数对应的差所选择的预测方向的预测模式。在此情况下，如使用图7A和图7B所述的，根据解码图像的高宽比来解释预测方向的差为正或负。预测部94根据通过模式设置部92所设置的预测模式来生成每个预测单元的预测图像。当存在更高层时，模式缓冲器93存储表示通过模式设置部92所设置的预测模式的预测模式信息。
（3）预测方向的聚合
当下层的预测模式候选的数量大于上层的预测模式候选的数量时，模式获取部91可以获取另外的参数P2或可以不获取另外的参数。
当不获取另外的参数时，模式设置部92对上层的预测单元设置仅基于被设置给下层的对应的预测单元的预测模式所选择的预测模式。典型地，被设置给上层的预测单元的预测模式为表示与下层的对应的预测单元的预测方向最接近的预测方向的预测模式。当存在表示与下层的预测方向最接近的预测方向的多个预测模式时，模式设置部92可以对上层的预测单元设置表示平均值预测的预测模式。例如，当上层的块大小为64×64像素时采用这样的技术。代替地，模式设置部92可以根据预定条件来选择要被设置给上层的预测单元的预测模式。例如，预定条件可以为：沿预定旋转方向旋转预测方向或选择较小的代码数。
另一方面，当前述用于选择预测模式的参数P2被编码时，参数获取部91获取参数P2。在此情况下，模式设置部92对预测单元设置表示与被设置给下层的对应的预测单元的预测模式的预测方向最接近的预测方向的两个预测模式中的通过参数P2所指示的预测模式。
在两种情况中，如同预测方向扩展处理一样，预测部94根据通过模式设置部92所设置的预测模式来生成每个预测单元的预测图像。当存在更高层时，模式缓冲器93存储表示通过模式设置部92所设置的预测模式的预测模式信息。
（4）最可能模式
当与帧内预测有关的信息中包含表示能够针对特定预测单元估计预测模式的信息时，模式设置部92可以对相关预测单元设置上述通过最可能模式所估计的预测模式。在本实施方式的预测模式的估计中，不仅基于左参考块和上参考块而且基于被设置给下层的对应的预测单元的预测模式来决定最可能模式。从而，遵循上述预测模式的扩展和聚合的思路，模式设置部92在将下层的预测单元的预测模式转换为上层的预测模式候选中的预测模式之后决定最可能模式。例如，能够如下所示通过使用左参考块和上参考块的预测模式的模式数量Ma、Mb和在下层的预测单元的转换之后的预测模式的模式数量Mu来决定一定预测单元的估计预测模式的模式数量Mc：
Mc=min（Ma，Mb，Mu）
代替以上公式，还可以使用其他公式。
<4.根据实施方式的在解码时的处理的流程>
接下来，将使用图17来描述在解码时的处理的流程。图17为示出了具有图16所示配置的帧内预测部90的帧内预测处理的流程的示例的流程图。
参照图17，帧内预测部90首先执行基本层的帧内预测处理（步骤S200）。因此，生成了基本层的预测图像，并且还通过模式缓冲器93来缓冲表示被设置给每个预测单元的预测模式的预测模式信息。
步骤S210至S270中的处理为对增强层的帧内预测处理。在这些处理中，针对每个增强层的每个块（每个预测单元）重复步骤S210至S260中的处理。在接着的描述中，“上层”为要预测的层，以及“下层”为要预测的层的下层。
首先，模式设置部92根据每个PU的块大小来识别上层的关注PU的候选预测模式的数量NU和下层的对应的PU的候选预测模式的数量NL，并比较候选预测模式的数量NU、NL（步骤S210）。例如，如果NL=NU，则处理进行到步骤S220（步骤S212）。如果NL＜NU，则处理进行到步骤S230（步骤S214）。如果NL＞NU，则处理进行到步骤S240。
在步骤S220中，模式设置部92对关注PU设置与设置给下层的对应的PU的预测模式相同的预测模式（即，再使用预测模式）（步骤S220）。
在步骤S230中，模式设置部92对关注PU设置基于设置给下层的对应的PU的预测模式和被参数获取部91获取的参数P1所选择的预测模式（步骤S230）。
在步骤S240中，模式设置部92对关注PU设置基于设置给下层的对应的PU的预测模式和参数P2（在参数P2被编码情况下）所选择的预测模式（步骤S240）。
然后，预测部94根据通过模式设置部92所设置的预测模式使用从帧存储器69输入的参考图像数据来生成关注PU的预测图像（步骤S250）。
在生成关注PU的预测图像之后，如果在要预测的层中剩余还未被处理的任何PU，则处理返回至步骤S210（步骤S260）。另一方面，如果在要预测的层中未剩余还未被处理的PU，则确定是否存在任何剩余层（较高层）（步骤S270），并且如果存在剩余层，则通过设置已被预测的层作为下层并设置下一层作为上层来重复在步骤S210及其之后的步骤中的处理。通过模式缓冲器93来缓冲预测模式信息。如果不存在剩余层，则图17中的帧内预测处理结束。经由选择器71将这里生成的预测图像数据输出至减法部65。
<5.示例应用>
根据上述实施方式的图像编码装置10和图像解码装置60可以应用于各种电子设备，诸如：发射器或接收器，该发射器或接收器用于卫星广播和诸如有线TV的有线广播、互联网上的分发、和经由蜂窝通信向终端的分发等；记录装置，该记录装置将图像记录在介质中，该介质诸如光盘、磁盘或闪存；以及再生装置等，该再生装置对来自这样的存储介质的图像进行再生。以下将描述四个示例应用。
[5-1.第一应用示例]
图18为示出了应用前述实施方式的电视装置的示意性配置的示例的图。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从通过天线901接收到的广播信号中提取期望频道的信号并对所提取的信号进行解调。调谐器902然后将通过解调所获得的编码的比特流输出至解复用器903。即，在电视装置900中，调谐器902具有作为接收其中图像被编码的编码流的传输装置的作用。
解复用器903从经编码的比特流中将要被观看的节目中的视频流和音频流分离，并将分离的流中的每个流输出至解码器904。解复用器903还从经编码的比特流中提取辅助数据（诸如EPG（电子节目导航）），并将所提取的数据提供给控制单元910。这里，解复用器903可以在经编码的比特流被扰频时对其进行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理所生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理所生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905对从解码器904输入的视频数据进行再生，并在显示器906上显示视频。视频信号处理单元905还可以在显示器906上显示通过网络所提供的应用屏幕。视频信号处理单元905还可以根据设置对视频数据执行另外的处理，诸如噪声降低。此外，视频信号处理单元905可以生成GUI（图形用户界面）（诸如菜单、按钮或光标）的图像，并使生成的图像叠加到输出图像上。
显示器906被视频信号处理单元905提供的驱动信号驱动，并在显示装置（诸如液晶显示器、等离子体显示器或OELD（有机电致发光显示器））的视频屏幕上显示视频或图像。
音频信号处理单元907对从解码器904输出的音频数据执行再生处理（诸如D/A转换和放大），并从扬声器908输出音频。音频信号处理单元907还可以对音频数据执行另外的处理，诸如噪声降低。
外部接口909为将电视装置900与外部装置或网络连接的接口。例如，解码器904可以对通过外部接口909接收到的视频流或音频流进行解码。这意味着，在电视装置900中，外部接口909还具有作为接收其中图像被编码的编码流的传输装置的作用。
控制单元910包括处理器（诸如CPU）和存储器（诸如RAM和ROM）。存储器存储被CPU执行的程序、节目数据、EPG数据和通过网络获取的数据。例如，存储在存储器中的程序在电视装置启动时被CPU读取并执行。例如，通过执行该程序，CPU根据从用户接口911输入的操作信号来控制电视装置900的操作。
用户接口911连接至控制单元910。例如，用户接口911包括用于用户操作电视装置900的按钮和开关以及接收远程控制信号的接收部。用户接口911通过这些部件检测用户操作，生成操作信号，并将生成的操作信号输出至控制单元910。
总线912相互地连接调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910。
以前述方式配置的电视装置900中的解码器904具有根据前述实施方式的图像解码装置60的功能。因此，针对通过电视装置900对图像的可伸缩视频解码，能够对增强层的被编码的图像数据进行更高效地解码。
[5-2.第二应用示例]
图19为示出了应用前述实施方式的移动电话的示意性配置的示例的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像机单元926、图像处理单元927、解复用单元928、记录/再生单元929、显示器930、控制单元931、操作单元932和总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933相互地连接通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、解复用单元928、记录/再生单元929、显示器930和控制单元931。
移动电话920执行以下操作：诸如发射/接收音频信号、发射/接收电子邮件或图像数据、使图像成像、或以各种操作模式记录数据，该操作模式包括音频通话模式、数据通信模式、摄像模式和视频电话模式。
在音频通话模式中，通过麦克风925生成的模拟音频信号被提供给音频编解码器923。然后，音频编解码器923将模拟音频信号转换成音频数据，对经转换的音频数据执行A/D转换，并压缩数据。之后，音频编解码器923将经压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以生成发射信号。然后，通信单元922通过天线921将生成的发射信号发射至基站（未示出），转换信号的频率，并获取接收信号。之后，通信单元922对接收信号进行解调和解码以生成音频数据，并将生成的音频数据输出至音频压编解码器923。音频编解码器923扩展音频数据，对数据执行D/A转换，并生成模拟音频信号。然后，音频编解码器923通过将生成的音频信号提供给扬声器924来输出音频。
在数据通信模式中，例如，控制单元931根据通过操作单元932的用户操作来生成配置电子邮件的字符数据。控制单元931还在显示器930上显示字符。然而，控制单元931根据用户通过操作单元932的发射指令来生成电子邮件数据，并将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发射信号。然后，通信单元922通过天线921将生成的发射信号发射到基站（未示出）。此外，通信单元922对通过天线921接收到的无线电信号进行放大，转换信号的频率，并获取接收信号。之后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，并将恢复的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示器930上以及将电子邮件数据存储在记录/再生单元929的存储介质中。
记录/再生单元929包括为可读可写的任意存储介质。例如，存储介质可以为内置存储介质（诸如RAM或闪存），或可以为外部安装式存储介质（诸如硬盘、磁盘、磁光盘、光盘、USB（未分配空间位图）存储器或存储卡）。
在摄像模式中，例如，摄像机单元926使物体成像，生成图像数据，并将生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像机单元926输入的图像数据进行编码，并将编码流存储在存储/再生单元929的存储介质中。
在视频通话模式中，例如，解复用单元928对通过图像处理单元927所编码的视频流和从音频编解码器923输入的音频流进行复用，并将复用流输出至通信单元922。通信单元922对流进行编码和调制以生成发射信号。然后，通信单元922通过天线921将生成的发射信号发射至基站（未示出）。此外，通信单元922放大通过天线921接收到的无线电信号，转换信号的频率，并获取接收信号。发射信号和接收信号能够包括经编码的比特流。然后，通信单元922对接收信号进行解调和解码以恢复流，并将经恢复的流输出至解复用单元928。解复用单元928从输入流中分离视频流和音频流，并分别将视频流和音频流输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后，视频数据被提供给显示一系列图像的显示器930。音频编解码器923对音频流进行扩展并执行D/A转换以生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供给扬声器924以输出音频。
以前述方式配置的移动电话920中的图像处理单元927具有根据前述实施方式的图像编码装置10和图像解码装置60的功能。因此，针对通过移动电话920对图像的可伸缩视频编码和解码，能够对增强层的图像数据进行更高效地编码和解码。
[5-3.第三应用示例]
图20为示出了应用前述实施方式的记录/再生装置的示意性配置的示例的图。例如，记录/再生装置940对接收到的广播节目的音频数据和视频数据进行编码，并将数据记录到记录介质中。例如，记录/再生装置940还可以对从另一个装置获取的音频数据和视频数据进行编码，并将数据记录在记录介质中。例如，记录/再生装置940响应于用户指令在监视器和扬声器上再生被记录在记录介质中的数据。这时，记录/再生装置940对音频数据和视频数据进行解码。
记录/再生装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、盘驱动器945、选择器946、解码器947、OSD（屏幕上显示器）948、控制单元949和用户接口950。
调谐器941从通过天线（未示出）接收到的广播信号中提取期望频道的信号并对所提取的信号进行解调。调谐器941然后将通过解调所获得的经编码的比特流输出至选择器946。即，在记录/再生装置940中，调谐器841具有传输装置的作用。
外部接口942为将将记录/再生装置940与外部装置或网络连接的接口。例如，外部接口942可以为IEEE1394接口、网络接口、USB接口或闪存接口。例如，通过外部接口942接收到的视频数据和音频数据被输入至编码器943。即，在记录/再生装置940中，外部接口942具有传输装置的作用。
当从外部接口942输入的视频数据和音频数据未被编码时，编码器943对该视频数据和音频数据进行编码。之后，编码器943将经编码的比特流输出至选择器946。
HDD944将其中压缩有诸如视频和音频的内容数据的经编码的比特流、各种程序和其他数据记录到内部硬盘中。当再生视频和音频时，HDD944从硬盘中读取这些数据。
盘驱动器945将数据记录到被安装至盘驱动器的记录介质中并从该记录介质中读取数据。被安装至盘驱动器945的记录介质可以为例如DVD盘（诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光（注册商标）盘。
当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的经编码的比特流，并将选定的经编码的比特流输出至HDD944或盘驱动器945。另一方面，当再生视频和音频时，选择器946将从HDD944或盘驱动器945输入的经编码的比特流输出至解码器947。
解码器947对经编码的比特流进行解码以生成视频数据和音频数据。然后，解码器947将生成的视频数据输出至OSD948，并将生成的音频数据输出至外部扬声器。
OSD948再生从解码器947输入的视频数据并显示视频。OSD948还可以将GUI诸如菜单、按钮或光标的图像叠加到所显示的视频上。
控制单元949包括处理器诸如CPU和存储器（诸如RAM和ROM）。存储器存储被CPU执行的程序以及节目数据。例如，存储在存储器中的程序在记录/再生装置940启动时被CPU读取并执行。例如，通过执行该程序，CPU根据从用户接口950输入的操作信号来控制记录/再生装置940的操作。
用户接口950连接至控制单元949。例如，用户接口950包括用于用户操作记录/再生装置940的按钮和开关以及接收远程控制信号的接收部。用户接口950通过这些部件检测用户操作，生成操作信号，并将生成的操作信号输出至控制单元949。
以前述方式配置的记录/再生装置940中的编码器943具有根据前述实施方式的图像编码装置10的功能。另一方面，解码器947具有根据前述实施方式的图像解码装置60的功能。因此，针对通过记录/再生装置940对图像的可伸缩视频编码和解码，能够对增强层的图像数据进行更高效地编码和解码。
[5-4.第四应用示例]
图21为示出了应用前述实施方式的成像装置的示意性配置的示例的图。成像装置960使物体成像，生成图像，对图像数据进行编码，并将数据记录到记录介质中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971和总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户接口971连接至控制单元970。总线072相互地连接图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969和控制单元970。
光学块961包括聚焦透镜和光阑机构。光学块961使物体的光学图像形成在成像单元962的成像表面上。成像单元962包括图像感测器（诸如CCD（电荷耦合装置）或CMOS（互补金属氧化物半导体）），并执行光电转换以将形成在成像表面上的光学图像转换成作为电信号的图像信号。随后，成像单元962将图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种摄像机信号处理，诸如拐点校正、伽马校正和颜色校正。信号处理单元963将已被执行了摄像机信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码，并生成经编码的数据。然后，图像处理单元964将所生成的经编码的数据提供给外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的经编码的数据进行解码以生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示器965。而且，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示器965以显示图像。此外，图像处理单元964可以将从OSD969获取的显示数据叠加到在显示器965上输出的图像上。
OSD969生成GUI（诸如菜单、按钮或光标）的图像，并将生成的图像输出至图像处理单元964。
例如，外部接口966被配置为USB输入/输出端子。例如，在打印图像时，外部接口966将成像装置960与打印机连接。而且，驱动器在需要时被连接至外部接口966。例如，可移除介质（诸如磁盘或光盘）被安装至驱动器，使得从可移除介质读取的程序能够被安装至成像装置960。外部接口966还可以被配置为与网络（诸如LAN或互联网）连接的网络接口。即，在成像装置960中，外部接口966具有传输装置的作用。
安装至介质驱动器968的记录介质可以为可读可写的任意可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以被固定地安装至介质驱动器968，使得非传输型存储单元（non-transportable storage）（诸如内置硬盘驱动器或SSD（固态驱动器））被配置。
控制单元970包括处理器（诸如CPU）和存储器（诸如RAM和ROM）。存储器存储被CPU执行的程序以及节目数据。存储在存储器中的程序在成像装置960启动时被CPU读取并然后执行。例如，通过执行该程序，CPU根据从用户接口971输入的操作信号来控制成像装置960的操作。
用户接口971连接至控制单元970。例如，用户接口971包括用于用户操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作，生成操作信号，并将生成的操作信号输出至控制单元970。
以前述方式配置的成像装置960中的图像处理单元964具有根据前述实施方式的图像编码装置10和图像解码装置60的功能。因此，针对通过成像装置960对图像的可伸缩视频编码和解码，能够对增强层的图像数据进行更高效地编码和解码。
<6.总结>
在此之前，已使用图1至图21描述了根据实施方式的图像编码装置10和图像解码装置60。根据本实施方式，针对图像的可压缩视频编码或解码，即使当上层的预测单元的帧内预测模式候选的数量与下层的对应的预测单元的预测模式候选的数量不同，也对上层的预测单元设置基于设置给下层的预测单元的预测模式而选择的预测模式。因此，能够降低伴随上层的预测模式信息的编码所产生的代码量。具体地，在块大小的范围被扩展且预测模式的候选集合多样的HEVC中，在原样地对预测模式信息进行编码时所生成的代码量不小，从而能够省略上层的预测模式信息的大部分代码量的前述机构是有用的。
还根据本实施方式，当上层的预测模式候选的数量大于下层的预测模式候选的数量时，使用根据预测方向的差来编码的参数来选择被设置给上层的预测模式。通过在避免上层的预测模式信息的编码时引入具有小数量比特的这样的另外参数，能够改善上层的帧内预测的预测精度，因此能够提高编码效率。随着层之间的预测方向的差的绝对值减小，使用较小代码数来对参数进行编码。通常，在与仅在空间分辨率方面不同的两个层对应的预测单元之间，在同一位置中的分割图像之间存在相关性。因此，通过随着预测方向的差减小来使用较小的代码数对参数进行编码，能够使用可变长度编码较短的更多代码字。因此，进一步提高了编码效率。
还根据本实施方式，当上层的预测模式候选的数量小于下层的预测模式候选的数量时，将表示与下层的预测方向最接近的预测方向的预测模式设置给上层的预测单元。因此，在此情况下，能够在无需另外的参数的情况下适当地选择上层的预测模式。
还根据本实施方式，能够实现基于被设置给下层中的对应的预测单元的预测模式和同一层中的参考块的预测模式的最可能模式。因此，能够在降低预测模式信息的代码量时进一步改善帧内预测的精度。
在本文中主要描述了示例，其中，各条信息（诸如与帧内预测相关的信息和与帧间预测相关的信息）被复用到编码流的头部并从编码侧被发送到解码侧。然而，发送这些条信息的方法不限于这样的示例。例如，这些条信息可以在未被复用到经编码的比特流的情况下被发送或记录为与经编码的比特流相关联的独立数据。这里，术语“相关联”意味着使包括在比特流中的图像（可以为图像的一部分诸如切片或块）和与当前图像对应的信息能够在解码时建立链接。即，可以将25信息在与图像（比特流）不同的传输路径上进行传输。还可以将信息记录在与图像（或比特流）不同的记录介质（或相同记录介质中的不同记录区域）中。此外，信息和图像（或比特流）可以通过诸如多个帧、一个帧或帧内的一部分的任意单元来彼此相关联。
已参照附图描述了本公开内容的优选实施方式，然而本公开内容当然不限于以上示例。本领域内技术人员可以在所附权利要求的范围内作出各种替换和修改，从而应当理解，这些替换或修改自然将属于本公开内容的技术范围。
（1）一种图像处理设备，包括：
模式设置部，所述模式设置部当要被可伸缩视频解码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及
预测部，所述预测部根据所述模式设置部设置的预测模式生成所述第二预测单元的预测图像。
（2）根据1所述的图像处理设备，还包括：
参数获取部，所述参数获取部当所述第一预测单元的帧内预测模式的候选的数量小于所述第二预测单元的帧内预测模式的候选的数量时，获取根据所述第一预测单元和所述第二预测单元之间的预测方向的差编码的第一参数，
其中，模式设置部根据所述参数获取部获取的第一参数来选择对所述第二预测单元设置的预测模式。
（3）根据（2）所述的图像处理设备，其中随着所述预测方向的差的绝对值减小，使用较小的代码数对所述第一参数进行编码。
（4）根据（3）所述的图像处理设备，其中在所述预测方向的、仅在是正还是负方面不同的差中，对沿特定旋转方向旋转预定方向的差分配较小的代码数。
（5）根据（3）所述的图像处理设备，其中在所述预测方向的、仅在是正还是负方面不同的差中，对使所述第二预测单元的预测方向更接近所述特定方向的差分配较小的代码数。
（6）根据（5）所述的图像处理设备，其中所述特定方向是垂直方向或水平方向，并且所述特定方向是根据所述图像的高宽比决定的。
（7）根据（1）至（6）中任一项所述的图像处理设备，其中当所述第一预测单元的帧内预测模式的候选的数量大于所述第二预测单元的帧内预测模式的候选的数量时，所述模式设置部对所述第二预测单元设置表示与所述第一预测单元的预测方向最接近的预测方向的预测模式。
（8）根据（7）所述的图像处理设备，其中当多个表示与所述第一预测单元的预测方向最接近的预测方向的预测模式存在于所述第二预测单元的预测模式的候选中时，所述模式设置部对第二预测单元设置表示平均值预测的预测模式。
（9）根据（7）所述的图像处理设备，其中当多个表示与所述第一预测单元的预测方向最接近的预测方向的预测模式存在于所述第二预测单元的预测模式的候选中时，模式设置部根据预定条件选择多个表示最接近的预测方向的预测模式中的一个。
（10）根据（9）所述的图像处理设备，其中所述预定条件是：所述预定方向沿预定旋转方向旋转。
（11）根据（9）所述的图像处理设备，其中所述预定条件是：较小的代码数被选择。
（12）根据（7）所述的图像处理设备，还包括：
参数获取部，当多个表示与所述第一预测单元的预测方向最接近的预测方向的预测模式存在于所述第二预测单元的预测模式的候选中时，获取用于选择预定模式的第二参数，
其中，所述模式设置部根据所述参数获取部获取的所述第二参数来选择多个表示最接近的预定方向的预测模式中的一个。
（13）根据（1）所述的图像处理设备，其中，所述模式设置部基于对所述第一预测单元设置的预测模式和对至少第三预测单元设置的预测模式，通过最可能模式估计要被设置给所述第二预定单元的预测模式，所述第三预测单元与所述第二层中的所述第二预测单元邻近。
（14）根据（13）所述的图像处理设备，其中，所述模式设置部在将对所述第一预测单元设置的预测模式转换为所述第二预测单元的预测模式的候选中的预测模式之后，决定最可能模式。
（15）根据（1）至（14）中任一项所述的图像处理设备，其中，所述第一预测单元是所述第一层中的预测单元，所述第一层中的预测单元具有与所述第二预测单元中的预定位置中的像素对应的像素。
（16）一种图像处理方法，包括：
当要被可伸缩视频解码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及
根据所设置的预测模式生成所述第二预测单元的预测图像。
（17）一种图像处理设备，包括：
模式设置部，所述模式设置部当要被可伸缩视频编码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及
预测部，所述预测部根据所述模式设置部设置的预测模式生成所述第二预测单元的预测图像。
（18）一种图像处理方法，包括：
当要被可伸缩视频编码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及
根据所设置的预测模式生成所述第二预测单元的预测图像。
附图标记列表
10  图像编码装置（图像处理设备）
41  模式设置部
42  预测部
45  参数生成部
60  图像解码装置（图像处理设备）
91  参数获取部
92  模式设置部
94  预测部

Claims (18)

1.一种图像处理设备，包括：
模式设置部，所述模式设置部当要被可伸缩视频解码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及
预测部，所述预测部根据所述模式设置部设置的预测模式生成所述第二预测单元的预测图像。
2.根据权利要求1所述的图像处理设备，还包括：
参数获取部，所述参数获取部当所述第一预测单元的帧内预测模式的候选的数量小于所述第二预测单元的帧内预测模式的候选的数量时，获取根据所述第一预测单元和所述第二预测单元之间的预测方向的差编码的第一参数，
其中，模式设置部根据所述参数获取部获取的第一参数来选择对所述第二预测单元设置的预测模式。
3.根据权利要求2所述的图像处理设备，其中随着所述预测方向的差的绝对值减小，使用较小的代码数对所述第一参数进行编码。
4.根据权利要求3所述的图像处理设备，其中在所述预测方向的、仅在是正还是负方面不同的差中，对沿特定旋转方向旋转所述预测方向的差分配较小的代码数。
5.根据权利要求3所述的图像处理设备，其中在所述预测方向的、仅在是正还是负方面不同的差中，对使所述第二预测单元的预测方向更接近所述特定方向的差分配较小的代码数。
6.根据权利要求5所述的图像处理设备，其中所述特定方向是垂直方向或水平方向，并且所述特定方向是根据所述图像的高宽比决定的。
7.根据权利要求1所述的图像处理设备，其中当所述第一预测单元的帧内预测模式的候选的数量大于所述第二预测单元的帧内预测模式的候选的数量时，所述模式设置部对所述第二预测单元设置表示与所述第一预测单元的预测方向最接近的预测方向的预测模式。
8.根据权利要求7所述的图像处理设备，其中当多个表示与所述第一预测单元的预测方向最接近的预测方向的预测模式存在于所述第二预测单元的预测模式的候选中时，所述模式设置部对第二预测单元设置表示平均值预测的预测模式。
9.根据权利要求7所述的图像处理设备，其中当多个表示与所述第一预测单元的预测方向最接近的预测方向的预测模式存在于所述第二预测单元的预测模式的候选中时，模式设置部根据预定条件选择多个表示最接近的预测方向的预测模式中的一个。
10.根据权利要求9所述的图像处理设备，其中所述预定条件是：所述预定方向沿预定旋转方向旋转。
11.根据权利要求9所述的图像处理设备，其中所述预定条件是：较小的代码数被选择。
12.根据权利要求7所述的图像处理设备，还包括：
参数获取部，当多个表示与所述第一预测单元的预测方向最接近的预测方向的预测模式存在于所述第二预测单元的预测模式的候选中时，获取用于选择预定模式的第二参数，
其中，所述模式设置部根据所述参数获取部获取的所述第二参数来选择多个表示最接近的预定方向的预测模式中的一个。
13.根据权利要求1所述的图像处理设备，其中，所述模式设置部基于对所述第一预测单元设置的预测模式和对至少第三预测单元设置的预测模式，通过最可能模式估计要被设置给所述第二预定单元的预测模式，所述第三预测单元与所述第二层中的所述第二预测单元邻近。
14.根据权利要求13所述的图像处理设备，其中，所述模式设置部在将对所述第一预测单元设置的预测模式转换为所述第二预测单元的预测模式的候选中的预测模式之后，决定最可能模式。
15.根据权利要求1所述的图像处理设备，其中，所述第一预测单元是所述第一层中的预测单元，所述第一层中的预测单元具有与所述第二预测单元中的预定位置中的像素对应的像素。
16.一种图像处理方法，包括：
当要被可伸缩视频解码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及
根据所设置的预测模式生成所述第二预测单元的预测图像。
17.一种图像处理设备，包括：
模式设置部，所述模式设置部当要被可伸缩视频编码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及
预测部，所述预测部根据所述模式设置部设置的预测模式生成所述第二预测单元的预测图像。
18.一种图像处理方法，包括：
当要被可伸缩视频编码的、包括第一层和第二层的图像的第一层中的第一预测单元的帧内预测模式的候选的数量与所述第二层中的、和所述第一预测单元对应的第二预测单元的帧内预测模式的候选的数量不同时，将基于对所述第一预测单元设置的预测模式而选择的预测模式设置给第二预测单元，所述第二层是所述第一层的上层；以及
根据所设置的预测模式生成所述第二预测单元的预测图像。
CN201280030622.8A 2011-06-28 2012-05-21 图像处理设备以及图像处理方法 Pending CN103636211A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-143271 2011-06-28
JP2011143271A JP2013012846A (ja) 2011-06-28 2011-06-28 画像処理装置及び画像処理方法
PCT/JP2012/062925 WO2013001939A1 (ja) 2011-06-28 2012-05-21 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN103636211A true CN103636211A (zh) 2014-03-12

Family

ID=47423842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280030622.8A Pending CN103636211A (zh) 2011-06-28 2012-05-21 图像处理设备以及图像处理方法

Country Status (4)

Country Link
US (1) US20140037002A1 (zh)
JP (1) JP2013012846A (zh)
CN (1) CN103636211A (zh)
WO (1) WO2013001939A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019141007A1 (zh) * 2018-01-16 2019-07-25 腾讯科技（深圳）有限公司 图像编码中的预测方向选取方法、装置和存储介质
CN111418205A (zh) * 2018-11-06 2020-07-14 北京字节跳动网络技术有限公司 用于帧间预测的运动候选
CN111543057A (zh) * 2017-12-29 2020-08-14 鸿颖创新有限公司 基于包含不同模式组的模式列表以编码视频数据的设备及方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10645398B2 (en) 2011-10-25 2020-05-05 Texas Instruments Incorporated Sample-based angular intra-prediction in video coding
KR101979284B1 (ko) * 2011-10-26 2019-05-17 인텔렉추얼디스커버리 주식회사 인터 예측 모드 스케일러블 코딩 방법 및 장치
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
US10270123B2 (en) * 2015-01-09 2019-04-23 GM Global Technology Operations LLC Prevention of cell-to-cell thermal propagation within a battery system using passive cooling
WO2019059107A1 (ja) * 2017-09-20 2019-03-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089235A1 (en) * 2003-10-28 2005-04-28 Satoshi Sakaguchi Intra-picture prediction coding method
US20060120456A1 (en) * 2004-12-03 2006-06-08 Matsushita Electric Industrial Co., Ltd. Intra prediction apparatus
US20060165171A1 (en) * 2005-01-25 2006-07-27 Samsung Electronics Co., Ltd. Method of effectively predicting multi-layer based video frame, and video coding method and apparatus using the same
US20070025439A1 (en) * 2005-07-21 2007-02-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video signal according to directional intra-residual prediction
US20090168872A1 (en) * 2005-01-21 2009-07-02 Lg Electronics Inc. Method and Apparatus for Encoding/Decoding Video Signal Using Block Prediction Information
CN101860759A (zh) * 2009-04-07 2010-10-13 华为技术有限公司 一种编码方法和编码装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2008000522A (es) * 2005-07-11 2008-03-06 Thomson Licensing Metodo y aparato para la prediccion adaptable de intra-textura entre capas de macrobloque.
AU2012267006B8 (en) * 2011-06-10 2015-10-29 Hfi Innovation Inc. Method and apparatus of scalable video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089235A1 (en) * 2003-10-28 2005-04-28 Satoshi Sakaguchi Intra-picture prediction coding method
US20060120456A1 (en) * 2004-12-03 2006-06-08 Matsushita Electric Industrial Co., Ltd. Intra prediction apparatus
US20090168872A1 (en) * 2005-01-21 2009-07-02 Lg Electronics Inc. Method and Apparatus for Encoding/Decoding Video Signal Using Block Prediction Information
US20060165171A1 (en) * 2005-01-25 2006-07-27 Samsung Electronics Co., Ltd. Method of effectively predicting multi-layer based video frame, and video coding method and apparatus using the same
US20070025439A1 (en) * 2005-07-21 2007-02-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video signal according to directional intra-residual prediction
CN101860759A (zh) * 2009-04-07 2010-10-13 华为技术有限公司 一种编码方法和编码装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111543057A (zh) * 2017-12-29 2020-08-14 鸿颖创新有限公司 基于包含不同模式组的模式列表以编码视频数据的设备及方法
WO2019141007A1 (zh) * 2018-01-16 2019-07-25 腾讯科技（深圳）有限公司 图像编码中的预测方向选取方法、装置和存储介质
US11395002B2 (en) 2018-01-16 2022-07-19 Tencent Technology (Shenzhen) Company Limited Prediction direction selection method and apparatus in image encoding, and storage medium
CN111418205A (zh) * 2018-11-06 2020-07-14 北京字节跳动网络技术有限公司 用于帧间预测的运动候选

Also Published As

Publication number Publication date
JP2013012846A (ja) 2013-01-17
WO2013001939A1 (ja) 2013-01-03
US20140037002A1 (en) 2014-02-06

Similar Documents

Publication Publication Date Title
US10623761B2 (en) Image processing apparatus and image processing method
US10063852B2 (en) Image processing device and image processing method
CN103636211A (zh) 图像处理设备以及图像处理方法
US10743023B2 (en) Image processing apparatus and image processing method
US20130343648A1 (en) Image processing device and image processing method
CN103200401A (zh) 图像处理装置和图像处理方法
CN103220512A (zh) 图像处理器和图像处理方法
CN102972026A (zh) 图像处理装置和图像处理方法
CN103370935A (zh) 图像处理装置和图像处理方法
WO2013011738A1 (ja) 画像処理装置及び画像処理方法
CN102577390A (zh) 图像处理设备和方法
CN104380740A (zh) 编码装置、编码方法、解码装置和解码方法
CN104255028A (zh) 图像处理设备及图像处理方法
CN107360439A (zh) 图像处理装置和方法
CN104620586A (zh) 图像处理装置和方法
CN102939759A (zh) 图像处理设备和方法
CN102714735A (zh) 图像处理设备和方法
CN103444173A (zh) 图像处理设备和方法
US20160373740A1 (en) Image encoding device and method
CN104104967A (zh) 图像处理设备及图像处理方法
CN102884791A (zh) 图像处理设备和方法
CN104025597A (zh) 图像处理装置和方法
CN102301718A (zh) 图像处理设备、图像处理方法和程序
CN103907354A (zh) 编码设备和编码方法，及解码设备和解码方法
CN103988507A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140312

WD01 Invention patent application deemed withdrawn after publication