CN104685881A - 图像解码装置以及图像编码装置 - Google Patents
图像解码装置以及图像编码装置 Download PDFInfo
- Publication number
- CN104685881A CN104685881A CN201380051048.9A CN201380051048A CN104685881A CN 104685881 A CN104685881 A CN 104685881A CN 201380051048 A CN201380051048 A CN 201380051048A CN 104685881 A CN104685881 A CN 104685881A
- Authority
- CN
- China
- Prior art keywords
- vector
- image
- displacement
- prediction
- prediction parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
位移矢量生成部基于表示第一层图像和不同于第一层图像的第二层图像之间的位移的一部分的符号,生成表示位移的一部分和位移的其他的一部分的位移矢量,预测图像生成部从存储参照图像的参照图像存储部,读出位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
Description
技术领域
本发明涉及图像解码装置以及图像编码装置。
本申请基于在2012年9月28日在日本申请的特愿2012-217904号,主张优先权,将其内容援用于此。
背景技术
在多个视点的图像编码技术中,提出了通过在对多个视点的图像进行编码时预测图像间的视差,从而降低信息量的视差预测编码和对应于该编码方法的解码方法(例如,非专利文献1)。将表示视点图像间的视差的矢量称为视差矢量。视差矢量是具有水平方向的元素值(x分量)和垂直方向的元素值(y分量)的二维的矢量,对作为分割了1个图像的区域的每个块计算。此外,为了取得多个视点的图像,一般使用在各个视点配置的相机。在多个视点的编码中,各视点图像在多个层中分别作为不同的层而进行编码。各层进一步由多个层构成的编码方法一般被称为可分级(Scalable)编码或者层次编码。在可分级编码中,通过在层间进行预测,实现高的编码效率。在层间不进行预测而成为基准的层被称为基础层,除此以外的层被称为扩展层。将层由视点图像构成时的可分级编码称为视角可分级编码。此时,基础层也被称为基础视角,扩展层也被称为非基础视角。
此外,在可分级编码中,除了视角可分级编码之外,还有空间性可分级(作为基础层而处理分辨率低的图象(picture)、扩展层处理分辨率高的图象)、SNR可分级编码(作为基础层而处理画质低的图象、作为扩展层而处理分辨率高的图象)等。在可分级编码中,例如将基础层的图象在扩展层的图象的编码中用作参照图象。
现有技术文献
非专利文献
非专利文献1:“High efficiency video coding draft 8”,JCTVC-J10003,Stockholm,SE,July,2012
发明内容
发明要解决的课题
但是,在相机的配置一维地配置的情况下,有时不会产生与该配置正交的方向的视差。例如,在水平方向上配置有2台相机的情况下,主要产生水平方向的视差(位移矢量的X分量)。在这样的情况下,通过对与相机的配置正交的方向的视差进行编码而生成的符号(位移矢量的Y分量)是冗长的。此外,在空间可分级编码或SNR可分级编码的情况下,由于在基础层和扩展层之间不会产生视差,所以通过对这样的视差(位移矢量)进行编码而生成的符号是冗长的。
本发明是鉴于上述的点而完成的,提供一种能够提高编码效率的图像解码装置以及图像编码装置。
用于解决课题的手段
(1)本发明是为了解决上述的课题而完成的,本发明的一个方式所涉及的图像解码装置也可以包括:预测参数导出部,导出对象预测块的预测参数;以及预测图像生成部,读出所述预测参数导出部导出的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,所述预测参数导出部包括外部层参照地址变换部,该外部层参照地址变换部在属于所述对象预测块的对象图像和作为所述参照图像的一部分的参照块所属的参照图像属于不同的层的情况下,变换参照参照块的预测参数的坐标。
(2)此外,本发明的一个方式所涉及的图像解码装置的外部层参照地址变换部变换坐标的运算也可以包括将该坐标以较大的单位离散化的运算。
(3)此外,本发明的一个方式所涉及的图像解码装置的外部层参照地址变换部变换坐标的运算也可以是将X坐标以及Y坐标向右移位3比特再向左移位3比特的运算。
(4)此外,本发明是为了解决上述的课题而完成的,本发明的一个方式所涉及的图像编码装置也可以包括:预测参数导出部,导出对象预测块的预测参数或者预测矢量;以及预测图像生成部,读出所述预测参数导出部导出的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,所述预测参数导出部包括:预测参数参照部,参照所存储的预测参数;以及外部层参照地址变换部,在属于所述对象预测块的对象图像以及作为所述参照图像的一部分的参照块所属的参照图像属于不同的层的情况下,变换参照参照块的预测参数的坐标。
(5)此外,本发明的其他的方式所涉及的图像解码装置也可以包括:矢量差分解码部,导出算术符号的上下文,并根据编码数据而解码矢量差分;矢量导出部,根据处理完毕的块的矢量和所述矢量差分之和,导出对象块的矢量;以及预测图像生成部,读出所述矢量导出部生成的对象块的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,所述矢量差分解码部基于所述对象块的矢量或者所述矢量差分是否为不同的层间的预测,分配上下文。
(6)此外,本发明的其他的方式所涉及的图像解码装置的矢量差分解码部也可以在所述对象块的矢量或者所述矢量差分为不同的层间的预测的情况下,对构成所述矢量差分的垂直分量的语法元素和构成所述矢量差分的水平分量的语法元素分别分配不同的上下文。
(7)此外,本发明的其他的方式所涉及的图像解码装置的矢量差分解码部也可以在所述对象块的矢量或者所述矢量差分是否为不同的层间的预测的判定中,判定为不同的层间的预测的情况和没有判定为不同的层间的预测的情况下,至少对构成所述矢量差分的一个分量的语法元素分别分配所述不同的上下文。
(8)此外,本发明的一个方式所涉及的图像解码装置的语法元素也可以是表示所述矢量差分的绝对值是否超过0的信息。
(9)此外,本发明的其他的方式所涉及的图像编码装置也可以包括:矢量差分编码部,导出算术符号的上下文,对矢量差分进行编码;矢量差分导出部,根据处理完毕的块的矢量和对象块的矢量,导出所述矢量差分;以及预测图像生成部,读出所述矢量差分导出部生成的对象块的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,所述矢量差分导出部基于所述对象块的矢量或者所述矢量差分是否为不同的层间的预测,分配上下文。
(10)此外,本发明的其他的方式所涉及的图像解码装置也可以包括:位移矢量生成部,基于表示第一层图像和不同于所述第一层图像的第二层图像之间的位移的符号,生成表示所述位移的位移矢量;位移矢量限制部,将所述位移矢量限制为预先确定的范围内的值;以及预测图像生成部,读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
(11)此外,也可以在本发明的其他的方式所涉及的图像解码装置的位移矢量限制部限制所述位移矢量的值的范围中,垂直分量的范围小于水平分量的范围。
(12)此外,也可以包括预测参数导出部,该预测参数导出部参照本发明的其他的方式所涉及的图像解码装置的位移矢量限制部限制的位移矢量表示的区域所涉及的预测参数,导出运动矢量或者位移矢量的预测值即预测矢量,作为预测参数的至少一部分。
(13)此外,本发明的其他的方式所涉及的图像编码装置也可以包括:位移矢量生成部,基于第一层图像和不同于所述第一层图像的第二层图像之间的位移的一部分,生成表示所述位移的一部分和所述位移的其他的一部分的位移矢量;以及预测图像生成部,读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
(14)此外,本发明的其他的方式所涉及的图像编码装置也可以包括:位移矢量生成部,基于表示第一层图像和不同于所述第一层图像的第二层图像之间的位移的符号,生成表示所述位移的位移矢量;位移矢量限制部,将所述位移矢量限制为预先确定的范围内的值;以及预测图像生成部,读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
(15)此外,本发明的其他的方式所涉及的图像解码装置也可以包括:位移矢量生成部,基于表示第一层图像和不同于所述第一层图像的第二层图像之间的位移的一部分的符号,生成表示所述位移的一部分和所述位移的其他的一部分的位移矢量;以及预测图像生成部,读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
(16)此外,也可以在本发明的其他的方式所涉及的图像解码装置中,所述位移的一部分是所述位移的水平分量,所述位移的其他的一部分是所述位移的垂直分量,所述位移矢量生成部将所述垂直分量、该垂直分量的预测值或者该垂直分量的预测残差确定为预先确定的值。
(17)此外,也可以在本发明的其他的方式所涉及的图像解码装置中,所述位移的一部分是所述位移的水平分量,所述位移的其他的一部分是所述位移的垂直分量,所述位移矢量生成部基于表示垂直分量和水平方向的关系的符号,计算所述位移的垂直分量。
发明效果
根据本发明,降低预测图像生成时以及预测图像生成时的存储器,且编码效率提高。
附图说明
图1是表示本发明的实施方式的图像传输***的结构的概略图。
图2是表示本实施方式的图像解码装置的结构的概略图。
图3是表示本实施方式的外部预测参数解码部的结构的概略图。
图4是表示本实施方式的外部预测参数提取部的结构的概略图。
图5表示示出本实施方式的变形例D1所涉及的AMVP预测参数导出部的结构的概略图。
图6是表示本实施方式的变形例D3所涉及的外部预测参数解码部的结构的概略图。
图7是表示本实施方式的变形例D3所涉及的位移矢量生成部的结构的概略图。
图8是表示本实施方式的变形例D4所涉及的外部预测参数解码部的结构的概略图。
图9是表示本实施方式的变形例D4所涉及的位移矢量限幅(clip)部的结构的概略图。
图10是表示本实施方式的变形例D4中的外部预测图象生成部读出参照图象块的结构的一例的概念图。
图11是表示本实施方式的变形例D5所涉及的扩展矢量候选导出部的结构的概略图。
图12是表示在本实施方式的变形例D5中读出预测参数的结构的一例的概念图。
图13是表示本实施方式的变形例D5所涉及的合并预测参数导出部的结构的概略图。
图14是表示本实施方式的图像编码装置的结构的框图。
图15是表示本实施方式的外部预测参数编码部的结构的概略图。
图16是表示示出本实施方式的变形例E3所涉及的外部预测参数编码部的结构的概略图。
图17是表示参照图象列表的一例的概念图。
图18是表示矢量候选的一例的概念图。
图19是表示参照图象的例的概念图。
图20是表示相邻块的一例的概念图。
图21是表示编码数据结构的一例的概念图。
图22是表示编码流结构的一例的概念图。
图23是说明限制位移矢量的必要性的图。
图24是表示本实施方式的熵解码部的结构的框图。
图25是表示本实施方式的变形例D6所涉及的熵解码部301f的结构的框图。
图26是表示导出表格信息的一例的图。
图27是表示导出表格信息的其他的例的图。
图28是表示导出表格信息的其他的例的图。
图29是表示导出表格信息的其他的例的图。
图30是表示导出表格信息的其他的例的图。
图31是表示导出表格信息的其他的例的图。
图32是表示本实施方式的变形例D7所涉及的熵解码部的结构的概略图。
图33是表示本实施方式的变形例D7所涉及的导出表格信息的一例的图。
图34是表示本实施方式的变形例E6所涉及的熵编码部的结构的框图。
图35是表示本实施方式的变形例E7所涉及的熵编码部的结构的框图。
图36是表示本实施方式的变形例D8所涉及的AMVP预测参数导出部和预测参数存储器的结构的框图。
图37是表示在坐标变换中使用的算式的例的图。
图38是表示本实施方式的变形例D8所涉及的合并预测参数导出部和预测参数存储器307的结构的框图。
图39是表示本实施方式的变形例D8所涉及的AMVP预测参数导出部和预测参数存储器的结构的图。
图40是表示在坐标变换中使用的算式的例的图。
图41是表示通过坐标变换而参照的区域的其他的例的概念图。
图42是表示通过坐标变换而参照的区域的其他的例的概念图。
图43是表示本实施方式的变形例E8所涉及的AMVP预测参数导出部的结构的框图。
图44是表示本实施方式的变形例E8所涉及的合并预测参数导出部的结构的框图。
具体实施方式
(第一实施方式)
以下,参照附图,说明本发明的实施方式。
图1是表示本实施方式的图像传输***1的结构的概略图。
图像传输***1是传输对多个层图像进行了编码的符号,并显示对被传输的符号进行了解码的图像的***。图像传输***1包括图像编码装置11、网络21、图像解码装置31以及图像显示装置41而构成。
在图像编码装置11中,被输入表示多个层图像(也称为纹理(texture)图像)的信号T。层图像是以某分辨率以及在某视点被视觉辨认或者拍摄到的图像。在使用多个层图像进行对三维图像进行编码的视角可分级编码的情况下,多个层图像的每一个被称为视点图像。这里,视点相当于摄影装置的位置或者观测点。例如,多个视点图像是朝向被摄体而左右的摄影装置的每一个拍摄到的图像。图像编码装置11对该信号的每一个进行编码而生成编码流Te。关于编码流Te的细节,在后面叙述。视点图像是在某视点中观测到的二维图像(平面图像)。
视点图像例如由在二维平面内配置的每个像素的亮度值或者色信号值表示。以下,将1个视点图像或者表示该视点图像的信号称为图象(picture)。此外,在使用多个层图像进行空间可分级编码的情况下,该多个层图像由分辨率低的基础层图像和分辨率高的扩展层图像构成。在使用多个层图像进行SNR可分级编码的情况下,该多个层图像由画质低的基础层图像和画质高的扩展层图像构成。另外,也可以将视角可分级编码、空间可分级编码、SNR可分级编码任意组合而进行。
网络21将图像编码装置11生成的编码流Te传输到图像解码装置31。网络21是互联网(internet)、宽带网(WAN:Wide Area Network)、局域网(LAN:Local Area Network)或者这些的组合。网络21并不一定限定于双向的通信网,也可以是地面波数字广播、卫星广播等的传输广播的一个方向或者双向的通信网。此外,网络21也可以由DVD(数字光盘(Digital Versatile Disc))、BD(蓝光光盘(Blue-ray Disc))等的记录了编码流Te的存储介质来代替。
图像解码装置31将网络21传输的编码流Te的每一个进行解码,并分别生成进行了解码的多个解码层图像Td(解码视点图像Td)。
图像显示装置41显示图像解码装置31生成的多个解码层图像Td的全部或者一部分。例如,在视角可分级编码中,在全部的情况下,显示三维图像(立体图像)或自由视点图像,在一部分的情况下,显示二维图像。图像显示装置41例如包括液晶显示器、有机EL(电致发光(Electro-luminescence))显示器等的显示设备。此外,在空间可分级编码、SNR可分级编码中,图像解码装置31、图像显示装置41具有高的处理能力的情况下,显示画质高的扩展层图像,在只具有较低的处理能力的情况下,显示不需要如扩展层那么高的处理能力、显示能力的基础层图像。
(图像解码装置的结构)
接着,说明本实施方式的图像解码装置31的结构。
图2是表示本实施方式的图像解码装置31的结构的概略图。
图像解码装置31包括熵解码部301、预测参数解码部302、参照图象存储器(参照图像存储部)306、预测参数存储器(预测参数存储部)307、预测图象生成部(预测图像生成部)308、逆量化/逆DCT部311以及加法部312而构成。
此外,预测参数解码部302包括外部预测参数解码部(位移矢量生成部)303以及内部预测参数解码部304而构成。预测图象生成部308包括外部预测图象生成部309以及内部预测图象生成部310而构成。
熵解码部301对从外部输入的编码流Te进行熵解码而生成符号串,并从生成的符号串分离为各个符号。在被分离的符号中,有用于生成预测图像的预测信息以及用于生成差分图像的残差信息等。在预测信息中,例如有合并标记(merge_flag)、外部预测标记、参照图象索引refIdx(refIdxLX)、预测矢量索引idx(mvp_LX_idx)、差分矢量mvd(mvdLX)、预测模式predMode、合并索引merge_idx,在残差信息中,有量化参数以及量化系数。
这些符号对每个图象块获得。图象块是1个图象进行了分割的多个部分中的1个部分、或者表示该部分的信号。在1个块中,包括多个像素,例如水平方向8个像素、垂直方向8个像素(共64个像素)。在以下的说明中,有时将图象块简称为块。此外,将成为解码处理的对象的块称为解码对象块,将参照图象所涉及的块称为参照块。另外,将成为编码处理的对象的块称为编码对象块。
另外,后述所示,作为生成预测图像的单位的图象块和作为导出量化系数的单位的图象块也可以是不同的尺寸。作为生成预测图像的单位的图象块被称为预测单元(PU:Prediction Unit)。作为导出量化系数的单位的图象块被称为变换单元(TU:Transform Unit)。
外部预测标记是表示在后述的外部预测中使用的参照图象的种类以及数目的数据,取Pred_L0、Pred_L1、Pred_Bi中的任一个值。Pred_L0、Pred_L1都表示使用1个参照图象(单预测)。Pred_L0、Pred_L1分别表示使用在被称为L0列表、L1列表的参照图象列表中存储的参照图象。Pred_Bi表示使用2个参照图象(双预测),表示在L0列表中存储的参照图象和在L1列表中存储的参照图象都被使用。另外,在单预测中,将以在L0列表中存储的参照图象、即解码(或者编码)对象图象作为基准而使用过去的参照图象的预测称为L0预测。将以在L1列表中存储的参照图象、即解码(或者编码)对象图象作为基准而使用未来的参照图象的预测称为L1预测。预测矢量索引mvp_LX_idx是表示预测矢量的索引,参照图象索引refIdx是表示在参照图象列表中存储的参照图象的索引。此外,将在L0预测中使用的参照图象索引表示为refIdxL0,将在L1预测中使用的参照图象索引表示为refIdxL1。即,refIdx(refIdxLX)是在不区分refIdxL0和refIdxL1时使用的表述。
关于差分矢量mvd(mvdLX),也同样地,通过代替LX而表述L0或者L1,区分在L0预测中使用的和在L1预测中使用的。
合并索引merge_idx是表示将在从解码处理完成的块中导出的运动补偿参数候选(合并候选)中的哪一个运动补偿参数用作解码对象块的运动补偿参数的索引。如后所述,合并索引merge_idx是表示在预测参数存储器307中参照预测参数时的参照块的索引。合并索引merge_idx是通过合并编码而获得的符号。运动补偿参数、即被参照的预测参数是例如参照图象索引refIdxLX、矢量mvLX。关于矢量mvLX,在后面叙述。
熵解码部301将被分离的符号的一部分输出到预测参数解码部302。被分离的符号的一部分是例如参照图象索引refIdx、矢量索引idx、差分矢量mvd、预测模式predMode以及合并索引merge_idx。熵解码部301将预测模式predMode输出到预测图象生成部308,且存储在预测参数存储器307中。熵解码部301将量化系数输出到逆量化/逆DCT部311。该量化系数是在编码处理中,对残差信号进行DCT(离散余弦变换(Discrete Cosine Transform))并量化而获得的系数。
外部预测参数解码部303基于从熵解码部301输入的符号,参照在预测参数存储器307中存储的预测参数,对外部预测参数进行解码。外部预测是指,在相互不同的图象间(例如,时刻间、层图像间)进行的预测处理。外部预测参数是将图象块在外部预测中使用的参数,例如矢量mvLX以及参照图象索引refIdxLX。
在矢量mvLX中,有运动矢量和位移矢量(disparity vector、视差矢量)。运动矢量是表示某层的某时刻的图象中的块的位置与不同的时刻(例如,相邻的离散时刻)的同一个层的图象中的对应的块的位置之间的位置的偏移的矢量。位移矢量是表示某层的某时刻的图象中的块的位置与同一个时刻的不同的层的图象中的对应的块的位置之间的位置的偏移的矢量。作为不同的层的图象,有不同的视点的图象的情况或者不同的分辨率的图象的情况等。尤其,将与不同的视点的图象对应的位移矢量称为视差矢量。在以下的说明中,在不区分运动矢量和位移矢量的情况下,简称为矢量mvLX。将与矢量mvLX有关的预测矢量、差分矢量分别称为预测矢量mvpLX、差分矢量mvdLX。预测矢量mvpLX是关于矢量mvLX进行预测处理而获得的矢量。
在以下的说明中,在不特别提及的情况下,举矢量mvLX为包括沿着水平方向(X方向)的分量值(X分量)和沿着垂直方向(Y方向)的分量值(Y分量)的二维矢量的情况为例。即,在矢量mvLX为位移矢量(视差矢量)的情况下,其X分量是表示位移(视差)的信息中的一部分,Y分量表示示出位移(视差)的信息中其他的一部分。另外,关于差分矢量mvdLX,也区分运动矢量和位移矢量。矢量mvLX以及差分矢量mvdLX的矢量的类别的判定,如后所述那样使用在矢量中附随的参照图象索引refIdxLX而进行。
在明示矢量mvLX为位移矢量的情况下,以下,将该矢量称为位移矢量dvLX。将与位移矢量dvLX有关的预测矢量、差分矢量分别称为预测矢量dvpLX、差分矢量dvdLX。此外,在矢量mvLX为运动矢量的情况下,有时也将该矢量称为运动矢量mvLX。有时将与运动矢量mvLX有关的预测矢量、差分矢量分别简称为预测矢量mvpLX、差分矢量mvdLX。
外部预测参数解码部303将进行了解码的外部预测参数输出到预测图象生成部308,且存储在预测参数存储器307中。关于外部预测参数解码部303的细节,在后面叙述。
内部预测参数解码部304基于从熵解码部301输入的符号、例如预测模式PredMode,参照在预测参数存储器307中存储的预测参数,对内部预测参数进行解码。内部预测参数是在1个图象内预测图象块的处理中使用的参数,例如内部预测模式IntraPredMode。内部预测参数解码部304将进行了解码的内部预测参数输出到预测图象生成部308,且存储在预测参数存储器307中。
参照图象存储器306将加法部312生成的参照图象的块(参照图象块)按解码对象的每个图象以及块存储在预先确定的位置。
预测参数存储器307将预测参数按解码对象的每个图象以及块存储在预先确定的位置。具体而言,预测参数存储器307存储外部预测参数解码部303进行了解码的外部预测参数、内部预测参数解码部304进行了解码的内部预测参数以及熵解码部301进行了分离的预测模式predMode。在被存储的外部预测参数中,例如有外部预测标记、参照图象索引refIdxLX、矢量mvLX。
在预测图象生成部308中,被输入从熵解码部301输入的预测模式predMode,且从预测参数解码部302输入预测参数。此外,预测图象生成部308从参照图象存储器306读出参照图象。预测图象生成部308通过预测模式predMode表示的预测模式,使用被输入的预测参数和读出的参照图象而生成预测图象块P。
这里,在预测模式predMode表示外部预测模式的情况下,外部预测图象生成部309使用从外部预测参数解码部303输入的外部预测参数和读出的参照图象进行外部预测。外部预测按每个PU进行。如上所述,PU相当于由成为进行预测处理的单位的多个像素构成的图象的一部分、即一次进行预测处理的解码对象块。在外部预测中,有合并预测(merge motion)模式和AMVP(自适应运动矢量预测(AdaptiveMotion Vector Prediction))模式。在合并预测模式中和AMVP模式中,都使用已经处理完毕的块的预测参数而导出预测参数。合并预测模式是不从编码数据解码差分矢量而将预测参数的矢量原样用作解码对象块的矢量的模式,AMVP模式是从编码数据解码差分矢量,并将与预测参数的矢量之和用作解码对象块的矢量的模式。由合并标记的值来识别预测模式是合并预测模式还是AMVP模式。关于这些预测模式,在后面叙述。
外部预测图象生成部309从参照图象存储器306读出从由参照图象索引refIdxLX表示的参照图象以解码对象块作为基准而位于矢量mvLX表示的位置的参照图象块。外部预测图象生成部309关于读出的参照图象块进行预测而生成预测图象块P。外部预测图象生成部309将生成的预测图象块P输出到加法部312。
在预测模式predMode表示内部预测模式的情况下,内部预测图象生成部310使用从内部预测参数解码部304输入的内部预测参数和读出的参照图象进行内部预测。具体而言,内部预测图象生成部310从参照图象存储器306读出解码对象的图象并且是在已经进行了解码的块中离解码对象块位于预先确定的范围的参照图象块。在解码对象块按照所谓的光栅扫描的顺序依次移动的情况下,预先确定的范围是例如左、左上、上、右上的相邻块中的任一个,根据内部预测模式而不同。光栅扫描的顺序是在各图象中,从上端到下端,关于各行,依次从左端移动至右端的顺序。
内部预测图象生成部310关于读出的参照图象块,通过由内部预测模式IntraPredMode表示的预测模式进行预测而生成预测图象块。内部预测图象生成部310将生成的预测图象块P输出到加法部312。
逆量化/逆DCT部311对从熵解码部301输入的量化系数进行逆量化而求出DCT系数。逆量化/逆DCT部311关于求出的DCT系数进行逆DCT(逆离散余弦变换(Inverse Discrete Cosine Transform)),计算解码残差信号。逆量化/逆DCT部311将计算出的解码残差信号输出到加法部312。
加法部312将从外部预测图象生成部309以及内部预测图象生成部310输入的预测图象块P和从逆量化/逆DCT部311输入的解码残差信号的信号值按每个像素相加,生成参照图象块。加法部312将生成的参照图象块存储在参照图象存储器306中,并将生成的参照图象块按每个图象进行了合并的解码层图像Td输出到外部。
(外部预测解码部的结构)
接着,说明外部预测参数解码部303的结构。
图3是表示本实施方式的外部预测参数解码部303的结构的概略图。
外部预测参数解码部303包括外部预测参数提取部3031、AMVP预测参数导出部3032、加法部3035以及合并预测参数导出部3036而构成。
外部预测参数提取部3031基于从熵解码部301输入的合并标记,在被输入的外部预测参数中提取各预测模式所涉及的预测参数。
这里,在合并标记表示的值为1、即表示合并预测模式的情况下,外部预测参数提取部3031作为合并预测所涉及的预测参数,例如提取合并索引merge_idx。外部预测参数提取部3031将提取出的合并索引merge_idx输出到合并预测参数导出部3036。
在合并标记表示的值为0、即表示AMVP预测模式的情况下,外部预测参数提取部3031提取AMVP预测参数。
作为AMVP预测参数,例如有外部预测标记、参照图象索引refIdxLX、矢量索引mvp_LX_idx、差分矢量mvdLX。外部预测参数提取部3031将提取出的参照图象索引refIdxLX输出到AMVP预测参数导出部3032以及预测图象生成部308(图2),且存储在预测参数存储器307(图2)中。外部预测参数提取部3031将提取出的矢量索引mvp_LX_idx输出到AMVP预测参数导出部3032。外部预测参数提取部3031将提取出的差分矢量mvdLX输出到加法部3035。关于外部预测参数提取部3031的结构,在后面叙述。
AMVP预测参数导出部3032包括矢量候选导出部3033和预测矢量选择部3034。
矢量候选导出部3033基于参照图象索引refIdx,读出预测参数存储器307(图2)存储的矢量(运动矢量或者位移矢量)作为矢量候选。
读出的矢量是离解码对象块位于预先确定的范围内的块(例如,与解码对象块的左下端、左上端、右上端分别相接的块的全部或者一部分)的每一个所涉及的矢量。
预测矢量选择部3034选择在矢量候选导出部3033读出的矢量候选中、从外部预测参数提取部3031输入的矢量索引mvp_LX_idx表示的矢量候选,作为预测矢量mvpLX。预测矢量选择部3034将选择的预测矢量mvpLX输出到加法部3035。
加法部3035将从预测矢量选择部3034输入的预测矢量mvpLX和从外部预测参数提取部输入的差分矢量mvdLX相加而计算矢量mvLX。加法部3035将计算出的矢量mvLX输出到预测图象生成部308(图2)。
合并预测参数导出部3036包括未图示的合并候选导出部和合并候选选择部。合并候选导出部根据预定的规则,读出预测参数存储器307存储的预测参数(矢量mvLX和参照图象索引refIdxLX),并导出所读出的预测参数作为合并候选。合并预测参数导出部3036具备的合并候选选择部在导出的合并候选中,选择从外部预测参数提取部3031输入的合并索引merge_idx表示的合并候选(矢量mvLX和参照图象索引refIdxLX)。将合并预测参数导出部3036选择的合并候选存储在预测参数存储器307(图2)中,且输出到预测图象生成部308(图2)。
(外部预测参数提取部的结构)
接着,说明外部预测参数提取部3031的结构。
图4是表示本实施方式的外部预测参数提取部3031的结构、尤其是与差分矢量mvdLX的解码有关的结构的概略图。
外部预测参数提取部3031包括参考层判定部30311以及矢量差分解码部30312而构成。参考层判定部30311被称为外部层预测判定部、外部视角预测判定部、位移矢量判定部。
参考层判定部30311基于从熵解码部301输入的参照图象索引refIdxLX,确定表示参照图象索引refIdxLX所指的参照图象和对象图象的关系的参考层信息reference_layer_info。当参照图象索引refIdxLX在矢量mvLX中附随的情况下,导出矢量mvLX的参考层信息,当参照图象索引refIdxLX在差分矢量mvdLX中附随的情况下,导出差分矢量的参考层信息。参考层信息reference_layer_info是表示是否为对象图象的层和参照图象的层为不同的层的情况下的预测的信息。另外,在对象图象的层为某视点图像、参照图象的层为不同于某视点图像的视点图像的情况下,外部层预测对应于视差矢量。因此,参考层信息reference_layer_info也是表示对于参照图象的矢量mvLX是位移矢量还是运动矢量的信息。
将对象图象的层和参照图象的层为相同的层的情况下的预测称为同一层预测,此时获得的矢量为运动矢量。将对象图象的层和参照图象的层为不同的层的情况下的预测称为外部层预测,此时获得的矢量为位移矢量。参考层信息reference_layer_info由例如在矢量mvLX为外部层预测的矢量(位移矢量、视差矢量)的情况下其值为1,在矢量mvLX为同一层预测的矢量(运动矢量)的情况下其值为0的变量表示。参考层判定部30311将生成的参考层信息reference_layer_info输出到矢量差分解码部30312。另外,参考层判定部30311也可以代替参照图象索引refIdxLX,后述的POC或者视角识别符(view_id)、表示是否为长时间参照图象的标记。
这里,关于参考层判定部30311的判定处理的例,说明第一判定方法至第四判定方法。参考层判定部30311也可以使用第一判定方法至第四判定方法中的任一个或者这些方法中的任意的组合。
<第一判定方法>
参考层判定部30311在参照图象索引refIdxLX表示的参照图象所涉及的时刻(图象序列号(POC:Picture Order Count))等于解码对象图象所涉及的时刻(POC)的情况下,判定为矢量mvLX是位移矢量。POC是表示显示图象的顺序的序号,并且是表示取得该图象的时刻的整数(离散时刻)。在没有判定为位移矢量的情况下,参考层判定部30311判定为矢量mvLX是运动矢量。
具体而言,在参照图象索引refIdxLX表示的参照图象的图象序列号POC(Picture Order Count)等于解码对象图象的POC的情况下,若矢量mvLX为位移矢量,则参考层判定部30311例如通过以下的式来判定。
POC==ReflayerPOC(refIdxLX,ListX)
这里,POC是解码对象图象的POC,RefPOC(X,Y)是由参照图象索引X、参照图象列表Y所指定的参照图象的POC。
另外,能够参照与解码对象图象的POC相等的POC的参照图象意味着,该参照图象的层不同于解码对象图象的层。因此,在解码对象图象的POC和参照图象的POC相等的情况下,判定为进行了外部层预测(位移矢量),在除此以外的情况下,判定为进行了同一层预测(运动矢量)。
<第二判定方法>
此外,参考层判定部30311也可以在参照图象索引refIdxLX表示的参照图象所涉及的视点和解码对象图象所涉及的视点不同的情况下,将矢量mvLX判定为是位移矢量(视差矢量,进行了外部层预测)。具体而言,在参照图象索引refIdxLX表示的参照图象的视角识别符view_id与解码对象图象的视角识别符view_id不同的情况下,若矢量mvLX为位移矢量,则参考层判定部30311例如通过以下的式来判定。
ViewID==ReflayerViewID(refIdxLX,ListX)
这里,ViewID是解码对象图象的视角ID,RefViewID(X,Y)是由参照图象索引X、参照图象列表Y所指定的参照图象的视角ID。
视角识别符view_id是识别各个视点图像的信息。位移矢量所涉及的差分矢量dvdLX基于在不同的视点的图象间获得,而不能从同一个视点的图象间获得的规则。另外,在没有判定为位移矢量的情况下,参考层判定部30311判定为矢量mvLX是运动矢量。
另外,由于各个视点图像是层的一种,所以在判定为视角识别符view_id不同的情况下,参考层判定部30311将矢量mvLX判定为位移矢量(进行了外部层预测),在除此以外的情况下,判定为运动矢量(进行了同一层预测)。
<第三判定方法>
此外,参考层判定部30311也可以在参照图象索引refIdxLX表示的参照图象所涉及的层识别符layer_id和解码对象图象所涉及的层识别符layer_id不同的情况下,若矢量mvLX为位移矢量,则例如通过以下的式来判定。
layerID!=ReflayerID(refIdxLX,ListX)
这里,layerID是解码对象图象的层ID,ReflayerID(X,Y)是由参照图象索引X、参照图象列表Y所指定的参照图象的层ID。
层识别符layer_id是在1个图象包括多个层次(层)的数据而构成的情况下,识别各个层的数据。在不同的视点的图象进行了编码的编码数据中,层识别符基于根据视点而具有不同的值的规则。即,位移矢量所涉及的差分矢量dvdLX是在对象图象和不同的层所涉及的图象之间获得的矢量。另外,在没有判定为位移矢量的情况下,参考层判定部30311判定为矢量mvLX是运动矢量。
另外,在层识别符layer_id不同的情况下,参考层判定部30311将矢量mvLX判定为位移矢量(进行了外部层预测),在除此以外的情况下,判定为运动矢量(进行了同一层预测)。
<第四判定方法>
此外,也可以在参照图象索引refIdxLX表示的参照图象为长时间参照图象的情况下,若矢量mvLX为位移矢量,则参考层判定部30311例如通过以下的式来判定。
LongTermPic(RefIdxLX,ListX)
这里,LongTermPic(X,Y)是在由参照图象索引X、参照图象列表Y所指定的参照图象为长时间参照图象的情况下成为真的函数。
另外,在没有判定为位移矢量的情况下,参考层判定部30311判定为矢量mvLX是运动矢量。长时间参照图象是,与短时间图象不同地,作为参照图象列表而管理的图象。长时间参照图象主要是在比短时间图象长的时间保持在参照图象存储器306中的参照图象,后述的基础视角图象被用作长时间参照图象。这是因为此时对象图象为与参照图象相同的时刻的非基础视角(后述)。此外,位移矢量所涉及的参照图象作为长时间参照图象而被处理。即,位移矢量所涉及的差分矢量dvdLX是在对象图象和长时间参照图象之间获得的矢量。
另外,即使是在参照图象为长时间参照图象的情况下,也有参照图象为与解码对象图象相同的层的情况。因此,参考层判定部30311在参照图象为长时间参照图象的情况下,将矢量mvLX判定为位移矢量(进行了外部层预测),在除此以外的情况下,判定为运动矢量(进行了同一层预测)。这是因为在这个方法中,虽然不能严格地判定是外部层预测还是同一层预测,但在用于提高编码效率的工具控制的目的上判定的严格性变得不重要。
矢量差分解码部30312从参考层判定部30311被输入参考层信息reference_layer_info,并且,使用熵解码部301对用于导出差分矢量mvdLX的语法元素进行解码,输出差分矢量mvdLX。语法元素是编码参数的结构元素。这里,用于导出差分矢量mvdLX的语法元素是abs_mvd_greater0_flag[XY]、abs_mvd_greater1_flag[XY]、abs_mvd_minus2_flag[XY]。这里,XY是作为其值而取0或者1的变量,是在XY=0的情况下表示X分量(水平方向分量)、在XY=1的情况下表示Y分量(垂直方向分量)的信息。
在参考层信息reference_layer_info为1、即矢量mvLX为位移矢量(进行了外部层预测)的情况下,矢量差分解码部30312从编码流Te解码对于水平方向(X方向)的分量值(X分量)dvd_x,并将对于垂直方向(Y方向)的分量值(Y分量)dvd_y确定为预先确定的值、例如零。矢量差分解码部30312通过合并X分量dvd_x和Y分量dvd_y而构成差分矢量dvdLX,从而解码差分矢量dvdLX。
相对于此,在矢量mvLX为运动矢量的情况下,矢量差分解码部30312从编码流Te解码X分量mvd_x和Y分量mvd_y,并作为差分矢量mvdLX而输出。
矢量差分解码部30312将进行了解码的差分矢量mvdLX(或者dvdLX)输出到加法部3035。
由此,在上述的例中,即使位移矢量所涉及的差分矢量dvdLX的Y分量dvd_y不作为编码流Te的符号而进行编码,作为该Y分量的值,也使用在图像解码装置31侧预先确定的值。另一方面,在位移矢量中X分量为主,Y分量为能够忽略的值、例如零的情况下,在上述的例中,也不会产生位移预测中的精度的劣化。因此,在上述的例中,起到进行了解码的图像的质量不会劣化而提高编码效率的效果。
这里,说明外部预测参数提取部3031设为执行对象的编码数据结构(语法表格)的例。
图21是表示编码数据结构的一例的图。
图21(a)~(c)表示句法603,该句法603表示在从熵解码部301输入的符号中提取视点配置标记(相机配置1D标记)camera_arrangement_1D_flag。视点配置标记camera_arrangement_1D_flag是表示视点是否被一维地配置的符号。例如,在视点配置标记camera_arrangement_1D_flag的值为1的情况下,表示视点被一维地配置。在视点配置标记camera_arrangement_1D_flag的值为0的情况下,表示视点没有被一维地配置。因此,矢量差分解码部30312从句法603提取视点配置标记camera_arrangement_1D_flag。
图21(a)是摄像机参数集video_parameter_set_rbsp()中的例,(b)是图象参数集pic_parameter_set_rbsp中的例,(c)是图片标题slice_header()中的例。在本例中,在视角识别符view_id为0以外的情况下(基础视角以外的情况下),视点配置标记camera_arrangement_1D_flag被提取,但也可以不参照视角识别符view_id而被提取。
图22是表示编码流结构的一例的图。
在图22中,在视点配置标记camera_arrangement_1D_flag的值为1且参考层信息reference_layer_info的值等于INTER_VIEW的值(即,1)的情况下,句法604表示句法mvd_coding1D包含在编码流中。此外,在除此以外的情况下,句法604表示句法mvd_coding包含在编码流中。
即,在通过句法604而表示视点被一维地配置(camera_arrangement_1D_flag=1)的情况下,表示矢量差分解码部30312根据矢量mvLX是位移矢量还是运动矢量,分别使提取不同的符号的句法执行。
句法mvd_coding1D以及句法mvd_coding在图22中作为句法605、句法606而分别表示。语法元素abs_mvd_greater0_flag[XY]、abs_mvd_greater1_flag[XY]、abs_mvd_minus2_flag[XY]、abs_mvd_sign_flag[XY]的含义的概要如已经说明那样。若比较句法605以及句法606,在表示视点被一维地配置的标记为1(肯定)的情况下,只有各语法元素的后缀XY为0(否定)的情况、即差分矢量的X分量包含在编码流Te中。即,矢量差分解码部30312只提取(解码)差分矢量的X分量。在除此以外的情况下,在表示视点被一维地配置的标记为0的情况下,解码各语法元素的后缀XY为0的情况和1的情况的双方。即,矢量差分解码部30312提取(解码)X分量和Y分量的两者。另外,若说明句法mvd_coding1D的细节,则如下所述。
句法mvd_coding1D是表示提取表示位移矢量所涉及的差分矢量的X分量mvdLX[0]的3种符号、abs_mvd_greater0_flag[0]、abs_mvd_minus2[0]、mvd_sign_flag[0]的句法。abs_mvd_greater0_flag[0]是表示X分量mvdLX[0]的绝对值是否大于0的符号。在X分量mvdLX[0]的绝对值大于0的情况下,abs_mvd_greater0_flag[0]的值为1。在X分量mvdLX[0]的绝对值为0的情况下,abs_mvd_greater0_flag[0]的值为0。
abs_mvd_minus2[0]是表示在X分量mvdLX[0]的绝对值大于1的情况下,从其绝对值少2的值的符号。mvd_sign_flag[0]是表示X分量mvdLX[0]的正负的符号。在X分量mvdLX[0]取正的值的情况下,mvd_sign_flag[0]的值为1。在X分量mvdLX[0]取负的值的情况下,mvd_sign_flag[1]的值为0。
因此,矢量差分解码部30312执行句法605,提取这些3种符号、abs_mvd_greater0_flag[0]、abs_mvd_minus2[0]、mvd_sign_flag[0]。之后,矢量差分解码部30312使用以下的算式,计算差分矢量的X分量mvdLX[0]。
if(!abs_greater0_flag[0])abs_mvd_minus2[0]=-2
if(!abs_greater1_flag[0])abs_mvd_minus2[0]=-1
mvdLX[0]=(abs_mvd_minus2[0]+2)*(1-2*mvd_sign_flag[0])
即,开头的2个式表示在abs_greater0_flag[0]为0的情况下,将abs_mvd_minus2[XY]确定为-2,在abs_greater1_flag[0]为0的情况下,将abs_mvd_minus2[0]确定为-1。之后的式表示对在abs_mvd_minus2[0]加2所得的值根据mvd_sign_flag[0]而确定正负的其中一个而确定了差分矢量的X分量的值mvdLX[0]。此外,矢量差分解码部30312将差分矢量的Y分量mvdLX[1]确定为0。
另外,编码流结构也可以不是根据通过句法604而视点被一维地配置(camera_arrangement_1D_flag=1)来切换句法mvd_coding1D和句法mvd_coding的结构,而是只使用句法mvd_coding的结构。在这个情况下,如以下的式所示,差分矢量的Y分量(abs_mvd_greater0_flag[1])只有在camera_arrangement_1D_flag==1且reference_layer_info(ref_idx_lX[x0][y0])==INTER_VIEW的情况下包含在编码流中。
if(camera_arrangement_1D_flag==1&&!reference_layer_info(ref_idx_lX[x0][y0])==INTER_VIEW)
abs_mvd_greater0_flag[1]
在上述的编码流结构的情况下,编码数据矢量差分解码部30312只有在camera_arrangement_1D_flag==1且reference_layer_info(ref_idx_lX[x0][y0])==INTER_VIEW的情况下解码差分矢量的Y分量(abs_mvd_greater0_flag[1])。
此外,编码数据矢量差分解码部30312在不进行差分矢量的Y分量的绝对值是否超过0的标记(abs_mvd_greater0_flag[1])的解码的情况下,对上述标记设定0(abs_mvd_greater0_flag[1]=0)。
(参照图象列表的一例)
接着,说明参照图象列表的一例。参照图象列表是由在参照图象存储器306(图2)中存储的参照图象构成的列。
图17是表示参照图象列表的一例的概念图。
在参照图象列表601中,左右排列成一列的5个长方形分别表示参照图象。从左端到右依次表示的符号P1、P2、Q0、P3、P4是表示各个参照图象的符号。P1等的P表示视点P,且Q0的Q表示不同于视点P的视点Q。P以及Q的后缀表示图象序列号POC。refIdxLX的正下方的向下的箭头表示参照图象索引refIdxLX是在参照图象存储器306中参照参照图象Q0的索引。
(矢量候选的一例)
接着,说明上述的矢量候选的一例。
图18是表示矢量候选的一例的概念图。
图18所示的预测矢量列表602是由在矢量候选导出部3033中导出的多个矢量候选构成的列表。
在预测矢量列表602中,左右排列成一列的5个长方形分别表示示出预测矢量的区域。从左端起第2个mvp_LX_idx的正下方的向下的箭头和其下方的pmv表示矢量索引mvp_LX_idx是在预测参数存储器307中参照矢量pmv的索引。
(候选矢量的取得)
接着,说明取得候选矢量的方法的一例。候选矢量参照完成了解码处理的块并且是离解码对象块预先确定的范围的块(例如,相邻块),基于参照的块所涉及的矢量而生成。
图20是表示相邻块的一例的概念图。
在图20中由四边形表示的PU是解码对象块。在PU的左侧相邻的2个四边形NBa0、NBa1、在PU的上侧相接的3个四边形NBb2、NBb1、NBb0分别表示相邻块。
矢量候选导出部3033(图3)从在PU的左侧相邻的2个块NBa0、NBa1的每一个起依次从预测参数存储器307读出矢量,并基于读出的矢量而导出1个候选矢量。矢量候选导出部3033从在PU的上侧相邻的3个块NBb2、NBb1、NBb0的每一个起依次从预测参数存储器307读出矢量,并基于读出的矢量而导出1个候选矢量。
在导出候选矢量时,矢量候选导出部3033按照(1)、(2)的顺序优先进行以下说明的处理。
(1)在相邻块的参照图象与由解码对象块的参照图象索引refIdx和预测方向LX表示的参照图象相同的情况下,读出该相邻块所涉及的矢量。由此,在参照图象索引refIdx和预测方向LX表示的矢量为位移矢量的情况下,判断为在相邻块中参照的矢量为位移矢量。
但是,在相邻块中参照的预测参数中,有LX表示的预测方向所涉及的预测参数和不同于LX表示的预测方向的预测方向(LY)所涉及的预测参数。这里,按照LX表示的预测方向所涉及的矢量、LY表示的预测方向所涉及的矢量的顺序参照。
在读出了LX表示的预测方向所涉及的矢量的情况下,判定参照对象的参照图象索引refIdx和解码对象图象的参照图象索引是否相等。由此,能够判定解码对象的图象是否与读出了矢量的图象相同。
在读出了LY表示的预测方向所涉及的矢量的情况下,判定读出了矢量的图象的图象序列号POC和解码对象图象的POC是否相等。由此,能够判定解码对象的图象是否与读出了矢量的图象相同。这是因为,即使参照图象索引相同,根据预测方向而所参照的图象不同。
在通过(2)(1)而判定为不能从与解码对象的图象相同的图象读出矢量的情况下,进行以下的处理。
当在相邻块中参照的参照图象与解码对象块的参照图象索引refIdxLX表示的参照图象都是长时间参照图象的情况下,按照LX表示的预测方向所涉及的矢量、LY表示的预测方向所涉及的矢量的顺序,参照矢量。基础视角所涉及的参照图象作为长时间参照图象而存储在参照图象存储器306中。即,在参照图象索引refIdxLX表示的参照图象为长时间参照图象的情况下,该参照图象的块所涉及的矢量为位移矢量。因此,参照相邻块的位移矢量。
当在相邻块中参照的参照图象与解码对象块的参照图象索引refIdxLX表示的参照图象都是短时间参照图象的情况下,关于从相邻块读出的矢量,进行缩放处理。通过缩放处理,读出的矢量的值取预先确定的范围内的值。另外,短时间参照图象是长时间参照图象以外的参照图象,并且是在参照图象存储器306中只存储预先确定的时间,若经过该时间则被删除的参照图象。
除了(1)、(2)之外,在被输入表示被摄体的进深方向的距离的进深信息(测深图)的情况下,矢量候选导出部3033也可以提取解码对象块中的进深信息,并计算表示与提取出的进深信息对应的大小的位移的位移矢量作为候选矢量。
(参照图象的例)
接着,说明在导出矢量时使用的参照图象的例。
图19是表示参照图象的例的概念图。
在图19中,横轴表示时刻,纵轴表示视点。
在图19中示出的、纵2行、横3列(共6个)长方形分别表示图象。在6个长方形中,从下行的左起第2列的长方形表示解码对象的图象(对象图象),剩余的5个长方形分别表示参照图象。由从对象图象向上的箭头表示的参照图象Q0是与对象图象相同时刻且视点不同的图象。在以对象图象作为基准的位移预测中,使用参照图象Q0。由从对象图象向左的箭头表示的参照图象P1是与对象图象相同的视点并且是过去的图象。由从对象图象向右的箭头表示的参照图象P2是与对象图象相同的视点并且是未来的图象。在以对象图象作为基准的运动预测中,使用参照图象P1或者P2。
(变形例D1)
接着,说明本实施方式的变形例D1。对于相同的结构,赋予相同的标记,并援用上述的说明。
本变形例的图像解码装置31a在图像解码装置31的外部预测参数解码部303(图3)中,代替AMVP预测参数导出部3032而包括AMVP预测参数导出部3032a。本变形例D1的图像解码装置31a在其他的结构中,与图像解码装置31(图2)的结构相同。
图5表示示出本变形例的AMVP预测参数导出部3032a的结构的概略图。
AMVP预测参数导出部3032a除了矢量候选导出部3033、预测矢量选择部3034之外,还包括位移预测矢量限幅部30321a。
矢量候选导出部3033包括扩展矢量候选导出部30335以及矢量候选存储部30339、未图示的基本矢量候选导出部(后述)而构成。
扩展矢量候选导出部30335包括位移矢量取得部30336以及外部层矢量候选导出部30337(外部视角矢量候选导出部)而构成。
在位移矢量取得部30336中,从外部预测参数提取部3031(图3)被输入参照图象索引refIdx以及参考层信息reference_layer_info。在参考层信息reference_layer_info表示矢量mvLX为位移矢量的情况下,位移矢量取得部30336从预测参数存储器307读出参照图象索引refIdx表示的参照图象所涉及的位移矢量dvLX。读出的位移矢量是离解码对象块位于预先确定的范围的块的每一个的位移矢量dvLX。位移矢量取得部30336将读出的位移矢量dvLX输出到外部层矢量候选导出部30337。
在外部层矢量候选导出部30337中,从外部预测参数提取部3031(图4)被输入参照图象索引refIdxLX,从位移矢量取得部30336被输入各块的位移矢量dvLX。
外部层矢量候选导出部30337确定参照图象索引refIdx所涉及的参照图象(层图像)。在参照图象为不同于对象图象的层图像的情况下,外部层矢量候选导出部30337输出位移矢量取得部30336导出的位移矢量。参照图象为不同于对象图象的层图像,例如有参照图象为非基准视点(也称为非基础视角(non-base view))、对象图象为基准视点(也称为基础视角(base view))的情况。
在参照图象为与对象图象相同的层图像的情况下,外部层矢量候选导出部30337确定不同于对象图象的参数参照层图像(这里,基准视点的层图像),从位移矢量取得部30336导出对于该确定的图象的位移矢量,从预测参数存储器307读出位于与该位移矢量对应的位置的、参数参照层图像(基准视点的层图像)的矢量。
更具体而言,在参照图象为与对象图象相同的层图像的情况下,外部层矢量候选导出部30337关于确定的图象(层图像),以解码对象块为起点,使用以下的式来确定位于从该起点偏移了从位移矢量取得部30336输入的位移矢量dvLX的位置的块的位置。
xRef=xP+((nPSW-1)>>1)+((dvLX[0]+2)>>2)
yRef=yP+((nPSH-1)>>1)+((dvLX[1]+2)>>2)
将该确定的块称为对应块。这里,xRef、yRef是对应块的坐标,xP、yP是各个解码对象块的左上坐标的坐标,nPSW、nPSH是各个解码对象块的宽度和高度,dvLX[0]、dvLX[1]是从位移矢量取得部30336输入的位移矢量的X分量和Y分量。…>>~表示将…向右移位了~比特。即,是表示将…的比特值向低位的位移位~比特的运算的比特移位运算符。外部层矢量候选导出部30337从预测参数存储器307读出对应块所涉及的矢量mvLX。
外部层矢量候选导出部30337将读出的矢量mvLX作为矢量候选而存储在矢量候选存储部30339中。
在位移预测矢量限幅部30321a中,从预测矢量选择部3034被输入预测矢量mvpLX和参照图象索引refIdx。预测矢量mvpLX是将对于X方向的分量值mvp_x和对于Y方向的分量值mvp_y作为元素而包含的二维的矢量。
这里,在预测矢量mvpLX为基于位移矢量的预测矢量dvpLX的情况下,即在以参照图象索引refIdx作为输入,参考层判定部30311判定为进行了外部层预测的情况下,位移预测矢量限幅部30321a将Y分量dvp_y限制为预先确定的范围内的值。预先确定的范围内的值是例如1个值(零等)。在Y分量dvp_y小于预先确定的下限值(-64个像素等)的情况下,为其下限值。在Y分量dvp_y大于预先确定的上限值(64个像素等)的情况下,为其上限值。
位移预测矢量限幅部30321a由对于X方向的分量值dvp_x和限制了值的对于Y方向的分量值dvp_y重构位移矢量dvpLX,并将重构的位移矢量dvpLX输出到加法部3035(图3)。
在预测矢量mvpLX为运动预测矢量的情况下,即在以参照图象索引refIdx作为输入,参考层判定部30311没有判定为进行了外部层预测的情况下,位移预测矢量限幅部30321a将被输入的运动预测矢量mvpLX输出到加法部3035。
另外,位移预测矢量限幅部30321a也可以输入从参考层判定部30311被输入的参考层信息reference_layer_info。位移预测矢量限幅部30321a在被输入的参考层信息reference_layer_info表示矢量mvLX为位移矢量的情况下,判定为预测矢量mvpLX是位移预测矢量。
另外,关于在矢量候选导出部3033中导出预测矢量的候选(候选矢量)的处理,在后面叙述。
以上的图像解码装置31a包括导出解码对象块的预测矢量的AMVP预测参数导出部3032a,包括判定对象块的矢量或者矢量差分是否为作为不同的层间的预测的外部层预测的参考层判定部30311,在参考层判定部30311判定为进行了外部层预测的情况下,将所述解码对象块的预测矢量的至少一个分量限制为预先确定的值。
一般,尽管存在位移矢量的dvLX的Y分量dv_y是预先确定的值、例如集中于零的周边而分布的倾向,有时在编码中取脱离该范围的值。在这个情况下,位移预测中的精度劣化。
相对于此,在本变形例D1中,由于位移矢量所涉及的预测矢量的Y分量dvp_y限制为预先确定的范围的值,所以能够抑制位移预测中的精度的劣化,因此,编码效率提高。
(变形例D2)
接着,说明本实施方式的其他的变形例D2。对于相同的结构,赋予相同的标记,并援用上述的说明。
变形例D2所涉及的图像解码装置31b的结构的概要与变形例D1的图像解码装置31a结构相同。即,图像解码装置31b与变形例D1的图像解码装置31a相同地,包括位移预测矢量限幅部30321a(参照图5)。主要,以下说明两者的不同点。
在矢量mvLX为位移矢量的情况下,在图像解码装置31b中,在输入到熵解码部301(参照图2)的编码流Te中包括位移矢量限制信息disparity_restriction。
位移矢量限制信息disparity_restriction是表示是否将预测矢量的Y分量dvp_y限制为预先确定的范围的值以及是否将差分矢量的Y分量dvd_y限制为预先确定的值的信息。例如,位移矢量限制信息disparity_restriction的值为零表示预测矢量的Y分量dvp_y、差分矢量的Y分量dvd_y都不限制值。位移矢量限制信息disparity_restriction的值为1表示将预测矢量的Y分量dvp_y限制为预先确定的范围的值,不限制差分矢量的Y分量dvd_y的值。位移矢量限制信息disparity_restriction的值为2表示不限制预测矢量的Y分量dvp_y,将差分矢量的Y分量dvd_y的值限制为预先确定的范围的值。位移矢量限制信息disparity_restriction的值为3表示将预测矢量的Y分量dvp_y的值限制为预先确定的范围的值且将差分矢量的Y分量dvd_y的值限制为预先确定的范围的值。
尤其,关于差分矢量的Y分量的限制,在将所述的预先确定的范围的值设为零的情况下,位移矢量限制信息disparity_restriction的值为零或者1的情况下,差分矢量dvdLX是将X分量dvd_x和Y分量dvd_y作为元素而包含的二维的矢量。在位移矢量限制信息disparity_restriction的值为2或者3的情况下,差分矢量dvdLX是将X分量dvd_x作为元素而包含,不将Y分量dvd_y作为元素而包含的标量值。
图像解码装置31b所涉及的熵解码部301从编码流Te分离位移矢量限制信息disparity_restriction,并将进行了分离的位移矢量限制信息disparity_restriction输出到外部预测参数提取部3031(参照图3、4)。此外,外部预测参数提取部3031将位移矢量限制信息disparity_restriction输出到位移预测矢量限幅部30321a(图5)。
在外部预测参数提取部3031(图3)的矢量差分解码部30312(图4)中,被输入从熵解码部301输入的位移矢量限制信息disparity_restriction。
在位移矢量限制信息disparity_restriction的值为零或者1的情况下,将从熵解码部301输入的差分矢量mvdLX输出到加法部3035。
在位移矢量限制信息disparity_restriction的值为2或者3的情况下,矢量差分解码部30312将Y分量dvd_y限制为预先确定的范围的值。矢量差分解码部30312合并被输入的差分矢量dvdLX的X分量dvd_x和将值限制为预先确定的范围的值的Y分量dvd_y,重构差分矢量dvdLX。矢量差分解码部30312将重构的差分矢量dvdLX输出到加法部3035(图3)。
在位移预测矢量限幅部30321a(图5)中,从外部预测参数提取部3031被输入位移矢量限制信息disparity_restriction。在位移矢量限制信息disparity_restriction的值为零或者2的情况下,位移预测矢量限幅部30321a将从预测矢量选择部3034输入的预测矢量dvpLX输出到加法部3035。在位移矢量限制信息disparity_restriction的值为1或者3的情况下,位移预测矢量限幅部30321a将Y分量dvp_y限制为预先确定的范围的值。位移预测矢量限幅部30321a由X分量dvp_x和将值限制为预先确定的范围的值的Y分量dvp_y重构预测矢量dvpLX,并将重构的预测矢量dvpLX输出到加法部3035。
另外,在本变形例D2中,也可以在外部预测参数提取部3031中省略参考层判定部30311(参照图4)。
此外,在编码流Te中,位移矢量限制信息disparity_restriction也可以包含在每个层图像(视差图像)中,也可以包含在每个序列中。将对于在某流中包含的全部层(视点)的序列的编码参数称为视角参数集(VPS:View Parameter Set)。将每个序列的编码参数的集称为序列参数集(SPS:Sequence Parameter Set)。序列是在解码处理中,从一次进行的复位(再设定)起到下一个复位为止的期间的多个图象的组。
以上的图像解码装置31b包括判定对象块的矢量或者矢量差分是否为作为不同的层间的预测的外部层预测的参考层判定部30311,在比所述对象块上位的参数中,解码位移矢量限制信息disparity_restriction,在参考层判定部30311判定为外部层预测的情况下,并且,在位移矢量限制信息disparity_restriction为预定的值的情况下,不从编码数据解码所述对象块的矢量的至少一个分量,并作为预定的值(例如,0)而导出。此外,在参考层判定部30311判定为外部层预测的情况下,不从编码数据解码所述对象块的差分矢量的至少一个分量,并作为预定的值(例如,0)而导出。
由此,在本变形例D2中,能够根据取得了图像的视点(相机)等的配置或拍摄到的图像的情景(场景),切换是否利用Y方向的位移。例如,关于主要出现垂直方向的边缘的图像(例如,沿着垂直方向延伸的铁格子的图像),有时无法察觉到Y方向的位移(视差)。因此,关于配置在脱离了沿着水平方向延伸的直线的位置的多个相机拍摄到的图像,能够根据是否为主要出现垂直方向的边缘的场景,切换是否不利用Y方向的位移。因此,作为场景整体,能够兼顾画质的劣化的抑制和编码流Te的信息量的降低。
(变形例D3)
接着,说明本实施方式的其他的变形例D3。
本变形例D3所涉及的图像解码装置31c代替图像解码装置31(图1、图2)的外部预测参数解码部303(图3)而包括外部预测参数解码部303c。本变形例D3所涉及的图像解码装置31c的结构的概要除了外部预测参数解码部303c之外与图像解码装置31的结构相同。因此,对于相同的结构,赋予相同的标记,并援用上述的说明。
在参考层信息reference_layer_info为1、即矢量mvLX为位移矢量(进行了外部层预测)的情况下,矢量差分解码部30312从编码流Te解码对于水平方向(X方向)的分量值(X分量)dvd_x,将对于垂直方向(Y方向)的分量值(Y分量)dvd_y确定为预先确定的值、例如零。矢量差分解码部30312合并X分量dvd_x和Y分量dvd_y而构成差分矢量dvdLX,从而解码差分矢量dvdLX。
相对于此,在矢量mvLX为运动矢量的情况下,矢量差分解码部30312从编码流Te解码X分量mvd_x和Y分量mvd_y,并作为差分矢量mvdLX而输出。矢量差分解码部30312将进行了解码的差分矢量mvdLX(或者dvdLX)输出到加法部3035。
本变形例D3的外部预测参数解码部303在差分矢量mvdLX为位移矢量所涉及的差分矢量的情况下,从编码流Te解码X分量dvd_x,并通过预先确定的预定的规则而导出Y分量dvd_y。
相对于此,在矢量mvLX为运动矢量的情况下,矢量差分解码部30312从编码流Te解码X分量mvd_x和Y分量mvd_y,并作为差分矢量mvdLX而输出。矢量差分解码部30312将进行了解码的差分矢量mvdLX(或者dvdLX)输出到加法部3035。
另外,即使是在差分矢量mvdLX为位移矢量所涉及的差分矢量的情况下,差分矢量mvdLX也可以是例如Y分量mvd_y的值始终为零的二维矢量。
此外,在输入到熵解码部301(参照图2)的编码流Te中,包括表示位移矢量的X分量dvd_x和Y分量dvdLX_y的关系的系数。在这样的系数中,有斜率系数inter_view_grad和切片系数inter_view_offset。斜率系数inter_view_grad是表示相对于X分量dvd_x的变化的Y分量dvd_y的变化量的系数。切片系数inter_view_offset是表示在X分量dvd_x为零的情况下的Y分量dvdLX_y的值的系数。
图6是表示本变形例的外部预测参数解码部303c的结构的概略图。外部预测参数解码部303c在图像解码装置31(图2)的外部预测参数解码部303(图3)中进一步包括位移矢量生成部3038。本变形例D3的外部预测参数解码部303c的结构的概要除了位移矢量生成部3038之外与外部预测参数解码部303(图3)的结构相同。因此,对于相同的结构,赋予相同的标记,并援用上述的说明。
这里,外部预测参数提取部3031从符号流Te分离斜率系数inter_view_grad和切片系数inter_view_offset。外部预测参数提取部3031将进行了分离的斜率系数inter_view_grad和切片系数inter_view_offset输出到位移矢量生成部3038。另外,即使是在符号流Te不包括斜率系数inter_view_grad而包括切片系数inter_view_offset的情况下,也能够应用外部预测参数提取部3031。在这个情况下,外部预测参数提取部3031从符号流Te分离切片系数inter_view_offset,并输出到位移矢量生成部3038。
加法部3035对位移矢量生成部3038输出的位移矢量dvLX是将其X分量dv_x作为元素而包含且不包含Y分量dv_y的标量值。位移矢量dvLX也可以是Y分量dv_y的值为零的固定值(或者不定值)的矢量。
接着,说明位移矢量生成部3038的结构。
图7是表示本变形例的位移矢量生成部3038的结构的概略图。
位移矢量生成部3038包括参考层判定部30381和位移矢量设定部30382而构成。
与参考层判定部30311(参照图4)相同地,参考层判定部30381基于从外部预测参数提取部3031输入的参照图象索引refIdxLX,判定矢量mvLX是外部层预测(位移矢量)还是运动矢量。在参考层判定部30381中,矢量mvLX生成参考层信息reference_layer_info。参考层判定部30381将生成的参考层信息reference_layer_info输出到位移矢量设定部30382。
在位移矢量设定部30382中,从加法部3035被输入矢量mvLX,从外部预测参数提取部3031被输入斜率系数inter_view_grad和切片系数inter_view_offset。
在参考层信息reference_layer_info表示矢量mvLX为外部层预测(位移矢量)的情况下,位移矢量设定部30382基于其X分量dv_x、斜率系数inter_view_grad以及切片系数inter_view_offset,计算其Y分量dv_y。这里,位移矢量设定部30382使用dv_y=inter_view_grad·dv_x+inter_view_offset这样的算式。在符号流Te不包括斜率系数inter_view_grad而包括切片系数inter_view_offset的情况下,位移矢量设定部30382使用dv_y=inter_view_offset这样的算式。另外,位移矢量设定部30382也可以进行通过X分量dv_x的绝对值与斜率系数inter_view_grad之积和切片系数inter_view_offset之和来导出Y分量dv_y的中间值,进一步,变更Y分量dv_y的中间值的符号,使得与X分量dv_x的符号相符的处理。
位移矢量设定部30382合并被输入的X分量dv_x和计算出的Y分量dv_y而构成二维的位移矢量dvLX,并将构成的位移矢量dvLX存储在预测参数存储器307中,并输出到预测图象生成部308。另外,inter_view_grad以及inter_view_offset都是整数。
在预定的量化步骤GRAD中对Y分量dv_y进行量化的情况下,位移矢量设定部30382也可以使用以下的式来计算Y分量dv_y。
dv_y=inter_view_grad/dv_x/GRAD+inter_view_offset
此外,在量化步骤GRAD的值为2的GSHIFT次方(GRAD=1<<GSHIFT)的情况下,位移矢量设定部30382也可以使用以下的式。
dv_y=floor{(inter_view_grad+ROUND+dv_x>>GSHIFT)+inter_view_offset}
这里,GSHIFT值是大于1的预定的移位值(整数)。1<<GSHIFT表示作为2的GSHIFT次方的整数。floor{…}表示提供实数…的整数部分的向下取整函数。…>>~是表示将…的比特值向低位的位移位~比特的运算的比特移位运算符。即,…>>GSHIFT表示将…除以2的GSHIFT次方。ROUND是为了实现归拢除法而使用的常数。ROUND的值为1<<(GSHIFT-1),即作为除数的2的GSHIFT次方的一半的值。
在参考层信息reference_layer_info表示矢量mvLX为运动矢量的情况下,位移矢量设定部30382将从加法部3035输入的运动矢量mvLX原样存储在预测参数存储器307中,且输出到预测图象生成部308。
另外,在编码流Te中,斜率系数inter_view_grad和切片系数inter_view_offset也可以包含在每个序列中,也可以包含在每个图象中。即,将每个序列的编码参数的集称为序列参数集,将每个图象的编码参数的集称为图象参数集(PPS:Picture Parameter Set)。也可以包含在作为图片单位的参数的集的图片标题中。尤其,通过这些系数包含在每个图象中,能够跟随场景的图象单位中的极其细致的变化。
以上的图像解码装置31c包括判定对象块的矢量或者矢量差分是否为作为不同的层间的预测的外部层预测的参考层判定部30381,在参考层判定部30381判定为进行了外部层预测的情况下,将所述对象块的矢量的至少一个分量,基于所述对象块的另一个分量和从比所述对象块上位的参数解码出的值或者基于从比所述对象块上位的参数解码出的值来导出。此外,在参考层判定部30381判定为进行了外部层预测的情况下,将所述对象块的差分矢量的至少一个分量,不从编码数据解码而是作为预定的值(例如,0)而导出。
由此,在本变形例D3中,即使是在取得了图像的视点(相机)等的配置或朝向没有严格地沿着一个方向平行地配置时Y方向的位移没有完全成为预先确定的值(例如,零)的情况下,也能够再现Y方向的位移。此外,在本变形例中,能够根据拍摄到的图像的场景,切换X方向的位移和Y方向的位移的关系。作为场景整体,能够兼顾画质的劣化的抑制和编码流Te的信息量的降低。
(变形例D4)
接着,说明本实施方式的其他的变形例D4。对于相同的结构,赋予相同的标记,并援用上述的说明。
本变形例的图像解码装置31d代替图像解码装置31的外部预测参数解码部303(图3)而包括外部预测参数解码部303d。本变形例D4所涉及的外部预测参数解码部303d的其他的结构的概要与外部预测参数解码部303(图3)的结构相同。因此,对于相同的结构,赋予相同的标记,并援用上述的说明。
图8是表示本变形例的外部预测参数解码部303d的结构的概略图。
外部预测参数解码部303d包括外部预测参数提取部3031、AMVP预测参数导出部3032、加法部3035、合并预测参数导出部3036以及位移矢量限幅部(位移矢量限制部)3037而构成。
位移矢量限幅部3037将从外部预测参数提取部3031输入的参照图象索引refIdxLX存储在预测参数存储器307中,且输出到预测图象生成部308。此外,位移矢量限幅部3037在从加法部3035输入的矢量mvLX为外部层预测(位移矢量)的情况下,即在以参照图象索引refIdx作为输入,参考层判定部30371判定为外部层预测的情况下,将该矢量的值的范围限制为预先确定的范围内的值,并将值被限制的位移矢量dvLX输出到预测图象生成部308。
另外,位移矢量限幅部3037关于从合并预测参数导出部3036输入的位移矢量dvLX,也可以与从加法部3035输入的位移矢量dvLX相同地,将该矢量的值的范围限制为预先确定的范围内的值。
图9是表示本变形例D4所涉及的位移矢量限幅部3037的结构的概略图。
位移矢量限幅部3037包括参考层判定部30371和矢量限幅部30372而构成。
与参考层判定部30311(参照图4)相同地,参考层判定部30371基于从熵解码部301输入的参照图象索引refIdxLX,判定矢量mvLX是位移矢量(视差矢量,进行了外部层预测)还是运动矢量。
在矢量限幅部30372中,从加法部3035或者合并预测参数导出部3036被输入矢量mvLX,从参考层判定部30371被输入参考层信息reference_layer_info。
在参考层信息reference_layer_info表示矢量mvLX为位移矢量(进行了外部层预测)的情况下,矢量限幅部30372将位移矢量dvLX的值限制为预先确定的范围内的值。位移矢量的限制也可以对X分量、Y分量中的其中一个进行,或者对X分量、Y分量的两者进行。
例如,在位移矢量dvLX的X分量dv_x的值大于预先确定的X分量的上限值的情况下,矢量限幅部30372将X分量dv_x的值确定为该X分量的上限值。在X分量dv_x的值小于预先确定的X分量的下限值的情况下,矢量限幅部30372将X分量dv_x的值确定为该X分量的下限值。
在Y分量dv_y的值大于预先确定的Y分量的上限值的情况下,矢量限幅部30372将Y分量dv_y的值确定为该Y分量的上限值。在Y分量dv_y的值小于预先确定的Y分量的下限值的情况下,矢量限幅部30372将Y分量dv_y的值确定为该Y分量的下限值。
另外,若考虑如后述那样多个层图像被并列地处理的情况,则Y分量的上限值为例如28、56等的值是有效的。此外,位移矢量可取的范围例如是画面的宽度的10%左右。X分量的上限值例如是画面的宽度的10%或者8分之1。此外,X分量的上限值也可以是画面宽度的16分之1。
上述的例是在X分量dv_x、Y分量dv_y的值超过预先确定的值的情况下确定为其上限值或者下限值的情况,但在本实施方式中,并不限定于此。例如,矢量限幅部30372也可以基于关于X分量dv_x、Y分量dv_y的每一个的域宽度(即,上限值和下限值的差分)的剩余值来限制值。例如,在X分量的域宽度为2k(k为大于0的整数,例如7)的情况下,也可以将dv_x限制为dv_x%2k-2k(在dv_x≥2k-1的情况下)、dv_x%2k(在0≤dv_x<2k-1的情况下)。这里,…%~表示将变量…除以变量~所得的剩余值。由此,X分量dv_x的值被限制在最小值-2k-1至最大值2k-1-1之间。
此外,由于相对于位移矢量dvLX的差分矢量dvdLX的值也被限制,所以能够降低对差分矢量dvdLX进行编码时的符号量。
此外,也可以关于上述的例的每一个,将Y分量的域宽度减小为小于X分量的域宽度。例如,在X分量的域宽度为2048的情况下,将Y分量的域宽度设为64。即,通过将Y分量的值的范围缩减为小于X分量的值的范围,能够减少Y分量所涉及的信息量。
矢量限幅部30372将限制了值的位移矢量dvLX输出到预测图象生成部308。
另外,在参考层信息reference_layer_info表示矢量mvLX不是外部层预测(运动矢量)的情况下,矢量限幅部30372将被输入的矢量mvLX原样输出到预测图象生成部308。
此外,在本变形例中,也可以包括内部存储器3061(闪速存储器),从外部预测图象生成部309经由内部存储器3061而读出参照图象块。内部存储器3061也可以是与参照图象存储器306相比存储容量小且存取速度快的存储介质。
图10是表示本变形例D4中的外部预测图象生成部309读出参照图象块的结构的一例的概念图。
在图10的表示参照图象存储器306的长方形的区域中包括参照区域1。参照区域1是在本变形例D4中可取的值被限制之前的位移矢量的参照区域。在参照区域1中,包括参照区域2。参照区域2是在本变形例D4中可取的值被限制的位移矢量的参照区域。
在内部存储器3061中,包括参照区域3。参照区域3是在参照图象存储器306的参照区域2中存储的参照图象被暂时存储的区域。外部预测图象生成部309包括位移预测图象生成部3091。
位移预测图象生成部3091从内部存储器3061读出以解码对象块作为基准而位于位移矢量mvLX表示的位置的参照图象块。这里,参照图象块被读出的区域成为参照区域3。由于参照区域3只要网罗位移矢量mvLX可取的值的范围即可,所以在本变形例D4中能够减小内部存储器3061的存储容量,能够廉价地实现图像解码装置。另外,位移预测图象生成部3091关于读出的参照图象块进行预测处理而生成位移补偿预测图象,作为预测图象块P。
图23是说明限制位移矢量的必要性的图。
如图23(a)所示,在对由多个层图像构成的活动图像进行解码时,为了使用受到限制的解码速度的装置,在预定的时间(在该例中为16ms)内完成解码,有时并行地解码多个层图像(这里为层0和层1)。
在可分级编码中,由于层1依赖层0而编码,所以不能完全并列地解码,但例如在以块单位进行解码的情况下,能够比层0晚预定的块线(block line)而解码层1。
图23(b)表示将层1比层0晚1个编码块线(1CTB[Coding TreeBlock]线)(图23(b)中在上方显示)而解码的例。在图23(b)中,箭头表示各个层图像进行了解码的区域(decoding thread)。箭头的前端表示当前正在进行解码处理的块的右端。画上网格的部分表示在解码处理中进行了解码处理的区域中、在层图像1的解码中当前能够作为参照图象而利用层图像1的(可用(Available))区域。纵条纹的部分表示在解码处理中进行了解码处理的区域中、在层图像0的解码中当前不能作为参照图象而利用层图像1的(不可用(No Available))区域。不能利用是因为解码处理中的处理延迟,例如去块滤波器处理(DF:Deblocking Filtering)和样本自适应偏移量滤波器处理(SAO:Sample Adaptive Offset Filtering)(因为DF+SAO)。
这里,作为表示能够从层1参照的层0的图像的区域的位移矢量的范围,例如也可以实施以下的式所示的限制。
位移矢量的Y坐标的上限=编码块的高度×N-LFH-MCH
位移矢量的X坐标的上限=编码块的宽度×M-LFW-MCW
这里,N是使其延迟的编码块线(行)数,M是使其延迟的编码栏(列)数,LFW、LFH是环路滤波器所涉及的范围的宽度和高度,MCW和MCH是运动补偿滤波器所涉及的范围的宽度和高度。通常,LFW和LFH成为将去块滤波器所涉及的范围的3和自适应偏移量滤波器所涉及的范围的1相加的4,但并不限定于此。例如,在不对参照层应用自适应偏移量滤波器的情况下,也可以设为只是去块滤波器的3(LFH=LFW=3),在不对参照层应用环路滤波器的情况下,也可以设为0(LFH=LFW=0)。此外,MCW和MCH在运动补偿滤波器的抽头数为8的情况下为4,在抽头数为6的情况下为3。
例如,在将编码块的大小设为32时,若设为1线的延迟,则位移矢量的范围如下所述。
位移矢量的Y坐标的上限=32×1-4-4=28
这里,位移矢量的Y坐标的上限也可以是28以上的值。此外,例如,在将编码块的大小设为64时,若设为1线的延迟,则也可以将以下的值确定为位移矢量的范围。
位移矢量的Y坐标的上限=64×1-4-4=56
这里,位移矢量的Y坐标的上限也可以是56以上的值。
以上的图像解码装置31d包括根据从编码数据进行了解码的矢量差分和预测矢量之和导出对象块的矢量的预测参数解码部(外部预测参数解码部303d),包括从所述参照图像存储部读出所述矢量导出部导出的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像的预测图像生成部(外部预测图象生成部309),包括判定对象块的矢量是否为作为不同的层间的预测的外部层预测的参考层判定部30371,包括在参考层判定部30371判定为是外部层预测的情况下,将所述对象块的矢量的至少一个分量限制为预定的范围的矢量限幅单元(矢量限幅部30372)。
这样,在本变形例D4中,能够减小位移矢量的值可取的范围。该范围相当于,关于某解码对象块,外部预测图象生成部309从参照图象存储器306参照不同于解码对象(对象层图像)的层的参照图象时参照的范围即参照区域。即,在本变形例中,通过减小不同于解码对象层的层图像的参照图象存储器306中的参照区域,即使是小容量的存储介质,也允许用作参照图象存储器306,能够实现处理的高速化。
此外,如使用图23所说明,在将不同于解码对象图象的层图像(例如,基础视角)的解码和解码对象图象的解码并行进行的情况下,由于不同于从解码对象图象参照的解码对象图象的层图像的参照范围被限制,所以能够在不同于解码对象图象的层图像完全被解码之前,同时进行解码对象图象的解码。
(变形例D5)
接着,说明本实施方式的其他的变形例D5。对于相同的结构,赋予相同的标记,并援用上述的说明。
本变形例D5所涉及的图像解码装置31e代替图像解码装置31c的扩展矢量候选导出部30335(参照图5)而包括扩展矢量候选导出部30335e。
图像解码装置31e也可以在外部预测参数解码部303中包括位移矢量限幅部3037(图8),也可以不包括。
图11是表示本变形例D5所涉及的扩展矢量候选导出部30335e的结构的概略图。
扩展矢量候选导出部30335e除了位移矢量取得部30336以及外部层矢量候选导出部30337之外,还包括位移矢量限幅部(位移矢量限制部)30338而构成。
如已经说明,外部层矢量候选导出部30337在参照图象为不同于对象图象的层图像的情况下,输出位移矢量取得部30336导出的位移矢量,在参照图象为与对象图象相同的层图像的情况下,确定不同于对象图象的层图像(这里,基准视点的层图像),并从位移矢量取得部30336导出对于该确定的图象的位移矢量,从预测参数存储器307读出位于与该位移矢量对应的位置的层图像(基准视点的层图像)的矢量。
本变形例D5所涉及的位移矢量限幅部30338在外部层矢量候选导出部30337中,从预测参数存储器307读出不同于对象图象的层图像的预测参数时,限制其参照区域。将从位移矢量取得部30336输入的位移矢量dvLX的值的范围限制为预先确定的范围内的值。位移矢量限幅部30338限制位移矢量dvLX的值的处理也可以与位移矢量限幅部30372相同。
位移矢量限幅部30338例如通过以下的式来限制参照区域。
dvLX[0]′=Clip3(-DataRangeX,DataRangeX-1,dvLX[0])
dvLX[1]′=Clip3(-DataRangeY,DataRangeY-1,dvLX[1])
这里,dvLX[0]、dvLX[1]是从位移矢量取得部30336输入的位移矢量,dvLX[0]′、dvLX[1]′是输出的位移矢量。DataRangeX、DataRangeY是表示限制范围的预定的常数。Clip3(x,y,z)是将z限制为x以上且y以下的函数。
此外,位移矢量限幅部30338也可以使用以下的式来限制参照区域。
dvLX[0]′=Clip3(-DataRangeX,DataRangeX,dvLX[0])
dvLX[1]′=Clip3(-DataRangeY,DataRangeY,dvLX[1])
位移矢量限幅部30338将值被限制的各个位移矢量dvLX输出到外部层矢量候选导出部30337。
在这个情况下,例如,外部层矢量候选导出部30337关于确定的图象,使用以下的式来确定以解码对象块作为起点,位于从该起点偏移了通过位移矢量限幅部30338而被限制的位移矢量dvLX的位置的块的位置。
xRef=xP+((nPSW-1)>>1)+((dvLX[0]′+2)>>2)
yRef=yP+((nPSH-1)>>1)+((dvLX[1]′+2)>>2)
这里,xRef、yRef是对应块的坐标,xP、yP是各个解码对象块的左上坐标的坐标,nPSW、nPSH是各个解码对象块的宽度和高度,dvLX[0]′、dvLX[1]′是从位移矢量取得部30338输入的位移矢量的X分量和Y分量。此外,xP+((nPSW-1)>>1)、yP+((nPSH-1)>>1)表示作为解码对象块的起点而使用解码对象块的中心,但也可以使用解码对象块的左上或右下等其他的位置。
另外,在位移矢量的Y分量被限制为0的情况下,外部层矢量候选导出部30337也可以使用以下的式,以有关Y分量的位移矢量作为0而确定对应块的位置。
xRef=xP+((nPSW-1)>>1)+((dvLX[0]′+2)>>2)
yRef=yP+((nPSH-1)>>1)
在这个情况下,对应块的X分量对应于从以解码对象块为起点的X分量偏移了位移矢量的位置,但对应块的Y分量与以解码对象块为起点的Y分量一致。
由此,外部层矢量候选导出部30337从预测参数存储器307读出在不同于对象层图像的层图像(例如,对象层图像为非基准视点图像,参照层图像为基准视点图像)中已经进行了处理的块中的矢量mvLX等的预测参数的参照区域被限制。这是因为参照区域相当于以解码对象块作为起点而可取作位移矢量dvLX的值的范围。
即,在本变形例D5中,通过减小预测参数存储器307中的参照区域,即使是小容量的存储介质,也允许用作预测参数存储器307,能够实现处理的高速化。这里,在本变形例D5中,也可以包括内部存储器3076,外部层矢量候选导出部30337经由内部存储器3076而读出预测参数。内部存储器3076也可以是与预测参数存储器307相比存储容量小且存取速度快的存储介质。
图12是表示在本变形例D5中读出预测参数的结构的一例的概念图。
在图12的表示预测参数存储器307的长方形的区域中,包括参照区域4和参照区域5。参照区域5是解码对象图象(对象层图像)的预测参数的参照区域,即存储了位移矢量取得部30336想要读出的预测参数的区域。由于位移矢量取得部30336读出的预测参数被限定于从与解码对象图象相同的图象上的解码对象块预先确定的范围的块所涉及的预测参数,所以参照区域5被限制为与该块的个数对应的范围。参照区域4是不同于解码对象的层图像(例如,基础视角的图像)的预测参数的参照区域,即存储了外部层矢量候选导出部30337想要读出的预测参数的区域。参照区域4是以解码对象块作为起点而位移矢量dvLX可取的值的范围。在本变形例D5中,由于通过位移矢量限幅部30338而位移矢量可取的值的范围被限制,所以由此,参照区域4被限制。
在以上的图像解码装置31e中,包括导出对象块的位移矢量的位移矢量导出部(位移矢量取得部30336)、以及从已经进行了解码的在预测参数存储部中具备的矢量的对象块来看偏移了位移矢量的位置导出对象块的预测矢量的预测参数解码部(扩展矢量候选导出部30335e),包括从所述参照图像存储部读出所述矢量导出部导出的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像的预测图像生成部(外部预测图象生成部309),包括判定对象块的矢量是否为作为不同的层间的预测的外部层预测的参考层判定部30371,包括在参考层判定部30371判定为外部层预测的情况下,将所述位移块的矢量的至少一个分量限制为预定的范围的矢量限幅单元(位移矢量限幅部30338)。
在内部存储器3076中,暂时存储了不同于在预测参数存储器307的参照区域4中存储的解码对象图象的层图像中的运动矢量mvLX等的预测参数,外部层矢量候选导出部30337从内部存储器3076读出预测参数。由于参照区域4只要网罗位移矢量dvLX可取的值的范围即可,所以在本变形例D5中能够减小内部存储器3076的存储容量,能够廉价地实现图像解码装置。
另外,本变形例D5所涉及的图像解码装置31e代替图像解码装置31c的合并预测参数导出部3036(参照图6)而进一步包括以下说明的合并预测参数导出部3036e。
图13是表示本变形例D5所涉及的合并预测参数导出部3036e的结构的概略图。
合并预测参数导出部3036e包括未图示的合并候选导出部和合并候选选择部。合并候选导出部导出由多个合并候选构成的合并候选列表。合并候选选择部从合并候选列表选择合并索引merge_idx表示的合并候选。合并候选导出部包括未图示的基本合并候选导出部以及扩展合并候选导出部30360。基本合并候选导出部导出离解码对象块位于预先确定的范围的参照块的预测参数作为合并候选。参照块是例如与解码对象块的左下端、左上端、右上端的至少任一个相接的块。扩展合并候选是使用不同于解码对象图象(对象层图像)的层的参照层图像的预测参数而导出的合并候选。合并预测参数导出部3036e具备的扩展合并候选导出部30360包括位移矢量取得部30361、位移矢量限幅部30338以及外部层合并候选导出部30363而构成。
在位移矢量取得部30361中,从与对象块相邻的块,将位移矢量dvLX从预测参数存储器307读出。位移矢量取得部30361将读出的位移矢量dvLX输出到位移矢量限幅部30338。
位移矢量限幅部30338将从位移矢量取得部30361输入的位移矢量dvLX的每一个的值的范围限制为预先确定的范围内的值。关于位移矢量限幅部30338限制位移矢量dvLX的值的处理,援用上述的说明。
外部视角层候选导出部30363确定与不同于解码对象图象的层图像的层图像(例如,基础视角)对应的参照图象索引refIdx。
外部层合并候选导出部30363确定读出的参照图象索引refIdx所涉及的层图像(例如,基础视角)的图象。外部层合并候选导出部30363关于确定的图象,以解码对象块作为起点,确定位于从该起点分别偏移了从位移矢量限幅部30338输入的位移矢量dvLX的位置的对应块。外部层合并候选导出部30363读出对应块所涉及的预测参数,将读出的预测参数存储在预测参数存储器307中,并输出到预测图象生成部308。
由此,外部层合并候选导出部30363读出预测参数的块的范围并且是可取作以解码对象块作为起点的位移矢量dvLX的值的范围即参照区域被限制。
即,在本变形例D5中,通过减小不同于解码对象图象的层图像中的预测参数存储器307中的参照区域,即使是小容量的存储介质,也允许用作预测参数存储器307,能够实现处理的高速化。此外,在本变形例D5中,也可以包括内部存储器3072(未图示),外部层合并候选导出部30363经由内部存储器3072而读出预测参数。内部存储器3072也可以是与预测参数存储器307相比存储容量小且存取速度快的存储介质。由此,能够廉价地实现图像解码装置。
此外,在本变形例D5的扩展矢量候选导出部30335e以及外部层合并候选导出部30363中,如使用图23所说明,在使不同于解码对象图象的层图像(例如,基础视角)的解码和解码对象图象的解码并行地动作的情况下,由于不同于从解码对象图象参照的解码对象图象的层图像的预测参数存储器307中的预测参数的参照区域被限制,所以能够在不同于解码对象图象的层图像(例如,基础视角)完全被解码之前(即使是在不能参照不同的层图像的预测参数存储器307中的全部预测参数的情况下),进行解码对象图象的解码。
(变形例D6)
接着,说明本实施方式的其他的变形例D6。
本变形例D6所涉及的图像解码装置31f代替图像解码装置31(图1、图2)的熵解码部301(图3)而包括熵解码部301f。本变形例D6所涉及的图像解码装置31f的结构的概要除了熵解码部301f之外与图像解码装置31的结构相同。因此,对于相同的结构,赋予相同的标记,并援用上述的说明。
在说明本变形例D6之前,说明前述的熵解码部301的结构。
图24是表示前述的熵解码部301的结构的框图。
熵解码部301包括算术符号解码部3011以及矢量差分语法解码部3013而构成。
算术符号解码部3011参照上下文变量DV而解码在编码流Te中包含的各比特。算术符号解码部3011包括上下文记录更新部30111以及比特解码部30112而构成。
上下文记录更新部30111将与各上下文索引ctxIdxInc相对应而管理的上下文变量CV进行记录以及更新。这里,在上下文变量CV中,包括(1)产生概率高的优势码元MPS(大概率符号(most probablesymbol))以及(2)指定该优势码元MPS的产生概率的概率状态索引pStateIdx。
上下文记录更新部30111通过参照基于在逆量化/逆DCT311中获得的变换系数而确定的上下文索引ctxIdxInc以及通过比特解码部30112进行了解码的Bin的值,更新上下文变量CV,且将被更新的上下文变量CV记录至下一次更新为止。Bin表示构成该信息的比特串的各比特。另外,优势码元MPS的值为0或1。此外,优势码元MPS和概率状态索引pStateIdx在比特解码部30112每次解码1个Bin时被更新。
此外,上下文索引ctxIdxInc既可以是直接指定上下文的值,也可以是从基础值的增加值。
比特解码部30112参照在上下文记录更新部30111中记录的上下文变量CV,对在差分矢量所涉及的编码流Te中包含的各比特Bin进行解码。比特解码部30112也可以在解码中使用与CABAC(基于上下文的自适应二进制算术编码(Context-based Adaptive Binary ArithmeticCoding))对应的解码方式。比特解码部30112将解码而获得的Bin的值供应给矢量差分语法解码部3013。此外,解码而获得的Bin的值还供应给上下文记录更新部30111,用于更新上下文变量CV而参照。
矢量差分语法解码部3013导出用于对作为构成矢量差分的语法元素的abs_mvd_greater0_flag[XY]、abs_mvd_greater1_flag[XY]、abs_mvd_minus2[XY]、mvd_sign_flag的各Bin进行解码的上下文索引ctxIdxInc,并输出到算术符号解码部3011。在算术符号解码部3011中,这些语法元素进行解码。abs_mvd_greater0_flag[XY]、abs_mvd_greater1_flag[XY]、abs_mvd_minus2[XY]、mvd_sign_flag[XY]分别是表示差分矢量的绝对值是否超过0的标记(相当于表示差分矢量是否为0的标记)、表示差分矢量的绝对值是否超过1的标记、表示从差分矢量的绝对值减2所得的值的标记,mvd_sign_mvd是表示差分矢量的符号的标记。另外,后缀的XY是取在X分量的情况下成为0、在Y分量的情况下成为1的值的变量。
矢量差分语法解码部3013基于进行了解码的参考层信息reference_layer_info而导出上下文索引ctxIdxInc。这里,也可以在矢量差分语法解码部3013中预先存储将reference_layer_info和上下文索引ctxIdxInc相对应的导出表格信息,将其用于上下文索引ctxIdxInc的导出。接着,说明导出表格信息的例。
图26是表示导出表格信息的一例的图。
图26(a)作为语法元素而表示(Syntax element)差分矢量的绝对值是否超过0的abs_mvd_greater0_flag[]的各Bin的上下文索引的值。图26(a)表示BinIdx=0即第1比特的上下文索引始终为0。此外,abs_mvd_greater0_flag[XY]的上下文索引ctxIdxInc是其他的比特不具有对应的值的1比特的信息。
在图26(b)中,作为语法元素,关于abs_mvd_greater0_flag[XY],表示每个参考层信息reference_layer_info、X分量、Y分量的上下文索引ctxIdxInc。在图26(b)所示的例中,与参考层信息reference_layer_info、X分量、Y分量无关地,上下文索引ctxIdxInc的值始终为0。在该例中,语法元素abs_mvd_greater0_flag[XY]表示不依赖于语法元素的对应的矢量所指的参照图象的层(参考层)是基础层(基础视角)还是外部层(外部视角)或者成为对象的差分矢量的语法元素是X分量还是Y分量,在解码中使用相同的上下文。
在上述的CABAC中,根据条件而Bin成为1的概率(或者成为0的概率)不同的情况下,为了有效地利用附条件概率且降低符号量,使用上下文变量CV。在该例中,不依赖于差分矢量是X分量还是Y分量而导出上下文,但其假设了通过该分量而差分矢量的语法元素的值是否为0的概率大不相同。
另外,并不限定于图26所示的例,在后述的例中也设为对象的语法元素并不限定于abs_mvd_greater0_flag[XY],关于其他的语法元素,也可以与abs_mvd_greater1_flag[XY]相同地,参考层信息reference_layer_info和上下文索引ctxIdxInc相对应。
接着,说明本变形例D6所涉及的熵解码部301f的结构。
图25是表示本变形例D6所涉及的熵解码部301f的结构的框图。
如图25所示,变形例D6的熵解码部301f在熵解码部301(图24)中包括参考索引解码部3012、参考层判定部30371。此外,代替矢量差分语法解码部3013而包括矢量差分语法解码部3013f。参考索引解码部3012从编码流Te解码参照图象索引refIdxLX,并输出到参考层判定部30371。如已经说明,参考层判定部30371基于参照图象索引refIdxLX而确定参考层信息reference_layer_info。
矢量差分语法解码部3013f基于参考层判定部30371确定的参考层信息reference_layer_info,使用以下说明的导出表格中的任一个,确定上下文索引ctxIdxInc。
图27是表示导出表格信息的其他的例的图。
图27(a)表示作为对语法元素abs_mvd_greater0_flag[]提供的上下文索引ctxIdxInc的值的范围而取0或者1。
图27(b)是表示关于语法元素abs_mvd_greater0_flag[XY]的上下文索引ctxIdxInc的导出表格信息。与图26(b)相同地,该例也表示以参考层信息reference_layer_info和区分解码对象的语法分量abs_mvd_greater0_flag[XY]是X分量还是Y分量的XY的值作为条件而确定上下文索引ctxIdxInc的方法。在该例中,在参考层信息reference_layer_info为0、即同一层预测(same layer prediction,参照图象为与对象图象相同的层或者相同的视点图像,差分矢量为运动矢量)的情况下,对差分矢量的语法元素的X分量和Y分量的两者对应相同的上下文索引(ctxIdx=0)。在参考层信息reference_layer_info为1、即外部层预测(inter layer prediction,参照图象为与对象图象不同的层或者不同的视点图像,差分矢量为位移矢量)的情况下,对差分矢量的语法元素的X分量和Y分量分别对应取不同的值的上下文索引ctxIdx。
在图27(b)的例中,在位移矢量的X分量中以成为与运动矢量相同的上下文的方式使用ctxIdx=0,在位移矢量的Y分量中以与其成为不同的上下文的方式使用ctxIdx=1。
一般,在参照图象为不同于对象图象的视点图像的情况下(在外部层预测中为外部视角预测的情况下),表示与参照图象的位移的位移矢量的Y分量集中为0。在这个情况下,位移矢量的差分矢量的Y分量也倾向于集中为0。即,表示在外部层预测的情况下差分矢量的绝对值是否超过0的标记abs_mvd_greater0_flag[XY]的Y分量abs_mvd_greater0_flag[1]为1的概率显著低于表示在除此以外的情况下即在同一层预测(运动矢量)的情况下差分矢量的绝对值是否超过0的标记abs_mvd_greater0_flag[XY]以及表示在外部层预测(位移矢量)的情况下差分矢量的X分量是否为0的标记abs_mvd_greater0_flag[0]为1的概率。这样,考虑根据参照图象以及矢量分量而Bin的值的产生概率大不相同的情况,对同一层预测以及外部层预测的差分矢量的X分量和外部层预测的差分矢量的Y分量的上下文分配不同的上下文,能够获得降低差分矢量的符号量的效果。
图28是表示导出表格信息的其他的例的图。
图28(a)表示作为对语法元素abs_mvd_greater0_flag[]提供的上下文索引ctxIdxInc的值的范围而取0或者1。
图28(b)是表示关于语法元素abs_mvd_greater0_flag[XY]的上下文索引ctxIdxInc的导出表格信息。
在该例中,在参考层信息reference_layer_info为0的情况下和在参考层信息reference_layer_info为1的情况下,对应不同的上下文索引ctxIdxInc。具体而言,在同一层预测的情况下(运动矢量的情况下),对X分量和Y分量的两者对应相同的上下文(ctxIdxInc=0),在外部层预测的情况下(位移矢量的情况下),对X分量和Y分量的两者对应不同于同一层预测的上下文(ctxIdxInc=1)。
一般,在参照图象为作为与对象图象相同的视点图像的其他的图像(例如,空间可分级中的低分辨率图象)的情况下,表示与参照图象的位移的位移矢量的X分量和Y分量都集中为0。在这个情况下,位移矢量的差分矢量也倾向于集中为0。这意味着,表示在外部层预测的情况下差分矢量的绝对值是否超过0的标记abs_mvd_greater0_flag[XY]为1的概率显著低于表示在除此以外的情况下的同一层预测(运动矢量)的情况下差分矢量的绝对值是否超过0的标记abs_mvd_greater0_flag[XY]以及表示在外部视角(位移矢量)的情况下差分矢量的X分量是否为0的标记abs_mvd_greater0_flag[0]为1的概率。这样,考虑根据条件而不同的产生概率不同的情况,对同一层预测的差分矢量(运动矢量)和外部层预测的差分矢量(位移矢量、位移矢量)的上下文分配不同的上下文,能够获得降低差分矢量的符号量的效果。
图29是表示导出表格信息的其他的例的图。
图29(a)表示作为对语法元素abs_mvd_greater0_flag[]提供的上下文索引ctxIdxInc的值的范围而取0或者1。
图29(b)是表示关于语法元素abs_mvd_greater0_flag[XY]的上下文索引ctxIdxInc的导出表格信息。
在该例中,在参考层信息reference_layer_info为0的情况下,与图27、图28相同地,对标记abs_mvd_greater0_flag[XY]的差分矢量的X分量、Y分量共同分配相同的上下文索引(ctxIdxInc=0)。在参考层信息为1的情况下,根据外部层预测是不同的视点图像之间的预测(inter_view)还是相同的视点图像之间的预测(non inter_view)而切换上下文索引ctxIdxInc。在不同的视点图像之间的预测的情况下,与图27相同地,对标记abs_mvd_greater0_flag[XY]的差分矢量的Y分量分配不同于X分量的上下文索引(ctxIdxInc=1)。在相同的视点图像之间的预测的情况下,与图28相同地,对标记abs_mvd_greater0_flag[XY]的差分矢量的X分量以及Y分量分配不同于同一层预测的情况下的上下文索引(ctxIdxInc=1)。
以上,通过利用在位移矢量为不同的视点图像间的矢量的位移矢量的情况下差分矢量的Y分量成为0的概率高,在位移矢量为相同的视点图像间的矢量的情况下差分矢量的X分量和Y分量成为0的概率高的情况,分配不同于运动矢量的情况下的上下文,能够获得降低差分矢量的符号量的效果。
图30是表示导出表格信息的其他的例的图。
图30(a)表示作为对语法元素abs_mvd_greater0_flag[]提供的上下文索引ctxIdxInc的值的范围而取0至2中的其中一个。即,在解码中使用3个上下文。
图30(b)是表示关于语法元素abs_mvd_greater0_flag[XY]的上下文索引ctxIdxInc的导出表格信息。
在该例中,在参考层信息reference_layer_info为0且同一层预测的情况下,对abs_mvd_greater0_flag[XY]的X分量和Y分量对应相同的上下文索引ctxIdxInc(ctxIdxInc=0)。在参考层信息reference_layer_info为1且外部层预测的情况下,对标记abs_mvd_greater0_flag[]的X分量和Y分量对应不同于同一层预测的情况下的上下文且对X分量和Y分量对应不同的上下文索引ctxIdxInc。这里,对X分量对应ctxIdxInc=1,在Y分量的情况下,对应ctxIdxInc=2。
以上,通过与在位移矢量为不同的视点图像间的矢量的位移矢量的情况下还是位移矢量为相同的视点图像间的矢量无关地使用相同的上下文索引导出方法的同时,根据位移矢量和运动矢量的条件而分配不同的上下文,能够获得降低差分矢量的符号量的效果。
图31是表示导出表格信息的其他的例的图。
图31(a)表示作为对语法元素abs_mvd_greater0_flag[]提供的上下文索引ctxIdxInc的值的范围而取0至2中的其中一个值。
图31(b)是表示关于语法元素abs_mvd_greater0_flag[XY]的上下文索引ctxIdxInc的导出表格信息。
在该例中,在参考层信息reference_layer_info为1、即外部层预测的情况下,对标记abs_mvd_greater0_flag[]的X分量和Y分量对应不同的上下文索引ctxIdxInc且对同一层预测的Y分量和外部层预测的X分量对应相同的上下文索引ctxIdxInc。具体而言,在参考层信息reference_layer_info为0、即同一层预测的情况下,对差分矢量的X分量对应ctxIdxInc=0,对Y分量对应ctxIdxInc=1。在参考层信息reference_layer_info为1、即外部层预测的情况下,对差分矢量的X分量对应ctxIdxInc=1,对Y分量对应ctxIdxInc=2。
这利用外部层预测的差分矢量的Y分量成为0的概率高,同一层预测的差分矢量的X分量成为0的概率相对低,除此以外的外部层预测的差分矢量的X分量和同一层预测的差分矢量的Y分量以相同程度的概率成为0的情况。由此,能够获得降低差分矢量的符号量的效果。
(变形例D7)
接着,说明本实施方式的其他的变形例D7。
本变形例D7所涉及的图像解码装置31g(未图示)代替图像解码装置31f的熵解码部301f而包括熵解码部301g。本变形例D7所涉及的图像解码装置31g的结构的概要除了熵解码部301g之外与图像解码装置31f的结构相同。因此,对于相同的结构,赋予相同的标记,并援用上述的说明。
图32是表示本变形例D7所涉及的熵解码部301g的结构的框图。
如图32所示,本变形例D7的熵解码部301g除了熵解码部301(参照图24)的结构之外,还包括层ID解码部3014、目标层判定部30171,且代替矢量差分语法解码部3013而包括矢量差分语法解码部3013g。层ID解码部3014从在编码流Te中包含的NAL(网络抽象层(NetworkAbstraction Layer))单元标题,解码层ID。NAL单元标题是在作为编码流Te的1个构成单位的NAL单元的每一个的开头中包含的信息。在NAL单元标题中,包括以上述的层ID为首的解码参数。
目标层判定部30171基于进行了解码的层ID,识别解码对象图象是基础层图像还是非基础层图像,并导出目标层信息target_layer_info。目标层信息target_layer_info取的值,例如若解码对象图象为基础层则为0,若为非基础层图则为1。另外,层ID解码部3014也可以不识别是基础层图像还是非基础层图像,而识别是基础视角图像还是非基础视角图像。在这个情况下,层ID解码部3014在解码对象图象的视角ID为0的情况下判定为解码对象图象的视角是基础视角,在0以外的情况下判定为非基础视角。这里,目标层信息target_layer_info取的值,例如若该视角为基础视角则为0,若为非基础视角则为1。另外,视角ID使用表示层ID和视角ID的对应关系的预先存储的表格而从层ID导出。目标层判定部30171将表示该对应关系的表格从在编码流中包含的VPS提取。
变形例D7的矢量差分语法解码部3013g根据确定的目标层信息target_layer_info,使用图33所示的导出表格而导出上下文索引ctxIdxInc。
图33是表示本变形例D7所涉及的导出表格信息的一例的图。
图33(a)表示作为对语法元素abs_mvd_greater0_flag[]提供的上下文索引ctxIdxInc的值的范围而取0或1的值。
图33(b)是表示关于语法元素abs_mvd_greater0_flag[XY]的上下文索引ctxIdxInc的导出表格信息。
在该例中,在目标层信息target_layer_info为0且基础层(baselayer,或者基础视角)的情况下,对语法元素abs_mvd_greater0_flag[]的X分量和Y分量使用相同的上下文,在非基础层(或者非基础视角)的情况下,对标记abs_mvd_greater0_flag[]的X分量和Y分量对应不同的上下文索引ctxIdxInc。在目标层信息target_layer_info为1且非基础层(inter layer,非基础视角)的情况下,对X分量对应上下文索引ctxIdxInc=0,对Y分量对应上下文索引ctxIdxInc=1。由此,在基础层(基础视角)的差分矢量的X分量中以成为与其相同的上下文的方式使用上下文索引0,在非基础层的差分矢量的Y分量中以成为与其不同的上下文的方式使用上下文索引1。
即,在解码对象图象为基础层的情况下,由于原则上只使用相同的层的图象作为参照图象,所以在基础层图像的解码中使用的矢量是作为在同一层中预测的矢量的运动矢量。由于在非基础层中还使用不同于相同的层的图象的层的图象作为参照图象,所以在解码中使用的矢量存在是作为同一层预测的矢量的运动矢量的情况和是作为外部层预测的矢量的位移矢量的情况。有时外部层预测的矢量成为位移矢量,在这个情况下,通过对表示差分矢量的绝对值是否超过0的标记(语法元素abs_mvd_greater0_flag[XY])的X分量和Y分量分别分配不同的上下文,能够获得降低差分矢量的符号量的效果。在上述的变形例D6中,需要使用了参照图象索引的参照层的识别,但本变形例D7不需要参照层的识别而识别对象层就能够实现。对象层不同于参照层,通常与预测单元无关而固定(不需要参照图象索引),所以能够识别参照层。因此,在本变形例D7中,与上述的变形例D6相比,容易地进行解码处理。
(变形例D8)
接着,说明本实施方式的其他的变形例D8。变形例D8在图像解码装置31中的AMVP预测参数导出部3032以及合并预测参数导出部3036中,参照在预测参数存储器307中存储的预测参数(矢量、参照列表索引)时,通过限制参照坐标,从而降低预测参数存储器307所需的存储器。更具体而言,在参照不同于解码对象图象的层图像的层的层图像的已经处理完毕的块的预测参数时,限制该参照图像。
本变形例D8所涉及的图像解码装置32h在外部预测参数解码部303(图3)中代替AMVP预测参数导出部3032而包括AMVP预测参数导出部3032h。
图36是表示本变形例D8所涉及的AMVP预测参数导出部3032h和预测参数存储器307的结构的框图。
如已经说明,AMVP预测参数导出部3032h包括矢量候选导出部3033和预测矢量选择部3034。进一步,AMVP预测参数导出部3032h包括预测参数参照部3039。预测参数参照部3039包括空间预测参照地址变换部30391、时间预测参照地址变换部30392以及外部层参照地址变换部30393(层间参照地址变换部)。
AMVP预测参数导出部3032h具备的矢量候选导出部3033参照已经解码完毕的预测单元PU的预测参数,导出矢量候选。
此时,将解码对象块、即对象CTB内的预测单元的预测参数(对象CTB预测参数)、位于对象CTB的左边的CTB的预测单元的预测参数(左CTB栏预测参数)、位于对象CTB的上边的CTB的预测单元的预测参数(上CTB线预测参数)按照解码顺序(例如,光栅扫描的顺序),参照在前的图象的预测单元的预测参数、不同于对象层的层的预测单元的预测参数(外部层预测参数)。预测参数参照部3039从预测参数存储器307具备的对象CTB预测参数存储器3071、左CTB栏预测参数存储器3072、上CTB线预测参数存储器3073、时间预测参数存储器3074、外部层预测参数存储器3075分别参照这些。此时,空间预测参照地址变换部30391、时间预测参照地址变换部30392进行参照目的地的坐标的变换。关于外部层参照地址变换部30393的动作,在后面叙述。
另外,在AMVP预测参数导出部3032h中矢量候选导出部3033导出矢量候选时参照不同于解码对象图象的层的层的层图像的预测参数的情况下的处理,也可以与在合并候选为扩展矢量候选的情况下在外部层矢量候选导出部30337中导出矢量候选的情况下的处理相同(参照图11)。此外,在合并候选导出部30364中导出合并候选时参照不同于解码对象图象的层的层的层图像的预测参数的情况下的处理,也可以与在合并候选为扩展合并候选的情况下在外部层合并候选导出部30363中导出合并候选的情况下的处理相同(参照图13)。
图37是表示在坐标变换中使用的算式的例的图。
如图37(a)的式所示,空间预测参照地址变换部30391在参照的预测单元存在于与对象预测单元的图象相同的图象(同一层且同一显示时刻的图象)的情况下,在参照的坐标(xP-1、yP)比对象CTB位于上方的情况下(当yP-1小于((yC>>Log2CtbSizeY)<<Log2CtbSizeY)),通过以下的式,将X坐标xP变换为xP′。
xP′=(xP>>3)<<3)+((xP>>3)&1)*7
在这个情况下,进行在xP为0~7的情况下成为0,在xP为8~15的情况下成为15的变换。预测参数参照部3039使用变换后的坐标而参照预测参数。
如图37(b)的式所示,时间预测参照地址变换部30392在矢量候选导出部3033中的矢量候选导出中,在参照的预测单元存在于与对象预测单元相同的层的不同的显示时刻的图象的情况下,将参照的坐标(xP、yP)变换为(xP′、yP′)。
xP′=(xP>>4)<<4
yP′=(yP>>4)<<4
预测参数参照部3039使用变换后的坐标而参照。通过上述变换,被参照的坐标的X坐标、Y坐标都成为16的倍数。
接着,说明进行上述的坐标变换,在预测参数存储器307上参照预测参数的区域的例。
图38是表示通过坐标变换而参照的区域的例的概念图。
图38在上段表示层1的图象所涉及的参照区域,在下段表示层0的图象所涉及的参照区域。左右表示解码顺序。
图38表示当前的时刻(POC_curr)中的对象预测单元的图象(层1(POC_curr))、已经解码的预测单元并且是与过去的时刻(POC_ref)中的对象图象的层相同的层(层1)的预测单元的图象(层0(POC_ref))、以及与当前的时刻(POC_curr)中的对象预测单元的不同的层(层0)的图象(层0(POC_curr))。在该例中,表示2个图象(层0(POC_ref)、(层0(POC_curr))的区域被参照的情况。
如图38所示,在比对象CTB位于上方的CTB的预测参数参照中,通过空间预测参照地址变换部30391而参照地址进行变换(限制),预测参数以8×4单位被参照。不同于与对象图象的层相同的层(层1)的对象图象的显示时刻的预测单元的预测参数通过时间预测参照地址变换部30392而以16×16单位被参照。相对于此,不同于对象图象的层的预测参数以最小PU单位(8×4、4×8)被参照。在这个情况下,在外部层预测参数存储器3077中,需要以作为最小PU单位的最大公约数的4×4单位存储预测参数,需要非常大的预测参数存储器。
返回到图36,预测参数参照部3039在后述的合并候选导出部30364中导出合并候选时,参照在预测参数存储器391中存储的预测参数。
这里,外部层参照地址变换部30393在AMVP预测参数导出部3032h中导出矢量候选时以及在合并候选导出部30361中导出合并候选时,参照不同于解码对象图象的层的层的层图像的预测参数时,参照在存储该不同的层的层图像的预测参数的预测参数存储器307内的外部层预测参数存储器3075时,变换要参照的地址。
接着,是表示本变形例的合并预测参数导出部3036h和预测参数存储器307的结构的框图。
图39是表示本变形例D8所涉及的合并预测参数导出部3036h和预测参数存储器307的结构的框图。
合并预测参数导出部3036h包括合并候选导出部30364和合并候选选择部30365。进一步,合并预测参数导出部3036h包括预测参数参照部3039(参照图36)。
合并候选导出部30364导出预测参数参照部3039参照的预测参数作为合并候选,并将导出的合并候选输出到合并候选选择部30365。
合并候选选择部30365在导出的合并候选中,作为被输入的合并索引merge_idx表示的合并候选而选择预测参数(例如,矢量mvLX和参照图象索引refIdxLX)。合并候选选择部30365输出所选择的合并候选。
图40是表示在坐标变换中使用的算式的其他的例的图。
外部层参照地址变换部30393在矢量候选导出部3033中的矢量候选导出中,参考层信息reference_layer_info为1、即进行外部层预测的情况下,将参照的坐标(xP、yP)变换为(xP′、yP′)时,使用图40(a)的式。
xP′=(xP>>3)<<3
yP′=(yP>>3)<<3
另外,上述运算是将低位3比特降低至0的运算,使用逻辑和运算&,通过以下的式也能够导出。
xP′=(xP&~3)
yP′=(yP&~3)
这里,~是表示逻辑非的运算。
合并候选导出部30364中的合并候选导出中的坐标变换也可以与这个相同。
图41是表示通过坐标变换而被参照的区域的其他的例的概念图。
图41关于图40所示的对象预测单元以及参照预测单元,表示基于外部层参照地址变换部30393进行了变换的坐标的参照区域。
通过上述的坐标变换,在外部层预测中,预测参数存储器以8×8单位被参照(层0(POC_curr))。在该例中,通过与预测参数存储器以比这个小的区域的单位例如4×4单位(或者,4×8以及8×4单位)被参照的情况相比,按每个宽的区域被参照,具有降低预测参数存储器的存储器量的效果。即,即使在某层图像的预测参数在其他的层图像的解码中被参照的情况下(进行预测参数的外部层预测),某层图像的预测参数的参照地址也被限制为预定的地址,所以能够进行删除该预定的地址以外的预测参数的压缩。
返回到图40,在外部层参照地址变换部30393中,在矢量候选导出部3033中的矢量候选导出中,参考层信息reference_layer_info为1、即进行外部层预测的情况下,将参照的坐标(xP、yP)变换为(xP′、yP′)时,使用图40(b)的式。
xP′=(xP>>3)<<3)+((xP>>3)&1)*7
yP′=(yP>>3)<<3)+((yP>>3)&1)*7
图42是表示通过坐标变换而被参照的区域的其他的例的概念图。
图42关于图40所示的对象预测单元以及参照预测单元,表示基于外部层参照地址变换部30393进行了变换的坐标的参照区域。
图42所示的例表示在层0(POC_curr)中从表示16×16单位的大小的、各个块的角落的区域参照预测参数存储器。此时,在外部层预测中,也因预测参数存储器不会以较小的单位4×4单位(或者,4×8以及8×4单位)被参照,所以具有降低预测参数存储器的存储器量的效果。
(图像编码装置的结构)
接着,说明本实施方式的图像编码装置11的结构。
图14是表示本实施方式的图像编码装置11的结构的框图。
图像编码装置11包括预测图象生成部(预测图像生成部)101、减法部102、DCT/量化部103、熵编码部104、逆量化/逆DCT部105、加法部106、预测参数存储器108、参照图象存储器(参照图像存储部)109、编码参数决定部110以及预测参数编码部111而构成。预测参数编码部111包括外部预测参数编码部112以及内部预测参数编码部113而构成。
预测图象生成部101关于从外部输入的层图像T的每个视点的各图象,按作为分割了该图象的区域的每个块生成预测图象块P。这里,预测图象生成部101基于从预测参数编码部111输入的预测参数,从参照图象存储器109读出参照图象块。从预测参数编码部111输入的预测参数是例如运动矢量mvLX或者位移矢量dvLX。预测图象生成部101读出以编码对象块作为起点而位于被预测的运动矢量或者位移矢量表示的位置的块的参照图象块。预测图象生成部101关于读出的参照图象块,使用多个预测方式中的1个预测方式而生成预测图象块P。预测图象生成部101将生成的预测图象块P输出到减法部102。
预测图象生成部101为了选择预测方式,例如选择将基于在层图像中包含的块的每个像素的信号值和预测图象块P的对应的每个像素的信号值的差分的误差值设为最小的预测方式。选择预测方式的方法并不限定于此。
在编码对象的图象为基础视角图象的情况下,多个预测方式是内部预测、运动预测以及合并预测。运动预测是在上述的外部预测中的时刻间的预测。合并预测是使用与已经进行了编码的块并且是在离编码对象块位于预先确定的范围内的块相同的参照图象块以及预测参数的预测。在编码对象的图象为非基础视角图象的情况下,多个预测方式是内部预测、运动预测、合并预测以及位移预测。位移预测(视差预测)是在上述的外部预测中的不同层图像(不同视点图像)间的预测。
预测图象生成部101在选择了内部预测的情况下,将表示在生成预测图象块P时使用的内部预测模式的预测模式predMode输出到预测参数编码部111。
预测图象生成部101在选择了运动预测的情况下,将在生成预测图象块P时使用的运动矢量mvLX存储在预测参数存储器108中,并输出到外部预测参数编码部112。运动矢量mvLX表示从编码对象块的位置至在生成预测图象块P时的参照图象块的位置的矢量。在表示运动矢量mvLX的信息中,包括表示参照图象的信息(例如,参照图象索引refIdxLX、图象序列号POC),也可以是表示预测参数的信息。此外,预测图象生成部101将表示外部预测模式的预测模式predMode输出到预测参数编码部111。
预测图象生成部101在选择了位移预测的情况下,将在生成预测图象块P时使用的位移矢量dvLX存储在预测参数存储器108中,并输出到外部预测参数编码部112。位移矢量dvLX表示从编码对象块的位置至在生成预测图象块P时的参照图象块的位置的矢量。在表示位移矢量dvLX的信息中,包括表示参照图象的信息(例如,参照图象索引refIdxLX、视角识别符view_id),也可以是表示预测参数的信息。此外,预测图象生成部101将表示外部预测模式的预测模式predMode输出到预测参数编码部111。
预测图象生成部101在选择了合并预测的情况下,将表示所选择的参照图象块的合并索引merge_idx输出到外部预测参数编码部112。此外,预测图象生成部101将表示合并预测模式的预测模式predMode输出到预测参数编码部111。
减法部102按每个像素,在从外部输入的层图像T的对应的块的信号值中减去从预测图象生成部101输入的预测图象块P的信号值,生成残差信号。减法部102将生成的残差信号输出到DCT/量化部103和编码参数决定部110。
DCT/量化部103对从减法部102输入的残差信号进行DCT,计算DCT系数。DCT/量化部103对计算出的DCT系数进行量化而求出量化系数。DCT/量化部103将求出的量化系数输出到熵编码部104以及逆量化/逆DCT部105。
在熵编码部104中,从DCT/量化部103被输入量化系数,从编码参数决定部110被输入编码参数。在被输入的编码参数中,例如有参照图象索引refIdxLX、矢量索引mvp_LX_idx、差分矢量mvdLX、预测模式predMode以及合并索引merge_idx等的符号。
熵编码部104将被输入的量化系数和编码参数进行熵编码而生成编码流Te,并将生成的编码流Te输出到外部。
逆量化/逆DCT部105将从DCT/量化部103输入的量化系数进行逆量化而求出DCT系数。逆量化/逆DCT部105对求出的DCT系数进行逆DCT,计算解码残差信号。逆量化/逆DCT部105将计算出的解码残差信号输出到加法部106。
加法部106将从预测图象生成部101输入的预测图象块P的信号值和从逆量化/逆DCT部105输入的解码残差信号的信号值按每个像素相加,生成参照图象块。加法部106将生成的参照图象块存储在参照图象存储器109中。
预测参数存储器108将预测参数编码部111生成的预测参数,按编码对象的每个图象以及块存储在预先确定的位置。
参照图象存储器109将加法部106生成的参照图象块,按编码对象的每个图象以及块存储在预先确定的位置。
编码参数决定部110在编码参数的多个组中选择1个组。编码参数是上述的预测参数或与该预测参数相关联而生成的成为编码的对象的参数。预测图象生成部101使用这些编码参数的各个组而生成预测图象块P。
编码参数决定部110对多个组的各个,计算表示信息量的大小和编码误差的成本值。成本值例如是符号量与对平方误差乘以系数λ的值之和。符号量是将量化误差和编码参数进行熵编码而获得的编码流Te的信息量。平方误差是关于在减法部102中计算出的残差信号的残差值的平方值的像素间的总和。系数λ是预先设定的大于零的实数。编码参数决定部110选择计算出的成本值成为最小的编码参数的集。由此,熵编码部104将所选择的编码参数的集作为编码流Te而输出到外部,不输出未被选择的编码参数的集。
预测参数编码部111基于从预测图象生成部101输入的参数,导出在生成预测图象时使用的预测参数,并对导出的预测参数进行编码而生成编码参数的集。预测参数编码部111将生成的编码参数的集输出到熵编码部104。
预测参数编码部111将与在生成的编码参数的集中、编码参数决定部110选择的集对应的预测参数存储在预测参数存储器108中。
在从预测图象生成部101输入的预测模式predMode表示外部预测模式的情况下,预测参数编码部111使外部预测参数编码部112动作。在预测模式predMode表示内部预测模式的情况下,预测参数编码部111使内部预测参数编码部113动作。
外部预测参数编码部112基于从编码参数决定部110输入的预测参数,导出外部预测参数。外部预测参数编码部112作为导出外部预测参数的结构,包括与外部预测参数解码部303(参照图2等)导出外部预测参数的结构相同的结构。关于外部预测参数编码部112的结构,在后面叙述。
内部预测参数编码部113将从编码参数决定部110输入的预测模式predMode表示的内部预测模式IntraPredMode确定为外部预测参数的集。
(外部预测参数编码部的结构)
接着,说明外部预测参数编码部112的结构。
图15是表示本实施方式的外部预测参数编码部112的结构的概略图。
外部预测参数编码部112包括合并预测参数导出部(位移矢量生成部、预测参数导出部)1121、AMVP预测参数导出部(位移矢量生成部、预测参数导出部)1122、减法部1123、位移矢量限幅部(位移矢量限制部)1124以及预测参数合并部1126而构成。
合并预测参数导出部1121具有与上述的合并预测参数导出部3036(参照图3)相同的结构。
在合并预测参数导出部1121中,在从预测图象生成部101输入的预测模式predMode表示合并预测模式的情况下,从编码参数决定部110被输入合并索引merge_idx。合并索引merge_idx输出到预测参数合并部1126。合并预测参数导出部1121从预测参数存储器108读出在合并候选中合并索引merge_idx表示的参照块的参照图象索引refIdxLX、矢量mvLX。合并候选是离成为编码对象的编码对象块位于预先确定的范围的参照块(例如,与编码对象块的左下端、左上端、右上端相接的参照块中)并且是完成了编码处理的参照块。合并预测参数导出部1121将读出的预测矢量mvpLX、参照图象索引refIdxLX相对应而输出到位移矢量限幅部1124。
AMVP预测参数导出部1122具有与上述的AMVP预测参数导出部3032(参照图3)相同的结构。
在AMVP预测参数导出部1122中,在从预测图象生成部101输入的预测模式predMode表示外部预测模式的情况下,从编码参数决定部110被输入矢量mvLX。AMVP预测参数导出部1122基于被输入的矢量mvLX,导出预测矢量mvpLX。AMVP预测参数导出部1122将导出的预测矢量mvpLX输出到减法部1123。另外,参照图象索引refIdx以及矢量索引mvp_LX_idx输出到预测参数合并部1126。
减法部1123在从编码参数决定部110输入的矢量mvLX中减去从AMVP预测参数导出部1122输入的预测矢量mvpLX,生成差分矢量mvdLX。减法部1123在矢量mvLX为外部层预测(位移矢量)的情况下,省略在差分矢量mvdLX中包含的Y分量mvd_y,残留X分量mvd_x而生成一维的差分矢量(标量值)mvdLX。与参考层判定部30311(参照图4)相同地,矢量mvLX是位移矢量还是运动矢量的判定基于参照图象索引refIdx而进行。减法部1123将生成的一维的差分矢量mvdLX输出到预测参数合并部1126。减法部1123在矢量mvLX为运动矢量的情况下,不省略在差分矢量mvdLX中包含的Y分量mvd_y,原样输出到预测参数合并部1126。
位移矢量限幅部1124从合并预测参数导出部1121或者编码参数决定部110被输入矢量mvLX、参照图象索引refIdx以及矢量索引mvp_LX_idx。位移矢量限幅部1124在矢量mvLX为位移矢量的情况下,将作为被输入的位移矢量dvLX的元素的Y分量dv_y的值确定为预先确定的值(例如,零)。位移矢量限幅部1124原样维持位移矢量dvLX的X分量dv_x的值。位移矢量限幅部1124将把Y分量dv_y的值确定为预先确定的值的位移矢量dvLX与参照图象索引refIdx以及矢量索引mvp_LX_idx相对应而输出到预测图象生成部101,并存储在预测参数存储器108中。
与参考层判定部30311(参照图4)相同地,矢量mvLX是位移矢量还是运动矢量的判定基于被输入的参照图象索引refIdx而进行。
在矢量mvLX为运动矢量的情况下,位移矢量限幅部1124将被输入的矢量mvLX原样与参照图象索引refIdx以及矢量索引mv_LX_idx相对应而输出到预测图象生成部101,并存储在预测参数存储器108中。
在从预测图象生成部101输入的预测模式predMode表示合并预测模式的情况下,预测参数合并部1126将从编码参数决定部110输入的合并索引merge_idx输出到熵编码部104。
在从预测图象生成部101输入的预测模式predMode表示外部预测模式的情况下,预测参数合并部1126进行以下的处理。
预测参数合并部1126判断从减法部1123输入的差分矢量mvdLX是位移矢量所涉及的差分矢量还是运动矢量所涉及的差分矢量。与参考层判定部30311(参照图4)相同地,是位移矢量所涉及的差分矢量还是运动矢量所涉及的差分矢量的判定基于被输入的参照图象索引refIdx而进行。
在预测参数合并部1126判定为被输入的差分矢量mvdLX是位移矢量所涉及的差分矢量的情况下,预测参数合并部1126将视点配置标记camera_arrangement_1D_flag的值确定为1。此外,预测参数合并部1126基于差分矢量mvdLX表示的X分量mvd_x,计算上述的3种符号、abs_mvd_greater0_flag[0]、abs_mvd_minus2[0]、mvd_sign_flag[0]。
关于Y分量mvd_y,预测参数合并部1126不计算这些符号。
在预测参数合并部1126判定为被输入的差分矢量mvdLX是运动矢量所涉及的差分矢量的情况下,预测参数合并部1126将视点配置标记camera_arrangement_1D_flag的值确定为0。
此外,预测参数合并部1126基于差分矢量mvdLX表示的X分量mvd_x,计算上述的3种符号、abs_mvd_greater0_flag[0]、abs_mvd_minus2[0]、mvd_sign_flag[0]。预测参数合并部1126关于差分矢量mvdLX表示的Y分量mvd_y,也计算3种符号、abs_mvd_greater0_flag[1]、abs_mvd_minus2[1]、mvd_sign_flag[1]。
预测参数合并部1126将确定了值的视点配置标记camera_arrangement_1D_flag以及按每个分量计算出的3种符号、从编码参数决定部110输入的参照图象索引refIdx以及矢量索引mvp_LX_idx进行合并。预测参数合并部1126将进行了合并的符号输出到熵编码部104。
由此,在上述的例中,即使不对位移矢量所涉及的差分矢量dvdLX的Y分量dvd_y进行编码,也将其值确定为预先确定的值。另一方面,在位移中X分量为主,Y分量为能够忽略的值的情况下,在上述的例中也不会产生位移预测中的精度的劣化。因此,在上述的例中,解码的图像的质量不会劣化而提高编码效率。
(变形例E1)
接着,说明变形例E1所涉及的图像编码装置11a。本变形例E1是对应于上述的变形例D1的变形例。对于上述的相同的结构,赋予相同的标记,并援用上述的说明。
本变形例E1所涉及的图像编码装置11a代替AMVP预测参数导出部1122(参照图15)而包括AMVP预测参数导出部1122a。此外,也可以代替减法部1123而包括后述的减法部1123a,也可以不包括后述的减法部1123a。在不包括减法部1123a的情况下,也可以省略位移矢量限幅部1124(参照图15)。
AMVP预测参数导出部1122a具有与AMVP预测参数导出部1122(参照图15)相同的结构。但是,AMVP预测参数导出部1122a在计算出的预测矢量mvpLX为位移矢量所涉及的预测矢量的情况下,与位移预测矢量限幅部30321a(参照图5)相同地,将预测矢量的Y分量dvp_y限制为预先确定的范围内的值。与参考层判定部30311(参照变形例D1、图4)相同地,预测矢量mvpLX所涉及的矢量是位移矢量还是运动矢量的判定基于被输入的参照图象索引refIdx而进行。
AMVP预测参数导出部1122a由限制了X分量dvp_x和值的Y分量dvp_y重构预测矢量dvpLX,并将重构的预测矢量dvpLX输出到减法部1123。
在预测矢量mvpLX为运动矢量所涉及的预测矢量的情况下,AMVP预测参数导出部1122a将计算出的预测矢量mvpLX原样输出到减法部1123。
减法部1123a在从预测图象生成部101输入的矢量mvLX中减去从AMVP预测参数导出部1122a输入的预测矢量mvpLX,计算差分矢量mvdLX。减法部1123a与矢量mvLX是否为位移矢量无关地,将计算出的差分矢量mvdLX输出到熵编码部104。
由此,由于位移矢量所涉及的预测矢量的Y分量dvp_y被限制为预先确定的范围的值,所以能够抑制位移预测中的精度的劣化。因此,根据本变形例E1,编码效率提高。
(变形例E2)
接着,说明变形例E2所涉及的图像编码装置11b。本变形例E2是对应于上述的变形例D2的变形例。对于相同的结构,赋予相同的标记,并援用上述的说明。
与变形例E1相同地,本变形例E2所涉及的图像编码装置11b代替AMVP预测参数导出部1122以及位移矢量限幅部1124(参照图15)而包括AMVP预测参数导出部1122a以及位移矢量限幅部1124a。
在本变形例E2中,在外部预测参数编码部112(参照图15)中,从外部被输入上述的位移矢量限制信息disparity_restriction。在矢量mvLX为位移矢量的情况下,根据位移矢量限制信息disparity_restriction的值,AMVP预测参数导出部1122a、减法部1123以及位移矢量限幅部1124a进行以下的处理。
AMVP预测参数导出部1122a在位移矢量限制信息disparity_restriction的值为零或者2的情况下,将计算出的预测矢量dvpLX原样输出到减法部1123以及位移矢量限幅部1124a。
AMVP预测参数导出部1122a在位移矢量限制信息disparity_restriction的值为1或者3的情况下,将计算出的预测矢量dvpLX的Y分量dvp_y限制为预先确定的范围的值。AMVP预测参数导出部1122a由预测矢量dvpLX的X分量dvp_x和限制了值的范围的Y分量dvp_y重构预测矢量dvpLX,并将重构的预测矢量dvpLX输出到减法部1123以及位移矢量限幅部1124a。
减法部1123在位移矢量限制信息disparity_restriction的值为零或者1的情况下,将计算出的差分矢量dvdLX(二维矢量)原样输出到预测参数合并部1126以及位移矢量限幅部1124a。减法部1123在位移矢量限制信息disparity_restriction的值为2或者3的情况下,省略计算出的差分矢量dvdLX的Y分量dvd_y,残留X分量dvd_x而生成一维的差分矢量(标量值)dvdLX。减法部1123将残留了X分量dvd_x的一维的差分矢量dvdLX输出到预测参数合并部1126以及位移矢量限幅部1124a。
位移矢量限幅部1124a将从AMVP预测参数导出部1122a输入的预测矢量dvpLX以及从减法部1123输入的差分矢量dvdLX相加而新计算位移矢量dvLX。这里,在从减法部1123被输入的差分矢量dvdLX为一维的差分矢量的情况下,作为差分矢量dvdLX的Y分量dvd_y而加上预先确定的范围的值(例如,零)。位移矢量限幅部1124a将新计算出的位移矢量dvLX与参照图象索引refIdx以及矢量索引mvp_LX_idx相对应而输出到预测图象生成部101,并存储在预测参数存储器108中。
这里,在位移矢量限幅部1124a中,从编码参数决定部110被输入参照图象索引refIdx以及矢量索引mvp_LX_idx。
但是,与位移矢量限幅部1124不同,在位移矢量限幅部1124a中,不从编码参数决定部110被输入矢量mvLX(位移矢量dvLX)。因此,在位移矢量限制信息disparity_restriction的值为1、2、3中的任一个的情况下,被输出的位移矢量dvLX的Y分量dv_y的值的范围被限制。
在预测参数合并部1126中,被输入位移矢量限制信息disparity_restriction。预测参数合并部1126将其与被输入的上述的其他的符号进行合并,并将进行了合并的符号输出到熵编码部104。由此,位移矢量限制信息disparity_restriction也成为熵编码的对象。
另外,在本变形例E2中,也可以在减法部1123、位移矢量限幅部1124a中,省略矢量mvLX是位移矢量还是运动矢量的判定。
在本变形例E2中,在编码流Te中,位移矢量限制信息disparity_restriction也可以包含在每个位移中,也可以包含在每个序列中。
由此,在本变形例E2中,能够根据取得了图像的视点等的配置或拍摄到的图像的场景,切换是否利用Y方向的位移(视点)的差分或者预测值。作为场景整体,能够兼顾画质的劣化的抑制和编码流Te的信息量的降低。
(变形例E3)
接着,说明变形例E3所涉及的图像编码装置11c。本变形例E3是对应于上述的变形例D3的变形例。对于相同的结构,赋予相同的标记,并援用上述的说明。
本变形例E3所涉及的图像编码装置11c代替外部预测参数编码部112(参照图15)而包括外部预测参数编码部112c。
图16表示示出本变形例E3所涉及的外部预测参数编码部112c的结构的概略图。
外部预测参数编码部112c在外部预测参数编码部112中代替位移矢量限幅部1124而包括位移矢量生成部1125。
在本变形例E3中,在位移矢量生成部1125中,从外部被输入上述的斜率系数inter_view_grad和切片系数inter_view_offset。
位移矢量生成部1125在矢量mvLX为位移矢量的情况下,从合并预测参数导出部1121或者编码参数决定部被输入位移矢量dvLX、参照图象索引refIdx以及矢量索引mvp_LX_idx。位移矢量生成部1125基于位移矢量dvLX的X分量dv_x和斜率系数inter_view_grad和切片系数inter_view_offset,计算该Y分量dv_y。计算Y分量dv_y的处理也可以与位移矢量设定部30382(参照变形例D3、图7)相同。与参考层判定部30311(参照图4)相同地,矢量mvLX是位移矢量还是运动矢量的判定基于被输入的参照图象索引refIdx而进行。位移矢量生成部1125由X分量dv_x和计算出的Y分量dv_y重构位移矢量mvLX。另外,位移矢量生成部1125也可以不使用位移矢量dvLX的X分量dv_x,基于切片系数inter_view_offset而计算Y分量dv_y。即,也可以设为dv_y=inter_view_offset。在这个情况下,由于意味着斜率系数inter_view_grad始终为0,所以不需要对该分量进行编码。
位移矢量生成部1125将重构的位移矢量dvLX与参照图象索引refIdx以及矢量索引mvp_LX_idx相对应而输出到预测图象生成部101,并存储在预测参数存储器108中。
在矢量mvLX为运动矢量的情况下,位移矢量生成部1125将被输入的运动矢量mvLX原样与参照图象索引refIdx以及矢量索引mvp_LX_idx相对应而输出到预测图象生成部101,并存储在预测参数存储器108中。
位移矢量生成部1125将斜率系数inter_view_grad和切片系数inter_view_offset输出到预测参数合并部1126。预测参数合并部1126将从位移矢量生成部1125被输入的位移矢量限制信息disparity_restriction和上述的被输入的其他的符号进行合并,并将进行了合并的符号输出到熵编码部104。由此,斜率系数inter_view_grad和切片系数inter_view_offset也成为熵编码的对象。
在编码流Te中,斜率系数inter_view_grad和切片系数inter_view_offset也可以包含在每个序列中,也可以包含在每个图象中。尤其,通过使得这些系数包含在每个图象中,能够跟随场景的图象单位中的极其细致的变化。
由此,在本变形例E3中,即使是在取得了图像的视点等的配置或朝向没有严格地沿着一个方向平行地配置时Y方向的位移(视差)没有完全成为预先确定的值的情况下,基于X方向的位移(视差),也能够再现Y方向的位移。此外,在本变形例E3中,通过根据拍摄到的图像的场景而切换X方向的位移和Y方向的位移的关系,作为整体,能够兼顾画质的劣化的抑制和编码流Te的信息量的降低。
(变形例E4)
接着,说明变形例E4所涉及的图像编码装置11d。本变形例E4是对应于上述的变形例D4的变形例。对于相同的结构,赋予相同的标记,并援用上述的说明。
本变形例E4所涉及的图像编码装置11d代替位移矢量限幅部1124(参照图15)而包括位移矢量限幅部1124d。
此外,图像编码装置11d也可以代替减法部1123(参照图15)而包括减法部1123a(参照变形例E1)。
位移矢量限幅部1124d进行与位移矢量限幅部1124相同的处理。位移矢量限幅部1124d从合并预测参数导出部1121或者编码参数决定部110被输入矢量mvLX、参照图象索引refIdx以及矢量索引mvp_LX_idx。在矢量mvLX为位移矢量的情况下,位移矢量限幅部1124d与矢量限幅部30372相同地,位移矢量限幅部1124d将被输入的位移矢量dvLX的值限制为预先确定的范围内的值。位移矢量限幅部1124d将限制了值的位移矢量dvLX与参照图象索引refIdx以及矢量索引mvp_LX_idx相对应而输出到预测图象生成部101,并存储在预测参数存储器108中。
与参考层判定部30311(参照变形例D4、图9)相同地,位移矢量限幅部1124d基于参照图象索引refIdx而进行矢量mvLX是否为位移矢量的判定。在矢量mvLX为运动矢量的情况下,位移矢量限幅部1124d将被输入的运动矢量mvLX与参照图象索引refIdx以及矢量索引mvp_LX_idx相对应而输出到预测图象生成部101(参照图14),并存储在预测参数存储器108中。
在本变形例E4中,也可以在参照图象存储器109和预测图象生成部101之间包括内部存储器1091(未图示)。在内部存储器1091中,使从预测参数存储器108存储相当于参照区域的预测参数,预测图象生成部101从内部存储器1091读出位于由位移矢量指示的位置的参照图象块。例如,作为内部存储器1091,通过使用与参照图象存储器109相比存储容量小且存取速度快的存储介质(闪速存储器),能够实现处理的高速化以及廉价化。
由此,在本变形例E4中,能够减小输出到预测图象生成部101的位移矢量的值可取的范围。该范围相当于,关于某编码对象块,预测图象生成部101从参照图象存储器109参照参照图象时参照的范围即参照区域。即,在本变形例E4中,通过减小参照图象存储器109中的参照区域,即使是小容量的存储介质,也允许用作参照图象存储器109,能够实现处理的高速化。
(变形例E5)
接着,说明变形例E5所涉及的图像编码装置11e。本变形例E5是对应于上述的变形例D5的变形例。对于相同的结构,赋予相同的标记,并援用上述的说明。
本变形例E5所涉及的图像编码装置11e代替AMVP预测参数导出部1122(参照图15)而包括AMVP预测参数导出部1122e。此外,也可以代替减法部1123而包括后述的减法部1123a(参照变形例E1),也可以不包括后述的减法部1123a。在不包括减法部1123a的情况下,也可以省略位移矢量限幅部1124(参照图15)。
AMVP预测参数导出部1122e包括与AMVP预测参数导出部1122(参照图15)相同的结构。这里,AMVP预测参数导出部1122在从编码参数决定部110被输入的矢量mvLX为外部层预测(位移矢量)的情况下,与位移矢量限幅部30338(参照图11)相同地,将被输入的位移矢量dvLX限制为预先确定的范围内的值。与参考层判定部30311(参照变形例D1、图4)相同地,矢量mvLX是位移矢量还是运动矢量的判定基于参照图象索引refIdx而进行。
由此,AMVP预测参数导出部1122e从预测参数存储器108读出预测参数的参照区域被限制。这是因为参照区域相当于以编码对象块作为起点而可取作位移矢量dvLX的值的范围。
即,在本变形例E5中,通过减小预测参数存储器108中的参照区域,即使是小容量的存储介质,也允许用作预测参数存储器108,能够实现处理的高速化。在本变形例E5中,也可以包括内部存储器1081(未图示),使从预测参数存储器108存储参照区域中的预测参数。并且,AMVP预测参数导出部1122e经由内部存储器1081而读出预测参数。内部存储器1081也可以是与预测参数存储器108相比存储容量小且存取速度快的存储介质。
另外,本变形例E5所涉及的图像编码装置11e代替合并预测参数导出部1121(参照图15)而包括合并预测参数导出部1121e。
合并预测参数导出部1121e具有与合并预测参数导出部1121(参照图15)相同的结构。这里,合并预测参数导出部1121e在使用位移矢量,读出不同于对象层图像的层的层图像(例如,基础视角)的预测参数时,在位移矢量限幅部30338(参照图13)中,将该位移矢量dvLX限制为预先确定的范围内的值。
由此,合并预测参数导出部1121e将不同于对象层图像的层图像的预测参数从预测参数存储器108进一步读出的参照区域被限制且实现处理的高速化。此外,在本变形例E5中,也可以包括内部存储器1082(未图示),使从预测参数存储器108存储参照区域中的预测参数。并且,合并预测参数导出部1121e经由内部存储器1082而读出预测参数。内部存储器1082也可以是与预测参数存储器108相比存储容量小且存取速度快的存储介质。
在上述的实施方式中,图像传输***1(参照图1)也可以代替图像编码装置11以及图像解码装置31而包括上述的图像编码装置11a-11e中的其中一个和与此对应的图像解码装置31a-31e。
此外,在上述的实施方式中,图像传输***1也可以省略图像显示装置41。此外,在上述的实施方式中,也可以构成包括图像解码装置31-31e中的其中一个和图像显示装置41的图像显示***。
这样,在上述的实施方式中,基于表示第一层图像和不同于第一层图像的第二层图像之间的位移的一部分的符号,生成表示位移的一部分和位移的其他的一部分的位移矢量。此外,从存储参照图像的参照图像存储部读出生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
因此,不需要对视差的其他的一部分、例如Y分量进行编码。此外,在视差中视差的一部分例如X分量为主的情况下,即使视差的其他的一部分未被编码,也不会产生视差预测中的精度的劣化。因此,生成的图像的质量的劣化被抑制且编码效率提高。
此外,在上述的实施方式中,基于表示第一层图像和不同于第一层图像的第二层图像之间的位移的符号,生成表示所述位移的位移矢量,并将位移矢量限制为预先确定的范围内的值。此外,从存储参照图像的参照图像存储部读出生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
因此,由于生成的图像的质量的劣化被抑制且读出参照图像的区域被限制,所以能够将参照参照图像时的处理高速化。此外,也因预测图像自身的符号量减少,所以编码效率提高。
(变形例E6)
接着,说明变形例E6所涉及的图像编码装置11f(未图示)。本变形例E6是对应于上述的变形例D6的变形例。对于相同的结构,赋予相同的标记,并援用上述的说明。
本变形例E6所涉及的图像编码装置11f代替熵编码部104而包括熵编码部104f。
图34是表示本变形例E6所涉及的熵编码部104f的结构的框图。
熵编码部104f包括算术编码部1041、参考层判定部1042f以及矢量差分语法编码部1043f而构成。参考层判定部1042f以及矢量差分语法编码部1043f的结构也可以与参考层判定部30371以及矢量差分语法解码部3013f(参照图25)的结构相同。
算术编码部1041包括上下文记录更新部10411以及比特编码部10412而构成。上下文记录更新部10411的结构也可以与上下文记录更新部30111(参照图25)的结构相同。
比特编码部10412参照在上下文记录更新部10411中记录的上下文变量CV,对构成从外部预测参数编码部112提供的差分矢量mvdLX的各Bin进行编码。此外,进行了编码的Bin的值还提供给上下文记录更新部10411,用于更新上下文变量CV而参照。
矢量差分语法编码部1043f根据从外部预测参数编码部112提供的差分矢量mvdLX,导出用于对作为构成差分矢量mvdLX的语法元素的abs_mvd_greater0_flag[XY]、abs_mvd_greater1_flag[XY]、abs_mvd_minus2[XY]的各Bin进行编码的上下文索引ctxIdx,并将导出的上下文索引ctxIdx记录在上下文记录更新部10411中。因此,使用该存储的上下文索引ctxIdx,比特编码部10412对各语法元素进行编码。矢量差分语法编码部1043f也可以在导出上下文索引ctxIdx时,使用图27-31的任一个所示的导出表格信息。
在上述的实施方式中,通过根据参照图象索引refIdx以及设为对象的分量是X分量还是Y分量,导出表示差分矢量的绝对值是否超过0的语法元素abs_mvd_greater0_flag[XY]的上下文,编码对象的语法元素的信息量降低,编码效率提高。
(变形例E7)
接着,说明变形例E7所涉及的图像编码装置11g(未图示)。本变形例E7是对应于上述的变形例D7的变形例。对于相同的结构,赋予相同的标记,并援用上述的说明。
本变形例E7所涉及的图像编码装置11g代替熵编码部104而包括熵编码部104g。
图35是表示本变形例E7所涉及的熵编码部104g的结构的框图。
熵编码部104g包括算术编码部1041、矢量差分语法编码部1043g以及目标层判定部1044g而构成。
算术编码部1041、矢量差分语法编码部1043g以及目标层判定部1044g的结构也可以与算术编码部1041(参照图34)、矢量差分语法解码部3013g(参照图32)以及目标层判定部30171(图32)的结构分别相同。
这里,矢量差分语法编码部1043g根据从外部预测参数编码部112提供的差分矢量mvdLX,导出用于对作为构成它的的语法元素的abs_mvd_greater0_flag[XY]、abs_mvd_greater1_flag[XY]、abs_mvd_minus2[XY]的各Bin进行编码的上下文索引ctxIdxInc。矢量差分语法编码部1043g将导出的上下文索引ctxIdxInc存储在上下文记录更新部10411中。比特编码部10412使用在上下文记录更新部10411中存储的上下文索引ctxIdxInc,对构成差分矢量mvdLX的各语法元素进行编码。比特编码部10412将进行了编码的各语法元素作为编码流Te的一部分而输出。
由此,在本变形例中,通过根据参照图象索引refIdx以及设为对象的分量是X分量还是Y分量,导出表示差分矢量的绝对值是否超过0的标记abs_mvd_greater0_flag[XY]的上下文,进行了编码的语法元素的信息量降低,编码效率提高。
(变形例E8)
接着,说明变形例E8所涉及的图像编码装置11h(未图示)。本变形例E8是对应于上述的变形例D8的变形例。对于相同的结构,赋予相同的标记,并援用上述的说明。
本变形例E8所涉及的图像编码装置11h代替合并预测参数导出部1121以及AMVP预测参数导出部1122(参照图15)而分别包括合并预测参数导出部1121h以及AMVP预测参数导出部1122h。
图43是表示本变形例E8所涉及的AMVP预测参数导出部1122h的结构的框图。
AMVP预测参数导出部1122h包括矢量候选导出部1127、预测矢量选择部1128以及预测参数参照部1129而构成。矢量候选导出部1127的结构也可以分别与矢量候选导出部3033、预测矢量选择部3034以及预测参数参照部3039的结构(参照图36)相同。与预测参数参照部3039从预测参数存储器307(参照图36)参照预测参数相同地,预测参数参照部1129从预测参数存储器108参照预测参数。
图44是表示本变形例E8所涉及的合并预测参数导出部1121h的结构的框图。
合并预测参数导出部1121h包括合并候选导出部11211、合并候选选择部11212以及预测参数参照部11213而构成。合并候选导出部11211、合并候选选择部11212以及预测参数参照部11213的结构也可以分别与合并候选导出部30364、合并候选选择部30365以及预测参数参照部3039的结构(参照图39)相同。与预测参数参照部3039从预测参数存储器307(参照图39)参照预测参数相同地,预测参数参照部11213从预测参数存储器108参照预测参数。
在本变形例中,在基于预测参数参照部11213、1129的外部层预测中,按具有预定的大小的单位的每个块,从预测参数存储器参照预测参数。由此,由于预测参数存储器不会以小的单位4×4单位(或者,4×8以及8×4单位)被参照,所以起到降低预测参数存储器的存储器量的效果。
此外,本发明也能够如以下表现。
(1)本发明的一个方式是一种图像解码装置,包括:位移矢量生成部,基于表示第一层图像和不同于所述第一层图像的第二层图像之间的位移的一部分的符号,生成表示所述位移的一部分和所述位移的其他的一部分的位移矢量;参照图像存储部,存储参照图像;以及预测图像生成部,从所述参照图像存储部读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
(2)本发明的其他的方式也可以是上述的图像解码装置,所述位移的一部分是所述位移的水平分量,所述位移的其他的一部分是所述位移的垂直分量。此外,所述位移矢量生成部也可以构成为,将所述垂直分量、该垂直分量的预测值或者该垂直分量的预测残差确定为预先确定的值。
(3)本发明的其他的方式也可以是上述的图像解码装置,所述位移的一部分是所述位移的水平分量,所述位移的其他的一部分是所述位移的垂直分量。此外,所述位移矢量生成部也可以构成为,基于表示垂直分量和水平方向的关系的符号,计算所述位移的垂直分量。
(4)本发明的其他的方式是一种图像解码装置,包括:位移矢量生成部,基于表示第一层图像和不同于所述第一层图像的第二层图像之间的位移的符号,生成表示所述位移的位移矢量;位移矢量限制部,将所述位移矢量限制为预先确定的范围内的值;参照图像存储部,存储参照图像;以及预测图像生成部,从所述参照图像存储部读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像
(5)本发明的其他的方式也可以是上述的图像解码装置,在所述位移矢量限制部限制所述位移矢量的值的范围中,垂直分量的范围小于水平分量的范围。
(6)本发明的其他的方式也可以是上述的图像解码装置,包括:预测参数存储部,将导出完毕的预测参数按图像的每个区域进行存储;以及预测参数导出部,参照在所述预测参数存储部中存储的预测参数中、所述位移矢量限制部限制的位移矢量表示的区域所涉及的预测参数,导出该运动矢量或者位移矢量的预测值即预测矢量,作为预测参数的至少一部分。
(7)本发明的其他的方式是一种图像编码装置,包括:位移矢量生成部,基于第一层图像和不同于所述第一层图像的第二层图像之间的位移的一部分,生成表示所述位移的一部分和所述位移的其他的一部分的位移矢量;参照图像存储部,存储参照图像;以及预测图像生成部,从所述参照图像存储部读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
(8)本发明的其他的方式也可以是上述的图像编码装置,所述位移的一部分是所述位移的水平分量,所述位移的其他的一部分是所述位移的垂直分量。此外,所述位移矢量生成部也可以构成为,将所述垂直分量、该垂直分量的预测值或者该垂直分量的预测残差确定为预先确定的值。
(9)本发明的其他的方式也可以是上述的图像编码装置,所述位移的一部分是所述位移的水平分量,所述位移的其他的一部分是所述位移的垂直分量。此外,所述位移矢量生成部也可以包括编码部,该编码部基于垂直分量和水平方向的关系而计算所述位移的垂直分量,并对所述垂直分量和水平方向的关系进行编码。
(10)本发明的其他的方式是一种图像编码装置,包括:位移矢量生成部,基于表示第一层图像和不同于所述第一层图像的第二层图像之间的位移的符号,生成表示所述位移的位移矢量;位移矢量限制部,将所述位移矢量限制为预先确定的范围内的值;参照图像存储部,存储参照图像;以及预测图像生成部,从所述参照图像存储部读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像
(11)本发明的其他的方式也可以是上述的图像编码装置,在所述位移矢量限制部限制所述位移矢量的值的范围中,垂直分量的范围小于水平分量的范围。
(12)本发明的其他的方式也可以是上述的图像编码装置,包括:预测参数存储部,将导出完毕的预测参数按图像的每个区域进行存储;以及预测参数导出部,参照在所述预测参数存储部中存储的预测参数中、所述位移矢量限制部限制的位移矢量表示的区域所涉及的预测参数,导出该位移矢量的预测值即预测矢量,作为预测参数的至少一部分。
(13)本发明的其他的方式是一种图像解码装置,包括:矢量差分解码部,导出算术符号的上下文,并根据编码数据而解码矢量差分;矢量导出部,根据处理完毕的块的矢量和所述矢量差分之和,导出对象块的矢量;参照图像存储部,存储参照图像;预测图像生成部,从所述参照图像存储部读出所述矢量导出部生成的对象块的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像;以及参考层判定部,判定所述对象块的矢量或者所述矢量差分是否为不同的层间的预测,所述矢量差分解码部基于所述参考层判定部是否判定为是不同的层间的预测,分配上下文。
(14)本发明的其他的方式也可以是上述的图像解码装置,所述矢量差分解码部构成为,在所述参考层判定部判定为是不同的层间的预测的情况下,对构成所述矢量差分的垂直分量的语法元素和构成所述矢量差分的水平分量的语法元素分配分别不同的上下文。
(15)本发明的其他的方式也可以是上述的图像解码装置,所述矢量差分解码部构成为,在所述参考层判定部判定为是不同的层间的预测的情况和没有判定为是不同的层间的预测的情况下,至少对构成所述矢量差分的一个分量的语法元素分配所述分别不同的上下文。
(16)本发明的其他的方式也可以是上述的图像解码装置,所述语法元素是表示所述矢量差分的绝对值是否超过0的信息。
(17)本发明的其他的方式也可以是上述的图像解码装置,所述参考层判定部构成为,使用对象块所属的对象图像和参照图像所属的参照图像所涉及的时刻、视角识别符或者长时间参照图像是否相互不同,判定为是不同的层间的预测。
(18)本发明的其他的方式也可以是上述的图像解码装置,所述参考层判定部构成为,基于对象图像所属的对象图像不是基准层所涉及的图像或者不是基准视角所涉及的图像,判定为是不同的层间的预测。
(19)本发明的其他的方式是一种图像编码装置,包括:矢量差分编码部,导出算术符号的上下文,对矢量差分进行编码;矢量差分导出部,根据处理完毕的块的矢量和对象块的矢量,导出所述矢量差分;参照图像存储部,存储参照图像;预测图像生成部,从所述参照图像存储部读出对象块的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像;以及参考层判定部,判定矢量或者矢量差分是否为不同的层间的预测,所述矢量差分编码部基于所述参考层判定部是否判定为是不同的层间的预测,分配上下文。
(20)本发明的其他的方式是一种图像解码装置,包括:预测参数存储部,将导出完毕的预测参数按图像的预先确定的每个区域进行存储;预测参数导出部,导出对象预测块的预测参数或者预测矢量;参照图像存储部,存储参照图像;以及预测图像生成部,从所述参照图像存储部读出所述预测参数导出部导出的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,所述预测参数导出部包括预测参数参照部,该预测参数参照部参照在所述预测参数存储部中存储的预测参数,所述预测参数参照部包括外部层参照地址变换部,该外部层参照地址变换部在属于所述对象预测块的对象图像和作为所述参照图像的一部分的参照块所属的参照图像属于不同的层的情况下,变换参照参照块的预测参数的坐标。
(21)本发明的其他的方式也可以是上述的图像解码装置,所述外部层参照地址变换部构成为,变换坐标的运算包括将该坐标以较大的单位离散化的运算。
(22)本发明的其他的方式是一种图像编码装置,包括:预测参数存储部,将导出完毕的预测参数按图像的预先确定的每个区域进行存储;预测参数导出部,导出对象预测块的预测参数或者预测矢量;参照图像存储部,存储参照图像;以及预测图像生成部,从所述参照图像存储部读出所述预测参数导出部导出的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,所述预测参数导出部包括预测参数参照部,该预测参数参照部参照在所述预测参数存储部中存储的预测参数,进一步,所述预测参数参照部包括外部层参照地址变换部,该外部层参照地址变换部在所述对象预测块所属的对象图像和作为所述参照图像的一部分的参照块所属的参照图像属于不同的层的情况下,变换参照参照块的预测参数的坐标。
另外,也可以通过计算机来实现上述的实施方式中的图像编码装置11-11h、图像解码装置31-31h的一部分、例如熵解码部301、预测参数解码部302、预测图象生成部101、DCT/量化部103、熵编码部104、逆量化/逆DCT部105、编码参数决定部110、预测参数编码部111、熵解码部301、预测参数解码部302、预测图象生成部308、逆量化/逆DCT部311。此时,将用于实现该控制功能的程序记录在计算机可读取的记录介质中,使计算机***读入在该记录介质中记录的程序而执行,也可以实现。另外,这里所称的“计算机***”是在图像编码装置11-11h、图像解码装置31-31h的其中一个中内置的计算机***,包括OS或周边设备等的硬件。此外,“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等的可移动介质、在计算机***中内置的硬盘等的存储装置。此外,“计算机可读取的记录介质”既可以包含如在经由互联网等的网络或电话线路等的通信线路而发送程序的情况下的通信线那样、短时间内动态地保持程序的介质,也可以包含如成为此时的服务器或客户端的计算机***内部的易失性存储器那样、一定时间保持程序的介质。此外,上述程序既可以用于实现前述的功能的一部分,进一步,也可以与在计算机***中已经记录的程序的组合来实现前述的功能。
此外,既可以将上述的实施方式中的图像编码装置11-11e、图像解码装置31-31e的一部分或者全部作为LSI(大规模集成电路(LargeScale Integration))等的集成电路来实现。图像编码装置11-11e、图像解码装置31-31e的各功能块既可以单独处理器化,也可以将一部分或者全部集成而处理器化。此外,集成电路化的方法并不限定于LSI,也可以通过专用电路或者通用处理器来实现。此外,在随着半导体技术的进步而出现了代替LSI的集成电路化的技术的情况下,也可以使用基于该技术的集成电路。
以上,参照附图详细说明了本发明的一实施方式,但具体的结构并不限定于上述的方式,在不脱离本发明的要旨的范围内能够进行各种设计变更等。
产业上的可利用性
本发明能够应用于对多个视点的图像进行编码的装置、对进行了编码的图像进行解码的装置等。
附图标记说明
1 图像传输***
11、11a-11h 图像编码装置
101 预测图象生成部
102 减法部
103 DCT/量化部
104、104f、104g 熵编码部
1041 算术编码部
10411 上下文记录更新部
10412 比特编码部
1042f 参考层判定部
1043f、1043g 矢量差分语法编码部
1044g 目标层判定部
105 逆量化/逆DCT部
106 加法部
108 预测参数存储器
109 参照图象存储器
110 编码参数决定部
111 预测参数编码部
112、112c 外部预测参数编码部
1121、1121e、1122h 合并预测参数导出部
11213 预测参数参照部
11211 合并候选导出部
11212 合并候选选择部
1122、1122h AMVP预测参数导出部
1123、1123a 减法部
1124、1124a、1124d 位移矢量限幅部
1125 位移矢量生成部
1126 预测参数合并部
1127 矢量候选导出部
1128 预测矢量选择部
1129 预测参数参照部
113 内部预测参数编码部
21 网络
31、31a-31h 图像解码装置
301、301f、301g 熵解码部
3011 算术符号解码部
30111 上下文记录更新部
30112 比特解码部
3012 参考索引解码部
3013、3013f、3013g 矢量差分语法解码部
3014 层ID解码部
30171 目标层判定部
302 预测参数解码部
303、303c、303d 外部预测参数解码部
3031 外部预测参数提取部
30311 参考层判定部
30312 矢量差分解码部
3032、3032a、3032h AMVP预测参数导出部
30321a 视差预测矢量限幅部
3033 矢量候选导出部
30335、30335e 扩展矢量候选导出部
30336 位移矢量取得部
30337 外部层矢量候选导出部
30338 位移矢量限幅部
30339 矢量候选存储部
3034 预测矢量选择部
3035 加法部
3036、3036e、3036h 合并预测参数导出部
30360 扩展合并候选导出部
30361 位移矢量取得部
30363 外部层合并候选导出部
30364 合并候选导出部
30365 合并候选选择部
3037 位移矢量限幅部
30371 参考层判定部
30372 矢量限幅部
3038 位移矢量生成部
30381 参考层判定部
30382 位移矢量设定部
3039 预测参数参照部
30391 空间预测参照地址变换部
30392 时间预测参照地址变换部
30393 外部层参照地址变换部
304 内部预测参数解码部
306 参照图象存储器
3061 内部存储器
307 预测参数存储器
3071 对象CTB预测参数存储器
3072 左CTB栏预测参数存储器
3073 上CTB线预测参数存储器
3074 时间预测参数存储器
3075 外部层预测参数存储器
3076 内部存储器
308 预测图象生成部
309 外部预测图象生成部
3091 位移预测图象生成部
310 内部预测图象生成部
311 逆量化/逆DCT部
312 加法部
41 图像显示装置
Claims (17)
1.一种图像解码装置,包括:
预测参数导出部,导出对象预测块的预测参数;以及
预测图像生成部,读出所述预测参数导出部导出的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,
所述预测参数导出部包括外部层参照地址变换部,该外部层参照地址变换部在属于所述对象预测块的对象图像和作为所述参照图像的一部分的参照块所属的参照图像属于不同的层的情况下,变换参照参照块的预测参数的坐标。
2.如权利要求1所述的图像解码装置,
所述外部层参照地址变换部变换坐标的运算包括将该坐标以较大的单位离散化的运算。
3.如权利要求2所述的图像解码装置,
所述外部层参照地址变换部变换坐标的运算是将X坐标以及Y坐标向右移位3比特再向左移位3比特的运算。
4.一种图像编码装置,包括:
预测参数导出部,导出对象预测块的预测参数或者预测矢量;以及
预测图像生成部,读出所述预测参数导出部导出的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,
所述预测参数导出部包括:
预测参数参照部,参照所存储的预测参数;以及
外部层参照地址变换部,在所述对象预测块所属的对象图像以及作为所述参照图像的一部分的参照块所属的参照图像属于不同的层的情况下,变换参照参照块的预测参数的坐标。
5.一种图像解码装置,包括:
矢量差分解码部,导出算术符号的上下文,并根据编码数据而解码矢量差分;
矢量导出部,根据处理完毕的块的矢量和所述矢量差分之和,导出对象块的矢量;以及
预测图像生成部,读出所述矢量导出部生成的对象块的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,
所述矢量差分解码部基于所述对象块的矢量或者所述矢量差分是否为不同的层间的预测,分配上下文。
6.如权利要求5所述的图像解码装置,
所述矢量差分解码部在所述对象块的矢量或者所述矢量差分为不同的层间的预测的情况下,对构成所述矢量差分的垂直分量的语法元素和构成所述矢量差分的水平分量的语法元素分别分配不同的上下文。
7.如权利要求5所述的图像解码装置,
所述矢量差分解码部在所述对象块的矢量或者所述矢量差分是否为不同的层间的预测的判定中,判定为不同的层间的预测的情况和没有判定为不同的层间的预测的情况下,至少对构成所述矢量差分的一个分量的语法元素分别分配所述不同的上下文。
8.如权利要求6或7所述的图像解码装置,
所述语法元素是表示所述矢量差分的绝对值是否超过0的信息。
9.一种图像编码装置,包括:
矢量差分编码部,导出算术符号的上下文,对矢量差分进行编码;
矢量差分导出部,根据处理完毕的块的矢量和对象块的矢量,导出所述矢量差分;以及
预测图像生成部,读出所述矢量差分导出部生成的对象块的矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像,
所述矢量差分导出部基于所述对象块的矢量或者所述矢量差分是否为不同的层间的预测,分配上下文。
10.一种图像解码装置,包括:
位移矢量生成部,基于表示第一层图像和不同于所述第一层图像的第二层图像之间的位移的符号,生成表示所述位移的位移矢量;
位移矢量限制部,将所述位移矢量限制为预先确定的范围内的值;以及
预测图像生成部,读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
11.如权利要求10所述的图像解码装置,
在所述位移矢量限制部限制所述位移矢量的值的范围中,垂直分量的范围小于水平分量的范围。
12.如权利要求10所述的图像解码装置,包括:
预测参数导出部,参照所述位移矢量限制部限制的位移矢量表示的区域所涉及的预测参数,导出运动矢量或者位移矢量的预测值即预测矢量,作为预测参数的至少一部分。
13.一种图像编码装置,包括:
位移矢量生成部,基于第一层图像和不同于所述第一层图像的第二层图像之间的位移的一部分,生成表示所述位移的一部分和所述位移的其他的一部分的位移矢量;以及
预测图像生成部,读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
14.一种图像编码装置,包括:
位移矢量生成部,基于表示第一层图像和不同于所述第一层图像的第二层图像之间的位移的符号,生成表示所述位移的位移矢量;
位移矢量限制部,将所述位移矢量限制为预先确定的范围内的值;以及
预测图像生成部,读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
15.一种图像解码装置,包括:
位移矢量生成部,基于表示第一层图像和不同于所述第一层图像的第二层图像之间的位移的一部分的符号,生成表示所述位移的一部分和所述位移的其他的一部分的位移矢量;以及
预测图像生成部,读出所述位移矢量生成部生成的位移矢量表示的区域的参照图像,并基于读出的参照图像而生成预测图像。
16.如权利要求15所述的图像解码装置,
所述位移的一部分是所述位移的水平分量,所述位移的其他的一部分是所述位移的垂直分量,
所述位移矢量生成部将所述垂直分量、该垂直分量的预测值或者该垂直分量的预测残差确定为预先确定的值。
17.如权利要求16所述的图像解码装置,
所述位移的一部分是所述位移的水平分量,所述位移的其他的一部分是所述位移的垂直分量,
所述位移矢量生成部基于表示垂直分量和水平方向的关系的符号,计算所述位移的垂直分量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-217904 | 2012-09-28 | ||
JP2012217904 | 2012-09-28 | ||
PCT/JP2013/076016 WO2014050948A1 (ja) | 2012-09-28 | 2013-09-26 | 画像復号装置及び画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104685881A true CN104685881A (zh) | 2015-06-03 |
CN104685881B CN104685881B (zh) | 2018-05-15 |
Family
ID=50388343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380051048.9A Expired - Fee Related CN104685881B (zh) | 2012-09-28 | 2013-09-26 | 图像解码装置、图像编码装置以及图像解码方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9369728B2 (zh) |
EP (1) | EP2903285A4 (zh) |
JP (2) | JPWO2014050948A1 (zh) |
CN (1) | CN104685881B (zh) |
HK (1) | HK1208294A1 (zh) |
WO (1) | WO2014050948A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108605138A (zh) * | 2016-02-01 | 2018-09-28 | 夏普株式会社 | 预测图像生成装置、运动图像解码装置、以及运动图像编码装置 |
US11140400B2 (en) | 2015-06-05 | 2021-10-05 | Sony Corporation | Image processing apparatus and image processing method for intra BC prediction |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140121315A (ko) * | 2013-04-04 | 2014-10-15 | 한국전자통신연구원 | 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치 |
RU2654129C2 (ru) | 2013-10-14 | 2018-05-16 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений |
EP3058736B1 (en) | 2013-10-14 | 2019-02-27 | Microsoft Technology Licensing, LLC | Encoder-side options for intra block copy prediction mode for video and image coding |
US10187641B2 (en) | 2013-12-24 | 2019-01-22 | Kt Corporation | Method and apparatus for encoding/decoding multilayer video signal |
RU2669005C2 (ru) * | 2014-01-03 | 2018-10-05 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Предсказание вектора блока в кодировании/декодировании видео и изображений |
US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
WO2015147427A1 (ko) * | 2014-03-24 | 2015-10-01 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
US20170201773A1 (en) * | 2014-06-12 | 2017-07-13 | Nec Corporation | Video coding apparatus, video coding method, and recording medium |
KR102413529B1 (ko) | 2014-06-19 | 2022-06-24 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 통합된 인트라 블록 카피 및 인터 예측 모드 |
WO2016049839A1 (en) | 2014-09-30 | 2016-04-07 | Microsoft Technology Licensing, Llc | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
WO2019185884A1 (en) * | 2018-03-29 | 2019-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for selecting an intra-prediction mode for padding |
US12010336B2 (en) * | 2019-01-01 | 2024-06-11 | Lg Electronics Inc. | Method and apparatus for processing video signal on basis of inter prediction |
WO2020180153A1 (ko) * | 2019-03-06 | 2020-09-10 | 엘지전자 주식회사 | 인터 예측을 위한 비디오 신호의 처리 방법 및 장치 |
US11962329B2 (en) * | 2019-08-30 | 2024-04-16 | Sony Semiconductor Solutions Corporation | Encoding device, encoding method, decoding device, decoding method, and program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1674677A (zh) * | 2005-04-21 | 2005-09-28 | 上海大学 | 改进的fgs视频编码方法及其编解码器 |
CN101185342A (zh) * | 2005-04-29 | 2008-05-21 | 三星电子株式会社 | 支持快速精细可分级的视频编码方法和装置 |
US20090225845A1 (en) * | 2008-03-10 | 2009-09-10 | Neomagic Corp. | Multi-Directional Motion Estimation Using Parallel Processors and Pre-Computed Search-Strategy Offset Tables |
WO2011138584A1 (en) * | 2010-05-04 | 2011-11-10 | Aspex Semiconductor Limited | Apparatus and method for block motion estimation |
JP2012129951A (ja) * | 2010-12-17 | 2012-07-05 | Toshiba Corp | 動画像復号装置及び動画像復号方法 |
CN102647594A (zh) * | 2012-04-18 | 2012-08-22 | 北京大学 | 一种整像素精度运动估计方法及其*** |
WO2012124121A1 (ja) * | 2011-03-17 | 2012-09-20 | 富士通株式会社 | 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006118383A1 (en) * | 2005-04-29 | 2006-11-09 | Samsung Electronics Co., Ltd. | Video coding method and apparatus supporting fast fine granular scalability |
CN101681499B (zh) * | 2007-06-14 | 2013-04-24 | 汤姆逊许可证公司 | 修改经编码的比特流 |
WO2009003499A1 (en) * | 2007-06-29 | 2009-01-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scalable video coding supporting pixel value refinement scalability |
JP5844263B2 (ja) * | 2009-10-05 | 2016-01-13 | ビーマル イメージング リミテッドBeamr Imaging Ltd. | デジタル画像を再圧縮するための装置および方法 |
US8787459B2 (en) * | 2010-11-09 | 2014-07-22 | Sony Computer Entertainment Inc. | Video coding methods and apparatus |
KR102390352B1 (ko) * | 2011-01-07 | 2022-04-25 | 엘지전자 주식회사 | 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 |
US9426463B2 (en) * | 2012-02-08 | 2016-08-23 | Qualcomm Incorporated | Restriction of prediction units in B slices to uni-directional inter prediction |
US9641836B2 (en) * | 2012-08-07 | 2017-05-02 | Qualcomm Incorporated | Weighted difference prediction under the framework of generalized residual prediction |
US20150229967A1 (en) * | 2012-08-21 | 2015-08-13 | Samsung Electronics Co., Ltd. | Inter-layer video coding method and device for predictive information based on tree structure coding unit, and inter-layer video decoding method and device for predictive informationbased on tree structure coding unit |
KR102445274B1 (ko) * | 2012-10-01 | 2022-09-20 | 지이 비디오 컴프레션, 엘엘씨 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
US20140218473A1 (en) * | 2013-01-07 | 2014-08-07 | Nokia Corporation | Method and apparatus for video coding and decoding |
US9930363B2 (en) * | 2013-04-12 | 2018-03-27 | Nokia Technologies Oy | Harmonized inter-view and view synthesis prediction for 3D video coding |
-
2013
- 2013-09-26 CN CN201380051048.9A patent/CN104685881B/zh not_active Expired - Fee Related
- 2013-09-26 JP JP2014538580A patent/JPWO2014050948A1/ja not_active Ceased
- 2013-09-26 EP EP13841962.7A patent/EP2903285A4/en not_active Withdrawn
- 2013-09-26 WO PCT/JP2013/076016 patent/WO2014050948A1/ja active Application Filing
- 2013-09-26 US US14/431,346 patent/US9369728B2/en not_active Expired - Fee Related
-
2015
- 2015-09-10 HK HK15108848.0A patent/HK1208294A1/zh not_active IP Right Cessation
-
2016
- 2016-03-21 US US15/075,305 patent/US9571850B2/en active Active
- 2016-12-20 JP JP2016247006A patent/JP6225241B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1674677A (zh) * | 2005-04-21 | 2005-09-28 | 上海大学 | 改进的fgs视频编码方法及其编解码器 |
CN101185342A (zh) * | 2005-04-29 | 2008-05-21 | 三星电子株式会社 | 支持快速精细可分级的视频编码方法和装置 |
US20090225845A1 (en) * | 2008-03-10 | 2009-09-10 | Neomagic Corp. | Multi-Directional Motion Estimation Using Parallel Processors and Pre-Computed Search-Strategy Offset Tables |
WO2011138584A1 (en) * | 2010-05-04 | 2011-11-10 | Aspex Semiconductor Limited | Apparatus and method for block motion estimation |
JP2012129951A (ja) * | 2010-12-17 | 2012-07-05 | Toshiba Corp | 動画像復号装置及び動画像復号方法 |
WO2012124121A1 (ja) * | 2011-03-17 | 2012-09-20 | 富士通株式会社 | 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム |
CN102647594A (zh) * | 2012-04-18 | 2012-08-22 | 北京大学 | 一种整像素精度运动估计方法及其*** |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11140400B2 (en) | 2015-06-05 | 2021-10-05 | Sony Corporation | Image processing apparatus and image processing method for intra BC prediction |
CN108605138A (zh) * | 2016-02-01 | 2018-09-28 | 夏普株式会社 | 预测图像生成装置、运动图像解码装置、以及运动图像编码装置 |
CN108605138B (zh) * | 2016-02-01 | 2022-08-09 | Oppo广东移动通信有限公司 | 预测图像生成装置、运动图像解码装置、以及运动图像编码装置 |
US11722693B2 (en) | 2016-02-01 | 2023-08-08 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Prediction image generation device, moving image decoding device, and moving image coding device |
US11729419B2 (en) | 2016-02-01 | 2023-08-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Prediction image generation device, moving image decoding device, and moving image coding device |
US11770555B2 (en) | 2016-02-01 | 2023-09-26 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Prediction image generation device, moving image decoding device, and moving image coding device |
Also Published As
Publication number | Publication date |
---|---|
HK1208294A1 (zh) | 2016-02-26 |
CN104685881B (zh) | 2018-05-15 |
JP2017055458A (ja) | 2017-03-16 |
JPWO2014050948A1 (ja) | 2016-08-22 |
EP2903285A1 (en) | 2015-08-05 |
US9369728B2 (en) | 2016-06-14 |
EP2903285A4 (en) | 2016-06-01 |
JP6225241B2 (ja) | 2017-11-01 |
WO2014050948A1 (ja) | 2014-04-03 |
US9571850B2 (en) | 2017-02-14 |
US20150256844A1 (en) | 2015-09-10 |
US20160205411A1 (en) | 2016-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6225241B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 | |
CN107690809B (zh) | 使用空间及/或时间运动信息的子预测单元运动向量预测 | |
US9699450B2 (en) | Inter-view predicted motion vector for 3D video | |
JP6615606B2 (ja) | 3d−hevcに関する視差ベクトル構築方法 | |
KR102180859B1 (ko) | 3d 비디오 코딩에서 디스패리티 벡터 도출 및 모션 벡터 예측에 대한 단순화 | |
JP6336987B2 (ja) | 3d映像に関するインタービュー動き予測 | |
JP6337104B2 (ja) | テクスチャコーディングのためのより正確な高度残差予測(arp) | |
TWI501611B (zh) | 用於3d視訊之視圖間預測之運動向量 | |
JP6271575B2 (ja) | 3dビデオのための高度マージ/スキップモード及び高度動きベクトル予測(amvp)モード | |
JP6359549B2 (ja) | 3次元ビデオコーディングにおける適応ルミナンス補償 | |
CN105556969B (zh) | 视频译码中使用视差向量的块识别 | |
JP2016530848A (ja) | 非対称動き分割を使用するビデオコーディング技法 | |
JP2015507883A (ja) | 深度を用いた3dビデオコーディングにおける多仮説視差ベクトル構成 | |
TW201340724A (zh) | 視訊寫碼中之像差向量預測 | |
KR20170005464A (ko) | 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램 | |
US20140177720A1 (en) | Constraints on neighboring block based disparity vector (nbdv) techniques for 3d video | |
CN109547800B (zh) | 用于3d-hevc的简化高级残余预测 | |
CN113678455B (zh) | 用于导出双预测的权重索引信息的视频或图像编码 | |
JP2018064291A (ja) | 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法 | |
JP2015173304A (ja) | 予測ベクトル生成装置、画像符号化装置、および画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1208294 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1208294 Country of ref document: HK |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180515 |
|
CF01 | Termination of patent right due to non-payment of annual fee |