CN112204978A - 图像解码装置以及图像编码装置 - Google Patents

图像解码装置以及图像编码装置 Download PDF

Info

Publication number
CN112204978A
CN112204978A CN201980035401.1A CN201980035401A CN112204978A CN 112204978 A CN112204978 A CN 112204978A CN 201980035401 A CN201980035401 A CN 201980035401A CN 112204978 A CN112204978 A CN 112204978A
Authority
CN
China
Prior art keywords
ctu
image
prediction
target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980035401.1A
Other languages
English (en)
Other versions
CN112204978B (zh
Inventor
猪饲知宏
八杉将伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
FG Innovation Co Ltd
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FG Innovation Co Ltd, Sharp Corp filed Critical FG Innovation Co Ltd
Priority to CN202410180171.0A priority Critical patent/CN118138778A/zh
Priority to CN202410180176.3A priority patent/CN118138779A/zh
Priority to CN202410178996.9A priority patent/CN118138777A/zh
Publication of CN112204978A publication Critical patent/CN112204978A/zh
Application granted granted Critical
Publication of CN112204978B publication Critical patent/CN112204978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明抑制基于WPP处理的延迟。图像解码装置(31)具备:预测图像生成部(308),使用包括对象CTU的CTU行的上一行CTU行上的到比同一位置前进一个CTU的位置为止的解码完成数据;以及熵解码部(301),使用包括对象CTU的CTU行的上一行CTU行上的到比对象CTU的同一位置前进一个CTU的位置为止的解码完成数据进行对象CTU的解码。

Description

图像解码装置以及图像编码装置
技术领域
本发明的实施方式涉及图像解码装置以及图像编码装置。
背景技术
为了高效地传输或记录运动图像,使用通过对运动图像进行编码而生成编码数据的运动图像编码装置,以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式,例如可列举出在H.264/AVC、HEVC(High-Efficiency Video Coding:高效运动图像编码)中提出的方式等。
在这种运动图像编码方式中,构成运动图像的图像(图片)通过分级结构来管理,并按每个CU进行编码/解码,所述分级结构包括通过分割图像而得到的切片、通过分割切片而得到的编码树单元(CTU:Coding Tree Unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(Coding Unit:CU))以及通过分割编码单位而得到的块即预测单元(PU)、变换单元(TU)。
此外,在这种运动图像编码方式中,通常,基于通过对输入图像进行编码/解码而得到的局部解码图像生成预测图像,对从输入图像(原图像)中减去该预测图像而得到的预测残差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法,可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。
此外,作为近年来的运动图像编码和解码的技术,可列举出非专利文献1。
此外,在上述的HEVC中,存在被称为WPP(Wavefront Parallel Processing:波前并行处理)的处理,该处理使各CTU行的编码/解码处理分别移位两个CTU执行。
现有技术文献
非专利文献
非专利文献1:“Algorithm Description of Joint Exploration Test Model5”,JVET-E1001,Joint Video-Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IECJTC I/SC 29/WG 11,12-20January 2017
发明内容
发明要解决的问题
在上述的WPP中,使各CTU行顺次移位两个CTU进行编码/解码处理,因此存在CTU行越增加处理越延迟这一问题。此外,也存在CTU大小越大延迟量也越大这一问题。
技术方案
为了解决上述问题,本发明的一个方案的图像解码装置是一种将图片分成多个CTU行,从上顺次对各CTU行进行解码的图像解码装置,其特征在于,具备:预测图像生成部,在生成预测图像的情况下,使用CTU的解码完成数据生成对象CTU的预测图像,所述CTU的解码完成数据是包括对象CTU的第一CTU行的上一行CTU行(第二CTU行)上的到相对于对象CTU的同一位置前进规定的常数的位置为止的CTU的解码完成数据;以及解码部,使用上述第二CTU行上的到相对于对象CTU的同一位置前进规定的常数的位置为止的CTU的信息,对对象CTU进行解码。
有益效果
根据本发明的一个方案,起到能抑制基于WPP处理的延迟这一效果。
附图说明
图1是表示本实施方式的编码流的数据的分级结构的图。
图2是表示本实施方式的图像编码装置的构成的框图。
图3是表示本实施方式的图像解码装置的构成的概略图。
图4的(a)~(c)是用于说明WPP的概要的图。
图5的(a)~(c)是用于说明WPP的问题的图。
图6的(a)、(b)是用于说明本实施方式的可用于帧内预测的范围的图。
图7是用于说明在本实施方式的处理中可利用的CABAC状态的位置的图。
图8的(a)~(c)是表示本实施方式的处理例的图。
图9的(a)、(b)是用于说明本实施方式的处理例的图。
图10是用于说明本实施方式的CTU内的扫描顺序的前一图。
图11表示HEVC中的块分割的语法例。
图12是表示本实施方式的块分割的语法例的图。
图13是表示二叉树分割的语法例的图。
图14的(a)、(b)是用于说明基于CTU的宽度来确定所参照的CTU的位置的处理的图。
图15的(a)、(b)是用于说明基于CTU是否具有纵长的形状来确定所参照的CTU的位置的处理的图。
图16是用于说明使用解码完成图片中的CABAC的状态对对象图片进行初始化的处理的图。
图17是用于说明在本实施方式中使用解码完成图片中的CABAC的状态对对象图片进行初始化的处理的图。
图18是示出本实施方式的搭载有图像编码装置的发送装置和搭载有图像解码装置的接收装置的构成的图。图18的(a)表示搭载有图像编码装置的发送装置,图18的(b)表示搭载有图像解码装置的接收装置。
图19是示出本实施方式的搭载有图像编码装置的记录装置和搭载有图像解码装置的再现装置的构成的图。图19的(a)表示搭载有图像编码装置的记录装置,图19的(b)表示搭载有图像解码装置的再现装置。
图20是表示本实施方式的图像传输***的构成的概略图。
具体实施方式
(第一实施方式)
以下,参照附图对本发明的实施方式进行说明。
图20是表示本实施方式的图像传输***1的构成的概略图。
图像传输***1是传输对编码对象图像进行编码而得到的编码,并对所传输的编码进行解码而显示图像的***。图像传输***1构成为包括图像编码装置(运动图像编码装置)11、网络21、图像解码装置(运动图像解码装置)31以及图像显示装置41。
图像编码装置11被输入表示单层或者多层的图像的图像T。层是指在存在一个以上构成某一时间的图片的情况下用于区分多张图片的概念。例如,当将同一图片在画质、分辨率不同的多层进行编码时则成为可伸缩编码,当将不同视点的图片在多层进行编码时则成为视点可伸缩编码。当在多层的图片间进行预测(层间预测、视点间预测)的情况下,编码效率大幅提高。此外,即使在不进行预测的情况(同时联播)的情况下,也能汇总编码数据。
网络21将图像编码装置11所生成的编码流Te传输至图像解码装置31。网络21是互联网(internet)、广域网(WAN:Wide Area Network)、小型网络(LAN:Local Area Network,局域网)或这些的组合。网络21不一定限定于双向的通信网,也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外,网络21也可以用DVD(Digital Versatile Disc:数字通用光盘)、BD(Blue-ray Disc:蓝光光盘)等记录有编码流Te的存储介质代替。
图像解码装置31对网络21所传输的编码流Te分别进行解码,生成分别解码后的一个或多个解码图像Td。
图像显示装置41显示图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence:电致发光)显示器等显示设备。此外,在空间可伸缩编码、SNR可伸缩编码中,在图像解码装置31、图像显示装置41具有高处理能力的情况下显示画质高的扩展层图像,在仅具有较低处理能力的情况下显示不需要扩展层那么高的处理能力、显示能力的基本层图像。
<运算符>
以下记述在本说明书中使用的运算符。
>>为向右位移,<<为向左位移,&为逐位AND,|为逐位OR,|=为OR代入运算符。
x?y:z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。
Clip3(a,b,c)是将c限幅于a以上b以下的值的函数,是在c<a的情况下返回a、在c>b的情况下返回b、在其他情况下返回c的函数(其中a<=b)。
<编码流Te的结构>
在对本实施方式的图像编码装置11和图像解码装置31进行详细说明之前,对由图像编码装置11生成并由图像解码装置31进行解码的编码流Te的数据结构进行说明。
图1是表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多张图片。图1的(a)~(f)分别是表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元(Coding Unit:CU)的图。
(编码视频序列)
在编码视频序列中,规定有图像解码装置31为了对处理对象的序列SEQ进行解码而参照的数据的集合。序列SEQ如图1的(a)所示,包括视频参数集(Video Parameter Set)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture Parameter Set)、图片PICT以及补充增强信息SEI(Supplemental Enhancement Information)。在此,在#后示出的值表示层ID。在图1中示出存在#0和#1即层0和层1的编码数据的示例,但层的种类和层数并不取决于此。
视频参数集VPS在由多层构成的运动图像中,规定有多个运动图像通用的编码参数的集合,以及运动图像中所包括的多层和与各层关联的编码参数的集合。
在序列参数集SPS中,规定有图像解码装置31为了对对象序列进行解码而参照的编码参数的集合。例如,规定有图片的宽度、高度。需要说明的是,SPS可以存在多个。在该情况下,从PPS中选择多个SPS中的任一个。
在图片参数集PPS中,规定有图像解码装置31为了对对象序列内的各图片进行解码而参照的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)和指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是,PPS可以存在多个。在该情况下,从对象序列内的各图片中选择多个PPS中的任一个。
(编码图片)
在编码图片中,规定有图像解码装置31为了对处理对象的图片PICT进行解码而参照的数据的集合。图片PICT如图1的(b)所示,包括切片S0~SNS-1(NS为图片PICT中所包括的切片的总数)。
需要说明的是,以下,在无需对各切片S0~SNS-1进行区分的情况下,有时会省略编码的下标来进行记述。此外,以下所说明的编码流Te中所包括的且带有下标的其他数据也是同样的。
(编码切片)
在编码切片中,规定有图像解码装置31为了对处理对象的切片S进行解码而参照的数据的集合。切片S如图1的(c)所示,包括切片报头(slice header)SH和切片数据SDATA。
切片报头SH中包括图像解码装置31为了确定对象切片的解码方法而参照的编码参数组。指定切片类型的切片类型的指定信息(slice_type)是切片报头SH中所包括的编码参数的一个示例。
作为能由切片类型指定信息指定的切片类型,可列举出:(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。
需要说明的是,切片报头SH中也可以包括上述编码视频序列中所包括的对图片参数集PPS的参照(pic_parameter_set_id)。
(编码切片数据)
在编码切片数据中,规定有图像解码装置31为了对处理对象的切片数据SDATA进行解码而参照的数据的集合。切片数据SDATA如图1的(d)所示,包括编码树单元(CTU:Coding Tree Unit)。CTU是构成切片的固定大小(例如64×64)的块,也称为最大编码单位(LCU:Largest Coding Unit)。
(编码树单元)
如图1的(e)所示,规定有图像解码装置31为了对处理对象的编码树单元进行解码而参照的数据的集合。编码树单元通过递归的四叉树分割来进行分割。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(CN:Coding Node)。四叉树的中间节点为编码节点,编码树单元本身也被规定为最上层的编码节点。CTU包括分割标志(cu_split_flag),在cu_split_flag为1的情况下,分割为四个编码节点CN。在cu_split_flag为0的情况下,编码节点CN具有一个编码单元(Coding Unit:CU)来作为节点而不被分割。编码单元CU是编码节点的末端节点,且不进行进一步分割。编码单元CU为编码处理的基本单位。
此外,在编码树单元CTU的大小为64×64像素的情况下,编码单元的大小可以取64×64像素、32×32像素、16×16像素以及8×8像素中的任一种。
(编码单元)
如图1的(f)所示,规定有图像解码装置31为了对处理对象的编码单元进行解码而参照的数据的集合。具体而言,编码单元由预测树、变换树以及CU报头CUH构成。在CU报头中规定有预测模式、分割方法(PU分割模式)等。
在预测树中规定有将编码单元分割为一个或多个而得到的各预测单元(PU)的预测信息(参照图片索引、运动矢量等)。如果换为其他表述,则预测单元是构成编码单元的一个或多个不重复的区域。此外,预测树包括通过上述分割得到的一个或多个预测单元。需要说明的是,以下将进一步分割预测单元而得到的预测单位称为“子块”。子块由多个像素构成。在预测单元与子块的大小相等的情况下,预测单元中的子块为一个。在预测单元的大小大于子块的大小的情况下,预测单元被分割成子块。例如在预测单元为8×8、子块为4×4的情况下,预测单元被分割成四个子块,包括水平分割的两部分和垂直分割的两部分。
预测处理可以按每个该预测单元(子块)进行。
预测树中的分割的种类大体来说有帧内预测的情况和帧间预测的情况这两种。帧内预测是同一图片内的预测,帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。
在帧内预测的情况下,分割方法有2N×2N(与编码单元相同大小)和N×N。
此外,在帧间预测的情况下,分割方法根据编码数据的PU分割模式(part_mode)来进行编码,有2N×2N(与编码单元相同大小)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N以及N×N等。需要说明的是,2N×N、N×2N表示1:1的对称分割,2N×nU、2N×nD以及nL×2N、nR×2N表示1:3、3:1的非对称分割。将CU中所包括的PU依次表示为PU0、PU1、PU2、PU3。
此外,在变换树中,编码单元被分割为一个或多个变换单元,并规定有各变换块的位置和大小。如果换为其他表述,则变换单元是构成编码单元的一个或多个不重复的区域。此外,变换树包括通过上述分割而得到的一个或多个变换单元。
变换树的分割中有将与编码单元相同的大小的区域分配为变换单元的分割和与上述CU的分割相同地通过递归的四叉树分割进行的分割。
变换处理按每个该变换单元进行。
(参照图片列表)
参照图片列表是由存储于参照图片存储器306的参照图片构成的列表。
(图像解码装置的构成)
接着,对本实施方式的图像解码装置31的构成进行说明。图3是表示本实施方式的图像解码装置31的构成的概略图。图像解码装置31构成为包括:熵解码部301、预测参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312。
此外,预测参数解码部302构成为包括帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。
熵解码部301对从外部输入的编码流Te进行熵解码,分离各个编码(语法要素)并进行解码。在分离后的编码中存在用于生成预测图像的预测信息和用于生成差分图像的残差信息等。
熵解码部301将分离后的编码的一部分输出至预测参数解码部302。分离后的编码的一部分例如是预测模式predMode、PU分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参照图片索引refIdxLX、预测矢量索引mvp_LX_idx以及差分矢量mvdLX。基于预测参数解码部302的指示来进行对哪一个编码进行解码的控制。熵解码部301将量化系数输出至逆量化/逆变换部311。该量化系数是在编码处理中对残差信号进行DCT(Discrete Cosine Transform,离散余弦变换)、DST(DiscreteSine Transform,离散正弦变换)、KLT(Karyhnen Loeve Transform,卡胡南列夫变换)等频率变换并量化而得到的系数。
帧间预测参数解码部303基于从熵解码部301输入的编码,参照存储于预测参数存储器307的预测参数来对帧间预测参数进行解码。
帧间预测参数解码部303将解码后的帧间预测参数输出至预测图像生成部308,此外还存储于预测参数存储器307。
帧内预测参数解码部304基于从熵解码部301输入的编码,参照存储于预测参数存储器307的预测参数来对帧内预测参数进行解码。帧内预测参数是指在一张图片内对CU进行预测的处理中所使用的参数,例如是帧内预测模式IntraPredMode。帧内预测参数解码部304将解码后的帧内预测参数输出至预测图像生成部308,再存储于预测参数存储器307。
帧内预测参数解码部304也可以推导出在亮度和色差上不同的帧内预测模式。在该情况下,帧内预测参数解码部304将亮度预测模式IntraPredModeY解码为亮度的预测参数,将色差预测模式IntraPredModeC解码为色差的预测参数。亮度预测模式IntraPredModeY为35个模式,平面预测(0)、DC预测(1)、方向预测(2~34)与其对应。色差预测模式IntraPredModeC使用平面预测(0)、DC预测(1)、方向预测(2~34)、LM模式(35)中的任一种。帧内预测参数解码部304也可以对表示IntraPredModeC是否是与亮度模式相同的模式的标志进行解码,如果标志表示是与亮度模式相同的模式,则将IntraPredModeY分配至IntraPredModeC,如果标志表示是与亮度模式不同的模式,则将平面预测(0)、DC预测(1)、方向预测(2~34)、LM模式(35)解码作为IntraPredModeC。
环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。
参照图片存储器306按每个编码对象的图片和CU将加法部312所生成的CU解码图像存储于预定的位置。
预测参数存储器307将预测参数按每个解码对象的图片和预测单元(或子块、固定大小块、像素)存储于预定的位置。具体而言,预测参数存储器307存储由帧间预测参数解码部303解码后的帧间预测参数、由帧内预测参数解码部304解码后的帧内预测参数以及由熵解码部301分离后的预测模式predMode。在所存储的帧间预测参数中,例如有预测列表利用标志predFlagLX(帧间预测标识符inter_pred_idc)、参照图片索引refIdxLX以及运动矢量mvLX。
预测图像生成部308被输入从熵解码部301输入的预测模式predMode,此外还从预测参数解码部302被输入预测参数。此外,预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在预测模式predMode所指示的预测模式下,使用被输入的预测参数和读出的参照图片(参照图片块)来生成PU或子块的预测图像。
在此,在预测模式predMode指示帧间预测模式的情况下,帧间预测图像生成部309使用从帧间预测参数解码部303输入的帧间预测参数和读出的参照图片(参照图片块),通过帧间预测来生成PU或子块的预测图像。
帧间预测图像生成部309对预测列表利用标志predFlagLX为1的参照图片列表(L0列表或者L1列表),根据参照图片索引refIdxLX所指示的参照图片,从参照图片存储器306中读出参照图片块,所述参照图片块位于以解码对象PU为基准的运动矢量mvLX所示的位置。帧间预测图像生成部309基于读出的参照图片块进行预测,生成PU的预测图像。帧间预测图像生成部309将生成的PU的预测图像输出至加法部312。在此,参照图片块是指参照图片上的像素的集合(通常为矩形因此称为块),是为了生成PU或子块的预测图像而参照的区域。
在预测模式predMode指示帧内预测模式的情况下,帧内预测图像生成部310使用从帧内预测参数解码部304输入的帧内预测参数和读出的参照图片来进行帧内预测。具体而言,帧内预测图像生成部310从参照图片存储器306中读出解码对象图片,即在已解码的PU中位于距离解码对象PU预定的范围的邻接PU。预定的范围是指在解码对象PU以所谓的光栅扫描的顺序顺次移动的情况下,例如为左、左上、上、右上的邻接PU中的任一个,根据帧内预测模式而不同。光栅扫描的顺序是在各图片中针对从上端至下端各行顺次从左端移动至右端的顺序。
帧内预测图像生成部310基于读出的邻接PU在帧内预测模式IntraPredMode所指示的预测模式下进行预测,并生成PU的预测图像。帧内预测图像生成部310将生成的PU的预测图像输出至加法部312。
在帧内预测参数解码部304中,在推导出亮度和色差上不同的帧内预测模式的情况下,帧内预测图像生成部310根据亮度预测模式IntraPredModeY,通过平面预测(0)、DC预测(1)、方向预测(2~34)中的任一种来生成亮度的PU的预测图像,并根据色差预测模式IntraPredModeC,通过平面预测(0)、DC预测(1)、方向预测(2~34)、LM模式(35)中的任一种来生成色差的PU的预测图像。
逆量化/逆变换部311将从熵解码部301输入的量化系数逆量化来求出变换系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST、逆KLT等逆频率变换,计算残差信号。逆量化/逆变换部311将计算出的残差信号输出至加法部312。
加法部312将从帧间预测图像生成部309或帧内预测图像生成部310输入的PU的预测图像和从逆量化/逆变换部311输入的残差信号与每个像素相加,生成PU的解码图像。加法部312将生成的PU的解码图像存储于参照图片存储器306,并向外部输出解码图像Td,该解码图像Td将生成的PU的解码图像按每张图片整合而得到。
(图像编码装置的构成)
接着,对本实施方式的图像编码装置11的构成进行说明。图2是表示本实施方式的图像编码装置11的构成的框图。图像编码装置11构成为包括:预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110以及预测参数编码部111。预测参数编码部111构成为包括帧间预测参数编码部112和帧内预测参数编码部113。
预测图像生成部101针对图像T的各图片,按每个将此图片分割而成的区域即编码单元CU生成预测单元PU的预测图像P。在此,预测图像生成部101基于从预测参数编码部111输入的预测参数,从参照图片存储器109中读出已解码的块。从预测参数编码部111输入的预测参数例如在帧间预测的情况下,是指运动矢量。预测图像生成部101以对象PU作为起点,读出运动矢量所示的位于参照图像上的位置的块。此外,在帧内预测的情况下,预测参数是指例如帧内预测模式。从参照图片存储器109中读出在帧内预测模式下使用的邻接PU的像素值,生成PU的预测图像P。预测图像生成部101针对读出的参照图片块,使用多种预测方式中的一种预测方式来生成PU的预测图像。预测图像生成部101将生成的PU的预测图像输出至减法部102。
需要说明的是,预测图像生成部101是与已说明的预测图像生成部308相同的动作。
预测图像生成部101使用从预测参数编码部输入的参数,基于从参照图片存储器中读出的参照块的像素值来生成PU的预测图像P。由预测图像生成部101生成的预测图像被输出至减法部102、加法部106。
减法部102从图像T所对应的PU的像素值中减去从预测图像生成部101输入的PU的预测图像P的信号值,生成残差信号。减法部102将生成的残差信号输出至变换/量化部103。
变换/量化部103对从减法部102输入的残差信号进行频率变换,计算出变换系数。变换/量化部103对计算出的变换系数进行量化,求出量化系数。变换/量化部103将求出的量化系数输出至熵编码部104和逆量化/逆变换部105。
熵编码部104被变换/量化部103输入量化系数,从预测参数编码部111被输入编码参数。在所输入的编码参数中,例如存在参照图片索引refIdxLX、预测矢量索引mvp_LX_idx、差分矢量mvdLX、预测模式predMode以及合并索引merge_idx等编码。
熵编码部104对被输入的量化系数和编码参数进行熵编码来生成编码流Te,并将生成的编码流Te输出至外部。
逆量化/逆变换部105对从变换/量化部103输入的量化系数进行逆量化,求出变换系数。逆量化/逆变换部105对求出的变换系数进行逆频率变换,计算出残差信号。逆量化/逆变换部105将计算出的残差信号输出至加法部106。
加法部106将从预测图像生成部101输入的PU的预测图像P的信号值和从逆量化/逆变换部105输入的残差信号的信号值与每个像素相加,生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。
环路滤波器107对加法部106所生成的解码图像施加去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)。
预测参数存储器108将编码参数确定部110所生成的预测参数按每个编码对象的图片和CU存储于预定的位置。
参照图片存储器109将环路滤波器107所生成的解码图像按编码对象的每个图片和CU存储于预定的位置。
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是上述的预测参数、与该预测参数关联而生成的作为编码对象的参数。预测图像生成部101使用这些编码参数的每一个集合来生成PU的预测图像。
编码参数确定部110对多个集合的每一个集合计算出表示信息量的大小和编码误差的成本值。成本值例如是编码量与平方误差乘以系数λ而得到的值之和。编码量是对量化误差和编码参数进行熵编码而得到的编码流Te的信息量。平方误差是在减法部102中计算出的残差信号的残差值的平方值的像素间的总和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此,熵编码部104将所选出的编码参数的集合作为编码流Te输出至外部,而不输出未被选择的编码参数的集合。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。
预测参数编码部111根据从编码参数确定部110输入的参数,推导出用于编码的形式,并输出至熵编码部104。用于编码的形式的推导是指例如由运动矢量和预测矢量推导出差分矢量。此外,预测参数编码部111由从编码参数确定部110输入的参数推导出生成预测图像所需的参数,并输出至预测图像生成部101。生成预测图像所需的参数是指例如以子块为单位的运动矢量。
帧间预测参数编码部112基于从编码参数确定部110输入的预测参数来推导出差分矢量那样的帧间预测参数。帧间预测参数编码部112包括一部分与帧间预测参数解码部303(参照图3等)推导出帧间预测参数的构成相同的构成,作为推导出生成输出至预测图像生成部101的预测图像所需的参数的构成。
帧内预测参数编码部113根据从编码参数确定部110输入的帧内预测模式IntraPredMode,推导出用于编码的形式(例如MPM_idx、rem_intra_luma_pred_mode等)。
需要说明的是,可以通过计算机实现前述的实施方式中的图像编码装置11、图像解码装置31的一部分,例如,熵解码部301、预测参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及预测参数编码部111。在该情况下,可以通过将用于实现该控制功能的程序记录于计算机可读记录介质,使计算机***读入记录于该记录介质的程序并执行来实现。需要说明的是,在此提到的“计算机***”是指内置于图像编码装置11、图像解码装置31中的任一个的计算机***,采用包括OS、***设备等硬件的计算机***。此外,“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机***的硬盘等存储装置。而且,“计算机可读记录介质”也可以包括:像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质;以及像作为该情况下的服务器、客户端的计算机***内部的易失性存储器那样保存程序固定时间的记录介质。此外,上述程序可以是用于实现上述功能的一部分的程序,也可以是能通过与已记录在计算机***中的程序进行组合来实现上述功能的程序。
此外,也可以将上述的实施方式中的图像编码装置11、图像解码装置31中的一部分或全部作为LSI(Large Scale Integration:大规模集成电路)等集成电路而实现。图像编码装置11、图像解码装置31的各功能块可以单独地处理器化,也可以将一部分或全部集成来处理器化。此外,集成电路化的方法并不限于LSI,也可以通过专用电路或通用处理器来实现。此外,在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下,也可以使用基于该技术的集成电路。
以上,参照附图对本发明的一实施方式详细地进行了说明,但具体构成并不限于上述实施方式,在不脱离本发明的主旨的范围内,可以进行各种设计变更等。
〔WPP〕
本实施方式的图像解码装置31和图像编码装置11进行基于WPP(WavefrontParallel Processing)的解码处理、编码处理。首先,参照图4对WPP的概要进行说明。图4的(a)~(c)是用于说明WPP的概要的图。WPP是按每个CTU行进行并行处理的技术,使CTU行的编码/解码处理延迟几个CTU时间依次执行。由此,能在对象CTU中的编码/解码处理中使用包括对象CTU的CTU行的上一行CTU行上的CABAC的发生概率。此外,能参照包括对象CTU的CTU行的上一行CTU行上的图像、预测参数。因此,与切片等相比,熵编码、帧内预测、帧间预测的性能更高。以下,图像解码装置31和图像编码装置11对指示是否进行WPP的标志entropy_coding_sync_enabled_flag进行解码或编码。
如图4的(a)所示,能在WPP中按每个CTU行例如延迟两个CTU时间进行处理(M=1)。此外,能在对象CTU的处理中例如使用该对象CTU的右上、上、左上、左的CTU的信息。
此外,在CTU行的起点对CABAC进行初始化(重置)以使各CTU行的CABAC编码(解码)独立。在WPP中,如图4的(b)所示,在entropy_coding_sync_enabled_flag为1的情况下,在各CTU行的起点复制从上一行CTU行的左起第M+1个(例如第二个)的CTU处理后的上下文并对CABAC状态进行初始化。在此,将左端的CTU称为第一个CTU。
此外,能在进行帧内预测和帧间预测的情况下将包括对象CTU的CTU行的上一行CTU行作为参照区域。在WPP中,如图4的(c)所示,进行帧内预测的情况下的参照区域也能使用包括对象CTU的CTU行的上一行CTU行上的到从对象CTU前进一个CTU的位置为止的CTU。能参照的范围不限于帧内预测,在帧间预测的情况下也是相同的。
〔WPP的问题〕
接着,参照图5,对HEVC中的WPP的问题进行说明。图5的(a)~(c)是用于说明WPP的问题的图。在HEVC的WPP中,使CTU行的编码/解码处理延迟两个CTU依次执行。存在延迟量固定为两个CTU而较大的问题。此外,若CTU宽度为2倍,则延迟量为2倍。例如,在如图5的(a)所示的CTU的宽度Wa为图5的(b)所示的CTU的宽度Wb的2倍的情况下,与图5的(b)所示的示例相比,图5的(a)所示的示例中的每个CTU行的延迟量为2倍。因此,存在CTU的宽度越大延迟量越大这一问题。需要说明的是,若CTU的宽度相同,则即使高度不同(图5的(b)和(c)),延迟量也相同。包括上述的问题在内,HEVC的WPP中存在以下的问题。
(问题1)存在延迟量M为1(两个CTU)而(特别是CTU大小较大的情况下)固定得较大这一问题。
(问题2)存在延迟量M根据CTU的宽度而增加这一问题。
(问题3)延迟量M是固定的,因此,无法减少延迟量来提高并行度。此外,无法提高延迟量M来提升熵编码、帧内预测、帧间预测的性能。
(问题4)在HEVC中,由CABAC的延迟量的范围决定预测的延迟量(范围)。即,存在决定预测的延迟量的参照可能性不取决于WPP的动作的有无(entropy_coding_sync_enabled_flag)的问题。因此,存在在帧内预测、帧间预测例如在参照上方的CTU行的像素、预测参数的处理中,WPP开启的情况下,实际上无法参照的问题。
(问题5)仅CABAC的延迟量规定为固定,预测的延迟量不是既定的。即,存在无法将CABAC的延迟量和预测的延迟量设为不同的值的问题。因此,例如,在预测处理前进行CABAC处理的图像解码装置中无法采用先开始CABAC处理后进行预测处理的构成(使CABAC的延迟量小于预测的延迟量的构成)。在CABAC处理前进行预测处理的图像编码装置中无法采用先开始预测处理后进行CABAC处理的构成(使CABAC的延迟量小于预测的延迟量的构成)。以下,在对预测的延迟量M和CABAC的延迟量M进行区分的情况下,将预测的延迟量记载为Mp,将CABAC的延迟量记载为Mc。
〔基本构成〕
如上所述,在HEVC的WPP中,使用对象CTU的上一行CTU行上的到从对象CTU前进一个的位置为止的CTU的信息进行解码。而且,在该处理中存在上述的问题。
因此,在本实施方式的预测图像生成部308和熵解码部301以WPP的方式按每个CTU行错开时间并行处理的情况下,通过以下的处理进行预测图像的生成、预测参数的推导或熵解码。需要说明的是,预测图像的生成的主体是预测图像生成部308,预测参数的推导的主体是帧间预测参数解码部303和帧内预测参数解码部304,熵解码的主体是熵解码部301。
〔帧内预测和帧间预测的延迟量削减〕
预测图像生成部308可以在通过帧内预测生成预测图像的情况下,仅使用包括对象块的CTU(对象CTU)的上一行CTU行上的到与对象CTU处于同一位置的CTU为止的像素值进行帧内预测来生成预测图像。在该情况下,与使用对象CTU的上一行CTU行上的到从对象CTU前进一个的(前一个的)「CTU为止的像素值的情况相比,能尽早开始帧内预测。这是因为可以不用等待对象CTU的上一行CTU行上的从与对象CTU处于同一位置的CTU前进一个的CTU的解码处理完成。
与预测图像生成部308同样地,帧间预测参数解码部303和帧内预测参数解码部304可以在通过帧间预测和帧内预测推导预测参数的情况下,使用对象CTU的上一行CTU行上的到与对象CTU处于同一位置的CTU为止的位置的预测参数来推导对象块的预测参数。例如,可以在空间合并候选的推导中的左上块、上块、右上块的运动信息的参照、推定帧内预测模式(MostProbableMode,MPM)推导中的左上块、上块、右上块的帧内预测模式的参照中,仅使用到处于同一位置的CTU为止的预测参数进行推导。即,可以将延迟M设定为1。
〔帧内预测限制和帧间预测限制的详情〕
更详细而言,预测图像生成部308和预测参数解码部302可以通过以下的对应进行上述的处理。在HEVC中,规定有在(xCurr,yCurr)所示的对象区域中推导表示(xNbY,yNbY)所示的邻接区域是否可利用的availableN的处理。在此,(xCurr,yCurr)是将对象图片中的的左上设为原点时的对象块的左上的坐标。(xNbY,yNbY)是将对象图片中的的左上设为原点时的邻接块的左上的坐标。而且,在(xNbY,yNbY)不可利用的情况下,将availableN设为FALSE(假)。需要说明的是,在HEVC中,判断(xNbY,yNbY)是否可利用的基准如下所示。
xNbY is less than 0(xNbY小于0)
yNbY is less than 0(yNbY小于0)
xNbY is greater than or equal to pic_width_in_luma_samples(xNbY大于等于pic_width_in_luma_samples)
yNbY is greater than or equal to pic_height_in_luma_samples(yNbY大于等于pic_height_in_luma_samples)
而且,本实施方式的预测图像生成部308和预测参数解码部302在推导availableN的处理中,在availableN=FALSE的条件下,将延迟量设为M(在以下的算式中为Mp,Mp=M),并加上“entropy_coding_sync_enabled_flag为1,并且xNbY的CTU位置从当前CTU位置来看先于处理的大小wCTU*(Mp+1)以上的情况”(wCTU为CTU宽度)这一条件进行处理。需要说明的是,entropy_coding_sync_enabled_flag是指示是否进行WPP的标志。因此,在本实施方式中,在满足以下的任一条件的情况下,将availableN设为FALSE。
xNbY is less than 0
yNbY is less than 0
xNbY is greater than or equal to pic_width_in_luma_samples
yNbY is greater than or equal to pic_height_in_luma_samples
entropy_coding_sync_enabled_flag is 1and CTU addr of xNbY is greaterthan or equal to CTU addr of xCurr+wCTU*(Mp+1)(entropy_coding_sync_enabled_flag为1,并且xNbY的CTU位置先于或等于xCurr+wCTU*(Mp+1)的CTU位置)
在此,能通过右移位ctuSizeBit来推导出以对象位置(xCurr,yCurr)、参照位置(xNbY,yNbY)的CTU宽度wCTU为单位的CTU位置,因此,在availableN为FALSE的情况下可以使用以下的算式进行推导。
entropy_coding_sync_enabled_flag is 1and(xNbY>>ctuSizeBit)isgreater than or equal to(xCurr>>ctuSizeBit)+Mp+1(entropy_coding_sync_enabled_flag为1,并且(xNbY>>ctuSizeBit)大于或等于(xCurr>>ctuSizeBit)+Mp+1)
在此,ctuSizeBit=log2(wCTU)。
或者,可以使用以下的算式进行推导。
entropy_coding_sync_enabled_flag is 1and(xNbY%wCTU)is greater thanor equal to(xCurr%wCTU)+Mp+1(entropy_coding_sync_enabled_flag为1,并且(xNbY%wCTU)大于或等于(xCurr%wCTU)+Mp+1)
需要说明的是,作为指示是否能参照的标志,可以不推导为画面外的标志availableN之一,而是推导为与WPP有关的标志。此时,能通过以下进行推导。
availableN=entropy_coding_sync_enabled_flag==0or(xNbY>>ctuSizeBit)is less than or equal to(xCurr>>ctuSizeBit)+Mp(availableN=entropy_coding_sync_enabled_flag==0或(xNbY>>ctuSizeBit)小于或等于(xCurr>>ctuSizeBit)+Mp)
以下也是同样的。
availableN=entropy_coding_sync_enabled_flag==0or(xNbY%wCTU)isless than or equal to(xCurr%wCTU)+Mp(availableN=entropy_coding_sync_enabled_flag==0或(xNbY%wCTU)小于或等于(xCurr%wCTU)+Mp)
此外,在本实施方式中,能通过适当设定M(Mp)来将能参照的CTU的范围设定为任意的位置。能通过将M设为小于1来解决问题1。例如,若M=0,则如图6的(a)所示,能用于帧内预测和帧间预测的参照CTU为对象CTU的上一行CTU行上的相同位置的CTU。此外,若M=0.5,则如图6的(b)所示,能用于帧内预测的参照CTU为对象CTU的上一行CTU行上的从相同位置的CTU前进0.5个CTU的区域。需要说明的是,在参照区域处于CTU的内部的情况下,能通过变更该CTU中的块扫描顺序来进行对应。在后文对变更块扫描顺序的处理进行叙述。
需要说明的是,可以通过以下推导出作为包括位置(xCurr,yCurr)的CTU的对象CTU的坐标(xCTU,yCTU)。
xCTU=xCurr/wCTU*wCTU=(xCurr>>ctuSizeBit)<<ctuSizeBit
yCTU=yCurr/hCTU*hCTU=(xCurr>>log2(hCTU))<<log2(hCTU)
在该情况下,本实施方式的预测图像生成部308可以将对象CTU(xCTU,yCTU)的上一行CTU行上的到xCTU+wCTU*(Mp+1)-1为止的图像用于帧内预测。此外,帧间预测参数解码部303和帧内预测参数解码部304也可以将到xCTU+wCTU*(Mp+1)-1为止的预测块的预测参数用于对象块的预测参数的推导。
如此,根据entropy_coding_sync_enabled_flag、对象位置(xCurr,yCurr)以及参照位置(xNb,yNb),推导出帧内预测和帧间预测的像素、预测参数的参照可能性availableN,由此,即使帧内预测和帧间预测的像素、预测参数的参照范围变大也能保证动作,有解决问题4的效果。
〔熵解码部的延迟量削减〕
熵解码部301可以在CABAC解码中,使用对象CTU的上一行CTU行上的同一位置的CTU的解码处理完成的时间点的CABAC状态来进行对象CTU的CABAC初始化。由此,与使用对象CTU的上一行CTU行上的从与对象CTU处于同一位置的CTU前进一个CTU的解码处理完成的时间点的CABAC状态的情况相比,能尽早开始CABAC处理。这是因为可以不用等待对象CTU的上一行CTU行上的从与对象CTU处于同一位置的CTU前进一个的CTU的解码处理完成。
更详细而言,熵解码部301通过以下的对应进行上述的处理。在HEVC中,在指示是否进行WPP的entropy_coding_sync_enabled_flag为1的情况下,将CTU行上的第二个CTU(CtbAddrInRs%PicWidthInCtbsY is equal to 1:CtbAddrInRs%PicWidthInCtbsY等于1)的CABAC状态保存在存储器(memory)中,在下一CTU行的第一个CTU(CtbAddrInRs%PicWidthInCtbsY is equal to 0:CtbAddrInRs%PicWidthInCtbsY等于0)中使用存储于存储器的CABAC状态进行初始化。在此,CtbAddrInRs是在图片内按光栅扫描顺序对CTU进行扫描时的CTU地址,PicWidthInCtbsY是图片的水平方向上的CTU的个数。与画面单位的块左上位置(xCurr,yCurr)的关系如下所示,因此可以使用像素单位的块左上位置来判定。以下是同样的。
(CtbAddrInRs%PicWidthInCtbsY)=(xCurr%wCTU)=(xCurr>>ctuSizeBit)
〔熵解码部的详情〕
本实施方式的熵解码部301在entropy_coding_sync_enabled_flag=1的情况下(WPP开启),将CTU行上的第Mc+1个CTU(CtbAddrInRs%PicWidthInCtbsY is equal to Mc:CtbAddrInRs%PicWidthInCtbsY等于Mc)时的CABAC状态存储于存储器。然后,在下一CTU行上的第一个CTU时(CtbAddrInRs%PicWidthInCtbsY is equal to0:CtbAddrInRs%PicWidthInCtbsY等于0)使用存储于存储器的CABAC状态进行初始化。
此外,在本实施方式中,能通过适当设定Mc来将CABAC初始化的位置设定为任意的位置。能通过将Mc设为小于1来解决问题1。
例如,若设为Mc=0,则能如图7所示在CABAC解码中使用对象CTU的上一行CTU行上的同一位置的CTU的解码处理完成的时间点的CABAC状态进行对象CTU的CABAC初始化。需要说明的是,在如HEVC中那样,使用对象CTU的上一行CTU行上的从与对象CTU处于同一位置的CTU前进一个的CTU的解码处理完成的时间点的CABAC状态的情况,设为Mc=1即可。
需要说明的是,图像编码装置11中的预测图像生成部101进行与上述的预测图像生成部308同样的处理。此外,图像编码装置11中的熵编码部104在CABAC的状态的初始化中进行与上述的熵解码部301中的CABAC的状态的初始化同样的处理。
如上所述,本实施方式的图像解码装置31是将图片分成多个CTU行,从上顺次对各CTU行进行解码的图像解码装置31,其具备:预测图像生成部308,使用包括对象CTU的上述CTU行(第一CTU行)的上一行上述CTU行(第二CTU行)上的到对象CTU的同一位置为止的解码完成数据,生成用于对象CTU的预测图像;以及
熵解码部301,使用上述第二CTU行上的与对象CTU同一位置的CABAC的状态进行对象CTU的解码。
〔处理例1〕
接着,参照图8的(a),对处理例1进行说明。在本处理例中,在对象CTU中的处理中,将在预测图像生成部308使用帧内预测生成预测图像的情况下所参照的参照CTU设为到对象CTU的上一行CTU行上的同一位置为止的CTU。此外,熵解码部301使用上一行CTU行上的同一位置的CTU的CABAC状态进行CTU行的第一个CTU中的CABAC状态的初始化。
即,在处理例1中,预测图像生成部308在上述的处理中设为Mp=0进行处理,熵解码部301在上述的处理中设为Mc=0进行处理。
换言之,预测图像生成部308可以将对象CTU(xCTU,yCTU)的上行CTU行上的到xCTU+wCTU*1-1为止的图像用于帧内预测。在帧间预测参数解码部303和帧内预测参数解码部304中也可以参照到xCTU+wCTU*1-1为止的块。此外,熵解码部301使用上一行CTU行上的第一个CTU中的处理完成的时间点的CABAC状态,进行处理对象的CTU行上的CABAC初始化。
如上所述,在本处理例的图像解码装置31的预测图像生成部308通过帧内预测生成预测图像的情况下,使用包括对象CTU的上述CTU行(第一CTU行)的上一行上述CTU行(第二CTU行)上的到对象CTU的同一位置为止的解码完成数据,生成用于对象CTU的解码的预测图像,
熵解码部301使用上述第二CTU行上的与对象CTU同一位置的CABAC的状态进行对象CTU的解码。需要说明的是,在帧间预测参数解码部303和帧内预测参数解码部304中也可以使用到对象CTU的同一位置为止的解码完成数据来推导出预测参数。
〔处理例2〕
接着,参照图8的(b),对处理例2进行说明。在本处理例中,在对象CTU中的处理中,将在预测图像生成部308使用帧内预测生成预测图像的情况下所参照的参照CTU设为对象CTU的上一行CTU行上的到从同一位置的CTU前进一个的CTU为止。此外,熵解码部301使用处于上一行CTU行上的同一位置的CTU的CABAC状态进行CTU行上的第一个CTU中的CABAC状态的初始化。
即,在处理例2中,预测图像生成部308在上述的处理中设为Mp=1进行处理,熵解码部301在上述的处理中设为Mc=0进行处理。
换言之,预测图像生成部308可以将对象CTU(xCTU,yCTU)的上一行CTU行上的到xCTU+wCTU*2-1为止的图像用于帧内预测。在帧间预测参数解码部303和帧内预测参数解码部304中也可以参照到xCTU+wCTU*2-1为止的块。此外,熵解码部301使用上一行CTU行上的第一个CTU中的处理完成的时间点的CABAC状态,进行处理对象的CTU行上的CABAC初始化。
如上所述,在处理例的图像解码装置31的预测图像生成部308通过帧内预测生成预测图像的情况下,使用包括对象CTU的上述CTU行(第一CTU行)的上一行上述CTU行(第二CTU行)上的到比对象CTU的同一位置前进一个CTU的位置为止的解码完成数据,生成用于对象CTU的解码的预测图像,熵解码部301使用上述第二CTU行上的与对象CTU同一位置的CABAC的状态进行对象CTU的解码。需要说明的是,在帧间预测参数解码部303和帧内预测参数解码部304中也可以使用到比对象CTU的同一位置前进一个CTU的位置为止的解码完成数据来推导出预测参数。
如此,能通过将CABAC的延迟量Mp和预测的延迟量Mc设定为不同的值(Mc<Mp)来解决问题5,实现在预测处理前进行CABAC处理的图像解码装置中先开始CABAC处理,后进行预测处理的构成(使CABAC的延迟量小于预测的延迟量的构成)。
反之,也可以是,预测图像生成部308在上述的处理中设为Mp=0进行处理,熵解码部301在上述的处理中设为Mc=1进行处理。能通过将CABAC的延迟量Mp和预测的延迟量Mc设定为不同的值(Mc>Mp)来实现在CABAC处理前进行预测处理的图像编码装置中先开始预测处理,后进行CABAC处理的构成(使CABAC的延迟量小于预测的延迟量的构成)。
〔处理例3〕
接着,参照图8的(c),对处理例3进行说明。在本处理例中,在对象CTU中的处理中,将在预测图像生成部308使用帧内预测生成预测图像的情况下所参照的参照CTU设为到从对象CTU的上一行CTU行上的同一位置的CTU前进0.5个CTU的区域(Mp=0.5)。此外,熵解码部301使用处于上一行CTU行上的同一位置的CTU的CABAC状态进行CTU行上的第一个CTU中的CABAC状态的初始化(Mc=0)。
即,在处理例3中,预测图像生成部308在上述的处理中设为Mp=0.5进行处理,熵解码部301在上述的处理中设为Mc=0进行处理。
换言之,预测图像生成部308可以将对象CTU(xCTU,yCTU)的上一行CTU行上的到xCTU+wCTU*1.5-1为止的图像用于帧内预测。在帧间预测参数解码部303和帧内预测参数解码部304中也可以参照到xCTU+wCTU*1.5-1为止的块。此外,熵解码部301使用上一行CTU行上的第一个CTU中的处理完成的时间点的CABAC状态,进行处理对象的CTU行上的CABAC初始化。
如上所述,在本处理例的图像解码装置31的预测图像生成部308通过帧内预测生成预测图像的情况下,使用包括对象CTU的上述CTU行(第一CTU行)的上一行上述CTU行(第二CTU行)上的到比对象CTU的同一位置前进0.5个CTU的位置为止的解码完成数据,生成用于对象CTU的解码的预测图像,熵解码部301使用上述第二CTU行上的与对象CTU同一位置的CABAC的状态进行对象CTU的解码。需要说明的是,也可以在帧间预测参数解码部303和帧内预测参数解码部304中使用到比对象CTU的同一位置前进0.5个CTU的位置为止的解码完成数据来推导出预测参数。
此外,如处理例1~3所示,在本实施方式中,也可以是,预测图像生成部308通过帧内预测生成预测图像时可利用的区域和熵解码部301用于进行CABAC初始化的CTU的区域不一定一致。
〔处理例4〕
在本处理例中,对于上述的基于WPP的处理,能选择使用对象CTU的上一行CTU行上的到从对象CTU的相同位置前进一个的位置为止的CTU的信息的处理(图9的(a))和在处理例1中说明过的处理。需要说明的是,在处理例1中说明过的处理是指使用对象CTU的上一行CTU行上的对象CTU的相同位置的CTU的信息的处理(图9的(b))。
在本处理例中,图像编码装置11在对象CTU中的处理中,将表示使用如下处理中的哪一个进行了处理的信息通过SPS、PPS或切片报头进行编码,并发送至图像解码装置31,所述处理包括:使用对象CTU的上一行CTU行上的到从对象CTU的相同位置前进一个位置为止的CTU的信息的处理(M=1)和处理例1中的处理(M=0)。此外,图像解码装置31对表示根据接收到的编码数据对对象CTU使用如下处理中的哪一个进行了处理的信息进行解码,所述处理包括:使用对象CTU的上一行CTU行上的到从对象CTU的相同的位置前进一个位置为止的CTU的信息的处理和处理例1中的处理。然后,基于该信息,进行对象CTU的上一行CTU行上的到从对象CTU的相同位置前进一个的位置为止的CTU的信息的处理,或进行处理例1中的处理。
上述信息可以是指示使用了哪一个处理的标志,也可以是表示可利用的位置的信息,例如上述的Mp和Mc的值。
如上所述,本处理例的图像解码装置31是将图片分成多个CTU行,从上顺次对各CTU行进行解码的图像解码装置31,其具备熵解码部301,对表示如下内容的信息进行解码:是否使用对象CTU的上一行CTU行(第二CTU行)上的到从对象CTU的相同位置前进一个的位置为止的CTU的信息(CABAC的状态)进行各CTU行上的起点CTU(对象CTU)中的基于WPP的解码处理,或者是否使用上述第二CTU行上的与对象CTU同一位置的CTU的信息(CABAC的状态)进行各CTU行上的起点CTU(对象CTU)中的基于WPP的解码处理。
需要说明的是,延迟量M(Mp,Mc)不限于0和1。例如,可以切换Mp=Mc=0、1、3、7。就是说,可以将切换M的语法或表示M本身的语法包含在编码数据中进行编码。由此,能解决无法减小延迟量来提高并行度,还有无法提高延迟量M来提升编码性能这一问题3。
(第二实施方式)
在本实施方式中,预测图像生成部308在进行WPP的情况下变更CTU内的块扫描顺序。CTU内的块扫描在HEVC中按光栅扫描顺序进行,但如图10所示在本实施方式中按纵向进行扫描。即,例如,在CTU被分割成四个块的情况下,若按光栅扫描顺序,则按左上、右上、左下、右下的顺序进行扫描,但在本实施方式中按左上、左下、右上、右下的顺序(图10的0→3的顺序)进行扫描。由此,能使扫描作为与下一行CTU行的边界的块的顺序(解码顺序、编码顺序)早于光栅扫描顺序。
例如,能在上述的实施方式1的处理例3的情况下抑制帧内预测和帧间预测的延迟。这是因为能在实施方式1的处理例3中,将在预测图像生成部308使用帧内预测、帧间预测生成预测图像的情况下所参照的参照CTU设为从对象CTU的上一行CTU行上的同一位置的CTU前进0.5个CTU的区域,在本实施方式中变更块的扫描顺序,由此,比通常的光栅扫描的情况下更早地对该区域进行处理。
在本实施方式中,在WPP的情况(entropy_coding_sync_enabled_flag=1)下,将指示是否变更扫描顺序的标志(alt_cu_scan_order_flag)包含在编码数据中,在该标志为1的情况下变更扫描顺序。
在图11中示出HEVC中的块分割的语法例。此外,在图12中示出本实施方式的进行块分割的情况下的语法例。如图12所示,在本实施方式中,在alt_cu_scan_order_flag=1的情况下,将扫描顺序从光栅扫描顺序变更为纵向的扫描顺序(图12的SYN1411)这一点与HEVC不同。
此外,在图13中示出二叉树分割(binary_tree)的语法例。对于二叉树分割,在基于本实施方式的处理和基于HEVC的处理上是相同的。
如上所述,本实施方式的图像解码装置31是将图片分成多个CTU行,从上顺次对各CTU行进行解码的图像解码装置31,其中,在进行基于WPP的处理的情况下,将CTU内的处理顺序设为从左上至右下纵向进行的顺序。
(第三实施方式)
在本实施方式中,在实施方式1中说明过的基于WPP的处理中,熵解码部301基于CTU的宽度来确定是使用对象CTU(各CTU行上的起点CTU)的上一行CTU行上的到从对象CTU的相同位置前进一个的位置为止的CTU的CABAC的状态进行解码处理,还是使用对象CTU的上一行CTU行上的对象CTU的相同位置的CTU的CABAC的状态来进行解码处理。由此,能解决问题2。
如上所述,在WPP中CTU的宽度越大则延迟越大。因此,在本实施方式中,根据CTU的宽度是否大于规定的值(Th)来确定使用哪一位置的CTU的CABAC的状态来进行对象块的初始化。
具体而言,参照图14进行说明。图14的(a)表示CTU的宽度Wd1为规定的宽度Th以下的情况,图14的(b)表示CTU的宽度Wd2大于规定的宽度Th的情况。如图14的(a)所示,在CTU的宽度Wd1为规定的宽度Th以下的情况下(Wd1≤Th),熵解码部301使用对象CTU(CTU行上的起点CTU)的上一行CTU行上的从对象CTU的相同位置前进一个的位置的CTU的CABAC的状态来进行解码处理。此外,如图14的(b)所示,在CTU的宽度Wd2大于规定的宽度Th的情况下(Wd2>Th),熵解码部301使用对象CTU(CTU行的起点CTU)的上一行CTU行上的对象CTU的相同位置的CTU的CABAC的状态来进行解码处理。
需要说明的是,不只是CTU的宽度是否大于规定值,也可以根据CTU本身为纵长或之外的形状来确定是使用对象CTU(各CTU行上的起点CTU)的上一行CTU行上的到从对象CTU的相同位置前进一个的位置为止的CTU的CABAC的状态进行解码处理,还是使用对象CTU的上一行CTU行上的对象CTU的相同位置的CTU的CABAC的状态来进行解码处理。这是因为考虑到在CTU为纵长的形状的情况下,可以认为CTU大小的宽度较窄,与除此之外的情况相比延迟较小。
具体而言,参照图15进行说明。图15的(a)表示CTU为纵长的形状的情况,图15的(b)表示CTU不是纵长的形状的情况。如图15的(a)所示,在CTU的宽度Wd3小于高度Hd3的情况下(Wd3<Hd3),熵解码部301使用对象CTU(起点CTU)的上一行CTU行上的从对象CTU的相同位置前进一个的位置的CTU的CABAC的状态来进行解码处理。此外,如图15的(b)所示,在CTU的宽度Wd4为高度Hd4以上的情况下(Wd4≥Hd4),熵解码部301使用对象CTU(起点CTU)的上一行CTU行上的对象CTU的相同位置的CTU的CABAC的状态来进行解码处理。
如上所述,本实施方式的图像解码装置31是将图片分成多个CTU行,从上顺次对各CTU行进行解码的图像解码装置31,其具备熵解码部301,基于上述CTU的大小来确定是使用包括对象CTU的上述CTU行的上一行上述CTU行上的比对象CTU的同一位置前进一个CTU的位置的CTU的信息来进行对象CTU中的解码处理,或者是使用包括对象CTU的上述CTU行的上一行上述CTU行上的对象CTU的同一位置的CTU的信息来进行对象CTU中的解码处理。
(第四实施方式)
在本实施方式中,如图16所示,可以是,在基于上述的WPP的处理中,当熵解码部301在CTU行上的起点的CTU中对CABAC进行初始化时,在对象图片(图片Q)之前已解码的图片(图片P)中,参照处于相同的位置的CTU行上的最后的CTU中的CABAC的状态对对象CTU进行初始化。由此,即使在进行基于WPP的处理的情况下,也能使用解码完成图片中的CABAC的状态来进行初始化。需要说明的是,解码完成图片是指在对象图片之前解码即可,无需按显示顺序为对象图片之前的图片。
此外,在本实施方式中,如图17所示,在上述的基于WPP的处理中,熵解码部301切换对象图片(图片Q)的解码完成图片(图片P)的同一CTU行上的最后的CTU中的CABAC的状态和对象图片上的对象CTU的上一行CTU行上的从起点起第二个CTU的CABAC的状态,进行该CABAC的初始化,并开始解码处理。由此,即使在进行基于WPP的处理的情况下,也能切换解码完成图片中的CABAC的状态和对象图片上的对象CTU的上一行CTU行的CABAC的状态来进行初始化。需要说明的是,解码完成图片是指在对象图片之前解码即可,无需按显示顺序为对象图片之前的图片。
此外,在本实施方式中,预测图像生成部308在通过帧内预测、帧间预测来生成预测图像的情况下,使用对象CTU(CTU行上的起点CTU)的上一行CTU行上的到处于从对象CTU的同一位置前进一个的位置的CTU为止的像素值和预测参数来进行帧内预测、帧间预测。例如,可以使用处理1~3的方法,设置为M=0、0.5、1中的任一个来实施预测处理。
如上所述,本实施方式的图像解码装置31是将图片分成多个CTU行,从上顺次对各CTU行进行解码的图像解码装置31,其具备:在通过帧内预测、帧间预测生成预测图像的情况下,使用包括对象CTU的上述CTU行(第一CTU行)的上一行上述CTU行(第二CTU行)中的到从对象CTU的同一位置前进一个的位置为止的像素,生成用于对象CTU的解码的预测图像的预测图像生成部308;以及使用包括对象CTU的对象图片之前已解码的图片中的CABAC的状态来进行上述第一CTU行的起点CTU的CABAC的初始化的熵解码部301,或者切换包括对象CTU的对象图片之前已解码的图片中的CABAC的状态和包括对象CTU的上述CTU行的上一行上述CTU行上的对象CTU的同一位置的CTU的CABAC的状态来进行上述CTU行上的起点CTU的CABAC的初始化的熵解码部301。
(第五实施方式)
在本实施方式中,选择是使用在上述的第四实施方式中说明过的解码完成图片的CABAC的状态进行初始化,还是使用对象CTU的上一行CTU行上的相同的位置或从相同的位置前进一个的位置的CTU的CABAC的状态。
具体而言,将指示使用解码完成图片的CABAC的状态来进行初始化,或使用对象CTU的上一行CTU行上的相同的位置或从相同的位置前进一个的位置的CTU的CABAC的状态的标志wpp_cabac_init_prev_pic_flag包含在SPS、PPS、切片报头等编码数据中,熵解码部301使用由该标志指定的状态进行CABAC的初始化。例如,在wpp_cabac_init_prev_pic_flag=0的情况下,使用对象图片的上一行CTU行的CABAC的状态进行初始化,在wpp_cabac_init_prev_pic_flag=1的情况,使用前一图片的CABAC的状态进行初始化。
如上所述,本处理例的图像解码装置31是将图片分成多个CTU行,从上顺次对各CTU行进行解码的图像解码装置,其具备熵解码部301,对表示如下内容的信息进行解码:表示使用包括对象CTU的对象图片之前已解码的前一图片中的CABAC的状态进行上述CTU行上的CABAC的初始化,或使用包括对象CTU的上述CTU行的上一行上述CTU行上的CTU的CABAC的状态进行上述CTU行上的CABAC的初始化的信息。
〔应用例〕
上述图像编码装置11和图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是,运动图像可以是通过摄像机等拍摄的自然运动图像,也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。
首先,参照图18对能将上述的图像编码装置11和图像解码装置31用于运动图像的发送和接收的情况进行说明。
图18的(a)是表示搭载有图像编码装置11的发送装置PROD_A的构成的框图。如图18(a)所示,发送装置PROD_A具备:通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号的调制部PROD_A2以及发送调制部PROD_A2所得到的调制信号的发送部PROD_A3。上述的图像编码装置11被用作该编码部PROD_A1。
作为输入至编码部PROD_A1的运动图像的供给源,发送装置PROD_A也可以进一步具备:拍摄运动图像的摄像机PROD_A4、记录有运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部A7。在图18的(a)中举例示出了发送装置PROD_A具备全部这些的构成,但也可以省略一部分。
需要说明的是,记录介质PROD_A5可以是记录有未被编码的运动图像的介质,也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下,使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。
图18的(b)是表示搭载有图像解码装置31的接收装置PROD_B的构成的框图。如图18(b)所示,接收装置PROD_B具备:接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据的解调部PROD_B2以及通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像的解码部PROD_B3。上述的图像解码装置31被用作该解码部PROD_B3。
接收装置PROD_B作为解码部PROD_B3所输出的运动图像的供给目的地,也可以进一步具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图18的(b)中举例示出了接收装置PROD_B具备全部这些的构成,但也可以省略一部分。
需要说明的是,记录介质PROD_B5可以是用于记录未被编码的运动图像的介质,也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下,使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。
需要说明的是,传输调制信号的传输介质可以是无线的,也可以是有线的。此外,传输调制信号的传输方案可以是广播(在此,指发送目的地未预先确定的发送方案),也可以是通信(在此,指发送目的地已预先确定的发送方案)。即,调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信的任一个来实现。
例如,地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外,有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。
此外,使用互联网的VOD(Video On Demand:视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常,在LAN中使用无线或有线的任一个作为传输介质,在WAN中使用有线作为传输介质)。在此,个人计算机包括台式PC、膝上型PC以及平板型PC。此外,智能手机中也包括多功能便携电话终端。
需要说明的是,运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外,还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即,运动图像共享服务的客户端发挥发送装置PROD_A和接收装置PROD_B这两方的功能。
接着,参照图19,对能将上述的图像编码装置11和图像解码装置31用于运动图像的记录和再现的情况进行说明。
图19的(a)是表示搭载有上述的图像编码装置11的记录装置PROD_C的构成的框图。如图19的(a)所示,记录装置PROD_C具备:通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的图像编码装置11被用作该编码部PROD_C1。
需要说明的是,记录介质PROD_M可以是(1)如HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid State Drive:固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质,也可以是(2)如SD存储卡、USB(Universal Serial Bus:通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质,还可以是(3)如DVD(Digital Versatile Disc:数字通用光盘)、BD(Blu-ray Disc:蓝光光盘、注册商标)等那样装填至内置于记录装置PROD_C的驱动装置(未图示)的记录介质。
此外,作为输入至编码部PROD_C1的运动图像的供给源,记录装置PROD_C也可以进一步具备:拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图19的(a)中举例示出了记录装置PROD_C具备全部这些的构成,但也可以省略一部分。
需要说明的是,接收部PROD_C5可以接收未被编码的运动图像,也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下,使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。
作为这种记录装置PROD_C,例如可举出:DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下,输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外,便携式摄像机(在该情况下,摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(在该情况下,接收部PROD_C5或图像处理部C6为运动图像的主要的供给源)、智能手机(在该情况下,摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。
图19的(b)是表示搭载有上述的图像解码装置31的再现装置PROD_D的构成的框图。如图19的(b)所示,再现装置PROD_D具备:读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述的图像解码装置31被用作该解码部PROD_D2。
需要说明的是,记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质,也可以是(2)如SD存储卡、USB闪存等那样连接于再现装置PROD_D的类型的记录介质,也可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动装置(未图示)的记录介质。
此外,作为解码部PROD_D2所输出的运动图像的供给目的地,再现装置PROD_D也可以进一步具备:显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图19的(b)中举例示出了再现装置PROD_D具备全部这些的构成,但也可以省略一部分。
需要说明的是,发送部PROD_D5可以发送未被编码的运动图像,也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下,使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。
作为这种再现装置PROD_D,例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下,连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外,电视接收机(在该情况下,显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下,输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下,显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。
(硬件实现以及软件实现)
此外,上述的图像解码装置31以及图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现,也可以利用CPU(Central Processing Unit:中央处理器)而以软件方式地实现。
在后者的情况下,上述各装置具备:执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory:只读存储器)、展开上述程序的RAM(Random AccessMemory:随机存取存储器)以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后,本发明的实施方案的目的在于通过以下方式也能达到:将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置,该计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。
作为上述记录介质,例如能使用:磁带、盒式磁带等带类;包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory:光盘只读存储器)/MO盘(Magneto-Optical disc:磁光盘)/MD(Mini Disc:迷你磁光盘)/DVD(Digital Versatile Disc:数字通用光盘)/CD-R(CD Recordable:光盘刻录片)/蓝光光盘(Blu-ray Disc:注册商标)等光盘的盘类;IC卡(包括存储卡)/光卡等卡类;掩模ROM/EPROM(Erasable ProgrammableRead-Only Memory:可擦可编程只读存储器)/EEPROM(ElectricallyErasableandProgrammableRead-OnlyMemory:电可擦可编程只读存储器)/闪存ROM等半导体存储器类;或者PLD(Programmable logic device:可编程逻辑器件)、FPGA(Field Programmable GateArray:现场可编程门阵列)等逻辑电路类等。
此外,也可以将上述各装置构成为能与通信网络连接,并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可,不被特别限定。例如,可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network:局域网)、ISDN(IntegratedServices Digital Network:综合业务数字网)、VAN(Value-AddedNetwork:增值网络)、CATV(Community Antenna television/Cable Television:共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外,构成该通信网络的传输介质也是为能传输程序代码的介质即可,不限定于特定的构成或种类。例如,无论在IEEE(Institute of Electrical and Electronic Engineers:电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line:非对称数字用户线路)线路等有线中,还是在如IrDA(InfraredData Association:红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate:高数据速率)、NFC(Near Field Communication:近场通讯)、DLNA(Digital Living Network Alliance:数字生活网络联盟,注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是,本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。
本发明的实施方式并不限定于上述的实施方式,能在权利要求所示的范围内进行各种变更。即,将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。
(关联申请的相互参照)
本申请对2018年6月1日提出申请的日本专利申请:日本特愿2018-106506主张优先权的利益,并通过对其进行参照而将其全部内容包括到本说明书中。
附图标记说明
11 图像编码装置
31 图像解码装置
101、308 预测图像生成部
104 熵编码部(编码部)
301 熵解码部(解码部)

Claims (4)

1.一种将图片分成多个CTU行,从上顺次对各CTU行进行解码的图像解码装置,其特征在于,具备:
预测图像生成部,在生成预测图像的情况下,使用CTU的解码完成数据生成对象CTU的预测图像,所述CTU的解码完成数据是包括对象CTU的第一CTU行的上一行CTU行,即第二CTU行,上的到相对于对象CTU的同一位置前进规定的常数的位置为止的CTU的解码完成数据;和
解码部,使用所述第二CTU行上的到相对于对象CTU的同一位置前进规定的常数的位置为止的CTU的信息对对象CTU进行解码。
2.一种将图片分成多个CTU行,从上顺次对各CTU行进行编码的图像编码装置,其特征在于,具备:
预测图像生成部,在生成预测图像的情况下,使用数据生成对象CTU的预测图像,所述数据是包括对象CTU的第一CTU行的上一行CTU行,即第二CTU行,上的到相对于对象CTU的同一位置前进规定的常数的位置为止的数据;和
编码部,使用所述第二CTU行上的到相对于对象CTU的同一位置前进规定的常数的位置为止的数据对对象CTU进行编码。
3.根据权利要求1所述的图像解码装置,其特征在于,
所述规定的常数是CTU的宽度的整数倍。
4.根据权利要求1或3所述的图像解码装置,其特征在于,
所述预测图像生成部在生成帧内预测图像的情况下,使用所述第二CTU行上的到对象CTU的同一位置为止的解码完成数据,生成用于对象CTU的解码的预测图像,
所述解码部使用所述第二CTU行上的到对象CTU的同一位置为止的CTU的信息对对象CTU进行解码。
CN201980035401.1A 2018-06-01 2019-05-30 图像解码装置以及图像编码装置 Active CN112204978B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202410180171.0A CN118138778A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置
CN202410180176.3A CN118138779A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置
CN202410178996.9A CN118138777A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-106506 2018-06-01
JP2018106506 2018-06-01
PCT/JP2019/021585 WO2019230904A1 (ja) 2018-06-01 2019-05-30 画像復号装置、および画像符号化装置

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202410180176.3A Division CN118138779A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置
CN202410180171.0A Division CN118138778A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置
CN202410178996.9A Division CN118138777A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置

Publications (2)

Publication Number Publication Date
CN112204978A true CN112204978A (zh) 2021-01-08
CN112204978B CN112204978B (zh) 2024-03-15

Family

ID=68698886

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202410178996.9A Pending CN118138777A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置
CN202410180176.3A Pending CN118138779A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置
CN202410180171.0A Pending CN118138778A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置
CN201980035401.1A Active CN112204978B (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202410178996.9A Pending CN118138777A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置
CN202410180176.3A Pending CN118138779A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置
CN202410180171.0A Pending CN118138778A (zh) 2018-06-01 2019-05-30 图像解码装置以及图像编码装置

Country Status (4)

Country Link
US (3) US11240500B2 (zh)
EP (1) EP3806471A4 (zh)
CN (4) CN118138777A (zh)
WO (1) WO2019230904A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019230904A1 (ja) * 2018-06-01 2019-12-05 シャープ株式会社 画像復号装置、および画像符号化装置
KR20190140862A (ko) * 2018-06-12 2019-12-20 한국전자통신연구원 문맥 적응적 이진 산술 부호화 방법 및 장치
US11451786B2 (en) * 2018-07-05 2022-09-20 Lg Electronics Inc. Image coding method using buffer compression in CTU unit, and apparatus therefor

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135416A1 (en) * 2008-12-03 2010-06-03 Yu-Wen Huang Method for performing parallel coding with ordered entropy slices, and associated apparatus
US20130272370A1 (en) * 2012-04-11 2013-10-17 Qualcomm Incorporated Wavefront parallel processing for video coding
CN104488267A (zh) * 2012-06-29 2015-04-01 高通股份有限公司 平铺块及波前并行处理
WO2016055484A1 (en) * 2014-10-06 2016-04-14 Canon Kabushiki Kaisha Method and apparatus for vector encoding in video coding and decoding
US20160142740A1 (en) * 2014-11-17 2016-05-19 Sony Corporation Data encoding and decoding
JP2016100728A (ja) * 2014-11-20 2016-05-30 富士通株式会社 動画像復号装置及び動画像復号方法
CN105874795A (zh) * 2014-09-30 2016-08-17 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
CN106716999A (zh) * 2014-06-20 2017-05-24 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
CN106797479A (zh) * 2014-10-09 2017-05-31 高通股份有限公司 对于并行处理的帧内块复制预测限制
US20170310983A1 (en) * 2014-10-08 2017-10-26 Vid Scale, Inc. Optimization using multi-threaded parallel processing framework

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200439B (zh) * 2013-06-14 2020-08-21 浙江大学 提高数字信号变换性能的方法及数字信号变换方法和装置
KR101909863B1 (ko) * 2013-07-08 2018-10-18 미디어텍 싱가폴 피티이. 엘티디. 3d 비디오 코딩에서 단순화된 cabac 코딩의 방법
US10225567B2 (en) * 2013-10-08 2019-03-05 Sharp Kabushiki Kaisha Image decoder, image encoder, and encoded data converter
WO2015053601A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 그 장치, 멀티 레이어 비디오 복호화 방법 및 그 장치
JP6465863B2 (ja) * 2014-03-14 2019-02-06 シャープ株式会社 画像復号装置、画像復号方法及び記録媒体
US9756354B2 (en) * 2014-03-17 2017-09-05 Qualcomm Incorporated Block vector predictor for intra block copying
TWI589152B (zh) * 2014-04-25 2017-06-21 夏普股份有限公司 圖像解碼裝置、圖像編碼裝置以及編碼資料轉換裝置
US10171823B2 (en) * 2014-05-26 2019-01-01 Sharp Kabushiki Kaisha Image decoding device and image coding device
CN111147846B (zh) * 2014-07-07 2022-03-11 寰发股份有限公司 利用帧内区块复制模式编码的视频编码方法
US10820007B2 (en) * 2015-01-21 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video
WO2017057877A1 (ko) * 2015-09-29 2017-04-06 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
WO2017197146A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
US10812796B2 (en) * 2016-09-30 2020-10-20 Lg Electronics Inc. Image decoding method and apparatus in image coding system
JP6822136B2 (ja) 2016-12-27 2021-01-27 ブラザー工業株式会社 印刷データ処理システム
WO2019076138A1 (en) * 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
WO2019230904A1 (ja) * 2018-06-01 2019-12-05 シャープ株式会社 画像復号装置、および画像符号化装置
WO2020045248A1 (ja) * 2018-08-29 2020-03-05 シャープ株式会社 動画像復号装置および動画像符号化装置
JP7368145B2 (ja) * 2019-08-28 2023-10-24 シャープ株式会社 画像符号化装置、および、画像復号装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135416A1 (en) * 2008-12-03 2010-06-03 Yu-Wen Huang Method for performing parallel coding with ordered entropy slices, and associated apparatus
US20130272370A1 (en) * 2012-04-11 2013-10-17 Qualcomm Incorporated Wavefront parallel processing for video coding
CN104488267A (zh) * 2012-06-29 2015-04-01 高通股份有限公司 平铺块及波前并行处理
CN106716999A (zh) * 2014-06-20 2017-05-24 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
CN105874795A (zh) * 2014-09-30 2016-08-17 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
WO2016055484A1 (en) * 2014-10-06 2016-04-14 Canon Kabushiki Kaisha Method and apparatus for vector encoding in video coding and decoding
US20170310983A1 (en) * 2014-10-08 2017-10-26 Vid Scale, Inc. Optimization using multi-threaded parallel processing framework
CN106797479A (zh) * 2014-10-09 2017-05-31 高通股份有限公司 对于并行处理的帧内块复制预测限制
US20160142740A1 (en) * 2014-11-17 2016-05-19 Sony Corporation Data encoding and decoding
JP2016100728A (ja) * 2014-11-20 2016-05-30 富士通株式会社 動画像復号装置及び動画像復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A. WIECKOWSKI, T. HINZ, V. GEORGE 等: "Thread Parallel Encoding", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, US: JVET-J0036 *

Also Published As

Publication number Publication date
US11677943B2 (en) 2023-06-13
CN112204978B (zh) 2024-03-15
CN118138779A (zh) 2024-06-04
US20230262215A1 (en) 2023-08-17
EP3806471A1 (en) 2021-04-14
CN118138778A (zh) 2024-06-04
EP3806471A4 (en) 2022-06-08
US20210235080A1 (en) 2021-07-29
US20220109836A1 (en) 2022-04-07
US11240500B2 (en) 2022-02-01
WO2019230904A1 (ja) 2019-12-05
CN118138777A (zh) 2024-06-04

Similar Documents

Publication Publication Date Title
US11503319B2 (en) Image coding apparatus and image decoding apparatus
JP7223886B2 (ja) 画像復号方法
CN110574374B (zh) 图像解码装置
CN112544084B (zh) 图像编码装置、编码流提取装置以及图像解码装置
US20190182498A1 (en) Image decoding apparatus and image coding apparatus
JP7213689B2 (ja) 画像復号装置及び画像符号化装置
WO2018110203A1 (ja) 動画像復号装置、および動画像符号化装置
US11863764B2 (en) Video encoding device and video decoding device
US11677943B2 (en) Image decoding apparatus and image coding apparatus
JP7241153B2 (ja) 画像復号装置
JP7073186B2 (ja) 画像フィルタ装置
CN113632475A (zh) 图像解码装置
JP7332753B2 (ja) 画像フィルタ装置
JP2020182177A (ja) 画像復号装置、および画像符号化装置
JP2020155869A (ja) 画像スケーリング変換、逆変換装置及び方法
JP2020005141A (ja) 画像復号装置、および画像符号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240103

Address after: No.1, Takumicho, Sakai Ward, Sakai City, Osaka Prefecture, Japan

Applicant after: Sharp Corp.

Address before: No.1, Takumicho, Sakai Ward, Sakai City, Osaka Prefecture, Japan

Applicant before: Sharp Corp.

Applicant before: FG Innovation Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant