CN116437108A - 图像编码装置和视频编码方法 - Google Patents
图像编码装置和视频编码方法 Download PDFInfo
- Publication number
- CN116437108A CN116437108A CN202310234828.2A CN202310234828A CN116437108A CN 116437108 A CN116437108 A CN 116437108A CN 202310234828 A CN202310234828 A CN 202310234828A CN 116437108 A CN116437108 A CN 116437108A
- Authority
- CN
- China
- Prior art keywords
- prediction
- intra prediction
- image
- mode
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 186
- 230000008569 process Effects 0.000 description 24
- 238000013139 quantization Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000000638 solvent extraction Methods 0.000 description 11
- 238000005192 partition Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供了图像编码装置和视频编码方法。图像编码装置在图像中对通过划分图像而获得的块执行帧内预测以对块进行编码,包括:块确定单元,用于确定对其执行帧内预测的处理目标块是否具有矩形块;和预测方向确定单元,用于:针对解码的模式编号获得帧内预测方向同时针对该模式编号执行帧内预测方向,所述模式编号与对应于处理目标块的预测模式相关联并且指示从原始方向的预测方向进行的预测模式;当确定处理目标块的形状是矩形并且从原始方向的预测方向进行的预测模式的模式编号是包括在预定范围内的第一模式编号时,确定帧内预测是否能够用于指示从相反的预测方向进行的预测模式的第二模式编号;以及从第一模式编号和第二模式编号中选择一个。
Description
本申请是申请号为201810948828.8、申请日为2018年8月20日、发明名称为“图像编码装置、图像解码装置及图像处理方法”的发明专利申请的分案申请。
技术领域
本文中所讨论的实施方式涉及图像编码装置、图像解码装置及图像处理方法。
背景技术
帧内预测被用于H.264/AVC(用于视频的国际标准视频压缩方案)和HEVC(ISO/IEC23008:高效视频编码)。在帧内预测中,帧图像被划分成块,并且选择指示如何根据帧图像中的经编码左相邻块中的像素和帧图像中的经编码上相邻块中的像素(相邻像素)对帧图像中的处理目标块执行帧内预测的预测模式。然后,使用所选择的预测模式来执行帧内预测,以生成处理目标块的预测图像。接下来,在处理目标块中,生成与原始图像和预测图像之间的差对应的预测残差(预测误差)信号。使用离散余弦变换(DCT)或离散小波变换(DWT)将预测残差信号变换为空间频域中的信号,然后量化空间频域中的信号。使用熵编码,量化的信号和关于用于帧内预测的预测模式的信息一起被二值化,并且被输出为经编码图像信号。类似的编码方案可应用于静止图像。
在HEVC中,针对被称为编码单元(CU)的每个块执行编码。每个CU被划分为块,所述块中的每个块被称为预测单元(PU)并且对该块执行预测,并且PU用于帧内预测。在HEVC标准之前的视频编码标准应用确定是否要执行四叉树分割以划分CU的递归处理。此外,关于作为执行帧内预测的单元的PU,HEVC标准之前的视频编码标准还应用确定CU的大小是要保持不变还是要使用四叉树分割对CU进行划分的处理。因此,通过划分获得的所有块具有正方形形状。另一方面,由ISO/IEC SC29/WG11(MPEG)和ITU-T SG16 WP3/Q6(VCEG)联合建立的联合视频探索组(JVET)对下一代视频编码进行了研究。在JVET中已经提出了被称为四叉树加二叉树(QTBT)块分割的块分割,其使得不仅可以执行四叉树块分割而且还可以执行二叉树块分割,以对CU进行划分。当使用QTBT块分割时,可以对CU执行二叉树块分割以生成PU,并且这导致不仅能够选择方块而且还能够选择矩形块作为PU块。
如上所述,当使用帧内预测时,使用经编码左相邻块和经编码上相邻块中的相邻像素生成用于处理目标块的预测图像,因此需要一种根据相邻像素对矩形块高效地执行帧内预测的技术。
如下技术是已知的作为高效地执行帧内预测的常规技术(例如,参见日本特开专利公报第2016-027756号)。首先,在同一帧中生成预测信号的帧内预测中,根据解码的像素信号设置参考像素信号。接下来,获取识别预测模式的预测模式识别信息。接下来,基于参考像素信号和预测模式识别信息来生成预测信号。接下来,在由预测模式识别信息识别的预测模式中,使用距预测目标像素距离较短的参考像素来执行关于预测信号的校正的确定。此外,根据确定的结果校正所生成的预测信号。该确定包括根据指示函数的形状的参数来确定预测目标像素的校正范围,该函数是使用与预测目标块的左上边相邻的经解码像素作为原点而限定的。在该配置中,当使用帧内预测时,使用更靠近预测目标像素的解码的参考像素来生成预测信号,这导致能够减少预测残差能量并且改善主观图像质量和编码效率。
如上所述,在HEVC标准之前的帧内预测中,所有处理目标块具有正方形形状,因此在从左相邻像素进行的预测和从上相邻像素进行的预测之间在距离上没有差异。然而,如果由于上述QTBT块分割的使用而导致可以使用具有矩形形状的处理目标块并且对矩形块执行帧内预测,则这种关系将被改变。例如,在水平方向上长的矩形块的情况下,左相邻像素远离矩形块中的相应的预测目标像素。另一方面,在竖直方向上长的矩形块的情况下,上相邻像素远离矩形块中的相应预测目标像素。
因此,通常,如果对矩形块执行帧内预测并且使用远的相邻像素生成预测图像,则预测效率将降低并且上述预测残差信号的能量更有可能增加。这导致编码效率下降。
在上述根据指示函数的形状的参数来校正预测目标像素的常规技术中,需要对标识校正信息的数字或指示函数形状的参数进行编码,并将其发送到解码侧,以提高编码性能。这可能导致传输效率下降。
发明内容
本发明的一个方面的目的是即使在预测单元的块是矩形的情况下也保持高帧内预测效率。
根据本发明的一个方面,根据实施方式的图像编码装置在图像中对通过划分图像而获得的块执行帧内预测,以对块进行编码。图像编码装置包括块选择单元和预测方向确定单元。块选择单元选择矩形块作为块。预测方向确定单元在矩形块被选择时将特定预测方向添加作为选择目标帧内预测方向,其中,所述特定预测方向是参考与矩形块的短边相邻的像素的预测方向中的一个,并且在与所述特定预测方向180度相反的另一预测方向上参考与矩形块的长边相邻的左块或上块中的相邻像素。
根据本发明的一个方面,根据实施方式的图像编码装置在图像中对通过划分图像而获得的块执行帧内预测,以对块进行编码,图像编码装置包括:块确定单元,用于确定对其执行帧内预测的处理目标块是否具有矩形块;以及预测方向确定单元,用于:针对解码的模式编号获得帧内预测方向同时针对该模式编号执行帧内预测方向,所述解码的模式编号与对应于处理目标块的预测模式相关联并且指示从原始方向的预测方向进行的预测模式;当已经确定处理目标块的形状是矩形、并且从原始方向的预测方向进行的预测模式的模式编号是包括在预定范围内的第一模式编号时,确定帧内预测是否能够用于指示从与原始方向的预测方向相反的预测方向进行的预测模式的第二模式编号;并且从第一模式编号和第二模式编号中选择一个模式编号。
根据本发明的一个方面,根据实施方式的视频编码方法用于在图像中对通过划分图像而获得的块执行帧内预测,以对块进行编码,视频编码方法包括:确定对其执行帧内预测的处理目标块是否具有矩形块;针对解码的模式编号获得帧内预测方向同时针对该模式编号执行帧内预测方向,所述解码的模式编号与对应于处理目标块的预测模式相关联并且指示从原始方向的预测方向进行的预测模式;当已经确定处理目标块的形状是矩形并且从原始方向的预测方向进行的预测模式的模式编号是包括在预定范围内的第一模式编号时,确定帧内预测是否能够用于指示从与所述预测相反的预测方向进行的预测模式的第二模式编号;以及从第一模式编号和第二模式编号中选择一个模式编号。
附图说明
图1示出了对方块执行的帧内预测;
图2示出了用于HEVC的预测模式;
图3A是用于说明矩形块与该矩形块中的相邻像素和对应像素之间的距离的关系的图;
图3B是用于说明矩形块与该矩形块中的相邻像素和对应像素之间的距离的关系的图;
图4是用于说明将实施方式应用于用于HEVC的预测模式的情况的图;
图5示出了用于HEVC的块;
图6是示出根据实施方式的视频编码装置的配置的示例的框图;
图7是示出重点在于帧内预测并且由视频编码装置执行的编码处理的示例的流程图;
图8是用于说明由预测方向确定单元执行的计算距离操作的图;
图9是示出根据实施方式的视频解码装置的配置的示例的框图;
图10是示出重点在于帧内预测并且由视频解码装置执行的解码处理的示例的流程图;以及
图11是能够被实现为视频编码装置或视频解码装置的计算机的硬件配置的示例。
具体实施方式
在详细描述本发明的实施方式之前,描述帧内预测和预测模式。
如上所述,在HEVC标准之前的视频编码标准应用递归处理,在递归处理中确定是否要执行四叉树分割来划分CU。此外,对于作为执行帧内预测的单元的PU,HEVC标准之前的视频编码标准还应用下述处理,在该处理中确定是使CU的大小保持不变还是使用四叉树分割来划分CU。因此,通过划分获得的所有块都具有正方形形状。图1示出了对这种方块执行的帧内预测。例如,对于8×8的块的白色像素的PU,使用在该PU的左侧和上侧与该PU相邻的相邻深色像素执行预测。如图1中的每个箭头的方向所示,使用不同的方案来确定使用相邻像素计算的预测图像的权重。最多10种不同的预测模式用于H.264/AVC(国际标准视频压缩方案),并且最多35种不同的预测模式用于高效视频编码(HEVC)。
图2示出了用于HEVC的预测模式。对于HEVC,可以从总共35个预测模式中选择预测模式,这35个预测模式中的每一个具有图2中所示的相应模式编号,包括具有0号模式的平面预测、具有1号模式的DC预测以及具有2号模式至34号模式的角度预测。在具有0号模式的平面预测中,PU中的每个预测像素是根据位于该PU的左侧和上侧的经编码的相邻像素的平面近似生成的。在具有1号模式的DC预测中,PU中的每个预测像素被生成作为位于该PU的左侧和上侧的经编码的相邻像素的平均值。在具有2号模式至34号模式的角度预测中,位于中心的预测像素是根据位于由从左下角到右上的具有编号2至34的箭头中的相应箭头指示的位置处的相邻像素生成的,如图2所示。在图2中可以看到,有33种预测模式用于角度预测。
在使用图1或图2中所示的预测模式的常规帧内预测中,所有处理目标块PU具有正方形形状,因此从左相邻像素行进行的预测与从上相邻像素行进行的预测之间在距离上没有差异。另一方面,如上所述,在JVET中提出了QTBT块分割,QTBT块分割使得除了四叉树块分割之外还可以使用二叉树块分割来划分CU,其中不仅可以选择方块,还可以选择矩形块作为PU块。这导致编码性能的提高。然而,在QTBT块分割中对矩形块的使用改变了从左相邻像素进行的预测与从上相邻像素进行的预测之间在距离上没有差异的上述关系。图3A和图3B是用于说明矩形块与矩形块中的相邻像素与对应像素之间的距离的关系的图。如图3A所示,当作为PU的矩形块301具有水平方向上长的形状时,从矩形块301中的每个预测目标像素到相应的左相邻像素302存在很大的距离,如图3A中的箭头所示。另一方面,如图3B所示,当矩形块301具有竖直方向上长的形状时,从矩形块301中的每个预测目标像素到相应的上相邻像素303存在很大的距离,如图3B中的箭头所示。如果如图3A和图3B所示在帧内预测中从远的相邻像素生成预测图像,则预测效率将降低,并且预测残差信号的能量增加的可能性将更大。这导致编码效率降低。
如图3A所示,如果矩形块301更远离左相邻像素302的行,则矩形块301更靠近上相邻像素303的行。另一方面,如图3B所示,如果矩形块301更远离上相邻像素303的行,则矩形块301更靠近左相邻像素302的行。
因此,在下面描述的实施方式中,当PU是矩形块时,每次评估预测模式时执行以下处理。除了从与预测模式对应的预测方向(在下文中称为“原始预测方向”)进行的帧内预测之外,还评估从与原始预测方向180度相反的方向(在下文中称为“相反预测方向”)进行的帧内预测。然后,选择已被高度评估的预测方向,使得执行改进帧内预测中的预测效率的操作。
如果PU包括其边缘强到足以通过PU的边缘像素,则从左下方向进行的帧内预测和从与左下方向180度相反的右上方向进行的帧内预测二者都是正确的。当执行帧内预测时,如果相邻像素和预测目标像素彼此更靠近,则预期预测效率会更高。另一方面,考虑到编码效率,优选的是尽可能地防止帧内预测的方向的数目(预测模式的数目)的增加。
因此,在下面描述的实施方式中,执行以下控制。当除了从原始预测方向进行的帧内预测之外还可以针对特定预测模式执行从与原始预测方向相反的预测方向进行的帧内预测时,并且当相邻像素和预测目标像素在相反预测方向上比在原始预测方向上彼此更靠近时,预测方向变为相反预测方向,并且在相反预测方向上确定预测模式。因此,在实施方式中更有效地执行帧内预测。
以下是实施方式的要点。当对矩形块执行帧内预测时,同时评估特定预测方向(例如,从左下到右上的预测方向)和与该特定预测方向相反的预测方向(例如,从右上到左下的预测方向)。
图4是用于说明将实施方式应用于图2所示的用于HEVC的预测模式的情况的图。关于具有从左下到右上的特定预测方向的预测模式(例如具有2号模式至34号模式的角度预测模式中的具有3号模式至9号模式的角度预测模式),定义了与特定预测方向180度相反的预测方向。例如,当预测目标像素被用作参考时,从左下到右上的预测方向是以水平向右方向为0度的情况下逆时针方向上的大于180度且小于225度的角度的方向。与从左下到右上的预测方向180度相反的预测方向是通过将具有18号模式至34号模式的上相邻像素行在水平向右的方向上延长而获得的具有3'号模式至9'号模式的预测方向(图中示出从3'至6'的编号)。
此外,关于具有从右上到左下的特定预测方向的预测模式(例如具有33号模式至27号模式的预测模式),尽管没有示出,但是还定义了与特定预测方向180度相反的预测方向。例如,当预测目标像素被用作参考时,从右上到左下的预测方向是以水平向右方向为0度的情况下逆时针方向上的大于45度且小于90度的角度的方向。与从右上到左下的预测方向180度相反的预测方向是具有33'号模式到27'号模式(未示出)的预测方向,这些预测方向是通过将具有33号模式至27号模式的上相邻像素行在竖直方向上延长而获得。
在实施方式中,通过隐式地确定(通过在代码量没有任何增加的情况下确定)如上所述定义的两个预测方向中的哪一个生成更好的预测图像来执行适当的帧内预测。当在图像编码装置和图像解码装置中根据相同算法执行上述确定时,这使得可以在编码侧执行原始预测方向上的帧内预测,以对与原始预测方向对应的预测模式进行编码,并且在解码侧根据条件执行另一预测方向上的帧内预测,该另一预测方向是与原始预测方向相反的预测方向。
以下是下面描述的实施方式的基本操作。
步骤1:定义处理目标块中的相邻像素与预测目标像素之间的距离。
步骤2:如果可以从与对应于特定预测模式的原始预测方向相反的预测方向执行帧内预测,则将执行以下处理。将使用原始预测方向上的相邻像素计算的步骤1的距离与使用上述相反预测方向上的相邻像素计算的步骤1的距离进行比较,并且选择具有较小距离的方向。
步骤3:将在步骤2中选择的方向确定为对应于当前预测模式的预测方向。
如果处理目标块中的所有预测目标像素与当前所选方向上的相邻像素之间的距离相加,则将在上述步骤1中计算精确距离。替选地,为了减小计算量,替代如上所述计算的和,还可以使用处理目标块的左上角和右下角的预测目标像素与相邻像素之间的距离的和,或者可以仅使用处理目标块中的右下角的预测目标像素与相邻像素之间的距离。
参照附图详细描述基于上述基本操作的实施方式。
图5示出了在实施方式中应用的用于HEVC的块。在HEVC中,图片被划分成编码目标块(编码树单元:CTU),并且CTU按照光栅扫描的顺序被编码。CTU大小对于每个序列保持不变,并且可以从64×64像素与16×16像素之间的像素大小中选择。此外,CTU被划分成具有四叉树结构的第一子块CU,并且按照每个CTU的光栅扫描的顺序对CU进行编码。CU具有可变大小,并且CU大小可以从8×8像素和64×64像素的CU划分模式的像素大小中选择。CU是用于在帧内预测和帧间预测之间选择编码模式的单元。针对每个第二子块PU来处理CU,并且还针对每个第三子块TU(变换单元)来处理CU。PU是在每个编码模式中执行预测的单元。例如,PU是用于在执行帧内预测时确定帧内预测模式的单元。PU是用于在执行帧间预测时执行运动补偿的单元。例如,当执行帧间预测时,PU大小可以从2N×2N、N×N、2N×N、N×2N、2N×U、2N×nD、nR×2N和nL×2N的PU划分模式(PartMode)的像素大小中选择。另一方面,TU是用于由稍后描述的图6的正交变换/量化单元610执行的正交变换的单元,并且TU大小可以从4×4与32×32之间的像素大小中选择。TU用四叉树结构划分,并且划分块按照光栅扫描的顺序被处理。
图6是示出根据实施方式的视频编码装置的配置的示例的框图。图6所示的视频编码装置600包括相邻像素行延长单元601、预测方向确定单元602、帧内预测模式确定单元603、帧内预测单元604、运动矢量检测器605、运动补偿单元606、模式确定单元607和预测图像生成器608。视频编码装置还包括残差计算器609、正交变换/量化单元610、可变长度编码单元611、逆量化/逆正交变换单元612、参考图像计算器613和帧存储器614。
在图6中,针对图5中描述的每个CU(下文中称为“处理目标CU”)并且针对通过划分CU获得的每个PU(下文中称为处理目标PU),对图像执行帧间预测处理和帧内预测处理,图像是从输入单元(未示出)输入的。
对处理目标CU和通过划分处理目标CU获得的处理目标PU的帧间预测处理由运动矢量检测器605和运动补偿单元606执行。首先,运动矢量检测器605接收当前帧的图像(在下文中称为“原始图像”)的输入,并且还从帧存储器614接收参考图像的输入,该参考图像是在视频编码装置600中生成的经编码的局部解码图像(稍后描述)。运动矢量检测器605分别从原始图像和参考图像中切割出相同部分的处理目标CU。运动矢量检测器605还分别从原始图像和参考图像中切割出相同部分的PU,该PU对应于通过划分处理目标CU获得的处理目标PU(从原始图像切割出的PU被称为“原始图像PU”,而从参考图像切割出的PU被称为“参考图像PU”)。运动矢量检测器605计算原始图像PU的像素与参考图像PU的对应像素之间的绝对差。运动矢量检测器605计算关于计算出的相应像素对的绝对差的绝对差之和SAD_cost(Sum Absolute Difference)。例如,当PU具有16×16像素大小时,SAD_cost是针对沿从左上角到右下角的光栅扫描线总共256个像素计算的上述绝对差的累积值,并且使用下面的式(1)计算。
SAD_cost=Σ|*org-*ref|...(1)
这里,“*org”表示原始图像PU的每个像素值,“*ref”表示参考图像PU的每个像素值。
运动矢量检测器605根据所计算的绝对差之和SAD_cost执行运动搜索,并使用例如所计算的绝对差之和的最小值来搜索最佳运动矢量。通常,当执行运动搜索时,不仅考虑像素之间的绝对差之和的大小,还考虑运动矢量的评估值。当对特定PU的特定运动矢量进行编码时,不对特定运动矢量本身的分量进行编码,而是对与特定运动矢量和特定PU的相邻PU的运动矢量之间的差对应的差矢量进行编码。因此,运动矢量检测器605计算与特定PU的编码目标运动矢量和特定PU的相邻PU的运动矢量之间的差对应的差矢量,并且根据差矢量的分量的大小输出与编码目标运动矢量的代码长度对应的评估值。这里,运动搜索的评估值由“cost”表示,并且与运动矢量的代码量对应的评估值由MV_cost(运动矢量)表示。运动矢量检测器605搜索下述运动矢量位置,在该运动矢量位置中,通过使用上述MV_cost和使用式(1)计算的绝对差之和SAD_cost、使用下面的式(2)计算的“cost”具有最小值。这里,λ是拉格朗日乘数。
cost=SAD_cost+λ×MV_cost...(2)
实际上,PU可以具有64×64与4×4之间的像素大小,因此可以根据PU的像素大小来改变用于评估“cost”的单位。
代替上述SAD_cost,也可以使用诸如SATD(通过执行Hadamard变换获得的差成本)的另一评估值。
接下来,运动补偿单元606根据由运动矢量检测器605检测到的运动矢量对当前处理目标PU执行运动补偿。运动补偿单元606将由运动矢量检测器605检测到的运动矢量应用于由运动矢量检测器605从帧存储器614读取的参考图像PU。然后,运动补偿单元606生成与原始图像PU对应的预测图像的PU(下文中称为“预测图像PU”),并且将该预测图像的PU确定为通过执行帧间预测获得的预测图像PU。运动补偿单元606将整个处理目标CU的所有预测图像PU进行组合,以生成通过对处理目标CU执行帧间预测获得的预测图像CU,并且输出该预测图像CU,每个预测图像PU是通过对每个处理目标PU执行帧间预测来获得的。
另一方面,对处理目标CU和通过划分该处理目标CU获得的处理目标PU的帧内预测处理由图6的相邻像素行延长单元601、预测方向确定单元602、帧内预测模式确定单元603和帧内预测单元604执行。
首先,当通过划分处理目标CU获得的处理目标PU是矩形块时,相邻像素行延长单元601执行以下处理。当矩形块具有水平方向上长的形状时,相邻像素行延长单元601将矩形块的上相邻像素行延长到与通过将矩形块的长边沿水平向右的方向延长而获得的延长线相邻的上块中包括的像素(参见图4的描述)。当矩形块具有竖直方向上长的形状时,相邻像素行延长单元601将矩形块的左相邻像素行延长到与通过将矩形块的长边沿竖直向下的方向延长而获得的延长线相邻的左块中包括的像素。作为相邻像素值,相邻像素行延长单元601使用从帧存储器614读取的参考图像的对应位置中的像素的值。
接下来,当处理目标PU是矩形块时,预测方向确定单元602使用由相邻像素行延长单元601设置的相邻像素值来执行图4中描述的步骤1、2和3的操作,以针对每个预测模式选择与预测模式对应的原始预测方向和相反预测方向之一。
在考虑由预测方向确定单元602执行的确定的情况下,帧内预测模式确定单元603确定用于处理目标PU的帧内预测模式。在顺序地改变帧内预测模式的同时(在HEVC的情况下,在图2中示出的35种预测模式),帧内预测模式确定单元603基于由预测方向确定单元602关于当前帧内预测模式执行的确定来参考帧内预测方向上的相邻像素。接下来,帧内预测模式确定单元603从帧内预测模式确定单元603所参考的对应相邻像素中确定处理目标PU的每个像素的暂定预测值(在下文中将由相应像素的暂定预测值构成的PU称为“暂定预测图像PU”)。帧内预测模式确定单元603像使用上述式(1)计算的那样,针对当前帧内预测模式,计算原始图像PU的像素与暂定预测图像PU的相应像素之间的绝对差之和SAD_cost。此外,帧内预测模式确定单元603像使用式(2)计算的那样,使用所计算的绝对差之和SAD_cost来计算与当前帧内预测模式对应的“cost”值。帧内预测模式确定单元603对所有帧内预测模式执行这些计算,并且将“cost”值变为最小的帧内预测模式确定为处理目标PU的帧内预测模式。
图6的帧内预测单元604将由帧内预测模式确定单元603针对由帧内预测模式确定单元603确定的帧内预测模式计算的暂定预测图像PU确定为通过执行帧内预测获得的预测图像PU。帧内预测单元604将整个处理目标CU的所有预测图像PU进行组合,以生成通过对处理目标CU执行帧内预测获得的预测图像CU并且输出该预测图像CU,每个预测图像PU是通过对每个处理目标PU执行帧内预测来获得的。
图6的模式确定单元607将由运动补偿单元606使用帧间预测生成的预测图像CU与由帧内预测单元604使用帧内预测生成的预测图像CU进行比较。模式确定单元607根据该比较来确定帧间预测和帧内预测中的哪一个更适合于对当前处理目标CU进行编码。当模式确定单元607确定更适合于执行帧间预测时,模式确定单元607将由运动补偿单元606生成的预测图像CU输出到预测图像生成器608。当模式确定单元607确定更适合于执行帧内预测时,模式确定单元607将由帧内预测单元604生成的预测图像CU输出到预测图像生成器608。预测图像生成器608将从模式确定单元607输入的预测图像CU输出到残差计算器609。
图6的残差计算器609计算与当前处理目标CU对应的原始图像(下文中称为“原始图像CU”)中的每个像素与由预测图像生成器608输出的预测图像CU中的对应像素之间的差,以生成预测残差图像的CU(在下文中称为“预测残差图像CU”)。
图6的正交变换/量化单元610根据编码模式对针对每个TU大小的预测残差图像CU执行正交DCT变换或正交Hadamard变换(参见图5的描述),以将预测残差图像CU变换成空间频率分量信号。当图像被变换成空间频率分量时,由于图像的空间相关性,信号被收集在低频分量中,以便压缩信息。正交变换/量化单元610对通过执行正交变换获得的值执行采样,以增加系数值为零的分量的数目。
图6的可变长度编码单元611仅对由于正交变换/量化单元610执行的量化而变为非零的系数执行可变长度编码,并且输出可变长度编码的系数。可变长度编码单元611执行称为CABAC的编码,其计算与发生概率对应的最佳代码分配。这使得可以缩短任何经编码的位串的整体代码长度。
图6的逆量化/逆正交变换单元612对由正交变换/量化单元610量化的系数执行逆量化,并且还对已经执行逆量化的频率分量执行逆正交变换,以将频率分量变换成局部解码的预测残差图像。
图6的参考图像计算器613针对每个CU将由预测图像生成器608生成的预测图像CU的像素值添加到由逆量化/逆正交变换单元612输出的局部解码的预测残差图像的对应像素值。因此,参考图像计算器613生成局部解码的参考图像CU,并且将局部解码的参考图像CU累积在帧存储器614中。
如上所述,还在编码侧生成与在解码侧生成的处理目标图像相同的处理目标图像。在编码侧生成的图像被称为局部解码图像,并且可以通过在编码侧生成与解码侧的处理目标图像相同的处理目标图像来对后续帧图像执行差分编码。
图7是示出重点在于帧内预测并且由图6的视频编码装置600执行的编码处理的示例的流程图。下面根据需要参照图6的每个部件来描述该流程图。
首先,相邻像素行延长单元601将当前设置的处理目标CU划分成处理目标PU,确定处理目标PU中的一个,并且确定该处理目标PU是否为矩形划分PU(正方形划分PU)(步骤S701)。当应用HEVC之前的常规编码方案时,或者当即使使用QTBT块分割但要对其执行帧内预测的所有单元都具有正方形形状时,也确定为“否”。
当在步骤S701中对矩形划分的确定为“是”时,相邻像素行延长单元601执行上述延长相邻像素行的处理(步骤S702)。当在步骤S701中对矩形划分的确定为“否”时,相邻像素行延长单元601跳过步骤S702的处理。
接下来,由控制器(未示出)针对处理目标PU选择一个帧内预测模式(步骤S703)。在HEVC的情况下,帧内预测模式是图2中所示的35种帧内预测模式之一。
接下来,关于在步骤S703中选择的帧内预测模式,预测方向确定单元602确定是否可以使用与和所选择的帧内预测模式对应的原始预测方向相反的预测方向(在图7中缩写为“相反方向”)。如果满足以下所有条件,则确定为“是”:矩形块被选择作为处理目标PU(在步骤S701中确定为“是”);在步骤S703中当前选择的帧内预测模式是图4中描述的具有2号模式至9号模式以及33号模式至27号模式的帧内预测模式之一;以及由于由相邻像素行延长单元601执行的延长处理,相邻像素可以被设置在相反预测方向上的像素位置中(即,像素位置在原始图像内),相反预测方向是与和在步骤S703中当前选择的帧内预测模式对应的原始预测方向相反的预测方向。
当在步骤S704中确定为“是”时,预测方向确定单元602执行图4中描述的步骤1的操作。因此,预测方向确定单元602计算处理目标PU中的预测目标像素与原始预测方向上的相邻像素之间的距离,以及处理目标PU中的预测目标像素与相反预测方向上的相邻像素之间的距离(步骤S705、S706)。处理目标PU中的所有预测目标像素和原始预测方向上的相邻像素与原始预测方向上的相应相邻像素之间的距离之和,以及处理目标PU中的所有预测目标像素与相反预测方向上的相应相邻像素之间的距离之和被计算为上述距离。
图8是用于说明由预测方向确定单元602执行的计算距离的操作的图。这里,描述简单的具体示例。关于除了下面描述的示例中的帧内预测模式之外的帧内预测模式,还可以根据标准来计算处理目标PU中的所有预测目标像素与相应相邻像素之间的距离之和。
假设处理目标PU具有尺寸为[X,Y](X<Y)的矩形形状。由相邻像素行延长单元601延长的左相邻像素行和上相邻像素行(步骤S702)分别由式(3)和式(4)定义。
左相邻像素行:P[-1,-1],P[-1,0],P[-1,1],......,P[-1,XX]...(3)上邻像素行:P[-1,-1],P[0,-1],P[1,-1],......,P[YY、-1]...(4)
这里,根据X与Y之间的大小关系确定XX和YY。当如过去那样读取相邻像素时,XX=2X+1并且YY=2Y+1。然而,在实施方式中,对于预测方向执行图4中描述的延长处理,在该延长处理中,读取用于执行具有3'号模式至9'号模式的帧内预测所需数目的附加上相邻像素或者用于执行具有33'号模式至27'号模式的帧内预测所需数目的附加左相邻像素。为了执行具有9'号模式至27'号模式的预测模式的计算,需要要读取的相邻像素的数目的最大增加(相邻像素行的最宽延长)。在这种情况下,可以使用预测模式的角度来计算附加像素的确切数目,或者可以定义用于读取相邻像素的上限,使得在用于像素行延长的XX的最大值为4X+1的条件下生成相邻像素,并且在超过4X+1之后重复P[-1,4X+1]。
此外,处理目标PU中的预测目标像素由下面的式(5)定义。
预测目标像素:O[0,0],O[0,1],......,O[X-1,Y-1]...(5)
例如,假设在步骤S703中选择的帧内预测模式的原始预测方向是从左下方以225度角度的方向。还假设与原始预测方向相反的相反预测方向是从右上方以45度角度的方向。
在该示例中,在步骤S705中使用下面的式(6)计算处理目标PU中的所有预测目标像素与原始预测方向上的相应左相邻像素之间的距离之和D左。这里,“|P(-1,i+j+1),O(i,j)|”表示用于获得相邻像素P(-1,i+j+1)与预测目标像素O(i,j)之间的像素位置距离的计算。
在以上示例中,在步骤S706中使用下面的式(7)计算处理目标PU中的所有预测目标像素与相反预测方向上的相应上相邻像素之间的距离之和D上。这里,“|P(i+j+1,-1),O(i,j)|”表示获得相邻像素P(i+j+1,-1)与预测目标像素O(i,j)之间的像素位置距离的计算。
接下来,预测方向确定单元602确定在步骤S706中计算的与相反预测方向对应的距离之和是否小于在步骤S705中计算的与原始预测方向对应的距离之和(步骤S707)。这里,确定相反预测方向上的相邻像素是否比原始预测方向上的相邻像素平均更靠近处理目标PU。
当在步骤S707中确定为“是”时,图6的帧内预测模式确定单元603参考与在步骤S703中选择的帧内预测模式的原始预测方向相反的相反预测方向上的相邻像素。然后,根据帧内预测模式确定单元603参考的相邻像素,帧内预测模式确定单元603确定处理目标PU中的每个预测目标像素的暂定预测值,以生成以上所述的暂定预测目标图像PU(步骤S708)。
当在步骤S707中确定为“否”时,或者当因为不可以使用与和当前帧内预测模式对应的原始预测方向相反的相反预测方向而在上述的步骤S704中确定为“否”时,帧内预测模式确定单元603执行以下处理。帧内预测模式确定单元603参考在步骤S703中选择的帧内预测模式的原始预测方向上的相邻像素。然后,根据帧内预测模式确定单元603参考的相邻像素,帧内预测模式确定单元603确定处理目标PU中的每个预测目标像素的暂定预测值,以生成以上所述的暂定预测目标图像PU(步骤S709)。
接下来,帧内预测模式确定单元603使用以上所述的式(1)计算原始图像PU中的像素与在步骤S708或S709中生成的暂定预测图像PU中的对应像素之间的绝对差之和SAD_cost。此外,帧内预测模式确定单元603通过使用所计算的绝对差之和SAD_cost使用以上所述的式(2)计算与在步骤S703中选择的当前帧内预测模式对应的成本值(“cost”值)。然后,帧内预测模式确定单元603确定是否此时计算的成本值小于针对在步骤S703中仔细地选择的帧内预测模式的每个成本值。当已确定为“是”时,帧内预测模式确定单元603将在步骤S703中选择的当前帧内预测模式确定为与当前处理目标PU对应的帧内预测模式的暂定输出值。此外,图6的帧内预测单元604将针对当前帧内预测模式在步骤S708或S709中生成的暂定预测图像PU确定为通过执行与当前处理目标PU对应的帧内预测获得的预测图像PU的暂定输出值(步骤S710)。
接下来,控制器(未示出)确定是否已对全部可选择的帧内预测模式(例如,在HEVC情况下图2所示的35种帧内预测模式)执行包括以上所述的步骤S703至S710的一系列处理(步骤S711)。
当在步骤S711中确定为“否”时,处理返回至步骤S703,并且对下一帧内预测模式执行包括步骤S703至S710的一系列处理。
当在步骤S711中确定为“是”时,在此时由帧内预测模式确定单元603输出的帧内预测模式的暂定输出值被确定为针对当前处理目标PU最终确定的帧内预测模式的输出值。此外,此时由帧内预测单元604输出的预测图像PU的暂定输出值被确定为通过执行针对当前处理目标PU最终确定的帧内预测获得的预测图像PU的输出值。
接下来,控制器(未示出)确定是否已对通过划分处理目标CU(参照图5)获得的全部处理目标PU执行包括以上所述的步骤S701至S711的一系列处理(步骤S712)。
当在步骤S712中确定为“否”时,处理返回至步骤S701,并且对处理目标CU中的下一处理目标PU执行包括步骤S701至S711的一系列处理。
当在步骤S712中确定为“是”时,已对于处理目标CU中的全部的处理目标PU完成确定帧内预测模式和生成通过执行使用帧内预测模式的帧内预测获得的预测图像PU,并且确定与当前处理目标CU对应的预测图像CU。
然后,对处理目标CU执行块编码处理(步骤S713)。在步骤S713中,执行以下一系列处理。
首先,图6的模式确定单元607从运动补偿单元606接收通过将通过执行帧间预测获得的预测图像PU组合成一个CU而获得的预测图像CU的输入,预测图像PU是通过由运动矢量检测器605和运动补偿单元606执行的上述的帧间预测处理而生成的。此外,模式确定单元607接收从帧内预测单元604输出的预测图像CU的输入作为重复直到如上所述的步骤S712为止的处理的结果,预测图像CU是通过将通过执行帧内预测获得的预测图像PU组合成一个CU而获得的。模式确定单元607将通过执行帧间预测获得的预测图像CU与通过执行帧内预测获得的预测图像CU进行比较。模式确定单元607根据比较确定帧间预测和帧内预测中的哪一个更适合于对当前处理目标CU进行编码。然后,模式确定单元607经由预测图像生成器608将通过执行已被确定为更合适的预测获得的预测图像CU发送至残差计算器609。
图6的残差计算器609计算与当前处理目标CU对应的原始图像CU中的每个像素与从预测图像生成器608接收到的预测图像CU中的对应像素之间的差,以生成预测残差图像CU。
由图6的正交变换/量化单元610和可变长度编码单元611对预测残差图像CU的每个TU(参照图5)执行上述的编码处理,以输出与处理目标CU对应的编码的图像信息。
此外,如上所述,图6的逆量化/逆正交变换单元612生成局部解码的图像,并且图6的参考图像计算器613将局部解码的图像累积在帧存储器614中。
当已完成以上所述的步骤S713中的一系列处理时,终止由图6的视频编码装置600执行的图7的流程图中的编码处理。
接下来,描述在图7的步骤S705和S706中执行的距离计算处理的另一实施方式。已经描述了以下示例:将处理目标PU中的全部预测目标像素与在原始预测方向上的相应相邻像素之间的距离之和以及处理目标PU中的全部预测目标像素与在相反预测方向上的相应相邻像素之间的距离之和计算为在步骤S705和S706中计算的距离。另一方面,可以将处理目标PU中的左上角和右下角的预测目标像素与在原始预测方向上的相应相邻像素之间的距离之和以及处理目标PU中的左上角和右下角的预测目标像素与在相反预测方向上的相应相邻像素之间的距离之和计算为在步骤S705和S706中计算的距离。在该情况下,在由步骤S703的描述表示的示例中用以下式(8)和式(9)分别替换以上所述的式(6)和式(7)。
D左=|P(-1,+1),O(0,0)|+|P(-1,X+Y-1),O(X-1,Y-1)|...(8)
D上=|P(1,-1),O(0,0)|+|P(X+Y-1,-1),O(X-1,Y-1)|...(9)
如以上所述的式(8)和式(9)所示,可以通过使用仅处理目标PU中的左上角和右下角的预测目标像素计算距离来减少距离计算量。
为了进一步减少计算量,可以将处理目标PU中的右下角的预测目标像素与在原始预测方向上的相应相邻像素之间的距离以及在处理目标PU中的右下角的预测目标像素与在相反预测方向上的相应相邻像素之间的距离计算为在步骤S705和S706中计算的距离。
图9是示出根据实施方式的视频解码装置的配置的示例的框图。图9所示的视频解码装置900包括可变长度解码单元901、模式解码器902、相邻像素行延长单元903、预测方向确定单元904、帧内预测单元905、运动补偿单元906和预测图像生成器907。视频解码装置900还包括预测残差解码器908、逆量化/逆正交变换单元909、解码图像计算器910和帧存储器911。
在图9中,首先,可变长度解码单元901对从输入单元(未示出)输入的编码的图像执行可变长度解码处理。结果,可变长度解码单元901向预测残差解码器908输出关于预测残差信号的代码信息,并且向模式解码器902输出其他信息。
针对图5所述的每个处理目标CU,模式解码器902根据从可变长度解码单元901接收到的代码信息确定将帧间预测和帧内预测中的哪一个应用于处理目标CU。当模式解码器902已确定将帧间预测应用于当前处理目标CU时,模式解码器902根据从可变长度解码单元901接收到的代码信息对关于运动矢量的信息进行解码,并且将关于运动矢量的解码的信息输入到运动补偿单元906以操作运动补偿单元906。当模式解码器902已确定将帧内预测应用于当前处理目标CU时,模式解码器902根据从可变长度解码单元901接收到的代码信息对关于帧内预测模式的信息进行解码,并且将关于帧内预测模式的解码的信息输入到相邻像素行延长单元903以操作相邻像素行延长单元903、预测方向确定单元904和帧内预测单元905。
如上所述,当模式解码器902已确定已将帧间预测应用于当前处理目标CU时,运动补偿单元906进行操作。首先,运动补偿单元906针对通过划分处理目标CU获得的每个处理目标PU对来自接收的编码的图像的运动矢量进行解码,并且根据运动矢量执行运动补偿。运动补偿单元906读取从帧存储器911读取的参考图像,从参考图像中切割出处理目标CU,并且从处理目标CU中切割出参考图像PU,参考图像PU与通过划分处理目标CU获得的处理目标PU对应。运动补偿单元906将解码的运动矢量应用于参考图像PU。因此,运动补偿单元906生成与当前处理目标PU对应的预测图像PU并且将预测图像PU确定为已对其执行帧间预测的预测图像PU。运动补偿单元906组合整个处理目标CU的全部预测图像PU,以生成通过对处理目标CU执行帧间预测获得的预测图像CU并且输出预测图像CU,每个预测图像PU是通过针对每个处理目标PU执行帧间预测而获得的。
另一方面,如上所述,当可变长度解码单元901已确定已将帧内预测应用于当前处理目标CU时,相邻像素行延长单元903、预测方向确定单元904以及帧内预测单元905进行操作。
首先,相邻像素行延长单元903执行与由图6的相邻像素行延长单元601执行的操作类似的操作。当通过划分处理目标CU获得的处理目标PU是矩形块时,相邻像素行延长单元903执行以下处理。当矩形块具有水平方向上长的形状时,相邻像素行延长单元903将矩形块的上相邻像素行延长到与通过将矩形块的长边在水平向右方向上延长而获得的延长线相邻的上块中包括的像素(参照图4的描述)。当矩形块具有竖直方向上长的形状时,相邻像素行延长单元903将矩形块的左相邻像素行延长到与通过将矩形块的长边在竖直向下方向上延长而获得的延长线相邻的左部块中包括的像素。作为相邻像素值,相邻像素行延长单元903使用从帧存储器911读取的解码的参考图像的对应位置中的像素的值。
接下来,预测方向确定单元904经由相邻像素行延长单元903从模式解码器902接收关于解码的帧内预测模式的信息的输入,解码的帧内预测模式与通过划分处理目标CU获得的当前处理目标PU对应。当处理目标PU是矩形块时,预测方向确定单元904使用由相邻像素行延长单元903设置的相邻像素值来执行图4所述的步骤1、2和3的操作,以选择与解码的预测模式对应的原始预测方向及其相反预测方向中的一个。
帧内预测单元905基于由预测方向确定单元904关于以上所述的解码的帧内预测模式执行的确定来参考在帧内预测方向上的相邻像素。接下来,帧内预测单元905根据帧内预测单元905参考的相邻像素确定处理目标PU的每个预测目标像素的预测值,并且生成预测图像PU。帧内预测单元905组合整个处理目标CU的全部预测图像PU,以生成通过对处理目标CU执行帧内预测获得的预测图像CU并且输出预测图像CU,每个预测图像PU是通过针对每个处理目标PU执行帧内预测而获得的。
预测图像生成器907将从运动补偿单元906或帧内预测单元905输入的预测图像CU输出到解码图像计算器910。
预测残差解码器908根据从可变长度解码单元901输入的编码的信息对预测残差信号进行解码,并且将解码的预测残差信号输出至逆量化/逆正交变换单元909。
逆量化/逆正交变换单元909针对通过划分处理目标CU(参照图5)获得的每个TU对从预测残差解码器908输入的空间频域中的预测残差信号执行逆量化,并且进一步对已执行逆量化的频率分量执行逆正交变换,以将频率分量变换成解码的预测残差图像。
解码图像计算器910针对每个处理目标CU(在下文中称为“预测残差图像CU”)对解码的预测残差图像TU进行组合,并且将预测残差图像CU中的每个像素添加到从预测图像生成器608输入的预测图像CU中的对应像素。结果,解码图像计算器910针对每个CU(在下文中称为“解码图像CU”)对解码的图像进行解码,并且进一步将解码的图像CU组合成一个帧图像,以将帧图像输出为解码的帧图像并且将解码的帧图像在帧存储器911中累积作为解码的参考图像。
图10是示出重点在于帧内预测并且由图9的视频解码装置900执行的解码处理的示例的流程图。下面根据需要参照图9的每个部件来描述该流程图。
首先,相邻像素行延长单元903确定是否模式解码器902已确定已将帧内预测应用于当前处理目标CU,并且确定通过划分处理目标CU获得的当前处理目标PU是否为矩形划分PU(正方形划分PU)(步骤S1001)。当应用HEVC之前的常规编码方案时,或者当即使使用QTBT块分割但要对其执行帧内预测的全部单元都具有正方形形状时,也确定为“否”。
当在步骤S1001中确定为“是”时,相邻像素行延长单元903执行上述延长相邻像素行的处理(步骤S1002)。
接下来,关于从模式解码器902输入的解码的帧内预测模式,预测方向确定单元904确定是否可以使用与和帧内预测模式对应的原始预测方向相反的相反预测方向(在图10中缩写为“相反方向”)。如果满足以下全部条件则确定为“是”:将帧内预测模式应用于处理目标PU并且将矩形块选择为处理目标PU(在步骤S1001中确定为“是”);解码的帧内预测模式是具有图4所述的2号模式至9号模式和33号模式至27号模式的帧内预测模式中的一个;并且由于由相邻像素行延长单元903执行的延长处理而导致可以将相邻像素设置在相反预测方向上的像素位置中(即,像素位置在原始图像内),相反预测位置与和解码的帧内预测模式对应的原始预测方向相反。
当在步骤S1003中确定为“是”时,预测方向确定单元904执行图4所述的步骤1的操作。因此,预测方向确定单元904计算处理目标PU中的预测目标像素与在原始预测方向上的相邻像素之间的距离,以及处理目标PU中的预测目标像素与在相反预测方向上的相邻像素之间的距离(步骤S1004,S1005)。这些处理与图6的视频编码装置600中执行的图7的步骤705和706的处理类似。将处理目标PU中的全部预测目标像素与在原始预测方向上的相应相邻像素之间的距离之和以及处理目标PU中的全部预测目标像素与在相反预测方向上的相应相邻像素之间的距离之和计算为上述距离(参照图8的描述)。此外,如上所述,可以将处理目标PU中的左上角和右下角的预测目标像素与在原始预测方向上的相应相邻像素之间的距离之和以及处理目标PU中的左上角和右下角的预测目标像素与在相反预测方向上的相应相邻像素之间的距离之和计算为在步骤S1004和S1005中计算的距离。此外,如上所述,可以将处理目标PU中的右下角的预测目标像素与在原始预测方向上的相应相邻像素之间的距离以及处理目标PU中的右下角的预测目标像素与在相反预测方向上的相应相邻像素之间的距离计算为在步骤S1004和S1005中计算的距离。然而,需要应用与应用于在图6的视频编码装置600中执行的图7中的步骤S705和S706的处理的距离计算标准类似的距离计算标准。
接下来,预测方向确定单元904确定是否在步骤S1005中计算的与相反预测方向对应的距离之和小于在步骤S1004中计算的与原始预测方向对应的距离之和(步骤S1006)。该确定与图7的步骤S707中执行的确定类似。
当在步骤S1006中确定为“是”时,图9的帧内预测单元905参考与解码的帧内预测模式的原始预测方向相反的相反预测方向上的相邻像素。然后,根据帧内预测单元905参考的相邻像素,帧内预测单元905确定在处理目标PU中的每个预测目标像素的预测值,以生成预测目标图像PU(步骤S1007)。
当在步骤S1006中确定为“否”时,或者当因为不可以使用与解码的帧内预测模式的原始预测方向相反的相反预测方向而在以上所述的步骤S1003中确定为“否”时,帧内预测单元905执行步骤S1008的处理。替选地,当未将帧内预测模式应用于处理目标PU时或者当处理目标PU不是矩形块并且已在以上所述的步骤S1001中确定为“否”时,帧内预测单元905还执行步骤S1008的处理。在步骤S1008中,帧内预测单元905参考解码的帧内预测模式的原始预测方向上的相邻像素。然后,根据帧内预测单元905参考的相邻像素,帧内预测单元905确定在处理目标PU中的每个预测目标像素的预测值,以生成预测目标图像PU(步骤S1008)。
接下来,控制器(未示出)确定是否已对通过划分处理目标CU(参照图5)获得的全部处理目标PU执行包括以上所述的步骤S1001至S1008的一系列处理(步骤S1009)。
当在步骤S1009中确定为“否”时,处理返回至步骤S1001,并且对处理目标CU中的下一处理目标PU执行包括步骤S1001至S1008的一系列处理。
当在步骤S1009中确定为“是”时,已对于处理目标CU中的全部处理目标PU完成生成通过执行使用解码的帧内预测模式的帧内预测获得的预测图像PU,并且确定与当前CU对应的预测图像CU。
然后,对处理目标CU执行块解码处理(步骤S1010)。在步骤S1010中,针对通过划分处理目标CU获得的每个TU,由预测残差解码器908、逆量化/逆正交变换单元909和解码图像计算器910执行块解码处理。结果,解码图像计算器910对与处理目标CU对应的解码的图像CU进行解码,并且进一步将解码的图像CU组合成一个帧图像,以将帧图像输出为解码的帧图像并且将解码的帧图像在帧存储器911中累积作为解码的参考图像。
当已完成以上所述的步骤S1010中的一系列处理时,终止由图9的视频解码装置900执行的图10的流程图中的解码处理。
图11是可以实现为图6的视频编码装置600或图9的视频解码装置900的计算机的硬件配置的示例。
图11所示的计算机包括中央处理单元(CPU)1101、存储器1102、输入装置1103、输出装置1104、辅助存储装置1105、***便携式记录介质1109的介质驱动装置1106以及网络连接装置1107。这些部件经由总线1108彼此连接。图11所示的配置是可以实现为以上所述的视频编码装置600或视频解码装置900的计算机的配置的示例,并且这样的计算机不限于该配置。
存储器1102是例如半导体存储器,诸如只读存储器(ROM)、随机存取存储器(RAM)或闪速存储器,并且存储用于执行处理的程序和数据。
例如,CPU 1101(处理器)通过使用存储器1102执行程序来操作为图6或图9所示的每个功能,程序与例如应用于图6的视频编码装置600的图7的流程图中的处理对应或者与例如应用于图9的视频解码装置900的图10的流程图中的处理对应。
输入装置1103是例如键盘或定点装置,并且用于输入来自操作者或用户的指令或信息。输出装置1104是例如显示器、打印机或扬声器,并且用于向操作者或用户输出查询或用于输出处理的结果。
辅助存储装置1105是例如磁盘存储装置、磁盘装置、光盘装置、磁光盘装置、磁带装置或半导体存储装置。图6的视频编码装置600或图9的视频解码装置900将程序和数据存储在辅助存储装置1105中以将程序和数据加载到存储器1102中并且使用程序和数据,程序和数据是用于执行例如应用于图6的视频编码装置600的图7的流程图中的处理或用于执行例如应用于图9的视频解码装置900的图10的流程图中的处理。
介质驱动装置1106驱动便携式记录介质1109以访问记录的内容。便携式记录介质1109是例如存储器装置、软盘、光盘或磁光盘。便携式记录介质1109可以是例如致密盘只读存储器(CD-ROM)、数字通用盘(DVD)或通用串行总线(USB)存储器。操作者或用户可以将以上所述的程序和数据存储在便携式记录介质1109中,以将程序和数据加载到存储器1102中并且使用程序和数据。
如上所述,在其中存储以上所述的程序和数据的计算机可读记录介质是物理(非暂态)记录介质,例如存储器1102、辅助存储装置1105或便携式记录介质1109。
网络连接装置1107是连接至通信网络诸如局域网(LAN)并且执行与通信相关联的数据转换的通信接口。图6的视频编码装置600或图9的视频解码装置900还可以经由网络连接装置1107从外部装置接收以上所述的程序或数据,以将该程序和数据加载到存储器1102中并且使用该程序和数据。
图6的视频编码装置600或图9的视频解码装置900不必包括图11中的全部部件,并且可以根据应用或要求省略一些部件。例如,当不存在从操作者或用户输入指令或信息的需要时,可以省略输入装置1103。当不使用便携式记录介质1109或通信网络时,可以省略介质驱动装置1106或网络连接装置1107。
在以上所述的实施方式中,当处理目标块具有非正方形形状时,确定在原始预测方向上的帧内预测和在相反预测方向上的帧内预测中的哪一个使得可以根据更近的预测图像执行帧内预测,以在不增加预测模式的数目的情况下实现帧内预测。这导致能够对于对矩形块执行的帧内预测更有效地执行编码。
在以上所述的实施方式中,与原始预测方向相反的预测方向是确定目标预测方向,但是不限于相反方向。取决于用于生成预测像素的用于获得预测像素的方法(由例如标准限定的方法),与大约180度的角度对应的方向而不是恰好180度的方向可以是确定目标预测方向。
此外,如果满足条件,则可以增加与相反预测方向对应的帧内预测模式的数目,以对关于添加的帧内预测模式的信息进行编码。
本公开内容还可以具有如下配置:
1.一种图像编码装置,所述图像编码装置在图像中对通过划分所述图像而获得的块执行帧内预测,以对所述块进行编码,所述图像编码装置包括:
块选择单元,用于选择矩形块作为所述块;以及
预测方向确定单元,用于在所述矩形块被选择时将特定预测方向添加作为选择目标帧内预测方向,其中,所述特定预测方向是参考与所述矩形块的短边相邻的像素的预测方向中的一个,并且在与所述特定预测方向180度相反的另一预测方向上参考与所述矩形块的长边相邻的左块或上块中的相邻像素。
2.根据方案1所述的图像编码装置,其中,
当所述矩形块具有竖直方向上长的形状时,所述相邻像素被包括在与所述矩形块的长边相邻或与通过在竖直向下方向上延长所述长边而获得的延长线相邻的左块中,并且当所述矩形块具有水平方向上长的形状时,所述相邻像素被包括在与所述矩形块的长边相邻或与通过在水平向右方向上延长所述长边而获得的延长线相邻的上块中。
3.根据方案1或2所述的图像编码装置,其中,
关于所述矩形块,所述预测方向确定单元将从左下到右上的帧内预测方向或从右上到左下的帧内预测方向确定为所述选择目标帧内预测方向。
4.根据方案3所述的图像编码装置,其中,
当所述矩形块中的预测目标像素被用作参考时,从左下到右上的帧内预测方向是在以水平向右方向为0度的情况下逆时针方向上的在180度和225度之间的角度的方向,并且从右上到左下的帧内预测方向是在以水平向右方向为0度的情况下逆时针方向上的在45度和90度之间的角度的方向。
5.根据方案2所述的图像编码装置,其中,
至少关于被添加作为选择目标帧内预测方向的所述特定帧内预测方向和与所添加的特定预测方向180度相反的另一帧内预测方向,所述预测方向确定单元计算所述矩形块中的所有预测目标像素与从左下到右上的帧内预测方向上的相应相邻像素之间的距离之和,以及所述矩形块中的所有预测目标像素与从右上到左下的帧内预测方向上的相应相邻像素之间的距离之和,并且将与所计算的距离之和中的较小的和对应的帧内预测方向确定为选择帧内预测方向的结果。
6.根据方案2所述的图像编码装置,其中,
至少关于被添加作为选择目标帧内预测方向的所述特定帧内预测方向和与所添加的特定预测方向180度相反的另一帧内预测方向,所述预测方向确定单元计算所述矩形块中的左上角和右下角的预测目标像素与从左下到右上的帧内预测方向上的相应相邻像素之间的距离之和,以及所述矩形块中的左上角和右下角的预测目标像素与从右上到左下的帧内预测方向上的相应相邻像素之间的距离之和,并且将与所计算的距离之和中的较小的和对应的帧内预测方向确定为选择帧内预测方向的结果。
7.根据方案2所述的图像编码装置,其中,
至少关于被添加作为选择目标帧内预测方向的所述特定帧内预测方向和与所添加的特定预测方向180度相反的另一帧内预测方向,所述预测方向确定单元计算所述矩形块中的右下角的预测目标像素与从左下到右上的帧内预测方向上的相应相邻像素之间的距离,以及所述矩形块中的右下角的预测目标像素与从右上到左下的帧内预测方向上的相应相邻像素之间的距离,并且将与所计算的距离中的较小的距离对应的帧内预测方向确定为选择帧内预测方向的结果。
8.根据方案1所述的图像编码装置,其中,
在所述矩形块被选择时选择帧内预测方向的处理中,所述预测方向确定单元不将特定预测方向添加作为所述选择目标帧内预测方向,其中,所述特定预测方向是参考与所述矩形块的短边相邻的像素的预测方向中的一个,在与所述特定预测方向180度相反的另一预测方向上参考与所述矩形块的长边相邻的左块或上块中的相邻像素,并且在所述另一预测方向上参考与所述矩形块的短边相邻的左块或上块中的像素。
9.一种图像解码装置,所述图像解码装置在图像中对通过划分所述图像而获得的块执行帧内预测,以对所述块进行解码,所述图像解码装置包括:
块确定单元,用于确定矩形块被选择作为所述块;以及
预测方向确定单元,用于当选择了在所述矩形块被选择时所使用的帧内预测方向时,将特定预测方向添加作为选择目标帧内预测方向,其中,所述特定预测方向是参考与所述矩形块的短边相邻的像素的预测方向中的一个,并且在与所述特定预测方向180度相反的另一预测方向上参考与所述矩形块的长边相邻的左块或上块中的相邻像素。
10.一种图像处理方法,所述图像处理方法在图像中对通过划分所述图像而获得的块执行帧内预测,以对所述块进行编码或解码,所述图像处理方法包括:
确定矩形块被选择作为所述块;以及
当选择了在所述矩形块被选择时所使用的帧内预测方向时,将特定预测方向添加作为选择目标帧内预测方向,其中,所述特定预测方向是参考与所述矩形块的短边相邻的像素的预测方向中的一个,并且在与所述特定预测方向180度相反的另一预测方向上参考与所述矩形块的长边相邻的左块或上块中的相邻像素。
11.一种用于在执行视频编码时执行与预测模式相关联的帧内预测的视频编码方法,所述视频编码方法包括:
确定对其执行帧内预测的处理目标单元是否具有矩形形状;
当确定要对矩形块执行帧内预测时,并且当能够使用生成与原始帧内预测方向对应的预测图像的预测模式、并且对于每个帧内预测模式能够使用从与所述原始帧内预测方向相反的相反帧内预测方向进行的预测来进行计算时,确定要使用从所述原始帧内预测方向进行的预测模式还是从所述相反帧内预测方向进行的预测模式来从较近的相邻图像执行帧内预测;以及
使用通过确定帧内预测方向而选择的帧内预测方向来确定帧内预测模式。
12.一种用于在执行视频解码时执行与预测模式相关联的帧内预测的视频解码方法,所述视频解码方法包括:
当使用与对具有矩形形状的处理目标单元执行的帧内预测对应的预测模式时,并且当能够使用生成与原始帧内预测方向对应的预测图像的预测模式、并且对于所选择的帧内预测模式能够使用从与所述原始帧内预测方向相反的相反帧内预测方向进行的预测来进行计算时,
对于所选择的帧内预测模式,确定要使用从所述原始帧内预测方向进行的预测模式还是从所述相反帧内预测方向进行的预测模式来从较近的相邻图像执行帧内预测;以及
使用通过确定帧内预测方向而选择的帧内预测方向来执行帧内预测。
13.一种存储有程序的非暂态计算机可读记录介质,所述程序使计算机执行处理,所述计算机在图像中对通过划分所述图像而获得的块执行帧内预测,以对所述块进行编码或解码,所述处理包括:
确定矩形块被选择作为所述块;以及
当选择了在所述矩形块被选择时所使用的帧内预测方向时,将特定预测方向添加作为选择目标帧内预测方向,其中,所述特定预测方向是参考与所述矩形块的短边相邻的像素的预测方向中的一个,并且在与所述特定预测方向180度相反的另一预测方向上参考与所述矩形块的长边相邻的左块或上块中的相邻像素。
将以上所述的本发明的实施方式应用于对视频进行编码和解码的处理,但是本发明的实施方式也能够适用于静止图像。
已详细描述了所公开的实施方式及其优点,但是本领域技术人员可以在不脱离权利要求书中指定的本发明的范围的情况下进行各种修改、添加和省略。
Claims (2)
1.一种图像编码装置,所述图像编码装置在图像中对通过划分所述图像而获得的块执行帧内预测,以对所述块进行编码,所述图像编码装置包括:
块确定单元,用于确定对其执行帧内预测的处理目标块是否具有矩形块;以及
预测方向确定单元,用于:针对解码的模式编号获得帧内预测方向同时针对该模式编号执行帧内预测方向,所述解码的模式编号与对应于所述处理目标块的预测模式相关联并且指示从原始方向的预测方向进行的预测模式;当已经确定所述处理目标块的形状是矩形、并且从所述原始方向的预测方向进行的预测模式的模式编号是包括在预定范围内的第一模式编号时,确定帧内预测是否能够用于指示从与所述原始方向的预测方向相反的预测方向进行的预测模式的第二模式编号;并且从所述第一模式编号和所述第二模式编号中选择一个模式编号。
2.一种视频编码方法,所述视频编码方法用于在图像中对通过划分所述图像而获得的块执行帧内预测,以对所述块进行编码,所述视频编码方法包括:
确定对其执行帧内预测的处理目标块是否具有矩形块;
针对解码的模式编号获得帧内预测方向同时针对该模式编号执行帧内预测方向,所述解码的模式编号与对应于所述处理目标块的预测模式相关联并且指示从原始方向的预测方向进行的预测模式;
当已经确定所述处理目标块的形状是矩形、并且从所述原始方向的预测方向进行的预测模式的模式编号是包括在预定范围内的第一模式编号时,确定帧内预测是否能够用于指示从与所述预测相反的预测方向进行的预测模式的第二模式编号;以及
从所述第一模式编号和所述第二模式编号中选择一个模式编号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017159965A JP2019041165A (ja) | 2017-08-23 | 2017-08-23 | 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム |
JP2017-159965 | 2017-08-23 | ||
CN201810948828.8A CN109429071B (zh) | 2017-08-23 | 2018-08-20 | 图像编码装置、图像解码装置及图像处理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810948828.8A Division CN109429071B (zh) | 2017-08-23 | 2018-08-20 | 图像编码装置、图像解码装置及图像处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116437108A true CN116437108A (zh) | 2023-07-14 |
Family
ID=63209268
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310234828.2A Pending CN116437108A (zh) | 2017-08-23 | 2018-08-20 | 图像编码装置和视频编码方法 |
CN201810948828.8A Active CN109429071B (zh) | 2017-08-23 | 2018-08-20 | 图像编码装置、图像解码装置及图像处理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810948828.8A Active CN109429071B (zh) | 2017-08-23 | 2018-08-20 | 图像编码装置、图像解码装置及图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (5) | US10666952B2 (zh) |
EP (2) | EP3448022A1 (zh) |
JP (1) | JP2019041165A (zh) |
CN (2) | CN116437108A (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019041165A (ja) * | 2017-08-23 | 2019-03-14 | 富士通株式会社 | 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム |
EP3711294A4 (en) * | 2017-11-17 | 2021-07-28 | Fg Innovation Company Limited | DEVICE AND METHOD FOR CODING VIDEO DATA ON THE BASIS OF AN ADAPTED INTRAMODUS LIST |
JP7486430B2 (ja) * | 2018-05-14 | 2024-05-17 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 四分木二分木のブロック形状適応イントラ予測方向 |
WO2020002373A1 (en) * | 2018-06-27 | 2020-01-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Contour mode prediction |
US10567752B2 (en) | 2018-07-02 | 2020-02-18 | Tencent America LLC | Method and apparatus for intra prediction for non-square blocks in video compression |
CN112425162A (zh) | 2018-07-16 | 2021-02-26 | 交互数字Vc控股公司 | 宽角帧内预测和位置依赖性帧内预测组合 |
CN110072112B (zh) * | 2019-03-12 | 2023-05-12 | 浙江大华技术股份有限公司 | 帧内预测方法、编码器及存储装置 |
CN110248194B (zh) * | 2019-06-28 | 2022-07-29 | 广东中星微电子有限公司 | 一种帧内角度预测方法及设备 |
CN113301347B (zh) * | 2021-05-08 | 2023-05-05 | 广东工业大学 | 一种hevc高清视频编码的优化方法 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009111691A (ja) * | 2007-10-30 | 2009-05-21 | Hitachi Ltd | 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法 |
KR101379187B1 (ko) * | 2008-06-23 | 2014-04-15 | 에스케이 텔레콤주식회사 | 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치 |
KR101510108B1 (ko) * | 2009-08-17 | 2015-04-10 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
JP5681359B2 (ja) * | 2009-12-17 | 2015-03-04 | メルシャン株式会社 | S−3−(ヘキサン−1−オール)−l−システインの製造方法 |
JP5367161B2 (ja) * | 2010-04-08 | 2013-12-11 | 株式会社東芝 | 画像符号化方法、装置、及びプログラム |
KR101791078B1 (ko) * | 2010-04-16 | 2017-10-30 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 장치 및 방법 |
KR101924885B1 (ko) | 2010-07-14 | 2018-12-04 | 가부시키가이샤 엔.티.티.도코모 | 비디오 코딩을 위한 저 복잡성 인트라 예측 |
JP2012191295A (ja) * | 2011-03-09 | 2012-10-04 | Canon Inc | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
KR101383775B1 (ko) * | 2011-05-20 | 2014-04-14 | 주식회사 케이티 | 화면 내 예측 방법 및 장치 |
US9532058B2 (en) * | 2011-06-03 | 2016-12-27 | Qualcomm Incorporated | Intra prediction mode coding with directional partitions |
US9602839B2 (en) * | 2011-06-15 | 2017-03-21 | Futurewei Technologies, Inc. | Mode dependent intra smoothing filter table mapping methods for non-square prediction units |
SG10201406891TA (en) * | 2011-06-24 | 2014-11-27 | Mitsubishi Electric Corp | Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method |
KR101444675B1 (ko) * | 2011-07-01 | 2014-10-01 | 에스케이 텔레콤주식회사 | 영상 부호화 및 복호화 방법과 장치 |
MX2014000159A (es) * | 2011-07-02 | 2014-02-19 | Samsung Electronics Co Ltd | Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada. |
JPWO2013065402A1 (ja) * | 2011-10-31 | 2015-04-02 | 三菱電機株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
US9813709B2 (en) * | 2012-09-28 | 2017-11-07 | Nippon Telegraph And Telephone Corporation | Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon |
US20140198855A1 (en) | 2013-01-14 | 2014-07-17 | Qualcomm Incorporated | Square block prediction |
CN103281541B (zh) * | 2013-05-10 | 2016-02-17 | 北方工业大学 | 基于深度图像的帧内预测楔形分块方法 |
WO2015057947A1 (en) * | 2013-10-17 | 2015-04-23 | Huawei Technologies Co., Ltd. | Improved reference pixel selection and filtering for intra coding of depth map |
WO2015166639A1 (ja) * | 2014-04-28 | 2015-11-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化方法、復号方法、符号化装置および復号装置 |
JP6501532B2 (ja) * | 2015-01-23 | 2019-04-17 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム |
JP2018519719A (ja) * | 2015-05-12 | 2018-07-19 | サムスン エレクトロニクス カンパニー リミテッド | イントラ予測を行う映像復号方法及びその装置、並びにイントラ予測を行う映像符号化方法及びその装置 |
JP2017073602A (ja) * | 2015-10-05 | 2017-04-13 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
WO2017065592A1 (ko) * | 2015-10-15 | 2017-04-20 | 엘지전자(주) | 비디오 신호의 인코딩, 디코딩 방법 및 그 장치 |
US11032550B2 (en) | 2016-02-25 | 2021-06-08 | Mediatek Inc. | Method and apparatus of video coding |
CN113810700B (zh) * | 2016-04-29 | 2024-07-02 | 世宗大学校产学协力团 | 用于对图像信号进行编码和解码的方法和装置 |
CN110089115B (zh) * | 2016-08-26 | 2021-07-06 | 夏普株式会社 | 图像解码装置、图像编码装置 |
EP3535972B1 (en) | 2016-12-23 | 2020-11-18 | Huawei Technologies Co., Ltd. | An intra-prediction apparatus for extending a set of predetermined directional intra-prediction modes |
FI20175006A1 (en) * | 2017-01-03 | 2019-02-15 | Nokia Technologies Oy | Video and image coding using wide-angle intra-prediction |
US10728548B2 (en) * | 2017-04-04 | 2020-07-28 | Futurewei Technologies, Inc. | Processing reference samples used for intra-prediction of a picture block |
JP2019041165A (ja) * | 2017-08-23 | 2019-03-14 | 富士通株式会社 | 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム |
JP2020182248A (ja) | 2020-07-30 | 2020-11-05 | 富士通株式会社 | 画像復号方法及び画像符号化方法 |
JP2020182249A (ja) | 2020-07-30 | 2020-11-05 | 富士通株式会社 | 画像符号化装置及び画像復号装置 |
-
2017
- 2017-08-23 JP JP2017159965A patent/JP2019041165A/ja active Pending
-
2018
- 2018-08-09 US US16/059,448 patent/US10666952B2/en active Active
- 2018-08-10 EP EP18188459.4A patent/EP3448022A1/en active Pending
- 2018-08-10 EP EP24175106.4A patent/EP4391529A3/en active Pending
- 2018-08-20 CN CN202310234828.2A patent/CN116437108A/zh active Pending
- 2018-08-20 CN CN201810948828.8A patent/CN109429071B/zh active Active
-
2020
- 2020-04-10 US US16/845,900 patent/US10958914B2/en active Active
- 2020-04-13 US US16/847,381 patent/US10979719B2/en active Active
- 2020-11-17 US US17/099,941 patent/US11284087B2/en active Active
-
2022
- 2022-02-14 US US17/671,221 patent/US11805262B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10958914B2 (en) | 2021-03-23 |
JP2019041165A (ja) | 2019-03-14 |
US10666952B2 (en) | 2020-05-26 |
US20200244973A1 (en) | 2020-07-30 |
US20220166988A1 (en) | 2022-05-26 |
US20210076049A1 (en) | 2021-03-11 |
EP4391529A2 (en) | 2024-06-26 |
EP4391529A3 (en) | 2024-07-31 |
US20190068976A1 (en) | 2019-02-28 |
US20200244972A1 (en) | 2020-07-30 |
EP3448022A1 (en) | 2019-02-27 |
US11284087B2 (en) | 2022-03-22 |
CN109429071A (zh) | 2019-03-05 |
US11805262B2 (en) | 2023-10-31 |
CN109429071B (zh) | 2023-09-08 |
US10979719B2 (en) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109429071B (zh) | 图像编码装置、图像解码装置及图像处理方法 | |
CN105635735B (zh) | 感知图像和视频编码 | |
US8908760B2 (en) | Method and apparatus for processing video signals | |
KR101228020B1 (ko) | 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치 | |
JP5277257B2 (ja) | 動画像復号化方法および動画像符号化方法 | |
KR101356734B1 (ko) | 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치 | |
KR101366093B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
EP2063644A2 (en) | Image encoding device and encoding method, and image decoding device and decoding method | |
US9204154B2 (en) | Image encoding device and image decoding device | |
JP7156471B2 (ja) | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム | |
CN112673628B (zh) | 影像编码装置及方法、影像解码装置及方法、记录介质 | |
JP6019797B2 (ja) | 動画像符号化装置、動画像符号化方法、及びプログラム | |
WO2019150411A1 (ja) | 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム | |
JP2020182249A (ja) | 画像符号化装置及び画像復号装置 | |
JP2020182248A (ja) | 画像復号方法及び画像符号化方法 | |
US11218705B2 (en) | Information processing device and video encoding method | |
JP7323014B2 (ja) | 映像復号方法 | |
JP2020182247A (ja) | 画像符号化方法及び画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |