CN117795959A - 图像解码装置、图像解码方法及程序 - Google Patents
图像解码装置、图像解码方法及程序 Download PDFInfo
- Publication number
- CN117795959A CN117795959A CN202280054451.6A CN202280054451A CN117795959A CN 117795959 A CN117795959 A CN 117795959A CN 202280054451 A CN202280054451 A CN 202280054451A CN 117795959 A CN117795959 A CN 117795959A
- Authority
- CN
- China
- Prior art keywords
- prediction
- intra
- information
- block
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 48
- 239000013598 vector Substances 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 abstract description 4
- 238000013139 quantization Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 238000001914 filtration Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 238000011045 prefiltration Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 101100025911 Mus musculus Ncoa3 gene Proteins 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明所涉及的图像解码装置(200)具有:帧间预测部(241),其导出相对于几何分割模式(GPM)的运动信息并生成运动补偿像素;帧内预测部(242),其导出相对于几何分割模式(GPM)的帧内预测模式并生成帧内预测像素;以及预测信息缓冲器(244),其保存或输出应用有几何分割模式(GPM)的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息。
Description
技术领域
本发明涉及一种图像解码装置、图像解码方法及程序。
背景技术
在非专利文献1中,公开一种GPM(Geometric Partitioning Mode:几何划分模式、几何分割模式)。
GPM将矩形块倾斜地一分为二,分别对其进行运动补偿。具体而言,在GPM中,分割而成的两个区域分别利用融合模式的运动矢量进行运动补偿,并通过加权平均进行合成。作为倾斜的分割图案,根据角度和位置而准备有64种图案。
现有技术文献
专利文献
非专利文献1:ITU-T H.266/VVC
非专利文献2:JVET-U0100、“Compression efficiency methods beyond VVC”
非专利文献3:JVET-W0097、“EE2-related Combination of EE2-3.3,EE2-3.4andEE2-3.5”
发明内容
发明要解决的课题
然而,非专利文献1中公开的GPM限定于融合模式,因此具有编码性能存在改善余地的问题点。
因此,本发明是鉴于上述的课题而作出的,其目的在于,提供一种通过规定在GPM中追加帧内预测模式的情况下的预测信息及预测信息的保存方法,能够提高编码性能的图像解码装置、图像解码方法及程序。
用于解决课题的手段
本发明的第一技术方案是一种图像解码装置,其主旨在于,具有:帧间预测部,其构成为导出相对于几何分割模式的运动信息并生成运动补偿像素;帧内预测部,其构成为导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素;以及预测信息缓冲器,其构成为保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息。
本发明的第二技术方案是一种图像解码装置,其主旨在于,具有:帧间预测部,其构成为导出相对于几何分割模式的运动信息并生成运动补偿像素;帧内预测部,其构成为导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素;预测信息缓冲器,其构成为保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息;以及合成部,其构成为以规定的权值对所述运动补偿像素和所述帧内预测像素进行加权平均来合成新的预测像素。
本发明的第三技术方案是一种图像解码装置,其主旨在于,具有:帧间预测部,其构成为导出相对于几何分割模式的运动信息并生成运动补偿像素;帧内预测部,其构成为导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素;预测信息缓冲器,其构成为保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息;以及环路滤波处理部,其构成为判定对块边界应用去块滤波器时的边界强度值并应用去块滤波器。
本发明的第四技术方案是一种图像解码方法,其主旨在于,具有:导出相对于几何分割模式的运动信息并生成运动补偿像素的工序;导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素的工序;以及保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息的工序。
本发明的第五特征是一种技术方案,其主旨在于,其使计算机作为图像解码装置发挥功能,其中,所述图像解码装置具有:帧间预测部,其构成为导出相对于几何分割模式的运动信息并生成运动补偿像素;帧内预测部,其构成为导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素;以及预测信息缓冲器,其构成为保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息。
发明效果
根据本发明,能够提供一种通过规定在GPM中追加帧内预测模式的情况下的预测信息及预测信息的保存方法,能够提高编码性能的图像解码装置、图像解码方法及程序。
附图说明
图1是表示一实施方式所涉及的图像处理***1的结构的一例的图。
图2是表示一实施方式所涉及的图像编码装置100的功能块的一例的图。
图3是表示一实施方式所涉及的图像解码装置200的功能块的一例的图。
图4是表示通过非专利文献1所公开的几何分割模式,矩形的解码目标块由几何分割模式的分割线一分为二呈几何形状的分割区域A和分割区域B的情况的一例的图。
图5是表示非专利文献1所公开的融合候补列表的构建方法的图。
图6表示相对于本实施方式所涉及的GPM应用帧内预测模式的一例。
图7表示相对于本实施方式所涉及的GPM应用帧内预测模式的一例。
图8是表示非专利文献1和本实施方式所涉及的GPM的相对于各分割区域A/B的预测像素的权重系数w的值的一例的图。
图9是表示规定GPM的分割线的角度的angleIdx(角度索引)的一例的图。
图10是表示disLut的一例的图。
图11是表示按4×4像素子块特定非专利文献1所公开的被保存预测信息种类和本实施方式所涉及的被保存预测信息种类的例子的图。
图12是表示根据构成GPM应用块的子块的sType的值保存的非专利文献1所公开的运动信息和本实施方式所涉及的预测信息的一览表的图。
图13是表示相对于图4之类的由不同的两个帧间预测构成的GPM所保存的预测信息的一例的图。
图14是表示相对于图6之类的由帧内预测和帧间预测构成的GPM所保存的预测信息的一例的图。
图15是表示相对于图7之类的由不同的两个帧内预测构成的GPM所保存的预测信息的一例的图。
图16是表示本实施方式所涉及的合成部243使用保存在预测信息缓冲器244的预测信息来控制对与解码目标块相邻的相邻块应用几何分割模式的情况下的解码目标块的帧间-帧内联合预测的权值判定的一例的图。
图17是表示环路滤波处理部250对相邻的块边界应用的去块滤波器的一例的图。
符号说明
10:图像处理***;100:图像编码装置;111、241:帧间预测部:112、242:帧内预测部;113、243:合成部;114、224:预测信息缓冲器;121:减法器;122、230:加法器;131:变换/量化部;132、220:反向变换/反向量化部;140:编码部;150、250:环路滤波处理部;160、260:帧缓冲器;200:图像解码装置;210:解码部。
具体实施方式
以下,一边参考附图一边说明本发明的实施方式。此外,以下的实施方式中的构成要素能够适当地与现有的构成要素等进行替换,并且能够进行包括与其他现有的构成要素的组合的各种变形。因此,不依据以下的实施方式的记载来限定权利要求书中记载的技术方案的内容。
<第一实施方式>
以下,参考图1~图15,对本发明的第一实施方式所涉及的图像处理***10进行说明。图1是表示本实施方式所涉及的图像处理***10的图。
(图像处理***10)
如图1所示,本实施方式所涉及的图像处理***10具有图像编码装置100和图像解码装置200。
图像编码装置100构成为通过对输入图像信号(画面)进行编码来生成编码数据。图像解码装置200构成为通过对编码数据进行解码来生成输出图像信号。
在此,所述编码数据可以从图像编码装置100经由传输路径发送到图像解码装置200。另外,编码数据也可以在被存储于存储介质后,从图像编码装置100提供给图像解码装置200。
(图像编码装置100)
以下,参考图2,对本实施方式所涉及的图像编码装置100进行说明。图2是表示本实施方式所涉及的图像编码装置100的功能块的一例的图。
如图2所示,图像编码装置100具有帧间预测部111、帧内预测部112、合成部113、预测信息缓冲器114、减法器121、加法器122、变换/量化部131、反向变换/反向量化部132、编码部140、环路滤波处理部150和帧缓冲器160。
帧间预测部111构成为通过帧间预测(inter-frame prediction)来生成帧间预测信号。
具体而言,帧间预测部111构成为通过对编码目标帧(目标帧)与存储于帧缓冲器160的参考帧进行比较来特定参考帧所含的参考块,并对特定的参考块确定运动矢量(MV:Motion Vector)。在此,参考帧是与目标帧不同的帧。
另外,帧间预测部111构成为根据参考块和运动矢量,按目标块生成编码目标块(以下,目标块)所含的帧间预测信号。
另外,帧间预测部111构成为将帧间预测信号输出到合成部113。
另外,虽然在图2中未图示,但帧间预测部111构成为将帧间预测的控制有关的信息(具体而言,帧间预测模式、运动矢量、参考帧列表、参考帧编号等信息)输出到编码部140。
帧内预测部112构成为通过帧内预测(intra-frame prediction)来生成帧内预测信号。
具体而言,帧内预测部112构成为特定目标帧所含的参考块,并根据所特定的参考块按目标块生成帧内预测信号。在此,参考块是参考目标块的块。例如,参考块是与目标块相邻的块。
另外,帧内预测部112构成为将帧内预测信号输出到合成部113。
另外,虽然在图2中未图示,但帧内预测部112构成为将帧内预测的控制有关的信息(具体而言,帧内预测模式等信息)输出到编码部140。
合成部113构成为将从帧间预测部111输入的帧间预测信号或/和从帧内预测部112输入的帧内预测信号使用预先设定的权重系数进行合成,并将所合成的预测信号(以下,统称为预测信号)输出到减法器121和加法器122。
预测信息缓冲器114构成为保存从帧间预测部111或帧内预测部112输入的预测信息或将所保存的预测信息输出到帧间预测部111或帧内预测部112或合成部113或环路滤波处理部150。在此,将在后面说明预测信息的细节。
在此,关于合成部113的帧间预测信号或/和帧内预测信号的合成处理,由于也能够在本实施方式中采用与非专利文献1相同的结构,因此省略说明。
减法器121构成为从输入图像信号减去预测信号,将预测残差信号输出到变换/量化部131。在此,减法器121构成为生成预测残差信号,其是由帧内预测或帧间预测生成的预测信号与输入图像信号的差。
加法器122构成为将从合成部113输出的预测信号与从反向变换/反向量化部132输出的预测残差信号相加来生成滤波处理前解码信号,并将所述滤波处理前解码信号输出到帧内预测部112和环路滤波处理部150。
在此,滤波处理前解码信号构成由帧内预测部112使用的参考块。
变换/量化部131构成为进行预测残差信号的变换处理并且取得系数层次值。而且,变换/量化部131也可以构成为进行系数层次值的量化。
在此,变换处理是将预测残差信号变换为频率分量信号的处理。作为所述变换处理,可以使用与离散余弦变换(Discrete Cosine Transform,以下记为DCT)对应的基底图案(变换矩阵),也可以使用与离散正弦变换(Discrete Sine Transform,以下记为DST)对应的基底图案(变换矩阵)。
另外,作为变换处理,也可以使用非专利文献1所公开的能够从多个变换基底按水平/垂直方向选择适于预测残差信号的系数的偏差的MTS(Multiple TransformSelection:多核变换选择)、通过使一次变换后的变换系数集中于频率更低区域来改善编码性能的LFNST(Low Frequecny Non-Separable Transform:低频不可分变换)。
反向变换/反向量化部132构成为进行从变换/量化部131输出的系数层次值的反向变换处理。在此,反向变换/反向量化部132也可以构成为在反向变换处理之前进行系数层次值的反向量化。
在此,反向变换处理和反向量化进行与由变换/量化部131进行的变换处理和量化相反的步骤。
编码部140构成为对从变换/量化部131输出的系数层次值进行编码,并输出编码数据。
在此,例如,编码是根据系数层次值的发生概率分配不同的长度的代码的熵编码。
另外,编码部140构成为除了系数层次值以外,还对由解码处理使用的控制数据进行编码。
在此,控制数据可以包含编码块尺寸、预测块尺寸、变换块尺寸等块尺寸有关的信息(标志或索引)。
另外,控制数据也可以包含后述的图像解码装置200中的反向变换/反向量化部220的反向变换/反向量化处理、帧间预测部241的帧间预测信号生成处理、帧内预测部242的帧内预测信号生成处理、合成部243的帧间预测信号或/和帧内预测信号的合成处理、环路滤波处理部250的滤波处理等控制所需的信息(标志或索引)。
此外,在非专利文献1中,这些控制数据被称为语法,其定义被称为语义。
另外,控制数据也可以包含后述的序列参数集(SPS:Sequence Parameter Set)、画面参数集(PPS:Picutre Parameter Set)、画面报头(PH:Picture Header)、切片报头(SH:Slice Header)等报头信息。
环路滤波处理部150构成为对从加法器122输出的滤波处理前解码信号进行滤波处理并且将滤波处理后解码信号输出到帧缓冲器160。
在此,例如,滤波处理是减少在块(编码块、预测块或变换块)的边界部分产生的失真的去块滤波器处理或根据从图像编码装置100传输的滤波系数、滤波选择信息、图像的图形的局部的性质等切换滤波的自适应循环滤波处理。
帧缓冲器160构成为累积由帧间预测部111使用的参考帧。
在此,滤波处理后解码信号构成由帧间预测部111使用的参考帧。
(图像解码装置200)
以下,参考图3对本实施方式所涉及的图像解码装置200进行说明。图3是表示本实施方式所涉及的图像解码装置200的功能块的一例的图。
如图3所示,图像解码装置200具有解码部210、反向变换/反向量化部220、加法器230、帧间预测部241、帧内预测部242、合成部243、预测信息缓冲器224、环路滤波处理部250和帧缓冲器260。
解码部210构成为对由图像编码装置100生成的编码数据进行解码,并对系数层次值进行解码。
在此,解码例如是步骤与由编码部140进行的熵编码的步骤相反的熵解码。
另外,解码部210也可以构成为通过编码数据的解码处理取得控制数据。
在此,控制数据可以包含上述的解码块(与上述的图像编码装置100中的编码目标块的意思相同。以下,统称为目标块)的块尺寸有关的信息。
另外,控制数据也可以包含反向变换/反向量化部220的反向变换/反向量化处理、帧间预测部241或帧内预测部242的预测像素生成处理、环路滤波处理部250的滤波处理等控制所需的信息(标志或索引)。
另外,控制数据也可以包含上述的序列参数集(SPS:Sequence Parameter Set)、画面参数集(PPS:Picutre Parameter Set)、画面报头(PH:Picture Header)、切片报头(SH:Slice Header)等报头信息。
反向变换/反向量化部220构成为进行从解码部210输出的系数层次值的反向变换处理。在此,反向变换/反向量化部220也可以构成为在反向变换处理之前进行系数层次值的反向量化。
在此,反向变换处理和反向量化进行与由变换/量化部131进行的变换处理和量化相反的步骤。
与帧间预测部111同样地,帧间预测部241构成为通过帧间预测(inter-frameprediction)来生成帧间预测信号。
具体而言,帧间预测部241构成为根据从编码数据解码而成的运动矢量和参考帧所含的参考信号来生成帧间预测信号。帧间预测部241构成为将帧间预测信号输出到合成部243。
与帧内预测部112同样地,帧内预测部242构成为通过帧内预测(intra-frameprediction)来生成帧内预测信号。
具体而言,帧内预测部242构成为特定目标帧所含的参考块,并根据所特定的参考块按预测块生成帧内预测信号。帧内预测部242构成为将帧内预测信号输出到合成部243。
与合成部113同样地,合成部243构成为将从帧间预测部241输入的帧间预测信号或/和从帧内预测部242输入的帧内预测信号使用预先设定的权重系数进行合成,并将所合成的预测信号(以下,统称为预测信号)输出到加法器230。
与预测信息缓冲器114同样地,预测信息缓冲器244构成为保存从帧间预测部221或帧内预测部222输入的预测信息或将所保存的预测信息输出到帧间预测部241或帧内预测部242或合成部243或环路滤波处理部250。在此,将在后面说明预测信息的细节。
加法器230构成为将从合成部243输出的预测信号与从反向变换/反向量化部220输出的预测残差信号相加来生成滤波处理前解码信号,并将所述滤波处理前解码信号输出到环路滤波处理部250。
在此,滤波处理前解码信号构成由帧内预测部242使用的参考块。
与环路滤波处理部150同样地,环路滤波处理部250构成为对从加法器230输出的滤波处理前解码信号进行滤波处理,并且将滤波处理后解码信号输出到帧缓冲器260。
在此,例如,滤波处理是减少在块(编码块、预测块、变换块或将这些分割而成的子块)的边界部分产生的失真的去块滤波器处理或根据从图像编码装置100传输的滤波系数、滤波选择信息、图像的图形的局部的性质等切换滤波的自适应循环滤波处理。
与帧缓冲器160同样地,帧缓冲器260构成为累积由帧间预测部241使用的参考帧。
在此,滤波处理后解码信号构成由帧间预测部241使用的参考帧。
(几何分割模式)
以下,使用图4~图7,对解码部210、帧间预测部241和帧内预测部242所涉及的非专利文献1所公开的几何分割模式(GPM)和相对于本实施方式所涉及的第一几何分割模式(GPM)进行的帧内预测模式的应用进行说明。
图4表示通过非专利文献1所公开的几何分割模式,矩形的解码目标块由几何分割模式的分割线L一分为二呈几何形状的分割区域A和分割区域B的情况的一例。
在此,非专利文献1所公开的几何分割模式的分割线L根据角度和位置而准备有64种图案。
另外,非专利文献1所涉及的GPM分别对分割区域A和分割区域B应用作为帧间预测的一种的通常融合模式,并生成帧间预测(运动补偿)像素。
具体而言,在所述GPM中,构建非专利文献1所公开的融合候补列表,根据所述融合候补列表和从图像编码装置100传输的相对于各分割区域A/B的两个融合索引(merge_gpm_idx0、merge_gpm_idx1),导出各分割区域A/B的运动矢量(mvA、mvB)和参考帧,生成参考块,即帧间预测(或运动补偿)块,最终各分割区域A/B的帧间预测像素通过预先设定的权重被加权平均来合成。
图5是表示非专利文献1所公开的融合候补列表的构建方法的图。
如图5所示,所述融合候补列表由表示两个预测方向的列表0(L0)和列表1(L1)构成,而且相对于各列表将多个后述的运动信息的候补构建于列表。
非专利文献1所公开的GPM的分割区域A/B的运动信息由相对于分割区域A/B的merge_gpm_idx0/merge_gpm_idx1和图5所示的面向GPM的融合候补列表(MergeCandList[m,n])导出。
在此,为了使根据merge_gpm_idx0和merge_gpm_idx1导出的运动信息尽量不重复,如图5的X所示,在merge_gpm_idx0和merge_gpm_idx1中选择的运动信息的作为导出目标的列表编号按MergeCandList的偶数编号和奇数编号成为嵌套结构。
具体而言,根据merge_gpm_idx0和merge_gpm_idx1,计算以下的m和n。
m=merge_gpm_idx0[xCb][yCb]
n=merge_gpm_idx1[xCb][yCb]+((merge_gpm_idx1[xCb][yCb]>=m)?1:0)
根据这样计算出的m的值,如以下这样导出构成分割区域A的运动信息的运动矢量、参考图像索引和预测列表标志。
首先,根据m&0x01(m的值是否为偶数的判定)和n&0x01(n的值是否为偶数的判定)计算出X的值。在此,在计算出的X为0的情况下,将X的值设为(1-X)。
最后,如以下这样分别导出分割区域A的运动矢量mvA、参考图像索引refIdxA、预测列表标志preListFlagA、分割区域B的运动矢量mvB、参考图像索引refIdxB、预测列表标志preListFlagB。
mvA=mvLXM
refIdxA=refIdxLXM
preListFlagA=X
mvB=mvLXN
refIdxB=refIdxLXN
preListFlagB=X
在此,M和N分别是融合候补列表中m和n所示的融合候补的编号,即,
M=MergeCandList[m]
N=MergeCandList[n]。
图6和图7表示相对于本实施方式所涉及的GPM应用帧内预测模式的一例。
具体而言,图6表示相对于各分割区域A/B应用帧内预测(modeX)和帧间预测的情况下的本实施方式所涉及的GPM的结构例。图7表示相对于各分割区域A/B应用不同的两个帧内预测(modeX、modeY)的情况下的本实施方式所涉及的GPM的结构例。
在此,在本实施方式所涉及的第一GPM中,能够相对于各分割区域A/B应用通常融合模式或帧内预测模式中的任一种,而且帧内预测模式的种类根据目标块的分割形状(分割线)而限定。
另外,在本实施方式所涉及的第二GPM中,规定能否应用对解码目标块的帧内预测模式追加应用的GPM和GPM应用时的各分割区域A/B的预测模式种类的特定方法。
由此,通过追加应用了帧内预测模式的GPM被适当地应用于解码目标块,并且特定最优的预测模式,作为结果,能够实现编码性能的进一步改善的余地。
(GPM的权重系数)
以下,使用图8~图10,对解码部210、帧间预测部241、帧内预测部242和合成部243所涉及的非专利文献1和本实施方式所涉及的GPM的权重系数w进行说明。
图8是表示非专利文献1和本实施方式所涉及的GPM的相对于各分割区域A/B的预测像素的权重系数w的值的一例的图。
由帧间预测部241或帧内预测部242生成的各分割区域A/B的预测像素在合成部243中通过权重系数w被合成(加权平均)。
在非专利文献1中,权重系数w的值使用0~8的值,在本实施方式中,也可以使用所述权重系数w的值。在此,权重系数w的值0、8表示非合成区域(非Blending区域),权重系数w的值1~7表示合成区域(Blending)。
此外,在本实施方式中,权重系数w的计算方法可以采用与非专利文献1相同的方法构成为根据由像素位置(xL、yL)和目标块尺寸计算出的偏移值(offsetX、offsetY)、图9所示的由规定几何分割模式(GPM)的分割线的角度的angleIdx计算出的位移(diplacementX、diplacementY)和图10所示的由diplacementX、diplacementY计算出的表格值disLut,按照以下这样的方式计算。
weightIdx=(((xL+offsetX)<<1)+1)×disLut[diplacementX]+(((yL+offsetY)<<1)+1)×disLut[diplacementY]
weightIdxL=partFlip?32+weightIdx:32-weightIdx
w=Clip3(0,8,(weightIdxL+4)>>3)
(被保存运动信息种类和被保存预测信息种类)
以下,使用图11,对解码部210、帧间预测部241、帧内预测部242和预测信息缓冲器244的非专利文献1所公开的被保存运动信息种类和本实施方式所涉及的被保存预测信息种类进行说明。
图11是表示按4×4像素子块特定非专利文献1所公开的被保存预测信息种类和本实施方式所涉及的被保存预测信息种类的例子的图。
两者的计算方法如下所示相同,但不同的点在于,如图8所示,保存的信息在非专利文献1中为运动信息,相对于此,在本实施方式中为预测信息。
第一,与非专利文献1同样地,被保存运动信息种类的值和被保存预测信息种类的值(由于计算方法相同,因此之后为了方便,所有的值均定义为sType)根据4×4像素子块单元的索引(xSbIdx、ySbIdx)、与上述的权重系数w同样计算出的偏移值(offsetX、offsetY)、位移(diplacementX、diplacementY)和表格(disLut),按照以下这样的方式计算。
motionIdx=(((4×xSbIdx+offsetX)<<1)+5)×disLut[diplacementX]+(((4×ySbIdx+offsetY)<<1)+5)×disLut[diplacementY]
sType=Abs(motionIdx)<32?2:(motionIdx<=0?(1-isFlip):isFlip)
在此,如图11所示,sType的值由0、1、2这三种值构成,根据各个值,保存于预测信息缓冲器244的运动信息和预测信息如以下这样由帧间预测部241和帧内预测部242控制。
在sType的值为0的情况下,在非专利文献1中保存分割区域A的运动信息,在本实施方式中保存分割区域A的预测信息。
在sType的值为1的情况下,在非专利文献1中保存分割区域B的运动信息,在本实施方式中保存分割区域B的预测信息。
在sType的值为2的情况下,在非专利文献1中保存分割区域A和分割区域B的运动信息或仅分割区域B的运动信息,在本实施方式中保存分割区域A和分割区域B的预测信息或仅分割区域B的预测信息。
在此,将在后面说明所保存的运动信息和预测信息。
此外,可以由上述的4×4像素子块单元按照设计者的想法变更上述的sType的计算单元和后述的运动信息或预测信息的保存单元。
具体而言,为了削减保存的信息量,可以将上述的sType的计算单元和后述的运动信息或预测信息的保存单元增大为8×8像素、16×16像素等。
或者,也可以虽然增加保存的信息量,但为了提高从其他块、帧参考时的运动信息或预测信息的精度,将上述的sType的计算单元和后述的运动信息或预测信息的保存单元减小为2×2像素等。
(保存于预测信息缓冲器的运动信息和预测信息)
以下,使用图12和图13,分别对从帧间预测部241保存于预测信息缓冲器244的非专利文献1所公开的运动信息和本实施方式所涉及的预测信息进行说明。
图12是表示根据构成GPM应用块的子块的sType的值保存的非专利文献1所公开的运动信息和本实施方式所涉及的预测信息的一览表的图。
第一,在非专利文献1所公开的GPM中被最终保存的运动信息由以下的参数构成。
·预测方向(predFlagL0、predFlagL1)
·L0和L1的运动矢量(mvL0、mvL1)
·L0和L1的参考图像索引(refIdxL0、refIdxL1)
·BcwIdx
此外,预测方向(predFlagL0、predFlagL1)是表示根据后述的sType保存的子块的预测方向的参数,基于predFlagL0的值和predFlagL1的值,被分类为L0单预测、L1单预测、L0/L1双预测这三种。
在此,L0单预测是指,从L0列表导出的一个运动矢量的帧间预测,predFlagL0为1且predFlagL1为0的情况被分别保存为表示该条件的值。
另外,L1单预测是指,从L1列表导出的一个运动矢量的帧间预测,predFlagL0为0且predFlagL1为1的情况被分别保存为表示该条件的值。
另外,L0/L1双预测是指,分别从L0列表和L1列表导出的两个运动矢量的帧间预测,predFlagL0为1且predFlagL1为1的情况被分别保存为表示该条件的值。
另外,L0和L1的运动矢量(mvL0、mvL1)是相对于上述的列表编号L0和L1的运动矢量。
另外,L0和L1的参考图像索引(refIdxL0、refIdxL1)分别是表示mvL0和mvL1参考的参考帧的索引。
另外,BcwIdx是特定非专利文献1所公开的BCW(Bi-prediction with CU-levelweights:CU级双向加权预测)的权重系数的值的索引。
相对于这些保存于非专利文献1所公开的预测信息缓冲器244的运动信息,作为在本实施方式中保存于预测信息缓冲器244的预测信息,如图12所示,追加为保存预测种类和帧内预测模式的参数。
在此,如图12所示,预测种类是表示帧间预测(Inter)和帧内预测(Intra)中的任一种的内部参数。
另外,作为本实施方式所涉及的预测信息,如图12所示,也可以追加hpeIfIdx、IBCFlag、LIC Flag。
在此,hpeIfIdx和IBC Flag分别是特定有无应用非专利文献1所公开的SIF(Switchable Interpolation Filter:可切换插值滤波器)和IBC(Intra Block Copy:帧内块复制)以及非专利文献2所公开的LIC(Local Illumination Compensation:局部光照补偿)的标志。
(根据被保存预测信息种类保存的预测信息的细节)
以下,使用图13~图15,对本实施方式所涉及的帧间预测部241或帧内预测部242根据被保存预测信息种类sType保存于预测信息缓冲器244的预测信息的细节进行说明。
图13是表示相对于图4之类的由不同的两个帧间预测构成的GPM保存的预测信息的一例的图。以下,对根据sType的值保存的各预测信息的细节进行说明。
第一,在所有的sType区域中,预测种类被保存为帧间预测(Inter)。
第二,predFlagL0、predFlagL1、mvL0、mvL1、refIdxL0和refIdxL1根据sType的值和表示融合候补列表的列表编号的predListFlagA及predListFlagB的值,与非专利文献1所公开的方法同样地,按以下的方式被保存,其中,所述融合候补列表的列表编号表示上述的分割区域A/B的运动矢量的导出目的地。
首先,在sType=0的情况下,按以下的方式计算。
predFlagL0=(predListFlagA==0)?1:0
predFlagL1=(predListFlagA==0)?0:1
refIdxL0=(predListFlagA==0)?refIdxA:-1
refIdxL1=(predListFlagA==0)?-1:refIdxA
mvL0=(predListFlagA==0)?mvA:0
mvL1=(predListFlagA==0)?0:mvA
接着,在sType=1的情况或sType=2且predListFlagA+predListFlagB≠1的情况下,按以下的方式计算。
predFlagL0=(predListFlagB==0)?1:0
predFlagL1=(predListFlagB==0)?0:1
refIdxL0=(predListFlagB==0)?refIdxB:-1
refIdxL1=(predListFlagB==0)?-1:refIdxB
mvL0=(predListFlagB==0)?mvB:0
mvL1=(predListFlagB==0)?0:mvB
在此,predListFlagA+predListFlagB≠1表示分割区域A/B的列表编号一致的情况。此时,为了避免运动矢量的重复,在sType=2的情况下也构成为仅保存分割区域B的运动矢量。
接着,在sType=2且predListFlagA+predListFlagB=1的情况下,按以下的方式计算。
predFlagL0=1
predFlagL1=1
refIdxL0=(predListFlagA==0)?refIdxA:refIdxB
refIdxL1=(predListFlagA==0)?refIdxB:refIdxA
mvL0=(predListFlagA==0)?mvA:mvB
mvL1=(predListFlagA==0)?mvB:mvA
在此,predListFlagA+predListFlagB=1表示分割区域A/B的列表编号不一致的情况。此时,构成为直接保存分割区域A/B的两个运动矢量。
此外,虽然在图13中未图示,但上述的mvL0和mvL1可以保存相对于非专利文献2所公开的GPM通过MMVD(Merge with Motion Vector Difference:动矢量差分合并)或InterTM(Template Matching:模板匹配)修正前的运动矢量。
或者,上述的mvL0和mvL1也可以为相对于非专利文献2所公开的GPM通过MMVD、Inter TM修正后的运动矢量。
在保存修正后的运动矢量的情况下,提高从该GPM应用块取得运动矢量并生成预测像素的预测块的预测精度。
另一方面,在保存修正前的运动矢量的情况下,不能期待提高从该GPM参考运动矢量的预测块的预测精度,但由于不等待相对于该GPM块进行的MMVD和Inter TM的处理的完成而能够开始该GPM应用块的参考基础块的运动矢量的导出处理,因此能够期待削减解码处理时间。
此外,对于后述的图13~图15,也同样能够选择保存修正前后的哪一方的运动矢量。
接着,帧内预测模式也可以不在所有的sType区域中保存。或者,也可以在所有的sType区域中保存表示帧内预测无效的值。这是因为在图13所示的结构中,由于所有的区域为帧间预测,因此不存在应用于目标块的帧内预测模式。
接着,BcwIdx、hpeIfIdx、IBC Flag、LIC Flag也可以在所有的sType区域中保存表示无效的值的值。这是因为BCW、SIF、IBC和LIC均为与GPM异或的编码工具,因此在应用GPM的目标块中,这些编码工具显然无效。
与此相关,虽然在图12和图13中未图示,但可以不保存在IBC中使用的运动矢量,可以保存零矢量。这些参数由于在后述的图14和图15中也采用相同的结构,因此之后省略图14和图15中的这些参数的详细的说明。
图14是表示相对于图6之类的由帧内预测和帧间预测构成的GPM保存的预测信息的一例的图。以下,对根据sType的值保存的各预测信息的细节进行说明。
第一,在sTyper=1的情况下,在应用帧间预测的分割区域(Inter的分割区域)中保存的预测信息能够采用与在图13中说明的该区域的预测信息相同的结构,因此省略说明。
第二,在sTyper=0的情况下,在应用帧内预测的分割区域(Intra的分割区域)中保存的预测信息如图14所示那样,按以下的方式被保存。
预测种类=Intra
predFlag0=0
predFlag1=0
mvL0=0
mvL1=0
refIdxL0=-1
refIdxL1=-1
帧内预测模式=modeX
在此,在所述分割区域中,由于应用帧内预测,因此如上所述,保存Intra作为预测种类,保存modeX作为帧内预测模式。
此外,作为变更例,例如,如非专利文献1那样,在相邻的子块单元中仅包含只参考帧内预测种类而不参考帧内预测模式的编码工具的情况下,也可以采用保存Intra作为预测种类而不保存帧内预测模式的结构。
另一方面,由于不具有运动信息,因此如上所述,可以保存0作为predFlag0和predFlagL1,保存0(表示零矢量)作为mvL0和mvL1,保存-1(表示不存在参考帧)作为refIdxL0和refIdxL1。
或者,作为变更例,为了避免预测信息缓冲器244的缓冲器区域的容量的用尽,也可以采用不保存这些运动信息的结构。
第三,在sTyper=2的情况下,在应用帧内预测和帧间预测的分割区域(Intra+Inter的分割区域)中保存的预测信息如图14所示那样,按以下的方式被保存。
预测种类=Inter
predFlag0=(predListFlagB==0)?1:0
predFlag1=(predListFlagB==0)?0:1
refIdxL0=(predListFlagB==0)?refIdxB:-1
refIdxL1=(predListFlagB==0)?-1:refIdxB
mvL0=(predListFlagB==0)?mvB:0
mvL1=(predListFlagB==0)?0:mvB
帧内预测模式=modeX
在此,在所述分割区域中,由于应用sType=1的帧内预测,因此作为预测信息中的预测种类和帧内预测模式,如上所述,保存的参数与在sType=1中保存的相同。
另外,在所述分割区域中,由于应用sType=2的帧间预测,因此作为预测信息中的运动状态信息所涉及的参数,如上所述,保存的参数与在sType=2中保存的相同。
图15是表示相对于图7之类的由不同的两个帧内预测构成的GPM保存的预测信息的一例的图。以下,对根据sType的值保存的各预测信息的细节进行说明。
第一,在所有的sType区域中保存的预测信息中的除了帧内预测模式以外的参数由于能够采用与在图14所说明的在sType=0的情况下在Intra的分割区域中保存的参数相同的结构,因此省略说明。
第二,作为sType=0的区域和sType=1的区域的帧内预测模式,如图15所示,分别保存在各区域中应用的不同的两个帧内预测模式modeX和modeY。
第三,在sType=2的区域中,如图15所示,可以保存sType=0的区域和sType=1的区域的帧内预测模式的双方,也可以保存任一帧内预测模式。
对于前者而言,例如,两个帧内预测模式能否在图像编码装置100和图像解码装置200中使用的情况下,可以采用保存两个帧内预测模式的结构。
对于后者而言,例如,可以在硬编码中将sType=0的帧内预测模式选择为sType=2的帧内预测模式。
或者,例如可以通过将4×4像素子块进一步细分割而成的2×2像素子块单元计算例如4×4像素子块是从哪一个帧内预测模式主导生成的,将主导的帧内预测模式选择为sType=2的区域的帧内预测模式。
或者,可以将该子块具有的两个帧内预测模式所示的方向上存在的相邻的参考像素与该子块的距离小的一方选择为sType=2的帧内预测模式。
通过使用以上所说明的预测信息和预测信息的保存方法,能够从帧内或帧外适当地参考在将帧内预测追加于GPM的情况下的预测信息,因此结果能够期待编码性能的提高。
此外,以上所说明的保存于预测信息缓冲器244的预测信息中的除了帧内预测模式以外的参数在不再从帧内或帧外参考的情况下,可以从预测信息缓冲器244删除。
另外,在将该参数量的保存区域确保于预测信息缓冲器244的情况下,可以进行初始化。在此,不再从帧外参考的时刻与从帧缓冲器260(帧缓冲器160)删除包含该GPM应用块的帧的时刻相同。
而且,保存于预测信息缓冲器244的预测信息中的帧内预测模式在不再从帧内参考的情况下,可以从预测信息缓冲器244删除。另外,在仅将该帧内预测模式量的保存区域确保于预测信息缓冲器244的情况下,也可以进行初始化。
(对相邻块应用几何分割模式的情况下的帧间-帧内联合预测的权值判定控制方法)
以下,使用图16,对本实施方式所涉及的合成部243使用保存于预测信息缓冲器244的预测信息,控制对与解码目标块相邻的相邻块应用几何分割模式的情况下的解码目标块的帧间-帧内联合预测的权值判定的方法进行说明。
图16是表示本实施方式所涉及的合成部243使用保存于预测信息缓冲器244的预测信息来控制对与解码目标块相邻的相邻块应用几何分割模式的情况下的解码目标块的帧间-帧内联合预测的权值判定的一例的图。
在此,非专利文献1所公开的帧间-帧内联合预测(CIIP:Combined Inter andIntra Prediction)是将解码目标块的帧间预测像素(运动补偿像素)Pinter和帧内预测像素PIntra以规定的权值wt进行加权平均而合成新的预测像素PCIIP的技术。
所述规定的权值wt根据与解码目标块的左和上相邻的两个相邻块具有的预测种类,按照以下的方式计算得出。
首先,在上侧的相邻块为帧内预测块的情况下,内部参数isIntraTop被设定为1。在除此以外的情况下,isIntraTop被设定为0。
接着,在左侧的相邻块为帧内预测块的情况下,内部参数isIntraLeft被设定为1。在除此以外的情况下,isIntraLeft被设定为0。
接着,根据isIntraTop和isIntraLeft,按以下三个图案判定权值wt。
第一,在isIntraTop+isIntraLeft=2的情况(即,两个相邻块双方为帧内预测块的情况)下,设定为wt=3。
第二,在isIntraTop+isIntraLeft=1的情况(即,两个相邻块中的任一方为帧内预测块,另一方为帧间预测块的情况)下,设定为wt=2。
第三,在除此以外的情况(即,两个相邻块双方为帧间预测块的情况)下,设定为wt=1。
最后,合成部243使用所述权值wt,如下述式那样计算PCIIP。
PCIIP=((4-wt)×Pinter+wt×Pintra+2)>>2
在非专利文献1中,由于上述的CIIP的权值wt的判定使用相邻块具有的预测种类,因此例如,如图16所示,构成为在对相邻块应用GPM的情况且相邻块的GPM由帧间预测且帧内预测构成的情况下,将相邻块的预测种类判定为帧间预测。
相对于此,在本实施方式中,采用CIIP的权值wt的判定不使用相邻块具有的预测种类,而使用由与解码目标块相邻的4×4像素子块单元所保存的预测种类进行判定的结构。
此外,使用该相邻4×4像素子块具有的预测种类的判定可以使用与上述的isIntraTop和isIntraLeft的相邻块相同的判定式。
由此,在图16所示那样的情况下,如果对解码目标块应用CIIP时且对与解码目标块相邻的相邻块应用由帧间预测和帧内预测构成的GPM时,适当地使用由考虑了GPM的分割区域的子块单元保存的预测信息,能够判定解码目标块的CIIP的规定的权值wt,因此能够期待预测性能的提高效果。
(应用几何分割模式的情况下的去块滤波器的边界强度值判定控制)
以下,使用图17,对本实施方式所涉及的环路滤波处理部250使用保存于预测信息缓冲器244的预测信息,控制对相邻的块边界应用的去块滤波器的边界强度值判定的方法进行说明。
图17是表示环路滤波处理部250对相邻的块边界应用的去块滤波器的一例的图。
在此,非专利文献1所公开的去块滤波器是使相邻的块边界产生的块边界失真平滑化的技术。
所述去块滤波器的应用目标是亮度块和色差块双方,根据后述的边界强度(BS:Boundary Strength)的值,来判定有无对亮度块应用去块滤波器或滤波强度,并且判定有无对色差块应用去块滤波器或滤波强度。
在非专利文献1所公开的判定的该BS值的判定条件中,分别针对以下的六个条件,环路滤波部250分别确定亮度信号(图16的Y)和色差信号(图16的U和V)的值。
条件一:在判定目标像素所含的两个块中的至少一个块具有的预测种类为帧内预测或CIIP标志表示有效值的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为2、2和2。
条件二:在判定目标像素所含的两个块中的至少一个具有非零的系数的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为1、1和1。
条件三:在判定目标像素所含的两个块中的一个块具有的IBC标志表示有效值,另一个块具有的预测种类为帧间预测的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为1、1和1。
条件四:在判定目标像素所含的两个块具有的预测种类为帧间预测,各个块具有的MV的绝对值差为0.5亮度像素以上的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为1、0和0。
条件五:在判定目标像素所含的两个块具有的预测种类为帧间预测,各个块具有的参考帧(即,refIdx)不同的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为1、0和0。
条件六:在不符合条件一至条件五的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为0、0和0。
在此,在非专利文献1中,如上所述,判定目标像素所含的两个块的预测种类的判定、是否为CIIP应用块的判定、是否为IBC应用块的判定和运动矢量的绝对值差的判定采用环路滤波部250通过块单元具有的预测种类、表示有无应用CIIP或IBC的块单元的标志来判定的结构。
相对于此,在本实施方式中,采用环路滤波部250使用在预测信息缓冲器244中4×4像素子块保存的预测信息来进行判定的结构。即,将上述的条件一至条件六如以下这样进行变更。
条件一:在判定目标像素所含的两个子块中的至少一个子块具有的预测种类为帧内预测或CIIP标志表示有效值的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为2、2和2。
条件二:判定目标像素所含的两个子块中的至少一个具有非零的系数的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为1、1和1。
条件三:在判定目标像素所含的两个子块中的一个子块具有的IBC标志表示有效值,另一个块具有的预测种类为帧间预测的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为1、1和1。
条件四:在判定目标像素所含的两个子块具有的预测种类为帧间预测,各个块具有的MV的绝对值差为0.5亮度像素以上的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为1、0和0。
条件五:在判定目标像素所含的两个子块具有的预测种类为帧间预测,各个块具有的参考帧(即,refIdx)不同的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为1、0和0。
条件六:在不符合条件一至条件五的情况下,分别将判定目标像素的Y分量、U分量和V分量的BS值设定为0、0和0。
此外,如上所述,本实施方式的BS值可以使用与根据块单元的预测信息确定的非专利文献1的各条件的值相同的值。
由此,在图17所示那样的相对于追加帧内预测的GPM的应用块进行的去块滤波器的BS值判定中,与非专利文献1所公开的结构例相比,能够准确地判定相对于判定目标像素的BS值,因此块边界失真的平滑化被优化,结果提高编码性能。
上述的图像编码装置100和图像解码装置200可以通过使计算机执行各功能(各工序)的程序来实现。
此外,在上述的各实施方式中,以将本发明应用于图像编码装置100和图像解码装置200为例进行了说明,但本发明并不仅限定于此,也可以同样应用于具有图像编码装置100和图像解码装置200的各功能的图像编码***和图像解码***。
工业上的可利用性
此外,根据本实施方式,例如由于能够在动态图像通信中实现综合服务质量的提高,因此能够有助于***主导的可持续发展目标(SDGs)的目标9“建设具有适应力的基础设施,促进可持续的工业化,并且实现扩大创新”。
Claims (19)
1.一种图像解码装置,其特征在于,具有:
帧间预测部,其构成为导出相对于几何分割模式的运动信息并生成运动补偿像素;
帧内预测部,其构成为导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素;以及
预测信息缓冲器,其构成为保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息。
2.根据权利要求1所述的图像解码装置,其特征在于,
所述帧间预测部和所述帧内预测部构成为,根据由构成所述解码目标块的子块单元计算出的被保存预测信息种类,控制对所述子块单元应用的所述预测信息的内容和所述预测信息的保存方法。
3.根据权利要求2所述的图像解码装置,其特征在于,
所述帧间预测部构成为,在所述子块具有的所述被保存预测信息种类表示0或1的情况且所述子块具有的所述预测种类为帧间预测的情况下,在所述预测信息缓冲器中,
保存帧间预测作为所述预测种类,
保存对所述被保存预测信息种类为0或1的所述子块应用的运动信息作为所述运动信息,
作为所述帧内预测模式,构成为不保存任何。
4.根据权利要求2所述的图像解码装置,其特征在于,
所述帧间预测部构成为,在所述子块具有的所述被保存预测信息种类表示2的情况且所述子块具有的所述预测种类由对所述被保存预测信息种类为0和1的所述子块应用的不同的两个帧间预测构成的情况下,在所述预测信息缓冲器中,
保存帧间预测作为所述预测种类,
保存对所述被保存预测信息种类为0和1的所述子块应用的不是零矢量的运动信息作为所述运动信息,
作为所述帧内预测模式,构成为不保存任何。
5.根据权利要求2所述的图像解码装置,其特征在于,
所述帧间预测部和所述帧内预测部构成为,在所述子块具有的所述被保存预测信息种类表示2的情况且所述子块具有的所述预测种类由对所述被保存预测信息种类为0或1的所述子块应用的帧间预测或帧内预测构成的情况下,在所述预测信息缓冲器中,
保存帧间预测作为所述预测种类,
保存所述被保存预测信息种类为0或1的所述子块中的应用帧间预测一方的运动信息作为所述运动信息,
保存所述被保存预测信息种类为0或1的所述子块中的应用帧内预测一方的帧内预测模式作为所述帧内预测模式。
6.根据权利要求2所述的图像解码装置,其特征在于,
所述帧内预测部构成为,在所述子块具有的所述被保存预测信息种类表示0或1的情况且所述子块具有的所述预测种类为帧内预测的情况下,在所述预测信息缓冲器中,
保存帧内预测作为所述预测种类,
保存由零矢量构成的运动信息作为所述运动信息,
保存对所述被保存预测信息种类为0或1的所述子块应用的帧内预测模式作为所述帧内预测模式。
7.根据权利要求2所述的图像解码装置,其特征在于,
所述帧内预测部构成为,在所述子块具有的所述被保存预测信息种类表示2的情况且所述子块具有的所述预测种类为帧内预测的情况下,在所述预测信息缓冲器中,
保存帧内预测作为所述预测种类,
保存由零矢量构成的运动信息作为所述运动信息,
保存对所述被保存预测信息种类为0和1的所述子块应用的帧内预测模式的双方作为所述帧内预测模式。
8.根据权利要求2所述的图像解码装置,其特征在于,
所述帧内预测部构成为,在所述子块具有的所述被保存预测信息种类表示2的情况且所述子块具有的所述预测种类为帧内预测的情况下,在所述预测信息缓冲器中,
保存帧内预测作为所述预测种类,
保存由零矢量构成的运动信息作为所述运动信息,
通过规定的方法选择并保存对所述被保存预测信息种类为0或1的所述子块应用的帧内预测模式的任一方作为所述帧内预测模式。
9.根据权利要求1至5中任一项所述的图像解码装置,其特征在于,
所述帧间预测部和所述帧内预测部构成为,在保存所述运动信息的情况下,保存由融合运动矢量差分或帧间模板匹配修正后的运动矢量作为构成所述运动信息的一个参数的运动矢量。
10.根据权利要求1至9中任一项所述的图像解码装置,其特征在于,
所述帧间预测部构成为,在保存所述运动信息的情况下,各个标志在所述预测信息缓冲器中保存表示无效的值作为构成所述运动信息的一个参数,所述各个标志表示有无应用可切换插值滤波器(SIF)、帧内块复制(IBC)或局部光照补偿(LIC)。
11.根据权利要求1所述的图像解码装置,其特征在于,
所述预测信息缓冲器构成为,根据保存于应用所述几何分割模式的所述解码目标块的所述预测信息,对所述预测信息的删除方法进行控制。
12.根据权利要求11所述的图像解码装置,其特征在于,
所述预测信息缓冲器构成为,
在保存于应用所述几何分割模式的所述解码目标块的所述预测信息为所述运动信息的情况下,当不再从帧内或帧外参考所述运动信息时,删除所述预测信息,
在保存于应用所述几何分割模式的所述解码目标块的所述预测信息为所述帧内预测模式的情况下,当不再从帧内参考所述运动信息时,删除所述预测信息。
13.一种图像解码装置,其特征在于,具有:
帧间预测部,其构成为导出相对于几何分割模式的运动信息并生成运动补偿像素;
帧内预测部,其构成为导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素;
预测信息缓冲器,其构成为保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息;以及
合成部,其构成为以规定的权值对所述运动补偿像素和所述帧内预测像素进行加权平均来合成新的预测像素。
14.根据权利要求13所述的图像解码装置,其特征在于,
所述合成部根据保存于所述预测信息缓冲器的子块单元的预测信息来判定以规定的权值对所述运动补偿像素和所述帧内预测像素进行加权平均来合成新的预测像素时的规定的权值。
15.一种图像解码装置,其特征在于,具有:
帧间预测部,其构成为导出相对于几何分割模式的运动信息并生成运动补偿像素;
帧内预测部,其构成为导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素;
预测信息缓冲器,其构成为保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息;以及
环路滤波处理部,其构成为判定对块边界应用去块滤波器时的边界强度值并应用去块滤波器。
16.根据权利要求15所述的图像解码装置,其特征在于,
所述环路滤波处理部根据保存于所述预测信息缓冲器的子块单元的预测信息来判定边界强度值。
17.根据权利要求14或16所述的图像解码装置,其特征在于,
保存于所述预测信息缓冲器的子块单元的预测信息由预测种类和运动信息和帧内预测模式构成。
18.一种图像解码方法,其特征在于,具有:
导出相对于几何分割模式的运动信息并生成运动补偿像素的工序;
导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素的工序;以及
保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息的工序。
19.一种程序,其使计算机作为图像解码装置发挥功能,该程序的特征在于,
所述图像解码装置具有:
帧间预测部,其构成为导出相对于几何分割模式的运动信息并生成运动补偿像素;
帧内预测部,其构成为导出相对于所述几何分割模式的帧内预测模式并生成帧内预测像素;以及
预测信息缓冲器,其构成为保存或输出应用有所述几何分割模式的解码目标块的运动信息或包含帧内预测模式和能够判定应用帧间预测和帧内预测的哪一方的预测种类的预测信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021-129394 | 2021-08-05 | ||
JP2021129394A JP7495909B2 (ja) | 2021-08-05 | 2021-08-05 | 画像復号装置、画像復号方法及びプログラム |
PCT/JP2022/029748 WO2023013667A1 (ja) | 2021-08-05 | 2022-08-03 | 画像復号装置、画像復号方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117795959A true CN117795959A (zh) | 2024-03-29 |
Family
ID=85155732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280054451.6A Pending CN117795959A (zh) | 2021-08-05 | 2022-08-03 | 图像解码装置、图像解码方法及程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240171752A1 (zh) |
JP (1) | JP7495909B2 (zh) |
CN (1) | CN117795959A (zh) |
WO (1) | WO2023013667A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7516333B2 (ja) | 2021-09-27 | 2024-07-16 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PL3884670T3 (pl) | 2018-11-22 | 2023-07-10 | Huawei Technologies Co., Ltd. | Sposób, urządzenie i program komputerowy do predykcji inter |
-
2021
- 2021-08-05 JP JP2021129394A patent/JP7495909B2/ja active Active
-
2022
- 2022-08-03 WO PCT/JP2022/029748 patent/WO2023013667A1/ja active Application Filing
- 2022-08-03 CN CN202280054451.6A patent/CN117795959A/zh active Pending
-
2024
- 2024-02-01 US US18/430,484 patent/US20240171752A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023013667A1 (ja) | 2023-02-09 |
JP7495909B2 (ja) | 2024-06-05 |
JP2023023669A (ja) | 2023-02-16 |
US20240171752A1 (en) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7044778B2 (ja) | 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読記録媒体 | |
JP7500691B2 (ja) | ビデオ信号の符号化/復号化方法及び前記方法のための装置 | |
CN111385569B (zh) | 一种编解码方法及其设备 | |
CN108781283B (zh) | 使用混合帧内预测的视频编码 | |
CN112954340B (zh) | 一种编解码方法、装置及其设备 | |
KR102651158B1 (ko) | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 | |
KR20190116101A (ko) | 어파인 모델 기반의 영상 부호화/복호화 방법 및 장치 | |
CN116208765A (zh) | 视频信号编码/解码方法以及用于所述方法的设备 | |
KR20200108799A (ko) | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 | |
CN110832854B (zh) | 利用插值进行帧内预测的方法和装置 | |
CN111010578B (zh) | 一种帧内帧间联合预测的方法、装置以及存储介质 | |
US20240171752A1 (en) | Image decoding device, image decoding method, and program | |
CN116368799A (zh) | 用于帧间编解码的增强型运动估计 | |
CN112075078A (zh) | 合成式预测及限制性合并 | |
JP7527261B2 (ja) | 画像復号装置、画像復号方法及びプログラム | |
WO2023047821A1 (ja) | 画像復号装置、画像復号方法及びプログラム | |
KR20200141696A (ko) | 비디오 신호 처리 방법 및 장치 | |
JP7516333B2 (ja) | 画像復号装置、画像復号方法及びプログラム | |
WO2023090309A1 (ja) | 画像復号装置、画像復号方法及びプログラム | |
KR20200134302A (ko) | 이미지 처리 장치 및 방법 | |
CN117795955A (zh) | 图像解码装置、图像解码方法及程序 | |
KR20200107265A (ko) | 비디오 신호 처리 방법 및 장치 | |
KR20200132395A (ko) | 비디오 신호 처리 방법 및 장치 | |
KR20200132393A (ko) | 비디오 신호 처리 방법 및 장치 | |
KR20200107262A (ko) | 비디오 신호 처리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |