CN112602325A - 图像解码装置、图像编码装置、程序和图像处理*** - Google Patents

图像解码装置、图像编码装置、程序和图像处理*** Download PDF

Info

Publication number
CN112602325A
CN112602325A CN201980055504.4A CN201980055504A CN112602325A CN 112602325 A CN112602325 A CN 112602325A CN 201980055504 A CN201980055504 A CN 201980055504A CN 112602325 A CN112602325 A CN 112602325A
Authority
CN
China
Prior art keywords
block
motion vector
image decoding
image
thinning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980055504.4A
Other languages
English (en)
Inventor
海野恭平
河村圭
内藤整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of CN112602325A publication Critical patent/CN112602325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明所涉及的图像解码装置(200)，其具备：运动矢量解码部(241A)，其被配置为从编码数据中获取运动矢量；以及细化部(241B)，其被配置为使用块的宽度和高度中的至少任意一个信息来变更运动矢量的细化所使用的区域，其中该块使用运动矢量。

Description

图像解码装置、图像编码装置、程序和图像处理***
技术领域
本发明涉及一种图像解码装置、图像编码装置、程序和图像处理***。
背景技术
关于Decoder-side motion vector refinement(DMVR：解码端运动矢量细化)的技术，非专利文献1和非专利文献2中公开了如下技术：为了削减执行时的存储器使用量和搜索成本计算量，禁止在尺寸为阈值以上的块中应用DMVR，或者将尺寸为阈值以上的块分割为较小的子块并对每个子块执行DMVR。
现有技术文献
非专利文献
非专利文献1：CE9-related:Simplified DMVR with reduced internal memory,JVET-L0098
非专利文献2：CE9-related:DMVR with Coarse-to-Fine Search and BlockSize Limit,JVET-L0382
非专利文献3：CE9-related:Simplification of Decoder Side Motion VectorDerivation,JVET-K0105
发明内容
发明所要解决的问题
但是，上述现有技术中，在单纯禁止在较大的块中应用DMVR的情况下，与不根据阈值进行禁止的情况相比，存在编码效率显著降低的问题。
此外，上述现有技术中，在对每个子块执行DMVR的情况下，有可能每个子块的运动矢量的值不同，存在容易产生块噪声的问题。
因此，本发明是鉴于上述课题而完成的，其目的在于提供一种能够在抑制编码效率降低的同时削减执行DMVR所需的存储器、运算处理量、运算电路数的图像解码装置、图像编码装置、程序和图像处理***。
用于解决问题的方案
本发明的第一特征的主旨在于：一种图像解码装置，其被配置为对编码数据进行解码，其具备：运动矢量解码部，其被配置为从所述编码数据中获取运动矢量；以及细化部，其被配置为使用块的宽度和高度中的至少任意一个信息来变更所述运动矢量的细化所使用的区域，其中该块使用所述运动矢量。
本发明的第二特征的主旨在于：一种图像编码装置，其被配置为通过对输入图像信号进行编码来生成编码数据，其具备：运动矢量搜索部，其通过对目标帧和参考帧进行比较来搜索运动矢量；以及细化部，其被配置为使用块的宽度和高度中的至少任意一个信息来变更所述运动矢量的细化所使用的区域，其中该块使用所述运动矢量。
本发明的第三特征的主旨在于：一种程序，其使计算机作为被配置为对编码数据进行解码的图像解码装置起作用，所述图像解码装置具备：运动矢量解码部，其被配置为从所述编码数据中获取运动矢量；以及细化部，其被配置为使用块的宽度和高度中的至少任意一个信息来变更所述运动矢量的细化所使用的区域，其中该块使用所述运动矢量。
本发明的第四特征的主旨在于：一种图像处理***，其具备：上述第一特征所述的图像解码装置；以及上述第二特征所述的图像编码装置。
发明的效果
根据本发明，能够提供一种能够在抑制编码效率降低的同时削减执行DMVR所需的存储器、运算处理量、运算电路数的图像解码装置、图像编码装置、程序和图像处理***。
附图说明
图1是示出一个实施方式所涉及的图像处理***10的结构的一个示例的图。
图2是示出一个实施方式所涉及的图像处理***10的图像编码装置100的功能块的一个示例的图。
图3是示出一个实施方式所涉及的图像编码装置100的帧间预测部111的功能块的一个示例的图。
图4是示出一个实施方式中的细化处理过程的一个示例的流程图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)进行的。
图5是示出一个实施方式中的细化处理中的运动矢量的细化所使用的区域的一个示例的图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)进行的。
图6是示出一个实施方式中的细化处理中的运动矢量的细化所使用的区域的一个示例的图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)进行的。
图7是示出一个实施方式中的决定运动矢量的细化所使用的区域的形状的过程的一个示例的流程图，该运动矢量的细化是通过图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)进行的。
图8是示出一个实施方式所涉及的图像处理***10的图像解码装置200的功能块的一个示例的图。
图9是示出一个实施方式所涉及的图像解码装置200的帧间预测部241的功能块的一个示例的图。
图10是示出一个实施方式中的细化处理过程的一个示例的流程图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)进行的。
图11是示出一个变形例中的细化处理过程的一个示例的流程图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)进行的。
图12是示出一个变形例中的图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)中使用的表的一个示例的图。
图13是示出一个变形例中的细化处理过程的一个示例的流程图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)进行的。
图14是示出一个变形例中的细化处理过程的一个示例的流程图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)进行的。
图15是示出一个变形例中的细化处理中的运动矢量的细化所使用的区域的一个示例的图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(图像解码装置200的帧间预测部241的细化部241B)进行的。
具体实施方式
(第一实施方式)
以下，参照图1～图10，对本发明的第一实施方式所涉及的图像处理***10进行说明。图1是示出本实施方式所涉及的图像处理***10的图。
如图1所示，图像处理***10具有图像编码装置100和图像解码装置200。
图像编码装置100被配置为通过对输入图像信号进行编码来生成编码数据。图像解码装置200被配置为通过对编码数据进行解码来生成输出图像信号。
其中，该编码数据可通过传输路径从图像编码装置100发送到图像解码装置200。此外，编码数据也可以保存在存储介质中，然后从图像编码装置100提供至图像解码装置200。
(图像编码装置100)
以下，参照图2对本实施方式所涉及的图像编码装置100进行说明。图2是示出本实施方式所涉及的图像编码装置100的功能块的一个示例的图。
如图2所示，图像编码装置100具有帧间预测部111、帧内预测部112、减法器121、加法器122、变换和量化部131、逆变换和逆量化部132、编码部140、环内滤波处理部150和帧缓冲器160。
帧间预测部111被配置为通过帧间预测(inter-frame prediction)来生成预测信号。
具体而言，帧间预测部111被配置为通过对编码目标帧(以下称为目标帧)与帧缓冲器160中保存的参考帧进行比较，来确定参考帧中包含的参考块，决定针对所确定的参考块的运动矢量。
此外，帧间预测部111被配置为基于参考块和运动矢量为每个预测块生成预测块中包含的预测信号。帧间预测部111被配置为将预测信号输出到减法器121和加法器122。其中，参考帧是与目标帧不同的帧。
帧内预测部112被配置为通过帧内预测(intra-frame prediction)来生成预测信号。
具体而言，帧内预测部112被配置为确定目标帧中包含的参考块，并基于所确定的参考块为每个预测块生成预测信号。此外，帧内预测部112被配置为将预测信号输出到减法器121和加法器122。
其中，参考块是针对预测目标块(以下称为目标块)而参考的块。例如，参考块是与目标块相邻的块。
减法器121被配置为从输入图像信号中减去预测信号，并且将预测残差信号输出到变换和量化部131。其中，减法器121被配置为生成预测残差信号，该预测残差信号是由帧内预测或帧间预测生成的预测信号与输入图像信号之间的差分。
加法器122被配置为将预测信号与从逆变换和逆量化部132输出的预测残差信号相加来生成滤波处理前解码信号，并且将该滤波处理前解码信号输出到帧内预测部112和环内滤波处理部150。
其中，滤波处理前解码信号构成帧内预测部112中使用的参考块。
变换和量化部131被配置为进行预测残差信号的变换处理，并且获取系数等级值。进而，变换和量化部131也可以被配置为进行系数等级值的量化。
其中，变换处理是将预测残差信号变换为频率分量信号的处理。在该变换处理中，可以使用与离散余弦变换(DCT：Discrete Cosine Transform)对应的基本模式(变换矩阵)，也可以使用与离散正弦变换(DST：Discrete Sine Transform)对应的基本模式(变换矩阵)。
逆变换和逆量化部132被配置为进行从变换和量化部131输出的系数等级值的逆变换处理。其中，逆变换和逆量化部132也可以被配置为在逆变换处理之前进行系数等级值的逆量化。
其中，逆变换处理和逆量化按照与由变换和量化部131进行的变换处理和量化相反的顺序来进行。
编码部140被配置为对从变换和量化部131输出的系数等级值进行编码，并且输出编码数据。
其中，例如，编码是基于系数等级值的发生概率来分配不同长度的代码的熵编码。
此外，编码部140被配置为除了系数等级值之外，还对解码处理中使用的控制数据进行编码。
其中，控制数据也可以包含编码块(CU：Coding Unit)尺寸、预测块(PU：Prediction Unit)尺寸和变换块(TU：Transform Unit))尺寸等尺寸数据。
环内滤波处理部150被配置为对从加法器122输出的滤波处理前解码信号进行滤波处理，并且将滤波处理后解码信号输出到帧缓冲器160。
其中，例如，滤波处理是减少在块(编码块、预测块或变换块)的边界部分产生的失真的去块滤波处理。
帧缓冲器160被配置为累积帧间预测部111中使用的参考帧。
其中，滤波处理后解码信号构成帧间预测部111中使用的参考帧。
(帧间预测部111)
以下，参照图3对本实施方式所涉及的图像编码装置100的帧间预测部111进行说明。图3是示出本实施方式所涉及的图像编码装置100的帧间预测部111的功能块的一个示例的图。
如图3所示，帧间预测部111具有运动矢量搜索部111A、细化部111B和预测信号生成部111C。
帧间预测部111是预测部的一个示例，其被配置为基于运动矢量来生成预测块中包含的预测信号。
运动矢量搜索部111A被配置为，通过对目标帧与参考帧进行比较来确定参考帧中包含的参考块，并搜索针对所确定的参考块的运动矢量。
另外，关于运动矢量的搜索方法，可以采用已知的方法，因此省略其详细说明。
细化部111B被配置为执行细化处理，该细化处理是以由运动矢量确定的参考位置为基准来设定搜索范围，从搜索范围中确定规定成本最小的修正参考位置，并且基于修正参考位置来修正运动矢量。
此外，细化部111B也可以被配置为，在满足规定条件的情况下，执行该细化处理。
其中，规定条件也可以包括以合并模式对运动矢量进行编码的条件。另外，合并模式是仅传输与预测块相邻的已编码块的运动矢量的索引的模式。此外，规定条件还可以包括运动矢量不应用使用仿射变换的运动补偿预测的条件。
在本实施方式中，细化部111B被配置为按照以下的过程进行细化处理。图4是示出本实施方式中的细化处理过程的一个示例的流程图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B进行的。
如图4所示，在步骤S10中，细化部111B判定是否满足上述规定条件。
在判定为满足的情况下，本过程进入步骤S11，在判定为不满足的情况下，本过程进入步骤S15，结束本处理。
在步骤S11中，细化部111B判定当前处理的块的尺寸是否为预定的阈值T H1(第一阈值)以下。另外，以下，作为块的种类，对根据预测块的尺寸来控制处理的过程进行说明，但使用编码块的尺寸也能够进行同样的控制。
在判定为其为阈值TH1以下的情况下，本过程进入步骤S13，在判定为其大于阈值TH1的情况下，本过程进入步骤S12。
其中，阈值TH1例如可以由块的宽度(水平方向的像素数)、高度(垂直方向的像素数)、块内的全部像素数(宽度与高度的积)、或它们的组合来定义。在本实施方式中，以块内的全部像素数定义阈值，具体而言，以将阈值TH1设定为1024像素的情况为例，对之后的处理进行说明。
在步骤S12中，细化部111B判定当前处理的预测块的尺寸是否为预定的阈值TH2(第二阈值)以下。
在判定为其为阈值TH2以下的情况下，本过程进入步骤S14，在判定为其大于阈值TH2的情况下，本过程进入步骤S15。
其中，阈值TH2与阈值TH1同样地，例如可以由块的宽度(水平方向的像素数)、高度(垂直方向的像素数)、块内的全部像素数(宽度与高度的积)、或它们的组合来定义。
此外，阈值TH2也可以考虑编码处理和解码处理的并行处理单位来设定。例如，在预测块的最大尺寸为128×128像素、并行处理单位为64×64像素的情况下，可以将阈值TH2设定为64×64像素或4096像素。
在步骤S13中，细化部111B通过通常方法执行运动矢量细化处理。细化部111B在细化处理中搜索运动矢量时，使用块内整个区域的像素来进行处理。另外，关于运动矢量的搜索方法，可以采用已知的方法，因此省略其详细说明。
其中，上面记载了“整个区域的像素”，但细化部111B不一定需要使用块内的所有像素进行细化处理。例如，细化部111B也可以与运算量和运算电路的削减方法相结合，即，仅使用块内的偶数行上的像素进行细化处理。
在步骤S14中，细化部111B仅使用当前处理的预测块内的部分区域的像素来执行运动矢量细化处理。
其中，细化部111B只要预先决定运动矢量的细化所使用的区域即可。例如，作为运动矢量的细化所使用的区域，细化部111B可以使用块的中央区域，如图5所示，也可以使用块的左上区域，如图6所示。
另外，细化部111B对可执行步骤S14的处理的每个块形状(块的宽度和高度的组合)，可以预先定义使用哪个区域，也可以由能够将区域唯一决定的数学式来表示。
例如，在将运动矢量的细化所使用的区域设为矩形区域、将起点(矩形的左上顶点)和终点(矩形的右下顶点)的坐标分别以(x，y)的形式表示的情况下，细化部111B也可以预先由数学式进行定义，例如起点(块的宽度/2-16，块的高度/2-16)和终点(块的宽度/2+16，块的高度/2+16)。
此外，例如，细化部111B也可以将运动矢量的细化所使用的区域设为块中央、并按照图7所示的流程图来决定运动矢量的细化所使用的区域的形状。
如图7所示，在步骤S19中，细化部111B设定与细化所使用的区域相关的信息的初始值。
与细化所使用的区域相关的信息例如由表示细化所使用的区域的左上顶点的坐标的偏移值(水平方向的偏移，垂直方向的偏移)、以及细化所使用的区域的大小(宽度、高度)这四种信息构成。另外，上述偏移值表示相对于当前处理的预测块的左上顶点的坐标的相对坐标。
当如上述那样通过起点和终点的坐标(x，y)来表示细化所使用的区域时，成为起点(水平方向的偏移，垂直方向的偏移)、终点(水平方向的偏移+宽度，垂直方向的偏移+高度)。
在本实施方式中，将水平方向和垂直方向的偏移的初始值分别设定为0、将宽度和高度的初始值分别设定为当前处理的预测块的宽度和高度的值。设定初始值后，进入步骤S20。
在步骤S20中，判定该细化所使用的区域的尺寸是否为阈值TH以下。
在判定为其为阈值TH以下的情况下，本过程进入步骤S24，确定该细化所使用的区域的尺寸后结束，在判定为其大于阈值TH的情况下，本过程进入步骤S21。
在步骤S21中，细化部111B对该细化所使用的区域的高度与宽度的大小进行比较，在高度为宽度以上的情况下，本过程进入步骤S22，在宽度大于高度的情况下，本过程进入步骤S23。
在步骤S22中，细化部111B将垂直方向的偏移与高度的1/4的值相加。然后，将该细化所使用的区域的高度以1/2的值进行更新。
在步骤S23中，细化部111B将水平方向的偏移与宽度的1/4的值相加。然后，将该细化所使用的区域的宽度以1/2的值进行更新。
本过程在步骤S22或步骤S23完成后，返回步骤S20，细化部111B再次判定该细化所使用的区域的大小。细化部111B可以通过重复进行以上的处理直至该细化所使用的区域的尺寸为预定的阈值以下，来决定该细化所使用的区域。
另外，在步骤S14中，也可以将该细化所使用的区域的大小设定为阈值T H1以下。
另外，在图10所示的处理过程中，也可以得到与图4的处理同样的处理结果。
在图10的处理中，首先在步骤S30中，细化部111B判定是否满足上述规定条件并且当前处理的预测块的大小为阈值TH2以下。
在判定为满足所有这些条件的情况下，本过程进入步骤S31。此外，在判定为不满足这些条件中的任何一个的情况下，本过程进入步骤S15并结束处理。
在步骤S31中，在判定为当前处理的预测块的大小为阈值TH1以下的情况下，本过程进入步骤S13，否则，本过程进入步骤S14。
之后的处理与上述图4的说明相同。
预测信号生成部111C被配置为基于运动矢量来生成预测信号。具体而言，预测信号生成部111C被配置为，在运动矢量未被修正的情况下，基于从运动矢量搜索部111A输入的运动矢量来生成预测信号。另一方面，预测信号生成部111C被配置为，在运动矢量被修正的情况下，基于从细化部111B输入的已修正的运动矢量来生成预测信号。
(图像解码装置200)
以下，参照图8，对本实施方式所涉及的图像解码装置200进行说明。图8是示出本实施方式所涉及的图像解码装置200的功能块的一个示例的图。
如图8所示，图像解码装置200包括解码部210、逆变换和逆量化部220、加法器230、帧间预测部241、帧内预测部242、环内滤波处理部250和帧缓冲器260。
解码部210被配置为对由图像编码装置100生成的编码数据进行解码，并且对系数等级值进行解码。
其中，例如，解码是与由编码部140进行的熵编码相反的顺序的熵解码。
解码部210也可以被配置为通过编码数据的解码处理来获取控制数据。
另外，如上所述，控制数据也可以包含编码块尺寸、预测块尺寸和变换块尺寸等尺寸数据。另外，控制数据也可以包含表示第二分量的预测样本的生成中使用的输入源的信息元素。
逆变换和逆量化部220被配置为进行从解码部210输出的系数等级值的逆变换处理。其中，逆变换和逆量化部220也可以被配置为在逆变换处理之前进行系数等级值的逆量化。
其中，逆变换处理和逆量化按照与由变换和量化部131进行的变换处理和量化相反的顺序来进行。
加法器230被配置为将预测信号与从逆变换和逆量化部220输出的预测残差信号相加来生成滤波处理前解码信号，并且将滤波处理前解码信号输出到帧内预测部242和环内滤波处理部250。
其中，滤波处理前解码信号构成帧内预测部242中使用的参考块。
帧间预测部241与帧间预测部111同样地，被配置为通过帧间预测(inter-frameprediction)来生成预测信号。
具体而言，帧间预测部241被配置为基于从编码数据解码的运动矢量和参考帧中包含的参考信号，为每个预测块生成预测信号。帧间预测部241被配置为将预测信号输出到加法器230。
帧内预测部242与帧内预测部112同样地，被配置为通过帧内预测(intra-frameprediction)来生成预测信号。
具体而言，帧内预测部242被配置为确定目标帧中包含的参考块，并基于所确定的参考块为每个预测块生成预测信号。帧内预测部242被配置为将预测信号输出到加法器230。
环内滤波处理部250与环内滤波处理部150同样地，被配置为对从加法器230输出的滤波处理前解码信号进行滤波处理，并且将滤波处理后解码信号输出到帧缓冲器260。
其中，例如，滤波处理是减少在块(编码块、预测块或变换块)的边界部分产生的失真的去块滤波处理。
帧缓冲器260与帧缓冲器160同样地，被配置为累积帧间预测部241中使用的参考帧。
其中，滤波处理后解码信号构成帧间预测部241中使用的参考帧。
(帧间预测部241)
以下，参照图9对本实施方式所涉及的帧间预测部241进行说明。图9是示出本实施方式所涉及的帧间预测部241的功能块的一个示例的图。
如图9所示，帧间预测部241具有运动矢量解码部241A、细化部241B和预测信号生成部241C。
帧间预测部241是预测部的一个示例，其被配置为基于运动矢量来生成预测块中包含的预测信号。
运动矢量解码部241A被配置为，通过对从图像编码装置100接收的控制数据进行解码来获取运动矢量。
细化部241B与细化部111B同样地，被配置为根据块尺寸执行细化处理，该细化处理是使用块内的整个区域或块内的部分区域的像素来修正运动矢量。
或者，细化部241B与细化部111B同样地，被配置为根据块尺寸决定不执行细化处理，并结束处理。
预测信号生成部241C与预测信号生成部111C同样地，被配置为基于运动矢量来生成预测信号。
根据本实施方式所涉及的图像编码装置100和图像解码装置200，在大于预定的阈值TH1的块中，仅使用块内的部分区域的像素来执行运动矢量细化处理。
即，在较大的块中，通过对细化处理所使用的区域进行限制，与没有限制的情况相比，可以削减搜索运动矢量所需的存储器、运算电路。
此时，通过将运动矢量的细化所使用的区域的大小设定为阈值TH1以下，可以将运动矢量的细化处理所需的存储器、运算电路的最大值限制为处理阈值TH1的块尺寸所需的量。
这样，在较大的块中，也可以通过在限制使用的像素的区域的同时执行运动矢量的细化处理，抑制编码效率的降低，并且削减存储量、运算量、运算电路。
此外，与为了削减存储量等而单纯地在较大的块中禁止细化处理的情况相比，可以在更大的块中执行细化处理，因此可预计提高编码效率。
此外，在非专利文献3中公开的通过以行为单位的子采样进行的细化中，与搜索运动矢量时的成本计算(例如绝对值差和)有关的运算量可以得到削减，但在搜索点是非整数像素位置的情况下，为了进行滤波，需要整个块的像素值，因此无法削减用于保存参考像素的存储量。
另一方面，根据本实施方式所涉及的图像编码装置100和图像解码装置200，仅使用块内的部分区域的像素来进行细化处理，因此可以削减成本计算和存储量这两者。
另外，关于本实施方式所涉及的图像编码装置100和图像解码装置200，也可以与上述以行为单位的子采样相结合。在该情况下，可以进一步削减与成本计算有关的运算量和运算电路。
此外，根据本实施方式所涉及的图像编码装置100和图像解码装置200，在大于预定的阈值TH2的块中不进行细化处理。
即，在预测块的最大尺寸大于图像编码装置100和图像解码装置200中的并行处理单位的情况下，通过将阈值TH2设定为并行处理单位以下，可以确保细化处理的处理单位中的并行处理。
(变形例1)
以下，参照图11～图13，着眼于与上述第一实施方式的区别，对本发明所涉及的变形例1进行说明。
在上述第一实施方式中，如图4所示，细化部111B/241B被配置为，使用针对块尺寸的阈值TH1和阈值TH2，判定细化处理所使用的区域和是否执行细化处理。该处理不是例如使用上述阈值的处理，即使通过预先规定针对各块形状的处理，细化部111B/241B也可以实现同样的处理。
图11示出了本变形例1中的细化处理过程的一个示例的流程图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(和图像解码装置200的帧间预测部241的细化部241B)进行的。
在步骤S16中，细化部111B/241B基于当前处理的预测块的形状(例如通过块的宽度与高度的组合来定义)，来判定要进入步骤S13、S14、S15中的哪一个。
该判定例如可以通过预先决定图12所示的表来实现。此外，在仅使用块内的部分区域的像素进行细化处理的情况下，具体使用哪个区域也可以通过表来预先定义。
此外，也可以将使用了上述第一实施方式中的块尺寸的阈值的处理与本变形例1中的每个块形状的处理相结合。图13示出了该情况下的流程图的一个示例。
如图13所示，例如，细化部111B/241B也可以对块尺寸为阈值TH1以下的块，一律使用块的整个区域的像素进行细化处理，仅对块尺寸大于阈值T H1的块，根据块形状来改变处理。
(变形例2)
以下，参照图14～图15，着眼于与上述第一实施方式和变形例1的区别，对本发明所涉及的变形例2进行说明。
在上述第一实施方式中，如图4所示，细化部111B/241B对大于阈值TH2的块不进行细化处理。如上所述，通过将阈值TH2设为编码和解码的并行处理单位以下，可以确保细化处理的并行处理。
相对于此，在本变形例2中，细化部111B/241B被配置为，即使在大于并行处理单位的块中，也仅使用块内的部分区域的像素进行细化处理。
图14示出了本变形例2中的细化处理过程的一个示例的流程图，该细化处理是通过图像编码装置100的帧间预测部111的细化部111B(和图像解码装置200的帧间预测部241的细化部241B)进行的。
如图14所示，与第一实施方式同样地，在步骤S14中，对于大于阈值TH1的块，细化部111B/241B仅使用部分区域进行细化处理。
其中，在第一实施方式中，在步骤S14中，细化处理所使用的区域例如是块的中央区域。
另一方面，在本变形例2中，在步骤S17中，即使对于大于阈值TH2的块，细化部111B/241B也仅使用部分区域进行细化处理。
图15示出了将预测块的最大尺寸设为128×128像素、将并行处理单位设为64×64时的、步骤S17的细化处理中的运动矢量细化所使用的区域的一个示例。
图15中的块内的虚线表示并行处理单位的边界。如图15所示，通过预先定义细化处理所使用的区域以便不跨越并行处理单位的边界，可以在确保每个处理单位的并行处理的状态下，在更大的块中实施细化处理。如图15所示，运动矢量的细化所使用的区域的形状可以是正方形，也可以是长方形。
此外，上述图像编码装置100和图像解码装置200也可以通过使计算机执行各功能(各工序)的程序来实现。
此外，在上述各实施方式中，以将本发明应用于图像编码装置100和图像解码装置200为例进行了说明，但本发明并不仅限于此，也可以同样地应用于具备编码装置和解码装置的各功能的编码/解码***。
符号说明
10…图像处理***，100...图像编码装置，111、241…帧间预测部，111A…运动矢量搜索部，111B、241B…细化部，111C、241C…预测信号生成部，112、242…帧内预测部，121…减法器，122、230…加法器，131…变换和量化部，132、220…逆变换和逆量化部，140…编码部，150、250…环内滤波处理部，160、260…帧缓冲器，200…图像解码装置，210…解码部，241A…运动矢量解码部。

Claims (13)

1.一种图像解码装置，其被配置为对编码数据进行解码，其特征在于，具备：
运动矢量解码部，其被配置为从所述编码数据中获取运动矢量；以及
细化部，其被配置为使用块的宽度和高度中的至少任意一个信息来变更所述运动矢量的细化所使用的区域，其中该块使用所述运动矢量。
2.根据权利要求1所述的图像解码装置，其特征在于：
所述细化部被配置为，在所述块大于第一阈值的情况下，仅使用所述块内的部分区域的像素来进行所述运动矢量的细化。
3.根据权利要求2所述的图像解码装置，其特征在于：
所述细化部被配置为，在大于所述第一阈值的所述块中，仅使用所述块内部的小于所述第一阈值的区域的像素来进行所述运动矢量的细化。
4.根据权利要求2或3所述的图像解码装置，其特征在于：
所述细化部被配置为，在大于所述第一阈值的所述块中，仅使用所述块的中央区域的像素来进行所述运动矢量的细化。
5.根据权利要求2～4中任一项所述的图像解码装置，其特征在于：
所述图像解码装置对每个预定处理单位进行并行处理，
所述细化部被配置为，仅使用不与所述并行处理单位的边界相重叠的区域的像素来进行所述运动矢量的细化。
6.根据权利要求2～5中任一项所述的图像解码装置，其特征在于：
所述细化部被配置为，在所述块大于第二阈值的情况下，不在所述块内进行所述运动矢量的细化。
7.根据权利要求6所述的图像解码装置，其特征在于：
所述图像解码装置对每个预定处理单位进行并行处理，
所述第二阈值被配置为小于所述处理单位。
8.根据权利要求1所述的图像解码装置，其特征在于：
所述细化部被配置为根据所述块的形状执行以下任一处理：使用所述块内的所有区域的像素对所述运动矢量进行细化、使用所述块内的部分区域的像素对所述运动矢量进行细化、或者不对所述运动矢量进行细化。
9.根据权利要求8所述的图像解码装置，其特征在于：
所述细化部被配置为，在所述块的大小为第一阈值以下的情况下，使用所述块内的所有区域的像素来进行所述运动矢量的细化。
10.根据权利要求1～9中任一项所述的图像解码装置，其特征在于：
所述块为预测块或编码块中的任一个。
11.一种图像编码装置，其被配置为通过对输入图像信号进行编码来生成编码数据，其特征在于，具备：
运动矢量搜索部，其通过对目标帧和参考帧进行比较来搜索运动矢量；以及
细化部，其被配置为使用块的宽度和高度中的至少任意一个信息来变更所述运动矢量的细化所使用的区域，其中该块使用所述运动矢量。
12.一种程序，其使计算机作为被配置为对编码数据进行解码的图像解码装置起作用，其特征在于：
所述图像解码装置具备：
运动矢量解码部，其被配置为从所述编码数据中获取运动矢量；以及
细化部，其被配置为使用块的宽度和高度中的至少任意一个信息来变更所述运动矢量的细化所使用的区域，其中该块使用所述运动矢量。
13.一种图像处理***，其具备：
权利要求1～10中任一项所述的图像解码装置；以及
权利要求11所述的图像编码装置。
CN201980055504.4A 2018-12-27 2019-10-25 图像解码装置、图像编码装置、程序和图像处理*** Pending CN112602325A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018245895A JP7005480B2 (ja) 2018-12-27 2018-12-27 画像復号装置、画像符号化装置、プログラム及び画像処理システム
JP2018-245895 2018-12-27
PCT/JP2019/041872 WO2020137125A1 (ja) 2018-12-27 2019-10-25 画像復号装置、画像符号化装置、プログラム及び画像処理システム

Publications (1)

Publication Number Publication Date
CN112602325A true CN112602325A (zh) 2021-04-02

Family

ID=71129369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980055504.4A Pending CN112602325A (zh) 2018-12-27 2019-10-25 图像解码装置、图像编码装置、程序和图像处理***

Country Status (4)

Country Link
US (1) US20210185344A1 (zh)
JP (1) JP7005480B2 (zh)
CN (1) CN112602325A (zh)
WO (1) WO2020137125A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245297A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法
CN101039419A (zh) * 2006-03-16 2007-09-19 汤姆森许可贸易公司 用于对图像序列的视频数据进行编码的方法
CN101218826A (zh) * 2005-07-08 2008-07-09 Lg电子株式会社 用于建模视频信号的编码信息来压缩/解压该信息的方法
US20100272181A1 (en) * 2009-04-24 2010-10-28 Toshiharu Tsuchiya Image processing method and image information coding apparatus using the same
CA2726973A1 (en) * 2010-01-08 2011-07-08 Research In Motion Limited Method and device for motion vector estimation in video transcoding using union of search areas
CN103385004A (zh) * 2011-06-30 2013-11-06 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
WO2015056712A1 (ja) * 2013-10-17 2015-04-23 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
CN105939475A (zh) * 2016-06-06 2016-09-14 中国矿业大学 一种高质量边信息生成方法
WO2017164645A2 (ko) * 2016-03-24 2017-09-28 인텔렉추얼디스커버리 주식회사 비디오 신호 부호화/복호화 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066958A1 (ko) * 2016-10-04 2018-04-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11750832B2 (en) 2017-11-02 2023-09-05 Hfi Innovation Inc. Method and apparatus for video coding
US11310526B2 (en) * 2018-01-26 2022-04-19 Mediatek Inc. Hardware friendly constrained motion vector refinement
WO2019190224A1 (ko) * 2018-03-30 2019-10-03 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245297A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法
CN101218826A (zh) * 2005-07-08 2008-07-09 Lg电子株式会社 用于建模视频信号的编码信息来压缩/解压该信息的方法
CN101039419A (zh) * 2006-03-16 2007-09-19 汤姆森许可贸易公司 用于对图像序列的视频数据进行编码的方法
US20100272181A1 (en) * 2009-04-24 2010-10-28 Toshiharu Tsuchiya Image processing method and image information coding apparatus using the same
CA2726973A1 (en) * 2010-01-08 2011-07-08 Research In Motion Limited Method and device for motion vector estimation in video transcoding using union of search areas
CN103385004A (zh) * 2011-06-30 2013-11-06 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
WO2015056712A1 (ja) * 2013-10-17 2015-04-23 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
WO2017164645A2 (ko) * 2016-03-24 2017-09-28 인텔렉추얼디스커버리 주식회사 비디오 신호 부호화/복호화 방법 및 장치
CN105939475A (zh) * 2016-06-06 2016-09-14 中国矿业大学 一种高质量边信息生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C.C.CHEN ETAL: "Simplified DMVR with reduced internal memory", JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 1112TH MEETING: MACAO, CN, 3–12 OCT. 2018, pages 2 *

Also Published As

Publication number Publication date
WO2020137125A1 (ja) 2020-07-02
US20210185344A1 (en) 2021-06-17
JP7005480B2 (ja) 2022-01-21
JP2020108033A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
CN114979637B (zh) 用于对样本块进行滤波的方法、装置和存储介质
RU2696311C1 (ru) Устройство и способ для компенсации движения видео с выбираемым интерполяционным фильтром
CN113545082B (zh) 图像解码装置、图像解码方法和程序
JP7167372B2 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP6914462B2 (ja) 画像復号装置、画像復号方法及びプログラム
CN112602325A (zh) 图像解码装置、图像编码装置、程序和图像处理***
JP2022069450A (ja) 画像復号装置、画像復号方法及びプログラム
JP2021180503A (ja) 画像復号装置、画像復号方法及びプログラム
CN109544591B (zh) 一种运动估计方法、装置、电子设备及存储介质
CN116325727A (zh) 一种帧内预测方法、编码器、解码器及存储介质
CN111837386A (zh) 图像解码装置、图像编码装置、图像处理***和程序
JP7083971B1 (ja) 画像復号装置、画像復号方法及びプログラム
JP7034363B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP7061737B1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2020184262A1 (ja) 画像復号装置、画像復号方法及びプログラム
US20220312024A1 (en) Image decoding device, image decoding method, and program
JP2022103308A (ja) 画像復号装置、画像復号方法及びプログラム
JP2017168955A (ja) 画像復号装置、画像復号プログラム及びチップ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination