CN111919449A - 使用运动补偿的视频信号处理方法及设备 - Google Patents

使用运动补偿的视频信号处理方法及设备 Download PDF

Info

Publication number
CN111919449A
CN111919449A CN201980022660.0A CN201980022660A CN111919449A CN 111919449 A CN111919449 A CN 111919449A CN 201980022660 A CN201980022660 A CN 201980022660A CN 111919449 A CN111919449 A CN 111919449A
Authority
CN
China
Prior art keywords
motion vector
current block
decoder
offset
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980022660.0A
Other languages
English (en)
Other versions
CN111919449B (zh
Inventor
郑在洪
金东哲
高建重
孙周亨
郭真三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Humax Co Ltd
Original Assignee
Humax Co Ltd
Wilus Institute of Standards and Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Humax Co Ltd, Wilus Institute of Standards and Technology Inc filed Critical Humax Co Ltd
Publication of CN111919449A publication Critical patent/CN111919449A/zh
Application granted granted Critical
Publication of CN111919449B publication Critical patent/CN111919449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种用于对视频信号进行编码或解码的视频信号处理方法和设备。更具体地,公开了一种视频信号处理方法,其包括下述步骤:获取合并索引,该合并索引指示被包括在用于预测当前块的合并候选列表中的多个候选当中的用于预测当前块的候选;基于与由合并索引指示的候选相对应的运动信息,获取当前块的运动信息;当当前块的运动信息包括与不同参考图片列表相对应的多个运动矢量时,将分别与多个运动矢量相对应的每个参考图片与包括当前块的当前图片之间的图片顺序计数(POC)差进行比较;基于比较的结果校正多个运动矢量;以及基于多个经校正的运动矢量重构当前块。

Description

使用运动补偿的视频信号处理方法及设备
技术领域
本发明涉及视频信号处理方法和装置,并且更具体地,涉及用于对视频信号进行编码或解码的视频信号处理方法和装置。
背景技术
压缩编译指代用于通过通信线路发送数字化信息或以适合于存储介质的形式存储信息的一系列信号处理技术。压缩编码的对象包括诸如语音、视频和文本的对象,并且特别地,用于对图像执行压缩编码的技术被称为视频压缩。考虑到空间相关性、时间相关性和随机相关性,通过去除过多的信息来执行对视频信号的压缩编译。然而,随着各种媒体和数据传输媒体的最新发展,需要更有效的视频信号处理方法和装置。
发明内容
技术问题
本发明的目的是提高视频信号的编译效率。另外,本发明的目的是使用当前块的参考样本提高与对当前块的预测有关的信令效率。
技术方案
为了解决上述问题,本发明提供以下视频信号处理设备和视频信号处理方法。
根据本发明的实施例,视频信号处理方法包括下述步骤:获得合并索引,该合并索引指示被包括在用于预测当前块的合并候选列表中的多个候选当中的用于预测当前块的候选;基于与由合并索引指示的候选相对应的运动信息,获得关于当前块的运动信息;当关于当前块的运动信息包括与不同参考图片列表相对应的多个运动矢量时,将分别与多个运动矢量相对应的每个参考图片与包括当前块的当前图片之间的图片顺序计数(POC)差进行比较;基于比较的结果校正多个运动矢量;以及基于多个经校正的运动矢量重构当前块。
此外,根据本发明的实施例,视频信号处理设备包括处理器,其中,该处理器获得合并索引,该合并索引指示被包括在用于预测当前块的合并候选列表中的多个候选当中的用于预测当前块的候选;基于与由合并索引指示的候选相对应的运动信息,获得关于当前块的运动信息;当关于当前块的运动信息包括与不同参考图片列表相对应的多个运动矢量时,将分别与多个运动矢量相对应的每个参考图片与包括当前块的当前图片之间的图片顺序计数(POC)差进行比较;基于比较的结果校正多个运动矢量;以及基于多个经校正的运动矢量重构当前块。
多个运动矢量可以包括第一运动矢量和第二运动矢量。处理器可以获得第一POC差和第二POC差,可以比较第一POC差与第二POC差以获得作为第一运动矢量和第二运动矢量中的一个的校正值的特定偏移,并且可以基于特定的偏移校正第一运动矢量和第二运动矢量。第一POC差可以指示与第一运动矢量相对应的第一参考图片与当前图片之间的POC差,并且第二POC差可以指示与第二运动矢量相对应的第二参考图片与当前图片之间的POC差。
处理器可以基于比较第一POC差与第二POC差的结果,比第一运动矢量和第二运动矢量中的另一个的校正值更早地获得特定偏移。
当第一POC差大于第二POC差时,特定偏移可以是第一运动矢量的校正值,并且当第一POC差小于第二POC差时,特定偏移可以是第二运动矢量的校正值。
当第一POC差大于第二POC差时,特定偏移可以是作为第一运动矢量的校正值的第一偏移。在此,处理器可以通过添加第一偏移校正第一运动矢量,可以基于特定偏移获得作为第二运动矢量的校正值的第二偏移,并且可以通过添加第二偏移校正第二运动矢量。
处理器可以通过将第一偏移添加到第一运动矢量生成第一经校正的运动矢量,并且可以通过将第二偏移添加到第二运动矢量生成第二经校正的运动矢量,并且可以基于第一经校正的运动矢量和第二经校正的运动矢量重构当前块。
当第一POC差和第二POC差相等时,处理器可以基于指示分别对应于第一运动矢量和第二运动矢量的参考图片列表的值获得作为用于第一运动矢量和第二运动矢量中的一个的校正值的特定偏移。
当指示与第一运动矢量相对应的第一参考图片列表的值是0,并且指示第二运动矢量的第二参考图片列表的值是1时,处理器可以获得作为第一运动矢量的校正值的特定偏移。
第一参考图片列表可以在其中多达一个运动矢量被用于特定样本的第一较高层区域中和其中多达两个运动矢量被用于特定样本的第二较高层区域中被使用,并且第二参考图片列表可以不在第一较高层区域中被使用。
有益效果
根据本发明的实施例,可以提高视频信号的编译效率。此外,根据本发明的实施例,可以改善当前块的帧间预测的预测性能。
附图说明
图1是根据本发明的实施例的视频信号编码装置的示意性框图。
图2是根据本发明的实施例的视频信号解码装置的示意性框图。
图3示出其中在图片中编译树单元被划分为编译单元的实施例。
图4示出用于用信号发送四叉树和多类型树的划分的方法的实施例。
图5和图6图示根据本发明的实施例的帧内预测方法。
图7图示根据本发明的实施例的帧间预测方法。
图8图示根据本发明的实施例的双向预测方法。
图9是图示根据本发明的实施例的配置合并候选列表的方法的图。
图10是图示根据本发明的实施例的校正运动矢量的方法的图。
图11是图示根据本发明的另一实施例的校正运动矢量的方法的图。
图12是图示根据本发明的实施例的当前块的MVP候选列表中包括的候选的运动矢量缩放的图。
图13是图示根据本发明的实施例的校正运动矢量的方法的图。
图14是图示根据本发明的实施例的用于基于初始运动矢量校正运动矢量的搜索位置的图。
图15是图示根据本发明的实施例的配置用于校正运动矢量的模板的方法的图。
图16是图示根据本发明的实施例的校正运动矢量的方法的流程图。
图17是图示根据本发明的另一实施例的校正运动矢量的方法的流程图。
图18是图示根据本发明的实施例的使用一个运动信息集的加权预测方法的图。
图19是图示根据本发明的实施例的双向预测块的加权预测方法的图。
图20是图示根据本发明的实施例的解码器使用加权预测来预测当前块的方法的流程图。
图21是图示根据本发明的实施例的当对当前块进行单向预测时更新要被应用于参考块的权重参数集的方法的图。
图22是图示根据本发明的实施例的基于附加地搜索到的参考块来预测当前块的方法的图。
图23是图示根据本发明的实施例的当当前块是被双向预测的块时更新要被应用于参考块的权重参数集的方法的图。
图24是图示根据本发明的实施例的当当前块是被双向预测的块时基于附加地搜索到的参考块来预测当前块的方法的图。
图25是图示根据本发明的另一实施例的当当前块是被双向预测的块时基于附加地搜索到的参考块来预测当前块的方法的图。
图26是图示根据本发明的实施例的模板匹配方法的图。
图27是图示根据本发明的实施例的符号是否匹配和符号确定的图。
图28和图29是图示根据本发明的实施例的考虑上下文对符号信息进行编码的方法的图。
图30是图示根据本发明的实施例的基于不同的运动信息集对从当前块划分的每个区域执行预测的方法的图。
图31是图示根据本发明的实施例的对从当前块划分的每个区域执行帧内预测或帧间预测的方法的图。
具体实施方式
考虑到本发明中的功能,本说明书中使用的术语可以是当前广泛使用的通用术语,但是可以根据本领域的技术人员的意图、习俗或新技术的出现而改变。另外,在某些情况下,可能存在申请人任意选择的术语,并且在这种情况下,其含义在本发明的相应描述部分中进行了描述。因此,应基于整个说明书中的术语和内容的实质含义来解释本说明书中使用的术语。
在本说明书中,一些术语可以解释如下。在一些情况下,编译可以解释为编码或解码。在本说明书中,通过执行视频信号的编码(编译)来生成视频信号比特流的装置被称为编码装置或编码器,并且执行视频信号比特流的解码(解码)以重构视频信号的装置被称为解码装置或解码器。另外,在本说明书中,视频信号处理装置被用作包括编码器和解码器两者的概念的术语。信息是包括所有值、参数、系数、元素等的术语。在一些情况下,含义被不同地解释,因此本发明不限于此。“单元”被用作指代图像处理的基本单位或图片的特定位置的含义,并且指代包括亮度分量和色度分量两者的图像区域。另外,“块”指代包括亮度分量和色度分量(即,Cb和Cr)当中的特定分量的图像区域。然而,取决于实施例,诸如“单元”、“块”、“分区(partition)”和“区域”的术语可以互换使用。另外,在本说明书中,单元可以用作包括编译单元、预测单元和变换单元的全部的概念。图片指示场或帧,并且根据实施例,这些术语可以互换使用。
图1是根据本发明的实施例的视频信号编码装置的示意性框图。参考图1,本发明的编码装置100包括变换单元110、量化单元115、逆量化单元120、逆变换单元125、滤波单元130、预测单元150和熵编译单元160。
变换单元110通过对残差信号进行变换来获得变换系数的值,该残差信号是输入的视频信号与由预测单元150生成的预测信号之间的差。例如,可以使用离散余弦变换(DCT)、离散正弦变换(DST)或小波变换。DCT和DST通过将输入图像信号分割成多个块来执行变换。在变换中,编译效率可以根据变换区域中的值的分布和特性而变化。量化单元115对从变换单元110输出的变换系数值的值进行量化。
为了改进编译效率,代替照原样对图像信号进行编译的方法,使用一种方法,其使用通过预测单元150已经编译的区域来预测图片,并通过将在原始图片和预测的图片之间的残差值添加到预测的图片来获得重构图像。为了防止编码器和解码器中的不匹配,当在编码器中执行预测时,应该使用可以在解码器中使用的信息。为此,编码器再次执行重构编码的当前块的处理。逆量化单元120对变换系数的值进行逆量化,并且逆变换单元125使用逆量化的变换系数值来重构残差值。同时,滤波单元130执行滤波操作以改善重构图片的质量并改善编译效率。例如,可以包括去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器。滤波后的图片被输出或存储在解码图片缓冲器(DPB)156中,以用作参考图片。
预测单元150包括帧内预测单元152和帧间预测单元154。帧内预测单元152在当前图片中执行帧内预测,并且帧间预测单元154执行帧间预测以通过使用存储在DPB 156中的参考图片来预测当前图片。帧内预测单元152根据当前图片中的重构样本执行帧内预测,并将帧内编译信息发送到熵编译单元160。帧内编码信息可以包括帧内预测模式、最可能模式(MPM)标记和MPM索引中的至少一种。帧间预测单元154可以包括运动估计单元154a和运动补偿单元154b。运动估计单元154a参考重构的参考图片的特定区域以获得当前区域的运动矢量值。运动估计单元154a将关于参考区域的运动信息集(参考图片索引、运动矢量信息等)发送到熵编译单元160。运动补偿单元154b使用从运动估计单元154a发送的运动矢量值来执行运动补偿。帧间预测单元154将包括关于参考区域的运动信息集的帧间编码信息发送到熵编译单元160。
当执行上述图片预测时,变换单元110变换在原始图片和预测图片之间的残差值以获得变换系数值。在这种情况下,可以以图片内的特定块为单位执行变换,并且可以在预设范围内改变特定块的大小。量化单元115对在变换单元110中生成的变换系数值进行量化,并将其发送到熵编译单元160。
熵编译单元160对量化的变换系数、帧内编译信息和帧间编译信息进行熵编译以生成视频信号比特流。在熵编译单元160中,可以使用可变长度编译(VLC)方法、算术编译方法等。VLC方法将输入的符号变换成连续的码字,并且码字的长度可以是可变的。例如,频繁出现的符号被表达为短码字,而不太频繁出现的符号被表达为长码字。作为VLC方法,可以使用基于上下文的自适应可变长度编译(CAVLC)方法。算术编译将连续的数据符号变换成单个小数,并且算术编译可以获得表示每个符号所需的最佳小数比特数。作为算术编译,可以使用基于上下文的自适应算术编译(CABAC)。
使用网络抽象层(NAL)单元作为基本单位来封装所生成的比特流。NAL单元包括整数个编译的编译树单元。为了在视频解码器中对比特流进行解码,首先,必须将比特流分离成NAL单元,并且然后必须对每个分离的NAL单元进行解码。同时,可以通过诸如图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等等的高层集合的原始字节序列有效载荷(RBSP)来发送对视频信号比特流进行解码所需的信息。
同时,图1的框图示出根据本发明的实施例的编码装置100,并且分开显示的块在逻辑上区分并示出编码装置100的元件。因此,取决于设备的设计上述编码装置100的元件可以被安装为一个芯片或多个芯片。根据实施例,上述编码装置100的每个元件的操作可以由处理器(未示出)执行。
图2是根据本发明的实施例的视频信号解码装置200的示意性框图。参考图2,本发明的解码装置200包括熵解码单元210、逆量化单元220、逆变换单元225、滤波单元230和预测单元250。
熵解码单元210对视频信号比特流进行熵解码,并提取每个区域的变换系数、帧内编码信息和帧间编码信息。逆量化单元220对熵解码的变换系数进行逆量化,并且逆变换单元225使用逆量化的变换系数来重构残差值。视频信号处理装置200通过将在逆变换单元225中获得的残差值与在预测单元250中获得的预测器相加来重构原始像素值。
同时,滤波单元230对图片执行滤波以改善图像质量。这可以包括用于减少块失真的去块滤波器和/或用于去除整个图片的失真的自适应环路滤波器。滤波后的图片被输出或存储在DPB 256中,以用作下一个图片的参考图片。
预测单元250包括帧内预测单元252和帧间预测单元254。预测单元250通过使用通过上述熵解码单元210解码的编码类型、每个区域的变换系数和帧内/帧间编码信息来生成预测图片。为了重构其中执行解码的当前块,可以使用当前图片或包括当前块的其他图片的解码区域。在重构中,仅将当前图片,即,仅执行帧内预测的图片(或图块/切片)称为帧内图片或I图片(或图块/切片),并且将能够执行帧内预测和帧间预测的图片(或图块/切片)称为帧间图片(或图块/切片)。为了预测帧间图片(或图块/切片)当中的每个块的样本值,使用最多一个运动矢量和参考图片索引的图片(或者图块/切片)被称为预测图片或P图片(或图块/切片),并且使用最多两个运动矢量和参考图片索引的图片(或图块/切片)称为双向预测图片或B图片(或图块/切片)。换句话说,P图片(或图块/切片)使用最多一个运动信息集来预测每个块,并且B图片(或图块/切片)使用最多两个运动信息集来预测每个块。这里,运动信息集包括一个或多个运动矢量和一个参考图片索引。
帧内预测单元252使用帧内编码信息和当前图片中的恢复的样本来生成预测块。如上所述,帧内编码信息可以包括帧内预测模式、最可能模式(MPM)标记和MPM索引中的至少一种。帧内预测单元252通过使用位于当前块的左侧和/或上侧的恢复的样本作为参考样本来预测当前块的样本值。在本公开中,恢复的样本、参考样本和当前块的样本可以表示像素。而且,样本值可以表示像素值。
根据实施例,参考样本可以是当前块的邻近块中包括的样本。例如,参考样本可以是与当前块的左边界相邻的样本和/或与上边界相邻的样本。而且,参考样本可以是当前块的邻近块的样本当中的位于距当前块的左边界预定距离内的线上的样本和/或位于距当前块的上边界预定距离内的线上的样本。在这种情况下,当前块的邻近块可以包括左(L)块、上(A)块、左下(BL)块、右上(AR)块或左上(AL)块。
帧间预测单元254使用参考图片和存储在DPB 256中的帧间编码信息来生成预测块。帧间编译信息可以包括用于参考块的当前块的运动信息集(参考图片索引、运动矢量信息等)。帧间预测可以包括L0预测、L1预测和双向预测。L0预测意指使用L0图片列表中包括的一个参考图片进行预测,并且L1预测意指使用L1图片列表中包括的一个参考图片进行预测。为此,可能需要一个集合的运动信息(例如,运动矢量和参考图片索引)。在双向预测方法中,可以使用多达两个参考区域,并且两个参考区域可以存在于同一参考图片中或可以存在于不同图片中。即,在双向预测方法中,可以使用多达两个集合的运动信息(例如,运动矢量和参考图片索引),并且两个运动矢量可以对应于相同的参考图片索引或不同的参考图片索引。在这种情况下,参考图片可以在时间方面在当前图片之前和之后显示(或输出)。
帧间预测单元254可以使用运动矢量和参考图片索引来获得当前块的参考块。参考块在与参考图片索引相对应的参考图片中。而且,由运动矢量指定的块的样本值或其内插值可以用作当前块的预测器。对于具有子像素(sub-pel)单位像素精度的运动预测,例如,可以使用用于亮度信号的8抽头内插滤波器和用于色度信号的4抽头内插滤波器。然而,以子像素为单位的用于运动预测的内插滤波器不限于此。以这种方式,帧间预测单元254执行运动补偿以根据先前使用运动信息重构的运动图片来预测当前单元的纹理。在此,帧间预测单元可以使用运动信息集。
通过将从帧内预测单元252或帧间预测单元254输出的预测器与从逆变换单元225输出的残差值相加生成重构的视频图片。即,视频信号解码装置200使用由预测单元250生成的预测块和从逆变换单元225获得的残差来重构当前块。
同时,图2的框图示出根据本发明的实施例的解码装置200,并且分开显示的块在逻辑上区分并示出解码装置200的元件。因此,取决于设备的设计上述解码装置200的元件可以被安装为一个芯片或多个芯片。根据实施例,上述解码装置200的每个元件的操作可以由处理器(未示出)执行。
图3图示其中在图片中编译树单元(CTU)被分割成编译单元(CU)的实施例。在视频信号的编译过程中,可以将图片分割成一系列编译树单元(CTU)。编译树单元由亮度样本的NXN块和与其相对应的色度样本的两个块组成。编译树单元可以被分割成多个编译单元。编译树单元可以不被分割,并且可以是叶节点。在这种情况下,编译树单元本身可以是编译单元。编译单元指代在上述视频信号的处理过程中,即,帧内/帧间预测、变换、量化和/或熵编译中用于处理图片的基本单元。一个图片中编译单元的大小和形状可能不恒定。编译单元可以具有正方形或矩形形状。矩形编译单元(或矩形块)包括垂直编译单元(或垂直块)和水平编译单元(或水平块)。在本说明书中,垂直块是其高度大于宽度的块,并且水平块是其宽度大于高度的块。此外,在本说明书中,非正方形块可以指代矩形块,但是本发明不限于此。
参考图3,首先将编译树单元分割成四叉树(QT)结构。即,在四叉树结构中具有2NX2N大小的一个节点可以被分割成具有NXN大小的四个节点。在本说明书中,四叉树也可以称为四元树。可以递归地执行四叉树分割,并非所有节点都需要以相同的深度分割。
同时,上述四叉树的叶节点可以进一步被分割成多类型树(MTT)结构。根据本发明的实施例,在多类型树结构中,一个节点可以被分割成水平或垂直划分的二叉或三叉树结构。即,在多类型树结构中,存在四个分割结构,诸如垂直二元分割、水平二元分割、垂直三元分割和水平三元分割。根据本发明的实施例,在每个树结构中,节点的宽度和高度都可以具有2的幂。例如,在二叉树(BT)结构中,2NX2N大小的节点可以通过垂直二元分割被分割成两个NX2N节点,并通过水平二元分割将其分割成两个2NXN节点。另外,在三叉树(TT)结构中,将2NX2N大小的节点通过垂直三元分割被分割成(N/2)X2N、NX2N和(N/2)X2N节点,并通过水平三元分割被分割成2NX(N/2)、2NXN和2NX(N/2)节点。可以递归地执行此多类型树分割。
多类型树的叶节点可以是编译单元。当未指示编译单元的划分或与最大转换长度相比该编译单元不更大时,无需进一步划分就将编译单元用作预测和转换的单元。另一方面,可以通过诸如PPS、SPS、VPS等的高层集合的RBSP来预定义或发送上述四叉树和多类型树中的以下参数中的至少一个。1)CTU大小:四叉树的根节点大小,2)最小QT大小MinQtSize:允许的最小QT叶节点大小,3)最大BT大小MaxBtSize:允许的最大BT根节点大小,4)最大TT大小MaxTtSize:允许的最大TT根节点大小,5)最大MTT深度MaxMttDepth:从QT的叶节点分割而来的MTT的最大允许深度,6)最小BT大小MinBtSize:允许的最小BT叶节点大小,7)最小TT大小MinTtSize:允许的最小TT叶节点大小。
图4示出用于用信号发送四叉树和多类型树的分割的方法的实施例。可以使用预设标记来用信号发送上述四叉树和多类型树的分割。参考图4,指示是否分割四叉树节点的标记“qt_split_flag”、指示是否分割多类型树节点的标记“mtt_split_flag”、指示多类型树节点的分割方向的标记“mtt_split_vertical_flag”或者指示多类型树节点的分割类型的标记“mtt_split_binary_flag”中的至少一个可以被使用。
根据本发明的实施例,编译树单元是四叉树的根节点,并且可以首先被分割成四叉树结构。在四叉树结构中,为每个节点“QT_node”用信号发送“qt_split_flag”。如果“qt_split_flag”的值为1,则将该节点分割成4个正方形节点,并且如果“qt_split_flag”的值为0,则相应的节点成为四叉树的叶节点“QT_leaf_node”。
每个四叉树叶节点“QT_leaf_node”可以进一步被分割成多类型树结构。在多类型树结构中,为每个节点“MTT_node”用信号发送“mtt_split_flag”。当“mtt_split_flag”的值是1时,相应的节点被分割成多个矩形节点,并且当“mtt_split_flag”的值是0时,相应的节点是多类型树的叶节点“MTT_leaf_node”。当将多类型树节点“MTT_node”分割成多个矩形节点时(即,当“mtt_split_flag”的值是1时),可以附加地用信号发送节点“MTT_node”的“mtt_split_vertical_flag”和“mtt_split_binary_flag”。当“mtt_split_vertical_flag”的值是1时,指示节点“MTT_node”的垂直分割,并且当“mtt_split_vertical_flag”的值是0时,指示节点“MTT_node”的水平分割。另外,当“mtt_split_binary_flag”的值为1时,节点“MTT_node”被分割成2个矩形节点,并且当“mtt_split_binary_flag”的值为0时,节点“MTT_node”被分割成3个矩形节点。
图5和图6图示根据本发明的实施例的帧内预测方法。如上所述,帧内预测单元通过使用位于当前块的左侧和/或上侧的恢复的样本作为参考样本来预测当前块的样本值。
首先,图5示出在帧内预测模式中用于当前块的预测的参考样本的实施例。根据实施例,参考样本可以是与当前块的左边界相邻的样本和/或与上边界相邻的样本。如图5中所示,当当前块的大小是WXH并且与当前块相邻的单个参考线的样本被用于帧内预测时,可以使用位于当前块的左侧和上侧的最大2W+2H+1个邻近样本来配置参考样本。
根据本发明的又一实施例,可以将多条参考线上的样本用于当前块的帧内预测。多条参考线可以由位于距当前块的边界预定距离内的n条线组成。在这种情况下,可以用信号发送指示用于当前块的帧内预测的至少一条参考线的单独的参考线信息。具体地,参考线信息可以包括指示多条参考线中的任何一条的索引。另外,如果尚未恢复要被用作参考样本的样本中的至少一些,则帧内预测单元可以通过执行参考样本填充过程来获得参考样本。另外,帧内预测单元可以执行参考样本滤波处理以减少帧内预测中的误差。即,可以通过对通过邻近样本和/或参考样本填充过程获得的参考样本进行滤波来获得滤波后的参考样本。帧内预测单元使用未滤波的参考样本或滤波的参考样本来预测当前块的样本。在本公开中,邻近样本可以包括至少一个参考线上的样本。例如,邻近样本可以包括在与当前块的边界相邻的线上的邻近样本。
接下来,图6示出用于帧内预测的预测模式的实施例。对于帧内预测,可以用信号发送指示帧内预测方向的帧内预测模式信息。帧内预测模式信息指示被包括在帧内预测模式集中的多个帧内预测模式中的一个。当当前块是帧内预测块时,解码器从比特流接收当前块的帧内预测模式信息。解码器的帧内预测单元基于提取的帧内预测模式信息对当前块执行帧内预测。
根据本发明的实施例,帧内预测模式集可以包括在帧内预测中使用的所有帧内预测模式(例如,总共67个帧内预测模式)。更具体地,帧内预测模式集可以包括平面模式、DC模式以及多个(例如,65个)角度模式(即,方向模式)。在一些实施例中,帧内预测模式集可以由所有帧内预测模式中的一些构成。可以通过预设索引(即,帧内预测模式索引)来指示每个帧内预测模式。例如,如图6中所示,帧内预测模式索引0指示平面模式,并且帧内预测模式索引1指示DC模式。此外,帧内预测模式索引2至66可以分别指示不同的角度模式。在这种情况下,帧内预测模式索引2指示水平对角线(HDIA)模式,帧内预测模式索引18指示水平(水平,HOR)模式,帧内预测模式索引34指示对角线(DIA)模式,帧内预测模式索引50指示垂直(VER)模式,并且帧内预测模式索引66指示垂直对角线(VDIA)模式。
图7图示根据本发明的实施例的帧间预测方法。如上所述,解码器可以通过参考解码的另一图片的重构样本来预测当前块。参考图7,解码器基于当前块701的运动信息集获得参考图片720中的参考块702。这里,运动信息集可以包括参考图片索引ref_idx_lx和运动矢量MV。参考图片索引ref_idx_lx指示参考图片列表lx中的包括用于当前块的帧间预测的参考块的参考图片720。运动矢量MV指示当前图片710中的当前块701的坐标值与参考图片720中的参考块702的坐标值之间的偏移。解码器基于参考块702的样本值获得当前块701的预测器,并使用预测器重构当前块701。
详细地,编码器可以通过从依照重构顺序在前的图片中搜索与当前块相似的块来获得上述参考块。例如,编码器可以在预设搜索区域内搜索具有最小的与当前块的样本值差之和的参考块。这里,为了测量当前块和参考块的样本之间的相似性,可以使用绝对差之和(SAD)或哈达玛变换差之和(SATD)中的至少一个。这里,SAD可以是通过将两个块中包括的样本值之间的差的所有绝对值相加而获得的值。此外,SATD可以是通过将通过对两个块中包括的样本的值之间的差进行哈达玛变换而获得的哈达玛变换系数的所有绝对值相加而获得的值。
同时,还可以使用至少一个参考区域来预测当前块。如上所述,可使用其中使用多达两个参考区域的双向预测方案来对当前块进行帧间预测。图8图示根据本发明的实施例的双向预测方法。参考图8,解码器可以基于当前块801的两个运动信息集获得两个参考块802和803。此外,解码器可以基于获得的两个参考块的每个样本值获得当前块的第一预测器和第二预测器。此外,解码器可以使用第一预测器和第二预测器来重构当前块801。
根据一个实施例,解码器可以基于第一预测器和第二预测器的每个样本的平均值重构当前块801。根据另一个实施例,解码器可以通过将不同的权重值应用于第一预测器和第二预测器来重构当前块801。在这种情况下,可以通过PPS或SPS用信号发送指示权重值的使用或不使用的信息。用于预测当前块801的权重值和偏移值可以通过切片/图块报头以切片/图块为单位发送。此外,可以针对每个编译单元发送用于预测当前块801的权重值和偏移值。稍后将参考图18至图25描述使用权重值预测当前块的方法。
如上所述,可以用信号发送一个或多个运动信息集以用于当前块的运动补偿。在用信号发送当前块的运动信息集的方法中,可以使用用于多个块中的每个块的运动补偿的运动信息集之间的冗余。这是因为用于预测当前块的运动信息集可以从用于预测预先重构的其他样本中的任意一个的运动信息集中导出。
例如,可能存在多个候选块,该多个候选块可能已经基于与当前块的运动信息集相同或相似的运动信息集被预测。解码器可以基于多个候选块生成合并候选列表。这里,合并候选列表可以包括与早于当前块被重构的样本当中的样本相对应的候选,该样本可能已经基于与当前块的运动信息集有关的运动信息集被预测。编码器和解码器可以根据预定规则来配置当前块的合并候选列表。这里,分别由编码器和解码器配置的合并候选列表可以是相同的。例如,编码器和解码器可以基于当前块在当前图片中的位置来配置当前块的合并候选列表。稍后将参考图9描述用于编码器和解码器配置当前块的合并候选列表的方法。在本公开中,特定块的位置指示在包括特定块的图片中该特定块的左上样本的相对位置。
根据实施例,当使用合并候选列表来预测当前块时,可以基于与合并候选列表中包括的任何一个候选相对应的运动信息集重构当前块。例如,可以基于合并候选列表中包括的任何一个候选的运动矢量获得当前块的运动矢量。此外,可以基于与任何一个候选相对应的参考图片列表和参考图片索引获得要被参考以预测当前块的参考图片。
详细地,可以用信号发送指示包括在合并候选列表中的多个候选中的任意一个的合并索引。解码器可以接收从编码器用信号发送的合并索引。解码器可以基于与由合并索引指示的候选相对应的运动信息集来执行当前块的运动补偿。由合并索引指示的候选可以被称为合并目标。解码器可以基于与合并目标相对应的运动信息集获得当前块的运动信息集。即,可以基于合并目标的参考图片索引和合并目标的运动矢量来执行当前块的运动补偿。以这种方式,编码器和解码器可以减少运动信息信令开销。
根据实施例,使用合并候选列表的预测方法可以被划分为跳过模式和合并模式。例如,当当前块的预测方法是跳过模式时,可能不用信号发送当前块的残差信号。在这种情况下,解码器可以基于基于合并索引生成的当前块的预测器重构当前块。当当前块的预测方法是合并模式时,可以从编码器用信号发送合并索引和残差信号。在这种情况下,解码器可以基于当前块的合并索引和残差信号重构当前块。解码器可以基于由当前块的合并索引指示的合并目标的运动信息集生成当前块的预测器。接下来,解码器可以基于所生成的当前块的预测器和所接收到的残差信号重构当前块。
在下文中,将参考图9详细描述根据本发明的实施例的配置合并候选列表的方法。图9是图示根据本发明的实施例的配置合并候选列表的方法的图。根据实施例,合并候选列表可以包括空间候选或时间候选中的至少一个。在此,空间候选可以表示基于当前块的邻近块配置的候选。这是因为用于当前块的运动信息集可以与用于预测当前块的邻近块中的任何一个的运动信息集相同或相似。在本公开中,空间候选或时间候选可以被称为与每个候选相对应的块。
参考图9,可以基于对应于与当前块相邻的邻近块当中的预设位置的可用的邻近块A0、A1、B0、B1和B2来配置合并候选列表的空间候选。详细地,合并候选列表的空间候选可以包括左下块A0、左块A1、右上块B0、上块B1或左上块B2中的至少一个。在此,解码器可以顺序地搜索A1、B1、B0、A0和B2,以配置多达四个空间候选。此外,当已经对邻近块当中的特定块进行帧内预测、不存在特定块或者特定块的预测模式不可用时,可以将相应块配置为不可用。
例如,当A1不可用时,解码器可能不将A1包括在合并候选列表中。接下来,解码器可以确定B1是否可用。这里,当B1可用时,解码器可以配置包括B1的合并候选列表。解码器可以搜索其余的邻近块B0、A0和B2,使得合并候选列表包括多达四个空间候选。此外,可以比特定邻近块更早地搜索特定邻近块的运动信息集,并且可以与包括在合并候选列表中的另一邻近块的运动信息集相同。在这种情况下,解码器可能不将相应的邻近块包括在合并候选列表中。
如上所述,合并候选列表可以包括时间候选。时间候选可以表示基于与当前块在当前图片以外的另一图片中的位置相对应的块而配置的候选。这是因为用于当前块的运动信息集可以与用于预测另一图片中包括的块的运动信息集相同或相似。例如,当前图片以外的其他图片可以是预先配置的参考图片R0。可以通过包括当前块的较高层的报头来用信号发送预先配置的参考图片R0。此处,较高层可以表示包括当前块的切片/图块、图片或CTU或编译树块(CTB)。详细地,编码器可以将指示特定参考图片列表中的预先配置的参考图片R0的参考图片索引***到较高层的报头中。
参考图9,时间候选可以包括预先配置的参考图片R0中的与当前图片中的当前块的位置相同的位置相对应的共置块C3,或者共置块C3的右下块H。在此,解码器可以优先于C3搜索H。例如,当H不可用时,解码器可以不将H包括在合并候选列表中。接下来,解码器可以确定C3是否可用。此外,当C3可用时,解码器可以配置包括C3的合并候选列表。相反,当H可用时,解码器可以不执行确定C3是否可用的操作。即,合并候选列表可以包括多达一个时间候选。
此外,解码器可以缩放时间候选的运动矢量以将缩放的运动矢量用作当前块的运动矢量。解码器可以根据参考图片之间的时间距离来缩放时间候选的运动矢量。这是因为与时间候选相对应的候选块属于不同于当前块所属的图片的图片。详细地,解码器可以通过从包括时间候选的图片的图片顺序计数(POC)中减去被参考用于预测时间候选的图片的POC来获得第一值td。解码器可以通过从当前图片的POC中减去要被参考以预测当前图片的参考图片的POC来获得第二值tb。此外,解码器可以基于第一值td和第二值tb来缩放时间候选的运动矢量。在此,解码器可以使用在其中使用偏移值和移位运算的定点方法执行计算。以这种方式,解码器可以不使用除法运算。
根据实施例,当空间候选的数量和时间候选的数量的总和小于可以被包括在合并候选列表中的候选的最大数量时,解码器可在合并候选中包括对应于附加预测方法的候选。可以通过包括当前块的较高层的报头来用信号发送包括在合并候选列表中的合并候选的最大数量。根据实施例,可以管理附加运动信息列表,其包括用于比当前块更早被重构的块的运动信息集。详细地,运动信息列表可以包括分别用于比当前图片中的当前块更早被重构的多个块的运动信息集。在这种情况下,解码器可以使用运动信息列表中包括的运动信息集中的至少一些作为合并候选列表的候选。
根据另一个实施例,解码器可以根据预设顺序从包括在合并候选列表中的候选中选择两个候选。此外,解码器可以基于用于预测两个选择的候选中的每一个的运动矢量的平均生成平均运动矢量。解码器可以基于平均运动矢量生成平均运动信息集。此外,解码器可以将所生成的平均运动信息集用作合并候选列表的候选。
根据另一实施例,解码器可以通过组合单向预测信息生成双向预测信息。详细地,当已经基于单向预测信息预测多个候选时,解码器可以组合关于候选的单向预测信息以生成用于预测的双向预测信息。此外,解码器可以将所生成的双向预测信息添加到合并候选列表。此外,解码器可以将与零运动矢量相对应的候选包括在合并候选列表中。
如上所述,根据实施例的编码器和解码器可以通过使用合并候选列表和合并索引来减少与运动信息信令有关的开销。然而,可能难以使用包括在合并候选列表中的合并候选的运动矢量来准确地表达当前块的运动。根据本发明的实施例,从由合并索引指示的合并候选的运动矢量校正的运动矢量可以用作当前块的运动矢量。以这种方式,编码器和解码器可以使用合并候选列表来改善预测方法的预测性能。在下文中,将详细描述根据本发明的实施例的校正当前块的运动矢量的方法。
根据本发明的实施例,解码器可以校正当前块的运动矢量。例如,当使用合并候选列表预测当前块时,解码器可以校正当前块的运动矢量。这里,当前块的运动矢量可以是从合并目标的运动矢量获得的合并运动矢量。在本公开中,合并运动矢量可以表示从与合并目标相对应的运动信息集获得的当前块的运动矢量。解码器可以通过校正该合并运动矢量生成经校正的运动矢量。此外,解码器可以基于经校正的运动矢量来预测当前块。
根据实施例,可以基于运动矢量偏移校正合并运动矢量。在此,运动矢量偏移可以指示校正前运动矢量和经校正的运动矢量之间的差。例如,解码器可以通过将运动矢量偏移添加到合并运动矢量生成经校正的运动矢量。在此,运动矢量偏移可以被用信号发送,或者可以根据预设规则被导出。
根据实施例,指示运动矢量偏移的信息可以被单独地用信号发送。这里,指示运动矢量偏移的信息可以包括运动矢量偏移的绝对值或运动矢量偏移的符号中的至少一个。运动矢量偏移的绝对值可以指示校正前运动矢量与经校正的运动矢量之间的距离。详细地,可以通过距离索引来获得运动矢量偏移的绝对值。例如,编码器可以基于在编码器和解码器之间预定义的表来用信号发送与特定距离相对应的距离索引。此外,解码器可以基于接收到的距离索引和在编码器与解码器之间预定义的表来确定运动矢量偏移的绝对值。
此外,可以通过符号索引来获得运动矢量偏移的符号。符号索引可以指示符号集,该符号集包括分别与指示运动矢量的坐标(x,y)的x轴分量和y轴分量相对应的符号。例如,可以管理包括被映射到特定符号索引的特定符号集的符号信息表。符号信息表在编码器和解码器之间可以相同。
接下来,解码器可以基于经校正的运动矢量重构当前块。解码器可以基于经校正的运动矢量生成当前块的预测器。此外,当当前块的预测模式是上述合并模式时,解码器可以基于当前块的预测器和当前块的残差信号重构当前块。当当前块的预测模式是上述跳过模式时,解码器可以在没有残差信号的情况下基于当前块的预测器重构当前块。
同时,如上所述,可以基于多个运动信息集来执行帧间预测。例如,解码器可以基于由当前块的合并索引指示的合并目标块的运动信息集获得当前块的运动信息集。这里,当已经基于多个运动信息集预测合并目标时,也可以使用多个运动信息集来预测当前块。在下文中,将描述校正当前块的多个运动矢量的方法。具体地,尽管本公开示例性地描述其中基于通过合并候选列表获得的两个运动信息集来预测当前块的情况,但是本公开不限于此。
根据本发明的实施例,当合并目标包括多个运动信息集时,可能需要分别对应于多个运动矢量的多个运动矢量偏移。在这种情况下,解码器可以首先获得作为多个运动矢量偏移中的一个的特定运动矢量偏移,并且可以基于特定运动矢量偏移获得其他运动矢量偏移。以这种方式,可以减少与运动矢量偏移的获取有关的解码器的信令开销或复杂性。在下文中,根据本发明的实施例,将参考图10描述在多个运动矢量中确定首先获得运动矢量偏移的运动矢量的方法。
图10是图示根据本发明的实施例的校正运动矢量的方法的图。根据本发明的实施例,可以基于合并目标的至少一个参考图片的POC校正多个合并运动矢量。解码器可以基于当前图片与分别与多个合并运动矢量相对应的每个参考图片之间的POC差校正多个合并运动矢量。例如,解码器可以比较当前图片与分别对应于多个合并运动矢量的每个参考图片之间的POC差。此外,解码器可以基于比较的结果校正多个运动矢量。POC差可以表示通过从当前图片的POC中减去参考图片的POC而获得的值的绝对值,反之亦然。
根据实施例,多个运动矢量可以包括第一运动矢量和第二运动矢量。在这种情况下,解码器可以获得当前图片和与第一运动矢量相对应的第一参考图片之间的第一POC差。此外,解码器可以获得当前图片和与第二运动矢量相对应的第二参考图片之间的第二POC差。解码器可以比较第一POC差和第二POC差以获得特定运动矢量偏移,该特定运动矢量偏移是第一运动矢量或第二运动矢量的校正值。解码器可以比第一运动矢量和第二运动矢量中的另一个的运动矢量偏移更早地获得第一运动矢量和第二运动矢量中的一个的运动矢量偏移。
例如,可以比与具有较小的POC差的参考图片相对应的运动矢量的运动矢量偏移更早地获得与具有在第一POC差和第二POC差当中的较大POC差的参考图片相对应的运动矢量的运动矢量偏移。这是因为随着当前图片的POC与包括参考块的参考图片的POC之间的差增大,参考块与当前块之间的时间距离可能增大,并且其间的相关性可能减小。因此,与具有从当前图片的更大POC差的参考图片相对应的运动矢量可以具有更大的运动矢量偏移的绝对值。解码器可以比另一运动矢量偏移更早地获得特定运动矢量的特定运动矢量偏移,该特定运动矢量期望具有相对较大的运动矢量偏移的绝对值。详细地,可以仅将特定运动矢量偏移用信号发送给解码器,或者可以由解码器优先确定。可以基于从特定运动矢量偏移缩放的运动矢量偏移校正与具有从当前图片的相对较小的POC差的参考图片相对应的运动矢量。
例如,当第一POC差大于或等于第二POC差时,特定运动矢量偏移可以是用于第一运动矢量的校正值。相反,当第一POC差小于第二POC差时,特定运动矢量偏移可以是用于第二运动矢量的校正值。在此,第一运动矢量可以是与参考图片列表L0相对应的运动矢量,并且第二运动矢量可以是与参考图片列表L1相对应的运动矢量。
在图10的实施例中,当前块的运动信息集可以包括:包括第一运动矢量MV0的第一运动信息集和包括第二运动矢量MV1的第二运动信息集。另外,第一运动信息集可以包括第一参考图片索引,并且第二运动信息集可以包括第二参考图片索引。根据实施例,解码器可以基于合并目标的运动信息集获得当前块的运动信息集。解码器可以通过校正MV0和MV1来获得当前块的运动矢量。
参考图10(a),当当前图片与对应于MV0的第一参考图片之间的第一POC差大于或等于当前图片与对应于MV1的第二参考图片之间的第二POC差时,解码器可以比被应用于MV1的第二运动矢量偏移更早地获得被应用于MV0的第一运动矢量偏移。此外,解码器可以基于第一运动矢量偏移校正MV0。接下来,可以基于第一运动矢量偏移获得第二运动矢量偏移。此外,解码器可以基于第二运动矢量偏移校正MV1。
相反,当第一POC差小于第二POC差时,解码器可以优先于第一运动矢量偏移获得第二运动矢量偏移。此外,解码器可以基于第二运动矢量偏移校正MV1。接下来,可以基于第二运动矢量偏移获得第一运动矢量偏移。此外,解码器可以基于第一运动矢量偏移校正MV0。
详细地,在步骤S1001中,解码器可以获得当前块的POC poc_curr、第一参考图片的POC poc_RefPic0和第二参考图片的POC poc_RefPic1。在此,第一参考图片和第二参考图片可以分别对应于参考图片列表L0和L1。例如,解码器可以从参考图片列表L0中获得由第一参考图片索引指示的第一参考图片。解码器可以获得第一参考图片的POC poc_RefPic0。此外,解码器可以从参考图片列表L1中获得由第二参考图片索引指示的第二参考图片。解码器可以获得第二参考图片的POC poc_RefPic1。
在步骤S1002中,解码器可以基于第一参考图片的POC和当前图片的POC获得第一POC差pocDiff0。pocDiff0可以是通过从poc_RefPic0中减去poc_curr而获得的值的绝对值。此外,解码器可以基于第二参考图片的POC和当前图片的POC获得第二POC差pocDiff1。pocDiff1可以是通过从poc_RefPic1中减去poc_curr而获得的值的绝对值。
在步骤S1003中,解码器可以比较第一POC差和第二POC差。解码器可以确定第一POC差是否大于第二POC差。在步骤S1003中,当第一POC差大于第二POC差时,解码器可以优先获得与MV0相对应的第一运动矢量偏移。解码器可以基于第一运动矢量偏移校正MV0。接下来,解码器可以获得从第一运动矢量偏移缩放的第二运动矢量偏移。此外,解码器可以基于第二运动矢量偏移校正MV1。
当在步骤S1003中第一POC差不大于第二POC差时,解码器可以确定第一POC差和第二POC差是否相等,如在步骤S1004中一样。在步骤S1004中,当第一POC差和第二POC差不相等时,解码器可以优先获得与MV1相对应的第二运动矢量偏移。解码器可以基于第二运动矢量偏移校正MV1。接下来,解码器可以获得从第二运动矢量偏移缩放的第一运动矢量偏移。此外,解码器可以基于第一运动矢量偏移校正MV0。
当在步骤S1004中第一POC差和第二POC差相等时,解码器可以比与参考图片列表L1相对应的MV1的运动矢量偏移更早地获得与参考图片列表L0相对应的MV0的运动矢量偏移。例如,当第一POC差和第二POC差相等时,解码器可以基于指示与运动矢量相对应的参考图片列表的值来确定要为其优先获得运动矢量偏移的运动矢量。这里,指示参考图片列表的值可以是用于识别多个参考图片列表中的每一个的索引。例如,参考图片列表L(i)可以通过指示参考图片列表的值i来识别。指示参考图片列表L0的值可以是“0”,并且指示参考图片列表L1的值可以是“1”。详细地,解码器可以优先获得与具有较小的指示参考图片列表的值的参考图片列表相对应的运动矢量的运动矢量偏移。因此,当第一POC差和第二POC差相等时,解码器可以比第二运动矢量偏移更早地获得第一运动矢量偏移。这里,参考图片列表L0可以是在其中多达一个运动矢量被用于特定样本的第一较高层区域中和在其中多达两个运动矢量被用于特定样本的第二较高层区域中使用的列表。此外,参考图片列表L1可以是仅在其中多达两个运动矢量被用于特定样本的第二较高层区域中使用的列表。即,参考图片列表L1可以是在其中多达一个运动矢量被用于特定样本的第一较高层区域中不使用的列表。在此,较高层的区域可以表示包括当前块的切片/图块或图片。
[等式1]指示确定要为其首先获得运动矢量偏移的运动矢量MV1的方法的实施例。解码器可以根据[等式1]获得在MV0、MV1、...、MVk-1之中具有最大POC差的第l运动矢量MV1。在[等式1]中,POCi表示与k个运动矢量当中的第i个运动矢量相对应的参考图片的POC,并且POCcur表示当前块的POC。
[等式1]
Figure BDA0002703648860000261
也就是说,通过步骤S1003和步骤S1004,解码器可以确定第一POC差是否大于或等于第二POC差。当第一POC差大于或等于第二POC差时,解码器可以优先获得与MV0相对应的第一运动矢量偏移。此外,解码器可以基于第一运动矢量偏移校正MV0。接下来,解码器可以获得与MV1相对应的第二运动矢量偏移。此外,解码器可以基于第二运动矢量偏移校正MV1。
相反,当第一POC差小于第二POC差时,解码器可以优先获得与MV1相对应的第二运动矢量偏移。此外,解码器可以基于第二运动矢量偏移校正MV1。接下来,解码器可以获得与MV0相对应的第一运动矢量偏移。此外,解码器可以基于第一运动矢量偏移校正MV0。
根据另一实施例,可以基于多个合并运动矢量中的每个的大小校正多个合并运动矢量。例如,解码器可以根据基于比较多个合并运动矢量的大小的结果的优先级顺序校正多个合并运动矢量。这是因为随着运动矢量的大小增加,参考块与当前块之间的空间距离可能增加,并且因此相关性可能降低。参考图10(b),解码器可以获得MV0和MV1中的每一个的绝对值。接下来,解码器可以比较MV0和MV1的绝对值。当MV0的绝对值大于或等于MV1的绝对值时,解码器可以比对应于MV1的第二运动矢量偏移更早地获得对应于MV0的第一运动矢量偏移。当MV0的绝对值小于MV1的绝对值时,解码器可以比第一运动矢量偏移更早地获得第二运动矢量偏移。[等式2]指示确定要为其优先获得运动矢量偏移的运动矢量MV1的方法的实施例。在[等式2]中,MVi表示k个运动矢量当中的第i个运动矢量。
[等式2]
Figure BDA0002703648860000271
参考图10(c),可以基于每个合并运动矢量的大小和参考图片的POC校正合并运动矢量。首先,解码器可以基于比较第一POC差和第二POC差的结果来确定要为其优先获得运动矢量偏移的运动矢量。例如,解码器可以执行步骤S1001至S1003的上述操作。接下来,当第一POC差和第二POC差相等时,解码器可以基于比较MV0的绝对值和MV1的绝对值的结果来确定要为其优先获得运动矢量偏移的运动矢量。
图11是图示根据本发明的另一实施例的校正运动矢量的方法的图。根据实施例,解码器可以使用模板匹配方法来在多个运动矢量当中确定要为其优先获得运动矢量偏移的运动矢量。参考图11,当当前块的宽度是W并且其高度是H时,解码器可以配置L形模板,该L形模板包括在目标块的左侧的W0xH区域和在目标块的上侧的WxH0区域。可以基于当前块的大小来确定W0或H0中的至少一个。解码器可以为当前块1101、第一参考块1102和第二参考块1103中的每一个配置L形模板。这里,第一参考块1102可以是由参考图片列表L0的运动矢量MV0指定的参考块。此外,第二参考块1103可以是由参考图片列表L1的运动矢量MV1指定的参考块。
接下来,解码器可以基于多个配置的模板之间的值差来在MV0和MV1当中确定要为其优先获得运动矢量偏移的运动矢量。详细地,解码器可以计算与MV0相对应的模板和当前块的模板之间的第一模板值差以及与MV1相对应的模板和当前块的模板之间的第二模板值差。可以通过上述SAD、平均归一化SAD或平方误差和(SSE)来计算模板的值之间的差。当第一模板值差大于或等于第二模板值差时,解码器可以比对应于MV1的第二运动矢量偏移更早地获得对应于MV0的第一运动矢量偏移。当第一模板值差小于第二模板值差时,解码器可以比第一运动矢量偏移更早地获得第二运动矢量偏移。[等式3]指示确定要为其优先获得运动矢量偏移的运动矢量MV1的方法的实施例。在[等式3]中,cost_i表示参考块i的模板与当前块的模板之间的值差。详细地,参考块i表示由k个运动矢量当中的第i个运动矢量指定的参考块。
[等式3]
Figure BDA0002703648860000281
根据附加实施例,解码器可以基于合并候选的特性来在多个运动矢量当中确定要为其优先获得运动矢量偏移的运动矢量。例如,当在与合并目标相对应的多个运动矢量当中存在从时间候选缩放的运动矢量时,解码器可以首先获得从时间候选缩放的运动矢量的运动矢量偏移。此外,当在与合并目标相对应的多个运动矢量当中存在零运动矢量时,解码器可以首先获得零运动矢量的运动矢量偏移。参考图11描述的运动矢量确定方法可以与参考图10描述的运动矢量确定方法结合。
同时,可以使用与上述使用合并候选列表的方法不同的方法来获得当前块的运动信息集。在这种情况下,可以通过运动矢量预测器(MVP)和运动矢量差(mvd)来获得当前块的运动矢量。可以使用MVP候选列表来用信号发送当前块的MVP。此外,可以分别用信号发送参考图片索引和当前块的mvd。可以以与合并候选列表相似的方式获得MVP候选列表。该帧间预测方法可以被称为MVP模式。
根据实施例,MVP候选列表可以包括空间候选或时间候选中的至少一个。类似于以上参考图9描述的合并候选列表,可以基于当前块的邻近块当中的可用邻近块来配置空间候选。详细地,解码器可以顺序地搜索图9的A0、A1、缩放的A0和缩放的A1以生成多达一个第一空间候选。接下来,解码器可以顺序地搜索图9的B0、B1、B2、缩放的B0和缩放的B1以生成多达一个第二空间候选。这里,缩放的A0、缩放的A1、缩放的B0和缩放的B1表示根据时间关系通过缩放分别与其相对应的运动矢量来获得的运动矢量。例如,当A0可用,A1不可用,并且用于预测A1的参考图片与当前图片的参考图片不同时,可以将缩放的A0确定为第一空间候选。这里,当前图片的参考图片可以是基于用信号发送的参考图片索引来确定的图片。此外,MVP候选列表可以包括高达一个时间候选。MVP候选列表可以包括零运动矢量。
根据实施例,编码器可以用信号发送指示MVP候选列表的候选中的任意一个的参考图片索引、mvd和MVP索引。解码器可以将由MVP索引指示的候选的运动矢量用作当前块的MVP。解码器可以基于所获得的MVP和所接收到的mvd获得当前块的运动矢量。例如,当前块的运动矢量可以具有通过将mvd与MVP相加而获得的值。接下来,解码器可以基于运动矢量和当前块的参考图片重构当前块。
图12是图示根据本发明的实施例的当前块的MVP候选列表中包括的候选的运动矢量缩放的图。在下文中,MVP候选块表示与包括在MVP候选列表的候选中的任意一个相对应的候选块。参考图10,可以获得当前图片和由当前块参考的图片之间的第一时间距离tb。此外,可以获得包括MVP候选块的图片和由MVP候选块参考的图片之间的第二时间距离td。解码器可以基于通过将第一时间距离tb除以第二时间距离td而获得的值来缩放与MVP候选块相对应的运动矢量。这里,时间距离tb和td可以表示为POC差。此外,为了不使用除法运算,解码器可以使用定点方法来计算tb和td。定点方法可以是使用偏移值和移位运算的方法。
同时,上述运动矢量偏移可以由解码器根据预定规则来获得。根据本发明的实施例,解码器可以基于模板匹配方法获得运动矢量偏移。例如,解码器可以基于由通过合并索引获得的合并运动矢量所指定的块,通过搜索邻近样本值来获得运动矢量偏移。此外,解码器可以基于所获得的运动矢量偏移校正合并运动矢量。以这种方式,可以减少信令开销。
图13是图示根据本发明的实施例的校正运动矢量的方法的图。根据实施例,当当前块是双向预测块时,解码器可以校正用于双向预测块的多个运动矢量。例如,当当前块是双向预测块时,可以将与第一参考图片列表L0相对应的第一初始运动矢量MV0和与第二参考图片列表L1相对应的第二初始运动矢量MV1用于预测当前块。在此,初始运动矢量可以表示基于上述合并索引而导出的合并运动矢量。解码器可以校正第一初始运动矢量MV0和第二初始运动矢量MV1中的每一个,以生成第一经校正的运动矢量MV0’和第二经校正的运动矢量MV1’。
根据本发明的实施例,可以基于模板匹配方法校正第一初始运动矢量MV0和第二初始运动矢量MV1。解码器可以基于由第一初始运动矢量指示的第一参考块和由第二初始运动矢量指示的第二参考块获得第一模板。例如,第一模板可以是第一参考块P0和第二参考块P1之间的每个样本的平均。即,可以以(p0+p1)/2的形式表达第一模板的特定样本。这里,p0和p1可以分别是第一参考块P0和第二参考块P1中的对应位置的样本。此外,解码器可以使用诸如(p0+p1)>>1的比特移位运算来配置第一模板。以这种方式,解码器可以配置第一模板而无需除法运算。
根据另一实施例,当加权预测方法被用于当前块时,第一模板可以是应用权重值的第一参考块和第二参考块的每个样本的和。在这种情况下,第一模板可以被表达为[等式4]。在[等式4]中,W0和O0可以分别表示应用于参考块P0的权重值和偏移值。此外,W1和O1可以分别表示应用于参考块P1的权重值和偏移值。w_shift表示用于比特移位运算的参数。稍后将参考图18至图25描述确定权重值和偏移值的方法。
[等式4]
T=(w0×P0+w1×P1+((O1+02+1)<<w_shift))>>(w_shift+1)
接下来,解码器可以基于第一模板校正第一初始运动矢量和第二初始运动矢量。根据实施例,解码器可以基于由第一初始运动矢量指示的第一参考块来配置第一比较目标区域。此外,解码器可以比较第一模板和在第一比较目标区域内可配置的多个比较目标模板。这里,比较目标模板可以被配置为具有与第一模板相同的大小和形状。此外,比较目标模板可以被配置有以整数像素或子像素(subpel)(1/2、1/4、1/16-pel)为单位的像素。
根据实施例,解码器可以在第一比较目标区域内可配置的比较目标模板当中确定与第一模板具有最小值差的第二模板。此外,解码器可以基于第二模板生成第一经校正的运动矢量MV0’。详细地,第一初始运动矢量MV0和第一经校正的运动矢量MV0’之间的运动矢量偏移可以是指示第一参考块的位置的坐标值和指示第二模板的位置的坐标值之间的差。
可以通过绝对差之和(SAD)或平均归一化SAD来计算模板值之间的差。SAD可以被表达为[等式5]。此外,平均归一化SAD可以被表达为[等式6]。在[等式5]和[等式6]中,M表示模板或块的宽度,并且N表示模板或块的高度。此外,T(x,y)表示模板的样本,并且P(x,y)表示比较目标块的样本。mean(X)可以是用于输出“X”的平均值的函数。
[等式5]
Figure BDA0002703648860000311
[等式6]
Figure BDA0002703648860000312
T′(x,y)=T(x,y)-mean(T(x,y)),
P′(x,y)=P(x,y)-mean(P(x,y))
根据特定实施例,解码器可以基于最小化等式的SAD或SAD’的第二模板生成第一经校正的运动矢量MV0’。此外,可以基于由第一经校正的运动矢量MV0’指示的参考块重构当前块。
通过校正第一初始运动矢量MV0生成第一经校正的运动矢量MV0’的上述方法可以等同地或等效地应用于通过校正第二初始运动矢量MV1生成第二经校正的运动矢量MV1’的方法。
图14是图示根据本发明的实施例的用于基于初始运动矢量校正运动矢量的搜索位置的图。在图14(a)中,P0指示由初始运动矢量指示的样本位置。根据本发明的实施例,解码器可以配置分别对应于与P0相邻的八个样本位置P1、P2、P3、P4、P5、P6、P7和P8的八个模板。此外,解码器可以在八个模板当中确定与基于初始运动矢量生成的当前块的模板具有最小值差的一个模板。此外,解码器可以生成基于与一个模板相对应的样本位置校正的运动矢量。
例如,指示P0的初始运动矢量可以被表达为坐标值(x,y)。在此,当当前块的模板和与P5相对应的模板之间的值差(在x轴方向上从P0移动了+1的位置)最小时,解码器可以将初始运动矢量(x,y)校正为(x+1,y)。根据另一实施例,当当前块的模板与对应于P6的模板之间的值差(从P0沿x轴方向移动了-1并且沿y方向移动了+1的位置)最小时,解码器可以将初始运动矢量(x,y)校正为(x-1,y+1)。根据另一实施例,当当前块的模板与对应于P0的模板之间的值差最小时,可以不更新初始运动矢量。
图14(b)示出其中仅搜索图14(a)中所图示的样本位置中的一些的实施例。根据本发明的实施例,解码器可以仅对与P0相邻的一些样本位置执行模板匹配。这是因为当对与P0相邻的所有样本执行模板匹配成本计算时,解码计算量可能变得过多并且解码复杂度可能增加。详细地,可以基于分别与在垂直方向和水平方向上与P0相邻的四个样本位置P2、P4、P5和P7相对应的四个模板来执行运动矢量校正。即,可以将分别与在对角线方向上与P0相邻的样本位置P1、P3、P6和P8相对应的模板从搜索对象中排除。
根据另一实施例,解码器可以附加地对在对角线方向上相邻的样本位置P1、P3、P6和P8中的任何一个执行模板匹配。根据预设规则,解码器可以确定要在其上执行模板匹配的样本位置。例如,当当前块的模板与对应于P2的模板之间的值差小于当前块的模板与对应于P7的模板之间的值差,并且当前块的模板与对应于P5的模板之间的值差小于当前块的模板与对应于P4的模板之间的值差时,解码器可以对P2、P4、P5、P7和P3执行模板匹配。
图13图示用于预测当前块的模板,该模板具有与当前块的宽度和高度相同的大小。根据本发明的另一实施例,当前块的模板可以被配置成在大小和/或形状上与当前块不同。例如,与当前块的大小相比,可以扩展当前块的模板的大小。以这种方式,可以改善模板匹配的准确性。
图15是图示根据本发明的实施例的配置用于校正运动矢量的模板的方法的图。根据实施例,当前块可以具有宽度W和高度H。在这种情况下,可以基于由初始运动矢量指示的样本位置来配置参考块1501,其具有与具有宽度W和高度H的当前块相同的形状。此外,参考块可以被配置使得由初始运动矢量指示的样本位置成为参考块内的左上样本。这里,可以配置模板1502,其具有其中参考块1501的左边界和参考块的上边界延伸的形状。详细地,可以基于参考块1501的大小来确定从参考块1501的左边界朝向块的外部延伸的宽度W0和从参考块1501的上边界朝向块的外部延伸的高度H0。即使当解码器使用扩展模板时,解码器也可以使用与参考图13和图14描述的方法相同或等效的方法校正初始运动矢量。
图16是图示根据本发明的实施例的校正运动矢量的方法的流程图。如上所述,可以基于多个运动信息集来预测当前块。在图16的实施例中,可以基于k个运动矢量来预测当前块。解码器可以使用模板匹配方法校正k个运动矢量。此外,解码器可以基于k个经校正的运动矢量生成当前块的最终预测块。在下文中,将详细描述校正k个初始运动矢量的方法。
根据实施例,可以基于分别与初始运动矢量MV0、MV1、…、MVk-1相对应的多个参考块来配置当前块的模板。接下来,可以基于当前块的模板校正MV0、MV1、...、MVk-1。例如,在基于MV0配置的比较目标区域内的比较目标模板当中,解码器可以基于与当前块的模板具有最小值差的模板生成MV0’。在此,解码器可以在针对每个初始运动矢量增加迭代次数的同时生成经校正的运动矢量。可以根据迭代次数来改变用于配置比较目标区域的参考运动矢量。
详细地,参考图14描述的分别对应于多个样本位置的多个比较目标模板可以基于在每次迭代中参考运动矢量所指示的样本位置来配置。这里,当前迭代的参考运动矢量可以是通过先前迭代校正的运动矢量。当迭代次数为“0”时,参考运动矢量可以是初始运动矢量。在每次迭代中,解码器可以计算当前块的模板与多个比较目标模板中的每一个之间的值差。此外,解码器可以基于与当前块的模板具有最小值差的比较目标模板生成当前迭代的经校正的运动矢量。接下来,当当前迭代次数小于预设的最大迭代次数max_iteration时,解码器可以基于当前迭代的经校正的运动矢量来执行下一迭代的模板匹配。通过上述方法,可以重复校正初始运动矢量,直到迭代次数达到预设的最大迭代次数max_iteration。
根据另一实施例,可以以整数像素或子像素(subpel)(1/2、1/4、1/16-pel)为单位执行运动矢量校正。首先,解码器可以根据第i个初始运动矢量MVi生成以整数像素为单位校正的运动矢量MVi’。接下来,解码器可以使用以整数像素为单位校正的运动矢量MVi’作为参考运动矢量来更新子像素单位的运动矢量。这里,解码器可以以与用于以整数像素为单位校正运动矢量的方式相同的方式,配置分别对应于与P0相邻的子像素单元的多个样本位置的模板。此外,解码器可以基于配置的模板来执行子像素单位的运动矢量校正。
根据上述基于模板匹配的运动矢量校正方法,解码器重复访问存储器,并且因此解码器的复杂性可能增加。因此,为了抑制解码器的复杂度的增加,可以使用基于一个偏移校正多个运动矢量的方法。在这种情况下,当多个初始运动矢量当中要为其首先获得运动矢量偏移的第一初始运动矢量的运动矢量偏移为“0”时,其他初始运动矢量也可能不会被校正。在此,可以使用以上参考图10和图11描述的方法来确定在多个初始运动矢量当中要为其首先获得运动矢量偏移的目标。
图17是图示根据本发明的另一实施例的校正运动矢量的方法的流程图。如上所述,可以基于多个运动信息集来预测当前块。在图17的实施例中,可以基于k个运动矢量来预测当前块。
首先,解码器可以确定要为其优先确定运动矢量偏移的运动矢量。可以使用以上参考图10和图11描述的方法来确定在多个初始运动矢量当中要为其首先获得运动矢量偏移的目标。参考图17,解码器可以确定要为其首先获得运动矢量偏移的MV1。
接下来,解码器可以根据以上参考图16描述的方法校正MV1。例如,可以基于分别对应于初始运动矢量MV0、MV1、…、MVk-1的多个参考块来配置当前块的模板。此外,在基于MV1配置的比较目标区域内的比较目标模板当中,解码器可以基于与当前块的模板具有最小值差的模板,来获得与MV1相对应的运动矢量偏移。解码器可以基于与MV1相对应的运动矢量偏移生成MV1’。
接下来,解码器可以确定MV1是否已经被校正。当尚未校正MV1时,解码器可使用初始运动矢量MV0、MV1、…、MVk-1作为最终运动矢量来预测当前块。这是因为对应于MV1的运动矢量偏移是“0”。相反,当MV1已经被校正时,解码器可以顺序地校正除了MV1之外的初始运动矢量,如图16中所图示。例如,当l为2并且已经校正MV2时,可以对除了MV2以外的MV0、MV1、MV3、…、MVk-1顺序地执行校正。
此外,在顺序地校正除了MVl之外的初始运动矢量的过程中,当第i个运动矢量尚未被校正时,解码器可以提早结束运动矢量校正。例如,解码器对于MV1和第(i+1)个运动矢量之前的运动矢量可以使用经校正的运动矢量以及对于从第(i+1)个运动矢量到第k个运动矢量的运动矢量使用初始运动矢量来预测当前块。
根据附加的实施例,当已经校正k个初始运动矢量的全部,并且迭代次数小于最大迭代次数max_iteration时,解码器可以更新当前块的模板。在这种情况下,解码器可以基于分别对应于经校正的运动矢量的多个参考块来更新当前块的模板。即,使用通过先前迭代校正的运动矢量,在当前迭代中使用的当前块的模板可以重复更新与最大迭代次数max_iteration一样多次。根据另一个实施例,提前结束校正算法的方法可以被配置成根据MVI或其他运动矢量是否被校正而不在初始校正回合中使用。可以根据当前块的大小来自适应地确定是否使用提前结束。
在下文中,将描述根据本发明的实施例的用于将权重值和偏移值应用于参考块的加权预测方法。
图18是图示根据本发明的实施例的使用一个运动信息集的加权预测方法的图。如上所述,可以使用在具有与当前图片的POC不同的POC的图片中搜索与当前块具有高度相似性的块的方法来确定用于当前块的帧间预测的参考块。在此,具有与当前图片的POC不同的POC的图片可以是过去方向的图片,其POC在当前图片的POC之前,或者是未来方向的图片,其POC在当前图片的POC之后。在此,可以以整数像素或子像素(1/2、1/4、1/16-pel)为单位搜索与当前块具有高度相似性的块。
根据本发明的实施例,特定块的运动信息集可以包括双向预测信息。在此,双向预测信息可以是指示相应块是否是使用两个参考图片列表两者预测的块的信息。例如,编码器可以用信号发送双向预测信息。此外,运动信息集可以包括参考图片列表、参考图片索引和运动矢量。在下面参考图18至图26描述的实施例中,运动矢量和初始运动矢量可以表示基于来自上述合并候选列表的合并索引而导出的合并运动矢量。
根据另一实施例,运动信息集可以包括单向/双向信息。单向/双向信息可以是指示相应块是以当前图片的POC为基准基于过去方向的图片或基于未来方向图片已经被预测还是基于双向图片已经被预测的信息。
根据本发明的实施例,解码器可以使用用于将权重值和偏移值应用于参考块的加权预测方法来预测当前块。在此,加权预测方法可以被划分为第一加权预测方法和第二加权预测方法。首先,在第一加权预测方法中,可以以PPS为单位用信号发送指示加权预测的使用/不使用和权重参数集的信息。在下文中,可以将权重参数集用作包括被应用于参考块的权重值或偏移值中的至少一个的项。接下来,在第二加权预测方法中,可以以SPS为单位用信号发送指示加权预测的使用/不使用的信息。此外,在第二加权预测方法中,可以为每个编译单元用信号发送权重参数集。可以不将第一加权预测方法和第二加权预测方法重复地应用于一个编译单元。例如,第二加权预测方法可以应用于对其未应用第一加权预测方法的图片中包括的编译单元。
根据实施例,仅当编译单元的大小大于预设大小或编译单元的样本数大于预设数时,才可能应用第二加权预测方法。在第二加权预测方法中,可以通过预配置表的索引gbi_idx[x0][y0]来指示权重值。可以用weighted_pred_flag来指示指示用于单向预测的加权预测的使用/不使用的信息。可以用weighted_bipred_flag来指示指示用于双向预测的加权预测的使用/不使用的信息。尽管下面基于第一加权预测方法描述本发明的实施例,但是本公开不限于此。上述第二加权预测方法可以等同地或等效地应用于以下描述的实施例。
在图18中,P0表示参考块的样本值,W0表示权重值,并且O0表示偏移值。此外,Wshift表示用于移位运算的参数。解码器可以基于接收到的比特流获得指示加权预测的使用/不使用的信息。此外,解码器可以基于指示加权预测的使用/不使用的信息来预测当前块。
图19是图示根据本发明的实施例的双向预测块的加权预测方法的图。根据本发明的实施例,可以基于包括在基于第一参考图片列表L0的图片中的参考块P0和包括在基于第二参考图片列表L1的图片中的参考块P1来预测当前块。在图19中,W0和O0可以分别表示应用于参考块P0的权重值和偏移值。此外,W1和O1可以分别表示应用于参考块P1的权重值和偏移值。Wshift表示用于移位运算的参数。解码器可以基于比特流获得相应的信息,并且可以预测当前块。
图20是图示根据本发明的实施例的用于解码器使用加权预测来预测当前块的方法的流程图。在图20(a)的步骤S2001中,解码器可以获得初始运动矢量和加权预测相关信息。在此,解码器可以从接收到的比特流中获得初始运动矢量和加权预测相关信息。在步骤S2003中,解码器可以基于在步骤S2001中获得的初始运动矢量和加权预测相关信息获得第一参考块。在步骤S2005中,解码器可以配置当前块的模板和第一参考块的模板。
在步骤S2007中,解码器可以使用模板匹配方法来确定要应用于第一参考块的权重参数集。例如,解码器可以基于当前块的模板与第一参考块的模板之间的值差来确定要应用于第一参考块的权重参数集。此外,解码器可以通过将确定的权重参数集应用于第一参考块来生成帧间预测的预测块。同时,根据当前块的帧间预测方法是否是双向预测,基于关于模板之间的值差或多个参考块之间的值差的附加信息中的至少一个确定的相似度可以被用于预测当前块。
图20(b)的步骤S2002和步骤S2004可以与图20(a)的步骤S2001和步骤S2003相同。解码器可以获得初始运动矢量和加权预测相关信息,并且可以基于初始运动矢量和加权预测相关信息来获得第一参考块。在步骤S2006中,解码器可以基于当前块的模板来执行搜索以确定第二参考块。例如,解码器可以基于当前块的模板和附加信息来确定第二参考块。详细地,附加信息可以是比较目标块的模板。解码器可以基于第一参考块来配置比较目标区域。在这种情况下,解码器可以在比较目标区域中配置特定比较目标块的模板。此外,当特定比较目标块的模板与当前块的模板之间的值差等于或小于预设值时,解码器可以将特定比较目标块用作第二参考块。
在步骤S2008中,解码器可以使用模板匹配方法来确定要应用于第一参考块和第二参考块中的每一个的权重参数集。例如,解码器可以使用当前块的模板、第一参考块的模板和第二参考块的模板来确定要应用于第一参考块和第二参考块中的每一个的权重参数集。详细地,解码器可以基于当前块的模板与第一参考块的模板之间的值差或当前块的模板与第二参考块的模板之间的值差来确定要应用于第一参考块和第二参考块中的每一个的权重参数集。另外,解码器可以基于当前块、第一参考块和第二参考块中的每一个的样本来确定要应用于第一参考块和第二参考块中的每一个的权重参数集。
图21是图示根据本发明的实施例的当对当前块进行单向预测时更新要应用于参考块的权重参数集的方法的图。根据本发明的实施例,解码器可以基于当前块的邻近样本来配置当前块的模板。在下文中,当前块的模板可以被称为第一模板。虽然图21图示使用当前块的上和左邻近样本来配置当前块的模板,但是本公开不限于此。
此外,解码器可以基于当前块的运动矢量MV0来确定第一参考块。解码器可以基于第一参考块的邻近样本来配置第二模板,该第二模板是第一参考块的模板。可以使用与配置当前块的模板的方法相同或等同的方法来配置第二模板。
接下来,解码器可以计算第一模板和第二模板之间的值差。这里,模板之间的值差可以是使用SAD或SATD确定的值。根据另一实施例,模板之间的值差可以是基于第一模板中包括的所有样本的样本值之和与第二模板中包括的所有样本的样本值之和之间的比率来确定的值。
解码器可以基于使用上述方法确定的模板之间的值差来更新权重参数集。例如,当用信号发送的权重值是第一权重值W0时,解码器可以基于模板之间的值差将第一权重值W0改变为第二权重值W0’。详细地,解码器可以将第一模板和第二模板之间的值差与预设值进行比较。此外,解码器可以基于比较结果将第一权重值W0改变为第二权重值W0’。解码器可以基于预定义表将第一权重值W0改变为第二权重值W0’,该第二权重值W0’是与模板之间的值差相对应的权重值。在此,预定义表可以是在编码器和解码器之间共享的公共表。接下来,解码器可以通过将第二权重值W0’应用于第一参考块的样本值来生成当前块的预测块。此外,解码器可以基于预测块重构当前块。
根据附加实施例,解码器可以使用第一模板和第二模板之间的线性模型来确定要应用于第一参考块的权重参数集。详细地,解码器可以生成使第一模板和第二模板中的样本的每个位置的样本值之间的差最小化的线性模型。例如,当线性模型是y=ax+b时,解码器可以将权重值“a”和偏移值“b”应用于第一参考块。此外,在线性模型中,x和y可以分别对应于第二模板的样本值和第一模板的样本值。此外,解码器可以使用线性/非线性回归模型代替线性模型。
根据另一实施例,解码器可以确定与基于预定义表获得的模板之间的值差相对应的权重参数集。根据另一实施例,可以根据权重值和运动矢量的变化,以预设范围内的偏移值来更新应用于第一参考块的偏移值。
根据附加实施例,可以根据第一模板和第二模板之间的值差来确定是否使用加权预测方法。例如,当模板之间的值差等于或小于预设值时,可以不使用加权预测方法。相反,当模板之间的值差至少为预设值时,可以使用加权预测方法。
尽管图21图示更新应用于第一参考块的权重参数集的方法,但是也可以使用与更新权重参数集的方法相同或等效的方法校正当前块的运动矢量。根据本发明的实施例,可以与加权参数集的上述更新一起来执行参考图9至图17描述的运动矢量校正。
例如,解码器可以更新当前块的运动矢量、应用于参考块的权重值以及应用于参考块的偏移值中的至少之一。解码器可以基于当前块的模板和参考的模板来更新当前块的运动矢量、应用于参考块的权重值、以及应用于参考块的偏移值中的至少之一。
图22是图示根据本发明的实施例的基于附加搜索的参考块来预测当前块的方法的图。根据本发明的实施例,编码器可以用信号发送附加参考标记,该附加参考标记指示与当前块的运动矢量MV0所指示的第一参考块相比具有与当前块更高的相似性的附加参考块的存在。在此,附加参考标记可以是1比特。解码器可以基于附加参考标记来确定是否校正当前块的运动矢量。例如,当停用附加参考标记时,解码器可以基于第一参考块生成当前块的预测块。
相反,当激活附加参考标记时,解码器可以通过搜索比第一参考块更类似于当前块的附加参考块来校正当前块的运动矢量。也就是说,解码器可以获得指示参考图片中除了第一参考块之外的附加参考块的经校正的运动矢量MV0”。在此,可以基于第一参考块的位置来搜索附加参考块。例如,解码器可以基于第一参考块的位置来配置比较目标区域。在这种情况下,解码器可以在比较目标区域中配置特定比较目标块的模板。此外,解码器可以将特定比较目标块的模板与当前块的模板进行比较,并且当其间的差等于或小于预设值时,解码器可以将特定比较目标块用作附加参考块。
参考图22,解码器可以将比较目标区域中的每个比较目标块的模板与第一模板进行比较,以获得在模板之间具有最小值差的第二参考块。在此,解码器可以以整数像素、1/2-pel、1/4-ple或1/16-pel为单位获得模板之间具有最小值差的第二参考块。此外,当将加权预测方法用于当前块时,解码器可以基于第一参考块与第二参考块之间的值差获得要应用于第二参考块的权重参数集。例如,解码器可以基于第一参考块和第二参考块之间的值差来确定要应用于第二参考块的权重值W0”。在此,参考图21所描述的确定模板之间的值差的方法和基于模板之间的值差的加权预测方法可以等同地或等效地被应用。例如,解码器可以基于当前块的第一模板、第一参考块的第二模板以及第二参考块的第三模板中的至少两个之间的值差来确定要应用于第二参考块的权重值W0”。
此外,解码器可以基于第一参考块或第二参考块中的至少一个来预测当前块。例如,解码器可以通过将第一权重值W0应用于第一参考块的样本值来生成当前块的第一预测块。此外,解码器可以通过将第二权重值W0”应用于第二参考块的样本值来生成当前块的第二预测块。此外,解码器可以基于第一预测块或第二预测块中的至少一个重构当前块。
根据另一实施例,解码器可以通过比较预设值和指示第二参考块的经校正的运动矢量MV0”相对于初始运动矢量MV0中的变化来确定是否使用加权预测方法。此外,可以根据指示第二参考块的经校正的运动矢量MV0”相对于初始运动矢量MV0的变化来确定是否更新权重参数集。
图23是图示根据本发明的实施例的当当前块是双向预测的块时更新要应用于参考块的权重参数集的方法的图。根据本发明的实施例,当当前块是双向预测的块时,解码器可以基于两个运动信息集来预测当前块。这里,与参考图片列表L0相对应的第一运动信息集可以包括第一运动矢量MV0。此外,与参考图片列表L1相对应的第二运动信息集可以包括第二运动矢量MV1。
根据本发明的实施例,解码器可以基于由第一运动矢量MV0指示的第一参考块和由第二运动矢量MV1指示的第二参考块来预测当前块。例如,解码器可以使用以上参考图18至图22描述的方法来配置当前块的第一模板、第一参考块的第二模板和第二参考块的第三模板。接下来,解码器可以通过比较第一模板和第二模板来确定第一模板值差。此外,解码器可以通过比较第一模板和第三模板来确定第二模板值差。接下来,解码器可以基于第一模板值差来确定要应用于第一参考块的第一参数集。此外,解码器可以基于第二模板值差来确定要应用于第二参考块的第二参数集。接下来,解码器可以基于第一参数集和第二参数集重构当前块。
图24是图示根据本发明的实施例的当当前块是双向预测的块时基于附加地搜索的参考块来预测当前块的方法的图。根据本发明的实施例,可以基于由多个参考块生成的参考块来预测当前块。首先,解码器可以基于当前块的初始运动矢量MV0和MV1获得第一参考块和第二参考块。接下来,解码器可以基于第一参考块和第二参考块生成第五参考块。例如,解码器可以生成第五参考块或第一参考块和第二参考块的每个样本的平均。
接下来,解码器可以基于第五参考块的样本值校正初始运动矢量。例如,解码器可以从第一参考图片和第二参考图片中的每一个中搜索具有与第五块的样本值相似的样本值的块。在此,第一参考图片和第二参考图片可以分别对应于初始运动矢量(MV0,MV1)。通过执行搜索,解码器可以从第一参考图片获得与第五参考图片最相似的第三参考块,以及从第二参考图片获得与第五参考图片最相似的第四参考块。根据一个实施例,解码器可以基于第三参考块的位置将初始运动矢量MV0校正为MV0’。此外,解码器可以基于第四参考块的位置将初始运动矢量MV1校正为MV1’。
接下来,解码器可以基于第五参考块和第三参考块之间的值差或者第五参考块和第四参考块之间的值差中的至少一个来确定是否执行加权预测或者确定要应用于第三参考样本的参数集和要应用于第四参考样本的参数集。接下来,解码器可以基于要应用于第三参考样本的参数集和要应用于第四参考样本的参数集重构当前块。
图25是图示根据本发明的另一实施例的当当前块是双向预测的块时基于附加地搜索的参考块来预测当前块的方法的图。首先,解码器可以基于当前块的初始运动矢量MV0和MV1获得第一参考块和第二参考块。接下来,解码器可以基于第一参考块和第二参考块生成第五参考块。例如,解码器可以使用第一参考块和第二参考块的每个样本的平均或应用权重值的第一参考块和第二参考块的每个样本之和来生成第五参考块。
接下来,解码器可以基于第五参考块的样本值校正初始运动矢量。这里,第一参考图片和第二参考图片可以分别对应于初始运动矢量MV0和MV1。通过执行搜索,解码器可以从第一参考图片获得与第五参考图片最相似的第三参考块,以及从第二参考图片获得与第五参考图片最相似的第四参考块。
接下来,解码器可以配置用当前块的邻近样本配置的第一模板。此外,解码器可以配置用第三参考块的邻近样本配置的第二模板和用第四参考块的邻近样本配置的第三模板。接下来,解码器可以基于第一模板、第二模板和第三模板当中的两个之间的值差,确定要应用于第三参考样本的参数集和要应用于第四参考样本的参数集。接下来,此外,解码器可以基于要应用于第三参考样本的参数集和要应用于第四参考样本的参数集重构当前块。
根据本发明的实施例,可以提供用于用信号发送用于帧间预测的运动信息集的有效方法。根据实施例,可以基于用于预测当前块的邻近块的运动信息集(诸如上述合并模式、跳过模式和MVP模式)来导出当前块的运动信息集。
如上所述,可以基于运动矢量预测器和运动矢量差值来确定当前块的运动矢量。例如,解码器可以通过将运动矢量差值与运动矢量预测器相加来获得当前块的运动矢量。根据实施例,编码器和解码器可以根据在编码器和解码器之间预定义的规则来确定运动矢量预测器。此外,编码器可以基于所确定的运动矢量预测器获得运动矢量差值。此外,编码器可以用信号发送所获得的运动矢量差值。解码器可以基于所确定的运动矢量预测器和运动矢量差值获得运动矢量。在如上述方法中用信号发送运动矢量差值而不是运动矢量的情况下,可以减少用于获得运动矢量的比特。
可以基于运动矢量预测器候选列表获得上述运动矢量预测器。在此,运动矢量预测器候选列表可以被配置有空间预测器候选和时间预测器候选。此外,编码器和解码器可以基于在编码器和解码器之间预定义的规则来配置运动矢量预测器候选列表。
根据本发明的实施例,可以对上述合并候选列表和/或运动矢量预测器候选列表(以下称为候选列表)中的候选进行重新排序。即,可以重新定义指示候选列表中的候选的索引。在本公开中,对候选列表中的候选进行重新排序可以被称为运动候选重新排序(MCR)。可以根据由编码器和解码器中的每个预定义的重新排序规则来执行运动候选重新排序。以这种方式,根据本发明的实施例的编码器和解码器可以改进视频信号的编码效率。
根据实施例,重新排序规则可以基于预设成本。例如,重新排序规则可以确定特定成本的升序(或降序)。例如,预设成本可以代表模板匹配成本。在下文中,将参考图26描述根据本发明的实施例的模板匹配方法。
图26是图示根据本发明的实施例的模板匹配方法的图。根据实施例,模板匹配可以是比较第一块的模板和第二块的模板的运算。即,编码器和解码器可以通过第一块的模板和第二块的模板之间的比较来确定第一块和第二块之间的值差。这是因为可以假定特定块和该块的模板至少具有预设级别的相似度。例如,编码器和解码器可以基于多个块的模板之间的样本值差来执行模板匹配。
根据本发明的实施例,特定块的模板可以是基于该块预先配置的范围和位置的区域,或者可以是该区域中的样本。例如,特定块的模板可以被配置有与该块的边界相邻的邻近样本。详细地,当前块的模板可以被配置有与当前块的边界相邻的邻近样本。此外,要与当前块进行比较的比较目标块的模板可以被配置成具有与比较目标块的边界相邻的邻近样本。此外,可以在其中存在比当前块更早被重构的样本的区域中确定模板。
上述模板匹配成本可以是与多个模板中的每个模板中的相同位置相对应的样本的值之间的差之和。在这种情况下,随着总和的减少,模板被确定为更加相似。即,解码器可以确定模板随着总和的减少而更好地匹配。此外,模板匹配成本可以随着总和的减少而降低。此外,可以基于与多个模板中的每个模板中的相同位置相对应的样本的值之间的差的平方或绝对值来执行模板匹配。模板匹配可以是搜索候选块当中的对应于与当前块的模板具有最小值差的模板的候选块以便检测与当前块相似的块的操作。例如,当存在多个候选块时,随着当前块的模板与候选块之间的模板匹配成本降低,相应的候选块被选择为合并或MVP目标块的可能性会增加。此外,随着模板匹配成本降低,可以将候选列表的索引设置为较小的值。例如,可以对候选列表进行重新排序,使得候选列表中包括的多个候选块当中的具有较低模板匹配成本的候选具有较小的索引。
参考图26,当前块的模板可以被配置有当前块的上邻近样本和左邻近样本。然而,本公开不限于此,并且可以根据块扫描顺序、解码顺序或当前块的邻近样本是否可用中的至少一种,以不同的方式来配置当前块的模板。根据实施例,可以将当前块的模板与比较目标块的模板进行比较。在图26中,当前块的比较目标块可以是由位于当前块的参考图片中的共置块的运动矢量指示的块。在这种情况下,可以比较当前块的模板2701和比较目标块的模板2702。此外,解码器可以基于比较的结果确定当前块与比较目标块之间的值差。解码器可以对候选列表进行重新排序,或者可以基于当前块与比较目标块之间的值差来确定目标块。
根据本发明的实施例,MCR可以应用于本公开中描述的所有帧间预测方法或运动矢量获得方法。例如,MCR可以应用于合并模式、模式匹配运动矢量细化(PMVR)或MVP模式中的至少一种。根据本发明的实施例的编码器和解码器可以通过从通过上述MCR重新排序的候选列表中选择由特定索引指示的候选来获得运动信息集。在此,可以通过较少数量的比特来用信号发送候选列表中具有较小索引的候选。因此,具有较高被选择可能性的候选可以被排列成与候选列表中的较小索引相对应。
图27是图示根据本发明的实施例的符号是否匹配和符号确定的图。根据本发明的实施例,编码器可以不显式地用信号发送指示特定值的符号信息的符号比特。在这种情况下,解码器可以基于用信号发送的其他信息来估计符号信息。以这种方式,当没有通过附加比特用信号发送符号信息时,可以减少信令开销。例如,编码器可以不显示地用信号发送运动矢量或运动矢量差值的符号信息。此外,解码器可以基于用信号发送的信息来估计运动矢量或运动矢量差值的符号信息。
根据特定实施例,当解码器估计包括n个符号比特的符号信息时,多条可能的符号信息的数量为2^n。根据本发明的实施例,编码器和解码器可以根据在编码器和解码器之间预定义的规则来配置包括多条可能的符号信息的符号信息列表。符号信息列表可以包括多条候选符号信息。例如,如图27中所图示,当估计两个符号时,符号信息列表可以包括四条候选符号信息。
根据实施例,编码器可以用信号发送包括在符号信息列表中的多条候选符号信息中的任何一个。根据另一实施例,编码器可以用信号发送修改信息,该修改信息指示基于参考符号信息来修改每条候选符号信息的方法。详细地,当未修改参考符号信息时修改信息可以指示“击中(Hit)”,对于其中y轴分量的符号被修改的垂直修改的情况指示“垂直翻转”,对于其中x轴分量的符号被修改的水平修改的情况指示“水平翻转”,并且对于其中x轴分量和y轴分量的符号被修改对角线修改的情况指示“对角线翻转”,但是本公开不限于此。例如,当要估计的符号比特的数目至少为三个时,可以添加另一修改方法。
参考图27,参考符号信息可以是在符号信息列表中包括的多条候选符号信息当中具有最低预设成本的候选符号信息。编码器和解码器可以基于预定规则来确定具有最低预设成本的候选符号信息。预设成本可以是以上参考图26描述的模板匹配成本。
详细地,解码器可以从编码器获得指示修改方法的修改信息“10”。在这种情况下,解码器可以在多条候选符号信息当中确定作为参考的参考符号信息。即,解码器可以在多条候选符号信息当中确定与击中(Hit)相对应的参考符号信息。例如,解码器可以将多条候选符号信息当中具有最低模板匹配成本的候选符号信息用作参考符号信息。接下来,解码器可以选择从参考符号信息被垂直翻转(10)的候选符号信息。根据实施例,当上述符号信息指示当前块的运动矢量差值的符号时,该符号信息可以包括定义运动矢量的坐标(x,y)的x轴分量和y轴分量的符号。在这种情况下,解码器可以通过使用选择的候选符号信息作为运动矢量差值的符号信息来重构当前块。
尽管图27图示了符号信息列表以垂直修改,水平修改和对角线修改的顺序被配置,但是本公开不限于此。例如,符号信息列表可以被配置为使得水平修改通过比垂直修改的更少的比特来用信号发送。
此外,可以通过至少一个比特来用信号发送指示多种修改方法中的每一种的信息。在此,用信号发送以指示修改方法的比特数可以是可变的。可以通过较少数量的比特来用信号发送具有较高可能性从符号信息列表中被选择的符号信息。例如,可以使用截断的一元二值化、一元二值化或exp-Golomb二值化中的至少一种来对修改方法进行编码。
根据附加的实施例,可以基于上下文来对指示修改方法的信息进行编码。以这种方式,可以减少信令开销。例如,在图27中,可以通过2个比特用信号发送与特定修改相对应的信息,并且可以通过3个比特用信号发送指示除了特定修改方法之外的修改方法的信息。在此,可以基于上下文来确定要通过2个比特用信号发送的信息。在下文中,将参考图28和图29描述基于上下文对指示修改方法的信息进行编码的方法。
图28和图29是图示根据本发明的实施例的考虑上下文对符号信息进行编码的方法的图。在图28和图29的实施例中,可以通过可变长度比特来用信号发送指示从参考符号信息进行修改的方法的信息。根据本发明的实施例,可以基于x轴分量的绝对值和y轴分量的绝对值来确定指示从参考符号信息进行修改的方法的修改信息。例如,当估计符号信息是当前块的运动矢量差值的符号信息时,可以基于运动矢量差值的x轴分量的绝对值和y轴分量的绝对值来确定修改信息。
参考图28,可以通过更少数量的比特来用信号发送用于修改x轴分量的绝对值和y轴分量的绝对值当中的较小值的符号的修改信息。这是因为翻转x轴分量的绝对值和y轴分量的绝对值当中的较小值的符号可能提供与符号修改之前的值的短距离。随着距离减小,成本值差可以减小。详细地,位置(x,y)与位置(-x,y)之间的距离可以是第一距离,并且位置(x,y)与位置(x,-y)之间的距离可以是第二距离。这里,当y的绝对值小于x的绝对值时,第二距离可以小于第一距离。在这种情况下,与修改x轴分量的符号的修改信息相比,可以通过更少数量的比特来用信号发送从参考符号信息修改y轴分量的符号的修改信息。
尽管为了提供描述图28图示|x|<|y|的情况和|x|>=|y|的情况,但是用信号发送修改信息的方法可以根据|x|<=|y|和|x|>|y|的情况而变化。可替选地,当|x|和|y|不相等,可以执行考虑绝对值的图10的翻转,并且当|x|和|y|相等时,可以根据预设方法用信号发送修改信息。这里,预设方法可以是参考图27描述的方法。根据附加的实施例,可以将考虑绝对值的重新排序过程添加到上述候选列表MCR过程。
此外,参考图28,翻转x轴分量和y轴分量两者的符号的修改信息(对角线翻转)可以通过“110”用信号发送。此外,可以通过“111”来用信号发送不翻转绝对值较小的分量的符号的修改信息(大绝对值翻转)。也就是说,“对角线翻转”可以通过比“大绝对值翻转”小的值来用信号发送。同时,参考图29,“对角线翻转”可能通过“111”用信号发送,并且“大绝对值翻转”可以通过“110”来用信号发送。
如图27中一样,上述符号信息可以是指示当前块的运动矢量或运动矢量差值的符号的信息。当上述符号信息指示当前块的运动矢量差值的符号时,符号信息可以包括用于定义运动矢量的坐标(x,y)的x轴分量和y轴分量的符号。根据实施例,解码器可以基于模板匹配成本来确定与击中(Hit)相对应的参考符号信息。例如,解码器可以将多条候选符号信息当中具有最低模板匹配成本的候选符号信息用作参考符号信息。接下来,解码器可以比较当前块的运动矢量差值的x轴分量的绝对值和y轴分量的绝对值。解码器可以基于比较结果和用信号发送的修改信息获得修改方法。接下来,解码器可以基于所获得的修改方法和参考符号信息获得要应用于当前块的运动矢量差值的绝对值的最终符号信息。此外,解码器可以通过将获得的最终符号信息应用于运动矢量差值的绝对值来生成最终运动矢量差值。解码器可以基于最终运动矢量差值重构当前块。
在上述实施例中,示例性地描述了估计2比特符号信息的方法,但是本公开不限于此。上述符号信息估计和用信号发送的方法可以等同地或等效地应用于估计包括两个以上符号比特的符号信息的情况。例如,当估计n个符号时,可以基于分别对应于n个符号的绝对值来用信号发送修改信息。例如,随着分量的绝对值减小,可以通过较少数量的比特来用信号发送翻转分量的符号的修改信息。
同时,根据本发明的实施例,当前块可以被划分为对其应用不同的运动信息集多个区域,以便被预测。这里,可以基于边界信息来划分当前块。例如,解码器可以检测当前块中的边缘。解码器可以使用基于梯度的sobel算子检测当前块中的边缘。接下来,解码器可以基于检测到的边缘获得边界信息。在此,基于所检测到的边缘,当前块可以被划分为至少两个区域。解码器可以基于边界信息将当前块划分为其中使用不同的运动信息集的至少两个区域。在下文中,将描述根据本发明的实施例的基于不同的运动信息集对从当前块划分的每个区域执行帧间预测的方法。
图30是图示根据本发明的实施例的基于不同的运动信息集对从当前块划分的每个区域执行预测的方法的图。参考图30,可以基于当前块310的边界信息将当前块310划分为第一区域311和第二区域312。与第一区域311相对应的运动信息集可以包括运动矢量和参考图片索引,其指示包括与当前块310的第一区域311相似的区域的第一参考块320。也就是说,可以基于当前块310的第一区域311的原始样本值以及与第一参考块320中的第一区域相对应的第一部分区域321的样本值来获得第一运动信息集。可以基于当前块310的第一区域311的原始样本值和与第一部分区域321相对应的样本值来计算SAD或SATD。此外,当前块310的第一区域311的第一运动信息集可以被表达为{MV_R1,ref_idx_R1}。
同样,上述实施例可以应用于当前块310的第二区域312。例如,可以基于当前块310的第二区域312的原始样本值和与第二参考块330中的第二区域相对应的第二部分区域332的样本值来获得第二运动信息集。与第二区域312相对应的第二运动信息集可以被表达为{MV_R2,ref_idx_R2}。用于第一区域311的参考图片索引和用于第二区域312的参考图片索引可以相同。
根据本发明的实施例的解码器可以基于通过上述方法获得的第一运动信息集和第二运动信息集获得当前块的最终预测块。例如,解码器可以基于第一运动信息集为第一区域311生成第一预测块。此外,解码器可以基于第二运动信息集为第二区域312生成第二预测块。
接下来,解码器可以通过组合第一预测块和第二预测块来为当前块生成最终预测块。例如,解码器可以生成具有与除了第一部分区域321之外的区域相对应的样本值“0”的第一预测块。此外,解码器可以生成与除了第二部分区域321之外的区域相对应的样本值“0”的第二预测块。在这种情况下,最终预测块可以被表达为第一预测块和第二预测块之和。另外,解码器可以使用边界信息生成第一预测块和第二预测块。编码器和解码器可以根据预定义规则生成边界信息。在此,分别由编码器和解码器生成的多条边界信息可以相同。此外,解码器可以基于边界信息生成与由编码器预测的预测块相同的预测块。
根据附加的实施例,解码器可以对在第一区域311和第二区域312之间的边界周围的样本执行垂直/水平滤波。这里,边界周围的样本可以与边界相邻。此外,解码器可以使用低通滤波器执行滤波,该低通滤波器使比参考频率低的频带通过。此外,解码器可以使用低频带3抽头滤波器执行滤波。低频带3抽头滤波器的滤波器因子可以是{1/4,2/4,1/4}。
同时,当将当前块划分为如图30中所示的多个区域时,多个区域中的一些可以被帧内预测,而其他区域可以被帧间预测。图31是图示根据本发明的实施例的对从当前块划分的每个区域执行帧内预测或帧间预测的方法的图。如在图30的实施例中,可以基于边界信息来划分当前块。例如,可以基于边界信息将当前块划分为第一区域3201和第二区域3202。
在特定实施例中,可以根据帧内预测方法对第一区域3201进行编码,并且可以使用帧间预测方法对第二区域3202进行编码。在这种情况下,解码器可以获得与第二区域3203相对应的运动信息集,并且可以基于相应的运动信息集{MV_R2,ref_idx_R2}生成与第二区域3202相对应的第二预测块。
此外,解码器可以基于当前块的左参考样本或上参考样本生成与第一区域3201相对应的第一预测块。解码器可以基于当前块的帧内预测模式生成第一预测块。在此,可以通过以下等式确定用于在编码器中预测第一区域3201的帧内预测模式。
[等式7]
cost(i)=SATD+λ·bit(i)
SATD=∑x∈R1y∈R1|H(Org(x,y)-Pred1(x,y))|
在[等式7]中,SATD可以是通过对当前块和第一预测块之间的残差信号进行哈达玛变换而获得的值。即,SATD表示对应于第一区域的预测信号与原始信号之间的差。bit(i)表示对第i个帧内预测模式进行编码所需的比特数,并且λ可以是用于调整残差信号和编码速率之间的单位的参数。编码器可用信号发送使[等式7]的cost(i)最小化的帧内预测模式。此外,解码器可以使用解析的帧内预测模式为第一区域3201生成第一预测块。
接下来,解码器可以通过组合第一预测块和第二预测块生成用于当前块的最终预测块。解码器可以基于边界信息来组合第一预测块和第二预测块。这里,在第一预测块中,除了第一区域3201之外的区域的样本值可以被设置为“0”。此外,在第二预测块中,除了第二区域3202之外的区域的样本值可以被设置为“0”。在这种情况下,最终预测块可以被表达为第一预测块和第二预测块的和。
图31(a)图示根据本发明的实施例的当第一区域和第二区域之间的边界形成闭合曲线时对第一区域执行帧内预测的方法。当当前块的宽度为W且高度为H时,解码器可以使用当前块周围存在的多达2*W+2*H+1个重构样本来执行帧内预测。
图31(b)图示根据本发明的实施例的当第一区域和第二区域之间的边界以任意形式跨当前块时对第一区域执行帧内预测的方法。如在图31(a)中一样,解码器可以使用当前块周围存在的多达2*W+2*H+1个重构样本来执行帧内预测。
图31(c)至图31(e)图示根据本发明的实施例的当第一区域和第二区域之间的边界以任意形式跨当前块时基于填充的参考样本对第一区域执行帧内预测的方法。例如,当第一区域和第二区域是示出当前块中的不同对象的图像时,在当前块的邻近样本当中仅使用与第一区域连续的部分可能是有效的。
在图31(c)中,当前块中的边界与当前块的上边界汇合的点以及当前块中的边界与当前块的左边界汇合的点可以分别是(x’,0)和(0,y’)。在此,解码器可以基于位置(x’,-1)的重构样本在正确的方向上执行参考样本填充。解码器可以使用在(x’,-1)右侧的填充样本和(x’+1)个重构样本来配置上参考样本。此外,解码器可以基于位置(-1,y’)的重构样本在向下的方向上执行参考样本填充。解码器可以使用在(-1,y’)下面的填充样本和(y’+1)个重构样本来配置左参考样本。
图31(d)图示当前块中的边界与当前块的上边界汇合,但是不与其左边界汇合。这里,第一区域和第二区域之间的边界与当前块的上边界汇合的点可以是(x”,0)。解码器可以基于位置(x”,-1)的重构样本在向右方向上执行参考样本填充。解码器可以使用从(x”,-1)的右侧填充样本和(x”+1)个重构样本来配置上参考样本。此外,现有的重构样本可以用作左参考样本。
图31(e)图示当前块中的边界与当前块的左边界汇合但不与其上边界汇合。这里,第一区域和第二区域之间的边界与当前块的左边界汇合的点可以是(0,y”)。解码器可以基于位置(-1,y”)的重构样本沿向下方向执行参考样本填充。解码器可以使用从(-1,y’)的下填充样本和(y”+1)个重构样本来配置左参考样本。此外,现有的重构样本可以用作上参考样本。
可以通过各种手段来实现本发明的上述实施例。例如,可以通过硬件、固件、软件或其组合来实现本发明的实施例。
对于通过硬件实现的情况,可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等中的一个或多个来实现根据本发明的实施例的方法。
在通过固件或软件实现的情况下,可以以执行上述功能或操作的模块、过程或函数的形式来实现根据本发明的实施例的方法。可以将软件代码存储在存储器中并由处理器驱动。存储器可以位于处理器内部或外部,并且可以通过各种已知的方式与处理器交换数据。
本发明的上述描述仅用于说明目的,并且将会理解,本发明所属的本领域的普通技术人员可以在不改变本发明的技术思想或者基本特征的情况下对本发明进行改变,并且本发明可以以其他特定形式容易地被修改。因此,上述实施例是说明性的,并且在所有方面均不受限制。例如,被描述为单个实体的每个组件可以被分布和实现,并且同样,被描述为被分布的组件也可以以关联的方式被实现。
本发明的范围由所附权利要求书而不是上述详细描述来限定,并且从所附权利要求书的含义和范围及其等效物导出的所有改变或修改都应解释为包括在本发明的范围内。

Claims (18)

1.一种视频信号处理方法,包括下述步骤:
获得合并索引,所述合并索引指示被包括在用于预测当前块的合并候选列表中的多个候选当中的用于预测所述当前块的候选;
基于与由所述合并索引指示的所述候选相对应的运动信息,获得关于所述当前块的运动信息;
当关于所述当前块的所述运动信息包括与不同参考图片列表相对应的多个运动矢量时,将分别与所述多个运动矢量相对应的每个参考图片与包括所述当前块的当前图片之间的图片顺序计数(POC)差进行比较;
基于所述比较的结果校正所述多个运动矢量;以及
基于所述多个经校正的运动矢量重构所述当前块。
2.根据权利要求1所述的视频信号处理方法,
其中,所述多个运动矢量包括第一运动矢量和第二运动矢量,并且
其中,校正所述多个运动矢量的所述步骤包括下述步骤:
获得第一POC差和第二POC差,其中,所述第一POC差指示与所述第一运动矢量相对应的第一参考图片与所述当前图片之间的POC差,并且所述第二POC差指示与所述第二运动矢量相对应的第二参考图片与所述当前图片之间的POC差;
比较所述第一POC差与所述第二POC差以获得作为所述第一运动矢量和所述第二运动矢量中的一个的校正值的特定偏移;以及
基于所述特定偏移校正所述第一运动矢量和所述第二运动矢量。
3.根据权利要求2所述的视频信号处理方法,
其中,校正所述多个运动矢量的所述步骤包括下述步骤:基于比较所述第一POC差与所述第二POC差的结果,比所述第一运动矢量和所述第二运动矢量中的另一个的校正值更早地获得所述特定偏移。
4.根据权利要求3所述的视频信号处理方法,
其中,当所述第一POC差大于所述第二POC差时,所述特定偏移是所述第一运动矢量的校正值,并且
当所述第一POC差小于所述第二POC差时,所述特定偏移是所述第二运动矢量的校正值。
5.根据权利要求3所述的视频信号处理方法,
其中,当所述第一POC差大于所述第二POC差时,所述特定偏移是作为所述第一运动矢量的校正值的第一偏移,并且
其中,校正所述多个运动矢量的所述步骤包括下述步骤:
通过添加所述第一偏移校正所述第一运动矢量;
基于所述特定偏移获得第二偏移,所述第二偏移是所述第二运动矢量的校正值;以及
通过添加所述第二偏移校正所述第二运动矢量。
6.根据权利要求5所述的视频信号处理设备,
其中,校正所述多个运动矢量的所述步骤包括下述步骤:通过将所述第一偏移添加到所述第一运动矢量生成第一经校正的运动矢量,以及通过将所述第二偏移添加到所述第二运动矢量生成第二经校正的运动矢量,并且
其中,重构所述当前块的所述步骤包括下述步骤:基于所述第一经校正的运动矢量和所述第二经校正的运动矢量重构所述当前块。
7.根据权利要求3所述的视频信号处理方法,
其中,获得所述特定偏移的所述步骤包括下述步骤:当所述第一POC差和所述第二POC差相等时,基于指示分别对应于所述第一运动矢量和所述第二运动矢量的所述参考图片列表的值获得作为用于所述第一运动矢量和所述第二运动矢量中的一个的校正值的所述特定偏移。
8.根据权利要求7所述的视频信号处理方法,
其中,获得所述特定偏移的所述步骤包括下述步骤:当指示与所述第一运动矢量相对应的第一参考图片列表的值是0,并且指示所述第二运动矢量的第二参考图片列表的值是1时,获得作为所述第一运动矢量的校正值的所述特定偏移。
9.根据权利要求8所述的视频信号处理方法,
其中,所述第一参考图片列表在其中多达一个运动矢量被用于特定样本的第一较高层区域中和其中多达两个运动矢量被用于所述特定样本的第二较高层区域中被使用,并且所述第二参考图片列表不在所述第一较高层区域中被使用。
10.一种视频信号处理设备,包括:
处理器,
其中,所述处理器:
获得合并索引,所述合并索引指示被包括在用于预测当前块的合并候选列表中的多个候选当中的用于预测所述当前块的候选,
基于与所述合并索引所指示的所述候选相对应的运动信息,获得关于所述当前块的运动信息,
当关于所述当前块的所述运动信息包括与不同参考图片列表相对应的多个运动矢量时,将分别与所述多个运动矢量相对应的每个参考图片与包括所述当前块的当前图片之间的图片顺序计数(POC)差进行比较;
基于所述比较的结果校正所述多个运动矢量;以及
基于所述多个经校正的运动矢量重构所述当前块。
11.根据权利要求10所述的视频信号处理设备,
其中,所述多个运动矢量包括第一运动矢量和第二运动矢量,并且
其中,所述处理器:
获得第一POC差和第二POC差,
比较所述第一POC差与所述第二POC差以获得作为所述第一运动矢量和所述第二运动矢量中的一个的校正值的特定偏移,并且
基于所述特定偏移校正所述第一运动矢量和所述第二运动矢量,
其中,所述第一POC差指示与所述第一运动矢量相对应的第一参考图片与所述当前图片之间的POC差,并且所述第二POC差指示与所述第二运动矢量相对应的第二参考图片与当前图片之间的POC差。
12.根据权利要求11所述的视频信号处理设备,
其中,所述处理器基于比较所述第一POC差与所述第二POC差的结果,比所述第一运动矢量和所述第二运动矢量中的另一个的校正值更早地获得所述特定偏移。
13.根据权利要求12所述的视频信号处理设备,
其中,当所述第一POC差大于所述第二POC差时,所述特定偏移是所述第一运动矢量的校正值,并且
当所述第一POC差小于所述第二POC差时,所述特定偏移是所述第二运动矢量的校正值。
14.根据权利要求12所述的视频信号处理设备,
其中,当所述第一POC差大于所述第二POC差时,所述特定偏移是作为所述第一运动矢量的校正值的第一偏移,并且
其中,所述处理器:
通过添加所述第一偏移校正所述第一运动矢量,
基于所述特定偏移获得第二偏移,所述第二偏移是所述第二运动矢量的校正值,并且
通过添加所述第二偏移校正所述第二运动矢量。
15.根据权利要求14所述的视频信号处理设备,
其中,所述处理器:
通过将所述第一偏移添加到所述第一运动矢量生成第一经校正的运动矢量,并且通过将所述第二偏移添加到所述第二运动矢量生成第二经校正的运动矢量,并且
基于所述第一经校正的运动矢量和所述第二经校正的运动矢量重构所述当前块。
16.根据权利要求12所述的视频信号处理设备,
其中,当所述第一POC差和所述第二POC差相等时,所述处理器基于指示分别对应于所述第一运动矢量和所述第二运动矢量的所述参考图片列表的值获得作为用于所述第一运动矢量和所述第二运动矢量中的一个的校正值的所述特定偏移。
17.根据权利要求16所述的视频信号处理设备,
其中,当指示与所述第一运动矢量相对应的第一参考图片列表的值是0,并且指示所述第二运动矢量的第二参考图片列表的值是1时,所述处理器获得作为所述第一运动矢量的校正值的所述特定偏移。
18.根据权利要求17所述的视频信号处理设备,
其中,所述第一参考图片列表在其中多达一个运动矢量被用于特定样本的第一较高层区域中和其中多达两个运动矢量被用于所述特定样本的第二较高层区域中被使用,并且所述第二参考图片列表不在所述第一较高层区域中被使用。
CN201980022660.0A 2018-03-27 2019-03-27 使用运动补偿的视频信号处理方法及设备 Active CN111919449B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR10-2018-0035474 2018-03-27
KR20180035474 2018-03-27
KR10-2018-0036917 2018-03-29
KR20180036917 2018-03-29
KR10-2018-0042844 2018-04-12
KR20180042844 2018-04-12
KR10-2018-0046324 2018-04-20
KR20180046324 2018-04-20
PCT/KR2019/003608 WO2019190211A1 (ko) 2018-03-27 2019-03-27 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
CN111919449A true CN111919449A (zh) 2020-11-10
CN111919449B CN111919449B (zh) 2024-07-05

Family

ID=68060221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980022660.0A Active CN111919449B (zh) 2018-03-27 2019-03-27 使用运动补偿的视频信号处理方法及设备

Country Status (4)

Country Link
US (4) US11039162B2 (zh)
KR (3) KR102570087B1 (zh)
CN (1) CN111919449B (zh)
WO (1) WO2019190211A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020390A1 (en) * 2021-08-19 2023-02-23 Mediatek Singapore Pte. Ltd. Method and apparatus for low-latency template matching in video coding system
WO2023072283A1 (en) * 2021-10-29 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190091217A (ko) * 2018-01-26 2019-08-05 한국전자통신연구원 시간적 움직임 정보를 이용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
WO2019147067A1 (ko) * 2018-01-26 2019-08-01 한국전자통신연구원 시간적 움직임 정보를 이용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
CN111919449B (zh) 2018-03-27 2024-07-05 数码士有限公司 使用运动补偿的视频信号处理方法及设备
TWI730311B (zh) * 2018-03-29 2021-06-11 弗勞恩霍夫爾協會 用以選擇內預測模式以供填補之設備
WO2020043193A1 (en) * 2018-08-31 2020-03-05 Mediatek Inc. Method and apparatus of subblock deblocking in video coding
CN115250350B (zh) * 2018-09-03 2024-04-09 华为技术有限公司 运动矢量的获取方法、装置、计算机设备及存储介质
CN112740704B (zh) 2018-09-21 2024-04-16 夏普株式会社 图像解码装置以及图像编码装置
US11259016B2 (en) 2019-06-30 2022-02-22 Tencent America LLC Method and apparatus for video coding
KR20240050408A (ko) * 2021-08-27 2024-04-18 주식회사 윌러스표준기술연구소 움직임 정보를 보정하는 방법 및 이를 위한 장치
US20230104476A1 (en) * 2021-10-05 2023-04-06 Tencent America LLC Grouping based adaptive reordering of merge candidate
US20230139186A1 (en) * 2021-10-28 2023-05-04 Tencent America LLC Template-matching based adaptive motion vector resolution (amvr)
WO2023091809A1 (en) * 2021-11-22 2023-05-25 Tencent America LLC Constrained template matching
WO2024091913A1 (en) * 2022-10-24 2024-05-02 Tencent America LLC Flipping mode for chroma and intra template matching

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130128976A1 (en) * 2011-11-18 2013-05-23 FUJITSU LlMITED Method of coding moving image and method of decoding moving image
CN103370940A (zh) * 2010-12-14 2013-10-23 吴秀美 帧间预测编码的运动画面的解码方法
US20130279577A1 (en) * 2010-11-04 2013-10-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Picture coding supporting block merging and skip mode
US20140169475A1 (en) * 2012-12-17 2014-06-19 Qualcomm Incorporated Motion vector prediction in video coding
WO2015124110A1 (en) * 2014-02-21 2015-08-27 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
US20160373688A1 (en) * 2015-06-19 2016-12-22 Fujitsu Limited Non-transitory computer-readable storage medium, coded data generation method and coded data generation device
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
CN107396100A (zh) * 2011-11-08 2017-11-24 株式会社Kt 利用解码装置对视频信号进行解码的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
KR101752418B1 (ko) * 2010-04-09 2017-06-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
BR122021004576B1 (pt) 2011-06-28 2022-07-26 Samsung Electronics Co., Ltd Aparelho de decodificação de vídeo
EP2806649A1 (en) * 2012-01-18 2014-11-26 Electronics and Telecommunications Research Institute Method and device for encoding and decoding image
US20130294513A1 (en) * 2012-05-07 2013-11-07 Qualcomm Incorporated Inter layer merge list construction for video coding
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
BR112014033038A2 (pt) * 2012-07-02 2017-06-27 Samsung Electronics Co Ltd método de predição de vetor de movimento para inter predição, e aparelho de predição de vetor de movimento para inter predição
EP3490259B1 (en) * 2013-04-02 2021-10-13 InterDigital Madison Patent Holdings, SAS Enhanced temporal motion vector prediction for scalable video coding
US10951912B2 (en) * 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
KR102435500B1 (ko) * 2016-10-06 2022-08-23 세종대학교산학협력단 비디오 신호의 복호화 방법 및 이의 장치
CN111919449B (zh) 2018-03-27 2024-07-05 数码士有限公司 使用运动补偿的视频信号处理方法及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279577A1 (en) * 2010-11-04 2013-10-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Picture coding supporting block merging and skip mode
CN103370940A (zh) * 2010-12-14 2013-10-23 吴秀美 帧间预测编码的运动画面的解码方法
CN107396100A (zh) * 2011-11-08 2017-11-24 株式会社Kt 利用解码装置对视频信号进行解码的方法
US20130128976A1 (en) * 2011-11-18 2013-05-23 FUJITSU LlMITED Method of coding moving image and method of decoding moving image
US20140169475A1 (en) * 2012-12-17 2014-06-19 Qualcomm Incorporated Motion vector prediction in video coding
WO2015124110A1 (en) * 2014-02-21 2015-08-27 Mediatek Singapore Pte. Ltd. Method of video coding using prediction based on intra picture block copy
US20160373688A1 (en) * 2015-06-19 2016-12-22 Fujitsu Limited Non-transitory computer-readable storage medium, coded data generation method and coded data generation device
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓智;贾克斌;陈锐霖;伏长虹;萧允治;: "多视点视频编码中的运动和视差估计快速算法", 北京工业大学学报, no. 05, 15 May 2011 (2011-05-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020390A1 (en) * 2021-08-19 2023-02-23 Mediatek Singapore Pte. Ltd. Method and apparatus for low-latency template matching in video coding system
WO2023072283A1 (en) * 2021-10-29 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
CN111919449B (zh) 2024-07-05
US20210014522A1 (en) 2021-01-14
KR20230127363A (ko) 2023-08-31
WO2019190211A1 (ko) 2019-10-03
US11039162B2 (en) 2021-06-15
KR102356262B1 (ko) 2022-02-08
KR20220013477A (ko) 2022-02-04
KR20200123244A (ko) 2020-10-28
US20210266583A1 (en) 2021-08-26
US11575927B2 (en) 2023-02-07
US11917187B2 (en) 2024-02-27
US20230129632A1 (en) 2023-04-27
US20240146936A1 (en) 2024-05-02
KR102570087B1 (ko) 2023-08-25

Similar Documents

Publication Publication Date Title
CN111919449B (zh) 使用运动补偿的视频信号处理方法及设备
CN110677666B (zh) Lamvr中取整和修剪的顺序
CN110662052B (zh) 更新查找表(lut)的条件
CN111656783B (zh) 使用基于子块的运动补偿进行视频信号处理的方法和装置
CN112237001B (zh) 使用自适应运动矢量分辨率的视频信号处理方法及装置
CN113196751A (zh) 通过使用基于子块的运动补偿处理视频信号的方法和设备
CN112823526B (zh) 通过使用交叉分量线性模型来处理视频信号的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220824

Address after: Gyeonggi Do, South Korea

Applicant after: HUMAX Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Applicant before: WILUS INSTITUTE OF STANDARDS AND TECHNOLOGY Inc.

Applicant before: HUMAX Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant