CN118175309A - 双向预测设备、视频编码设备及比特流传输设备 - Google Patents

双向预测设备、视频编码设备及比特流传输设备 Download PDF

Info

Publication number
CN118175309A
CN118175309A CN202410297544.2A CN202410297544A CN118175309A CN 118175309 A CN118175309 A CN 118175309A CN 202410297544 A CN202410297544 A CN 202410297544A CN 118175309 A CN118175309 A CN 118175309A
Authority
CN
China
Prior art keywords
information
motion vector
motion
block
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410297544.2A
Other languages
English (en)
Inventor
金在一
李善暎
罗太英
孙世勋
申在燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190105769A external-priority patent/KR20200081201A/ko
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of CN118175309A publication Critical patent/CN118175309A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了双向预测设备、视频编码设备及比特流传输设备。根据本发明，提供了一种使用多种双向预测模式中的任一种对当前块进行帧间预测的双向预测方法，其包括：从比特流中解码模式信息，其指示是否向当前块应用多种双向预测模式中包括的第一模式；当模式信息指示向当前块应用第一模式时，从比特流解码包括差分运动矢量信息和预测运动矢量信息的第一运动信息及不包括差分运动矢量信息和预测运动矢量信息的至少一部分的第二运动信息；基于第一运动信息推导第一运动矢量，基于第一运动信息的至少一部分和第二运动信息推导第二运动矢量；及通过使用第一参考图片中由第一运动矢量指示的参考块和第二参考图片中由第二运动矢量指示的参考块预测当前块。

Description

双向预测设备、视频编码设备及比特流传输设备
本申请是原案申请号为201980092691.3的发明专利申请(国际申请号：PCT/KR2019/018477，申请日：2019年12月26日，发明名称：双向预测方法及视频解码设备)的分案申请。
技术领域
本发明涉及视频的编码和解码，并且更具体地说，涉及一种通过有效地表达运动信息来提高编码和解码效率的双向预测方法及视频解码装置。
背景技术
由于视频数据的体量比语音数据或静止图像数据的体量大，因此在没有进行压缩处理的情况下存储或传输视频数据需要包括存储器在内的大量硬件资源。
因此，在存储或传输视频数据时，通常使用编码器对视频数据进行压缩以进行存储或传输。然后，解码器接收压缩的视频数据，并解压缩和再现视频数据。用于此类视频的压缩技术包括H.264/AVC和高效视频编码(HEVC)，其编码效率比H.264/AVC提高了约40％。
但是，视频的尺寸、分辨率和帧率正在逐渐增大，相应地要编码的数据量也正在增加。因此，需要比现有压缩技术具有更好编码效率和更高图像质量的新压缩技术。
发明内容
技术问题
本发明的目的是提供改进的视频编码和解码技术，更具体地，提供通过使用在特定方向的运动信息来推断在其它方向的运动信息而提高编码和解码效率的技术。
技术方案
根据至少一个方面，本公开提供了一种使用多种双向预测模式中的任何一种对当前块进行帧间预测的方法。该方法包括：从比特流中解码模式信息，该模式信息指示是否向当前块应用多种双向预测模式中所包括的第一模式。当模式信息指示向当前块应用了第一模式时，该方法还包括从比特流解码包括关于第一运动矢量的差分运动矢量信息和预测运动矢量信息的第一运动信息及不包括关于第二运动矢量的差分运动矢量信息和预测运动矢量信息的至少一部分的第二运动信息；以及基于第一运动信息推导第一运动矢量，以及基于第一运动信息的至少一部分并基于第二运动信息推导第二运动矢量。该方法还包括使用第一参考图片中由第一运动矢量所指示的参考块和第二参考图片中由第二运动矢量所指示的参考块来预测当前块。
根据另一方面，本公开提供了一种视频解码设备。该设备包括解码器，该解码器被配置为从比特流中解码模式信息，该模式信息指示是否向当前块应用多种双向预测模式中所包括的第一模式。当模式信息指示向当前块应用了第一模式时，解码器从比特流解码包括关于第一运动矢量的差分运动矢量信息和预测运动矢量信息的第一运动信息及不包括关于第二运动矢量的差分运动矢量信息和预测运动矢量信息的至少一部分的第二运动信息。该设备包括预测单元，该预测单元被配置为基于第一运动信息推导第一运动矢量，并且基于第一运动信息的至少一部分和第二运动信息推导第二运动矢量。预测器被配置为使用第一参考图片中由第一运动矢量所指示的参考块和第二参考图片中由第二运动矢量所指示的参考块来预测当前块。
技术效果
如上所述，根据本发明的实施方式，可以通过使用在特定方向的运动来推断在其它方向的运动而提高运动表示的比特效率。
附图说明
图1是能够实现本公开的技术的视频编码设备的示例性框图。
图2示例性地示出了使用QTBTTT结构的块分区结构。
图3示例性地示出了多种帧内预测模式。
图4是能够实现本公开的技术的视频解码设备的示例性框图。
图5是用于描述根据本发明实施方式的双向预测的图。
图6是用于描述根据本发明实施方式的使用差分运动矢量之间的对称关系来推导运动的图。
图7和图8是用于描述根据本发明实施方式的使用线性关系来推导运动的图。
图9至图18是用于描述根据本发明的各种实施方式的推导运动的图。
图19和图20是用于描述根据本发明实施方式的使用在高级别确定的参考图片来推导运动的流程图。
具体实施方式
在下文中，将参照附图详细描述本公开的一些实施方式。应该注意的是，在各个附图中向组成元件(constituent element)添加附图标记时，尽管这些元件在不同的附图中示出，但是相似的附图标记指代相似的元件。此外，在本公开的以下描述中，将省略并入本文的已知功能和配置的详细描述以避免混淆本公开的主题。
图1是能够实现本公开的技术的视频编码设备的示例性框图。在下文中，将参照图1描述视频编码设备和该设备的元件。
视频编码设备包括块分割器110、预测器120、减法器130、变换器140、量化器145、编码器150、逆量化器160、逆变换器165、加法器170、滤波器单元180和存储器190。
视频编码设备的每个元件可以用硬件或软件、或者硬件和软件的组合来实现。各个元件的功能可以用软件来实现，并且可以实现微处理器，以执行与各个元件相对应的软件功能。
一个视频由多幅图片组成。每幅图片被分割成多个区域，并对每个区域执行编码。例如，一幅图片被分割成一个或更多个瓦片和/或切片。这里，一个或更多个瓦片可以被定义为瓦片组。每个瓦片或切片被分割成一个或更多个编码树单元(CTU)。每个CTU按照树结构被分割成一个或更多个编码单元(CU)。应用于每个CU的信息被编码为CU的语法，共同应用于一个CTU中所包含的CU的信息被编码为CTU的语法。此外，共同应用于一个瓦块中的所有块的信息被编码为瓦片的语法或被编码为作为多个瓦片的集合的瓦片组的语法，并且应用于构成一幅图片的所有块的信息被编码在图片参数集(PPS)或图片标头中。此外，由多个图片共同参考的信息被编码在序列参数集(SPS)中。另外，由一个或更多个SPS共同参考的信息被编码在视频参数集(VPS)中。
块分割器110确定编码树单元(CTU)的尺寸。关于CTU的尺寸(CTU尺寸)的信息被编码为SPS或PPS的语法，并且被发送给视频解码设备。
块分割器110将构成视频的每幅图片分割成具有预定尺寸的多个CTU，然后使用树结构递归分割CTU。在树结构中，叶节点用作编码单元(CU)，编码单元是编码的基本单元。
树结构可以是其中节点(或父节点)被分割成具有相同尺寸的四个子节点(或孩子节点)的四叉树(QT)、其中节点被分割成两个子节点的二叉树(BT)、其中节点以1:2:1的比例被分割成三个子节点的三叉树(TT)、或者由QT结构、BT结构和TT结构中的两个或更多个的组合而形成的结构。例如，可以使用QTBT(四叉树加二叉树)结构或QTBTTT(四叉树加二叉树三叉树)结构。这里，BTTT可以统称为多类型树(MTT)。
图2示出了QTBTTT分割树结构。如图2所示，最初可以以QT结构来分割CTU。可以重复QT分割，直至分割块的尺寸达到QT中所允许的叶节点的最小块尺寸(MinQTSize)。由编码器150对指示QT结构的每个节点是否被分割成下层的四个节点的第一标志(QT_split_flag)进行编码并用信号通知视频解码设备。当QT的叶节点不大于BT中所允许的根节点的最大块尺寸(MaxBTSize)时，可以进一步以BT结构或TT结构中的一种或更多种进行分割。在BT结构和/或TT结构中，可以有多个分割方向。例如，可存在作为节点块的水平分割和垂直分割的两个方向。如图2所示，当MTT分割开始时，由编码器150对指示节点是否被分割的第二标志(mtt_split_flag)、指示分割方向(垂直或水平)的标志、和/或指示分割类型(二叉或三叉)的标志进行编码并用信号通知视频解码设备。
作为树结构的另一示例，当使用QTBTTT结构对块进行分割时，由编码器150对关于指示块已被分割的CU分割标志(split_cu_flag)和指示分割类型是QT分割的QT分割标志(split_qt_flag)的信息进行编码并用信号通知视频解码设备。当split_cu_flag的值指示块尚未被分割时，节点的块成为分割树结构中的叶节点并用作作为编码的基本单元的编码单元(CU)。当split_cu_flag的值指示块尚未被分割时，通过split_qt_flag的值区分分割类型是QT还是MTT。当分割类型为QT时，没有附加信息。当分割类型为MTT时，由编码器150对指示MTT分割方向(垂直或水平)的标志(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉或三叉)的标志(mtt_split_cu_binary_flag)进行编码并用信号通知视频解码设备。
作为树结构的另一示例，当使用QTBT时，可以存在两种分割类型，这两种分割类型是节点的块水平分割(即，对称水平分割)和垂直分割(即，对称垂直分割)分成相同尺寸的两个块。由编码器150对指示BT结构的每个节点是否被分割成下层的块的分割标志(split_flag)和指示分割类型的分割类型信息进行编码并发送给视频解码设备。可以存在附加类型，附加类型是将节点的块分割为两个非对称块。非对称分割类型可以包括将块以1:3的尺寸比分割为两个矩形块的类型、以及将节点的块进行对角分割的类型。
根据CTU的QTBT或QTBTTT分割，CU可以具有各种尺寸。在下文中，将与要编码或解码的CU(即，QTBTTT的叶节点)相对应的块称为“当前块”。
预测器120预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
一般来说，可以对图片中的每个当前块进行预测编码。可以使用帧内预测技术(基于来自包含当前块的图片的数据执行的)或帧间预测技术(基于来自在包含当前块的图片之前被编码的图片的数据执行的)来执行当前块的预测。帧间预测包括单向预测和双向预测二者。
帧内预测器122使用包括当前块的当前图片中位于当前块周围的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多种帧内预测模式。例如，如图3所示，多个帧内预测模式可以包括非定向模式以及65个定向模式，非定向模式包括平面模式和DC模式。对于每种预测模式，以不同方式定义了要使用的相邻像素和公式。
帧内预测器122可以确定在对当前块进行编码时要使用的帧内预测模式。在一些示例中，帧内预测器122可以使用若干种帧内预测模式对当前块进行编码并且从被测模式当中选择适当的帧内预测模式来使用。例如，帧内预测器122可以使用若干被测帧内预测模式的率失真分析来计算率失真值，并且可以在被测模式当中选择具有最佳率失真特性的帧内预测模式。
帧内预测器122从多种帧内预测模式当中选择一种帧内预测模式，并使用根据所选择的帧内预测模式所确定的相邻像素(参考像素)和公式来预测当前块。由编码器150对关于所选择的帧内预测模式的信息进行编码并且发送给视频解码设备。
帧间预测器124通过运动补偿处理生成当前块的预测块。帧间预测器在比当前图片更早编码和解码的参考图片中搜索与当前块最相似的块，并基于搜索到的块生成当前块的预测块。然后，帧间预测器生成与当前图片中的当前块和参考图片中的预测块之间的位移相对应的运动矢量。通常，对亮度分量执行运动估计，并且对于亮度分量和色度分量二者，使用基于亮度分量计算出的运动矢量。由编码器150对包括关于用于预测当前块的参考图片的信息和关于运动矢量的信息的运动信息进行编码并发送给视频解码设备。
减法器130通过从当前块中减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。
变换器140将空间域中具有像素值的残差块中的残差信号变换为频域中的变换系数。变换器140可以使用当前块的总尺寸作为变换单元来变换残差块中的残差信号。另选地，变换器可以将残差块分割为变换区和非变换区的子块，仅使用变换区的子块作为变换单元来变换残差信号。这里，变换区子块可以是基于水平轴(或垂直轴)的尺寸比为1:1的两个矩形块之一。在这种情况下，由编码器150对指示仅子块已被变换的标志(cu_sbt_flag)、方向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)进行编码并用信号通知视频解码设备。另外，变换区子块的尺寸可以基于水平轴(或垂直轴)具有1:3的尺寸比。在这种情况下，由编码器150对用于区分分割的标志(cu_sbt_quad_flag)附加地编码用信号通知视频解码设备。
量化器145对从变换器140输出的变换系数进行量化，并且向编码器150输出量化后的变换系数。
编码器150通过使用诸如基于上下文的自适应二进制算术编码(CABAC)之类的编码方法对量化的变换系数进行编码，来生成比特流。编码器150对与块分割相关的诸如CTU尺寸、CU分割标志、QT分割标志、MTT分割方向和MTT分割类型之类的信息进行编码，使得视频解码设备与视频编码设备以相同方式分割块。
此外，编码器150对关于指示当前块是通过帧内预测还是通过帧间预测被编码的预测类型的信息进行编码，并且根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(关于参考图片和运动矢量的信息)进行编码。
逆量化器160对从量化器145输出的量化变换系数进行逆量化以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空间域并重构残差块。
加法器170将重构的残差块与预测器120生成的预测块相加，以重构当前块。重构的当前块中的像素用作下一个块的帧内预测的参考像素。
滤波器单元180对重构的像素进行滤波以减少由于基于块的预测和变换/量化而产生的块伪影、振铃伪影和模糊伪影。滤波器单元180可以包括去块滤波器182和样本自适应偏移(SAO)滤波器184。
去块滤波器182对重构的块之间的边界进行滤波，以去除由逐块编码/解码引起的块伪影，并且SAO滤波器184附加地对去块滤波后的视频进行滤波。SAO滤波器184是用于补偿由有损编码引起的重构的像素和原始像素之间的差异的滤波器。
通过去块滤波器182和SAO滤波器184滤波后的重构的块存储在存储器190中。一旦重构了一幅图片中的所有块，重构图片就被用作用于要编码的下一幅图片的帧间预测的参考图片。
图4是能够实现本公开的技术的视频解码设备的示例性功能框图。在下文中，将参照图4描述视频解码设备和该设备的元件。
视频解码设备可以包括解码器410、逆量化器420、逆变换器430、预测器440、加法器450、滤波器单元460和存储器470。
与图1的视频编码设备类似，视频解码设备的每个元件可以实现为硬件或软件，或者可以实现为硬件和软件的组合。另外，每个元件的功能可以实现为软件，并且可以实现微处理器以执行与每个元件相对应的软件的功能。
解码器410通过对从视频编码设备接收到的比特流进行解码并提取与块分割相关的信息来确定要解码的当前块，并且提取重构当前块所需的预测信息和关于残差信号的信息。
解码器410从序列参数集(SPS)或图片参数集(PPS)中提取关于CTU尺寸的信息，确定CTU的尺寸，并将图片分割成所确定尺寸的CTU。然后，解码器将CTU确定为最上层(即，树结构的根节点)，并且提取关于CTU的分割信息，以利用树结构对CTU进行分割。
例如，当使用QTBTTT结构对CTU进行分割时，首先提取与QT分割相关的第一标志(QT_split_flag)，并将每个节点分割为下层的四个节点。然后，对于与QT的叶节点相对应的节点，提取与MTT分割相关的第二标志(MTT_split_flag)和关于分割方向(垂直/水平)和/或分割类型(二叉/三叉)的信息，并且以MTT结构分割叶节点。这样，以BT或TT结构递归地分割QT的叶节点下面的每个节点。
作为另一示例，当使用QTBTTT结构对CTU进行分割时，首先提取指示CU是否被分割的CU分割标志(split_cu_flag)。如果相应的块被分割，则提取QT分割标志(split_qt_flag)。当分割类型不是QT而是MTT时，附加地提取指示MTT分割方向(垂直或水平)的标志(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉或三叉)的标志(mtt_split_cu_binary_flag)。在分割过程中，每个节点可以经历零次或更多次递归QT分割，然后再经历零次或更多次递归MTT分割。例如，CTU可以立即被MTT分割，或者可以仅被QT分割多次。
作为另一示例，当使用QTBT结构以及与QT分割相关的第一标志(QT_split_flag)分割CTU时，并且每个节点被分割成下层的四个节点。对于与QT的叶子节点相对应的节点，提取指示该节点是否被进一步BT分割的split_flag和分割方向信息。
一旦通过树结构分割确定了要解码的当前块，解码器410就提取关于指示当前块是经历了帧内预测还是帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，解码器410提取当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，解码器410提取帧间预测信息的语法元素，即，指示运动矢量和运动矢量所参考的参考图片的信息。
解码器410提取关于当前块的量化变换系数的信息作为关于残差信号的信息。
逆量化器420对量化后的变换系数进行逆量化，并将逆量化后的变换系数从频域逆变换到空间域，重构残差信号，以生成当前块的残差块。
另外，当逆变换器430仅对变换块的局部区域(子块)进行逆变换时，提取指示仅变换块的子块已被变换的标志(cu_sbt_flag)、以及关于子块的方向信息(垂直/水平)(cu_sbt_horizontal_flag)和/或子块位置信息(cu_sbt_pos_flag)。然后，通过将子块的变换系数从频域逆变换到空间域来重构残差信号。对于没有被逆变换的区域，用“0”填充残差信号。从而，创建当前块的最终残差块。
预测器440可以包括帧内预测器442和帧间预测器444。在当前块的预测类型为帧内预测时激活帧内预测器442，并且在当前块的预测类型为帧间预测时激活帧间预测器444。
帧内预测器442基于从解码器410提取的帧内预测模式的语法元素，在多个帧内预测模式当中确定当前块的帧内预测模式，并根据帧内预测模式基于当前块周围的参考像素预测当前块。
帧间预测器444基于从解码器410提取的帧内预测模式的语法元素确定当前块的运动矢量和运动矢量所参考的参考图片，并基于运动矢量和参考图片预测当前块。
加法器450通过将从逆变换器输出的残差块和从帧间预测器或帧内预测器输出的预测块相加，来重构当前块。重构的当前块中的像素用作用于稍后要解码的块的帧内预测的参考像素。
滤波器单元460可以包括去块滤波器462和SAO滤波器464。去块滤波器462对重构的块之间的边界执行去块滤波，以去除由逐块解码引起的块伪影。SAO滤波器464对去块滤波之后的重构的块执行附加滤波，以补偿由有损编码引起的重构的像素和原始像素之间的差异。通过去块滤波器462和SAO滤波器464滤波的重构的块被存储在存储器470中。当重构了一幅图片中的所有块时，重构的图片用作用于之后要编码的图片中块的帧间预测的参考图片。
HEVC标准的图片间预测编码/解码方法(帧间预测方法)可以分类为跳过模式、合并模式和自适应(或高级)运动矢量预测器(AMVP)模式。
在跳过模式中，用信号通知指示相邻块的运动信息候选之一的索引值。在合并模式中，用信号通知指示相邻块的运动信息候选之一的索引值和通过对预测后的残差进行编码而获得的信息。在AMVP模式下，用信号通知当前块的运动信息和通过对预测后的残差进行编码而获得的信息。在AMVP模式下用信号通知的运动信息包括相邻块的运动信息(运动矢量预测器(mvp))以及运动信息(mvp)和当前块的运动信息(mv)之间的差值(运动矢量差(mvd))。
更详细地描述在AMVP模式中用信号通知的运动信息，运动信息可以包括参考图片信息(参考图片索引)、预测运动矢量(mvp)信息和差分运动矢量(mvd)信息。在双向预测的情况下，上述信息针对每个方向单独用信号通知。下表1示出了针对每个方向用信号通知的关于参考图片信息、mvp信息和mvd信息的语法元素。
[表1]
在上表1中，inter_pred_idc是指示预测方向的语法元素(预测方向信息)，并且可以指示单向-L0(uni-L0)、单向-L1(uni-L1)和双向预测(bi-prediction)中的任何一个。根据本发明，由于在特定方向的运动信息是从在另一方向的运动信息推导的，因此inter_pred_idc指示双向预测。ref_idx_l0是指示在L0方向上的参考图片的语法元素(参考图片信息)，并且通过该语法元素指定参考图片列表0中所包括的参考图片当中用于预测当前块的参考图片。ref_idx_l1是指示在L1方向上的参考图片的语法元素(参考图片信息)，并且通过该语法元素指定参考图片列表1中所包括的参考图片当中用于预测当前块的参考图片。mvp_l0_flag是指示用于L0方向的mvp的语法元素(mvp信息)，并且通过该语法元素指定当前块的在L0方向的预测要使用的mvp。mvp_l1_flag是指示用于L1方向的mvp的语法元素(mvp信息)，并且通过该语法元素指定当前块的在L1方向的预测要使用的mvp。
构成mvd信息的语法元素表示在下表2中。
[表2]
在上表2中，abs_mvd_greater0_flag为指示mvd的绝对值(大小)是否超过0的语法元素，并且abs_mvd_greater1_flag为指示mvd的绝对值是否超过1的语法元素。另外，abs_mvd_minus2为指示从mvd的绝对值减去2获得的值的语法元素，并且mvd_sign_flag对应于指示mvd的符号的语法元素。
如表2所示，通过指示x分量和y分量中的每一个的绝对值的语法元素(abs_mvd_greater0_flag、abs_mvd_greater1_flag、abs_mvd_minus2)和指示符号的语法元素(mvd_sign_flag)来表示mvd。
下表3总结了基于表1和表2中描述的内容从视频编码设备用信号通知视频解码设备的用于传统AMVP模式的双向预测的信息。
[表3]
如上表3所示，在传统的AMVP模式中，为了对当前块执行双向预测，针对每个方向分别用信号通知参考图片信息、mvp信息、mvd信息等，这在比特效率方面可以是效率低下的。
本发明涉及为了提高双向预测的比特效率，通过推断用于预测当前块的参考图片或者使用在每个方向的运动信息之间的相关性从在特定方向的运动信息当中推断在其它方向的运动信息。
“特定方向”指示基于从视频编码设备用信号通知的信息来推断或推导运动信息的方向，并且“其它方向”指示基于在特定方向的运动信息来推断或推导运动信息的方向。在推断在其它方向的运动信息的过程中，可以使用在特定方向的运动信息和/或从视频编码设备用信号通知的信息中的至少一些。在本说明书中，描述了特定方向对应于方向L0，并且其它方向对应于方向L1，但特定方向可以对应于方向L0和L1中的任何一个，并且其它方向可以对应于两个方向当中不对应于特定方向的其余方向。在下文中，将特定方向称为第一方向，并且将其它方向称为第二方向。另外，将第一方向的运动矢量称为第一运动矢量，并且将第二方向的运动矢量称为第二运动矢量。
多条运动信息之间的相关性可以包括在多条运动信息之间建立的对称关系、线性关系、比例关系、基于当前图片的参考图片之间的图片次序计数(POC)差关系等。这种相关性可以是针对全部多条运动信息而建立的，并且可以是针对运动信息中所包括的每个元素(参考图片信息、mvp信息和mvd信息中的至少一个)而单独建立的。例如，可以在两个方向的多条mvd信息之间建立对称关系，并且可以在两个方向的mvp信息(由mvp_flag所指示的)以及两个方向的mvd信息之间建立线性关系。在此，在两个方向的mvp信息和mvd信息建立线性关系可以理解为在两个方向的运动矢量(运动)之间建立线性关系。
结合本说明书中所称运动信息的名称，将在特定方向(第一方向)的运动信息称为第一运动信息，并且依据包含元素的数量或类型，将在其它方向(第二方向)的运动信息称为第二运动信息或第三运动信息。第三运动信息是在第二方向的运动信息，并且可以是包括在第二方向的mvd信息和在第二方向的mvp信息的运动信息。第二运动信息和第三运动信息二者对应于在第二方向的运动信息，但可以根据包括在第二方向的mvd信息和mvp信息二者还是不包括mvp信息和mvd信息中的至少一个来分类。
在图5中例示了用于推断在第二方向的运动的本发明的实施方式。
视频编码设备可以通过在比特流中包括模式信息(mode_info)来用信号通知模式信息(mode_info)。本发明提出的双向预测模式可以包括从第一运动信息(motion_info_l0)中推导第二运动信息(motion_info_l1)的第一模式、使用用信号通知的信息推导第三运动信息(motion_info_l2)的第二模式等。
mode_info可以对应于用于指示多个双向预测模式中所包括的多个预测模式中的任一种的信息。依据可用双向预测模式的数量，可以以诸如标志或索引之类的各种形式实现模式信息。在下文中，将在mode_info指示在第一模式和第二模式当中当前块的双向预测所使用的预测模式的前提下进行描述。在该前提下，mode_info可以对应于指示第一模式是否应用于当前块的信息。另外，mode_info不指示应用第一模式的情况可以与指示不应用第一模式或指示应用第二模式相同。
当mode_info指示应用第一模式时，视频编码设备可以通过在比特流中包括motion_info_l0和motion_info_l1来用信号通知motion_info_l0和motion_info_l1。motion_info_l0可以包括在第一方向的差分运动矢量信息(mvd_l0)和在第一方向的预测运动矢量信息(mvp_l0_flag)。motion_info_l1可以包括mvd_l1和mvp_l1_flag中的一些(换言之，motion_info_l1可以不包括mvd_l1和mvp_l1_flag中的至少一些)。另一方面，当mode_info不指示应用第一模式时(当mode_info指示应用第二模式时)，视频编码设备可以通过在比特流中包括motion_info_l0和motion_info_l2来用信号通知motion_info_l0和motion_info_l2。motion_info_l2可以mvd_l1和mvp_l1_flag二者。
视频解码设备(解码单元)可以从比特流中解码mode_info(S530)。当mode_info指示应用第一模式时(S540)时，由于在比特流中包括motion_info_l1，所以视频解码设备可以从比特流中解码motion_info_l0和motion_info_l1(S550)。
视频解码设备(预测单元)可以基于motion_info_l0推导第一运动矢量mv_l0，并且基于motion_info_l0和motion_info_l1的至少一部分推导第二运动矢量mv_l1(S560)。由于motion_info_l0包括mvd_l0和mvp_l0_flag，因此可以通过如下公式1中对mvd_l0和mvp_l0进行求和来推导mv_l0。
[公式1]
在上面的公式1中，mvx0表示mv_l0的x分量，mvy0表示mv_l0的y分量。mvpx0表示mvp_l0的x分量，mvpy0表示mvp_l0的y分量。mvdx0表示mvd_l0的x分量，mvdy0表示mvd_l0的y分量。
由于motion_info_l1不包括mvd_l1和mvp_l1_flag的至少一部分，因此可以基于运动的相关性推导mv_l1。下面将描述推导mv_l1的详细方法。
视频解码设备可以使用作为在第一方向的参考图片的第一参考图片(ref_l0)内的由mv_l0所指示的第一参考块，以及在作为在第二方向的参考图片的第二参考图片内的由mv_l1所指示的第二参考块(ref_l1)，从而预测当前块(生成当前块的预测块)(S570)。可以根据从视频编码设备用信号通知的参考图片信息(ref_idx_l0和ref_idx_l1)来指定ref_l0和ref_l1，或者可以基于参考图片列表中所包括的参考图片与当前图片之间的POC差来推导ref_l0和ref_l1。下面将描述其具体实施方式。
同时，当在操作S540中mode_info不指示应用第一模式时(当mode_info指示应用第二模式时)，由于在比特流中包括motion_info_l2，所以视频解码设备可以从比特流解码motion_info_l0以及motion_info_l2(S590)。在这种情况下，视频解码设备可以基于motion_info_l0推导mv_l0并基于motion_info_l2推导mv_l1(S560)。另外，视频解码设备可以通过使用由mv_l0所指示的第一参考块和由mv_l1指示的第二参考块来预测当前块(S570)。
根据实施方式，视频编码设备可以通过在比特流中进一步包括启用信息(enabled_flag)来用信号通知启用信息(enabled_flag)。enabled_flag可以对应于指示是否启用第一模式的信息。当enabled_flag指示启用第一模式时，视频编码设备可以将enabled_flag编码为诸如序列级别、图片级别、瓦片组级别和切片级别的高级语法，并且通过在比特流中包括每个预测单元(块)的mode_info，来用信号通知每个预测单元(块)的mode_info。这样，可以针对每个块设置是否应用本发明提出的实施方式。
当enabled_flag被编码为高级语法并且mode_info被以块为单位编码时，视频解码设备可以从高级语法中解码enabled_flag(S510)，并且当enabled_flag指示启用第一模式时(S520)，从比特流中解码motion_info(S530)。同时，当enabled_flag指示不启用第一模式时，可以不对mode_info解码。在这种情况下，视频解码设备可以通过将mode_info设置或估计为“0”或“off(关闭)”以指示不应用第一模式，而向当前块不应用第一模式(S580)。
在下文中，将根据在运动信息中是否包括参考图片信息(ref_idx_l0和ref_idx_l1)、预测运动矢量信息(mvp_l0_flag和mvp_l1_flag)、差分运动矢量信息(mvd_l0和mvd_l0和mvd_l1)中的一些来描述本发明提出的各种实施方式。
在下面描述的实施方式中，motion_info_l0可以包括mvd_l0和mvp_l0_flag，而motion_info_l1可以不包括mvd_l1和mvp_l1_flag中的至少一些。换言之，motion_info_l0可以不包括ref_idx_l0，而motion_info_l1可以不包括ref_idx_l1、mvd_l1和mvp_l1_flag中的一个或更多个。
第一实施方式
第一实施方式对应于当ref_idx_l0、mvd_l0和mvp_l0全部包含在motion_info_l0中并且ref_idx_l1和mvp_l1包含在motion_info_l1中时，通过推断mvd_l1来推断运动信息的方法。
在第一实施方式中，可以从mvd_l0推导未用信号通知的mvd_l1。可以基于mvd_l1和mvd_l0之间建立的对称关系来推导mvd_l1。也就是说，mvd_l1可以被设置为或推导为与mvd_l0对称的值(mvd_l1＝-mvd_l0)，并且可以使用推导出的mvd_l1和用信号通知的mvp_l1推导mv_l1(公式2)。
[公式2]
(mvx1，mvy1)＝(mvpx1-mvdx0，mvpy1-mvdy0)
视频编码设备可以通过与上述相同的过程在在比特流中包括motion_info_l0和motion_info_l1(mvd_l1除外)，来用信号通知motion_info_l0和motion_info_l1(mvd_l1除外)。如图6所示，视频解码设备可以通过使用motion_info_l0中所包括的mvd_l0和mvp_l0来推导mv_l0。此外，视频解码设备可以通过使用从motion_info_l1中所包括的mvd_l0和mvp_l1推导出的mvd_l1(-mvd_l0)来推导mv_l1。
视频解码设备可以使用由ref_idx_l0所指示的ref_l0内的mv_l0所指示的第一参考块630和由ref_idx_l1所指示的ref_l1内的mv_l1所指示的第二参考块640，从而预测位于当前图片610内的当前块620。
第二实施方式
第二实施方式对应于当ref_idx_l0不包含在motion_info_l0中并且ref_idx_l1不包含在motion_info_l1中时，通过推断ref_l0和ref_l1来推断运动信息的方法。
在第二实施方式中，可以将ref_l0和ref_l1确定或推导为参考图片列表中所包括的参考图片当中具有第0索引(位于第一位置)的参考图片，或者可以基于参考图片列表中所包括的参考图片与当前图片之间的POC差来确定或推导ref_l0和ref_l1。在下文中，将描述基于与当前图片的POC差来推导ref_l0和ref_l1的方法。
视频解码设备可以基于参考图片列表0(在第一方向的参考图片列表)中所包括的参考图片和当前图片之间的POC值的差，选择在第一方向的参考图片列表中所包括的任何一幅参考图片，并将所选择的参考图片设置为ref_l0。例如，视频解码设备可以将与当前图片具有最小POC值差的参考图片(最接近参考图片)设置为ref_l0。
另外，视频解码设备可以基于参考图片列表1(在第二方向的参考图片列表)中包括的参考图片和当前图片之间的POC值的差，选择在第二方向的参考图片列表中所包括的任何一幅选择参考图片，并将所选择的参考图片设置为ref_l1。例如，视频解码设备可以将与当前图片具有最小POC值差的参考图片(最接近参考图片)设置为ref_l1。
视频解码设备可以顺序地或并行地比较参考图片列表中所包括的参考图片的POC值与当前图片的POC值，以选择任何一幅参考图片。当通过顺序地比较参考图片列表中所包括的参考图片来选择最接近参考图片时，视频解码设备可以虚拟地将参考图片的索引值设置为未指配给参考图片列表的索引值(例如，-1)，然后顺序地比较参考图片。
从在第一方向的参考图片列表中所选择的参考图片和从在第二方向的参考图片列表中所选择的参考图片可以相对于当前图片的POC值具有前向POC值或后向POC值。也就是说，从在第一方向的参考图片列表中所选择的参考图片和从在第二方向的参考图片列表中所选择的参考图片可以由一对前向参考图片和后向参考图片组成。
当推导出ref_l0和ref_l1时，视频解码设备可以使用ref_l0中由mv_l0所指示的第一参考块630和ref_l1中由mv_l1所指示的第二参考块640来预测当前块。
根据实施方式，确定ref_l0和ref_l1的过程可以在高于当前块的级别的高级别执行。也就是说，在motion_info_l0和motion_info_l1中所包含的元素中，可以以块为单位推导或确定除ref_l0和ref_l1之外的其余元素，并且可以以高级别为单位确定ref_l0和ref_l1。这里，高级别可以是比块级别更高的级别，诸如图片级别、瓦片组级别、切片级别、瓦片级别和编码树单元(CTU)级别。
第二实施方式可以与上述第一实施方式或以下要描述的实施方式结合实施。也就是说，虽然已经描述了在第一实施方式中用信号通知ref_idx_l0和ref_idx_l1，但是当应用第二实施方式时，在第一实施方式中没有用信号通知ref_idx_l0和ref_idx_l1，因此视频解码设备本身可以推导ref_l0和ref_l1。
第三实施方式
第三实施方式对应于基于在第一方向的运动和在第二方向的运动之间建立的线性关系从第一运动信息推断第二运动信息的方法。
视频编码设备可以通过在比特流中包括motion_info_l0来用信号通知视频解码设备motion_info_l0。motion_info_l0可以包括mvp_l0_flag、mvd_l0和/或ref_idx_l0。对于稍后要描述的每个实施方式，motion_info_l0中所包括的信息可以不同。
参见图7和图8，视频解码设备可以从比特流中解码motion_info_l0(S710)。视频解码设备可以通过使用mvp_l0_flag和mvd_l0来推断或推导mv_l0(S720)。可以通过如以上所述的公式1那样将mvp_l0和mvd_l0相加来推导mv_l0。这里，mvp_l0可以对应于由解码的mvp_l0_flag所指示的相邻块的运动矢量。
当推导出mv_l0时，视频解码设备可以通过使用ref_l0、ref_l1和mv_l0来推导mv_l1(S730)。推导出的mv_l1可以对应于与mv_l0具有线性关系的运动矢量。ref_l0可以是由从视频编码设备用信号通知的ref_idx_l0所指示的参考图片或单独定义的参考图片。另外，ref_l1可以是由从视频编码设备用信号通知的ref_idx_l1指示的参考图片或单独定义的参考图片。
可以通过将“当前图片610和ref_l0之间的POC值的差”和“当前图片610和ref_l1之间的POC值的差”之间的比例关系如以下公式3所示地应用于mv_l0来推导mv_l1。
[公式3]
在公式3中，mvx1表示mv_l1的x分量，mvy1表示mv_l1的y分量。POC0表示ref_l0的POC值，POC1表示ref_l1的POC值，POCcurr表示包含当前块620的当前图片610的POC值。另外，POCcurr-POC0表示ref_l0和当前图片610之间的POC值的差，并且POCcurr-POC1表示ref_l1和当前图片610之间的POC值的差。
当推导出mv_l1时，视频解码设备可以基于由mv_l0所指示的第一参考块630和由mv_l1所指示的第二参考块640来预测当前块620(S740)。
根据实施方式，由本发明提出的各种实施方式可以使用指示启用/禁用的语法元素(例如，linear_MV_coding_enabled_flag)和/或指示运动的线性关系的语法元素(例如，linear_MV_coding_flag或linear_MV_coding_idc)以确定是否应用于当前块620。这里，指示启用/禁用的语法元素可以对应于上述的启用信息，并且指示线性关系的语法元素可以对应于上述模式信息。
linear_MV_coding_enabled_flag是高级语法，并且可以定义在序列级别、图片级别、瓦片组级别和切片级别当中的一个或更多个位置处。可以针对对应于解码对象的每个块用信号通知linear_MV_coding_flag。
当linear_MV_coding_enabled_flag＝1时，可以通过针对每个预测单元用信号通知linear_MV_coding_flag来为每个块设置是否应用本发明提出的实施方式。当linear_MV_coding_flag＝1时，没有用信号通知一些或全部motion_info_l1，并且可以使用用发信号通知的motion_info_l0来推导motion_info_l1(第一模式)。当linear_MV_coding_flag＝0时，可以如传统方法中那样用信号通知motion_info_l1(第二模式)。
在下文中，将在linear_MV_coding_enabled_flag被定义为高级功能的激活并且针对每个块设置linear_MV_coding_flag的前提下描述本发明的各个实施方式。
实施方式3-1
实施方式3-1对应于如下方法：在双向预测期间motion_info_l1不用信号通知mvp_l1_flag和mvd_l1并且使用运动的线性关系从motion_info_l0推导mvp_l1_flag和mvd_l1。
当第二方向为L0方向时，可以通过运动的线性关系从在L1方向的mvd和mvp以及双向参考图片中推导在L0方向的运动信息。也就是说，没有用信号通知在方向L0的mvp信息和mvd信息。当第二方向为L1方向时，可以通过运动的线性关系从在L0方向的mvd和mvp以及双向参考图片中推导在L1方向的运动信息。也就是说，没有用信号通知在方向L1的mvp信息和mvd信息。
当使用线性关系(后一种情况)推导出在方向L1的运动矢量时，从视频编码设备用信号通知视频解码设备的信息如下表4所示地以语法表示。
[表4]
如表4所示，motion_info_l0可以通过被包括在比特流中而从视频编码设备用信号通知视频解码设备。用信号通知的motion_info_l0可以包括ref_idx_l0、mvd_l0和mvp_l0_flag。ref_idx_l1也可以通过被包括在比特流中来用信号通知。在实施方式3-1中，用于推导mv_l1的参考图片(ref_l0和ref_l1)对应于由从视频编码设备用信号通知的ref_idx_l0和ref_idx_l0所指示的参考图片。
当解码了motion_info_l0时(S910)，视频解码设备可以通过使用解码后的mvp_l0_flag和mvd_l0来推断或推导mv_l0(S920)。在这个过程中可以使用公式1。而且，可以从比特流中解码ref_idx_l1(S930)。
视频解码设备可以使用linear_MV_coding_enabled_flag来确定运动矢量推导功能是否被激活/停用(S940)。当linear_MV_coding_enabled_flag指示激活运动矢量推导功能时，可以从比特流中解码linear_MV_coding_flag以确定是否应用本发明提出的推导功能(S950)。
当解码后的linear_MV_coding_flag指示建立了运动的线性关系时(S960)，视频解码设备可以在建立了mv_l0和mv_l1之间的线性关系的前提下推导mv_l1(S970)。可以通过将每个参考图片ref_l0和ref_l1以及在每个方向的mv_l0应用于公式3来实现推导mv_l1的过程。
同时，当在操作S940中linear_MV_coding_enabled_flag中指示停用运动矢量推导功能或者在操作S960中linear_MV_coding_flag没有指示建立了运动的线性关系时，可以通过第二模式而不是第一种模式来推导mv_l1。具体地，视频解码设备可以从比特流中解码mvp_l1_flag和mvd_l1(S980和S990)，并通过使用mvp_l1_flag和mvd_l1来推导mv_l1(S992)。
在下表5中表示出了上述实施方式3-1的语法元素。
[表5]
图9例示了可以在解码ref_idx_l1的操作(S930)之后执行确定linear_MV_coding_enabled_flag的操作(S940)以及解码并确定linear_MV_coding_flag的操作(S950和S960)，但是操作S940到S960可以在解码motion_info_l0的操作(S910)之前执行。
在图10中例示了基于实施方式3-1推断mv_l1的示例。图10中(A)和图10中(B)各例示了在双向预测中根据POC值的大小的两种类型的当前图片610和参考图片ref_l0和ref_l1。下面要描述的实施方式可以应用于图10所例示的两种类型。
在双向预测中，如图10中(A)所示，当前图片610可以基于POC值(即，(POC0<POCcur)&(POCcur<POC1))位于参考图片(ref_l0和ref_l1)之间。另外，如图10中(B)所示，基于POC值(即，(POC0<POCcur)&(POC1<POCcur))，双向预测可以包括当前图片610的POC值大于参考图片ref_l0和ref_l1的POC值的情况。这里，POC0指示ref_l0的POC值，POC1指示ref_l1的POC值，并且POCcur指示当前图片610的POC值。
在两种双向预测中，可以在mv_l0(实线箭头)和mv_l1(虚线箭头)之间建立线性关系的前提下来推导mv_l1。在这个过程中，可以使用mv_l0以及在每个方向的参考图片ref_l0和ref_l1。当推导出mv_l1时，可以基于由mv_l0指示的参考块630和由推导出的mv_l1指示的参考块640来预测当前块620。
实施方式3-2
实施方式3-2对应于基于运动的线性关系推断mv_l1然后校正或调整mv_l1的方法。实施方式3-2与实施方式3-1的相同之处在于基于运动的线性关系来推导运动矢量，但是与实施方式3-1的不同之处在于使用偏移信息附加地校正或调整mv_l1。
用于运动校正的偏移信息对应于指示mv_l1和“调整后的mv_l1”之间的差异的信息。换言之，偏移信息对应于指示使用运动的线性关系推导出的运动矢量(mv_l1)与当前块的测量(实际)运动矢量(调整后的mv_l1)之间的差异的信息。
偏移信息可以包括偏移矢量或偏移索引。偏移矢量对应于用于指示相对于由mv_l1所指示的位置由“调整后的mv_l1”所指示的位置的信息。偏移索引对应于通过对可能对应于偏移矢量的候选进行索引而获得的信息。在下文中，将通过单独的实施方式来描述两种类型的偏移信息中的每一种。
偏移矢量
除了motion_info_l0之外，可以通过在比特流中还包括偏移矢量来用信号通知偏移矢量。如上所述，由于偏移矢量对应于调整后的mv_l1和(未调整的)mv_l1之间的差值，因此偏移矢量可以表示为运动矢量差(mvd)。另外，由于偏移矢量对应于使用运动线性关系推导出的运动矢量与当前块的测量到的运动矢量之间的差，因此偏移矢量可以与传统方法中使用的mvd(从相邻块的运动矢量推导出的mvp与当前块的mv之间的差)区分开来。在本实施方式中，用于双向预测的从视频编码设备向视频解码设备用信号通知的信息如下表6所示地以语法表达。
[表6]
/>
在上表6中，mvd_l1可以是传统方法中使用的mvd或偏移矢量。对于当前块620，当没有建立运动的线性关系时，可以用信号通知传统方法中使用的mvd作为mvd_l1，并且当建立了运动的线性关系时，可以用信号通知偏移矢量作为mvd_l1。
如表6所示，motion_info_l0可以从视频编码设备用信号通知视频解码设备。用信号通知的motion_info_l0可以包括如表6所示的ref_idx_l0、mvd_l0和mvp_l0_flag。也可以通过将ref_idx_l1包括在比特流中来用信号通知ref_idx_l1。
视频解码设备将由用信号通知的参考图片信息(ref_idx_l0和ref_idx_l1)所指示的参考图片设置为用于推断mv_l1(用于预测当前块)的参考图片(ref_l0和ref_l1)。
当解码了motion_info_l0时(S1110)，视频解码设备可以通过使用mvp_l0_flag和mvd_l0来推断或推导mv_l0(S1120)。在这个过程中可以使用公式1。而且，视频解码设备可以从比特流解码ref_idx_l1和mvd_l1(S1130和S1140)。这里，依据是否建立线性关系，mvd_l1可以对应于传统方法的mvd和偏移矢量中的任何一个。
视频解码设备可以使用linear_MV_coding_enabled_flag来确定是否激活/停用运动矢量推导功能(S1150)。当linear_MV_coding_enabled_flag指示激活运动矢量推导功能时，可以从比特流中解码linear_MV_coding_flag(S1160)。
当linear_MV_coding_flag指示建立了运动的线性关系时(S1170)，视频解码设备可以在建立了运动的线性关系的前提下推导mv_l1(S1180)。可以通过将参考图片(ref_l0和ref_l1)和mv_l0应用于公式3来实现该过程。
视频解码设备可以通过将偏移矢量(mvd_l1)应用于推导出的mv_l1来调整或校正mv_l1(S1182)。具体地，可以调整mv_l1，使得调整后的mv_l1指示以mv_l1所指示的位置作为原点平移了偏移矢量mvd_l1的位置。mv_l1的调整可以被理解为，在推导出的mv_l1是在第二方向的预测运动矢量(mvp)的假设下，将偏移矢量(mvd_l1)应用于假设的预测运动矢量。
同时，当linear_MV_coding_enabled_flag在操作S1150中指示停用运动矢量推导功能，或者linear_MV_coding_flag在操作S1170中没有指示建立了运动的线性关系时，视频解码设备可以通过传统方法而不是本发明提出的推导方法来推导mv_l1。具体地，视频解码设备可以解码mvp_l1_flag(S1190)，并且通过将mvp_l1_flag所指示的mvp_l1与在S1140中解码的mvd_l1进行求和来推导mv_l1(S1192)。这里，mvd_l1对应于传统方法中使用的mvd。
下表7中示出了用于上述实施方式的语法元素。
[表7]
图11例示了在解码mvd_l1的操作(S1140)之后执行确定linear_MV_coding_enabled_flag的操作(S1150)以及解码并确定linear_MV_coding_flag的操作(S1160和S1170)，但是可以在解码motion_info_l0的操作(S1110)之前执行操作S1150至S1170。
在图12中例示了基于本实施方式推导mv_l1的示例。如图12所示，可以在mv_l0(实线箭头)和mv_l1(虚线箭头)之间建立了线性关系的前提下推导mv_l1。
此外，假设推导出的mv_l1为预测运动矢量，可以通过根据偏移矢量mvd_l1所指示的方向和大小来移动mv_l1所指示的位置，而调整mv_l1。可以基于由mv_l0指示的参考块630和由调整后的第二运动矢量(mvA_l1)所指示的参考块640来预测当前块620。
偏移索引
除了motion_info_l0之外，可以通过在比特流中还包括偏移索引来用信号通知偏移索引。如上所述，偏移索引对应于指示一个或更多个预设偏移矢量候选(可以对应于偏移矢量的候选)中的任何一个的索引。
在本实施方式中，用于双向预测的从视频编码设备用信号通知视频解码设备的信息以如下表8所示地以语法表达。
[表8]
在上表8中，mv_offset指示与偏移索引相对应的语法元素。可以通过在比特流中包括motion_info_l0，将motion_info_l0从视频编码设备用信号通知视频解码设备。用信号通知的motion_info_l0可以包括如表8所示的ref_idx_l0、mvd_l0和mvp_l0_flag。也可以通过在比特流中包括ref_idx_l1，来用信号通知ref_idx_l1。视频解码设备将用信号通知的参考图片信息ref_idx_l0和ref_idx_l1所指示的参考图片设置为用于推断mv_l1的参考图片ref_l0和ref_l1。
当解码了motion_info_l0时(S1310)，视频解码设备可以通过使用motion_info_l0中所包括的mvp_l0_flag和mvd_l0来推断或推导mv_l0(S1320)。在这个过程中可以使用公式1。而且，视频解码设备可以解码ref_idx_l1(S1330)。
视频解码设备可以通过分析linear_MV_coding_enabled_flag来确定激活还是停用运动矢量推导功能(S1340)。当linear_MV_coding_enabled_flag指示激活运动矢量推导功能时，可以从比特流中解码linear_MV_coding_flag(S1350)。
当linear_MV_coding_flag指示建立了运动的线性关系时(S1360)，视频解码设备解码偏移索引mv_offset(S1370)，并且可以在建立了mv_l0和mv_l1之间的线性关系的前提下推导mv_l1(S1380)。可以通过将mv_l0和双向参考图片(ref_l0和ref_l1)应用于公式3来实现该过程。
视频解码设备可以通过将由偏移索引(mv_offset)所指示的偏移矢量候选应用于推导出的mv_l1，来调整或校正mv_l1(S1382)。具体地，可以通过将偏移索引(mv_offset)所指示的偏移矢量候选加至mv_l1，来调整mv_l1。换言之，调整mv_l1可以理解为在推导出的mv_l1为在第二方向的预测运动矢量(mvp)的假设下，将偏移索引(mv_offset)所指示的偏移矢量候选应用于假设的预测运动矢量。
同时，当linear_MV_coding_enabled_flag在操作S1340中指示停用运动矢量推导功能或者linear_MV_coding_flag在操作S1360中没有指示建立了运动的线性关系时，可以通过传统方法而不是本发明提出的推导方法来推导mv_l1。具体地，视频解码设备可以从比特流解码mvd_l1和mvp_l1_flag(S1390和S1392)，并且通过将mvp_l1_flag所指示的mvp_l1和mvd_l1进行求和来推导mv_l1(S1394)。
下表9中示出了上述实施方式的语法元素。
[表9]
图13例示了在解码ref_idx_l1的操作(S1330)之后执行确定linear_MV_coding_enabled_flag的操作(S1340)以及解码并确定linear_MV_coding_flag的操作(S1350和S1360)，但是可以在解码motion_info_l0的操作(S1310)之前执行操作S1340至S1360。
图14中例示了在本实施方式中使用的各种类型的偏移矢量候选。图14中(a)例示了当允许4点偏移的运动时的偏移矢量候选(内部为空的圆)。实心圆表示基于运动的线性关系而推导出的mv_l1。当允许4点偏移的运动时，可以使用2比特固定长度(FL)的偏移索引来指示偏移矢量候选中的任何一个。
图14中(b)例示了当允许8点偏移的运动时的偏移矢量候选。可以通过将四个偏移矢量候选(填充有垂直图案的圆)添加到4点偏移矢量候选来配置8点偏移矢量候选。当允许8点偏移的运动时，可以使用3比特固定长度的偏移索引来指示偏移矢量候选中的任何一个。
图14中(c)例示了当允许16点偏移的运动时的偏移矢量候选。可以通过将8个偏移矢量候选(填充有水平图案的圆)添加到8点偏移矢量候选来配置16点偏移矢量候选。当允许16点偏移的运动时，可以使用4比特固定长度的偏移索引来指示偏移矢量候选中的任何一个。
图14中(d)例示了允许16点偏移的运动的情况的另一示例。可以通过组合填充有水平图案的8点偏移矢量候选和填充有对角线图案的8点偏移矢量候选来配置16点偏移矢量候选。当允许16点偏移的运动时，可以使用4比特固定长度的偏移索引来指示偏移矢量候选中的任何一个。
可以在图片级别标头、瓦片组标头、瓦片标头和/或CTU标头的一个或更多个位置处确定或定义设置参照图14所描述的各种类型的偏移矢量候选中的哪一种类型。也就是说，可以使用从视频编码设备用信号通知的信息(标识信息)来确定偏移矢量候选的形状，并且可以在上述各种位置定义标识信息。由于标识信息确定或标识各种类型的偏移矢量候选中的任何一种类型，因此可以通过标识信息来确定偏移矢量候选的数量、每个候选的大小和每个候选的方向。
另外，可以通过在视频编码设备和视频解码设备处使用相同的规则来预先确定设置各种类型的偏移矢量候选中的哪一种类型。
第四实施方式
第四实施方式对应于如下方法：在没有信令的情况下使用motion_info_l0推导在水平和垂直运动方向当中建立了线性关系的方向的运动，同时使用附加用信号通知的信息(偏移信息)来调整未建立线性关系的方向的运动。
例如，当仅针对运动的水平轴分量建立了线性关系时，可以没有修改地使用推导出的mv_l1的水平轴分量，但通过使用附加的用信号通知的偏移信息来调整没有建立线性关系的垂直轴分量。作为另一示例，当仅针对运动的垂直轴分量建立了线性关系时，没有修改地使用推导出的mv_l1的垂直轴分量，但通过使用附加的用信号通知的偏移信息来调整没有建立线性关系的水平轴分量。
第四实施方式可以以结合上述实施方式3-1或3-2的形式来实现。在下文中，将分别描述第四实施方式与实施方式3-1组合的形式以及第四实施方式与实施方式3-2组合的形式。
实施方式4-1
实施方式4-1对应于第四实施方式与实施方式3-1组合的形式。在本实施方式中，用于双向预测的从视频编码设备向视频解码设备用信号通知的信息如下表10所示地以语法表达。
[表10]
在表10中，mvd_l1可以是偏移信息(偏移矢量)或传统方法的mvd。例如，当针对水平轴分量没有建立线性关系时，mvd_l1是水平轴分量的偏移矢量，当针对垂直轴分量没有建立线性关系时，mvd_l1可以是垂直轴分量的偏移矢量。此外，当针对水平轴分量和垂直轴分量二者都没有建立线性关系时，mvd_l1可以是传统方法的mvd。当针对水平轴分量和垂直轴分量二者都建立了线性关系时，没有用信号通知mvd_l1。
motion_info_l0可以通过被包括在比特流中而从视频编码设备用信号通知视频解码设备。用信号通知的motion_info_l0可以包括ref_idx_l0、mvd_l0和mvp_l0_flag。也可以通过在比特流中包括ref_idx_l1来用信号通知ref_idx_l1。视频解码设备将用信号通知的参考图片信息(ref_idx_l0和ref_idx_l1)指示的参考图片设置为用于推断mv_l1的参考图片(ref_l0和ref_l1)。
当解码了motion_info_l0时(S1510)，视频解码设备可以通过使用mvp_l0_flag和mvd_l0来推断或推导mv_l0(S1520)。在这个过程中可以使用公式1。而且，视频解码设备可以从比特流中解码ref_idx_l1(S1530)。
当linear_MV_coding_enabled_flag指示激活运动矢量推导功能时(S1540)，视频解码设备从比特流中解码linear_MV_coding_idc(S1550)。这里，linear_MV_coding_idc是指示运动是否具有线性关系的信息，并且可以通过使用该信息来指示在运动的水平轴分量和垂直轴分量当中建立了线性关系的分量。
当linear_MV_coding_idc＝none(S1560)时，由于针对两个分量都没有建立线性关系，所以如在传统方法中那样用信号通知mvp_l1_flag和mvd_l1。因此，视频解码设备可以从比特流解码mvp_l1_flag和mvd_l0(S1562)，并通过使用解码的信息来推导mv_l1(S1564)。而且，当在操作S1540中linear_MV_coding_enabled_flag没有指示激活运动矢量推导功能时，视频解码设备可以通过使用解码的mvp_l1_flag和mvd_l1来推导mv_l1(S1562和S1564)。
当linear_MV_coding_idc＝x(S1570)时，由于仅针对水平轴分量(x)建立了线性关系，所以用信号通知用于没有建立线性关系的垂直轴分量(y)的偏移矢量(mvd_l1，y)。因此，视频解码设备解码用于垂直轴分量的偏移矢量(mvd_l1，y)(S1572)，并且使用线性关系推导mv_l1。而且，视频解码设备可以通过将用于垂直轴分量的偏移矢量(mvd_l1，y)应用于推导出的mv_l1，来调整mv_l1(S1576)。
视频解码设备可以对于水平轴分量没有修改地使用“推导出的mv_l1”，而对于垂直轴分量使用调整后的第二运动矢量(mvA_l1)。推导出的mv_l1的水平轴分量和调整后的第二运动矢量(mvA_l1)的水平轴分量可以相同。
当linear_MV_coding_idc＝y(S1580)时，由于仅针对垂直轴分量建立了线性关系，所以用信号通知用于没有建立线性关系的水平轴分量的偏移矢量(mvd_l1，x)。因此，视频解码设备可以解码用于水平轴分量的偏移矢量(mvd_l1，x)(S1582)，并且通过使用线性关系将用于水平轴分量的偏移矢量(mvd_l1，x)应用于推导出的mv_l1(S1584)以调整mv_l1(S1586)。
视频解码设备可以对于垂直轴分量没有修改地使用“推导出的mv_l1”，并且对于水平轴分量使用调整后的第二运动矢量(mvA_l1)。推导出的mv_l1的垂直轴分量与调整后的第二运动矢量(mvA_l1)的垂直轴分量可以相同。
当linear_MV_coding_idc＝(x&y)(S1580)时，由于针对水平轴分量和垂直轴分量二者都建立了线性关系，因此没有用信号通知mvd_l1(在第二方向的偏移信息或mvd信息)。在这种情况下，视频解码设备通过使用motion_info_l0和ref_idx_l1来推导mv_l1(S1590)。
在下表11中示出了实施方式4-1的语法元素。
[表11]
图15例示了可以在解码ref_idx_l1的操作(S1530)之后执行确定linear_MV_coding_enabled_flag的操作(S1540)以及解码并确定linear_MV_coding_idc的操作(S1550至S1580)，但是可以在解码motion_info_l0的操作(S1510)之前执行操作S1540至S1580。
实施方式4-2
实施方式4-2对应于第四实施方式和实施方式3-2组合的形式。在该实施方式中，用于双向预测的从视频编码设备用信号通知视频解码设备的信息如上表10所示地以语法表达。
在表10中，mvd_l1可以是偏移信息(偏移矢量)或传统方法的mvd。例如，当针对水平轴分量没有建立线性关系时，mvd_l1是用于水平轴分量的偏移矢量，而当没有建立垂直轴分量的线性关系时，mvd_l1可以是用于垂直轴分量的偏移矢量。而且，当针对水平轴分量和垂直轴分量二者都没有建立线性关系时，mvd_l1可以是传统方法的mvd。当针对水平轴分量和垂直轴分量二者都建立了线性关系时，mvd_l1可以是用于两个分量的偏移矢量。
motion_info_l0可以通过被包括在比特流中而从视频编码设备用信号通知视频解码设备。用信号通知的motion_info_l0可以包括ref_idx_l0、mvd_l0和mvp_l0_flag。也可以通过在比特流中包括ref_idx_l1来用信号通知ref_idx_l1。视频解码设备将用信号通知的参考图片信息(ref_idx_l0和ref_idx_l1)所指示的参考图片设置为用于推断mv_l1的参考图片(ref_l0和ref_l1)。
当解码了motion_info_l0时(S1610)，视频解码设备可以通过使用mvp_l0_flag和mvd_l0来推断或推导mv_l0(S1620)。在这个过程中可以使用公式1。此外，视频解码设备可以从比特流中解码ref_idx_l1(S1630)。
当linear_MV_coding_enabled_flag指示激活运动矢量推导功能时(S1640)，视频解码设备从比特流中解码linear_MV_coding_idc(S1650)。
当linear_MV_coding_idc＝none(S1660)时，由于针对两个分量没有建立线性关系，因此如传统方法中那样用信号通知mvp_l1_flag和mvd_l1。因此，视频解码设备可以从比特流中解码mvp_l1_flag和mvd_l1(S1662)并且通过使用解码的信息推导mv_l1(S1664)。即使在操作S1640中linear_MV_coding_enabled_flag没有指示激活运动矢量推导功能时，视频解码设备也可以通过使用解码的mvp_l1_flag和mvd_l1来推导mv_l1(S1662和S1664)。
当linear_MV_coding_idc＝x(S1670)时，由于仅针对水平轴分量建立了线性关系，所以用信号通知用于没有建立线性关系的垂直轴分量的偏移矢量(mvd_l1，y)。因此，视频解码设备解码用于垂直轴分量的偏移矢量(mvd_l1，y)(S1672)，并使用线性关系推导mv_l1(1674)。然后，视频解码设备可以通过将用于垂直轴分量的偏移矢量(mvd_l1，y)应用于推导出的mv_l1来调整mv_l1(S1676)。
视频解码设备可以对于水平轴分量没有改变地使用“推导出的mv_l1”，并且对于垂直轴分量使用调整后的第二运动矢量(mvA_l1)。推导出的mv_l1的水平轴分量和调整后的第二运动矢量(mvA_l1)的水平轴分量可以相同。
当linear_MV_coding_idc＝y(S1680)时，由于仅针对垂直轴分量建立了线性关系，所以用信号通知用于没有建立线性关系的水平轴分量的偏移矢量(mvd_l1，x)。因此，视频解码设备可以解码用于水平轴分量的偏移矢量(mvd_l1，x)(S1682)，推导通过使用线性关系推导的mv_l1(S1684)，并将用于水平轴分量的偏移矢量(mvd_l1，x)应用于推导出的mv_l1以调整mv_l1(S1686)。
视频解码设备可以对于垂直轴分量没有修改地使用“推导出的mv_l1”，而针对水平轴分量使用调整后的第二运动矢量(mvA_l1)。推导出的mv_l1的垂直轴分量与调整后的第二运动矢量(mvA_l1)的垂直轴分量可以相同。
当linear_MV_coding_idc＝(x&y)(S1680)时，由于针对水平轴分量和垂直轴分量二者都建立了线性关系，所以用信号通知用于水平轴分量和垂直轴分量二者的偏移矢量(mvd_l1，x和y)。因此，视频解码设备从比特流解码用于水平轴分量和垂直轴分量二者的偏移矢量(mvd_l1，x和y)(S1690)，并且可以通过将偏移矢量(mvd_l1，x和y)应用于使用线性关系推导出的mv_l1(S1692)(S1694)。
在下表12中示出了实施方式4-2的语法元素。
[表12]
图16例示了可以在解码ref_idx_l1的操作(S1630)之后执行确定linear_MV_coding_enabled_flag的操作(S1640)以及解码并确定linear_MV_coding_idc的操作(S1650至S1680)，但是可以在解码motion_info_l0的操作(S1610)之前执行操作S1640至S1680。
图17中例示了基于第四实施方式推导mv_l1的示例。图17中所示的示例对应于针对垂直轴分量建立了线性关系的示例。
如图17所示，可以在mv_l0(实线箭头)和mv_l1(虚线箭头)之间建立了线性关系的前提下推导mv_l1。
由于针对水平轴分量没有建立线性关系，因此可以通过根据偏移矢量mvd_l1所指示的大小，将推导出的mv_l1所指示的位置在水平轴方向上移动来调整mv_l1。可以通过使用没有修改的mv_l1的垂直轴分量和调整后的第二运动矢量mvA_l1的水平轴分量，来推导在第二方向的最终运动矢量mvA_l1。可以基于由mv_l0指示的参考块630和由调整后的第二运动矢量(mvA_l1)所指示的参考块640来预测当前块620。
第五实施方式
第五实施方式对应于使用预设参考图片作为用于推导mv_l1的参考图片的方法。预设参考图片是指在建立运动线性关系时预设的要使用的参考图片。
在第五实施方式中，参考图片信息(ref_idx_l0和ref_idx_l1)不是以块为单位用信号通知的，而是可以以高级别用信号通知的。此处，高级别可以对应于图片级别标头、瓦片组级别标头、切片标头、瓦片标头和/或CTU标头中的一个或更多个。预设参考图片可以被称为“代表性参考图片”或“线性参考图片”，并且以高级别用信号通知的参考图片信息可以被称为“代表性参考图片信息”或“线性参考图片信息”。当建立了运动的线性关系时，以块为单位使用预设的线性参考图片。
在下表13中示出了在瓦片组标头中用信号通知的线性参考图片信息。
[表13]
在表13中，linear_ref_idx_l0和linear_ref_idx_l1中的每一个代表针对每个方向用信号通知的线性参考图片信息。
图18例示了在传统方法中通过针对每个块用信号通知参考图片信息来指定参考图片的方法或通过本发明中提出的方法指定线性参考图片的方法的示例。
线性参考图片信息(linear_ref_idx_l0和linear_ref_idx_l1)可以通过高级别从视频编码设备用信号通知视频解码设备。视频解码设备可以通过在参考图片列表内选择用信号通知的线性参考图片信息(linear_ref_idx_l0和linear_ref_idx_l1)所指示的参考图片来设置线性参考图片(linear_ref_l0和linear_ref_l1)。
当linear_MV_coding_enabled_flag指示激活运动矢量推导功能时(S1810)，视频解码设备从比特流中解码linear_MV_coding_flag(S1820)。
当linear_MV_coding_flag指示建立了运动的线性关系时(S1830)，视频解码设备可以使用预设的线性参考图片(linear_ref_l0和linear_ref_l1)来推导用于推导mv_l1的参考图片(ref_l0和ref_l1)(S1840和S1850)。也就是说，预设线性参考图片(linear_ref_l0和linear_ref_l1)可以被设置为参考图片(ref_l0和ref_l1)。
同时，当在操作S1810中linear_MV_coding_enabled_flag没有指示激活运动矢量推导函数或者在操作S1830中linear_MV_coding_flag没有指示建立了运动的线性关系时，可以用信号通知参考图片信息(ref_idx_l0和ref_idx_l1)。视频解码设备可解码参考图片信息(ref_idx_l0和ref_idx_l1)(S1860和S1870)，并使用参考图片信息来设置参考图片。
可以结合上述实施方式来实现由本发明提出的设置参考图片的方法。图19例示了组合了由本发明提出的设置参考图片的方法和上述实施方式3-1的形式。
对于第一方向，当linear_MV_coding_enabled_flag指示激活运动矢量推导功能时(S1910)，解码linear_MV_coding_flag(S1920)。当linear_MV_coding_flag指示建立了运动的线性关系时，可以推导预设线性参考图片(linear_ref_l0)作为参考图片(ref_l0)(S1940)。另一方面，当linear_MV_coding_enabled_flag没有指示激活运动矢量推导功能或者linear_MV_coding_flag没有指示建立了运动的线性关系时，可以通过使用从比特流中解码的参考图片信息(ref_idx_l0)来设置参考图片(ref_l0)(S1962)。
当完成针对第一方向的参考图片的推导或设置时，解码mvd_l0和mvp_l0_flag(S1950)，并且可以使用解码的信息来推导mv_l0(S1960)。
对于第二方向，当linear_MV_coding_flag指示建立了运动的线性关系时(S1970)，可以使用预设的线性参考图片(linear_ref_l1)来推导或设置参考图片(ref_l1)(S1972)。另一方面，当linear_MV_coding_flag没有指示建立运动的线性关系时，可以使用从比特流解码的参考图片信息(ref_idx_l1)来设置参考图片(ref_l1)(S1974)。
当完成针对第二方向的参考图片的推导或设置时，在linear_MV_coding_flag表示运动的线性关系成立时(S1980)，可以推导与mv_l0具有线性关系的mv_l1(S1982)。另一方面，当linear_MV_coding_flag没有指示建立了运动的线性关系时(S1980)，可以使用从比特流解码的mvd_l1和mvp_l1_flag(S1990和S1992)来推导mv_l1(S1994)。
在下表14中示出了上述实施方式的语法元素。
[表14]
图20例示了本发明提出的设置参考图片的方法和上述实施方式3-2组合的形式。
对于第一方向，当linear_MV_coding_enabled_flag指示激活运动矢量推导功能时(S2010)，解码linear_MV_coding_flag(S2020)。当linear_MV_coding_flag指示建立了运动的线性关系时(S2030)，可以使用预设线性参考图片(linear_ref_l0)推导或设置参考图片(ref_l0)(S2040)。另一方面，当linear_MV_coding_enabled_flag没有指示激活运动矢量推导功能(S2010)或者linear_MV_coding_flag没有指示建立了运动的线性关系时(S2030)，可以使用从比特流中解码的参考图片信息(ref_idx_l0)来设置参考图片(ref_l0)(S2062)。
当完成针对第一方向的参考图片的推导或设置时，解码mvd_l0和mvp_l0_flag(S2050)，并且可以使用解码的信息来推导mv_l0(S2060)。
对于第二方向，当linear_MV_coding_flag指示建立了运动的线性关系时(S2070)，可以使用预设的线性参考图片(linear_ref_l1)来推导或设置参考图片(ref_l1)(S2072)。另一方面，当linear_MV_coding_flag没有指示建立了运动的线性关系时，可以使用从比特流解码的参考图片信息(ref_idx_l1)来设置参考图片(ref_l1)(S2074)。
当完成针对第二方向的参考图片的推导或设置时，从比特流解码mvd_l1(S2080)，并且mvd_l1对应于偏移矢量或传统方法的mvd，如同在实施方式3-2中那样。
当linear_MV_coding_flag指示建立了运动的线性关系时(S2090)，推导与mv_l0具有线性关系的mv_l1(S2092)，并且可以通过将偏移矢量(mvd_l1)应用于推导出的mv_l1来调整mv_l1(S2094)。另一方面，当linear_MV_coding_flag没有指示建立了运动的线性关系时(S2090)，可以使用从比特流解码出的mvp_l1_flag来推导mv_l1(S2096和S2098)。在这个过程中，可以使用由mvp_l1_flag指示的mvp_l1和解码的mvd_l1(传统方法的mvd)。
尽管出于示例的目的描述了本发明的示例性实施方式，但是本领域技术人员将理解，在不脱离本发明的思想和范围的情况下，可以有各种修改和变型。为了简洁和清楚起见，已经描述了示例性实施方式。因此，本领域普通技术人员将理解，本发明的范围不受上述明确描述的实施方式的限制，而是包括权利要求及其等同物。
相关申请的交叉引用
本申请要求于2018年12月27日在韩国提交的第10-2018-0171254号专利申请和2019年8月28日在韩国提交的第10-2019-0105769号专利申请的优先权，其全部内容通过引用并入本文中。

Claims (11)

1.一种使用多种双向预测模式中的任何一种对当前块进行帧间预测的设备，该设备包括至少一个处理器，所述至少一个处理器被配置为：
对启用信息进行解码，所述启用信息指示是否允许所述多种双向预测模式中的第一模式；
当所述启用信息指示允许所述第一模式时，在比特流中在所述当前块的块级别解码模式信息，该模式信息指示是否向所述当前块应用所述第一模式；
当所述模式信息指示向所述当前块应用所述第一模式时，
从所述比特流解码包括针对第一运动矢量的差分运动矢量信息和预测运动矢量信息的第一运动信息及不包括针对第二运动矢量的差分运动矢量信息和预测运动矢量信息的至少一部分的第二运动信息；以及
基于所述第一运动信息推导所述第一运动矢量，以及基于所述第一运动信息的至少一部分并基于所述第二运动信息推导所述第二运动矢量；
使用第一参考图片中由所述第一运动矢量所指示的参考块和第二参考图片中由所述第二运动矢量所指示的参考块来预测所述当前块；以及
生成残差块并且基于预测块和所述残差块来重构所述当前块，
其中，在所述第一模式中，在比所述块级别更高的高级别确定所述第一参考图片和所述第二参考图片。
2.根据权利要求1所述的设备，其中，所述至少一个处理器被配置为当所述模式信息指示不向所述当前块应用所述第一模式时，
从所述比特流解码所述第一运动信息和包括针对所述第二运动矢量的所述差分运动矢量信息和所述预测运动矢量信息的第三运动信息；以及
基于所述第一运动信息推导所述第一运动矢量以及基于所述第三运动信息推导所述第二运动矢量。
3.根据权利要求1所述的设备，其中，当所述启用信息指示不激活所述第一模式时，不从所述比特流解码所述模式信息并且将所述模式信息设置为指示不应用所述第一模式。
4.根据权利要求1所述的设备，其中，在序列级别、图片级别、瓦片组级别或切片级别解码所述启用信息。
5.根据权利要求1所述的设备，其中，所述高级别是图片级别、瓦片组级别、切片级别、瓦片级别或编码树单元级别。
6.根据权利要求1所述的设备，其中，基于参考图片列表中所包括的参考图片与当前图片之间的图片次序计数POC差来确定所述第一参考图片和所述第二参考图片。
7.根据权利要求1所述的设备，其中，所述至少一个处理器被配置为在推导出所述第二运动矢量之后，通过将所述比特流中包括的偏移信息应用于所述第二运动矢量来调整所述第二运动矢量，
其中，通过使用所述第二参考图片中由调整后的第二运动矢量所指示的参考块和所述第一参考图片中由所述第一运动矢量所指示的参考块来预测所述当前块。
8.根据权利要求7所述的设备，其中，所述偏移信息是以由所述第二运动矢量所指示的位置作为原点的偏移矢量，并且
其中，将所述第二运动矢量调整至由所述偏移矢量所指示的位置。
9.根据权利要求7所述的设备，其中，所述偏移信息是指示多个预设偏移矢量候选中的任一个的偏移索引，并且
其中，所述至少一个处理器被配置为通过将由所述偏移索引所指示的偏移矢量候选应用于所述第二运动矢量来调整所述第二运动矢量。
10.一种使用多种双向预测模式中的任何一种来对当前块进行帧间预测的视频编码设备，该视频编码设备包括至少一个处理器，所述至少一个处理器被配置为：
对启用信息进行编码，所述启用信息指示是否允许所述多种双向预测模式中的第一模式；
当所述启用信息指示允许所述第一模式时，在所述当前块的块级别编码模式信息，该模式信息指示是否向所述当前块应用所述第一模式；
当所述模式信息指示向所述当前块应用所述第一模式时，
编码包括针对第一运动矢量的差分运动矢量信息和预测运动矢量信息的第一运动信息以及不包括针对第二运动矢量的差分运动矢量信息和预测运动矢量信息的至少一部分的第二运动信息，并且
生成残差块所述残差块是所述当前块与所述当前块的预测块之间的差，其中，通过使用第一参考图片中由所述第一运动矢量所指示的参考块和第二参考图片中由所述第二运动矢量所指示的参考块来生成所述预测块；以及
通过对所述残差块进行变换来生成变换系数并且对关于所述变换系数的信息进行编码，
其中，在所述第一模式中，在比所述块级别更高的高级别确定所述第一参考图片和所述第二参考图片。
11.一种用于传输包含编码视频数据的比特流的设备，所述设备包括至少一个处理器，所述至少一个处理器被配置为：
通过使用多种双向预测模式中的任何一种对当前块进行编码来生成所述比特流；以及
将所述比特流传输到视频解码设备，
其中，所述至少一个处理器为了生成所述比特流进一步被配置为：
对启用信息进行编码，所述启用信息指示是否允许所述多种双向预测模式中的第一模式；
当所述启用信息指示允许所述第一模式时，在所述当前块的块级别编码模式信息，该模式信息指示是否向所述当前块应用所述第一模式；
当所述模式信息指示向所述当前块应用所述第一模式时，
编码包括针对第一运动矢量的差分运动矢量信息和预测运动矢量信息的第一运动信息以及不包括针对第二运动矢量的差分运动矢量信息和预测运动矢量信息的至少一部分的第二运动信息，并且
生成残差块，所述残差块是所述当前块与所述当前块的预测块之间的差，其中，通过使用第一参考图片中由所述第一运动矢量所指示的参考块和第二参考图片中由所述第二运动矢量所指示的参考块来生成所述预测块；以及
对所述残差块进行变换以生成变换系数并且对关于所述变换系数的信息进行编码，
其中，在所述第一模式中，在比所述块级别更高的高级别确定所述第一参考图片和所述第二参考图片。
CN202410297544.2A 2018-12-27 2019-12-26 双向预测设备、视频编码设备及比特流传输设备 Pending CN118175309A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2018-0171254 2018-12-27
KR20180171254 2018-12-27
KR1020190105769A KR20200081201A (ko) 2018-12-27 2019-08-28 양방향 예측 방법 및 영상 복호화 장치
KR10-2019-0105769 2019-08-28
PCT/KR2019/018477 WO2020138958A1 (ko) 2018-12-27 2019-12-26 양방향 예측 방법 및 영상 복호화 장치
CN201980092691.3A CN113455000B (zh) 2018-12-27 2019-12-26 双向预测方法及视频解码设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980092691.3A Division CN113455000B (zh) 2018-12-27 2019-12-26 双向预测方法及视频解码设备

Publications (1)

Publication Number Publication Date
CN118175309A true CN118175309A (zh) 2024-06-11

Family

ID=71128266

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202410297544.2A Pending CN118175309A (zh) 2018-12-27 2019-12-26 双向预测设备、视频编码设备及比特流传输设备
CN202410297531.5A Pending CN118175306A (zh) 2018-12-27 2019-12-26 帧间预测设备、视频编码设备及比特流传输设备
CN202410297537.2A Pending CN118175308A (zh) 2018-12-27 2019-12-26 双向预测设备、视频编码设备及比特流传输设备
CN202410297535.3A Pending CN118175307A (zh) 2018-12-27 2019-12-26 双向预测方法、视频编码方法及比特流传输方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202410297531.5A Pending CN118175306A (zh) 2018-12-27 2019-12-26 帧间预测设备、视频编码设备及比特流传输设备
CN202410297537.2A Pending CN118175308A (zh) 2018-12-27 2019-12-26 双向预测设备、视频编码设备及比特流传输设备
CN202410297535.3A Pending CN118175307A (zh) 2018-12-27 2019-12-26 双向预测方法、视频编码方法及比特流传输方法

Country Status (3)

Country Link
US (5) US11575904B2 (zh)
CN (4) CN118175309A (zh)
WO (1) WO2020138958A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021023392A2 (pt) * 2019-06-21 2022-04-19 Samsung Electronics Co Ltd Método, realizado por um aparelho de decodificação, para decodificação de informação de movimento, aparelho para decodificar informação de movimento, método realizado por um aparelho de codificação, de codificação de informação de movimento, e aparelho para codificar informação de movimento
WO2023158212A1 (ko) * 2022-02-15 2023-08-24 엘지전자 주식회사 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1225127C (zh) 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
KR20050122496A (ko) 2004-06-24 2005-12-29 삼성전자주식회사 Ｂ-픽쳐의 효율적인 부호화 및 복호화 방법
KR101377528B1 (ko) 2011-01-15 2014-03-27 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 방법 및 장치
KR101484171B1 (ko) 2011-01-21 2015-01-23 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
KR20140034292A (ko) 2011-07-01 2014-03-19 모토로라 모빌리티 엘엘씨 움직임 벡터 예측 설계 간소화
WO2013076981A1 (ja) 2011-11-21 2013-05-30 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法、及び送信プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法、及び受信プログラム
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US20130272409A1 (en) * 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index
WO2017034089A1 (ko) * 2015-08-23 2017-03-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
CN109691098A (zh) 2016-09-30 2019-04-26 华为技术有限公司 视频编码方法、解码方法及终端
US10582209B2 (en) * 2017-03-30 2020-03-03 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-PU TMVP) for video coding
US11470346B2 (en) * 2018-05-09 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
CN112840645B (zh) * 2018-10-10 2023-12-12 寰发股份有限公司 视频编码***中组合多个预测子用于块预测的方法及装置
WO2020146547A1 (en) * 2019-01-08 2020-07-16 Apple Inc. Auxiliary information signaling and reference management for projection-based point cloud compression
CN113366851A (zh) * 2019-01-31 2021-09-07 北京字节跳动网络技术有限公司 对称运动矢量差编解码模式的快速算法
CN113412623A (zh) * 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
WO2020156538A1 (en) * 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding

Also Published As

Publication number Publication date
US20230134711A1 (en) 2023-05-04
US11985328B2 (en) 2024-05-14
WO2020138958A1 (ko) 2020-07-02
CN118175308A (zh) 2024-06-11
CN118175306A (zh) 2024-06-11
US11997285B2 (en) 2024-05-28
US20230132003A1 (en) 2023-04-27
US11991365B2 (en) 2024-05-21
US11985327B2 (en) 2024-05-14
US20220224908A1 (en) 2022-07-14
US11575904B2 (en) 2023-02-07
US20230139569A1 (en) 2023-05-04
CN118175307A (zh) 2024-06-11
US20230141454A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US11838544B2 (en) Prediction method using current picture referencing mode, and video decoding device therefor
US11991365B2 (en) Bidirectional prediction method and video decoding apparatus
CN114731444B (zh) 用于恢复色度块的残差块的方法及解码设备
CN113273204B (zh) 帧间预测方法和使用该方法的图片解码装置
KR20210035036A (ko) 시간적 움직임벡터 예측자 유도 방법 및 영상 복호화 장치
US11997255B2 (en) Video encoding and decoding using intra block copy
CN113455000B (zh) 双向预测方法及视频解码设备
CN118200600A (zh) 帧间预测方法和发送比特流的方法
US20220360768A1 (en) Method for deriving bidirectional prediction weight index and video decoding apparatus
CN117461312A (zh) 一种视频编解码方法和装置
KR20230036976A (ko) 비디오 부호화/복호화 방법 및 장치
CN114009031A (zh) 用于还原色度块的方法和用于解码影像的装置
CN117917072A (zh) 视频编码/解码方法和装置
CN117795956A (zh) 视频编码/解码方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination