CN112136328A - 视频处理***中的帧间预测的方法和装置 - Google Patents

视频处理***中的帧间预测的方法和装置 Download PDF

Info

Publication number
CN112136328A
CN112136328A CN201980032706.7A CN201980032706A CN112136328A CN 112136328 A CN112136328 A CN 112136328A CN 201980032706 A CN201980032706 A CN 201980032706A CN 112136328 A CN112136328 A CN 112136328A
Authority
CN
China
Prior art keywords
mvp
mvd
motion vector
dmvd
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980032706.7A
Other languages
English (en)
Inventor
李在镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN112136328A publication Critical patent/CN112136328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开一种用于帧间预测的方法，包括以下步骤：导出用于当前块的控制点(CP)，其中，CP包括第一CP和第二CP，基于当前块的邻近块导出用于第一CP的第一运动矢量预测器(MVP)和用于第二CP的第二MVP，解码用于第一CP的第一运动矢量差(MVD)，解码用于第二CP的两个MVD的差(DMVD)，基于第一MVP和第一MVD导出用于第一CP的第一运动矢量(MV)，基于第二MVP和用于第二CP的DMVD导出用于第二CP的第二MV，并且基于第一MV和第二MV生成用于当前块的预测块。

Description

视频处理***中的帧间预测的方法和装置
技术领域
本公开总体上涉及视频编码技术，并且更具体地，涉及视频处理***中的帧间预测方法和装置。
背景技术
对于诸如高清晰度(HD)图像和超高清(UHD)图像之类的高分辨率且高质量的图像的需求在各个领域都在增加。因为图像数据具有高分辨率和高质量，所以要发送的信息量或比特量相对于传统图像数据增加。因此，当使用诸如传统有线/无线宽带线的介质发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要一种用于有效地发送、存储和再现高分辨率和高质量的图像的信息的高效图像压缩技术。
发明内容
本公开的技术目的是提供一种增加视频编码效率的方法和装置。
本公开的另一个技术目的是提供一种用于使用仿射运动预测来处理图像的方法和装置。
本公开的又一个技术目的是提供一种基于样本单元运动矢量执行帧间预测的方法和装置。
本公开的又一个技术目的是提供一种用于基于用于当前块的控制点的运动矢量来导出样本单元运动矢量的方法和装置。
本公开的又一个技术目的是提供一种用于通过使用当前块的控制点的运动矢量差之间的差来改善编码效率的方法和装置。
本公开的又一个技术目的是提供一种用于基于控制点的运动矢量预测器来导出另一控制点的运动矢量预测器的方法和装置。
本公开的又一个技术问题是提供一种用于基于与控制点相邻的参考区域的运动矢量来导出控制点的运动矢量预测器的方法和装置。
本公开的实施例提供一种由解码装置执行的帧间预测方法。帧间预测方法包括：导出用于当前块的控制点(CP)，其中，CP包括第一CP和第二CP；基于当前块的邻近块导出用于第一CP的第一运动矢量预测器(MVP)和用于第二CP的第二MVP，解码用于第一CP的第一运动矢量差(MVD)，解码用于第二CP的两个MVD的差(DMVD)，基于第一MVP和第一MVD导出用于第一CP的第一运动矢量(MV)，基于第二MVP和用于第二CP的DMVD导出用于第二CP的第二MV，并且基于第一MV和第二MV生成用于当前块的预测块，其中，用于第二CP的DMVD表示第一MVD和用于第二CP的第二MVD之间的差。
根据本公开的另一示例，提供了一种由编码装置执行的视频编码方法。编码方法包括：导出用于当前块的控制点(CP)，其中，CP包括第一CP和第二CP；基于当前块的邻近块导出用于第一CP的第一运动矢量预测器(MVP)和用于第二CP的第二MVP，导出用于第一CP的第一运动矢量差(MVD)，导出用于第二CP的两个MVD的差(DMVD)，并对包括关于第一MVD的信息和关于用于第二CP的DMVD的信息的图像信息进行编码以输出比特流，其中用于第二CP的DMVD表示第一MVD和用于第二CP的第二MVD之间的差。
根据本公开的又一个实施例，提供一种执行帧间预测方法的解码装置。该解码装置包括熵解码器，该熵解码器对用于第一CP的第一运动矢量差(MVD)和用于第二CP的两个MVD的差(DMVD)进行解码；以及预测器，该预测器导出用于当前块的控制点(CP)，包括第一CP和第二CP，基于当前块的邻近块，导出用于第一CP的第一运动矢量预测器(MVP)和用于第二CP的第二MVP，基于第一MVP和第一MVD导出用于第一CP的第一运动矢量(MV)，基于第二MVP和用于第二CP的DMVD导出用于第二CP的第二MV，并且基于第一MV和第二MV生成用于当前块的预测块，其中用于第二CP的DMVD表示第一MVD和用于第二CP的第二MVD之差。
根据本公开的又一个实施例，提供一种执行视频编码的编码装置。编码装置包括预测器，该预测器导出用于当前块的控制点(CP)，包括第一CP和第二CP，基于当前块块的邻近块导出用于第一CP的第一运动矢量预测器(MVP)和用于第二CP的第二MVP，导出用于第一CP的第一运动矢量差(MVD)，并且导出用于第二CP的两个MVD的差(DMVD)，以及熵编码器，该熵编码器对包括关于第一MVD的信息和关于用于第二CP的DMVD的信息的图像信息进行编码以输出比特流，其中用于第二CP的DMVD表示第一MVD和用于第二CP的第二MVD的差。
根据本公开，可以导出用于当前块的更准确的样本单元运动矢量，并且可以显著地增加帧间预测效率。
根据本公开，可以基于用于当前块的控制点的运动矢量来有效地导出当前块的样本的运动矢量。
根据本公开，能够通过发送用于当前块的控制点的运动矢量差和/或运动矢量差之间的差来移除或减少用于控制点的运动矢量的数据量，并且可以改善整体编码效率。
附图说明
图1是示意性地图示根据本公开的实施例的视频编码装置的框图。
图2是示意性地图示根据本公开的实施例的视频解码装置的框图。
图3说明性地表示根据本公开的实施例的内容流传输***。
图4是用于图示根据本公开的实施例的从邻近块导出运动矢量预测值的方法的流程图。
图5说明性地表示根据本公开的实施例的仿射运动模型。
图6说明性地表示根据本公开的实施例的简化的仿射运动模型。
图7是用于描述根据本公开的实施例的导出在控制点处的运动矢量预测器的方法的图。
图8说明性地表示根据本公开的实施例的用于4参数仿射运动模型的两个CP。
图9说明性地表示根据本公开的实施例的在4参数仿射运动模型中另外使用中值的情况。
图10说明性地表示根据本公开的实施例的用于6参数仿射运动模型的三个CP。
图11示意性地表示根据本公开的编码装置的视频编码方法。
图12示意性地图示根据本公开的解码装置的帧间预测方法。
具体实施方式
尽管可以以各种形式修改本公开，但是将详细描述本公开的特定实施例并且在附图中图示。然而，这并不旨在将本公开限制为特定实施例。本说明书中使用的术语仅用于描述特定实施例，而不旨在限制本公开的技术思想。除非上下文另外明确指出，否则单数形式可以包括复数形式。诸如“包括(或包含)”、“具有(或被提供)”之类的术语旨在指示在以下描述中撰写的特征、数字、步骤、操作、组件、部件或其组合存在，并且因此不应理解为事先排除存在或添加一个或多个不同特征、数字、步骤、操作、组件、部件或其组合的可能性。
同时，为了便于解释不同的特定功能，在视频编码装置/解码装置中独立地绘制本公开中描述的附图中的配置，但这并不意指该配置由独立的硬件或独立软件来实现。例如，可以将两个或更多个配置组合以形成单个配置，并且可以将一个配置划分为多个配置。在不背离本公开的概念的情况下其中配置被组合和/或配置被划分的实施例也属于本公开。
在本公开中，术语“/”和“，”应解释为指示“和/或”。例如，表达“A/B”可以意指“A和/或B”，而“A，B”可以意指“A和/或B”。此外，“A/B/C”可以意指“A、B和/或C中的至少一个”。另外，“A、B、C”可以意指“A、B和/或C中的至少一个”。
此外，在本公开中，术语“或”应解释为指示“和/或”。例如，表达“A或B”可以包括1)仅A，2)仅B和/或3)A和B两者。换句话说，本文档中的术语“或”可以解释为指示“另外或可替代地。”
本公开可以按各种形式进行修改，并且将在附图中描述和例示其特定实施方式。然而，这些实施方式并不旨在限制本公开。以下描述中使用的术语仅仅用于描述特定的实施方式，而不旨在限制本公开。单数的表述包括复数的表述，只要它被清楚不同地读出即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解，没有排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
另外，为了便于解释不同的特定功能，独立地绘制本实施方式中描述的附图中的元件，并不意味着这些元件由独立的硬件或独立的软件实现。例如，可以组合元件中的两个或更多个以形成单个元件，或者可以将一个元件划分成多个元件。在不脱离本实施方式的概念的情况下，元件被组合和/或划分的实施方式属于本公开。
以下描述可以应用于处理视频、图像或图片的技术领域。例如，以下描述中公开的方法或示例性实施方式可以与通用视频编码(VVC)标准(ITU-T H.266建议书)、VVC之后的下一代视频/图像编码标准、或VVC之前的标准(例如，高效视频编码(HEVC)标准(ITU-TH.265建议书)等)的公开内容相关联。
下文中，将参考附图详细地描述本实施方式的示例。另外，在整个附图中，类似的附图标记用于指示类似的元件，并且将省略对类似元件的相同描述。
在本公开中，视频可以意指根据时间推移的一系列图像的集合。通常，图片意指表示特定时间的图像的单元，切片是构成图片的一部分的单元。一个图片可以由多个切片构成，并且术语图片和切片可以根据场合需要彼此混合。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，可以仅表示亮度分量的像素(像素值)，并且可以仅表示色度分量的像素(像素值)。
单元指示图像处理的基本单元。单元可以包括特定区域和与该区域相关的信息中的至少一个。可选地，单元可以与诸如块、区域等的术语混合。在典型情况下，M×N块可以表示以M列和N行排列的样本或变换系数的集合。
图1是简要地图示根据本公开的实施例的编码装置的结构的框图。在下文中，编码/解码装置可以包括视频编码/解码装置和/或图像编码/解码装置，并且视频编码/解码装置可以用作包括图像编码/解码装置的概念，或者图像编码/解码装置可以用作包括视频编码/解码装置的概念。
参考图1，视频编码装置100可以包括图片分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可以包括减法器121、变换器122、量化器123、重排器124、反量化器125、逆变换器126。
图片分割器105可以将输入图片分离成至少一个处理单元。
在示例中，处理单元可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树(QTBT)结构从最大编码单元(LCU)递归地分离出编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分离为更深深度的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，并且可以稍后应用二叉树结构和三叉树结构。另选地，可以首先应用二叉树结构/三叉树结构。可以基于不再进一步被分离的最终编码单元执行根据本实施方式的编码过程。在这种情况下，最大编码单元可以根据图像特性基于编码效率等而用作最终编码单元，或者编码单元可以根据需要递归地分离成较低深度的编码单元并且具有最佳尺寸的编码单元可以用作最终编码单元。这里，编码过程可以包括诸如预测、变换和重构这样的过程，这将在后面描述。
在另一示例中，处理单元可以包括编码单元(CU)、预测单元(PU)或变换器(TU)。可以根据四叉树结构将编码单元从最大编码单元(LCU)分离为更深深度的编码单元。在这种情况下，最大编码单元可以根据图像特性基于编码效率等而直接用作最终编码单元，或者编码单元可以根据需要递归地分离为更深深度的编码单元，并且具有最佳尺寸的编码单元可以用作最终编码单元。当设置了最小编码单元(SCU)时，编码单元可以不被分离为比最小编码单元小的编码单元。这里，最终编码单元是指被分割或分离成预测单元或变换器的编码单元。预测单元是从编码单元分割的单元，并且可以是样本预测的单元。这里，预测单元可以被划分成子块。可以根据四叉树结构从编码单元划分出变换器，并且变换器可以是导出变换系数的单元和/或从变换系数导出残差信号的单元。下文中，编码单元可以被称为编码块(CB)，预测单元可以被称为预测块(PB)，并且变换器可以被称为变换块(TB)。预测块或预测单元可以是指图片中的块的形式的特定区域，并且包括预测样本的阵列。另外，变换块或变换器可以是指图片中的块的形式的特定区域，并且包括变换系数或残差样本的阵列。
预测器110可以对处理目标块(下文中，它可以表示当前块或残差块)执行预测，并且可以生成包括针对当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块，或者可以是变换块，或者可以是预测块。
预测器110可以确定对当前块是应用帧内预测还是应用帧间预测。例如，预测器110可以确定以CU为单位应用帧内预测还是帧间预测。
在帧内预测的情况下，预测器110可以基于当前块所属的图片(下文中，当前图片)中的当前块之外的参考样本来导出当前块的预测样本。在这种情况下，预测器110可以基于当前块的邻近参考样本的平均值或内插来导出预测样本(情况(i))，或者可以基于当前块的邻近参考样本当中的在相对于预测样本的特定(预测)方向中存在的参考样本来导出预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式，并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中，预测模式可以包括作为示例的33个定向模式和至少两个非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于相邻块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可以基于参考图片上的由运动矢量指定的样本来导出针对当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动矢量预测(MVP)模式中的任何一个来导出针对当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可以使用相邻块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，不发送预测样本和原始样本之间的差(残差)。在MVP模式的情况下，相邻块的运动矢量被用作运动矢量预测器(predictor)，以导出当前块的运动矢量。
在帧间预测的情况下，相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。包括时间相邻块的参考图片也可以称为并置图片(colPic)。运动信息可以包括运动矢量和参考图片索引。诸如预测模式信息和运动信息之类的信息可以被(熵)编码，并且然后作为比特流的形式输出。
当在跳过模式和合并模式中使用时间相邻块的运动信息时，参考图片列表中的最高图片可以用作参考图片。可以基于当前图片和相应的参考图片之间的图片顺序号(POC)差来对齐包括在参考图片列表中的参考图片。POC对应于显示顺序，并且可以与编码顺序区分开。
减法器121生成残差样本，该残差样本是原始样本和预测样本之间的差。如果应用跳过模式，则如上所述可以不生成残差样本。
变换器122以变换块为单位变换残差样本以生成变换系数。变换器122可以基于相应变换块的尺寸和被应用于与变换块在空间上交叠的预测块或编码块的预测模式来执行变换。例如，如果帧内预测被应用于与变换块交叠的预测块或编码块并且变换块是4×4残差阵列，则可以使用离散正弦变换(DST)变换核来变换残差样本，并且在其他情况下，使用离散余弦变换(DCT)变换核来变换残差样本。
量化器123可以量化变换系数以生成经量化的变换系数。
重排器124重新排列经量化的变换系数。重排器124可以通过系数扫描方法将块形式的经量化的变换系数重新排列成一维矢量。尽管重排器124被描述为单独的组件，但是重排器124可以是量化器123的一部分。
熵编码器130可以对经量化的变换系数执行熵编码。熵编码可以包括编码方法，例如，指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。除了经量化的变换系数之外，熵编码器130还可以根据熵编码或根据预先配置的方法一起或单独地对视频重构所需的信息(例如，语法元素值等)执行编码。可以以比特流形式以网络抽象层(NAL)为单位发送或存储熵编码信息。比特流可以经由网络发送或存储在数字存储介质中。这里，网络可以包括广播网络或通信网络，数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SDD等的各种存储介质。
反量化器125对由量化器123量化的值(变换系数)进行反量化，并且逆变换器126对由反量化器125反量化的值进行逆变换以生成残差样本。
加法器140将残差样本添加到预测样本以重构图片。可以以块为单位将残差样本添加到预测样本以生成重构块。虽然加法器140被描述为单独的组件，但是加法器140可以是预测器110的一部分。另外，加法器140可以被称为重构器或重构块生成器。
滤波器150可以将去块滤波和/或样本自适应偏移应用于重构图片。可以通过去块滤波和/或样本自适应偏移来校正重构图片中的块边界处的伪像或量化时的失真。在去块滤波完成之后，可以以样本为单位应用样本自适应偏移。滤波器150可以将自适应环路滤波器(ALF)应用于重构的图片。可以将ALF应用于已经应用去块滤波和/或样本自适应偏移的重构图片。
存储器160可以存储重构图片(解码图片)或编码/解码所需的信息。这里，重构图片可以是由滤波器150滤波的重构图片。存储的重构图片可以用作用于其他图片的(帧间)预测的参考图片。例如，存储器160可以存储用于帧间预测的(参考)图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2是简要地图示根据本公开的实施例的视频/图像解码装置的框图。
在下文中，视频解码装置可以包括图像解码装置。
参考图2，视频解码装置200可以包括熵解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。残差处理器220可以包括重排器221、反量化器222、逆变换器223。
另外，尽管并未描绘，但是视频解码装置200可以包括用于接收包括视频信息的比特流的接收器。接收器可以被配置为单独的模块，或者可以被包括在熵解码器210中。
当输入包括视频/图像信息的比特流时，视频解码装置200可以与在视频编码装置中处理视频信息的过程关联地重构视频/图像/图片。
例如，视频解码装置200可以使用在视频编码装置中应用的处理单元来执行视频解码。因此，视频解码的处理单元块可以是例如编码单元，并且在另一示例中是编码单元、预测单元或变换器。可以根据四叉树结构和/或二叉树结构和/或三叉树结构从最大编码单元分离编码单元。
在一些情况下可以进一步使用预测单元和变换器，并且在这种情况下，预测块是从编码单元导出或分割出的块，并且可以是样本预测的单位。这里，预测单元可以被划分为子块。变换器可以根据四叉树结构从编码单元分离出，并且可以是导出变换系数的单元或从变换系数导出残差信号的单元。
熵解码器210可以解析比特流以输出视频重构或图片重构所需的信息。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编码方法来解码比特流中的信息，并且可以输出视频重构所需的语法元素的值和关于残差的变换系数的量化值。
更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin，使用解码目标语法元素信息以及相邻块和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型预测bin生成概率，并执行bin的算术解码以生成与每个语法元素值相对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
可以将在熵解码器210中解码的信息中的关于预测的信息提供给预测器250，并且可以将已经由熵解码器210执行熵解码的残差值(即，经量化的变换系数)输入到重排器221。
重排器221可以将经量化的变换系数重新排列成二维块形式。重排器221可以执行与由编码装置执行的系数扫描相对应的重新排列。尽管重排器221被描述为单独的组件，但是重排器221可以是反量化器222的一部分。
反量化器222可以基于(反)量化参数对量化的变换系数进行反量化，以输出变换系数。在这种情况下，可以从编码装置发信号通知用于导出量化参数的信息。
逆变换器223可以对变换系数进行逆变换以导出残差样本。
预测器230可以对当前块执行预测，并且可以生成包括针对当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编码块，或者可以是变换块或者可以是预测块。
预测器230可以基于关于预测的信息确定是应用帧内预测还是应用帧间预测。在这种情况下，用于确定在帧内预测和帧间预测之间将使用哪一个的单元可以与用于生成预测样本的单元不同。另外，用于生成预测样本的单元在帧间预测和帧内预测中也可以不同。例如，可以以CU为单位确定在帧间预测和帧内预测之间将应用哪一个。此外，例如，在帧间预测中，可以通过以PU为单位确定预测模式来生成预测样本，并且在帧内预测中，可以通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下，预测器230可以基于当前图片中的邻近参考样本导出针对当前块的预测样本。预测器230可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来导出针对当前块的预测样本。在这种情况下，可以通过使用相邻块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器230可以基于根据运动矢量在参考图片中指定的样本来导出针对当前块的预测样本。预测器230可以使用跳过模式、合并模式和MVP模式中的一个来导出针对当前块的预测样本。这里，由视频编码装置提供的当前块的帧间预测所要求的运动信息(例如，运动矢量和关于参考图片索引的信息)可以基于关于预测的信息来获取或导出。
在跳过模式和合并模式中，相邻块的运动信息可以用作当前块的运动信息。这里，相邻块可以包括空间相邻块和时间相邻块。
预测器230可以使用可用相邻块的运动信息来构造合并候选列表，并且使用合并候选列表上的合并索引所指示的信息作为当前块的运动矢量。合并索引可以由编码装置发信号通知。运动信息可以包括运动矢量和参考图片。在跳过模式和合并模式中，当使用时间相邻块的运动信息时，参考图片列表中的首先排序的图片可以用作参考图片。
在跳过模式的情况下，与合并模式不同，不发送预测样本和原始样本之间的差(残差)。
在MVP模式的情况下，可以使用相邻块的运动矢量作为运动矢量预测器来导出当前块的运动矢量。这里，相邻块可以包括空间相邻块和时间相邻块。
当应用合并模式时，例如，可以使用经重构的空间相邻块的运动矢量和/或与作为时间相邻块的Col块相对应的运动矢量来生成合并候选列表。从合并候选列表中选择的候选块的运动矢量被用作合并模式中的当前块的运动矢量。上述关于预测的信息可以包括合并索引，该合并索引指示从包括在合并候选列表中的候选块中选择的具有最佳运动矢量的候选块。这里，预测器230可以使用合并索引导出当前块的运动矢量。
当作为另一示例应用MVP(运动矢量预测)模式时，可以使用经重构的空间相邻块的运动矢量和/或与作为时间相邻块的Col块相对应的运动矢量来生成运动矢量预测器候选列表。也就是说，经重构的空间相邻块的运动矢量和/或与作为时间相邻块的Col块相对应的运动矢量可以用作运动矢量候选。上述关于预测的信息可以包括指示从包括在列表中的运动矢量候选中选择的最佳运动矢量的预测运动矢量索引。这里，预测器230可以使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选中选择当前块的预测运动矢量。编码装置的预测器可以获得当前块的运动矢量与运动矢量预测器之间的运动矢量差(MVD)，对MVD进行编码并以比特流的形式输出经编码的MVD。也就是说，可以通过从当前块的运动矢量中减去运动矢量预测器来获得MVD。这里，预测器230可以获取包括在关于预测的信息中的运动矢量，并且通过将运动矢量差添加到运动矢量预测器来导出当前块的运动矢量。另外，预测器可以从上述关于预测的信息获得或导出指示参考图片的参考图片索引。
加法器240可以将残差样本添加到预测样本以重构当前块或当前图片。加法器240可以通过以块为单位将残差样本添加到预测样本来重构当前图片。当应用跳过模式时，不发送残差，并且因此预测样本可以变为重构样本。虽然加法器240被描述为单独的组件，但是加法器240可以是预测器230的一部分。另外，加法器240可以被称为重构器或重构块生成器。
滤波器250可以将去块滤波、样本自适应偏移和/或ALF应用于重构图片。这里，可以在去块滤波之后以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器260可以存储重构图片(解码图片)或解码所需的信息。这里，重构图片可以是经滤波器250滤波的重构图片。例如，存储器260可以存储用于帧间预测的图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可以用作其他图片的参考图片。存储器260可以按输出顺序输出重构图片。
此外，如上所述，在执行视频编码时，执行预测以提高压缩效率。因此，可以生成包括针对作为要编码的块(即，编码目标块)的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测块在编码装置和解码装置中被以相同的方式导出，并且编码装置可以将关于原始块与预测块之间的残差的信息(残差信息)而不是原始块的原始样本值发信号通知给解码装置，从而提高图像编码效率。解码装置可以基于残差信息来导出包括残差样本的残差块，将残差块与预测块相加以生成包括重构样本的重构块，并且生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如，编码装置可以导出原始块与预测块之间的残差块，对残差块中所包括的残差样本(残差样本阵列)执行变换过程以导出变换系数，对变换系数执行量化过程以导出量化变换系数，并且可以(通过比特流)向解码装置发信号通知相关残差信息。这里，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核以及量化参数等。解码装置可以基于残差信息执行反量化/逆变换过程，并且可以导出残差样本(或残差块)。解码装置可以基于预测块和残差块来生成重构图片。另外，为了以后参考图片的帧间预测，编码装置还可以对量化变换系数进行反量化/逆变换以导出残差块，并且基于残差块生成重构图片。
图3说明性地表示根据本公开的实施例的内容流传输***。
参考图3，本公开中描述的实施例可以在处理器、微处理器、控制器或芯片上体现和执行。例如，每个附图中所示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上体现和执行。在这种情况下，可以将用于实施例的信息(例如，关于指令的信息)或算法存储在数字存储介质中。
此外，本公开所应用的解码装置和编码装置可以包括在多媒体广播收发器、移动通信终端、家庭影院视频设备、数字影院视频设备、监视摄像机、视频聊天设备、诸如视频通信的实时通信设备、移动流设备、存储介质、便携式摄像机、视频点播(VoD)服务提供设备、顶置(OTT)视频设备、互联网流服务提供设备、三维(3D)视频设备、视频电话视频设备和医疗视频设备，并且可以用于处理视频信号或数据信号。例如，顶置(OTT)视频设备可以包括游戏机、蓝光播放器、互联网访问电视、家庭影院***、智能手机、平板电脑、数字录像机(DVR)等等。
此外，可以将本公开所应用的处理方法以由计算机执行的程序的形式来产生，并存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储有计算机可读数据的各种存储设备和分布式存储设备。该计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储设备。此外，计算机可读记录介质包括以载波形式体现的介质(例如，通过互联网的传输)。另外，可以将通过编码方法生成的比特流存储在计算机可读记录介质中，或者通过有线或无线通信网络来发送。
另外，本公开的实施例可以通过程序代码体现为计算机程序产品，并且程序代码可以通过本公开的实施例在计算机上执行。程序代码可以存储在计算机可读载体上。
本公开所应用的内容流传输***可以主要包括编码服务器、流传输服务器、web服务器、媒体存储设备、用户设备和多媒体输入设备。
编码服务器用作以将从多媒体输入设备(诸如智能电话、相机、便携式摄像机等)输入的内容压缩为数字数据，以生成比特流，并将其发送到流传输服务器。作为另一示例，在诸如智能电话、相机、便携式摄像机等的多媒体输入设备直接生成比特流的情况下，可以省略编码服务器。
可以通过本公开所应用的编码方法或比特流生成方法来生成比特流。并且流传输服务器可以在发送或接收比特流的过程期间临时存储比特流。
流传输服务器基于用户的请求通过web服务器将多媒体数据发送到用户设备，该web服务器用作通知用户存在哪些服务的工具。当用户请求用户想要的服务时，web服务器将请求传输到流传输服务器，并且流传输服务器将多媒体数据发送给用户。就这一点而言，内容流传输***可以包括单独的控制服务器，并且在这种情况下，控制服务器用作控制内容流传输***中的各自设备之间的命令/响应。
流传输服务器可以从媒体存储设备和/或编码服务器接收内容。例如，在从编码服务器接收内容的情况下，可以实时接收内容。在这种情况下，流传输服务器可以在预定时间段内存储比特流以平滑地提供流传输服务。
例如，用户设备可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、平板PC、平板电脑、超级本、可穿戴设备(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字电视、台式计算机、数字标牌等。
内容流传输***中的每个服务器可以作为分布式服务器来操作，并且在这种情况下，可以以分布式方式处理每个服务器接收到的数据。
在下文中，将会详细地描述参考图1和图2描述的帧间预测方法。
图4是用于图示根据本公开的实施例的从邻近块导出运动矢量预测值的方法的流程图。
在运动矢量预测(MVP)模式的情况下，编码器根据预测块的类型预测运动矢量，并将最佳运动矢量和预测值之间的差值发送给解码器。在这种情况下，编码器将运动矢量差值、邻近块信息、参考索引等发送给解码器。在此，MVP模式也可以称为高级运动矢量预测(AMVP)模式。
编码器可以构造用于运动矢量预测的预测候选列表，并且该预测候选列表可以包括空间候选块和时间候选块中的至少一个。
首先，编码器可以搜索用于运动矢量预测的空间候选块，并将其***预测候选列表中(S410)。对于构造空间候选块的过程，可以应用根据合并模式在帧间预测中构造传统的空间合并候选的方法。
编码器可以检查空间候选块的数量是否小于两个(S420)。
在作为检查结果空间候选块的数目小于两个的情况下，编码器可以搜索时间候选块并将其***预测候选列表中(S430)。此时，在没有时间候选块可用的情况下，编码器可以将零运动矢量用作运动矢量预测值(S440)。对于构造时间候选块的过程，可以应用根据合并模式在帧间预测中构造传统的时间合并候选的方法。
另一方面，在作为检查结果空间候选块的数量等于或大于两个的情况下，编码器可以结束构成预测候选列表，并且从候选块当中选择具有最小成本的块。编码器可以将所选择的候选块的运动矢量确定为当前块的运动矢量预测值，并通过使用运动矢量预测值来获取运动矢量差值。这样获得的运动矢量差值可以被发送到解码器。
图5说明性地表示根据本公开的实施例的仿射运动模型。
仿射模式可以是帧间预测中的各种预测模式之一，并且仿射模式也可以称为仿射运动模式或子块运动预测模式。仿射模式可以指使用仿射运动模型执行仿射运动预测方法的模式。
仿射运动预测方法可以通过使用当前块中的两个或更多个运动矢量来导出样本单元的运动矢量。换句话说，仿射运动预测方法可以通过不以块为单位而是以样本为单位确定运动矢量来改善编码效率。
通用运动模型可以包括平移模型，并且运动估计(ME)和运动补偿(MC)基于有效地表示简单运动的平移模型执行。但是，平移模型可能无法有效地应用于自然视频中的复杂运动，诸如放大、缩小、旋转和其他不规则运动。因此，本公开的实施例可以使用可以有效地应用于复杂运动的仿射运动模型。
参考图5，仿射运动模型可以包括四个运动模型，但是它们是示例性运动模型，并且本公开的范围不限于此。上述四个运动可以包括平移、缩放、旋转和剪切。在此，用于平移、缩放和旋转的运动模型可以称为简化的仿射运动模型。
图6说明性地表示根据本公开的实施例的简化的仿射运动模型。
在仿射运动预测中，可以定义控制点(CP)以使用仿射运动模型，并且可以通过使用两个或更多个控制点运动矢量(CPMV)来确定包括在块中的子块或样本单元的运动矢量。这里，样本单元的运动矢量的集合或子块的运动矢量的集合可以被称为仿射运动矢量字段(仿射MVF)。
参考图6，简化的仿射运动模型可以意味着用于根据两个CP使用CPMV确定样本单元或子块的运动矢量的模型，并且也可以称为4参数仿射模型。在图6中，v0和v1可以表示两个CPMV，并且子块中的每个箭头可以表示子块单元的运动矢量。
换句话说，在编码/解码过程中，仿射运动矢量字段可以以样本单元或子块单元来确定。这里，样本单元可以指代像素单元，并且子块单元可以指代已经定义的块单元。当以样本单元确定仿射运动矢量字段时，可以基于每个像素值获得运动矢量，并且在块单元的情况下，可以基于块的中心像素值获得对应块的运动矢量。
图7是用于描述根据本公开的实施例的导出在控制点处的运动矢量预测器的方法的图。
仿射模式可以包括仿射合并模式和仿射运动矢量预测(MVP)模式。仿射合并模式可以被称为子块合并模式，并且仿射MVP模式可以被称为仿射帧间模式。
在仿射MVP模式中，可以基于控制点运动矢量预测器(CPMVP)和控制点运动矢量差来导出当前块的CPMV。换句话说，编码装置可以确定当前块的CPMV的CPMVP，导出作为当前块的CPMV和CPMVP之间的差值的CPMVD，并且将关于CPMVP的信息和关于CPMVD的信息用信号发送给解码装置。这里，仿射MVP模式可以基于邻近块来构造仿射MVP候选列表，并且仿射MVP候选列表可以被称为CPMVP候选列表。另外，关于CPMVP的信息可以包括指示从仿射MVP候选列表当中要引用的块或运动矢量的索引。
参考图7，当前块的左上样本位置处的控制点的运动矢量可以表示为v0，右上样本位置处的控制点的运动矢量可以表示为v1，左下样本位置处的控制点的运动矢量可以表示为v2，并且右下样本位置处的控制点的运动矢量可以表示为v3。
例如，如果在仿射模式下使用两个控制点并且两个控制点位于左上样本位置和右上样本位置，则样本单元或子块单元的运动矢量可以基于运动矢量v0和v1导出。
可以基于左上样本位置的邻近块A、B和C的至少一个运动矢量来导出运动矢量v0。在此，邻近块A可以表示位于当前块的左上样本位置的左上方的块，邻近块B可以表示位于当前块的左上样本位置的顶部的块，并且邻近块C可以表示位于当前块的左上样本位置的左侧的块。
可以基于右上样本位置的邻近块D和E的至少一个运动矢量来导出运动矢量v1。在此，邻近块D可以表示位于当前块的右上样本位置的顶部的块，并且邻近块E可以表示位于当前块的右上样本位置的右上方的块。
例如，如果在仿射模式下使用三个控制点并且这三个控制点位于左上样本位置、右上样本位置和左下样本位置，则样本单元或子块单元的运动矢量可以基于运动矢量v0、v1和v2来导出。换句话说，可以进一步使用运动矢量v2。
可以基于左下样本位置的邻近块F和G的至少一个运动矢量来导出运动矢量v2。在此，邻近块F可以表示位于当前块的左下样本位置的左侧的块，并且邻近块G可以表示位于当前块的左下样本位置的左下方的块。
仿射MVP模式可以基于邻近块导出CPMVP候选列表，并选择CPMVP候选列表当中的具有最高相关性的CPMVP对作为当前块的CPMV。关于上述CPMVP的信息可以包括指示从CPMVP候选列表中选择的CPMVP对的索引。
图8说明性地表示根据本公开的实施例的用于4参数仿射运动模型的两个CP。
本公开的实施例可以使用两个CP。两个CP可以分别位于当前块的左上样本位置和右上样本位置。这里，位于左上样本位置处的CP可以被表示为CP0，并且位于右上样本位置的CP可以被表示为CP1，并且在CP0处的运动矢量可以被表示为mv0并且在CP1处的运动矢量可以表示为mv1。每个控制点的坐标(CPi)可以被定义为(xi,yi),i＝0,1，并且每个控制点处的运动矢量可以被表示为mvi＝(vxi,vyi),i＝0,1。
在本公开的实施例中，位于左上样本位置处的CP可以被表示为CP1，并且位于右上样本位置的CP可以被表示为CP0。在这种情况下，可以在考虑CP0和CP1的切换位置的情况下类似地执行以下过程。
例如，如果当前块的宽度为W而其高度为H，则假定当前块的左下样本位置的坐标为(0，0)，则CP0的坐标可以表示为(0，H)，并且CP1的坐标可以表示为(W，H)。在此，W和H可以具有不同的值，但是也可以具有相同的值，并且可以不同地设置基准(0、0)。
如图8中所示，因为在仿射运动预测方法中使用根据两个CP的两个运动矢量的仿射运动模型根据两个运动矢量使用四个参数，所以可以将其称为4参数仿射运动模型或简化的仿射运动模型。
在本公开的实施例中，样本单元的运动矢量可以通过仿射运动矢量字段(仿射MVF)和样本的位置来确定。仿射运动矢量字段可以基于根据两个CP的两个运动矢量表示样本单位的运动矢量。换句话说，当样本位置为等式1中所示的(x，y)时仿射运动矢量字段可以导出相应样本的运动矢量(vx,vy)。
[等式1]
Figure BDA0002779654460000241
在等式1中，v0x和v0y可以意指运动矢量mv0在CP0处的(x，y)坐标分量，而v1x和v1y可以意指运动矢量mv1在CP1处的(x，y)坐标分量。同样，w可以意指当前块的宽度。
同时，表示仿射运动模型的等式1仅是示例，并且用于表示仿射运动模型的等式不限于等式1。例如，在一些情况下，可以根据等式1的符号来改变在等式1中公开的每个系数的符号。
换句话说，根据本公开的实施例，可以确定来自当前块的时间和/或空间邻近块之中的参考块，该参考块的运动矢量可以用作当前块的运动矢量预测器，并且当前块的运动矢量可以用运动矢量预测器和运动矢量差来表达。另外，本公开的实施例可以用信号发送运动矢量预测器的索引和运动矢量差。
根据本公开的实施例，在编码时，可以基于根据两个CP的两个运动矢量和根据两个CP的两个运动矢量预测器，导出根据两个CP的两个运动矢量差，并且当解码时，可以基于根据两个CP的两个运动矢量预测器和根据两个CP的两个运动矢量差来导出根据两个CP的两个运动矢量。换句话说，每个CP处的运动矢量可以由运动矢量预测器和运动矢量差之和组成，如等式2中所示，并且与使用运动矢量预测(MVP)模式或高级运动矢量预测(AMVP)模式时相似。
[等式2]
Figure BDA0002779654460000242
在等式2中，mvp0和mvp1可以表示在CP0和CP1的每个处的运动矢量预测器(MVP)，并且mvd0和mvd1可以表示在CP0和CP1的每个处的运动矢量差(MVD)。在此，mvp可以称为CPMVP，并且mvd可以称为CPMVD。
因此，根据本公开的实施例的根据仿射模式的帧间预测方法可以在每个CP处对索引和运动矢量差(mvd0和mvd1)进行编码和解码。换句话说，根据本公开的实施例，可以基于当前块的CP0和CP1的每个处的mvd0和mvd1以及根据索引的mvp0和mvp1来导出在CP0和CP1处的运动矢量，并且通过基于CP0和CP1处的运动矢量来导出样本单元的运动矢量来执行帧间预测。
根据本公开的另一实施例的根据仿射模式的帧间预测方法可以使用根据两个CP的运动矢量差和两个MVD的差(DMVD)之一。换句话说，在另一实施例中，当存在根据CP0和CP1的mvd0和mvd1时，可以通过对mvd0和mvd1、mvd0和mvd1之间的差以及每个CP处的索引之一进行编码和解码来执行帧间预测。更具体地，在本公开的另一实施例中，可以用信号发送mvd0和DMVD(mvd0-mvd1)，并且可以用信号发送mvd1和DMVD(mvd0-mvd1)。
即，在本公开的另一实施例中，CP0和CP1处的运动矢量差(mvd0和mvd1)可以基于CP0或CP1处的运动矢量差(mvd0或mvd1)和CP0和CP1的运动矢量差(mvd0和mvd1)的差分别导出，并且在CP0和CP1的运动矢量可以基于通过索引指示的CP0和CP1的运动矢量(mvp0和mvp1)连同这样的运动矢量差一起分别导出，并且帧间预测可以通过基于CP0和CP1处的运动矢量来导出样本单元的运动矢量来执行。
这里，关于两个运动矢量差(DMVD)的差的数据比关于正常运动矢量差的数据更接近零运动矢量(零MV)，与在根据本公开的其他实施例的情况下相比能够更加有效地执行编码。
图9说明性地表示在根据本公开的实施例的4参数仿射运动模型中另外使用中值的情况。
在根据本公开的实施例的根据仿射模式的帧间预测中，可以使用运动矢量预测器的中值预测器来执行自适应运动矢量编码。
参考图9，根据本公开的实施例，可以使用两个CP，并且可以基于两个CP来导出关于不同位置的CP的信息。这里，与两个CP有关的信息可以与图8的两个CP相同。另外，基于两个CP导出的另一位置的CP可以被称为CP2，并且可以位于当前块的左下样本位置。
关于另一位置的CP的信息可以包括CP2的运动矢量预测器(mvp2)，并且mvp2可以两种方式导出。
导出mvp2的一种方法如下。mvp2可以基于CP0的运动矢量预测器mvp0和CP1的运动矢量预测器mvp1导出，并且可以如等式3中所示导出。
[等式3]
Figure BDA0002779654460000261
在等式3中，mvp0x和mvp0y可以意指运动矢量预测器(mvp0)在CP0处的(x，y)坐标分量，mvp1x和mvp1y可以意指运动矢量预测器(mvp1)在CP1处的(x，y)坐标分量，而mvp2x和mvp2y可以意指运动矢量预测器(mvp2)在CP2处的(x，y)坐标分量。另外，h可以表示当前块的高度，而w可以表示当前块的宽度。
导出mvp2的另一种方法如下。mvp2可以基于CP2的邻近块来导出。参考图9，CP2可以位于当前块的左下样本位置，并且mvp2可以基于CP2的邻近块A或邻近块B来导出。更具体地说，可以选择mvp2作为邻近块A的运动矢量和邻近块B的运动矢量之一。
在本公开的实施例中，可以导出mvp2，并且可以基于mvp0、mvp1和mvp2导出中值。在此，中值可以意指多个值当中按大小顺序位于中间的值。因此，中值可以从mvp0、mvp1和mvp2中选择一个。
根据本公开的实施例，当中值等于mvp0时，可以用信号发送CP0的运动矢量差(mvd0)和DMVD(mvd0-mvd1)以用于帧间预测，并且当中值等于mvp1时，则可以用信号发送CP1的运动矢量差(mvd1)和DMVD(mvd0-mvd1)以用于帧间预测。当中值等于mvp2时，可以遵循中值等于mvp0的情况和中值等于mvp1的情况中的任何一种，并且这可以是预定的。
这里，可以对运动矢量预测器的x和y分量中的每个分量执行上述过程。换句话说，可以分别针对x分量和y分量导出中值。在这种情况下，当中值的x分量与mvp0的x分量相同时，可以根据上述中值等于mvp0的情况，仅对运动矢量的x分量进行编码和解码，并且当中值的y分量与mvp1的y分量相同时，根据中值与mvp1相同的上述情况，仅运动矢量的y分量可以被编码和解码。如果中值的x分量和/或y分量等于mvp2的x分量和/或y分量，则可以根据中值等于mvp0的上述情况和中值等于mvp1的上述情况之一对运动矢量的x分量和/或y分量进行编码和解码，其可以被预定义。
图10说明性地表示根据本公开的实施例的用于6参数仿射运动模型的三个CP。
本公开的实施例可以使用三个CP。可以将三个CP分别定位在当前块的左上样本位置、右上样本位置和左下样本位置。这里，位于左上样本位置的CP可以被表示为CP0，位于右上样本位置的CP可以被表示为CP1，并且可以位于左下样本位置的CP可以被表示为CP2，并且在CP0处的运动矢量可以表示为mv0，CP1处的运动矢量可以表示为mv1，并且在CP2处的运动矢量可以表示为mv2。每个控制点的坐标(CPi)可以被定义为(xi,yi),i＝0,1,2，并且每个控制点处的运动矢量可以被表示为mvi＝(vx i,vyi),i＝0,1,2。
在本公开的实施例中，三个CP可以分别分布在左上样本位置、右上样本位置和左下样本位置，但是这三个CP可以被定位成与这个不同。例如，CP0可以位于右上样本位置处，CP1可以位于左上样本位置处，并且CP2可以位于左下样本位置处，但是它们的位置不限于此。在这种情况下，可以在考虑每个CP的位置的情况下类似地执行以下处理。
例如，如果当前块的宽度为W且其高度为H，则假定当前块的左下样本位置的坐标为(0，0)，CP0的坐标可以被表示为(0，H)，CP1的坐标可以被表示为(W，H)，并且CP2的坐标可以被表示为(0，0)。在此，W和H可以具有不同的值，但是也可以具有相同的值，并且可以不同地设置基准(0，0)。
如在图10中所示，因为在仿射运动预测方法中使用根据三个CP的三个运动矢量的仿射运动模型根据三个运动矢量使用六个参数，所以可以将其称为6参数仿射运动模型。
在本公开的实施例中，可以通过仿射运动矢量字段(仿射MVF)和样本的位置来确定样本单元的运动矢量。仿射运动矢量字段可以基于根据三个CP的三个运动矢量来表示样本单元的运动矢量。
根据本公开的实施例，可以确定来自当前块的时间和/或空间邻近块之中的参考块，并且该参考块的运动矢量可以用作当前块的运动矢量预测器，并且当前块的运动矢量可以用运动矢量预测器和运动矢量差来表示。另外，本公开的实施例可以用信号发送运动矢量预测器和运动矢量差的索引。
根据本公开的实施例，可以在编码时基于根据三个CP的三个运动矢量和根据三个CP的三个运动矢量预测器导出根据三个CP的三个运动矢量差，并且在解码时，可以基于根据三个CP的三个运动矢量预测器和根据三个CP的三个运动矢量差来导出根据三个CP的三个运动矢量。换句话说，每个CP处的运动矢量可以由运动矢量预测器和运动矢量差之和组成，如等式4所示。
[等式4]
Figure BDA0002779654460000291
在等式4中，mvp0、mvp1和mvp2可以表示CP0、CP1和CP2中的每个处的运动矢量预测器(MVP)，并且mvd0、mvd1和mvd2可以表示在CP0、CP1和CP2中的每个处的运动矢量差(MVD)。在此，mvp可以称为CPMVP，并且mvd可以称为CPMVD。
因此，根据本公开的实施例的根据仿射模式的帧间预测方法可以在每个CP处对索引和运动矢量差(mvd0、mvd1和mvd2)进行编码和解码。换句话说，根据本公开的实施例，可以基于在当前块的CP0、CP1和CP2中的每个处的mvd0、mvd1和mvd2以及根据索引的mvp0、mvp1、以及mvp2，可以导出在CP0、CP1、以及CP2处的运动矢量，并且基于在CP0、CP1和CP2处的运动矢量来导出样本单元的运动矢量可以执行帧间预测。
根据本公开的另一实施例的仿射运动预测方法可以使用三个运动矢量差中的一个运动矢量差、该运动矢量差和另一个运动矢量差(DMVD)的差(DMVD，两个MVD的差)、以及该运动矢量差与又一个运动矢量差的差(DMVD)。
更具体地，在本公开的另一实施例中，当根据三个CP导出mvd0、mvd1和mvd2时，帧间预测可以通过用信号发送mvd0和两个DMVD(mvd0-mvd1和mvd0-mvd2)，通过用信号发送mvd1和两个DMVD(mvd0-mvd1和mvd1-mvd2)，或者通过用信号发送mvd2和两个DMVD(mvd0-mvd2和mvd1-mvd2)来执行。在此，为了方便起见，两个DMVD中的一个DMVD可以称为第一DMVD(DMVD1)，并且另一个DMVD可以称为第二DMVD(DMVD2)。另外，当编码和解码mvd0和两个DMVD(mvd0-mvd1和mvd0-mvd2)时，mvd0可以称为CP0的MVD，DMVD(mvd0-mvd1)可以称为CP1的DMVD，并且DMVD(mvd0-mvd2)可以称为CP2的DMVD。
即，根据本公开的另一实施例，三个mvd(例如，mvd0、mvd1和mvd2)可以基于一个mvd和两个DMVD来导出，并且三个CP中的每个处的运动矢量可以基于根据用于三个CP(例如，CP0、CP1以及CP2)的索引的运动矢量预测器以及连同这样的mvd来导出，并且帧间预测可以通过基于在三个CP处的运动矢量导出样本单元的运动矢量来执行。
在参考图10描述的本公开的另一个实施例中，使用参考图9描述的中值预测器的方法可以自适应地应用以有效地执行运动矢量编码，并且在这种情况下，可以从参考图9描述的方法中省略导出mvp2的过程。
在下文中，在本公开的描述中，CP0、CP1和CP2可以分别表示为第一CP、第二CP和第三CP，以及根据每个CP的运动矢量(MV)、运动矢量预测器(MVP)和运动矢量差(MVD)也可以按照与上述类似的方式表示。
图11示意性地表示根据本公开的编码装置的视频编码方法。
图11中公开的方法可以由图1中公开的编码装置执行。例如，图11中的S1100至S1120可以由编码装置的预测器执行；并且S1130可以由编码装置的熵编码器执行。
编码装置导出当前块的控制点(CP)(S1100)。当仿射运动预测被应用于当前块时，编码装置可以导出CP，并且取决于实施例，CP的数量可以是两个或三个。
例如，当存在两个CP时，CP可以分别位于当前块的左上样本位置和右上样本位置，并且当前块的高度和宽度分别为W和W，并且左下样本位置的坐标分量为(0，0)，则CP的坐标分量可以分别为(0，H)和(W，H)。
例如，当存在三个CP时，CP可能分别位于当前块的左上样本位置、右上样本位置和左下样本位置，并且如果当前块的高度和宽度分别为H和W，并且左下样本位置的坐标分量为(0，0)，则CP的坐标分量可以分别为(0，H)、(W，H)和(0，0)。
编码装置导出用于CP的MVP(S1110)。例如，当导出的CP的数量是两个时，编码装置可以获得两个运动矢量。例如，当导出的CP的数量是三个时，编码装置可以获得三个运动矢量。可以基于邻近块来导出用于CP的MVP，并且上面已经参考图7和图9描述其详细描述。
例如，当导出第一CP和第二CP时，编码装置可以基于当前块的邻近块来导出用于第一CP的第一MVP和用于第二CP的第二MVP，并且当进一步导出第三CP时，编码装置可以进一步基于当前块的邻近块导出第三MVP。
例如，当导出第一CP、第二CP和第三CP时，编码装置可以基于用于第一CP的第一MVP和用于第二CP的第二MVP来导出用于第三CP的第三MVP，并基于第三CP的邻近块的运动矢量来导出第三MVP。
编码装置导出一个运动矢量差(MVD)和两个MVD的至少一个差(DMVD)(S1120)。可以基于运动矢量(MV)和运动矢量预测器(MVP)来导出运动矢量差(MVD)，并且为此，编码装置还可以导出每个CP的运动矢量。可以基于多个运动矢量差来导出运动矢量差的差(DMVD)。
例如，当存在两个CP时，编码装置可以导出一个MVD和一个DMVD。编码装置可以从两个CP的运动矢量和两个MVP中导出两个MVD。另外，可以选择要被编码的两个MVD之一，并且可以基于所选择的一个来导出两个MVD的差(DMVD)。
例如，当导出第一CP和第二CP时，编码装置可以导出用于第一CP的第一MVD和用于第二CP的DMVD。这里，用于第二CP的DMVD可以表示第一MVD和用于第二CP的第二MVD之间的差，并且第一MVD可以是参考。
例如，当存在三个CP时，编码装置可以导出一个MVD和两个DMVD。编码装置可以根据三个CP的运动矢量和参考块从三个MVP中导出三个MVD，并且可以从三个MVD当中选择要编码的任何一个MVD。另外，编码装置可以导出所选择的一个MVD与另一MVD之间的差(DMVD1)以及所选择的一个MVD与又一MVD之间的差(DMVD2)。
例如，当进一步导出第三CP时，编码装置可以导出用于第一CP的第一MVD、用于第二CP的DMVD以及用于第三CP的DMVD。这里，用于第二CP的DMVD可以表示第一MVD和第二CP的第二MVD之间的差异，并且用于第三CP的DMVD可以代表用于第一MVD和第三CP的第三MVD之间的差，并且第一MVD可以作为参考。
例如，当进一步导出第三CP时，编码装置可以基于第一MVP、第二MVP和第三MVP导出中值，并且在这种情况下，可以不导出第三MVD和用于第三CP的DMVD。上面已经参考图9描述了其详细描述。
编码装置基于一个MVD和至少一个DMVD进行编码，并输出比特流(S1130)。对于帧间预测，编码装置可以生成并输出用于当前块的比特流，其包括一个MVD、至少一个DMVD和用于运动矢量预测器的索引。
例如，当存在两个CP时，编码装置可以生成用于当前块的比特流，其包括两个CP的运动矢量预测器的索引和两个CP中的任意一个的运动矢量差，以及两个CP的运动矢量差的差。
例如，当导出第一CP和第二CP时，编码装置可以通过对包括关于第一CP的信息和关于用于第二CP的DMVD的信息的图像信息进行编码来输出比特流。
例如，如果存在三个CP，则编码装置可以生成用于当前块的比特流，其包括用于三个CP的运动矢量预测预测器的索引以及用于三个CP之一的运动矢量差、在用于该CP的运动矢量差与用于另一个CP的运动矢量差之间的差、以及在用于该CP的运动矢量差与用于又一个CP的运动矢量差之间的差。
例如，当进一步导出第三CP时，编码装置可以在图像信息中进一步包括关于用于第三CP的DMVD的信息，并且可以对图像信息进行编码以输出比特流。
例如，当进一步导出第三CP并且导出中值时，则编码装置可以通过对包括关于第一MVD的信息和关于用于第二CP的DMVD的信息的图像信息进行编码来输出比特流，并且可以在图像信息中不进一步包括关于用于第三CP的DMVD的信息。
由编码装置生成和输出的比特流可以通过网络或存储介质被发送到解码装置。
图12示意性地图示根据本公开的解码装置的帧间预测方法。
图12中公开的方法可以由图2中公开的解码装置执行。例如，图12中的S1200、S1210、S1230和S1240可以由解码装置的预测器来执行，并且S1220可以由解码装置的熵解码器来执行。这里，可以在S1200和S1210之前执行S1220。
解码装置导出当前块的控制点(CP)(S1200)。当仿射运动预测被应用于当前块时，解码装置可以导出CP，并且取决于实施例，CP的数量可以是两个或三个。
例如，当存在两个CP时，CP可以分别位于当前块的左上样本位置和右上样本位置处，并且如果当前块的高度和宽度分别为H和W，并且左下样本位置的坐标分量为(0，0)，则CP的坐标分量可以分别为(0，H)和(W，H)。
例如，当存在三个CP时，CP可能分别位于当前块的左上样本位置、右上样本位置和左下样本位置，并且如果当前块的高度和宽度分别为H和W，并且左下样本位置的坐标分量为(0，0)，则CP的坐标分量可以为(0，H)、(W，H)和(0，0)。
解码装置导出用于CP的MVP(S1210)。例如，当导出的CP的数量是两个时，解码装置可以获得两个运动矢量。例如，当导出的CP的数量是三个时，解码装置可以获得三个运动矢量。可以基于邻近块来导出用于CP的MVP，并且上面已经参考图7和图9描述其详细描述。
例如，当导出第一CP和第二CP时，解码装置可以基于当前块的邻近块来导出用于第一CP的第一MVP和用于第二CP的第二MVP，并且当第三CP被进一步导出，解码装置可以进一步基于当前块的邻近块来导出第三MVP。
例如，当导出第一CP、第二CP和第三CP时，解码装置可以基于用于第一CP的第一MVP和用于第二CP的第二MVP来导出用于第三CP的第三MVP，并基于第三CP的邻近块的运动矢量导出第三MVP。
解码装置对一个MVD和至少一个DMVD进行解码(S1220)。解码装置可以通过基于接收到的比特流对一个MVD和至少一个DMVD进行解码来获得一个MVD和至少一个DMVD。在此，比特流可以包括用于CP的运动矢量预测器的索引。可以通过网络或存储介质从编码装置接收比特流。
例如，当存在两个CP时，解码装置可以解码一个MVD和一个DMVD，而当存在三个CP时，解码装置可以解码一个MVD和两个DMVD。在此，DMVD可以意指两个MVD之间的差。
例如，当导出第一CP和第二CP时，解码装置可以解码用于第一CP的第一MVD，并且解码用于第二CP的DMVD。在此，用于第二CP的DMVD可以表示第一MVD和用于第二CP的第二MVD之间的差。
例如，当进一步导出第三CP时，解码装置可以解码用于第一CP的第一MVD，并解码用于第二CP的DMVD和用于第三CP的DMVD。这里，用于第二CP的DMVD可以表示第一MVD和用于第二CP的第二MVD之间的差，并且用于第三CP的DMVD可以表示第一MVD和用于第三CP的第三MVD之间的差。
例如，如果进一步导出第三CP并且使用中值，则解码装置可以解码用于第一CP的第一MVD，并且解码用于第二CP的DMVD。在此，可以不解码用于第三CP的DMVD。
解码装置基于用于CP的MVP、一个MVD和至少一个DMVD来导出用于CP的运动矢量(S1230)。可以基于运动矢量差(MVD)和运动矢量预测器(MVP)来导出用于CP的运动矢量，并且可以基于运动矢量差之间的差(DMVD)来导出运动矢量差。
例如，当存在两个CP时，解码装置可以接收一个MVD和一个DMVD，并基于它们，可以根据两个CP导出两个MVD。解码装置可以一起接收用于两个CP的索引，并且基于它们，可以导出两个MVP。解码装置可以基于两个MVD和两个MVP分别导出用于两个CP的运动矢量。
例如，当导出第一CP和第二CP时，解码装置可以基于第一MVD和第一MVP导出第一MV，基于第一MVD和用于第二CP的DMVD导出用于第二CP的第二MVD，并且基于第二MVD和第二MVP导出第二MV。
例如，当存在三个CP时，解码装置可以接收一个MVD和两个DMVD，并且基于它们，可以根据这三个CP导出三个MVD。解码装置可以一起接收用于三个CP的索引，并且基于它们，可以导出三个MVP。解码装置可以基于三个MVD和三个MVP分别导出用于三个CP的运动矢量。
例如，如果进一步导出第三CP并且导出第三MVP，则解码装置可以基于第一MVD和用于第三CP的DMVD来导出用于第三CP的第三MVD，并基于第三MVD和第三MVP导出第三MV。
例如，如果进一步导出第三CP并且中值与第一MVP相同，则解码装置可以基于第一MVD和第一MVP导出第一MV，基于第一MVD和用于第二CP的DMVD导出用于第二CP的第二MVD，并且基于第二MVD和第二MVP导出第二MV。
例如，如果进一步导出第三CP并且中值与第二MVP相同，则解码装置可以基于第二MVD和第二MVP导出第二MV，基于第二MVD和用于第一CP的DMVD导出用于第一CP的第一MVD，并基于第一MVD和第一MVP导出第一MV。
例如，如果进一步导出第三CP并且中值与第三MVP相同，则解码装置可以根据中值与第一个MVP相同的情况和中值与第二MVP相同的情况中的任何一种来导出第一MV和第二MV。确定中值与第一MVP相同的情况以及中值与第二MVP相同的情况中的任何一个可以是预先定义的。上面已经参考图9描述了其详细描述。
解码装置基于运动矢量生成用于当前块的预测块(S1240)。解码装置可以基于相应CP的运动矢量来导出仿射运动矢量字段(仿射MVF)，并且基于它们，可以导出样本单元的运动矢量以执行帧间预测。
在上述实施例中，借助于一系列步骤或框基于流程图解释方法，但是本公开不限于步骤的顺序，并且可以按与上述步骤不同的顺序或步骤，或与另一步骤同时执行某一步骤。此外，本领域的普通技术人员可以理解，流程图中所示的步骤不是排他的，并且在不影响本公开的范围的情况下可以并入另一步骤或可以删除流程图中的一个或多个步骤。
根据本公开的上述方法可以被实现为软件形式，并且根据本公开的编码装置和/或解码装置可以被包括在用于诸如电视、计算机、智能手机、机顶盒、显示设备等的图像处理的设备中。
当本公开中的实施例通过软件来体现时，上述方法可以被体现为用于执行上述功能的模块(过程、功能等)。这些模块可以存储在存储器中并且可以由处理器执行。存储器可以在处理器内部或外部，并且可以以各种众所周知的方式连接到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片组、逻辑电路和/或数据处理设备。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其他存储设备。

Claims (15)

1.一种由解码装置执行的帧间预测方法，所述方法包括：
导出用于所述当前块的控制点(CP)，其中，所述CP包括第一CP和第二CP；
基于所述当前块的邻近块导出用于所述第一CP的第一运动矢量预测器(MVP)和用于所述第二CP的第二MVP；
解码用于所述第一CP的第一运动矢量差(MVD)；
解码用于所述第二CP的两个MVD的差(DMVD)；
基于所述第一MVP和所述第一MVD导出用于所述第一CP的第一运动矢量(MV)；
基于所述第二MVP和用于所述第二CP的所述DMVD导出用于所述第二CP的第二MV；以及
基于所述第一MV和所述第二MV生成用于所述当前块的预测块，
其中，用于所述第二CP的所述DMVD表示所述第一MVD和用于所述第二CP的第二MVD之间的差。
2.根据权利要求1所述的帧间预测方法，其中，所述第一CP位于所述当前块的左上样本位置处，并且所述第二CP位于所述当前块的右上样本位置处。
3.根据权利要求1所述的帧间预测方法，其中，所述CP进一步包括第三CP，并且所述帧间预测方法进一步包括导出用于所述第三CP的第三MVP。
4.根据权利要求3所述的帧间预测方法，其中，所述第三CP位于所述当前块的左下样本位置处。
5.根据权利要求3所述的帧间预测方法，其中，所述第三MVP基于所述第一MVP和所述第二MVP被导出。
6.根据权利要求3所述的帧间预测方法，其中，所述第三MVP基于下述等式被导出，
Figure FDA0002779654450000021
其中mvp0x和mvp0y是所述第一MVP的x和y分量，mvp1x和mvp1y是所述第二MVP的x和y分量，mvp2x和mvp2y是所述第三MVP的x和y分量，并且h和w是所述当前块的高度和宽度。
7.根据权利要求3所述的帧间预测方法，其中，所述第三MVP基于所述第三CP的邻近块被导出。
8.根据权利要求3所述的帧间预测方法，其中，当基于所述第一MVP、所述第二MVP和所述第三MVP导出的中值与所述第一MVP相同时，对用于所述第二CP的所述DMVD进行解码。
9.根据权利要求3所述的帧间预测方法，进一步包括：
解码用于所述第三CP的DMVD；以及
基于所述第三MVP和用于所述第三CP的所述DMVD导出用于所述第三CP的第三MV，
其中，所述预测块进一步基于所述第三MV来生成，并且
其中，用于所述第三CP的所述DMVD表示所述第一MVD和用于所述第三CP的所述第三MVD之间的差。
10.一种由编码装置执行的图像编码方法，所述方法包括：
导出用于所述当前块的控制点(CP)，其中，所述CP包括第一CP和第二CP；
基于所述当前块的邻近块导出用于所述第一CP的第一运动矢量预测器(MVP)和用于所述第二CP的第二MVP；
导出用于所述第一CP的第一运动矢量差(MVD)；
导出用于所述第二CP的两个MVD的差(DMVD)；以及
对包括关于所述第一MVD的信息和关于用于所述第二CP的所述DMVD的信息的图像信息进行编码以输出比特流，
其中，用于所述第二CP的所述DMVD表示所述第一MVD和用于所述第二CP的第二MVD之间的差。
11.根据权利要求10所述的图像编码方法，其中，所述CP进一步包括第三CP，并且所述帧间预测方法进一步包括导出用于所述第三CP的第三MVP。
12.根据权利要求11所述的图像编码方法，进一步包括导出用于所述第三CP的DMVD，
其中，所述图像信息进一步包括关于用于所述第三CP的DMVD的信息，并且
其中，用于所述第三CP的所述DMVD表示所述第一MVD和用于所述第三CP的所述第三MVD之间的差。
13.一种执行帧间预测方法的解码装置，所述装置包括：
熵解码器，所述熵解码器对用于第一CP的第一运动矢量差(MVD)和用于第二CP的两个MVD的差(DMVD)进行解码；和
预测器，所述预测器导出包括第一控制点(CP)和第二CP的用于所述当前块的CP，基于所述当前块的邻近块导出用于所述第一CP的第一运动矢量预测器(MVP)和用于所述第二CP的第二MVP，基于所述第一MVP和所述第一MVD导出用于所述第一CP的第一运动矢量(MV)，基于所述第二MVP和用于所述第二CP的所述DMVD导出用于所述第二CP的第二MV，并且基于所述第一MV和所述第二MV生成用于所述当前块的预测块，
其中，用于所述第二CP的所述DMVD表示所述第一MVD和用于所述第二CP的第二MVD之差。
14.根据权利要求13所述的解码装置，其中，所述CP进一步包括第三CP，并且所述预测器进一步导出用于所述第三CP的第三MVP。
15.根据权利要求14所述的解码装置，其中：
熵编码器进一步对用于所述第三CP的DMVD进行解码；
所述预测器基于所述第三MVP和用于所述第三CP的所述DMVD进一步导出用于所述第三CP的第三MV；
所述预测块进一步基于所述第三MV来生成；以及
用于所述第三CP的所述DMVD表示所述第一MVD和用于所述第三CP的所述第三MVD之间的差。
CN201980032706.7A 2018-04-13 2019-04-11 视频处理***中的帧间预测的方法和装置 Pending CN112136328A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862657013P 2018-04-13 2018-04-13
US62/657,013 2018-04-13
PCT/KR2019/004334 WO2019199067A1 (ko) 2018-04-13 2019-04-11 비디오 처리 시스템에서 인터 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
CN112136328A true CN112136328A (zh) 2020-12-25

Family

ID=68163626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980032706.7A Pending CN112136328A (zh) 2018-04-13 2019-04-11 视频处理***中的帧间预测的方法和装置

Country Status (8)

Country Link
US (3) US11102478B2 (zh)
EP (2) EP4351146A3 (zh)
KR (3) KR20230169429A (zh)
CN (1) CN112136328A (zh)
FI (1) FI3780616T3 (zh)
PL (1) PL3780616T3 (zh)
SI (1) SI3780616T1 (zh)
WO (1) WO2019199067A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011025301A2 (ko) * 2009-08-28 2011-03-03 에스케이텔레콤 주식회사 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN103297778A (zh) * 2013-05-27 2013-09-11 华为技术有限公司 一种对图像进行编、解码的方法及设备
CN105163116A (zh) * 2015-08-29 2015-12-16 华为技术有限公司 图像预测的方法及设备
WO2017022973A1 (ko) * 2015-08-04 2017-02-09 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2017052000A1 (ko) * 2015-09-24 2017-03-30 엘지전자 주식회사 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162171B (zh) * 2010-04-13 2020-09-11 Ge视频压缩有限责任公司 解码器及方法、编码方法
US10536701B2 (en) * 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
CN103907346B (zh) * 2011-10-11 2017-05-24 联发科技股份有限公司 运动矢量预测子及视差矢量导出方法及其装置
SG11201502200RA (en) * 2012-09-28 2015-07-30 Sony Corp Image processing device and method
CN104244002B (zh) * 2013-06-14 2019-02-05 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
CN106303543B (zh) * 2015-05-15 2018-10-30 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
US20190082192A1 (en) * 2016-03-16 2019-03-14 Mediatek Inc. Method and apparatus of pattern-based motion vector derivation for video coding
KR20240025714A (ko) * 2016-03-24 2024-02-27 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US20180192071A1 (en) * 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US10856003B2 (en) 2017-10-03 2020-12-01 Qualcomm Incorporated Coding affine prediction motion information for video coding
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US20190116376A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
US10757417B2 (en) * 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
KR102443965B1 (ko) * 2019-01-01 2022-09-19 엘지전자 주식회사 히스토리 기반 모션 벡터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011025301A2 (ko) * 2009-08-28 2011-03-03 에스케이텔레콤 주식회사 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN103297778A (zh) * 2013-05-27 2013-09-11 华为技术有限公司 一种对图像进行编、解码的方法及设备
WO2017022973A1 (ko) * 2015-08-04 2017-02-09 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
CN105163116A (zh) * 2015-08-29 2015-12-16 华为技术有限公司 图像预测的方法及设备
WO2017052000A1 (ko) * 2015-09-24 2017-03-30 엘지전자 주식회사 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHIH-WEI HSU等: "Description of SDR video coding technology proposal by MediaTek", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018, JVET-J0018, 3 April 2018 (2018-04-03) *

Also Published As

Publication number Publication date
KR20230169429A (ko) 2023-12-15
FI3780616T3 (fi) 2024-03-25
WO2019199067A1 (ko) 2019-10-17
EP3780616B1 (en) 2024-03-06
EP4351146A3 (en) 2024-06-12
SI3780616T1 (sl) 2024-05-31
KR20230042419A (ko) 2023-03-28
KR102610110B1 (ko) 2023-12-06
US20210344904A1 (en) 2021-11-04
EP3780616A1 (en) 2021-02-17
PL3780616T3 (pl) 2024-06-10
US11102478B2 (en) 2021-08-24
EP4351146A2 (en) 2024-04-10
KR20200124755A (ko) 2020-11-03
KR102513585B1 (ko) 2023-03-24
US11601643B2 (en) 2023-03-07
US20230179761A1 (en) 2023-06-08
EP3780616A4 (en) 2021-05-05
US20210044797A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
CN111448800B (zh) 在图像编码***中使用仿射mvp候选列表的基于仿射运动预测的图像解码方法及设备
US11889106B2 (en) Image decoding method and apparatus based on motion prediction in sub-block unit in image coding system
CN111630859A (zh) 根据图像编码***中的帧间预测进行图像解码的方法和装置
US11943470B2 (en) Method and apparatus for inter prediction in video coding system
CN113767625A (zh) 基于mpm列表的帧内预测方法及其设备
CN111418212A (zh) 基于图像编码***中的仿射运动预测的图像解码方法和设备
CN114982244A (zh) 图像编码装置和方法
CN112673627A (zh) 在图像编码***中使用仿射合并候选列表的基于仿射运动预测的图像解码方法和装置
CN115428448A (zh) 基于帧间预测的图像编码/解码方法和设备及存储比特流的记录介质
CN114145022A (zh) 推导双向预测的权重索引信息的图像解码方法及其装置
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
CN112640459A (zh) 图像编码***中基于使用合并候选列表的运动预测的图像解码方法和设备
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
CN113678455B (zh) 用于导出双预测的权重索引信息的视频或图像编码
CN114375573A (zh) 使用合并候选推导预测样本的图像解码方法及其装置
CN114342405A (zh) 图像解码方法和用于该图像解码方法的装置
US11601643B2 (en) Method and apparatus for inter prediction in video processing system
CN118044201A (zh) 基于mdmvr的图像编译方法及设备
CN113273210A (zh) 用于编译关于合并数据的信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination