CN113678455B - 用于导出双预测的权重索引信息的视频或图像编码 - Google Patents

用于导出双预测的权重索引信息的视频或图像编码 Download PDF

Info

Publication number
CN113678455B
CN113678455B CN202080026756.7A CN202080026756A CN113678455B CN 113678455 B CN113678455 B CN 113678455B CN 202080026756 A CN202080026756 A CN 202080026756A CN 113678455 B CN113678455 B CN 113678455B
Authority
CN
China
Prior art keywords
block
candidates
information
prediction
weight index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080026756.7A
Other languages
English (en)
Other versions
CN113678455A (zh
Inventor
朴婡利
南廷学
张炯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202311861298.0A priority Critical patent/CN117692659A/zh
Priority to CN202311871819.0A priority patent/CN117793374A/zh
Priority to CN202311873054.4A priority patent/CN117692660A/zh
Priority to CN202311861297.6A priority patent/CN117692658A/zh
Publication of CN113678455A publication Critical patent/CN113678455A/zh
Application granted granted Critical
Publication of CN113678455B publication Critical patent/CN113678455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

根据本文献的公开，当当前块的帧间预测类型指示双预测时，可导出或推导合并候选列表或子块合并候选列表中的候选的权重索引信息，并且编码效率可增加。

Description

用于导出双预测的权重索引信息的视频或图像编码
技术领域
本技术涉及用于推导双预测的权重索引信息的视频或图像编码。
背景技术
最近，在各种领域中对诸如4K或8K超高清(UHD)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频分辨率或质量变得更高，与传统图像/视频数据相比发送相对更多量的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质发送或被存储在传统存储介质中，则传输和存储的成本容易增加。
此外，对虚拟现实(VR)和人工现实(AR)内容以及诸如全息图的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。
发明内容
技术方案
根据本文献的实施方式，提供了一种用于改进图像/视频编码效率的方法和设备。
根据本文献的实施方式，提供了一种在图像编码时基于权重使用双预测的方法和设备。
根据本文献的实施方式，提供了一种在帧间预测中为双预测推导权重索引信息的方法和设备。
根据本文献的实施方式，提供了一种在双预测时针对合并候选列表或仿射合并候选列表内的候选推导权重索引信息的方法和设备。
根据本文献的实施方式，提供了一种由解码设备执行的视频/图像解码方法。
根据本文献的实施方式，提供了一种执行视频/图像解码的解码设备。
根据本文献的实施方式，提供了一种由编码设备执行的视频/图像编码方法。
根据本文献的实施方式，提供了一种执行视频/图像编码的编码设备。
根据本文献的实施方式，提供了一种计算机可读数字存储介质，其中存储有根据本文献的至少一个实施方式中所公开的视频/图像编码方法生成的编码视频/图像信息。
根据本文献的实施方式，提供了一种计算机可读数字存储介质，其中存储有使得解码设备执行本文献的至少一个实施方式中所公开的视频/图像解码方法的编码信息或编码视频/图像信息。
发明效果
根据本文献的实施方式，总体图像/视频压缩效率可改进。
根据本文献的实施方式，在帧间预测时，可高效地构造运动向量候选。
根据本文献的实施方式，可高效地执行基于权重的双预测。
附图说明
图1示意性地示出本文献的实施方式可应用于的视频/图像编码***的示例。
图2是示意性地描述本文献的实施方式可应用于的视频/图像编码设备的构造的图。
图3是示意性地描述本文献的实施方式可应用于的视频/图像解码设备的构造的图。
图4是用于描述帧间预测中的合并模式的图。
图5a和图5b示例性地示出用于仿射运动预测的CPMV。
图6示例性地示出以子块为单位确定仿射MVF的情况。
图7是用于描述帧间预测中的仿射合并模式的图。
图8是用于描述仿射合并模式下的候选的位置的图。
图9是用于描述帧间预测中的SbTMVP的图。
图10和图11示意性地示出根据本文献的实施方式的视频/图像编码方法和相关组件的示例。
图12和图13示意性地示出根据本文献的实施方式的图像/视频解码方法和相关组件的示例。
图14示出本文献中所公开的实施方式可应用于的内容流***的示例。
具体实施方式
本文献的公开可按各种方式修改并且可具有各种实施方式，将在附图中示出并详细描述特定实施方式。然而，并非旨在将本公开限于这些特定实施方式。本文献中常用的术语用于描述特定实施方式，并非用于限制本文献的技术精神。除非上下文明确地另外表达，否则单数表达包括复数表达。本文献中诸如“包括”或“具有”的术语应该被理解为指示存在说明书中所描述的特性、数量、步骤、操作、元件、部分或其组合，并不排除存在或添加一个或更多个其它特性、数量、步骤、操作、元件、部分或其组合的可能性。
此外，为了与不同特性功能有关的描述方便，本文献中描述的附图中的元件被独立地示出。这并不意味着各个元件被实现为单独的硬件或单独的软件。例如，至少两个元件可被组合以形成单个元件，或者单个元件可被分成多个元件。元件被组合和/或分离的实施方式也包括在本文献的权利范围内，除非其偏离本文献的本质。
以下，参照附图更具体地描述本文献的优选实施方式。以下，在附图中，在相同元件中使用相同的标号，并且可省略相同元件的冗余描述。
图1示意性地示出本文献的实施方式可应用于的视频/图像编码***。
参照图1，视频/图像编码***可包括第一设备(源装置)和第二设备(接收装置)。源装置可经由数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式传送至接收装置。
源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部组件。
视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
编码设备可对输入视频/图像进行编码。为了压缩和编码效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送到接收装置的接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并将所接收的比特流发送到解码设备。
解码设备可通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列过程将视频/图像解码。
渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
本文献涉及视频/图像编码。例如，本文献中公开的方法/实施方式可应用于通用视频编码(VVC)标准中公开的方法。此外，本文献中公开的方法/实施方式可应用于基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第2代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.等)中公开的方法。
在本文献中，提出了视频/图像编码的各种实施方式。除非另外描述，否则实施方式可被组合并执行。
在本文献中，视频可意指随时间的一系列图像的集合。通常，画面意指指示特定时区中的一个图像的单元。切片/拼块是在编码时构成画面的部分的单元。切片/拼块可包括一个或更多个编码树单元(CTU)。一个画面可由一个或更多个切片/拼块组成。拼块是画面中的特定拼块列和特定拼块行内的CTU的矩形区域。拼块列是高度与画面相同并且宽度由画面参数集中的句法元素指定的CTU的矩形区域。拼块行是高度由画面参数集中的句法元素指定并且宽度等于画面的宽度的CTU的矩形区域。拼块扫描是分割画面的CTU的特定顺序排序，其中在拼块的CTU光栅扫描中CTU连续地排序，而在画面的拼块的光栅扫描中画面中的拼块连续地排序。切片包括可排他地包含在单个NAL单元中的画面的整数数量的完整拼块或拼块内整数数量的连续完整CTU行。
此外，一个画面可被分为两个或更多个子画面。子画面可以是画面内的一个或更多个切片的矩形区域。
像素或画素可意指构成一个画面(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元可表示图像处理的基本单位。单元可包括画面的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，Cb、Cr)块。在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，M×N块可包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本文献中，“A或B”可意指“仅A”、“仅B”或“A和B二者”。换言之，在本文献中，“A或B”可被解释为“A和/或B”。例如，在本文献中，“A、B或C”可意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。
本文献中使用的斜线“/”或顿号可意指“和/或”。例如，“A/B”可意指“A和/或B”。因此，“A/B”可意指“仅A”、“仅B”或“A和B二者”。例如，“A、B、C”可意指“A、B或C”。
在本文献中，“A和B中的至少一个”可意指“仅A”、“仅B”或“A和B二者”。此外，在本文献中，诸如“A或B中的至少一个”或“A和/或中的至少一个B”的表达可与“A和B中的至少一个”相同地解释。
此外，在本文献中，“A、B和C中的至少一个”可意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。此外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可意指“A、B和C中的至少一个”。
此外，本文献中使用的括号可意指“例如”。具体地，如果指示“预测(帧内预测)”，则可意指“帧内预测”可被建议为“预测”的示例。换言之，在本文献中，“预测”不限于“帧内预测”，可提议“帧内预测”作为“预测”的示例。此外，如果指示“预测(即，帧内预测)”，则“帧内预测”可被建议为“预测”的示例。
在本文献中，在一张图中单独描述的技术特性可单独地实现或者可同时实现。
图2是示意性地描述本文献的实施方式可应用于的视频/图像编码设备的构造的图。
参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码画面缓冲器(DPB)，或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
图像分割器210可将输入到编码设备200的输入图像(或者画面或帧)分割成一个或更多个处理器。例如，处理器可被称为编码单元(CU)。在这种情况下，编码单元可根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，根据图像特性基于编码效率，最大编码单元可用作最终编码单元，或者如果需要，编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里，编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，M×N块可表示由M列和N行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或画素的一个画面(或图像)对应的术语。
在编码设备200中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可被称为减法器231。预测器可对要处理的块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可确定基于当前块或CU应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可生成与预测有关的各种类型的信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可在熵编码器240中编码并以比特流的形式输出。
帧内预测器222可参考当前画面中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括DC模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可基于参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考画面可被称为并置画面(colPic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考画面索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可用作运动向量预测器，并且可通过用信号通知运动向量差来指示当前块的运动向量。
预测器220可基于下面描述的各种预测方法来生成预测信号。例如，预测器可不仅应用帧内预测或帧间预测以预测一个块，而且同时应用帧内预测和帧间预测二者。这可被称为组合帧间和帧内预测(CIIP)。另外，预测器可基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码(SCC)。IBC基本上在当前画面中执行预测，但是可与帧间预测相似地执行，使得在当前画面中推导参考块。即，IBC可使用本文献中描述的至少一个帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知画面内的样本值。
通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可用于生成重构信号或者可用于生成残差信号。变换器232可通过对残差信号应用变换方案来生成变换系数。例如，变换方案可包括离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一个。在这种情况下，当像素之间的关系信息被表示为图形时，GBT意指从图形获得的变换。CNT意指在使用所有先前重构的像素生成预测信号之后基于预测信号获得的变换。此外，变换处理可应用于具有相同大小的正方形像素块，并且可应用于具有可变大小的非正方形块。
量化器233可将变换系数量化并将它们发送到熵编码器240，并且熵编码器240可对量化的信号(关于量化的变换系数的信息)进行编码并输出比特流。关于量化的变换系数的信息可被称为残差信息。量化器233可基于系数扫描顺序将块类型量化的变换系数重排为一维向量形式，并且基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。可生成关于变换系数的信息。熵编码器240可执行例如指数Golomb、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的各种编码方法。熵编码器240可对量化的变换系数以外的视频/图像重构所需的信息(例如，句法元素的值等)一起或单独地进行编码。编码的信息(例如，编码的视频/图像信息)可按比特流的形式以NAL(网络抽象层)为单位发送或存储。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可包括一般约束信息。在本文献中，从编码设备发送/用信号通知给解码设备的信息和/或句法元素可被包括在视频/画面信息中。视频/图像信息可通过上述编码过程编码并被包括在比特流中。比特流可经由网络发送或者可被存储在数字存储介质中。网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可被包括作为编码设备200的内部/外部元件，并且另选地，发送器可被包括在熵编码器240中。
从量化器233输出的量化的变换系数可用于生成预测信号。例如，可通过经由解量化器234和逆变换器235对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块不存在残差(例如，应用跳过模式的情况)，则预测块可用作重构块。加法器250可被称为重构器或重构块生成器。如下所述，所生成的重构信号可用于当前画面中要处理的下一块的帧内预测并且可通过滤波用于下一画面的帧间预测。
此外，可在画面编码和/或重构期间应用与色度缩放的亮度映射(LMCS)。
滤波器260可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可通过对重构画面应用各种滤波方法来生成修改的重构画面并将修改的重构画面存储在存储器270(具体地，存储器270的DPB)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可生成与滤波有关的各种类型的信息并且将所生成的信息发送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可由熵编码器240编码并以比特流的形式输出。
发送到存储器270的修改的重构画面可用作帧间预测器221中的参考画面。当通过编码设备应用帧间预测时，可避免编码设备200与解码设备之间的预测失配并且编码效率可改进。
存储器270DPB的DPB可存储用作帧间预测器221中的参考画面的修改的重构画面。存储器270可存储推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可存储当前画面中的重构块的重构样本并且可将重构样本传送至帧内预测器222。
图3是示意性地描述本文献的实施方式可应用于的视频/图像解码设备的构造的图。以下，解码设备可包括图像解码设备和/或视频解码设备。
参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧内预测器331和帧间预测器332。残差处理器320可包括解量化器321和逆变换器321。根据实施方式，熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码画面缓冲器(DPB)或者可由数字存储介质配置。硬件组件还可包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此，例如，解码的处理器可以是编码单元，并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构图像信号可通过再现设备再现。
解码设备300可接收从图2的编码设备以比特流的形式输出的信号，并且所接收的信号可通过熵解码器310解码。例如，熵解码器310可解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可包括一般约束信息。解码设备还可基于关于参数集的信息和/或一般约束信息将画面解码。本文献中稍后描述的用信号通知/接收的信息和/或句法元素可通过解码过程解码并从比特流获得。例如，熵解码器310基于诸如指数Golomb编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并且输出图像重构所需的句法元素和残差的变换系数的量化值。更具体地，CABAC熵解码方法可接收与比特流中的各个句法元素对应的信元(bin)，使用解码目标句法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/信元的信息来确定上下文模型，并且通过根据所确定的上下文模型预测信元出现的概率对信元执行算术解码，并且生成与各个句法元素的值对应的符号。在这种情况下，CABAC熵解码方法可在确定上下文模型之后通过将解码的符号/信元的信息用于下一符号/信元的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测有关的信息可被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中执行了熵解码的残差值(即，量化的变换系数和相关参数信息)可被输入到残差处理器320。残差处理器320可推导残差信号(残差块、残差样本、残差样本阵列)。另外，熵解码器310所解码的信息当中关于滤波的信息可被提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)还可被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本文献的解码设备可被称为视频/图像/画面解码设备，并且解码设备可被分类为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可包括熵解码器310，并且样本解码器可包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
解量化器321可将量化的变换系数解量化并输出变换系数。解量化器321可按二维块形式重排量化的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来执行重排。解量化器321可使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并且获得变换系数。
逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
预测器320可基于下述各种预测方法来生成预测信号。例如，预测器不仅可应用帧内预测或帧间预测以预测一个块，而且可同时应用帧内预测和帧间预测。这可被称为组合帧间和帧内预测(CIIP)。另外，预测器可基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编码，例如屏幕内容编码(SCC)。IBC基本上执行当前画面中的预测，但是可与帧间预测相似地执行，使得在当前画面中推导参考块。即，IBC可使用本文献中描述的至少一种帧间预测技术。调色板模式可被视为帧内编码或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知画面内的样本值。
帧内预测器331可参考当前画面中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。帧内预测器331可参考当前画面中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可基于参考画面上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。例如，帧间预测器332可基于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考画面索引。可基于各种预测模式来执行帧间预测，并且关于预测的信息可包括指示当前块的帧间预测模式的信息。
加法器340可通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块不存在残差，例如当应用跳过模式时，预测块可用作重构块。
加法器340可被称为重构器或重构块生成器。所生成的重构信号可用于当前画面中要处理的下一块的帧内预测，可如下所述通过滤波输出，或者可用于下一画面的帧间预测。
此外，可在画面解码处理中应用与色度缩放的亮度映射(LMCS)。
滤波器350可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可通过对重构画面应用各种滤波方法来生成修改的重构画面并且将修改的重构画面存储在存储器360(具体地，存储器360的DPB)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改的)重构画面可用作帧间预测器332中的参考画面。存储器360可存储推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可存储当前画面中的重构块的重构样本并将重构样本传送至帧内预测器331。
在本文献中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或分别与之对应应用。这也可适用于单元332和帧内预测器331。
当应用帧间预测时，编码设备/解码设备的预测器可通过以块为单位执行帧间预测来推导预测样本。帧间预测可以是以取决于当前画面以外的画面的数据元素(例如，样本值或运动信息)的方式推导的预测。当对当前块应用帧间预测时，可基于参考画面索引所指示的参考画面中运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块(预测样本阵列)。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测当前块的运动信息。运动信息可包括运动向量和参考画面索引。运动信息还可包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。当应用帧间预测时，邻近块可包括存在于当前画面内的空间邻近块和存在于参考画面内的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可相同或不同。时间邻近块可被称为并置参考块、colCU(CU)等。包括时间邻近块的参考画面可被称为并置画面(colPic)。例如，可基于当前块的邻近块来构造运动信息候选列表。为了推导当前块的运动向量和/或参考画面索引，可用信号通知指示选择(使用)哪一候选的标志或索引信息。可基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，当前块的运动信息可与所选邻近块的运动信息相同。在跳过模式的情况下，与合并模式下不同，可不发送残差信号。在运动向量预测(MVP)模式的情况下，所选邻近块的运动向量可用作运动向量预测器，并且可用信号通知运动向量差。在这种情况下，可使用运动向量预测器与运动向量差之和来推导当前块的运动向量。
根据帧间预测类型(L0预测、L1预测、Bi预测等)，运动信息可包括L0运动信息和/或L1运动信息。L0方向上的运动向量可被称为L0运动向量或MVL0。L1方向上的运动向量可被称为L1运动向量或MVL1。基于L0运动向量的预测可被称为L0预测。基于L1运动向量的预测可被称为L1预测。基于L0运动向量和L1运动向量二者的预测可被称为双预测。在这种情况下，L0运动向量可指示与参考画面列表L0(L0)关联的运动向量。L1运动向量可指示与参考画面列表L1(L1)关联的运动向量。参考画面列表L0可包括按其输出顺序在当前画面之前的画面作为参考画面。参考画面列表L1可包括按其输出顺序在当前画面之后的画面。先前画面可被称为前向(参考)画面。后续画面可被称为后向(参考)画面。参考画面列表L0还可包括按其输出顺序在当前画面之后的画面作为参考画面。在这种情况下，先前画面可在参考画面列表L0内首先进行索引，后续画面然后可进行索引。参考画面列表L1还可包括按其输出顺序在当前画面之前的画面作为参考画面。在这种情况下，后续画面可在参考画面列表1内首先进行索引，先前画面然后可进行索引。在这种情况下，输出顺序可对应于画面顺序计数(POC)顺序。
为了预测画面内的当前块，可使用各种帧间预测模式。例如，可使用诸如合并模式、跳过模式、运动向量预测(MVP)模式、仿射模式、子块合并模式、与MVD合并(MMVD)模式等的各种模式。作为附加模式，可另外或替代使用解码器侧运动向量细化(DMVR)模式、自适应运动向量分辨率(AMVR)模式、具有CU级别权重的双预测(BCW)、双向光流(BDOF)等。仿射模式可被称为仿射运动预测模式。MVP模式可被称为高级运动向量预测(AMVP)模式。在本文献中，一些模式和/或通过一些模式推导的运动信息候选也可被包括作为另一模式的运动信息相关候选之一。例如，HMVP候选可被添加作为合并/跳过模式的合并候选，或者可被添加作为MVP模式的MVP候选。当HMVP候选用作合并模式或跳过模式的运动信息候选时，HMVP候选可被称为HMVP合并候选。
可将指示当前块的帧间预测模式的预测模式信息从编码设备用信号通知给解码设备。预测模式信息可被包括在比特流中并由解码设备接收。预测模式信息可包括指示多个候选模式之一的索引信息。另选地，可通过标志信息的分级信令来指示帧间预测模式。在这种情况下，预测模式信息可包括一个或更多个标志。例如，可通过用信号通知跳过标志来指示是否应用跳过模式。当不应用跳过模式时，可通过用信号通知合并标志来指示是否应用合并模式。当不应用合并模式时，可进一步用信号通知用于指示或另外标识应用MVP模式的标志。仿射模式可用信号通知为独立模式，或者可用信号通知为取决于合并模式、MVP模式等的模式。例如，仿射模式可包括仿射合并模式和仿射MVP模式。
此外，可用信号通知指示在当前块(当前编码单元)中是否使用上述列表0(L0)预测、列表1(L1)预测或双预测的信息。该信息可被称为运动预测方向信息、帧间预测方向信息或帧间预测指示信息，并且可例如按inter_pred_idc句法元素的形式构造/编码/用信号通知。即，inter_pred_idc句法元素可指示在当前块(当前编码单元)中是否使用上述L0预测、L1预测或双预测。在本文献中，为了描述方便，inter_pred_idc句法元素所指示的帧间预测类型(L0预测、L1预测或BI预测)可被指示为运动预测方向。例如，L0预测可被指示为pred_L0，L1预测可被指示为pred_L1，双预测可被指示为pred_BI。
如上所述，一个画面可包括一个或更多个切片。切片可具有包括帧内切片(I切片)、预测切片(P切片)和双预测切片(B切片)的切片类型之一。切片类型可基于切片类型信息来指示。关于I切片内的块，不使用帧间预测进行预测，仅可使用帧内预测。即使在这种情况下，也可通过在没有预测的情况下对原始样本值进行编码来执行信令。帧内预测或帧间预测可用于P切片内的块。当使用帧间预测时，仅可使用单预测。此外，帧内预测或帧间预测可用于B切片内的块。当使用帧间预测时，可使用向上最大双预测。即，如果帧间预测用于B切片内的块，则可使用单预测或双预测。
L0和L1可包括在当前画面之前编码/解码的参考画面。在这种情况下，L0可指示参考画面列表0，L1可指示参考画面列表1。例如，L0可包括按画面顺序计数(POC)顺序在当前画面之前和/或之后的参考画面。L1可包括按POC顺序在当前画面之后和/或之前的参考画面。在这种情况下，在L0中，按POC顺序可向先前参考画面指派与当前画面相比相对更低的参考画面索引。在L1中，按POC顺序可向后续参考画面指派与当前画面相比相对更低的参考画面索引。可对B切片应用双预测。即使在这种情况下，也可应用单向双预测或者可应用双向双预测。双向双预测可被称为真双预测。
此外，可使用当前块的运动信息来执行帧间预测。编码设备可通过运动估计过程来推导当前块的最佳运动信息。例如，编码设备可针对当前块使用原始画面内的原始块在参考画面内的预定搜索范围内以部分像素为单位搜索具有高相关性的相似参考块，并且可基于相似参考块推导运动信息。可根据基于相位的样本值之间的差来推导块的相似度。例如，可基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的绝对差和(SAD)来计算块的相似度。在这种情况下，可基于在搜索区域内具有最小SAD的参考块来推导运动信息。可基于帧间预测模式根据多种方法将所推导的运动信息用信号通知给解码设备。
图4是用于描述帧间预测中的合并模式的图。
当应用合并模式时，不直接发送当前预测块的运动信息，而是使用邻近预测块的运动信息来推导当前预测块的运动信息。因此，可通过发送提供已使用合并模式的通知的标志信息和提供是否已使用哪一邻近预测块的通知的合并索引来指示当前预测块的运动信息。合并模式可被称为常规合并模式。例如，当regular_merge_flag句法元素的值为1时，可应用合并模式。
编码设备需要搜索用于推导当前预测块的运动信息的合并候选块以便执行合并模式。例如，可使用最多五个合并候选块，但本文献的实施方式不限于此。此外，可在切片头或拼块组头中发送最大数量的合并候选块，但本文献的实施方式不限于此。在搜索合并候选块之后，编码设备可生成合并候选列表，并且可选择合并候选列表中具有最小成本的合并候选块作为最终合并候选块。
本文献可提供构成合并候选列表的合并候选块的各种实施方式。
例如，合并候选列表可使用五个合并候选块。例如，合并候选列表可使用四个空间合并候选和一个时间合并候选。作为详细示例，在空间合并候选的情况下，图4所示的块可用作空间合并候选。以下，稍后描述的空间合并候选或空间MVP候选可被称为SMVP，稍后描述的时间合并候选或时间MVP候选可被称为TMVP。
例如，当前块的合并候选列表可基于以下过程来构造。
编码设备(编码设备/解码设备)可搜索当前块的空间邻近块并将所推导的空间合并候选***到合并候选列表中。例如，空间邻近块可包括当前块的左下角邻近块、左邻近块、右上角邻近块、上邻近块和左上角邻近块。然而，这是示例，除了上述空间邻近块之外，诸如右邻近块、下邻近块、右下邻近块等的附加邻近块可进一步用作空间邻近块。编码设备可通过基于优先级搜索空间邻近块来检测可用块，并且可推导所检测的块的运动信息作为空间合并候选。例如，编码设备或解码设备可依次搜索图4所示的五个块，类似A1->B1->B0->A0->B2，并且可通过依次对可用候选进行索引来构造可用候选作为合并候选列表。
编码设备可搜索当前块的时间邻近块，并且可将所推导的时间合并候选***到合并候选列表中。时间邻近块可位于参考画面(即，与当前块所在的当前画面不同的画面)中。时间邻近块所在的参考画面可被称为并置画面或col画面。可在col画面中按当前块的并置块的右下角邻近块和右下中心块的顺序搜索时间邻近块。此外，当应用运动数据压缩时，特定运动信息可被存储在col画面中作为各个给定存储单元的代表性运动信息。在这种情况下，没有必要将所有块的运动信息存储在给定存储单元内，从而可获得运动数据压缩效果。在这种情况下，给定存储单元可被预先确定为16×16样本单元、8×8样本单元等，或者可将给定存储单元的大小信息从编码设备用信号通知给解码设备。如果应用运动数据压缩(motion data compression)，则时间邻近块的运动信息可由时间邻近块所在的给定存储单元的代表性运动信息代替。即，在这种情况下，从实现角度，时间合并候选可基于覆盖算术上基于时间邻近块的坐标(左上样本位置)向右移位然后向左移位给定值的位置的预测块(而非位于时间邻近块的坐标中的预测块)的运动信息来推导。例如，当给定存储单元是2n×2n样本单元时，假设时间邻近块的坐标为(xTnb,yTnb)，则位于((xTnb>>n)<<n),(yTnb>>n)<<n))(即，修改的位置)的预测块的运动信息可用于时间合并候选。具体地，例如，如果给定存储单元是16×16样本单元，假设时间邻近块的坐标为(xTnb,yTnb)，则位于((xTnb>>4)<<4),(yTnb>>4)<<4))(即，修改的位置)的预测块的运动信息可用于时间合并候选。另选地，例如，如果给定存储单元是8×8样本单元，假设时间邻近块的坐标为(xTnb,yTnb)，位于((xTnb>>3)<<3),(yTnb>>3)<<3))(即，修改的位置)的预测块的运动信息可用于时间合并候选。
编码设备可检查当前合并候选的数量是否小于合并候选的最大数量。合并候选的最大数量可预定义，或者可从编码设备用信号通知给解码设备。例如，编码设备可生成关于合并候选的最大数量的信息，可对该信息进行编码，并且可将编码的信息以比特流形式传送至解码器。当合并候选的最大数量被填满时，可不执行后续候选添加处理。
作为检查结果，如果当前合并候选的数量小于合并候选的最大数量，则编码设备可将附加合并候选***到合并候选列表中。例如，附加合并候选可包括稍后描述的基于历史的合并候选、成对平均合并候选、ATMVP、组合双预测合并候选(当当前切片/拼块组的切片/拼块组类型是B类型时)和/或零向量合并候选中的至少一个。
作为检查结果，如果当前合并候选的数量不小于合并候选的最大数量，则编码设备可终止合并候选列表的构造。在这种情况下，编码设备可基于率失真(RD)成本来选择构成合并候选列表的合并候选当中的最佳合并候选，并且可用信号通知解码设备指示所选合并候选的选择信息(例如，合并索引)。解码设备可基于合并候选列表和选择信息来选择最佳合并候选。
所选合并候选的运动信息可用作当前块的运动信息。如上所述，可基于当前块的运动信息来推导当前块的预测样本。编码设备可基于预测样本来推导当前块的残差样本，并且可用信号通知解码设备关于残差样本的残差信息。如上所述，解码设备可根据基于残差信息和预测样本推导的残差样本来生成重构样本，并且可基于重构样本来生成重构画面。
当应用跳过模式时，可使用与应用合并模式相同的方法来推导当前块的运动信息。然而，当应用跳过模式时，可省略对应块的残差信号，从而预测样本可直接用作重构样本。例如，当cu_skip_flag句法元素的值为1时，可应用跳过模式。
此外，成对平均合并候选可被称为成对平均候选或成对候选。可通过对现有合并候选列表中的成对的预定义候选取平均来生成成对平均候选。此外，预定义的对可类似于{(0,1)、(0,2)、(1,2)、(0,3)、(1,3)、(2,3)}定义。在这种情况下，数字可指示合并候选列表的合并索引。可针对各个参考列表单独地计算平均运动向量。例如，如果在一个列表内两个运动向量可用，则这两个运动向量可被取平均，尽管它们指示不同的参考画面。例如，如果仅一个运动向量可用，仅可直接使用这一个运动向量。例如，如果不存在可用运动向量，则列表可维持无效状态。
例如，即使在添加成对平均合并候选之后，如果合并候选列表被填满，即，当合并候选列表内的当前合并候选的数量小于合并候选的最大数量时，可将零向量(零MVP)***直到最后，直至出现最大合并候选编号。即，可***零向量，直至合并候选列表内的当前合并候选的数量变为合并候选的最大数量。
此外，在传统技术中，为了表示编码块的运动，可仅使用一个运动向量。即，可使用平移运动模型。然而，这种方法可以块为单位表示最佳运动，但最佳运动实际上并非针对各个样本。如果可以样本为单位确定最佳运动向量，则编码效率可改进。为此，可使用仿射运动模型。使用仿射运动模型执行编码的仿射运动预测方法可如下。
仿射运动预测方法可使用两个、三个或四个运动向量来表示块的各个样本单元中的运动向量。例如，仿射运动模型可表示四个运动。表示可由仿射运动模型表示的运动当中的三个运动(平移、缩放和旋转)的仿射运动模型可被称为相似性(或简化)仿射运动模型。将基于仿射运动模型给出描述，但本公开不限于上述运动模型。
图5a和图5b示例性地示出用于仿射运动预测的CPMV。
仿射运动预测可使用两个或更多个控制点运动向量(CPMV)来确定包括在块中的样本的位置处的运动向量。在这种情况下，运动向量的集合可被指示为仿射运动向量场(MVF)。
例如，图5a可指示使用两个CPMV的情况，这可被称为4参数仿射模型。在这种情况下，例如，(x,y)样本位置处的运动向量可如式1确定。
[式1]
例如，图5b可指示使用三个CPMV的情况，并且可被称为6参数仿射模型。在这种情况下，例如，(x,y)样本位置处的运动向量可如式2确定。
[式2]
在式1和式2中，{vx,vy}可指示(x,y)位置处的运动向量。此外，{v0x,v0y}可指示编码块的左上角位置处的控制点(CP)的CPMV。{v1x,v1y}可指示右上角位置处的CP的CPMV。{v2x,v2y}可指示左下角位置处的CP的CPMV。此外，W可指示当前块的宽度。H可指示当前块的高度。
图6示例性地示出以子块为单位确定仿射MVF的情况。
在编码/解码处理中，仿射MVF可以样本为单位或已经定义的子块为单位来确定。例如，如果以样本为单位确定仿射MVF，则可基于各个样本值获得运动向量。另选地，例如，如果以子块为单位确定仿射MVF，则可基于子块的中心(中心右下，即，中心四个样本中的右下样本)样本值来获得对应块的运动向量。即，在仿射运动预测中，可以样本为单位或以子块为单位来推导当前块的运动向量。
在实施方式中，可假设并描述以4×4子块为单位确定仿射MVF的情况，但这是为了描述方便。子块的大小可不同地改变。
即，如果仿射预测可用，则可应用于当前块的运动模型可包括三种类型(平移运动模型、4参数仿射运动模型和6参数仿射运动模型)。在这种情况下，平移运动模型可指示使用现有块单位运动向量的模型。4参数仿射运动模型可指示使用两个CPMV的模型。6参数仿射运动模型可指示使用三个CPMV的模型。
此外，仿射运动预测可包括仿射MVP(或仿射帧间)模式或仿射合并模式。
图7是用于描述帧间预测中的仿射合并模式的图。
例如，在仿射合并模式下，可基于通过仿射运动预测编码的邻近块的仿射运动模型来确定CPMV。例如，按搜索顺序通过仿射运动预测编码的邻近块可用于仿射合并模式。即，如果至少一个邻近块通过仿射运动预测编码，则当前块可在仿射合并模式下编码。在这种情况下，仿射合并模式可被称为AF_MERGE。
当应用仿射合并模式时，可使用邻近块的CPMV来推导当前块的CPMV。在这种情况下，邻近块的CPMV可没有任何改变地用作当前块的CPMV，或者邻近块的CPMV可基于邻近块的大小、当前块的大小等来修改并且可用作当前块的CPMV。
此外，在以子块为单位推导运动向量(MV)的仿射合并模式的情况下，这可被称为子块合并模式。这可基于子块合并标志(或merge_sub-block_flag句法元素)来指示。另选地，当merge_sub-block_flag句法元素的值为1时，可指示应用子块合并模式。在这种情况下，稍后描述的仿射合并候选列表可被称为子块合并候选列表。在这种情况下，子块合并候选列表还可包括作为稍后描述的SbTMVP推导的候选。在这种情况下，作为SbTMVP推导的候选可用作子块合并候选列表中具有第0索引的候选。换言之，作为SbTMVP推导的候选可位于子块合并候选列表中要描述的继承仿射候选或构造仿射候选前面。
当应用仿射合并模式时，可依次构造仿射合并候选列表以推导当前块的CPMV。例如，仿射合并候选列表可包括以下候选中的至少一个。1)继承仿射合并候选。2)构造仿射合并候选。3)零运动向量候选(或零向量)。在这种情况下，当在仿射模式下对邻近块进行编码时，继承仿射合并候选是基于邻近块的CPMV推导的候选。构造仿射合并候选是通过基于各个CPMV单元中对应CP的邻近块的MV构造CPMV而推导的候选。零运动向量候选可指示由值为0的CPMV组成的候选。
例如，仿射合并候选列表可如下构造。
最多两个继承仿射候选可相同。继承仿射候选可从邻近块的仿射运动模型推导。邻近块可包括一个左邻近块和上邻近块。候选块的位置可如图4中那样。左预测器的扫描顺序可为A1->A0。上预测器的扫描顺序可为B1->B0->B2。可仅从左和上中的每一个选择一个继承候选。在两个继承候选之间可不执行修剪检查。
如果确认邻近仿射块，则确认的块的控制点运动向量可用于推导当前块的仿射合并列表内的CPMVP候选。在这种情况下，邻近仿射块可指示当前块的邻近块当中在仿射预测模式下编码的块。例如，参照图7，如果左下邻近块A在仿射预测模式下编码，则可获得邻近块A的左上角、右上角和左下角处的运动向量v2、v3和v4。如果邻近块A被编码为4参数仿射运动模型，则可基于v2和v3计算当前块的两个CPMV。如果邻近块A被编码为6参数仿射运动模型，则可计算当前块的三个CPMV v2、v3和v4。
图8是用于描述仿射合并模式下的候选位置的图。
构造仿射候选可意指通过将各个控制点的邻***移运动信息组合而构造的候选。控制点的运动信息可从特定空间邻居和时间邻居推导。CPMVk(k＝1,2,3,4)可指示第k控制点。
参照图8，对于CPMV1，可按B2->B3->A2的顺序检查块。可使用首先可用的块的运动向量。对于CPMV2，可按B1->B0的顺序检查块。对于CPMV3，可按A1->A0的顺序检查块。如果可用，时间运动向量预测器(TMVP)可用作CPMV4。
在获得四个控制点的运动向量之后，可基于所获得的运动信息来构造仿射合并候选。控制点运动向量的组合可类似于{CPMV1,CPMV2，,CPMV3}、{CPMV1,CPMV2,CPMV4}、{CPMV1,CPMV3,CPMV4}、{CPMV2,CPMV3,CPMV4}、{CPMV1,CPMV2}和{CPMV1,CPMV3}构造，并且可按所列顺序构造。
三个CPMV的组合可构造6参数仿射合并候选。两个CPMV的组合可构造4参数仿射合并候选。为了避免运动缩放处理，如果控制点的参考索引不同，则控制点运动向量的相关组合可被丢弃。
图9是用于描述帧间预测中的SbTMVP的图。
此外，可使用基于子块的时间运动向量预测(SbTMVP)方法。例如，SbTMVP可被称为高级时间运动向量预测(ATMVP)。SbTMVP可使用并置画面内的运动场以便改进当前画面内的CU的运动向量预测和合并模式。在这种情况下，并置画面可被称为col画面。
例如，SbTMVP可在子块(或子CU)级别预测运动。此外，SbTMVP可在从col画面获取时间运动信息之前应用运动移位。在这种情况下，可从当前块的空间邻近块之一获得运动移位。
SbTMVP可根据两步预测当前块(或CU)内的子块(或子CU)的运动向量。
在第一步中，可按图4中的A1、B1、B0和A0的顺序测试空间邻近块。可确认具有使用col画面作为其参考画面的运动向量的第一空间邻近块。可选择运动向量作为要应用的运动移位。如果没有从空间邻近块确认这种运动，则运动移位可被设定为(0,0)。
在第二步中，可应用在第一步中确认的运动移位以从并置画面获得子块级运动信息(运动向量和参考索引)。例如，可将运动移位与当前块的坐标相加。例如，运动移位可被设定为图4中的A1的运动。在这种情况下，并置画面内的对应块相对于各个子块的运动信息可用于推导子块的运动信息。可应用时间运动缩放以布置时间运动向量的参考画面和当前块的参考画面。
包括SbTVMP候选和仿射合并候选二者的组合基于子块的合并列表可用于仿射合并模式的信令。在这种情况下，仿射合并模式可被称为基于子块的合并模式。基于包括在序列参数集(SPS)中的标志，SbTVMP模式可以可用或不可用。如果SbTMVP模式可用，则SbTMVP预测器可被添加作为基于子块的合并候选列表的第一条目，并且仿射合并候选可跟随。仿射合并候选列表的最大允许大小可为五。
SbTMVP中使用的子CU(或子块)的大小可被固定为8×8。如仿射合并模式下一样，SbTMVP模式可仅应用于宽度和高度为8或更大的块。附加SbTMVP合并候选的编码逻辑可与其它合并候选相同。即，对于是否针对P或B切片内的各个CU使用SbTMVP候选，可执行使用附加率失真(RD)成本的RD检查。
此外，可基于在预测模式下推导的运动信息来推导当前块的预测块。预测块可包括当前块的预测样本(预测样本阵列)。如果当前块的运动向量指示部分样本单元，则可执行插值过程，从而可基于参考画面内的部分样本单元的参考样本来推导当前块的预测样本。如果对当前块应用仿射帧间预测(仿射预测模式)，则可基于样本/子块单元MV来生成预测样本。如果应用双预测，则根据基于L0预测(即，使用参考画面列表L0内的参考画面和MVL0的预测)推导的预测样本和基于L1预测(即，使用参考画面列表L1内的参考画面和MVL1的预测)推导的预测样本的加权和或加权平均(根据相位)推导的预测样本可用作当前块的预测样本。在这种情况下，L0方向上的运动向量可被称为L0运动向量或MVL0。L1方向上的运动向量可被称为L1运动向量或MVL1。如果应用双预测，当用于L0预测的参考画面和用于L1预测的参考画面基于当前画面位于不同的时间方向时(即，如果参考画面是双预测并且对应于双向预测)，这可被称为真双预测。
此外，可基于推导的预测样本来生成重构样本和重构画面。此后，可如上所述执行诸如环路滤波的过程。
此外，如果对当前块应用双预测，则可基于加权平均推导预测样本。例如，使用加权平均的双预测可被称为具有CU级权重(BCW)的双预测、具有加权平均的双预测(BWA)或加权平均双预测。
在传统技术中，通过L0预测信号(L0预测样本)和L1预测信号(L1预测样本)的简单平均来推导双预测信号(即，双预测样本)。即，双预测样本被推导为基于L0参考画面和MVL0的L0预测样本和基于L1参考画面和MVL1的L1预测样本的平均。然而，如果应用双预测，则双预测信号(双预测样本)可如下通过L0预测信号和L1预测信号的加权平均来推导。例如，双预测信号(双预测样本)可如式3推导。
[式3]
Pbi-pred＝((8-w)*P0+w*P1+4)＞＞3
在式3中，Pbi-pred可指示双预测信号的值，即，通过应用双预测而推导的预测样本值。w可指示权重。此外，P0可指示L0预测信号的值，即，通过应用L0预测而推导的预测样本值。P1可指示L1预测信号的值，即，通过应用L1预测而推导的预测样本值。
例如，在加权平均双预测中，可允许五个权重。例如，五个权重w可包括-2、3、4、5或10。即，权重w可被确定为包括-2、3、4、5或10的权重候选之一。可针对应用双预测的各个CU通过两个方法之一确定权重w。在第一方法中，可针对未合并的CU在运动向量差之后用信号通知权重索引。在第二方法中，可针对合并的CU基于合并候选索引从邻近块推断权重索引。
例如，可对具有256个或更多亮度样本的CU应用加权平均双预测。即，当CU的宽度和高度的乘积大于或等于256时，可应用加权平均双预测。在低延迟画面的情况下，可使用五个权重。在非低延迟画面的情况下，可使用三个权重。例如，三个权重可包括3、4或5。
例如，在编码设备中，可应用快速搜索算法以寻找权重索引，而不会大大增加编码设备的复杂度。这种算法可总结如下。例如，当与自适应运动向量分辨率(AMVR)组合时(当在帧间预测模式下使用AMVR时)，如果当前画面是低延迟画面，则可针对1画素和4画素运动向量的精度有条件地检查不等权重。例如，当与仿射组合时(当仿射预测模式用作帧间预测模式时)，如果选择仿射预测模式作为当前最佳模式，则可对不等权重执行仿射运动估计(ME)。例如，当双预测的两个参考画面不相同时，可有条件地检查不等权重。例如，当基于当前画面和参考画面之间的POC距离、编码量化参数(QP)和时间级别满足特定条件时，可不搜索不等权重。
例如，可使用一个上下文编码bin和随后的旁路编码bin来对BCW权重索引(或权重索引)进行编码。第一上下文编码bin可指示是否使用相同的权重。如果基于第一上下文编码bin使用不等权重，则可使用旁路编码用信号通知附加bin以便指示要使用的不等权重。
此外，根据本文献的实施方式，当构造用于合并模式的运动向量候选时，如果时间运动向量候选用于双预测，则可导出或推导加权平均的权重索引。即，如果帧间预测类型是双预测，则可导出或推导合并候选列表内的时间合并候选(或时间运动向量候选)的权重索引信息。
例如，针对时间运动向量候选，加权平均的权重索引可总是被推导为0。在这种情况下，权重索引为0可意味着各个参考方向(即，双预测中的L0预测方向和L1预测方向)上的权重相同。例如，在这种情况下，为合并模式推导亮度分量的运动向量的过程可与下表中相同。
[表1]
/>
[表2]
/>
[表3]
/>
表1至表3可指示一个过程，该过程可按表的顺序连续地执行。该过程可包括为合并模式推导亮度分量的运动向量的过程(8.4.2.2)。
参照表1至表3，gbiIdx可指示双预测权重索引。gbiIdxCol可指示时间合并候选(例如，合并候选列表内的时间运动向量候选)的双预测权重索引。在为合并模式推导亮度分量的运动向量的过程(8.4.2.2中的第三步)中，gbiIdxCol可被推导为0。即，时间运动向量候选的权重索引可被推导为0。
另选地，例如，时间运动向量候选的加权平均的权重索引可被推导为并置块的权重索引。在这种情况下，并置块可被称为col块、同位块或并置参考块。col块可指示参考画面中与当前块相同位置处的块。例如，在这种情况下，为合并模式推导亮度分量的运动向量的过程可与下表相同。
[表4]
/>
[表5]
/>
[表6]
/>
表4至表6可指示一个过程。该过程可按表的顺序连续地执行。该过程可包括为合并模式推导亮度分量的运动向量的过程(8.4.2.2)。
参照表4至表6，gbiIdx可指示双预测权重索引。gbiIdxCol可指示时间合并候选(例如，合并候选列表内的时间运动向量候选)的双预测权重索引。在为合并模式推导亮度分量的运动向量的过程(8.4.2.2中的第三步)中，gbiIdxCol可被推导为0。然而，当切片的类型或拼块组的类型为B时(8.4.2.2中的四步)，gbiIdxCol可被推导为gbiIdxCol。即，时间运动向量候选的权重索引可被推导为col块的权重索引。
此外，根据本文献的另一实施方式，当构造子块单元的合并模式的运动向量候选时，如果时间运动向量候选使用双预测，则可导出或推导加权平均的权重索引。在这种情况下，子块单元的合并模式可被称为(子块单元的)仿射合并模式。时间运动向量候选可指示基于子块的时间运动向量候选，并且可被称为SbTMVP候选。即，如果帧间预测类型是双预测，则可导出或推导仿射合并候选列表或子块合并候选列表内的SbTMVP候选(或基于子块的时间运动向量候选)的权重索引信息。
例如，基于子块的时间运动向量候选的加权平均的权重索引可总是被推导为0。在这种情况下，权重索引为0可意味着各个参考方向(即，双预测中的L0预测方向和L1预测方向)上的权重相同。例如，在这种情况下，在子块合并模式下推导运动向量和参考索引的过程或推导基于子块的时间合并候选的过程可与下表相同。
[表7]
/>
/>
[表8]
/>
[表9]
/>
[表10]
/>
[表11]
/>
表7至表11可指示两种类型的过程。这些过程可按表的顺序连续地执行。这些过程可包括在子块合并模式下推导运动向量和参考索引的过程(8.4.4.2)或推导基于子块的时间合并候选的过程(8.4.4.3)。
参照表7至表11，gbiIdx可指示双预测权重索引。gbiIdxSbCol可指示基于子块的时间合并候选(例如，合并候选列表内的基于子块的时间运动向量候选)的双预测权重索引。在推导基于子块的时间合并候选的过程(8.4.4.3)中，gbiIdxSbCol可被推导为0。即，基于子块的时间运动向量候选的权重索引可被推导为0。
另选地，例如，基于子块的时间运动向量候选的加权平均的权重索引可被推导为时间(中心)块的权重索引。例如，时间中心块可指示col块或位于col块的中心的子块或样本。具体地，时间中心块可指示col块的中心四个子块或样本当中位于右下侧的子块或样本。例如，在这种情况下，在子块合并模式下推导运动向量和参考索引的过程、推导基于子块的时间合并候选的过程或推导基于子块的时间合并的基础运动信息的过程可与下表相同。
[表12]
/>
[表13]
/>
/>
[表14]
/>
[表15]
/>
[表16]
/>
[表17]
/>
[表18]
/>
[表19]
/>
[表20]
表12至表20可指示三种类型的过程。这些过程可按表的顺序连续地执行。这些过程可包括在子块合并模式下推导运动向量和参考索引的过程(8.4.4.2)、推导基于子块的时间合并候选的过程(8.4.4.3)或推导基于子块的时间合并的基础运动信息的过程(8.4.4.4)。
参照表12至表20，gbiIdx可指示双预测权重索引。gbiIdxSbCol可指示基于子块的时间合并候选(例如，合并候选列表内的基于子块的时间运动向量候选)的双预测权重索引。在推导基于子块的时间合并的基础运动信息的过程(8.4.4.4)中，gbiIdxSbCol可被推导为gbiIdxcolCb。即，基于子块的时间运动向量候选的权重索引可被推导为时间中心块。例如，时间中心块可指示col块或者位于col块的中心的子块或样本。具体地，时间中心块可指示col块的中心四个子块或样本当中位于右下侧的子块或样本。
另选地，例如，基于子块的时间运动向量候选的加权平均的权重索引可被推导为各个子块单元的权重索引。当子块不可用时，基于子块的时间运动向量候选的加权平均的权重索引可被推导为时间(中心)块的权重索引。例如，时间中心块可指示col块或位于col块的中心的子块或样本。具体地，时间中心块可指示col块的中心四个子块或样本当中位于右下侧的子块或样本。例如，在这种情况下，在子块合并模式下推导运动向量和参考索引的过程、推导基于子块的时间合并候选的过程或推导基于子块的时间合并的基础运动信息的过程可与下表相同。
[表21]
/>
/>
[表22]
/>
[表23]
/>
[表24]
/>
[表25]
/>
[表26]
/>
[表27]
/>
[表28]
/>
[表29]
表21至表29可指示三种类型的过程。这些过程可按表的顺序连续地执行。这些过程可包括在子块合并模式下推导运动向量和参考索引的过程(8.4.4.2)、推导基于子块的时间合并候选的过程(8.4.4.3)或推导基于子块的时间合并的基础运动信息的过程(8.4.4.4)。
参照表21至表29，gbiIdx可指示双预测权重索引。gbiIdxSbCol可指示基于子块的时间合并候选(例如，合并候选列表内的基于子块的时间运动向量候选)的双预测权重索引。在推导基于子块的时间合并的基础运动信息的过程(8.4.4.3)中，gbiIdxSbCol可被推导为gbiIdxcolCb。另选地，在推导基于子块的时间合并的基础运动信息的过程(8.4.4.3)中，根据条件(例如，当availableFlagL0SbCol和availableFlagL1SbCol二者均为0时)，gbiIdxSbCol可被推导为ctrgbiIdx。在推导基于子块的时间合并的基础运动信息的过程(8.4.4.4)中，ctrgbiIdx可被推导为gbiIdxSbCol。即，基于子块的时间运动向量候选的权重索引可被推导为各个子块单元的权重索引。当子块不可用时，基于子块的时间运动向量候选的权重索引可被推导为时间中心块。例如，时间中心块可指示col块或者位于col块的中心的子块或样本。具体地，时间中心块可指示col块的中心四个子块或样本当中位于右下侧的子块或样本。
此外，根据本文献的另一实施方式，当构造合并模式的运动向量候选时，可导出或推导成对候选的权重索引。换言之，成对候选也可包括在合并候选列表中。在这种情况下，可推导成对候选的加权平均的权重索引。例如，可基于合并候选列表内的其它合并候选推导成对候选。当成对候选使用双预测时，可推导加权平均的权重索引。即，当帧间预测类型是双预测时，可导出或推导用于合并候选列表内的成对候选的权重索引信息。
例如，可基于合并候选列表内的两个合并候选(例如，cand0和cand1)来推导成对候选。如果成对候选使用双预测，则可基于合并候选cand0和/或合并候选cand1的权重索引来推导成对候选的权重索引。换言之，可基于用于推导成对候选的合并候选中的任一个合并候选(例如，合并候选cand0或合并候选cand1)的权重索引来推导成对候选的权重索引。另选地，例如，成对候选的权重索引可被推导为用于推导成对候选的合并候选(例如，合并候选cand0和合并候选cand1)的权重索引的特定比率。在这种情况下，特定比率可为1:1，但是可被推导为不同的比率。例如，特定比率可被确定为默认比率或默认值，但本公开不限于此。默认比率可被定义为1:1比率，但可被定义为不同的比率。另选地，例如，如果基于合并候选的权重索引的特定比率推导成对候选的权重索引，如上所述，可根据特定比率推导与成对候选的权重索引相同的结果作为任一个合并候选的权重索引。
此外，根据本文献的另一实施方式，如果构造子块单元的合并模式的运动向量候选，当(代表性)运动向量候选使用双预测时，可导出或推导加权平均的权重索引。即，如果帧间预测类型是双预测，则可导出或推导仿射合并候选列表或子块合并候选列表内的候选(或仿射合并候选)的权重索引信息。
例如，在仿射合并候选的构造仿射合并候选的情况下，可基于与当前块空间相邻的块(或空间邻近块)或与当前块时间相邻的块(或时间邻近块)的运动信息来推导CP0、CP1、CP2或RB候选，并且可指示使用MVF推导仿射模型的候选。例如，CP0可指示位于当前块的左上样本位置的控制点。CP1可指示位于当前块的右上样本位置的控制点。CP2可指示位于当前块的左下样本位置的控制点。此外，RB可指示位于当前块的右下样本位置的控制点。
例如，如果(代表性)运动向量候选是构造仿射合并候选(或(当前)仿射合并候选))，则(当前)仿射合并候选的权重索引可被推导为CP0候选块当中确定为CP0处的运动向量的块的权重索引。另选地，(当前)仿射合并候选的权重索引可被推导为CP1候选块当中确定为CP1处的运动向量的块的权重索引。另选地，(当前)仿射合并候选的权重索引可被推导为CP2候选块当中确定为CP2处的运动向量的块的权重索引。另选地，(当前)仿射合并候选的权重索引可被推导为RB候选块当中确定为RB中的运动向量的块的权重索引。另选地，(当前)仿射合并候选的权重索引可基于确定为CP0处的运动向量的块的权重索引、确定为CP1处的运动向量的块的权重索引、确定为CP2处的运动向量的块的权重索引或确定为RB中的运动向量的块的权重索引中的至少一个来推导。例如，如果(当前)仿射合并候选的权重索引基于多个权重索引推导，则可使用多个权重索引的特定比率。在这种情况下，特定比率可为1:1、1:1:1或1:1:1:1，但是可被推导为不同比率。例如，特定比率可被确定为默认比率或默认值，但本公开不限于此。默认比率可被定义为1:1比率，但是可被定义为不同的比率。
另选地，例如，(当前)仿射合并候选的权重索引可被推导为候选的权重索引当中出现频率最高的候选的权重索引。例如，在CP0候选块当中确定为CP0处的运动向量的候选块的权重索引、CP1候选块当中确定为CP1处的运动向量的候选块的权重索引、CP2候选块当中确定为CP2处的运动向量的候选块的权重索引和/或RB候选块当中确定为RB中的运动向量的候选块的权重索引当中具有最大冗余的权重索引可被定义为(当前)仿射合并候选的权重索引。
例如，CP0和CP1可用作控制点，CP0、CP1和CP2可用作控制点，RB可不用作控制点。然而，例如，如果要使用仿射块(要在仿射预测模式下编码的块)的RB候选，则可使用上述实施方式中描述的在时间候选块中导出或推导权重索引的方法。例如，CP0、CP1或CP2可基于当前块的空间邻近块来推导候选，并且可确定候选当中要用作CP0、CP1或CP2处的运动向量(即，CPMV1、CPMV2或CPMV3)的块。另选地，例如，RB可基于当前块的时间邻近块来推导候选，并且可确定候选当中要用作RB中的运动向量的块。
另选地，例如，如果(代表性)运动向量候选是SbTMVP(或ATMVP)候选，则SbTMVP候选的权重索引可被推导为当前块的左邻近块的权重索引。即，如果推导为SbTMVP(或ATMVP)的候选使用双预测，则当前块的左邻近块的权重索引可被推导为基于子块的合并模式的权重索引。即，如果帧间预测类型是双预测，则可导出或推导仿射合并候选列表或子块合并候选列表内的SbTMVP候选的权重索引信息。
例如，SbTMVP候选可基于与当前块空间相邻的左块(或左邻近块)推导col块，从而可以说左邻近块的权重索引可信。因此，SbTMVP候选的权重索引可被推导为左邻近块的权重索引。
图10和图11示意性地示出根据本文献的实施方式的视频/图像编码方法和相关组件的示例。
图10中公开的方法可由图2或图11中公开的编码设备执行。具体地，例如，图10中的S1000至S1030可由图11的编码设备200的预测器220执行。图10中的S1040可由图11的编码设备200的熵编码器240执行。此外，尽管图10中未示出，预测样本或预测相关信息可由图11的编码设备200的预测器220推导。残差信息可由编码设备200的残差处理器230从原始样本或预测样本推导。可由编码设备200的熵编码器240从残差信息或预测相关信息生成比特流。图10中公开的方法可包括本文献中描述的实施方式。
参照图10，编码设备可确定当前块的帧间预测模式，并且可生成指示帧间预测模式的帧间预测模式信息(S1000)。例如，编码设备可确定合并模式、仿射(合并)模式或子块合并模式作为要应用于当前块的帧间预测模式，并且可生成指示所确定的模式的帧间预测模式信息。
编码设备可基于帧间预测模式来生成当前块的合并候选列表(S1010)。例如，编码设备可基于所确定的帧间预测模式来生成合并候选列表。在这种情况下，当所确定的帧间预测模式是仿射合并模式或子块合并模式时，合并候选列表可被称为仿射合并候选列表或子块合并候选列表等，但是可简称为合并候选列表。
例如，候选可被***到合并候选列表中，直至合并候选列表内的候选数量变为最大候选数量。在这种情况下，候选可指示用于推导当前块的运动信息(或运动向量)的候选或候选块。例如，候选块可通过搜索当前块的邻近块来推导。例如，邻近块可包括当前块的空间邻近块和/或时间邻近块。空间邻近块可被优先搜索并且可被推导为(空间合并)候选。此后，时间邻近块可被搜索并且可被推导为(时间合并)候选。所推导的候选可被***到合并候选列表中。例如，即使在***候选之后，当合并候选列表内的候选数量小于最大候选数量时，附加候选可被***到合并候选列表中。例如，附加候选可包括基于历史的合并候选、成对平均合并候选、ATMVP、组合双预测合并候选(当当前切片/拼块组的切片/拼块组类型为B类型时)和/或零向量合并候选中的至少一个。
另选地，例如，候选可被***到仿射合并候选列表中，直至仿射合并候选列表内的候选数量变为最大候选数量。在这种情况下，候选可包括当前块的控制点运动向量(CPMV)。另选地，候选可指示用于推导CPMV的候选或候选块。CPMV可指示当前块的控制点(CP)处的运动向量。例如，CP可为两个、三个或四个，并且可位于当前块的左上(或左上角)、右上(或右上角)、左下(或左下角)或右下(或右下角)中的至少一些处。在各个位置可仅存在一个CP。
例如，可通过搜索当前块的邻近块(或当前块的CP的邻近块)来推导候选。例如，仿射合并候选列表可包括继承仿射合并候选、构造仿射合并候选或零运动向量候选中的至少一个。例如，继承仿射合并候选可被首先***到仿射合并候选列表中。此后，构造仿射合并候选可被***到仿射合并候选列表中。此外，即使构造仿射合并候选已被***到仿射合并候选列表中，当仿射合并候选列表内的候选数量小于最大候选数量时，其余可填充零运动向量候选。在这种情况下，零运动向量候选可被称为零向量。例如，仿射合并候选列表可以是根据以样本为单位推导运动向量的仿射合并模式的列表，但是可存在根据以子块为单位推导运动向量的仿射合并模式的列表。在这种情况下，仿射合并候选列表可被称为子块合并候选列表。子块合并候选列表还可包括被推导为SbTMVP(或SbTMVP候选)的候选。例如，如果SbTMVP候选包括在子块合并候选列表中，则SbTMVP候选可位于子块合并候选列表内的继承仿射合并候选和构造仿射合并候选前面的位置。
编码设备可选择包括在合并候选列表中的候选之一，并且可生成指示所选候选的选择信息(S1020)。例如，合并候选列表可包括空间合并候选、时间合并候选、成对候选或零向量候选中的至少一些，并且可选择候选之一用于当前块的帧间预测。另选地，例如，子块合并候选列表可包括继承仿射合并候选、构造仿射合并候选、SbTMVP候选或零向量候选中的至少一些，并且可选择候选之一用于当前块的帧间预测。
例如，选择信息可包括指示合并候选列表内的所选候选的索引信息。例如，选择信息可被称为合并索引信息或子块合并索引信息。
编码设备可生成将当前块的帧间预测类型指示为双预测的帧间预测类型信息(S1030)。例如，当前块的帧间预测类型可被确定为L0预测、L1预测或双预测当中的双预测。可生成指示所确定的类型的帧间预测类型信息。在这种情况下，L0预测可指示基于参考画面列表0的预测。L1预测可指示基于参考画面列表1的预测。双预测可指示基于参考画面列表0和参考画面列表1的预测。例如，编码设备可基于帧间预测类型来生成帧间预测类型信息。例如，帧间预测类型信息可包括inter_pred_idc句法元素。
编码设备可对包括帧间预测模式信息、选择信息和帧间预测类型信息的图像信息进行编码(S1040)。例如，图像信息可被称为视频信息。根据本文献的上述实施方式，图像信息可包括各种类型的信息。例如，图像信息可包括预测相关信息或残差相关信息中的至少一些。例如，预测相关信息可包括帧间预测模式信息、选择信息和帧间预测类型信息中的至少一些。例如，编码设备可通过对包括所有或一些信息(或句法元素)的图像信息进行编码来生成比特流或编码信息。另选地，编码设备可按比特流的形式输出图像信息。此外，比特流或编码信息可经由网络或通过存储介质发送到解码设备。
尽管图10中未示出，例如，编码设备可生成当前块的预测样本。另选地，例如，编码设备可基于所选候选来生成当前块的预测样本。另选地，例如，编码设备可基于所选候选来推导运动信息，并且可基于运动信息来生成当前块的预测样本。例如，编码设备可根据双预测来生成L0预测样本和L1预测样本，并且可基于L0预测样本和L1预测样本来生成当前块的预测样本。在这种情况下，编码设备可使用双预测的权重索引信息(或权重信息)从L0预测样本和L1预测样本生成当前块的预测样本。在这种情况下，可基于权重索引信息来指示权重信息。
换言之，例如，编码设备可基于所选候选来生成当前块的L0预测样本和L1预测样本。例如，如果当前块的帧间预测类型已被确定为双预测，则参考画面列表0和参考画面列表1可用于当前块的预测。例如，L0预测样本可指示基于参考画面列表0推导的当前块的预测样本。L1预测样本可指示基于参考画面列表1推导的当前块的预测样本。
例如，候选可包括空间合并候选。例如，如果所选候选是空间合并候选，则可基于空间合并候选来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。
例如，候选可包括时间合并候选。例如，如果所选候选是时间合并候选，则可基于时间合并候选来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。
例如，候选可包括成对候选。例如，如果所选候选是成对候选，则可基于成对候选来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。例如，可基于包括在合并候选列表中的候选当中的不同的两个候选来推导成对候选。
另选地，例如，合并候选列表可以是子块合并候选列表。还可选择仿射合并候选、子块合并候选或SbTMVP候选。在这种情况下，子块单元的仿射合并候选可被称为子块合并候选。
例如，候选可包括子块合并候选。例如，如果所选候选是子块合并候选，则可基于子块合并候选来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。例如，子块合并候选可包括控制点运动向量(CPMV)。可通过基于CPMV以子块为单位执行预测来生成L0预测样本和L1预测样本。
在这种情况下，可基于当前块的控制点(CP)的邻近块之一来指示CPMV。例如，CP可以是两个、三个或四个，并且可位于当前块的左上(或左上角)、右上(或右上角)、左下(或左下角)或右下(或右下角)中的至少一些处。在各个位置处可仅存在一个CP。
例如，CP可以是位于当前块的左上的CP0。在这种情况下，邻近块可包括当前块的左上角邻近块、与左上角邻近块的底侧相邻的左邻近块以及与左上角邻近块的右侧相邻的上邻近块。另选地，邻近块可包括图8中的A2块、B2块或B3块。
另选地，例如，CP可以是位于当前块的右上的CP1。在这种情况下，邻近块可包括当前块的右上角邻近块以及与右上角邻近块的左侧相邻的上邻近块。另选地，邻近块可包括图8中的B0块或B1块。
另选地，例如，CP可以是位于当前块的左下的CP2。在这种情况下，邻近块可包括当前块的左下角邻近块以及与左下角邻近块的顶部相邻的左邻近块。另选地，邻近块可包括图8中的A0块或A1块。
另选地，例如，CP可以是位于当前块的右下的CP3。在这种情况下，CP3可被称为RB。在这种情况下，邻近块可包括当前块的col块或col块的右下角邻近块。在这种情况下，col块可包括与当前块所在的当前画面不同的参考画面内的当前块的并置块。另选地，邻近块可包括图8中的T块。
另选地，例如，候选可包括SbTMVP候选。例如，如果所选候选是SbTMVP候选，则可基于当前块的左邻近块来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。例如，可通过以子块为单位执行预测来生成L0预测样本和L1预测样本。
例如，L0运动信息可包括L0参考画面索引、L0运动向量等。L1运动信息可包括L1参考画面索引、L1运动向量等。L0参考画面索引可包括指示参考画面列表0中的参考画面的信息。L1参考画面索引可包括指示参考画面列表1中的参考画面的信息。
例如，编码设备可基于L0预测样本、L1预测样本和权重信息来生成当前块的预测样本。例如，权重信息可基于权重索引信息来指示。权重索引信息可指示用于双预测的权重索引信息。例如，权重信息可包括L0预测样本或L1预测样本的加权平均的信息。即，权重索引信息可指示用于加权平均的权重的索引信息。权重索引信息可在基于加权平均生成预测样本的过程中生成。例如，权重索引信息可包括指示三个或五个权重中的任一个的信息。例如，加权平均可指示具有CU级权重(BCW)的双预测或具有加权平均(BWA)的双预测中的加权平均。
例如，候选可包括时间合并候选。权重索引信息可被指示为0。即，时间合并候选的权重索引信息可被指示为0。在这种情况下，权重索引信息0可指示各个参考方向(即，双预测中的L0预测方向和L1预测方向)上的权重相同。另选地，例如，候选可包括时间合并候选。可基于col块的权重索引信息来指示权重索引信息。即，可基于col块的权重索引信息来指示时间合并候选的权重索引信息。在这种情况下，col块可包括与当前块所在的当前画面不同的参考画面内的当前块的并置块。
另选地，例如，候选可包括成对候选。权重索引信息可被指示为用于推导成对候选的合并候选列表内的不同的两个候选中的一个的权重索引信息。即，成对候选的权重索引信息可被指示为用于推导成对候选的合并候选列表内的不同的两个候选中的一个的权重索引信息。另选地，例如，可基于两个候选的权重索引信息来指示权重索引信息。
另选地，例如，合并候选列表可以是子块合并候选列表。可选择仿射合并候选、子块合并候选或SbTMVP候选。在这种情况下，子块单元的仿射合并候选可被称为子块合并候选。
例如，候选可包括子块合并候选。可基于当前块的CP的邻近块当中的特定块的权重索引信息来指示权重索引信息。即，子块合并候选的权重索引信息可基于当前块的CP的邻近块当中的特定块的权重索引信息来指示。在这种情况下，特定块可以是用于推导CP的CPMV的块。另选地，特定块可以是当前块的CP的邻近块当中具有用作CPMV的MV的块。
例如，CP可以是位于当前块的左上的CP0。在这种情况下，权重索引信息可基于当前块的左上角邻近块的权重索引信息、与左上角邻近块的底侧相邻的左邻近块的权重索引信息或者与左上角邻近块的右侧相邻的上邻近块的权重索引信息来指示。另选地，权重索引信息可基于图8中的A2块的权重索引信息、B2块的权重索引信息或B3块的权重索引信息来指示。
另选地，例如，CP可以是位于当前块的右上的CP1。在这种情况下，权重索引信息可基于当前块的右上角邻近块的权重索引信息或与右上角邻近块的左侧相邻的上邻近块的权重索引信息来指示。另选地，权重索引信息可基于图8中的B0块的权重索引信息或B1块的权重索引信息来指示。
另选地，例如，CP可以是位于当前块的左下的CP2。在这种情况下，权重索引信息可基于当前块的左下角邻近块的权重索引信息或与左下角邻近块的顶部相邻的左邻近块的权重索引信息来指示。另选地，权重索引信息可基于图8中的A0块的权重索引信息或A1块的权重索引信息来指示。
另选地，例如，CP可以是位于当前块的右下的CP3。在这种情况下，CP3可被称为RB。在这种情况下，权重索引信息可基于当前块的col块的权重索引信息或col块的右下角邻近块的权重索引信息来指示。在这种情况下，col块可包括与当前块所在的当前画面不同的参考画面内的当前块的并置块。另选地，权重索引信息可基于图8中的T块的权重索引信息来指示。
另选地，例如，CP可包括多个CP。例如，多个CP可包括CP0、CP1、CP2或RB中的至少两个。在这种情况下，权重索引信息可基于用于推导各个CPMV的特定块的权重索引信息当中最冗余的权重索引信息来指示。另选地，权重索引信息可基于特定块的权重索引信息当中出现频率最高的权重索引信息来指示。即，权重索引信息可分别基于用于推导多个CP的CPMV的特定块的权重索引信息来指示。
另选地，例如，候选可包括SbTMVP候选。权重索引信息可基于当前块的左邻近块的权重索引信息来指示。即，SbTMVP候选的权重索引信息可基于左邻近块的权重索引信息来指示。另选地，例如，候选可包括SbTMVP候选。权重索引信息可被指示为0。即，SbTMVP候选的权重索引信息可被指示为0。在这种情况下，权重索引信息0可指示各个参考方向(即，双预测中的L0预测方向和L1预测方向)上的权重相同。另选地，例如，候选可包括SbTMVP候选。权重索引信息可基于col块内的中心块的权重索引信息来指示。即，SbTMVP候选的权重索引信息可基于col块内的中心块的权重索引信息来指示。在这种情况下，col块可包括与当前块所在的当前画面不同的参考画面内的当前块的并置块。中心块可包括位于col块的中心的四个子块当中的右下子块。另选地，例如，候选可包括SbTMVP候选。权重索引信息可基于col块的各个子块的权重索引信息来指示。即，SbTMVP候选的权重索引信息可基于col块的各个子块的权重索引信息来指示。
另选地，尽管图10中未示出，例如，编码设备可推导残差样本、预测样本和原始样本。在这种情况下，残差相关信息可基于残差样本来推导。可基于残差相关信息来推导残差样本。可基于残差样本和预测样本来生成重构样本。可基于重构样本来推导重构块和重构画面。另选地，例如，编码设备可对包括残差相关信息或预测相关信息的图像信息进行编码。
例如，编码设备可通过对包括上述信息(或句法元素)中的一些或全部的图像信息进行编码来生成比特流或编码信息。另选地，编码设备可按比特流形式输出图像信息。此外，比特流或编码信息可经由网络或通过存储介质发送到解码设备。另选地，比特流或编码信息可被存储在计算机可读存储介质中。比特流或编码信息可通过上述图像编码方法生成。
图12和图13示意性地示出根据本文献的实施方式的图像/视频解码方法和相关组件的示例。
图12中公开的方法可由图3或图13中公开的解码设备执行。具体地，例如，图12中的S1200可由图13中的解码设备300的熵解码器310执行。图12中的S1210至S1260可由图13中的解码设备300的预测器330执行。此外，尽管图12中未示出，预测相关信息或残差信息可由图13中的解码设备300的熵解码器310从比特流推导。残差样本可由解码设备300的残差处理器320从残差信息推导。预测样本可由解码设备300的预测器330从预测相关信息推导。重构块或重构画面可由解码设备300的加法器340从残差样本或预测样本推导。图12中公开的方法可包括本文献中描述的实施方式。
参照图12，解码设备可通过比特流接收包括帧间预测模式信息和帧间预测类型信息的图像信息(S1200)。例如，图像信息可被称为视频信息。根据本文献的上述实施方式，图像信息可包括各种类型的信息。例如，图像信息可包括预测相关信息或残差相关信息中的至少一些。
例如，预测相关信息可包括帧间预测模式信息或帧间预测类型信息。例如，帧间预测模式信息可包括指示各种帧间预测模式中的至少一些的信息。例如，可使用诸如合并模式、跳过模式、运动向量预测(MVP)模式、仿射模式、子块合并模式或与MVD(MMVD)模式的合并的各种模式。此外，解码器侧运动向量细化(DMVR)模式、自适应运动向量分辨率(AMVR)模式、具有CU级权重(BCW)的双预测、双向光流(BDOF)等可另外地或替代地用作附加模式。例如，帧间预测类型信息可包括inter_pred_idc句法元素。另选地，帧间预测类型信息可包括指示L0预测、L1预测或双预测中的任一个的信息。
解码设备可基于帧间预测模式信息来生成当前块的合并候选列表(S1210)。例如，解码设备可基于帧间预测模式信息将当前块的帧间预测模式确定为合并模式、仿射(合并)模式或子块合并模式，并且可基于所确定的帧间预测模式来生成合并候选列表。在这种情况下，当帧间预测模式被确定为仿射合并模式或子块合并模式时，合并候选列表可被称为仿射合并候选列表或子块合并候选列表，但是可简称为合并候选列表。
例如，候选可被***到合并候选列表中，直至合并候选列表内的候选数量变为最大候选数量。在这种情况下，候选可指示用于推导当前块的运动信息(或运动向量)的候选或候选块。例如，可通过搜索当前块的邻近块来推导候选块。例如，邻近块可包括当前块的空间邻近块和/或时间邻近块。空间邻近块可被优先搜索并且可被推导为(空间合并)候选。此后，时间邻近块可被搜索并且可被推导为(时间合并)候选。所推导的候选可被***到合并候选列表中。例如，即使在***候选之后，当合并候选列表内的候选数量小于最大候选数量时，附加候选可被***到合并候选列表中。例如，附加候选可包括基于历史的合并候选、成对平均合并候选、ATMVP、组合双预测合并候选(当当前切片/拼块组的切片/拼块组类型为B类型时)和/或零向量合并候选中的至少一个。
另选地，例如，候选可被***到仿射合并候选列表中，直至仿射合并候选列表内的候选数量变为最大候选数量。在这种情况下，候选可包括当前块的控制点运动向量(CPMV)。另选地，候选可指示用于推导CPMV的候选或候选块。CPMV可指示当前块的控制点(CP)处的运动向量。例如，CP可为两个、三个或四个，并且可位于当前块的左上(或左上角)、右上(或右上角)、左下(或左下角)或右下(或右下角)中的至少一些处。在各个位置处可仅存在一个CP。
例如，可通过搜索当前块的邻近块(或当前块的CP的邻近块)来推导候选块。例如，仿射合并候选列表可包括继承仿射合并候选、构造仿射合并候选或零运动向量候选中的至少一个。例如，继承仿射合并候选可被首先***到仿射合并候选列表中。此后，构造仿射合并候选可被***到仿射合并候选列表中。此外，即使构造仿射合并候选已被***到仿射合并候选列表中，当仿射合并候选列表内的候选数量小于最大候选数量时，其余可由零运动向量候选填充。在这种情况下，零运动向量候选可被称为零向量。例如，仿射合并候选列表可以是根据以样本为单位推导运动向量的仿射合并模式的列表，但是可以是根据以子块为单位推导运动向量的仿射合并模式的列表。在这种情况下，仿射合并候选列表可被称为子块合并候选列表。子块合并候选列表还可包括被推导为SbTMVP(或SbTMVP候选)的候选。例如，如果SbTMVP候选包括在子块合并候选列表中，则SbTMVP候选可位于子块合并候选列表内继承仿射合并候选和构造仿射合并候选前面的位置。
解码设备可选择包括在合并候选列表中的候选之一(S1220)。例如，合并候选列表可包括空间合并候选、时间合并候选、成对候选或零向量候选中的至少一些。可为当前块的帧间预测选择这些候选中的一个。另选地，例如，子块合并候选列表可包括继承仿射合并候选、构造仿射合并候选、SbTMVP候选或零向量候选中的至少一些。可为当前块的帧间预测选择这些候选中的一个。例如，可基于选择信息在合并候选列表中选择所选候选。例如，选择信息可包括指示合并候选列表内的所选候选的索引信息。例如，选择信息可被称为合并索引信息或子块合并索引信息。例如，选择信息可包括在图像信息中。另选地，选择信息可包括在帧间预测模式信息中。
解码设备可基于帧间预测类型信息将当前块的帧间预测类型推导为双预测(S1230)。例如，当前块的帧间预测类型可基于帧间预测类型信息被推导为L0预测、L1预测或双预测当中的双预测。在这种情况下，L0预测可指示基于参考画面列表0的预测。L1预测可指示基于参考画面列表1的预测。双预测可指示基于参考画面列表0和参考画面列表1的预测。例如，帧间预测类型信息可包括inter_pred_idc句法元素。
解码设备可基于所选候选来推导当前块的运动信息(S1240)。例如，当帧间预测类型被推导为双预测时，解码设备可基于所选候选来推导L0运动信息和L1运动信息。例如，L0运动信息可包括L0参考画面索引、L0运动向量等。L1运动信息可包括L1参考画面索引、L1运动向量等。L0参考画面索引可包括指示参考画面列表0中的参考画面的信息。L1参考画面索引可包括指示参考画面列表1中的参考画面的信息。
解码设备可基于运动信息来生成当前块的L0预测样本和L1预测样本(S1250)。例如，当当前块的帧间预测类型被推导为双预测时，参考画面列表0和参考画面列表1可用于当前块的预测。例如，L0预测样本可指示基于参考画面列表0推导的当前块的预测样本。L1预测样本可指示基于参考画面列表1推导的当前块的预测样本。
例如，候选可包括空间合并候选。例如，当所选候选是空间合并候选时，可基于空间合并候选来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。
例如，候选可包括时间合并候选。例如，当所选候选是时间合并候选时，可基于时间合并候选来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。
例如，候选可包括成对候选。例如，当所选候选是成对候选时，可基于成对候选来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。例如，可基于包括在合并候选列表中的候选中所包括的不同的两个候选来推导成对候选。
另选地，例如，合并候选列表可以是子块合并候选列表。可选择仿射合并候选、子块合并候选或SbTMVP候选。在这种情况下，子块单元的仿射合并候选可被称为子块合并候选。
例如，候选可包括子块合并候选。例如，当所选候选是子块合并候选时，可基于子块合并候选来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。例如，子块合并候选可包括控制点运动向量(CPMV)。可通过基于CPMV以子块为单位执行预测来生成L0预测样本和L1预测样本。
在这种情况下，可基于当前块的控制点(CP)的邻近块之一来推导CPMV。例如，CP可为两个、三个或四个，并且可位于当前块的左上(或左上角)、右上(或右上角)、左下(或左下角)或右下(或右下角)中的至少一些处。在各个位置处可仅存在一个CP。
例如，CP可以是位于当前块的左上的CP0。在这种情况下，邻近块可包括当前块的左上角邻近块、与左上角邻近块的底侧相邻的左邻近块以及与左上角邻近块的右侧相邻的上邻近块。另选地，邻近块可包括图8中的A2块、B2块或B3块。
另选地，例如，CP可以是位于当前块的右上的CP1。在这种情况下，邻近块可包括当前块的右上角邻近块以及与右上角邻近块的左侧相邻的上邻近块。另选地，邻近块可包括图8中的B0块或B1块。
另选地，例如，CP可以是位于当前块的左下的CP2。在这种情况下，邻近块可包括当前块的左下角邻近块以及与左下角邻近块的顶部相邻的左邻近块。另选地，邻近块可包括图8中的A0块或A1块。
另选地，例如，CP可以是位于当前块的右下的CP3。在这种情况下，CP3可被称为RB。在这种情况下，邻近块可包括当前块的col块或col块的右下角邻近块。在这种情况下，col块可包括与当前块所在的当前画面不同的参考画面内的当前块的并置块。另选地，邻近块可包括图8中的T块。
另选地，例如，候选可包括SbTMVP候选。例如，当所选候选是SbTMVP候选时，可基于当前块的左邻近块来推导L0运动信息和L1运动信息。可基于L0运动信息和L1运动信息来生成L0预测样本和L1预测样本。例如，可通过以子块为单位执行预测来生成L0预测样本和L1预测样本。
解码设备可基于L0预测样本、L1预测样本和权重信息来生成当前块的预测样本(S1260)。例如，可基于权重索引信息来推导权重信息。例如，权重信息可包括L0预测样本或L1预测样本的加权平均的信息。即，权重索引信息可指示用于加权平均的权重的索引信息。可基于权重索引信息来执行加权平均。例如，权重索引信息可包括指示三个或五个权重中的任一个的信息。例如，加权平均可指示具有CU级权重(BCW)的双预测或具有加权平均(BWA)的双预测的加权平均。
例如，候选可包括时间合并候选。权重索引信息可被推导为0。即，时间合并候选的权重索引信息可被推导为0。在这种情况下，权重索引信息可指示各个参考方向(即，双预测中的L0预测方向和L1预测方向)上的权重相同。另选地，例如，候选可包括时间合并候选。可基于col块的权重索引信息来推导权重索引信息。即，可基于col块的权重索引信息来推导时间合并候选的权重索引信息。在这种情况下，col块可包括与当前块所在的当前画面不同的参考画面内的当前块的并置块。
另选地，例如，候选可包括成对候选。权重索引信息可被推导为用于推导成对候选的合并候选列表内的不同的两个候选中的一个的权重索引信息。即，成对候选的权重索引信息可被推导为用于推导成对候选的合并候选列表内的不同的两个候选中的一个的权重索引信息。另选地，例如，可基于两个候选的权重索引信息来推导权重索引信息。
另选地，例如，合并候选列表可以是子块合并候选列表。可选择仿射合并候选、子块合并候选或SbTMVP候选。在这种情况下，子块单元的仿射合并候选可被称为子块合并候选。
例如，候选可包括子块合并候选。可基于当前块的CP的邻近块当中的特定块的权重索引信息来推导权重索引信息。即，子块合并候选的权重索引信息可基于当前块的CP的邻近块当中的特定块的权重索引信息来推导。在这种情况下，特定块可以是用于推导CP的CPMV的块。另选地，特定块可以是当前块的CP的邻近块当中具有用作CPMV的MV的块。
例如，CP可以是位于当前块的左上的CP0。在这种情况下，可基于当前块的左上角邻近块的权重索引信息、与左上角邻近块的底侧相邻的左邻近块的权重索引信息或与左上角邻近块的右侧相邻的上邻近块的权重索引信息来推导权重索引信息。另选地，可基于图8中的A2块的权重索引信息、B2块的权重索引信息或B3块的权重索引信息来推导权重索引信息。
另选地，例如，CP可以是位于当前块的右上的CP1。在这种情况下，可基于当前块的右上角邻近块的权重索引信息或与右上角邻近块的左侧相邻的上邻近块的权重索引信息来推导权重索引信息。另选地，可基于图8中的B0块的权重索引信息或B1块的权重索引信息来推导权重索引信息。
另选地，例如，CP可以是位于当前块的左下的CP2。在这种情况下，可基于当前块的左下角邻近块的权重索引信息或与左下角邻近块的顶部相邻的左邻近块的权重索引信息来推导权重索引信息。另选地，可基于图8中的A0块的权重索引信息或A1块的权重索引信息来推导权重索引信息。
另选地，例如，CP可以是位于当前块的右下的CP3。在这种情况下，CP3可被称为RB。在这种情况下，可基于当前块的col块的权重索引信息或col块的右下角邻近块的权重索引信息来推导权重索引信息。在这种情况下，col块可包括与当前块所在的当前画面不同的参考画面内的当前块的并置块。另选地，可基于图8中的T块的权重索引信息来推导权重索引信息。
另选地，例如，CP可包括多个CP。例如，多个CP可包括CP0、CP1、CP2或RB中的至少两个。在这种情况下，可基于用于推导各个CPMV的特定块的权重索引信息当中最冗余的权重索引信息来推导权重索引信息。另选地，可基于特定块的权重索引信息当中出现频率最高的权重索引信息来推导权重索引信息。即，可基于用于推导多个CP中的每一个的CPMV的特定块的权重索引信息来推导权重索引信息。
另选地，例如，候选可包括SbTMVP候选。可基于当前块的左邻近块的权重索引信息来推导权重索引信息。即，可基于左邻近块的权重索引信息来推导SbTMVP候选的权重索引信息。另选地，例如，候选可包括SbTMVP候选。权重索引信息可被推导为0。即，SbTMVP候选的权重索引信息可被推导为0。在这种情况下，权重索引信息0可指示各个参考方向(即，双预测中的L0预测方向和L1预测方向)上的权重相同。另选地，例如，候选可包括SbTMVP候选。可基于col块内的中心块的权重索引信息来推导权重索引信息。即，可基于col块内的中心块的权重索引信息来推导SbTMVP候选的权重索引信息。在这种情况下，col块可包括与当前块所在的当前画面不同的参考画面内的当前块的并置块。中心块可包括位于col块的中心的四个子块当中的右下子块。另选地，例如，候选可包括SbTMVP候选。可基于col块的各个子块的权重索引信息来推导权重索引信息。即，可基于col块的各个子块的权重索引信息来推导SbTMVP候选的权重索引信息。
尽管图12中未示出，例如，解码设备可基于包括在图像信息中的残差相关信息来推导残差样本。此外，解码设备可基于预测样本和残差样本来生成重构样本。可基于重构样本来推导重构块和重构画面。
例如，解码设备可通过将比特流或编码信息解码来获得包括上述信息(或句法元素)中的全部或一些的图像信息。此外，比特流或编码信息可被存储在计算机可读存储介质中，并且可使得执行上述解码方法。
在上述实施方式中，基于流程图以一系列步骤或方框的形式描述了方法，但对应实施方式不限于这些步骤的顺序。任何步骤可按照与上述不同的步骤和顺序发生，或者可与不同步骤和顺序同时发生。此外，本领域技术人员可理解，流程图中所示的步骤不是排他性的，可包括另一步骤或者可删除流程图中的一个或更多个步骤，而不影响本文献的实施方式的范围。
根据本文献的上述实施方式的方法可按软件形式实现，并且根据本文献的编码设备和/或解码设备可被包括在用于执行图像处理的设备(例如，TV、计算机、智能电话、机顶盒或显示装置)中。
在本文献中，当实施方式以软件形式实现时，上述方法被实现为用于执行上述功能的模块(进程、函数等)。该模块可被存储在存储器中并由处理器执行。存储器可被放置在处理器内部或外部并且通过各种熟知手段连接到处理器。处理器可包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其它存储装置。即，本文献中描述的实施方式可在处理器、微处理器、控制器或芯片上实现和执行。例如，附图中所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，用于这种实现的信息(例如，关于指令的信息)或算法可被存储在数字存储介质中。
此外，应用了本文献的实施方式的解码设备和编码设备可被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控用相机、视频对话装置、诸如视频通信的实时通信装置、移动流装置、存储介质、摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流服务提供装置、三维(3D)视频装置、虚拟现实(VR)装置、增强现实(AR)装置、视频电话装置、运输工具终端(例如，车辆(包括自主车辆)终端、飞行器终端和船舶终端)和医疗视频装置中，并且可用于处理视频信号或数据信号。例如，顶置(OTT)视频装置可包括游戏机、蓝光播放器、互联网接入TV、家庭影院***、智能电话、平板PC和数字视频记录仪(DVR)。
此外，应用了本公开的实施方式的处理方法可按照由计算机执行的程序的形式生成，并且可被存储在计算机可读记录介质中。具有根据本公开的实施方式的数据结构的多媒体数据也可被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有类型的存储装置。例如，计算机可读记录介质可包括蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波的形式实现的介质(例如，通过互联网的传输)。此外，使用编码方法生成的比特流可被存储在计算机可读记录介质中或者可经由有线和无线通信网络发送。
此外，本公开的实施方式可使用程序代码实现为计算机程序产品。可根据本公开的实施方式由计算机执行程序代码。程序代码可被存储在可由计算机读取的载体上。
图14示出本文献中公开的实施方式可应用于的内容流***的示例。
参照图14，应用了本文献的实施方式的内容流***可基本上包括编码服务器、流服务器、网络服务器、媒体仓库、用户装置和多媒体输入装置。
编码服务器用于通过将从多媒体输入装置(例如，智能电话、相机和摄像机)接收的内容压缩为数字数据来生成比特流并将该比特流发送到流服务器。对于另一服务器，如果多媒体输入装置(例如，智能电话、相机和摄像机)直接生成比特流，则可省略编码服务器。
可通过应用了本文献的实施方式的编码方法或比特流生成方法来生成比特流。流服务器可在发送或接收比特流的处理中时间上存储比特流。
流服务器用于通过网络服务器基于用户请求将多媒体数据发送到用户装置，并且网络服务器用作告知用户哪些服务可用的介质。当用户向网络服务器请求期望的服务时，网络服务器将用户的请求传送至流服务器，并且流服务器将多媒体数据发送到用户。此时，内容流***可包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流***内的装置之间的命令/响应。
流服务器可从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，流服务器可实时地接收内容。在这种情况下，为了提供平滑的流服务，流服务器可将比特流存储预定时间。
用户装置的示例可包括便携式电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
内容流***内的服务器可由分布服务器操作。在这种情况下，由各个服务器接收的数据可被分布和处理。
本说明书中描述的权利要求可按各种方式组合。例如，本说明书中的方法权利要求的技术特性可被组合并实现为设备。本说明书中的设备权利要求的技术特性可被组合并实现为方法。此外，本说明书中的方法权利要求的技术特性和设备权利要求的技术特性可被组合并实现为设备。本说明书中的方法权利要求的技术特性和设备权利要求的技术特性可被组合并实现为方法。

Claims (10)

1.一种由解码设备执行的图像解码方法，该图像解码方法包括以下步骤：
通过比特流接收包括帧间预测模式的图像信息；
基于所述帧间预测模式信息来生成当前块的合并候选列表；
在包括在所述合并候选列表中的候选当中选择候选；
基于所选择的候选来推导所述当前块的运动信息；
基于所推导的运动信息来生成L0预测样本和L1预测样本；以及
基于所述L0预测样本、所述L1预测样本和权重信息来生成所述当前块的预测样本，其中，基于所选择的候选的权重索引信息来推导所述权重信息，
其中，所述候选包括继承仿射候选和构造仿射候选，其中，所述构造仿射候选包括控制点运动向量CPMV，
其中，基于所述构造仿射候选包括控制点0CP0的CPMV并且双预测被应用于所述当前块，所述构造仿射候选的权重索引信息被固定为与所述当前块的所述CP0的邻近块当中的特定块的权重索引信息相等，其中，所述CP0与所述当前块的左上角相关，并且
其中，所述特定块是用于推导所述CP0的所述CPMV的块。
2.根据权利要求1所述的图像解码方法，其中，所述邻近块包括所述当前块的左上角邻近块、与所述左上角邻近块的底侧相邻的左邻近块以及与所述左上角邻近块的右侧相邻的上邻近块。
3.根据权利要求1所述的图像解码方法，其中，
所述候选包括成对候选，
基于所述候选中的不同的两个候选来推导所述成对候选，并且
基于所述两个候选中的一个候选的权重索引信息来推导所述成对候选的权重索引信息。
4.根据权利要求1所述的图像解码方法，其中，
所述候选包括基于子块的时间合并候选，并且
基于所述当前块的左邻近块的权重索引信息来推导所述基于子块的时间合并候选的权重索引信息。
5.根据权利要求1所述的图像解码方法，其中，
所述候选包括基于子块的时间合并候选，并且
所述基于子块的时间合并候选的权重索引信息的值被推导为0。
6.根据权利要求1所述的图像解码方法，其中，
所述候选包括基于子块的时间合并候选，
基于col块内的中心块的权重索引信息来推导所述基于子块的时间合并候选的权重索引信息，
所述col块包括与所述当前块所在的当前画面不同的参考画面内的所述当前块的并置块，并且
所述中心块是位于所述col块的中心的四个子块当中的右下子块。
7.根据权利要求1所述的图像解码方法，其中，
所述候选包括基于子块的时间合并候选，
基于col块的各个子块的权重索引信息来推导所述基于子块的时间合并候选的权重索引信息，并且
所述col块包括与所述当前块所在的当前画面不同的参考画面内的所述当前块的并置块。
8.一种由编码设备执行的图像编码方法，该图像编码方法包括以下步骤：
确定当前块的帧间预测模式，并且生成指示所述帧间预测模式的帧间预测模式信息；
基于所述帧间预测模式来生成所述当前块的合并候选列表；
选择包括在所述合并候选列表中的候选中的一个，并且生成指示所选择的候选的选择信息；以及
对包括所述帧间预测模式信息和所述选择信息的图像信息进行编码，
其中，所述候选包括继承仿射候选和构造仿射候选，其中，所述构造仿射候选包括控制点运动向量CPMV，
其中，基于所述构造仿射候选包括控制点0CP0的CPMV并且双预测被应用于所述当前块，所述构造仿射候选的权重索引信息被固定为与所述当前块的所述CP0的邻近块当中的特定块的权重索引信息相等，其中，所述CP0与所述当前块的左上角相关，并且
其中，所述特定块是用于推导所述CP0的所述CPMV的块。
9.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储通过图像编码方法生成的编码图像信息，所述图像编码方法包括以下步骤：
确定当前块的帧间预测模式，并且生成指示所述帧间预测模式的帧间预测模式信息；
基于所述帧间预测模式来生成所述当前块的合并候选列表；
选择包括在所述合并候选列表中的候选中的一个，并且生成指示所选择的候选的选择信息；以及
对包括所述帧间预测模式信息和所述选择信息的图像信息进行编码，
其中，所述候选包括继承仿射候选和构造仿射候选，其中，所述构造仿射候选包括控制点运动向量CPMV，
其中，基于所述构造仿射候选包括控制点0CP0的CPMV并且双预测被应用于所述当前块，所述构造仿射候选的权重索引信息被固定为与所述当前块的所述CP0的邻近块当中的特定块的权重索引信息相等，其中，所述CP0与所述当前块的左上角相关，并且
其中，所述特定块是用于推导所述CP0的所述CPMV的块。
10.一种图像数据的传输方法，该传输方法包括以下步骤：
获得编码图像信息，其中，通过执行如下步骤来生成所述编码图像信息：确定当前块的帧间预测模式并生成指示所述帧间预测模式的帧间预测模式信息，基于所述帧间预测模式生成所述当前块的合并候选列表，选择包括在所述合并候选列表中的候选中的一个并生成指示所选择的候选的选择信息，并且对包括所述帧间预测模式信息和所述选择信息的图像信息进行编码；以及
针对所述编码图像信息发送所述图像数据，
其中，所述候选包括继承仿射候选和构造仿射候选，其中，所述构造仿射候选包括控制点运动向量CPMV，
其中，基于所述构造仿射候选包括控制点0CP0的CPMV并且双预测被应用于所述当前块，所述构造仿射候选的权重索引信息被固定为与所述当前块的所述CP0的邻近块当中的特定块的权重索引信息相等，其中，所述CP0与所述当前块的左上角相关，并且
其中，所述特定块是用于推导所述CP0的所述CPMV的块。
CN202080026756.7A 2019-03-12 2020-03-10 用于导出双预测的权重索引信息的视频或图像编码 Active CN113678455B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202311861298.0A CN117692659A (zh) 2019-03-12 2020-03-10 图像编码/解码设备以及发送数据的设备
CN202311871819.0A CN117793374A (zh) 2019-03-12 2020-03-10 图像编码/解码设备以及发送数据的设备
CN202311873054.4A CN117692660A (zh) 2019-03-12 2020-03-10 图像编码/解码方法以及数据的传输方法
CN202311861297.6A CN117692658A (zh) 2019-03-12 2020-03-10 图像编码/解码方法、存储介质及数据的传输方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962817513P 2019-03-12 2019-03-12
US62/817,513 2019-03-12
PCT/KR2020/003323 WO2020184953A1 (ko) 2019-03-12 2020-03-10 쌍 예측을 위한 가중치 인덱스 정보를 유도하는 비디오 또는 영상 코딩

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN202311873054.4A Division CN117692660A (zh) 2019-03-12 2020-03-10 图像编码/解码方法以及数据的传输方法
CN202311861297.6A Division CN117692658A (zh) 2019-03-12 2020-03-10 图像编码/解码方法、存储介质及数据的传输方法
CN202311861298.0A Division CN117692659A (zh) 2019-03-12 2020-03-10 图像编码/解码设备以及发送数据的设备
CN202311871819.0A Division CN117793374A (zh) 2019-03-12 2020-03-10 图像编码/解码设备以及发送数据的设备

Publications (2)

Publication Number Publication Date
CN113678455A CN113678455A (zh) 2021-11-19
CN113678455B true CN113678455B (zh) 2024-01-16

Family

ID=72427507

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202311861298.0A Pending CN117692659A (zh) 2019-03-12 2020-03-10 图像编码/解码设备以及发送数据的设备
CN202311871819.0A Pending CN117793374A (zh) 2019-03-12 2020-03-10 图像编码/解码设备以及发送数据的设备
CN202311873054.4A Pending CN117692660A (zh) 2019-03-12 2020-03-10 图像编码/解码方法以及数据的传输方法
CN202080026756.7A Active CN113678455B (zh) 2019-03-12 2020-03-10 用于导出双预测的权重索引信息的视频或图像编码
CN202311861297.6A Pending CN117692658A (zh) 2019-03-12 2020-03-10 图像编码/解码方法、存储介质及数据的传输方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202311861298.0A Pending CN117692659A (zh) 2019-03-12 2020-03-10 图像编码/解码设备以及发送数据的设备
CN202311871819.0A Pending CN117793374A (zh) 2019-03-12 2020-03-10 图像编码/解码设备以及发送数据的设备
CN202311873054.4A Pending CN117692660A (zh) 2019-03-12 2020-03-10 图像编码/解码方法以及数据的传输方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311861297.6A Pending CN117692658A (zh) 2019-03-12 2020-03-10 图像编码/解码方法、存储介质及数据的传输方法

Country Status (7)

Country Link
US (3) US11595640B2 (zh)
EP (1) EP3923583A4 (zh)
JP (2) JP7256290B2 (zh)
KR (1) KR20210118952A (zh)
CN (5) CN117692659A (zh)
MX (1) MX2021010942A (zh)
WO (1) WO2020184953A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262901A1 (ko) 2019-06-24 2020-12-30 엘지전자 주식회사 영상 디코딩 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610413A (zh) * 2009-07-29 2009-12-23 清华大学 一种视频的编码/解码方法及装置
CN102131094A (zh) * 2010-01-18 2011-07-20 联发科技股份有限公司 运动预测方法
CN107071404A (zh) * 2001-11-21 2017-08-18 谷歌技术控股有限责任公司 对具有多个图像的图像序列进行编码的方法及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102028522B1 (ko) 2011-01-07 2019-10-04 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
US9729873B2 (en) * 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
WO2014083492A2 (en) * 2012-11-27 2014-06-05 Squid Design Systems Pvt Ltd System and method of performing motion estimation in multiple reference frame
US10785498B2 (en) * 2012-11-27 2020-09-22 Squid Design Systems Pvt Ltd System and method of mapping multiple reference frame motion estimation on multi-core DSP architecture
US10785501B2 (en) * 2012-11-27 2020-09-22 Squid Design Systems Pvt Ltd System and method of performing motion estimation in multiple reference frame
CN106559669B (zh) * 2015-09-29 2018-10-09 华为技术有限公司 预测图像编解码方法及装置
US20190028731A1 (en) * 2016-01-07 2019-01-24 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
CN117221573A (zh) 2016-10-04 2023-12-12 英迪股份有限公司 图像解码方法、图像编码方法以及发送比特流的方法
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
WO2019002215A1 (en) * 2017-06-26 2019-01-03 Interdigital Vc Holdings, Inc. MULTIPLE PREDICTION CANDIDATES FOR MOTION COMPENSATION
CN113170192B (zh) * 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
US11202089B2 (en) * 2019-01-28 2021-12-14 Tencent America LLC Method and apparatus for determining an inherited affine parameter from an affine model
KR20210129721A (ko) * 2019-03-11 2021-10-28 알리바바 그룹 홀딩 리미티드 병합 모드를 위한 예측 가중치를 결정하는 방법, 디바이스, 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071404A (zh) * 2001-11-21 2017-08-18 谷歌技术控股有限责任公司 对具有多个图像的图像序列进行编码的方法及设备
CN101610413A (zh) * 2009-07-29 2009-12-23 清华大学 一种视频的编码/解码方法及装置
CN102131094A (zh) * 2010-01-18 2011-07-20 联发科技股份有限公司 运动预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VideoCoding and Test Model 3 (VTM 3);Jianle Chen Yan Ye Seung Hwan Kim Versatile;Joint Video ExpertsTeam (JVET) of ITU-TSG 16WP3 and ISO/IEC JTC 1/SC 29/WG 11, JVET-L1002-v1;对比文件1的正文3.4、3.4.4、3.4.1.2、3.4.1.4、3.4.7、3.4.3.1、3.4.3.3节 *
高效视频编码;沈燕飞;李***;朱珍民;张勇东;;计算机学报(第11期);全文 *

Also Published As

Publication number Publication date
EP3923583A1 (en) 2021-12-15
CN117692660A (zh) 2024-03-12
JP2023073450A (ja) 2023-05-25
US11876960B2 (en) 2024-01-16
US20230164307A1 (en) 2023-05-25
CN117793374A (zh) 2024-03-29
US20240121382A1 (en) 2024-04-11
JP7256290B2 (ja) 2023-04-11
JP7485819B2 (ja) 2024-05-16
US20220007008A1 (en) 2022-01-06
US11595640B2 (en) 2023-02-28
CN117692659A (zh) 2024-03-12
KR20210118952A (ko) 2021-10-01
MX2021010942A (es) 2021-12-10
CN113678455A (zh) 2021-11-19
WO2020184953A1 (ko) 2020-09-17
EP3923583A4 (en) 2022-04-27
CN117692658A (zh) 2024-03-12
JP2022524432A (ja) 2022-05-02

Similar Documents

Publication Publication Date Title
CN113491124B (zh) 基于dmvr的帧间预测方法和设备
CN113574891B (zh) 基于dmvr的帧间预测方法和设备
CN112544077B (zh) 用于子块单元中的时间运动信息预测的帧间预测方法及其装置
CN113692743B (zh) 基于dmvr的帧间预测方法和设备
CN111247805B (zh) 在图像编码***中基于以子块为单元进行的运动预测的图像解码方法和设备
US11877010B2 (en) Signaling method and device for merge data syntax in video/image coding system
CN113261294B (zh) 基于sbtmvp的帧间预测方法和设备
US20230018123A1 (en) Image decoding method for deriving weight index information for biprediction, and device for same
EP3989584A1 (en) Method and device for removing redundant syntax from merge data syntax
CN115428448A (zh) 基于帧间预测的图像编码/解码方法和设备及存储比特流的记录介质
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
CN114631318A (zh) 应用双向预测时推导用于加权平均的权重索引信息的图像解码方法和设备
US20240121382A1 (en) Video or image coding for inducing weight index information for bi-prediction
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
US20230023030A1 (en) Image decoding method and device therefor
JP2023093650A (ja) マージ候補を利用して予測サンプルを導出する映像デコード方法及びその装置
JP7508665B2 (ja) 双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）のための加重値インデックス情報を導出する画像デコード方法及びその装置
CN118044201A (zh) 基于mdmvr的图像编译方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant