CN115462074A - 经压缩的画中画信令 - Google Patents

Abstract

提供了一种用于解码来自比特流的图片中的子图片SP的位置和大小的方法。该方法包括从比特流中的第一语法元素S1中解码编码树单元CTU大小。该方法包括获得缩放因子值F，其中，F大于(1)。该方法进一步包括导出该子图片SP的经缩放的位置值，其中，导出该经缩放的位置值包括：i)基于比特流中的信息，获得位置值；以及ii)将该经缩放的位置值设置为等于该位置值与F的乘积。该方法包括基于该经缩放的位置值，导出该子图片的大小。

Description

经压缩的画中画信令

技术领域

公开了与画中画信令(picture-in-picture signaling)有关的实施例。

背景技术

1.HEVC和VVC

高效视频编码(HEVC)是由ITU-T和MPEG标准化的使用时间和空间预测两者的基于块的视频编解码器。空间预测是使用从当前图片内的帧内(I)预测来实现的。时间预测是使用从先前解码的参考图片在块级上的单向(P)或双向帧间(B)预测来实现的。在编码器中，原始像素数据与预测像素数据之间的差异(被称为残差)被变换到频域中，被量化，进而被熵编码，然后与必需的预测参数(诸如预测模式和运动向量，也被熵编码)一起被发送。解码器执行熵解码、逆量化和逆变换以获得残差，进而将残差添加到帧内或帧间预测中以重构图片。

MPEG和ITU-T正在联合视频探索组(JVET)内研究HEVC的后续版本。在开发中的此视频编解码器的名称是多功能视频编码(VVC)。在撰写本文时，VVC规范草案的当前版本是JVET-Q2001-vD。

2.分量

视频(又称为视频序列)由一系列图片(又称为图像)组成，其中，每个图片由一个或多个分量组成。每个分量可以被描述为样本值的二维矩形阵列。通常视频序列中的图片由三个分量组成：一个亮度分量Y，其中，样本值是亮度值；以及两个色度分量Cb和Cr，其中，样本值是色度值。此外，通常在每个维度中色度分量的尺寸都比亮度分量小因子“二”。例如，HD图片的亮度分量的大小将会是1920x1080，色度分量每个将会具有960x540的尺寸。分量有时被称为颜色分量。

3.块和单元

块(block)是一个二维样本阵列。在视频编码中，每个分量被划分成块，并且编码视频比特流由一系列编码块组成。在视频编码中，通常图像被划分成覆盖该图像的特定区域的单元(unit)。每个单元由来自构成该特定区域的所有分量的所有块组成，并且每个块完全属于一个单元。H.264中的宏块和HEVC中的编码单元(CU)是单元的示例。

在VVC中，图片被分割成编码树单元(CTU)，并且比特流中的编码图片由一系列编码CTU组成，以使得该图片中的所有CTU都被编码。CTU的扫描顺序取决于图片是由更高层分割工具(诸如切片(slice)和图块(tile))如何分割的，如下所述。一个VVC CTU由一个亮度块和可选的(但通常)两个在空间上共位的色度块组成。CTU的亮度块的大小是正方形的，并且该大小是可配置的并由比特流中的语法元素传达。当解码器在解码比特流时，该解码器对语法元素进行解码以导出CTU大小的亮度块的大小以用于解码。此大小通常被称为CTU大小。

4.参数集

HEVC和VVC指定三种类型的参数集即图片参数集(PPS)、序列参数集(SPS)和视频参数集(VPS)。PPS包含对于整个图片共同的数据，SPS包含对于编码视频序列(CVS)共同的数据，VPS包含对于多个CVS共同的数据，例如，比特流中的多个层的数据。

5.解码能力信息(DCI)

DCI指定在解码会话期间可不改变并且可对于解码器了解是有益的信息，例如，所允许的子层的最大数量。DCI中的信息对于解码过程的操作不是必需的。在VVC规范的先前草案中，DCI被称为解码参数集(DPS)。

解码能力信息还包含对比特流的一般约束的集合，其在编码工具、NAL单元类型等方面向解码器给出期望从比特流中得到的信息。在VVC的当前版本中，一般约束信息还可以在VPS或SPS中被信令传送。

6.图片报头

在VVC的当前版本中，编码图片包含图片报头。该图片报头包含对于相关联图片的所有切片共同的语法元素。

7.切片

切片将图片划分成独立编码的切片，其中，图片中的一个切片的解码与同一图片的其他切片无关。切片的一个目的是使能在数据丢失的情况下的重新同步。

在VVC的当前版本中，图片可以被分割成光栅扫描切片或矩形切片。光栅扫描切片由按照光栅扫描顺序排列的多个完整切片组成。矩形切片由共同占据了图片中的矩形区域或者一个图块内的连续多个CTU行的图块组组成。每个切片具有包括语法元素的切片报头。在解码切片时，使用来自这些语法元素的解码切片报头值。在VVC中，切片是CTU的集合。

8.图块

VVC视频编码标准草案包括被称为“图块”的工具，该工具将图片划分成矩形空间独立的区域。VVC编码标准草案中的图块与在HEVC中使用的图块类似。使用图块，VVC中的图片可以被分割成CTU行和列，其中，图块是行和列的交点。图1A示出了使用4个图块行和5个图块列的图块分割从而得到图片的总共20个图块的示例。

图块结构在图片参数集(PPS)中通过指定行的厚度和列的宽度来信令传送。单独的行和列可以具有不同的大小，但分割总是跨越整个图片，分别从左到右，从上到下。

在同一图片的图块之间不存在解码依赖性。这包括帧内预测、用于熵编码的上下文选择和运动向量预测。一个例外是一般允许图块之间的环路滤波依赖性(in-loopfiltering dependency)。

在VVC中的矩形切片模式中，图块可以进一步被划分成多个切片，其中，每个切片由一个图块内的连续多个CTU行组成。图1B示出了使用VVC中的图块分割的图块分割和矩形切片分割的示例。

9.子图片

在VVC的当前版本中支持子图片。子图片被定义为图片内的一个或多个矩形切片的矩形区域，以使得子图片包含共同覆盖图片的矩形区域的一个或多个切片。在VVC规范的当前版本中，子图片位置和大小在SPS中被信令传送。表1示出了在VVC的当前版本中在SPS中的子图片语法。

表1-VVC草案的当前版本中的简化子图片SPS语法

下面的表2包含了VVC草案文本中的对应语义。

表2

综上所述，矩形切片由整数个CTU组成。子图片由整数个CTU组成，因此子图片也由整数个CTU组成。

在VVC标准化的提议JVET-R0135-v4中，提出了一种用于更有效地信令传送表1中所示的信息的方法。该方法包括信令传送子图片单元的宽度和高度，该子图片单元的宽度和高度进而被用作用于信令传送subpic_ctu_top_left_x[i]、subpic_ctu_top_left_y[i]、subpic_width_minus1[i]和subpic_height_minus1[i]语法元素的粒度。

发明内容

目前存在某些挑战。例如，JVET-R0135-v4的解决方案的一个问题在于该方法仅在图片宽度和高度是子图片单元的倍数时有效。这大大降低了该方法的实用性，因为它不能被应用于许多图片大小和子图片布局。

因此，本公开引入了一个或多个缩放因子，类似于在JVET-R0135-v4中描述的子图片单元。子图片的左上角的位置也与JVET-R0135-v4方法类似地来计算。

然而，与JVET-R0135方法相反，本文所公开的提议方法首先通过将解码缩放因子值与解码子图片宽度值相乘来计算子图片的初始宽度值。进而，如果子图片的初始宽度值加上子图片的左上角位置的水平位置大于采用CTU数量的图片宽度，则子图片的宽度被设置为等于图片宽度减去左上角的水平位置。否则，子图片的宽度被设置为等于子图片的初始宽度值。该提议方法还可以被用于使用图像的高度并使用同一或另一个解码缩放因子值来导出子图片的高度。一个优点在于此方法可以被应用于图片宽度或高度不是子图片单元或缩放因子的倍数的子图片布局。

根据本公开的第一方面，提供了一种用于解码来自比特流的图片中的子图片SP的位置的方法。该方法包括从比特流中的第一语法元素S1中解码CTU大小。该方法包括获得缩放因子值F，其中，F大于1。该方法包括导出子图片SP的经缩放的位置值，其中，导出该经缩放的位置值包括：i)基于比特流中的信息，获得位置值；以及ii)将该经缩放的位置值设置为等于该位置值与F的乘积。

根据本公开的第二方面，提供了一种包括指令的计算机程序，这些指令在由处理电路执行时使该处理电路执行根据第一方面所述的方法。

根据本公开的第三方面，提供了一种包含根据第二方面所述的计算机程序的载体，其中，该载体是电子信号、光信号、无线电信号、以及计算机可读存储介质之一。

根据本公开的第四方面，提供了一种装置，该装置适于执行根据第一方面所述的方法。

附图说明

被并入本文中并构成本说明的一部分的附图图示了各种实施例。

图1A示出使用4个图块行和5个图块列的图块分割的示例。

图1B示出使用VVC中的图块分割的图块分割和矩形切片分割的示例。

图2示出根据示例实施例的***。

图3是根据实施例的编码器的示意框图。

图4是根据实施例的解码器的示意框图。

图5是示出根据实施例的过程的流程图。

图6是根据实施例的装置的框图。

具体实施方式

图2示出了根据示例实施例的***200。***200包括经由网络210(例如，因特网或其他网络)与解码器204通信的编码器202。

图3是根据实施例的用于编码视频序列的视频帧(图片)中的像素值块(下文称为“块”)的编码器202的示意框图。通过由运动估计器350从同一帧或前一帧中已提供的块执行运动估计来预测当前块。在帧间预测的情况下，该运动估计的结果是与参考块相关联的运动或位移向量。运动补偿器350使用该运动向量以用于输出该块的帧间预测。帧内预测器349计算当前块的帧内预测。来自运动估计器/补偿器350和帧内预测器349的输出被输入到选择器351中，该选择器针对当前块选择帧内预测或帧间预测。来自选择器351的输出被输入到采用加法器341的形式的误差计算器，该加法器还接收当前块的像素值。加法器341计算并输出残差误差(residual error)，作为该块与其预测之间的像素值之差。该误差在变换器342中被变换(诸如通过离散余弦变换)，并由量化器343量化，然后在编码器344中进行编码(诸如通过熵编码器)。在帧间编码中，所估计的运动向量也被带入编码器344中，以用于生成当前块的编码表示。当前块的经变换和量化的残差误差还被提供给逆量化器345和逆变换器346以取回原始残差误差。此误差由加法器347添加到来自运动补偿器350或帧内预测器349的块预测输出中，以创建可以在下一个块的预测和编码中使用的参考块。此新的参考块首先由根据实施例的去块滤波器单元330处理，以便执行去块滤波(deblockingfiltering)以防止任何块效应(blocking artifact)。进而，经处理的新参考块被暂时存储在帧缓冲器348中，其中，它可用于帧内预测器349和运动估计器/补偿器350。

图4是根据一些实施例的解码器204的对应示意框图。解码器204包括诸如熵解码器之类的用于解码块的编码表示进行以获得一组经量化和变换的残差误差的解码器461。这些残差误差在逆量化器462中被去量化并由逆变换器463进行逆变换以获得一组残差误差。这些残差误差在加法器464中被添加到参考块的像素值中。该参考块是由运动估计器/补偿器467或帧内预测器466确定的，这取决于是执行帧间预测还是帧内预测。由此，选择器468与加法器464、运动估计器/补偿器467和帧内预测器466相互连接。从加法器464所得到的解码块输出被输入到根据实施例的去块滤波器单元330，以便去块滤波任何块效应。经滤波的块从解码器504被输出，此外还优选地被暂时提供给帧缓冲器465，并且可以被用作用于将要被解码的后续块的参考块。由此，帧缓冲器465被连接到运动估计器/补偿器467以使所存储的像素块可用于运动估计器/补偿器467。优选地，来自加法器464的输出还优选地被输入到帧内预测器466中以被用作未经滤波的参考块。

实施例

在下面的描述中，描述了解决上述问题中的一个或多个的各种实施例。本领域技术人员应理解两个或更多个实施例或实施例的部分可以被组合以形成新的解决方案，这些解决方案仍被本公开所涵盖。

在下面描述的实施例中，这些方法被应用于信令传送图片到子图片的布局或分割。在这种情况下，子图片可以由多个矩形切片的集合组成。矩形切片可以由CTU组成。矩形切片可以由图块组成，图块继而由CTU组成。

这些实施例中的方法可以被用于信令传送任何类型的图片分割，诸如切片、矩形切片或图块或图片到段(segment)的任何其他分段。也就是说，可以使用分割列表或集合来信令传送任何分割，其中，每个分割通过一个角位置(诸如该分割的左上角)的空间位置和该分割的高度和宽度来信令传送。

CTU可以是小于或等于子图片的任何类型的矩形图片单元。除CTU之外的其他图片单元的示例包括编码单元(CU)、预测单元和宏块(MB)。

替代方案1

在第一实施例中，图片由至少两个子图片即第一子图片和第二子图片组成。对于每个子图片，该子图片的空间布局在比特流中通过指定该子图片的左上角的位置加上该子图片的宽度和高度的信息被传达给解码器204。

从比特流中解码编码图片的解码器204首先解码CTU大小以用于从比特流中的一个或多个语法元素中解码该图片。CTU被认为是正方形的，因此在本文中CTU大小是一个数，其表示CTU的亮度平面的一边的长度。这在本公开中被称为一维CTU大小。

该解码器进一步从比特流中解码一个或多个缩放因子值。这些缩放因子优选地是大于“一”的正整数值。相同的CTU大小值和缩放因子被用于解码该图片的所有子图片的空间位置。在此第一实施例中，使用了单个缩放因子。

解码器204通过针对每个子图片执行下列步骤来解码至少两个子图片的空间位置。

步骤1：通过以下操作导出子图片的经缩放的水平位置值(H)：解码比特流中的一个语法元素，从而获得水平位置值，并将该水平位置值乘以缩放因子以生成该经缩放的水平位置值(H)。

步骤2：通过以下操作导出子图片的经缩放的垂直位置值(V)：解码比特流中的另一个语法元素，从而获得垂直位置值，并将该垂直位置值乘以缩放因子，从而生成该经缩放的垂直位置值(V)。

步骤3：通过解码特定语法元素导出子图片的第一宽度值，并通过将所获得的第一宽度值乘以缩放因子来计算初始宽度值。进而，将等于该初始宽度值加上经缩放的水平位置值(H)的值与图片宽度相比较。如果此值(即，初始宽度加上经缩放的水平位置)大于图片宽度，则子图片的宽度被设置为等于图片宽度减去经缩放的水平位置(H)，以使得最右边子图片边界与右图片边界对齐，否则，子图片的宽度被设置为等于初始宽度。

执行类似的步骤以导出子图片高度。

首先，通过解码语法元素导出子图片的第一高度值。进而，通过将第一高度值乘以缩放因子来计算初始高度值。进而，将等于该初始高度值加上经缩放的垂直位置值(V)的值与图片高度相比较。如果此值(即，初始高度加上经缩放的垂直位置(V))大于图片高度，则子图片的高度被设置为等于图片高度减去经缩放的垂直位置(V)，以使得底部子图片边界与底部图片边界对齐，否则，子图片的高度被设置为等于初始高度。

相应地，可以由解码器204执行以下步骤以用于解码来自比特流中的图片中的子图片SP的位置和大小。

·从比特流中的语法元素S1中解码一维CTU大小；

·从比特流中的一个或多个语法元素S3中解码一个或多个缩放因子值F，其中，该缩放因子值F是大于1的值；

·通过以下操作导出以CTU大小为单位(in units of the CTU size)的子图片SP的水平位置H：

ο解码比特流中的语法元素S4，其中，该语法元素S4的值表示采用单元大小的数量(in number of unit sizes)的水平位置，其中，该单元大小等于缩放因子值F乘以CTU大小；以及

ο将水平位置H设置为语法元素S4的值乘以缩放因子值F；

·通过以下操作导出以CTU大小为单位的子图片SP的垂直位置V：

ο解码比特流中的语法元素S5，其中，该语法元素S5的值表示采用单元大小的数量的垂直位置；以及

ο将垂直位置V设置为语法元素S5的值乘以缩放因子值F；

·通过以下操作导出以CTU大小为单位的子图片SP的宽度：

ο解码比特流中的语法元素S6，其中，该语法元素S6的值表示采用单元大小的数量的宽度值；

ο计算子图片SP的初始宽度Iw为语法元素S6的值乘以缩放因子值F；以及

ο如果子图片SP的初始宽度Iw加上水平位置H大于以CTU大小为单位的图片宽度，则将子图片SP的宽度设置为等于以CTU大小为单位的图片宽度减去以CTU大小为单位的水平位置H。否则，将子图片SP的宽度设置为等于初始宽度Iw；

·通过以下操作导出以CTU大小为单位的子图片SP的高度：

ο解码比特流中的语法元素S7，其中，该语法元素S7的值表示采用单元大小的数量的高度值；

ο计算子图片SP的初始高度Ih为语法元素S7的值乘以缩放因子值F；以及

ο如果子图片SP的初始高度Ih加上垂直位置V大于以CTU大小为单位的图片高度，则将子图片SP的高度设置为等于以CTU大小为单位的图片高度减去以CTU大小为单位的垂直位置V。否则，将子图片SP的高度设置为等于初始高度Ih。

在此子图片可以由整数个的一个或多个完整切片组成，以使得该子图片包括覆盖图片的矩形区域的编码数据，其中，该区域不是整个图片。

在本实施例的优选版本中，从SPS中解码语法元素S1、S3、S4、S5、S6和S7。在此实施例的其他版本中，可以从PPS、图片报头、切片报头中、或者从解码能力信息(DCI)中解码语法元素S1、S3、S4、S5、S6和S7中的一个或多个。

解码语法元素以导出值可以包括“加一(plus-one)”操作，以使得当它被解码时在比特流中表示的值被增加值1。这通常在VVC中被使用，并通过在语法元素的名称中使用的“minus1”后缀来指示。在本说明中，语法元素可以或可以不受+1操作的影响。

替代方案2

在另一个实施例中，使用两个缩放因子而不是一个缩放因子。这意味着从比特流中解码两个不同的缩放因子，一个用于导出水平值(诸如子图片的水平位置和宽度)，一个用于导出垂直值(诸如子图片的垂直位置和高度)。

图6是根据一些实施例的用于实现解码器204和/或编码器202的装置600的框图。当装置600实现解码器时，装置600可以被称为“解码装置600”，当装置600实现编码器时，装置600可以被称为“编码装置600”。如图6中所示，装置600可以包括：处理电路(PC)602，其可以包括一个或多个处理器(P)655(例如，通用微处理器和/或一个或多个其他处理器，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)，这些处理器可以共同位于单个外壳或单个数据中心中，或者可以在地理上分布(即，装置600可以是分布式计算装置)；至少一个网络接口648，其包括发射机(Tx)645和接收机(Rx)647，用于使装置600能够向被连接到网络接口648被(直接地或间接地)连接到(例如，网络接口648可以被无线连接到网络110，在这种情况下，网络接口648被连接到天线装置)的网络110(例如，因特网协议(IP)网络)的其他节点发送数据以及从其接收数据；以及存储单元(又称为“数据存储***”)608，其可以包括一个或多个非易失性存储设备和/或一个或多个易失性存储设备。在其中PC 602包括可编程处理器的实施例中，可以提供计算机程序产品(CPP)641。CPP 641包括存储包括计算机可读指令(CRI)644的计算机程序(CP)643的计算机可读介质(CRM)642。CRM 642可以是非暂时性计算机可读介质，诸如磁介质(例如，硬磁盘)、光学介质、存储器设备(例如，随机存取存储器、闪存)等。在一些实施例中，计算机程序643的CRI 644被配置为使得当由PC 602执行时，这些CRI使装置600执行本文所描述的步骤(例如，本文参考流程图所描述的步骤)。在其他实施例中，装置600可以被配置为执行本文所描述的步骤而不需要代码。也就是说，例如，PC 602可以仅由一个或多个ASIC组成。因此，本文所描述的实施例的特征可以以硬件和/或软件实现。

虽然本文描述了各种实施例，但是应当理解，它们仅作为示例被呈现而并非限制。因此，本公开的广度和范围不应受到任何上述示例性实施例的限制。此外，除非本文另有说明或以其他方式与上下文明显矛盾，否则本公开包含在其所有可能变形中上述元素的任何组合。

另外，虽然以上所描述并在附图中图示的过程被示出为一系列步骤，但这仅仅是为了说明。因此，可以设想，可以增加一些步骤，可以省略一些步骤，可以重新布置步骤的顺序，并且可以并行执行一些步骤。

Claims (13)

1.一种用于解码来自比特流的图片中的子图片SP的位置和大小的方法(500)，所述方法包括：

从所述比特流中的第一语法元素S1中解码编码树单元CTU大小；

获得缩放因子值F，其中，F大于1；

导出所述子图片SP的经缩放的位置值，其中，导出所述经缩放的位置值包括：i)基于所述比特流中的信息，获得位置值；以及ii)将所述经缩放的位置值设置为等于所述位置值与F的乘积；以及

基于所述经缩放的位置值，导出所述子图片的大小。

2.根据权利要求1所述的方法，其中，以下中的至少一项：

i)所述位置值是水平位置值h，所述经缩放的位置值是经缩放的水平位置值H＝h×F，所述子图片的所述大小是所述子图片的宽度Wsp；以及

ii)所述位置值是垂直位置值v，所述经缩放的位置值是经缩放的垂直位置值V＝v×F，所述子图片的所述大小是所述子图片的高度Hsp。

3.根据权利要求2所述的方法，其中，导出所述子图片的所述大小包括基于H导出所述子图片的宽度Wsp，其中，基于H导出Wsp包括：

i)基于所述比特流中的信息，获得第一宽度值w1；

ii)通过计算Iw＝(w1)×(F)，获得初始宽度值Iw；；

iii)将(Iw+H)与Pw相比较，其中，Pw指定所述图片的所述宽度；以及

iv)如果(Iw+H>Pw)，则将Wsp设置为等于(Pw-H)，否则，将Wsp设置为等于Iw。

4.根据权利要求2所述的方法，其中，导出所述子图片的所述大小包括基于V导出所述子图片的高度Hsp，其中，基于V导出Hsp包括：

i)基于所述比特流中的信息，获得第一高度值h1；

ii)通过计算Ih＝(h1)×(F)，获得初始高度值Ih；

iii)将(Ih+V)与Ph相比较，其中，Ph指定所述图片的所述高度；以及

iv)如果(Ih+V>Ph)，则将Hsp设置为等于(Ph-V)，否则，将Hsp设置为等于Ih。

5.根据权利要求1-4中任一项所述的方法，其中，基于所述比特流中的信息获得所述水平位置值h包括：

解码所述比特流中的语法元素S4以获得h，其中，所述语法元素S4的值表示采用单元大小的数量的水平位置，其中，所述单元大小等于所述缩放因子值F乘以所述CTU大小。

6.根据权利要求1-5中任一项所述的方法，其中，基于所述比特流中的信息获得所述垂直位置值v包括：

解码所述比特流中的语法元素S5以获得v，其中，所述语法元素S5的值表示采用单元大小的数量的垂直位置。

7.根据权利要求1-6中任一项所述的方法，其中，获得具有不同的值的两个单独的缩放因子值F1和F2，其中，

一个缩放因子值F1被用作用于导出所述子图片的所述水平位置和所述子图片的所述宽度中的至少一个的缩放因子值F，并且

另一个缩放因子值F2被用作用于导出所述子图片的所述垂直位置和所述子图片的所述高度中的至少一个的缩放因子值F。

8.根据权利要求1-7中任一项所述的方法，其中，从序列参数集SPS中解码所述语法元素S1、S4和S5中的一个或多个。

9.根据权利要求1-8中任一项所述的方法，其中，可以从图片参数集PPS、图片报头、切片报头中、或者从解码能力信息DCI中解码所述语法元素S1、S4和S5中的一个或多个。

10.一种计算机程序(643)，包括指令(644)，所述指令在由处理电路(602)执行时使所述处理电路(602)执行根据权利要求1-9中的任何一项所述的方法。

11.一种载体，包含根据权利要求10所述的计算机程序，其中，所述载体是电子信号、光信号、无线电信号、以及计算机可读存储介质(642)之一。

12.一种装置(600)，所述装置适于执行根据权利要求1-9中的任何一项所述的方法。

13.一种装置(600)，所述装置包括：

处理电路(602)；以及

存储器(642)，所述存储器包含能够由所述处理电路执行的指令(644)，由此，所述装置可操作以执行根据权利要求1-9中的任何一项所述的方法。

Images