CN112219399A - 视频压缩***中基于调色板的残差编码 - Google Patents

视频压缩***中基于调色板的残差编码 Download PDF

Info

Publication number
CN112219399A
CN112219399A CN201880094272.9A CN201880094272A CN112219399A CN 112219399 A CN112219399 A CN 112219399A CN 201880094272 A CN201880094272 A CN 201880094272A CN 112219399 A CN112219399 A CN 112219399A
Authority
CN
China
Prior art keywords
palette
block
pixels
prediction
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880094272.9A
Other languages
English (en)
Inventor
孙域晨
安基程
楼剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of CN112219399A publication Critical patent/CN112219399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于通过组合调色板模式和传统预测方法来改善视频压缩***的解码性能的***和方法，其中所述方法包括导出编码单元的预测块；解码所述编码单元的基于调色板的残差信息；基于所述解码后的基于调色板的残差信息导出基于调色板的残差块；结合所述预测块和所述基于调色板的残差块，以构造重建块。

Description

视频压缩***中基于调色板的残差编码
背景技术
最新的视频编码标准，例如H.264/AVC(高级视频编码)和H.265/HEVC(高效视频编码)标准，是基于使用块预测和变换编码的混合编码方案。为了压缩视频帧，视频压缩***应用诸如帧内预测或帧间预测之类的预测方法来导出预测帧。基于所述预测帧，视频压缩***还对残差信息进行编码以精炼预测帧。残差信息通常通过变换和量化技术进行压缩。基于这些信息，解码器能够根据预测帧和残差信息来重建视频帧。解码器通过简单地将预测像素值和残差像素值相加以生成最终的重建像素值，来将预测块和残差块组合以生成重建块。
采用新的编码工具调色板模式来标准化高效视频编码的屏幕内容编码扩展(HEVCSCC)。调色板模式可以在编码单元(CU)中使用很少的选择的代表色来有效描述所有像素。调色板模式是根据以下观察结果设计的：屏幕内容帧中的像素值通常集中在少数几个颜色值上。编码器分析CU中的像素并确定几种代表色以构建调色板表，即，代表色值和颜色索引之间的颜色映射表。调色板表在比特流中用信号发送。具有接近调色板颜色的像素值的像素被量化为由相应调色板索引表示的所选调色板颜色。其余像素称为逸出像素(escapepixel)。保留一特殊的调色板索引值来表示逸出像素，并直接用信号发送逸出像素的像素值。CU中的所有调色板索引形成调色板索引图，该调色板索引图与逸出像素值一起发送到解码器。像素或调色板索引可以表示单色或三色分量值，例如YCbCr或GBR。
然而，在HEVC调色板模式下，如果通过调色板模式对块进行编码，则将在不使用任何预测方法或残差细化的情况下对块进行独立解码。
附图说明
参照附图阐述详细描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记表示相似或相同的项目或特征。
图1示出了使用预测方法的视频压缩***的示例解码过程。
图2示出了由图1的视频压缩***导出的实例预测块、实例残差块和实例重建块。
图3示出了应用于图像的调色板模式的示例图。
图4说明使用HEVC SCC调色板模式的视频压缩***的实例解码过程。
图5示出了使用HEVC SCC调色板模式的示例调色板索引映射。
图6示出了基于调色板的残差编码的示例流程图。
图7示出了详细说明图6的多个块之一的示例流程图。
图8示出了使用基于调色板的残差编码模式的视频压缩***的示例解码过程。
图9示出了由图8的视频压缩***使用基于调色板的残差解码导出的实例预测块、实例基于调色板的残差块和实例重建块。
图10示出了用于基于调色板的残差编码的示例调色板索引图编码。
图11示出了用于基于调色板的残差编码的另一示例调色板索引图编码。
图12示出了用于通过组合调色板模式和预测方法来实现用于提高解码性能的过程和方法的示例***。
具体实施方式
本文讨论的***和方法涉及在HEVC调色板模式下改善视频压缩***性能，并且更具体地涉及通过组合调色板模式和预测方法来改善解码性能。
图1示出了使用预测方法的视频压缩***102的实例解码过程100。
视频压缩***102首先通过应用诸如帧内预测106或帧间预测108之类的预测方法来导出预测块104，然后通过应用残差解码方法112对残差块110进行解码。视频压缩***102组合预测块104和残差块110以生成重建块114。
图2示出了由图1的视频压缩***102导出的示例预测块104、残差块110和重建块114。
预测块104和残差块110用编码单元(CU)的像素值示出。如以上参考图1所讨论的，简单地将预测块104和残差块110的对应像素值相加，以生成重建块114的对应像素值。
图3示出了应用于CU 302的调色板模式的示例图300。为简单起见，像素或调色板索引被示出为仅对应于一个值。但是，在HEVC SCC中，像素或调色板索引可以表示三个颜色分量值，例如YCbCr或GBR。
在HEVC SCC调色板模式中，为每个CU发送标志，以指示是否将该调色板模式用于该CU，例如CU302。如果调色板模式用于CU 302，则像素(具有接近调色板的像素值，例如颜色A 304、颜色B 306和颜色C308)由调色板颜色值310表示，如颜色直方图312所示。例如，颜色A 304被示出为接近在调色板颜色值50的情况下，颜色B 306被出示为接近调色板颜色值80，而颜色C 308被示出为接近调色板颜色值310。CU 302的调色板颜色值310由调色板索引314表示，其中调色板颜色值310是CU 302的代表颜色，如调色板表316所示。其余像素由特殊的调色板索引值(表示为逸出索引)表示，并且他们的像素值直接用信号发送。注意，颜色是3值矢量，例如YCbCr或GBR。CU 302中所有像素的调色板索引形成调色板索引图318。
图4说明使用HEVC SCC调色板模式的视频压缩***402的实例解码过程400。
与参考图1描述的帧内/帧间预测方法相比，如果块或CU由HEVC SCC调色板模式404编码，则对其进行独立解码以生成重建块406，而无需使用任何预测方法或残差细化。为了解码调色板编码块，视频压缩***402的视频解码器解码调色板颜色和索引。调色板颜色由诸如调色板表316之类的调色板表描述，并由调色板表编码工具编码。基于调色板表，由调色板索引(例如调色板索引314)表示三个颜色分量的像素。CU中所有像素的调色板索引形成调色板索引图(例如调色板索引图318)，并且由调色板索引图编码工具编码。
图5示出示例的调色板索引图编码500。
视频压缩***102构造调色板表预测器，以通过应用预测编码来预测当前CU的调色板表(例如调色板表316)，其中最后调色板编码的CU的调色板用作预测器。调色板表被编码之后，在当前CU的像素与与调色板索引图编码的其它参数一起由调色板索引502表示，所述调色板索引对应于在参数表504示出的在调色板中的颜色。所述索引形成调色板索引图506，调色板索引图506被划分成几个行程，然后在水平方向或垂直横向扫描顺序编码。在该示例中，假设为水平扫描顺序，并且在调色板索引图506中将扫描的方向显示为箭头。在调色板索引图506中，由行程索引508，三个具有水平横向扫描的运行R0，R1和R2编码16个索引。存在两种行程模式510，即复制索引模式(copy index)和复制上方模式(copy above)，并且对于行程的每个开始位置，发送标记以指示使用了哪种运行模式。
如果使用复制上方模式，像素512的行程将从其上方的像素复制调色板索引。在这个示例中，行程R2，为复制具有行程值10的上方行程。如果使用复制索引模式，首先用信号发送palette_index_idc语法元素，随后接着一段PaletteIndexRun信息。所述palette_index_idc语法描述了行程是复制索引模式(palette_index_idc＝0)还是复制上方模式(palette_index_idc＝1)，并且PaletteIndexRun语法描述了行程的长度。像素512共享相同的调色板索引502，其中，所述调色板索引502和像素512的行程的行程值分别从palette_index_idc和PaletteIndexRun导出。
图6所示的例子中的视频压缩***中的基于调色板的残差编码的示例性流程图600。
在框602，视频压缩***可导出编码单元(CU)的预测块，如预测块104，其可以通过使用常规预测方法导出，例如如上面参考图1所讨论的帧内预测或帧间预测方法。视频压缩***可以构造调色板表预测器来预测当前CU的调色板表，并且可以利用最后的调色板编码的CU的调色板作为预测器。视频压缩***可使用相对于所述编码单元的非相邻编码单元的调色板作为调色板预测器，来预测所述编码单元的调色板表，并应用针对调色板表预测方法的来导出预测块。在框604处，视频压缩***可解码编码单元的基于调色板的残差信息，并基于解码的基于调色板的残差信息，可以在块606导出编码单元的基于调色板的残余块。在608处，视频压缩***可以组合的预测块和基于调色板的残差块以构建重建块。视频压缩***基于解码的基于调色板的残差信息，通过结合调色板模式与传统的预测方法，可以细化预测块并提高编码和/或解码性能，并因此提高视频压缩***的解码性能。
图7示出了详细说明图6的块608的示例流程图。
视频压缩***可通过在框702中基于调色板的残差块，基于解码的基于调色板的残差信息细化预测块104，和将基于调色板的残差块的像素分类为两组，如在块704的主色像素和预测像素。主色的像素可以具有与在调色板表316示出的关联类似的解码的基于调色板的残余块的主色像素值相关联的调色板索引。在框706处，所述预测像素被分配预定的颜色指数，如C0，C1，等，以及视频压缩***可以基于在块708处的主色像素和预测像素生成调色板索引图。
在框710处，视频压缩***可通过解码调色板索引图并识别具有预定颜色索引的索引作为预测像素，或者在框712处通过识别将由预测行程编码的像素作为预测像素，来标识基于调色板的残差块中的像素是主色像素还是预测像素。在框714处，视频压缩***可以使用主色像素的主色像素值和重建块中的用于预测像素的预测块的像素值，并传送用于预测像素的预测块的像素值，从而将调色板模式与传统预测方法相结合以改善视频压缩***的解码性能。
图8说明使用基于调色板的残余编码模式的视频压缩***802的实例解码过程800。
除了以上参考图4和图5所描述的HEVC残差解码之外，视频压缩***802可以包括将调色板模式与传统预测方法结合的选项，如上参考图6和图7所描述的。视频压缩***802可通过将基于调色板的残差解码806应用于基于调色板的残差信息来导出基于调色板的残差信息。然后，视频压缩***802可以通过将基于调色板的预测和残差块组合810应用于来自预测块104和基于调色板的残差块804的信息来构造重建块808。
图9示出了使用基于调色板的残差解码由图8的视频压缩***802导出的预测块104、基于调色板的残差块804和重建块808。
视频压缩***802可如上文参考图1所描述导出预测块104，并且然后可以解码基于调色板的残差块804。在重建重建块808之前，视频压缩***802可以导出并使用如上文参考图8所述的基于调色板的残差块804来细化预测块104。视频压缩***802可以将基于调色板的残差块804中的像素分类为两组，主色像素和预测像素。主色像素可以是具有像素值的像素，例如所示的C0和C1，其中像素值与诸如图3的调色板表316的解码调色板表中的主色值相关联。预测像素可以是特殊像素，在基于调色板的残差块804中显示为“P”。如果像素被编码为“P”，则视频压缩***802可以直接使用来自预测块104的其对应的预测像素值，作为重建块808的相应重建像素值。如果基于调色板的残差块804中的像素是解码调色板表中具有相应主色值(例如C0或C1)的主色像素，则如图所示，视频压缩***802将使用对应的主色值来重建重建块808。
图10示出了用于基于调色板的残差编码的示例调色板索引图编码1000。
为了标识基于调色板的残差块804中的像素是主色像素还是预测像素，视频压缩***802可以保留特殊颜色索引，例如0，如在参数表1004的调色板索引1002下方所示，较大索引值或预定值。然后，视频压缩***802可以使用常规的调色板模式来解码调色板索引图1006，如上面参考图5所述。索引形成调色板索引图1006，该调色板索引图1006被划分为多个行程，然后以水平或垂直遍历扫描顺序进行编码。在该示例中，假设为水平扫描顺序并且在调色板索引图1006中将扫描的方向显示为箭头。在调色板索引图1006中，由行程索引编码16个索引，具有水平遍历扫描的四个行程R0，R1，R2，R1和R3在行程模式1008下示出。如在行程模式1010下所示，存在两种行程模式，即复制索引模式和复制上方模式，并且对于行程的每个开始位置，发送标记以指示使用哪种运行模式。
如果调色板索引图1006中的像素被标识为具有保留的颜色索引，则它将被标识为预测像素。在图10中，底部的四个像素被识别为预测像素。视频压缩***802可以为这些预测像素保留特殊的颜色索引，在该示例中为“0”。视频压缩***802可将复制索引行程R3用于所述四个预测像素，如像素行程1012所指示，以标识这四个预测像素。
图11示出了用于基于调色板的残差编码的另一示例调色板索引图编码1100。
为了标识基于调色板的残差块804中的像素是主色像素还是预测像素，视频压缩***802可以利用特殊行程，例如在参数表1104的行程模式1102行程下显示为“预测(PREDICTION)”的预测行程，而不是在调色板索引1106下保留特殊的颜色索引。视频压缩***802可以将基于调色板的残差块804的预测像素标识为由预测行程编码的像素。类似于图10的调色板索引图编码，索引形成调色板索引图1006，该调色板索引图1006被分成四个行程，然后以如箭头所示的水平扫描顺序被编码。在调色板索引图1006中，由行程索引1108，具有水平遍历扫描四个行程R0，R1，R2和R3编码16个索引。在运行模式1102下，共有三种，即复制索引模式，复制上方模式和预测模式，并且对于运行的每个开始位置，发送一个标志以指示使用哪种运行模式。如果调色板索引图1006中的像素被识别为已被预测行程编码，则它将被识别为预测像素。参照图11，视频压缩***802可将预测行程R3用于四个底部像素，以将其编码为预测像素，如像素行程1110所示，并用标识这四个像素作为预测像素。
图12示出了用于通过组合调色板模式和预测方法来实现上述用于提高解码性能的处理和方法的示例***1200。
本文描述的技术和机制可以由***1200的多个实例以及由任何其他计算设备，***和/或环境来实现。图12中所示的***1200仅是***的一个示例，并且无意于暗示对用于执行上述过程和/或过程的任何计算设备的使用范围或功能的任何限制。适用于实施例的其他众所周知的计算设备、***、环境和/或配置包括但不限于个人计算机、服务器计算机、手持或膝上型设备、多处理器***、基于微处理器的***、机顶盒、游戏机、可编程消费电子产品、网络PC、小型计算机、大型计算机、包括上述任何***或设备的分布式计算环境、使用现场可编程门阵列(“FPGA”)的实现以及专用集成电路(“ASIC”)等。
***1200可以包括一个或多个处理器1202和通信地连接到一个或多个处理器1202的***存储器1204。所述一个或多个处理器1202可以执行一个或多个模块和/或过程，以使所述一个或多个处理器1202执行各种功能。在一些实施例中，处理器1202可以包括中央处理单元(CPU)，图形处理单元(GPU)，或CPU和GPU两者都包括，或者本领域已知的其他处理单元或组件。另外，每个处理器1202可以拥有其自己的本地存储器，该本地存储器还可以存储程序模块，程序数据和/或一个或多个操作***。
取决于***1200的确切配置和类型，***存储器1204可以是易失性的，例如RAM，或是非易失性的，例如ROM，闪存，微型硬盘驱动器，存储卡等，或者它们的某种组合。***存储器1204可以包括一个或多个可由一个或多个处理器1202执行的一个或多个计算机可执行模块(模块)1206。
模块1206可以包括但不限于预测模块1208，残差模块1210和重建模块1212。预测模块1208可以被配置为如上参考图1所述的导出编码单元的预测块。预测模块可以使用相对于所述编码单元的非相邻编码单元的调色板作为调色板预测器，以预测所述编码单元的调色板表，并将诸如帧内预测102或帧间预测108的预测方法应用于例如调色板表316的调色板表，以导出预测块(例如预测块104)。残差模块1210可被配置为解码编码单元的基于调色板的残差信息，并基于解码的基于调色板的残差信息导出基于调色板的残差块，例如基于调色板的残差块804。重建模块1212可以被配置为组合预测块104和基于调色板的残差块804以构造诸如重建块808之类的重建块，从而提高***1200的解码性能。
残差模块1210可以进一步被配置为对基于调色板的残差块804进行解码，并且将基于调色板的残差块的像素分类为主色像素和预测像素。主色像素可具有与经解码的基于调色板的残差块804的主色像素值相关联的调色板索引。残差模块1210可另外被配置为基于主色像素和预测像素来生成调色板索引图，诸如调色板索引图1006，并向如图9所示的预测像素分配预定的颜色索引，例如C0，C1等。
重建模块1212还可以被配置为通过如下方式标识基于调色板残差块的像素为主色像素还是预测像素：通过解码所述调色板索引图1006并将具有预定颜色索引的索引识别为如以上参考图10所讨论的预测像素，或者通过将由预测行程编码的像素识别为如上参考图11所述预测像素。重建模块1212可以被配置为使用重建块808中的主色像素的主色像素值，并且传送用于重建块808中的预测像素的预测块的像素值，从而将调色板模式和传统的预测方法组合一以提高视频压缩***的解码性能。
***1200可以另外包括输入/输出(I/O)接口1214，用于接收与编码单元相关联的数据，例如要处理的CU 302的编码数据，并且用于输出编码单元的数据，例如重建块808。***1200还可以包括通信模块1216，该通信模块1216允许***1200通过网络(未示出)与其他设备(未示出)通信。该网络可以包括互联网，诸如有线网络或直接有线连接之类的有线介质以及诸如声学、射频(RF)、红外和其他无线介质之类的无线介质。
如下所述，可以通过执行存储在计算机可读存储介质上的计算机可读指令来执行上述方法的一些或全部操作。在说明书和权利要求书中使用的术语“计算机可读指令”包括例程、应用程序、应用程序模块、程序模块、程序、组件、数据结构、算法等。可以在各种***配置上实现计算机可读指令，包括单处理器或多处理器***、小型计算机、大型计算机、个人计算机、手持计算设备、基于微处理器的可编程消费电子产品，其组合等。
计算机可读存储介质可以包括易失性存储器(例如，随机存取存储器(RAM))和/或非易失性存储器(例如，只读存储器(ROM)，闪存等)。计算机可读存储介质还可包括其他可移动存储和/或不可移动存储，包括但不限于闪存、磁存储、光存储和/或磁带存储，它们可提供计算机的可读指令，数据结构，程序模块等的非易失性存储。
非暂时性计算机可读存储介质是计算机可读介质的示例。计算机可读介质包括至少两种类型的计算机可读介质，即计算机可读存储介质和通信介质。计算机可读存储介质包括以用于存储诸如计算机可读指令，数据结构，程序模块或其他数据之类的信息的任何过程或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质包括但不限于相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、读取只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他存储技术、光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)或其他光学存储器、磁带、磁带、磁盘存储或其他磁存储设备、或可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以在诸如载波的调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义，计算机可读存储介质不包括通信介质。
存储在一个或多个非暂时性计算机可读存储介质上的计算机可读指令，当由一个或多个处理器执行时，该计算机可读指令可以执行以上参考图1至图12描述的操作。通常，计算机可读指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被理解为限制，并且可以以任何顺序和/或并行地组合任意数量的所描述的操作以实现处理。
示例条款
A.一种方法，包括：导出编码单元的预测块；解码编码单元的基于调色板的残差信息；基于所述解码后的基于调色板的残差信息导出基于调色板的残差块；结合所述预测块和所述基于调色板的残差块，以构造重建块。
B.如段落A所述的方法，其中，导出编码单元的预测块包括：使用相对于所述编码单元的非相邻编码单元的调色板作为调色板预测器来预测所述预测编码单元的调色板表；并将预测编码应用于所述调色板表以导出所述预测块。
C.如段落A所述的方法，其中组合所述预测块和所述基于调色板的残差块以构造重建块包括：基于所述解码的基于调色板的残差信息来细化预测块。
D.如段落C所述的方法，其中，基于所述解码的基于调色板的残差信息来细化预测块包括：解码所述基于调色板的残差块；将所述基于调色板的残差块的像素分类为主色像素和预测像素，所述主色像素具有与所述解码的基于调色板的残差块的主色像素值相关联的调色板索引；并基于主色像素和预测像素生成调色板索引图。
E.如段落D所述的方法，其中，基于所述主色像素和预测像素生成调色板索引图包括：分配给所述预测像素。
F.如段落E所述的方法，还包括：标识所述基于调色板的残差块中的像素是主色像素还是预测像素包括：解码所述调色板索引图并识别具有预定颜色索引的索引作为预测像素；或将通过预测行程编码的像素标识为预测像素。
G.如段落F所述的方法，其中组合所述预测块和所述基于调色板的残差块以构造重建块包括：使用所述重建块中的主色像素的主色像素值；以及为所述重建块中的预测像素传输所述预测块的像素值。
H.一种计算机可读存储介质，其存储可由一个或多个处理器执行的计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行操作，包括：导出编码单元的预测块；解码编码单元的基于调色板的残差信息；基于所述解码后的基于调色板的残差信息导出基于调色板的残差块；以及结合所述预测块和所述基于调色板的残差块，以构造重建块。
I.如段落H所述的计算机可读存储介质，其中，导出编码单元的预测块包括：使用相对于所述编码单元的非相邻编码单元的调色板作为调色板预测器来预测所述预测编码单元的调色板表；并将预测编码应用于所述调色板表以导出所述预测块。
J.如段落H所述的计算机可读存储介质，其中组合所述预测块和所述基于调色板的残差块以构造重建块包括：基于所述解码的基于调色板的残差信息来细化预测块。
K.如段落J所述的计算机可读存储介质，其中，基于所述解码的基于调色板的残差信息来细化预测块包括：解码所述基于调色板的残差块；将所述基于调色板的残差块的像素分类为主色像素和预测像素，所述主色像素具有与所述解码的基于调色板的残差块的主色像素值相关联的调色板索引；并基于主色像素和预测像素生成调色板索引图。
L.如段K所述的计算机可读存储介质，其中，基于所述主色像素和预测像素生成调色板索引图包括：将预定的颜色索引分配给预测像素。
M.如段落L所述的计算机可读存储介质，还包括标识所述基于调色板的残差块中的像素是主色像素还是预测像素包括：解码所述调色板索引图并识别具有预定颜色索引的索引作为预测像素；或将通过预测行程编码的像素标识为预测像素。
N.如段M所述的计算机可读存储介质，其中组合所述预测块和所述基于调色板的残差块以构造重建块包括：使用所述重建块中的主色像素的主色像素值；以及为所述重建块中的预测像素传输所述预测块的像素值。
O.一种***，包括：一个或多个处理器；通信地连接到所述一个或多个处理器的存储器，该存储器存储可由所述一个或多个处理器执行的计算机可执行模块，该计算机可执行模块包括：预测模块，被配置为导出编码单元的预测块；残差模块，被配置为对编码单元的基于调色板的残差信息进行解码，并基于解码后的基于调色板的残差信息来导出基于调色板的残差块；重建模块，被配置为结合所述预测块和所述基于调色板的残差块，以构成重建块。
P.如段落O所述的***，其中，所述预测块还被配置为：使用相对于所述编码单元的非相邻编码单元的调色板作为调色板预测器来预测所述预测编码单元的调色板表；并将预测编码应用于所述调色板表以导出所述预测块。
Q.根据段落O所述的***，其中，所述残差模块还被配置为：解码所述基于调色板的残差块；将所述基于调色板的残差块的像素分类为主色像素和预测像素，所述主色像素具有与所述解码的基于调色板的残差块的主色像素值相关联的调色板索引；并基于主色像素和预测像素生成调色板索引图。
R.如段落Q所述的***，其中，所述残差模块还被配置为将预定颜色索引分配给所述预测像素。
S.如段落R所述的***，其中，所述重建模块还被配置为：通过以下方式标识所述基于调色板的残差块中的像素是主色像素还是预测像素包括：解码所述调色板索引图并识别具有预定颜色索引的索引作为预测像素；或将通过预测行程编码的像素标识为预测像素。
T.如段落S所述的***，其中，所述重建模块还被配置为：使用所述重建块中的主色像素的主色像素值；以及为所述重建块中的预测像素传输所述预测块的像素值。
结论
尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应该理解，所附权利要求书中定义的主题不必限于所描述的特定特征或动作。而是，将特定特征和动作公开为实现权利要求的示例性形式。

Claims (20)

1.一种方法，包括：
导出编码单元的预测块；
解码所述编码单元的基于调色板的残差信息；
基于所述解码后的基于调色板的残差信息导出基于调色板的残差块；
结合所述预测块和所述基于调色板的残差块，以构造重建块。
2.根据权利要求1所述的方法，其中，导出编码单元的预测块包括：
使用相对于所述编码单元的非相邻编码单元的调色板作为调色板预测器来预测所述预测编码单元的调色板表；和
将预测编码应用于所述调色板表以导出所述预测块。
3.根据权利要求1所述的方法，其中组合所述预测块和所述基于调色板的残差块以构造重建块包括：
基于所述解码的基于调色板的残差信息来细化预测块。
4.根据权利要求3所述的方法，其中，基于所述解码的基于调色板的残差信息来细化预测块包括：
解码所述基于调色板的残差块；
将所述基于调色板的残差块的像素分类为主色像素和预测像素，所述主色像素具有与所述解码的基于调色板的残差块的主色像素值相关联的调色板索引；和
基于主色像素和预测像素生成调色板索引图。
5.根据权利要求4所述的方法，其中基于所述主色像素和预测像素生成调色板索引图包括：分配给所述预测像素。
6.根据权利要求5所述的方法，还包括标识所述基于调色板的残差块中的像素是主色像素还是预测像素包括：
解码所述调色板索引图并识别具有预定颜色索引的索引作为预测像素；或
将通过预测行程编码的像素标识为预测像素。
7.根据权利要求6所述的方法，其中组合所述预测块和所述基于调色板的残差块以构造重建块包括：
使用所述重建块中的主色像素的主色像素值；以及
为所述重建块中的预测像素传输所述预测块的像素值。
8.一种计算机可读存储介质，其存储可由一个或多个处理器执行的计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行操作，包括：
导出编码单元的预测块；
解码所述编码单元的基于调色板的残差信息；
基于所述解码后的基于调色板的残差信息导出基于调色板的残差块；以及
结合所述预测块和所述基于调色板的残差块，以构造重建块。
9.根据权利要求8所述的计算机可读存储介质，其中，导出编码单元的预测块包括：
使用相对于所述编码单元的非相邻编码单元的调色板作为调色板预测器来预测所述预测编码单元的调色板表；和
将预测编码应用于所述调色板表以导出所述预测块。
10.根据权利要求8所述的计算机可读存储介质，其中，组合所述预测块和所述基于调色板的残差块以构造重建块包括：
基于所述解码的基于调色板的残差信息来细化预测块。
11.根据权利要求10所述的计算机可读存储介质，其中，基于所述解码的基于调色板的残差信息来细化预测块包括：
解码所述基于调色板的残差块；
将所述基于调色板的残差块的像素分类为主色像素和预测像素，所述主色像素具有与所述解码的基于调色板的残差块的主色像素值相关联的调色板索引；和
基于主色像素和预测像素生成调色板索引图。
12.根据权利要求11所述的计算机可读存储介质，其中，基于所述主色像素和预测像素生成调色板索引图包括：将预定的颜色索引分配给预测像素。
13.如权利要求12所述的计算机可读存储介质，其中，还包括标识所述基于调色板的残差块中的像素是主色像素还是预测像素包括：
解码所述调色板索引图并识别具有预定颜色索引的索引作为预测像素；或
将通过预测行程编码的像素标识为预测像素。
14.根据权利要求13所述的计算机可读存储介质，其中，组合所述预测块和所述基于调色板的残差块以构造重建块包括：
使用所述重建块中的主色像素的主色像素值；以及
为所述重建块中的预测像素传输所述预测块的像素值。
15.一种***，包括：
一个或多个处理器；
通信地连接到所述一个或多个处理器的存储器，该存储器存储可由所述一个或多个处理器执行的计算机可执行模块，该计算机可执行模块包括：
预测模块，所述预测模块被配置为导出编码单元的预测块；
残差模块，所述残差模块被配置为对编码单元的基于调色板的残差信息进行解码，并基于解码后的基于调色板的残差信息来导出基于调色板的残差块；
重建模块，所述重建模块被配置为结合所述预测块和所述基于调色板的残差块，以构成重建块。
16.根据权利要求15所述的***，其中，所述预测块还被配置为：
使用相对于所述编码单元的非相邻编码单元的调色板作为调色板预测器来预测所述预测编码单元的调色板表；和
将预测编码应用于所述调色板表以导出所述预测块。
17.根据权利要求15所述的***，其中，所述残差模块还被配置为：
解码所述基于调色板的残差块；
将所述基于调色板的残差块的像素分类为主色像素和预测像素，所述主色像素具有与所述解码的基于调色板的残差块的主色像素值相关联的调色板索引；和
基于主色像素和预测像素生成调色板索引图。
18.根据权利要求17所述的***，其中，所述残差模块还被配置为将预定颜色索引分配给所述预测像素。
19.根据权利要求18所述的***，其中，所述重建模块还被配置为：
通过以下方式标识所述基于调色板的残差块中的像素是主色像素还是预测像素包括：
解码所述调色板索引图并识别具有预定颜色索引的索引作为预测像素；或
将通过预测行程编码的像素标识为预测像素。
20.根据权利要求19所述的***，其中，所述重建模块还被配置为：
使用所述重建块中的主色像素的主色像素值；以及
为所述重建块中的预测像素传输所述预测块的像素值。
CN201880094272.9A 2018-07-04 2018-07-04 视频压缩***中基于调色板的残差编码 Pending CN112219399A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/094496 WO2020006707A1 (en) 2018-07-04 2018-07-04 Palette-based residual coding for video compression system

Publications (1)

Publication Number Publication Date
CN112219399A true CN112219399A (zh) 2021-01-12

Family

ID=69060708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094272.9A Pending CN112219399A (zh) 2018-07-04 2018-07-04 视频压缩***中基于调色板的残差编码

Country Status (2)

Country Link
CN (1) CN112219399A (zh)
WO (1) WO2020006707A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015101173A1 (en) * 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Method and apparatus for scaling parameter coding for inter-component residual prediction
US20150341643A1 (en) * 2014-05-23 2015-11-26 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US20160100174A1 (en) * 2014-10-06 2016-04-07 Futurewei Technologies, Inc. Palette Mode In High Efficiency Video Coding (HEVC) Screen Content Coding (SCC)
CN107005717A (zh) * 2014-11-12 2017-08-01 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
CN107431827A (zh) * 2015-03-18 2017-12-01 寰发股份有限公司 视频和图像压缩中的索引图编码的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4515832B2 (ja) * 2004-06-14 2010-08-04 オリンパス株式会社 画像圧縮装置、及び画像復元装置
US10362333B2 (en) * 2014-01-02 2019-07-23 Qualcomm Incorporated Color index coding for palette-based video coding
WO2015143351A1 (en) * 2014-03-21 2015-09-24 Futurewei Technologies, Inc. Advanced screen content coding with improved color table and index map coding methods
US9544607B2 (en) * 2014-08-25 2017-01-10 Hfi Innovation Inc. Method of palette index signaling for image and video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015101173A1 (en) * 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Method and apparatus for scaling parameter coding for inter-component residual prediction
US20150341643A1 (en) * 2014-05-23 2015-11-26 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
CN106415607A (zh) * 2014-05-23 2017-02-15 华为技术有限公司 具有改进调色板表和索引图编码的先进屏幕内容编码方法
US20160100174A1 (en) * 2014-10-06 2016-04-07 Futurewei Technologies, Inc. Palette Mode In High Efficiency Video Coding (HEVC) Screen Content Coding (SCC)
CN107005717A (zh) * 2014-11-12 2017-08-01 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
CN107431827A (zh) * 2015-03-18 2017-12-01 寰发股份有限公司 视频和图像压缩中的索引图编码的方法和装置

Also Published As

Publication number Publication date
WO2020006707A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
US11290717B2 (en) Encoding and decoding methods and apparatuses with multiple image block division manners
US9788004B2 (en) Method of color index coding with palette stuffing
US20170302939A1 (en) Adaptive screen and video coding scheme
US10652537B1 (en) Coding unit size adaptive palette mode for video compression system
US10075725B2 (en) Device and method for image encoding and decoding
US20180249162A1 (en) Method and apparatus for decoding a video using an intra prediction
JP2017522839A (ja) 整合パレット符号化
KR102586674B1 (ko) 경계 강제 파티션에 대한 개선
JP6164360B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法
US11350106B2 (en) Method for encoding and decoding images, device for encoding and decoding images and corresponding computer programs
US20230091192A1 (en) Scanning orders for non-transform coding
US10440370B2 (en) Apparatus and method for image coding, and non-transitory computer-readable storage medium
US20150023416A1 (en) Image encoding device and image decoding device
WO2020177545A1 (en) Palette size constraint in palette mode for video compression system
WO2020056757A1 (en) Method, apparatus, and computer-readable storage medium for block partitioning tree separation under separation node
CN112219399A (zh) 视频压缩***中基于调色板的残差编码
WO2020243881A1 (en) Simplified intra block copy
US20240244199A1 (en) Encoding/decoding method for purpose of scalable structure-based hybrid task
KR102031120B1 (ko) 인트라 예측 부호화 및 복호화 방법과 상기 방법을 수행하는 장치
WO2020056760A1 (en) Transform selection for small size block
WO2020056759A1 (en) Method, apparatus, and computer-readable storage medium for small size block coding
WO2024010635A1 (en) System and method for multiple-hypothesis prediction for video coding
WO2022191947A1 (en) State based dependent quantization and residual coding in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination