CN117981305A - 用于对视频进行编码/解码的方法和装置 - Google Patents

用于对视频进行编码/解码的方法和装置 Download PDF

Info

Publication number
CN117981305A
CN117981305A CN202280063917.9A CN202280063917A CN117981305A CN 117981305 A CN117981305 A CN 117981305A CN 202280063917 A CN202280063917 A CN 202280063917A CN 117981305 A CN117981305 A CN 117981305A
Authority
CN
China
Prior art keywords
transform
block
video
transforms
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280063917.9A
Other languages
English (en)
Inventor
K·纳赛尔
F·加尔平
P·博尔德斯
F·莱莱昂内克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN117981305A publication Critical patent/CN117981305A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种方法，该方法包括对视频进行解码，其中对视频进行解码包括：基于视频的块周围的重构像素的至少一部分来确定针对该块的至少一个变换；通过应用所确定的至少一个变换对该块进行解码。还提供了一种用于对视频进行解码的装置。还提供了用于对视频进行编码的相应的方法和装置。

Description

用于对视频进行编码/解码的方法和装置
技术领域
本发明实施方案总体上涉及一种用于视频编码或解码的方法和装置。一些实施方案涉及用于视频编码或解码的方法和装置，其中针对要编码/解码的块的变换选择在解码器处从重构块的至少一部分中推导出。
背景技术
为了实现高压缩效率，图像和视频编码方案通常采用预测和变换以充分利用视频内容中的空间和时间冗余。一般而言，帧内或帧间预测用于利用图像内或图像间相关性，然后对在原始块与预测块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过与熵编码、量化、变换和预测相对应的逆过程对压缩数据进行解码。
发明内容
根据第一方面，提供了一种用于对视频进行编码的方法，其中，对视频进行编码包括：基于视频的重构块的至少一部分确定针对视频的块的至少一个变换；通过应用所确定的至少一个变换来对该块进行编码。
提供了一种用于对视频进行编码的装置。该装置包括一个或多个处理器，其中，一个或多个处理器被配置为通过基于视频的重构块的至少一部分确定针对视频的块的至少一个变换来对视频进行编码；通过应用所确定的至少一个变换来对该块进行编码。
根据另一个方面，提供了一种用于对视频进行解码的方法，其中，对视频进行解码包括：基于视频的重构块的至少一部分确定针对视频的块的至少一个变换；通过应用所确定的至少一个变换来对该块进行解码。
提供了一种用于对视频进行解码的装置。该装置包括一或多个处理器，其中，一或多个处理器被配置为对视频进行解码，其中对视频进行解码包括：基于视频的重构块的至少一部分确定针对视频的块的至少一个变换；通过应用所确定的至少一个变换来对该块进行解码。
一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，这些指令在由一个或多个处理器执行时使该一个或多个处理器执行根据本文所述的任一实施方案所述的编码方法或解码方法。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据上述方法对视频数据进行编码或解码的指令。一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流。一个或多个实施方案还提供了一种用于传输或接收根据上述方法生成的比特流的方法和装置。
附图说明
图1示出了其中可以实现本发明实施方案的各方面的***的框图。
图2示出了视频编码器的实施方案的框图。
图3示出了视频解码器的实施方案的框图。
图4示出了根据实施方案的用于对视频进行编码的方法的示例。
图5示出了根据实施方案的用于对视频进行解码的方法的示例。
图6示出了具有当前块的模板像素和当前块的模板像素的对应模板像素的当前块的示例。
图7示出了根据实施方案的用于确定针对要编码/解码的当前块的至少一个变换的方法的示例。
图8示出了应用于残差模板像素的变换过程的示例。
图9示出了根据另一个实施方案的用于确定针对要编码/解码的当前块的至少一个变换的方法的示例。
图10示出了根据本发明原理的示例的通过通信网络进行通信的两个远程设备。
图11示出了根据本发明原理的示例的信号的语法。
具体实施方式
本申请描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体地描述了这些方面中的许多方面，并且至少示出了个体特性，通常以可能听起来有限的方式描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
本申请中描述和设想的方面可以许多不同的形式实现。下面的图1、图2和图3提供了一些实施方案，但是设想了其他实施方案，并且图1、图2和图3的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及传输生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。
本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。
本申请中描述的各种方法和其他方面可以用于修改模块，例如，如图2中示出的视频编码器200的正向变换模块(225)、反向变换模块(250)和熵编码(245)，以及如图3中示出的视频解码器300的反向变换模块(350)和熵解码(330)。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。
图1示出了其中可实现各种方面和实施方案的***的示例的框图。***100可体现为一种设备，该设备包括下文所述的各种部件，并且被配置为执行本申请所述各方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型电脑、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制***、连接的家用电器和服务器。***100的元件可单独地或组合地体现在单个集成电路、多个IC和/或分立部件中。例如，在至少一个实施方案中，***100的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中，***100经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其他***或其他电子设备。在各种实施方案中，***100被配置为实现本申请所述的方面的一个或多个方面。
***100包括至少一个处理器110，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本申请所述的各个方面。处理器110可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。***100包括至少一个存储器120(例如，易失性存储器设备和/或非易失性存储器设备)。***100包括存储设备140，该存储设备可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备140可以包括内部存储设备、附接存储设备和/或网络可访问的存储设备。
***100包括编码器/解码器模块130，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块130可以包括其自身的处理器和存储器。编码器/解码器模块130表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可以包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块130可以被实现为***100的独立元件，或者可以被结合在处理器110内作为本领域技术人员已知的硬件和软件的组合。
要加载到处理器110或编码器/解码器130上以执行本申请中所述的各个方面的程序代码可以存储在存储设备140中，并且随后加载到存储器120上以供处理器110执行。根据各种实施方案，处理器110、存储器120、存储设备140和编码器/解码器模块130中的一者或多者可以在执行本申请中描述的过程期间存储各个项目中的一者或多者。这样存储的项目可以包括但不限于输入视频、解码视频或解码视频的一部分、比特流、矩阵、变量，以及处理等式、公式、运算和运算逻辑的中间或最终结果。
在一些实施方案中，处理器110和/或编码器/解码器模块130内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而，在其他实施方案中，在处理设备外部的存储器(例如，处理设备可以是处理器110或编码器/解码器模块130)用于这些功能中的一个或多个功能。外部存储器可以是存储器120和/或存储设备140，例如，动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储电视机的操作***。在至少一个实施方案中，快速外部动态易失性存储器(诸如RAM)用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动图片专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC是指高效视频编码，也称为H.265和MPEG-H部分2)或VVC(通用视频编码，由联合视频专家小组(JVET)开发的新标准)。
***100的元件的输入可以通过如框105中指示的各种输入设备来提供。此类输入设备包括但不限于：(i)射频(RF)部分，其接收例如由广播器通过空中传输的RF信号；(ii)分量(COMP)输入端子(或一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。其他示例(图1中未示出)包括复合视频。
在各种实施方案中，框105的输入设备具有如本领域中已知的相关联的相应输入处理元件。例如，RF部分可与适合于以下各项的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制到一个频带)；(ii)下变频所选的信号；(iii)再次将频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带；(iv)解调经下变频和频带限制的信号；(v)执行纠错；以及(vi)解复用以选择期望的数据分组流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包含执行这些功能中的各种功能的调谐器，这些功能包含例如下变频接收的信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并且通过滤波、下变频和再次滤波至期望的频带来执行频率选择。各种实施方案重新布置上面所描述的(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行相似或不同功能的其他元件。添加元件可以包括在现有元件之间***元件，例如，***放大器和模拟-数字转换器。在各种实施方案中，RF部分包括天线。
此外，USB和/或HDMI端子可以包括用于跨USB和/或HDMI连接将***100连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各个方面可以按照需要例如在单独的输入处理IC内或在处理器110内实现。相似地，USB或HDMI接口处理的各方面可以按照需要在单独的接口IC内或在处理器110内实现。经解调的、经纠错的和经解复用的流被提供给各种处理元件，包括例如处理器110和编码器/解码器130，该处理元件与存储器和存储元件结合操作以按照需要处理数据流以供在输出设备上呈现。
***100的各种元件可以设置在集成外壳内。在集成外壳内，各种元件可以使用合适的连接布置115(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)进行互连并在其间发射数据。
***100包括通信接口150，该通信接口使得能够经由通信信道190与其他设备通信。通信接口150可以包括但不限于配置为通过通信信道190传输并接收数据的收发器。通信接口150可以包括但不限于调制解调器或网卡，并且通信信道190可以在有线和/或无线介质等内实现。
在各种实施方案中，使用Wi-Fi网络(诸如IEEE 802.11(IEEE是指电气与电子工程师协会))将数据流传输给***100。这些实施方案的Wi-Fi信号通过适用于Wi-Fi通信的通信信道190和通信接口150接收。这些实施方案中的通信信道190通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式应用和其他OTT通信。其他实施方案使用机顶盒向***100提供流式传输的数据，该机顶盒通过输入框105的HDMI连接来递送数据。还有其他实施方案使用输入框105的RF连接向***100提供流式传输的数据。如上所述，各种实施方案以非流传输方式提供数据。另外地，各种实施方案使用除了Wi-Fi以外的无线网络，例如蜂窝网络或蓝牙网络。
***100可以将输出信号提供给各种输出设备，包括显示器165、扬声器175和其他***设备185。各种实施方案的显示器165包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器165可用于电视、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器165还可以与其他部件集成(例如，如在智能电话中)，或者是独立的(例如，用于膝上型电脑的外部监视器)。在实施方案的各种示例中，其他***设备185包括独立数字视频光盘(或数字多功能光盘)(DVR，用于这两个术语)、光盘播放器、立体声***和/或照明***中的一者或多者。各种实施方案使用一个或多个***设备185，该一个或多个***设备基于***100的输出来提供功能。例如，光盘播放器执行播放***100的输出的功能。
在各种实施方案中，控制信号使用信令(诸如AV.Link、CEC或使得能够在有或没有用户干预的情况下的设备到设备控制的其他通信协议)在***100与显示器165、扬声器175或其他***设备185之间传递。这些输出设备可以通过相应的接口160、170和180经由专用连接被通信地耦合到***100。另选地，输出设备可以使用通信信道190经由通信接口150连接到***100。显示器165和扬声器175可与电子设备(例如，电视机)中的***100的其他部件集成在单个单元中。在各种实施方案中，显示器接口160包括显示器驱动器，例如，定时控制器(T Con)芯片。
另选地，例如，如果输入105的RF部分是单独机顶盒的一部分，则显示器165和扬声器175可以与其他部件中的一者或多者分隔开。在其中显示器165和扬声器175是外部部件的各种实施方案中，输出信号可以经由专用输出连接(包括例如，HDMI端口、USB端口或COMP输出)来提供。
这些实施方案可以由处理器110实现的计算机软件，或由硬件，或由硬件与软件的组合进行。作为非限制性示例，这些实施方案可以由一个或多个集成电路实现。作为非限制性示例，存储器120可以是适合于技术环境的任何类型，并且可以使用任何适合的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例，处理器110可以是适合于技术环境的任何类型，并且可以涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
图2示出了编码器200。设想到该编码器200的变型，但是为了清楚起见，下面描述了编码器200而没有描述所有预期的变型。
在一些实施方案中，图2还示出了在其中对HEVC标准进行改进的编码器，或采用类似于HEVC的技术的编码器，诸如由JVET(联合视频探索团队)开发的VVC(多功能视频编码)编码器。
在被编码之前，视频序列可以经历预编码处理201，例如，将颜色变换应用于输入彩色图片(例如，从RGB 4:4:4至YCbCr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量的直方图均衡化)，或者调整图片的大小(例如，按比例缩小)。元数据可以与预处理相关联，并被附加到比特流。
在编码器200中，图片由如下面所描述的编码器元件进行编码。要被编码的图片在例如CU的单元中进行分区(202)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时，该单元执行帧内预测(260)。以帧间模式，执行运动估计(275)和补偿(270)。编码器决定(205)要使用帧内模式或帧间模式中的哪一者对单元进行编码，以及通过例如预测模式标志来指示帧内/帧间决策。编码器还可以混合(263)帧内预测结果和帧间预测结果，或混合来自不同帧内/帧间预测方法的结果。预测残差例如通过从原始图像块中减去(210)预测块进行计算。
运动修正模块(272)使用已经可用的参考图片，以便在不参考原始块的情况下修正块的运动场。区域的运动场可以被认为是关于该区域的所有像素的运动向量的集合。如果运动向量基于子块，则运动场也可以表示为区域中的所有子块运动向量的集合(子块内的所有像素具有相同的运动向量，并且子块与子块之间的运动向量可能不同)。如果单个运动向量用于该区域，则该区域的运动场也可以由单个运动向量(针对区域中的所有像素的相同运动向量)表示。
然后，对预测残差进行变换(225)和量化(230)。对经量化的变换系数以及运动向量和其他语法元素进行熵编码(245)以输出比特流。编码器可以跳过变换，并将量化直接应用于未变换的残差信号。编码器可以绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
编码器对编码块进行解码，以提供进一步预测的参考。对经量化的变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。通过将经解码的预测残差和预测块进行组合(255)，重构图像块。环内滤波器(265)被应用于重构的图片，以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。将经滤波的图像存储在参考图片缓冲器(280)处。
图3示出了视频解码器300的框图。在解码器300中，比特流由如下面所描述的解码器元件进行解码。视频解码器300通常执行与图2中描述的编码过程相反的解码过程。编码器200通常还执行视频解码作为对视频数据进行编码的一部分。
具体地，解码器的输入包括视频比特流，该视频比特流可以由视频编码器200生成。首先，对比特流进行熵解码(330)以获得变换系数、运动向量和其他编码信息。图片分区信息指示如何对图片进行分区。因此，解码器可以根据解码图片分区信息来划分(335)图片。对变换系数进行解量化(340)和逆变换(350)以对预测残差进行解码。通过将经解码的预测残差和预测块进行组合(355)，重构图像块。
预测块可以从帧内预测(360)或运动补偿预测(即，帧间预测)(375)中获得(370)。解码器可以混合(373)帧内预测结果和帧间预测结果，或者混合来自多个帧内/帧间预测方法的结果。在运动补偿之前，运动场可以通过使用已经可用的参考图片来修正(372)。环内滤波器(365)被应用于重构的图像。经滤波的图像存储在参考图片缓冲器(380)处。
解码的图片还可以经过解码后处理385，例如，逆颜色变换(例如，从YCbCr 4:2:0至RGB 4:4:4的转换)，或执行预编码处理201中执行的重新映射过程的逆过程的逆重新映射，或重新调整重构图片的大小(例如，按比例放大)。解码后处理可以使用在预编码处理中导出并在比特流中发信号通知的元数据。
变换编码是在视频编码中用于压缩残差样本以减少待编码系数的数量的过程。传统上，DCT-II变换用作针对水平维度和垂直维度两者的默认变换，例如，在VVC和HEVC标准中。然而，在VVC中，允许更多的变换组合以更好地捕获残差数据的统计分布。具体地，还使用了DCT-VIII和DST-VII，并且将变换索引(mts_idx)发信号通知给解码器以执行逆变换。变换索引标识变换对，该变换对包括编码器和解码器侧两者处都已知的映射表中的水平变换和竖直变换。
在现有的VVC标准中，变换索引(mts_idx)在CU级别进行编码，如下面的语法表所示：
变换索引到变换核的映射是使用映射表如下完成的，该映射表为变换索引的每个值提供一对水平变换和竖直变换：
mts_idx 0 1 2 3 4
trTypeHor DCT2 DST7 DCT8 DST7 DCT8
trTypeVer DCT2 DST7 DST7 DCT8 DCT8
其中，trTypeHor代表应用于块的水平变换，并且trTypeVer代表竖直变换。
尽管变换编码在VVC中提供了显著的编码增益，但是变换索引的信令仍然是用于增加更多变换的限制部分。这是因为使用的变换越多，所需的信令就越多，其中新变换不会带来任何益处。
增强压缩模型(ECM)已经被提出作为用于后VVC视频压缩开发的软件。ECM对于变换索引mts_idx使用相同的信令过程，其中mts_idx的范围从0至4。然而，在ECM中，使用进一步的变换核。具体地，DST1、DCT5、DST4、DCT4和恒等变换也被包括在内。变换索引mts_idx与变换核之间的映射还取决于变换单元大小和帧内预测模式。
根据一个方面，提供了一种用于对视频进行编码/解码的方法，该方法旨在通过在解码器侧有效地推导出变换索引来改进视频压缩的变换编码部分。根据实施方案，修改解码器，以通过检查要编码或解码的当前块周围的L形参考解码像素来推导变换索引。这通过避免发信号通知变换索引来提高编码效率，并且允许更高数量的变换。
根据另一个实施方案，可以改进变换索引的编码成本。以相似的方式，变换对可以取决于L形周围像素来布置。
图4示出了根据实施方案的用于对视频进行编码的方法的示例。根据本实施方案，为了对视频块进行编码，在40处，基于视频的重构块的至少一部分来确定要应用于块的至少一个变换，并且在41处，通过应用所确定的变换来对块进行编码，随后对经量化的系数进行量化和熵编码。在41处，编码与用于对块进行编码的模式相关的语法元素。
图5示出了根据实施方案的用于对视频进行解码的方法的示例。根据本实施方案，从比特流中获得表示视频块的编码数据。对块的系数进行熵解码和逆量化。编码数据还包括与用于对块进行编码的模式相关的语法元素。
然后，通过在50处确定要应用于块的至少一个变换来重构该快，该变换是基于先前已经重构的视频块的至少一部分来确定的。然后，在51处，通过应用所确定的变换(在这种情况下是逆变换)来重构该块。
图4和图5可以分别在上面关于图2和图3所描述的编码/解码方法中实现。在下文中，用于从重构块的一部分中推导出当前块的变换的模式被称为DTID模式。
图7示出了根据实施方案的用于确定针对要编码或解码的视频的当前块的至少一个变换的方法的示例。该方法可以在上面所描述的视频编码或视频解码方法中实现。
根据实施方案，当在70处针对块确定预测模式时，针对当前块的周围像素执行二次预测(步骤71)。如图6所示，这些像素(称为模板像素)是从其对应的模板像素中预测的，其中，当前块周围的像素(模版像素用交叉正方形示出：当前块顶部的第一行和当前块左侧的第一列)是使用与在步骤70处针对当前块所确定的预测模式相同的预测模式(图6所示的示例中的对角线帧内模式)，从它们周围的像素(模板像素用虚线正方形示出：模板像素顶部的行和模板像素列左侧的列)中预测的。
如图6所示，预测模式可以是任何帧内预测模式。当预测模式是帧间预测模式时，使用参考模板像素对当前块的模板像素执行帧间预测，该参考模板像素是当前块从其进行帧间预测的一个或多个参考块的模板像素，类比方法与帧内预测相同。
取决于针对当前块所确定的预测模式，并不是周围像素的所有像素都需要用于预测。由于该方法将以相同的方式在编码器和解码器上执行，因此由二次预测预测的模板像素以及用于预测模板像素的周围像素属于当前块的因果部分。换言之，模板像素和模板像素周围的像素属于先前已经重构(编码/解码)的一个或多个块。
在编码侧，在步骤70处，针对当前块的预测模式可以使用率失真优化来确定，并且指示预测模式的语法元素在当前块的比特流中进行编码。在解码器侧，表示针对当前块的预测模式的语法元素从比特流中进行解码。
一旦对当前模板像素执行了预测，则在72处，获得水平残差线和竖直残差线。传统上，该残差是由模板像素的值与其预测值之间的差获得的。
假设这些残差具有与当前块残差相同的统计特性；因此，模版像素和当前块可以使用相同的变换选择。
为了利用该属性，在73处，所获得的残差线(水平残差线、竖直残差线)用不同的变换进行测试，以推导最佳的水平变换和竖直变换。这在图8中示出，图8示出了应用于残差模板以获得最优变换对的变换处理。TrV和TrH是竖直变换和水平变换。
在74处，针对应用于残差的每个变换确定分数，以用于确定最佳变换。
根据一种变型，分数被确定为能量总和度量。该度量考虑存储在变换系数中能量的量。根据实施方案，该度量考虑仅存储在第一变换系数中的能量的量。假设变换线的大小为N，存储在前M个系数(M<N)中的能量被认为是用于选择变换的标准。能量(E)如下计算为第i次变换的M个系数(C)的平方和：
使度量最大化的变换被选择作为最佳变换。根据该度量，存储在第一系数中的能量越高，系数就被压缩得越高。因此，这导致降低的比特率，因为发信号通知给解码器的信息更少。
根据另一种变型，分数被确定为绝对和度量。为了简化能量测量，可以使用M个系数的绝对和来代替它们的能量。绝对和度量可以近似能量度量以在不同的变换度量之间进行区分。如下计算绝对(A)度量：
应当注意，可以使用较小的M值以降低计算复杂度，因为仅计算前M个系数。最简单的方法是当M等于一时，其中对于每个变换候选仅计算第一系数。
一旦已经针对应用于模板残差的每个变换确定分数，则在75处，选择使分数最大化的变换，以用于变换当前块的残差。
根据实施方案，针对当前块选择水平变换和竖直变换。在本实施方案中，选择在应用于水平残差的水平变换中使分数最大化的水平变换，并且选择在应用于竖直残差的竖直变换中使分数最大化的竖直变换。
根据图7所描述的实施方案，不再发信号通知指示变换对的变换索引，并且根据能量和或绝对和度量来确定针对水平方向和竖直方向的变换核。
根据其他实施方案，可以使用任何其他度量(诸如系数的编码成本的度量、所获得的零系数的数量等)来确定分数。在一些实施方案中，被选择为最优变换的变换可以是使分数最小化的变换。
根据实施方案，语法元素被发信号通知以指示在解码器侧对变换的推导模式的使用。语法元素可以在CU级别或TU级别发信号通知。在解码器侧，如果语法元素指示使用这种模式，则首先使用当前块的预测模式来预测模板像素。然后，在用于水平或竖直方向的N个变换中，如上面所描述的，推导应用于当前块的变换。
在VVC中，候选变换的数量是3，因为定义了3个变换(DCT2、DST7和DCT8)。在ECM中，在添加了DCT5、DST1、DST4和DCT4时，该数量变为7。
下面是用于在CU级别发信号通知使用DTID模式的语法的示例。发信号通知该标志以指示使用解码器侧变换索引推导(cu_dtid_enabled_flag)。当这等于一时，不发信号通知变换索引：
图9示出了根据另一个实施方案的用于确定针对要编码或要解码的视频的当前块的至少一个变换的方法的示例。该方法可以在上面所描述的视频编码或视频解码方法中实现。
根据实施方案，当在90处针对块确定预测模式时，针对当前块的周围(模板)像素执行二次预测(步骤91)，如图7所讨论的。模板像素使用与在步骤90处针对当前块所确定的预测模式相同的预测模式，从其对应模板像素来预测。至于图7的实施方案，预测模式可以是帧内预测模式或帧间预测模式。
在编码侧，在步骤90处，针对当前块的预测模式可以使用率失真优化来确定，并且指示预测模式的语法元素在用于当前块的比特流中进行编码。在解码器侧，表示针对当前块的预测模式的语法元素从比特流中进行解码。
一旦对当前模板像素执行了预测，则在92处，获得水平残差线和竖直残差线。传统上，该残差是由模板像素的值与其预测值之间的差获得的。
在93处，所获得的残差线(水平残差线、竖直残差线)使用不同的变换进行变换，并且在94处，分数针对应用于残差的每个变换进行确定。至于图7所讨论的实施方案，分数可以是基于所获得的系数的分数。
与图7所讨论的实施方案相反，在图9的实施方案中，仍然发信号通知变换索引(mts_idx)，但是根据在94处确定的每个变换对(水平变换和竖直变换)的分数来修改映射表。具体而言，执行以下步骤：
-对于水平维度和竖直维度上的每个变换候选，根据例如用于模板样本的能量或绝对度量来确定分数(步骤94)，
-在95处，根据变换对的分数对其进行排序。排序后的水平变换被命名为Tr1H至TrNH，排序后的竖直变换被命名为Tr1V至TrNV，其中N是允许的变换对的数量。
-如下面的示例表所示，映射表用新的变换对进行修改：
mts_idx 0 1 2 3 4
trTypeHor Tr1H Tr2H Tr3H Tr4H Tr5H
trTypeVer Tr1V Tr2V Tr3V Tr4V Tr5V
也就是说，变换索引mts_idx的映射在解码器和编码器侧处根据每个变换对的分数来改变。
根据一种变型，考虑到水平方向上的变换分数独立于竖直方向上的变换分数，可以在水平方向和竖直方向独立地执行变换的排序。因此，在这种变型中，取决于独立排序，变换可能不以相同的方式配对。根据另一种变型，对变换对进行联合排序，例如，通过考虑每个变换对的组合分数。组合分数可以与该对的变换的分数的平均值、最小值或最大值相对应。
根据变型，为了简化处理，可以仅对非DCT2变换执行排序。也就是说，映射索引仍然在第一条目中包含DCT2变换，而剩余条目根据它们的分数进行排序：
mts_idx 0 1 2 3 4
trTypeHor DCT2 Tr1H Tr2H Tr3H Tr4H
trTypeVer DCT2 Tr1V Tr2V Tr3V Tr4V
回到图9，一旦映射表根据变换的分数进行排序，则在96处，针对当前块的变换对从排序表中选择。在编码器侧，例如使用率-失真优化来选择变换对，该率-失真优化评估每个变换对，并选择提供最佳率-失真成本的那一对，其中该率考虑到传输与评估中的变换对相对应的经排序的映射表的变换索引的编码成本。在对当前块进行编码时，编码包括对与所选择的变换对相对应的变换索引进行编码。
在解码器侧，使用已经从比特流种解码的变换索引从经排序的映射表中选择变换对。
基于模版的帧内模式推导(TIMD)是一种适于ECM软件的工具。在TIMD模式中，当前块的模版样本用于推导用以填充最可能模式(MPM)的列表的预测模式。当使用帧内预测模式对当前块进行编码时，MPM的列表用于对帧内预测模式进行编码。
当彼此独立地使用TIMD和DTID时，CU级别的语法可以如下：
其中，Cu_timd_flag指示是否针对当前块启用TIMD，并且Cu_dtid_flag指示是否针对当前块启用DTID。
根据实施方案，TIMD可以根据本文中描述的实施方案中的任何一个实施方案与DTID模式结合使用。TIMD和DTID两者都使用当前块的模版像素。因此，两者可以被组合以减少编码器时间和信令。根据变型，仅当TIMD用于当前块时才允许解码器侧变换索引推导(DTID)。用于这种变型的相应语法可以如下：
其中，cu_timd_flag是用于启用TIMD的CU级别标志。也就是说，当对于当前块没有启用TIMD时，解码器侧变换索引推导(DTID)被禁用。
根据另一个实施方案，当TIMD用于当前块时，总是使用解码器侧变换索引推导(DTID)。因此，在本变型中，不需要额外的信令。
应当理解，上面的实施方案中的任一者所描述的编码方法或解码方法可以在关于图2和图3所描述的编码器200或解码器300中实现，用于在/从比特流中对视频进行编码或解码。
在图10所示的实施方案中，在通过通信网络NET在两个远程设备A与B之间的传输上下文中，设备A包括与存储器RAM和ROM相关的处理器，该存储器RAM和ROM被配置为实现如关于图1至图9中描述的用于对视频进行编码的方法，并且设备B包括与存储器RAM和ROM相关的处理器，该存储器RAM和ROM被配置为实现如关于图1至图9中描述的用于对视频进行解码的方法。
根据示例，网络是广播网络，适于将表示视频的经编码的数据从设备A广播/传输到包括设备B的解码设备。
旨在要由设备A传输的信号携带着至少一个包括表示视频的经编码的数据的比特流。比特流可以从本发明原理的任何实施方案中生成。
图11示出了通过基于分组的传输协议传输的这样的信号的语法的示例。每个传输的分组P包括报头H和有效载荷PAYLOAD。在一些实施方案中，有效载荷PAYLOAD可以包括根据上面所描述的实施方案中的任一者进行编码的经编码的视频数据。在一些实施方案中，信号包括如上面所确定的内插滤波器系数。
各种具体实施涉及解码。如本申请中使用的，“解码”可以涵盖例如对所接收的编码序列执行的全部或部分过程，以便产生适合显示的最终输出。在各种实施方案中，这样的过程包括典型地由解码器执行的一个或多个过程，例如，熵解码、逆量化、逆变换和差分解码。在各种实施方案中，这样的过程还或另选地包括由本申请中描述的各种具体实施的解码器执行的过程，例如，对重采样滤波器系数进行解码、对解码图片进行重采样。
作为进一步的示例，在一个实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，在另一个实施方案中，“解码”是指熵解码与差分解码的组合，以及在另一个实施方案中，“解码”是指包括熵解码的整个重构图像过程。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。
各种具体实施涉及编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中，这样的过程包括典型地由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，这样的过程还或另选地包括由本申请中描述的各种具体实施的编码器执行的过程，例如，确定重采样滤波器系数、对解码图片进行重采样。
作为进一步的示例，在一个实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
注意，本文所使用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。
本公开已描述了例如可被传输或存储的各种信息，诸如例如语法。此信息能够以多种方式封装或布置，包括例如视频标准中常见的方式，诸如将信息放入SPS、PPS、NAL单元、报头(例如，NAL单元报头或切片报头)或SEI消息中。其他方式也是可用的，包括例如用于***级或应用级标准的通用方式，诸如将信息放入以下中的一者或多者：
a.SDP(会话描述协议)，其为用于描述多媒体通信会话以用于会话通知和会话邀请的一种格式，例如，如在RFC中所述并与RTP(实时传输协议)传输结合使用。
b.DASH MPD(媒体展示描述)描述符，例如如在DASH中使用并且通过HTTP传输，一种与表示或表示的集合相关联以向内容表示提供附加的特性的描述符。
c.RTP报头扩展，例如，如在RTP流式传输期间使用。
d.ISO基础媒体文件格式，例如，如在OMAF中使用并且使用box，该box是由唯一类型标识符和长度定义的面向对象的构建块，在某些规范中也称为“atom”。
e.通过HTTP传输的HLS(HTTP实时流式传输)清单。例如，清单可与内容的版本或版本集合相关联，以提供版本或版本集合的特性。
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
一些实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可以使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
本文中描述的具体实施和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可以在例如通常是指处理设备的处理器中实现，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。
对“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”的引用以及它们的其他变型，意味着结合实施方案所描述的特定的特征、结构、特性等被包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
另外地，本申请可以涉及“确定”各种信息片段。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
此外，本申请可涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外地，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器发信号通知多个重采样滤波器系数中的特定一者。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可以将特定参数传输(显式发信号通知)到解码器，使得解码器可以使用相同的特定参数。相反，如果解码器已具有特定参数以及其他参数，则可在不传输(隐式发信号通知)的情况下使用发信号通知，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，发信号通知可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知到对应的解码器。虽然前面涉及动词形式“发信号通知”，但是该词语在本文也可用作名词“信号”。
对于本领域的普通技术人员而言将显而易见的是，具体实施可以产生格式化为携带例如可存储或可传输的信息的各种信号。信息可以包括例如用于执行方法的指令或由所描述的具体实施中的一个具体实施产生的数据。例如，信号可以可格式化为携带所描述的实施方案的比特流。这样的信号可以可格式化例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流编码，并且用经编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
描述了多个实施方案。这些实施方案的特征可以在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可以包括以下特征、设备或方面中的一者或多者，单独地或以任何组合，跨各种权利要求类别和类型：
·根据所描述的实施方案中的任一者，对视频进行编码/解码，其中用于对视频的块进行编码/解码的变换选择是在解码器处基于视频的重构数据来推导出的。
·根据所描述的实施方案中的任一者，对视频进行编码/解码，其中用于对视频的块进行编码/解码的变换选择是在解码器处基于使用与对块的预测相同的预测的对块周围的像素的预测来推导出的。
·根据所描述的实施方案中的任一者，对视频进行编码/解码，其中用于对视频的块进行编码/解码的变换选择不被发信号通知给解码器。
·根据所描述的实施方案中的任一者，对视频进行编码/解码，其中对视频的块进行编码/解码的变换选择基于对变换映射表的重新排序。
·包括所描述的语法元素中的一者或多者或它们的变型的比特流或信号。
·包括传达根据所描述的实施方案中的任一者所生成的信息的语法的比特流或信号。
·对包括所描述的语法元素中的一者或多者或它们的变型的比特流或信号进行创建和/或传输和/或接收和/或解码。
·根据所描述的实施方案中任一者的创建和/或传输和/或接收和/或解码。
·根据所描述的实施方案中任一者的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
·根据所描述的实施方案中任一者对视频执行解码的TV、机顶盒、移动电话、平板电脑或其他电子设备。
·根据所描述的实施方案中任一者对视频执行解码并且(例如，使用监视器、屏幕或其他类型的显示器)显示所得图像的TV、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·根据所描述的实施方案中任一者选择(例如，使用调谐器)信道以接收包括编码视频的信号并且对视频执行解码的TV、机顶盒、蜂窝电话、平板电脑或其他电子设备。
·根据所描述的实施方案中任一者通过空中接收(例如，使用天线)包括编码视频的信号并且对视频执行解码的TV、机顶盒、蜂窝电话、平板电脑或其他电子设备。

Claims (28)

1.一种方法，所述方法包括对视频进行解码，其中对所述视频进行解码包括：
-基于所述视频的块周围的重构像素的至少一部分来确定针对所述块的至少一个变换，
-通过应用所确定的至少一个变换对所述块进行解码。
2.一种装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为对视频进行解码，其中对所述视频进行解码包括：
-基于所述视频的块周围的重构像素的至少一部分来确定针对所述块的至少一个变换，
-通过应用所确定的至少一个变换对所述块进行解码。
3.一种方法，所述方法包括对视频进行编码，其中对所述视频进行编码包括：
-基于所述视频的块周围的重构像素的至少一部分来确定针对所述块的至少一个变换，
-通过应用所确定的至少一个变换对所述块进行编码。
4.一种装置，所述装置包括一个或多个处理器，其中所述一个或多个处理器被配置为对视频进行编码，其中对所述视频进行编码包括：
-基于所述视频的块周围的重构像素的至少一部分来确定针对所述块的至少一个变换，
-通过应用所确定的至少一个变换对所述块进行编码。
5.根据权利要求1或3所述的方法或根据权利要求2或4所述的装置，其中，确定至少一个变换包括：
-确定针对所述块的预测模式，
-使用所述预测模式来预测所述块周围的重构像素的所述至少一部分，
-基于对所述块周围的重构像素的所述至少一部分的所述预测在变换集合中确定针对所述块的所述至少一个变换。
6.根据权利要求5所述的方法或装置，其中，基于对所述块周围的重构像素的所述至少一部分的所述预测在变换集合中确定针对所述块的至少一个变换包括：
-获得所述块周围的重构像素的所述至少一部分与对应的预测像素之间的残差，
-通过将所述变换集合中的每个变换应用于所述残差来获得系数，
-基于所获得的系数从所述变换集合中选择所述至少一个变换。
7.根据权利要求6所述的方法或装置，其中，从所述变换集合中选择所述至少一个变换包括：
-根据通过应用所述变换所获得的至少一个系数，确定针对所述变换集合中的每个变换的分数，
-选择使所述分数最大化的所述至少一个变换。
8.根据权利要求6所述的方法或装置，其中，从所述变换集合中选择所述至少一个变换包括：
-根据通过将所述变换应用于所述残差所获得的至少一个系数，确定针对所述变换集合中的每个变换的分数，
-根据所确定的分数在映射表中对所述变换集合中的变换进行排序，
-基于针对所述块所获得的变换索引，在经排序的映射表中选择针对所述块的所述至少一个变换，所述变换索引标识包括水平变换和竖直变换的变换对。
9.根据权利要求8所述的方法或装置，其中，所述映射表中的所述变换被布置为变换对，每个变换对包括水平变换和竖直变换，并且选择所述至少一个变换包括选择变换对。
10.根据权利要求7至9中任一项所述的方法或装置，其中，所述分数是考虑比所获得的系数总数少的系数数量来确定的。
11.根据权利要求7至10中任一项所述的方法或装置，其中，所述分数是所述系数的平方和，或所述系数的绝对值之和。
12.根据权利要求5至11中任一项所述的方法或装置，其中，所述块周围的重构像素的至少一部分是与所述块相邻的重构块的像素行或像素列。
13.根据权利要求5至12中任一项所述的方法或装置，其中，在变换集合中确定针对所述块的至少一个变换包括：确定水平变换和竖直变换。
14.根据权利要求8所述的方法或装置，其中，对所述视频进行编码或解码还包括：对所述变换索引进行编码或解码。
15.根据权利要求8至14中任一项所述的方法或装置，其中，在所述映射表中仅对从第二条目开始的条目进行排序。
16.根据权利要求8至15中任一项所述的方法或装置，其中，水平变换和竖直变换独立地排序。
17.根据权利要求8至15中任一项所述的方法或装置，其中，分数是针对每个变换对确定的，并且对所述变换集合中的所述变换进行排序包括：对所述变换对进行排序。
18.根据权利要求5至17中任一项所述的方法或装置，其中，对所述视频进行编码或解码还包括：对语法元素进行编码或解码，所述语法元素指示所述至少一个变换是否是基于所述视频的所述块周围的重构像素的所述至少一部分针对所述块来确定的。
19.根据权利要求18所述的方法或装置，其中，仅当基于最可能模式列表来确定针对所述块的所述预测模式时，对所述语法元素进行编码或解码，所述最可能模式列表填充有从所述重构块的所述至少一部分中导出的预测模式。
20.根据权利要求5至17中任一项所述的方法或装置，其中，当基于最可能模式列表来确定针对所述块的所述预测模式时，总是基于对所述块周围的重构像素的所述至少一部分的所述预测在变换集合中确定针对所述块的所述至少一个变换，所述最可能模式列表填充有从重构像素的所述至少一部分中导出的预测模式。
21.一种信号，所述信号包括比特流，所述比特流包括表示通过执行根据权利要求1、3或5至20中任一项所述的方法形成的视频的编码数据。
22.一种计算机可读介质，所述计算机可读介质包括根据权利要求21所述的比特流。
23.一种计算机可读存储介质，所述计算机可读存储介质具有存储在其上的指令，所述指令致使一个或多个处理器执行根据权利要求1、3或5至20中任一项所述的方法。
24.一种计算机程序产品，所述计算机程序产品包括指令，当所述程序由一个或多个处理器执行时，所述指令致使所述一个或多个处理器执行根据权利要求1、3或5至20中任一项所述的方法。
25.一种设备，所述设备包括：
-根据权利要求2或5至20中任一项所述的装置；和
-以下各项中的至少一者：(i)天线，所述天线被配置为接收信号，所述信号包括表示视频的数据；(ii)频带限制器，所述频带限制器被配置为将所接收的信号限制为包括表示视频的所述数据的频带；或(iii)显示器，所述显示器被配置为显示解码视频。
26.根据权利要求25所述的设备，所述设备包括TV、蜂窝电话、平板电脑或机顶盒。
27.一种装置，所述装置包括：
○访问单元，所述访问单元被配置为访问包括根据权利要求21所述的信号的数据，
○发射器，所述发射器被配置为传输所访问的数据。
28.一种方法，所述方法包括：访问包括根据权利要求21所述的信号的数据，以及传输所访问的数据。
CN202280063917.9A 2021-09-23 2022-09-06 用于对视频进行编码/解码的方法和装置 Pending CN117981305A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21306314 2021-09-23
EP21306314.2 2021-09-23
PCT/EP2022/074737 WO2023046463A1 (en) 2021-09-23 2022-09-06 Methods and apparatuses for encoding/decoding a video

Publications (1)

Publication Number Publication Date
CN117981305A true CN117981305A (zh) 2024-05-03

Family

ID=78371981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280063917.9A Pending CN117981305A (zh) 2021-09-23 2022-09-06 用于对视频进行编码/解码的方法和装置

Country Status (2)

Country Link
CN (1) CN117981305A (zh)
WO (1) WO2023046463A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602826B2 (en) * 2014-06-27 2017-03-21 Massachusetts Institute Of Technology Managing transforms for compressing and decompressing visual data
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
JP2021519546A (ja) * 2018-03-29 2021-08-10 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 映像符号化のための候補変換セットの決定

Also Published As

Publication number Publication date
WO2023046463A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
US20210051342A1 (en) Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples
EP3977732A1 (en) Transform selection for implicit multiple transform selection
US20230051873A1 (en) Method and apparatus for video encoding and decoding based on adaptive coefficient group
CN116195254A (zh) 用于通用视频编码的模板匹配预测
KR20220123666A (ko) 가중-예측 파라미터들의 추정
EP3745722A1 (en) Implicit multiple transform selection
US20230096533A1 (en) High-level constraint flag for local chroma quantization parameter control
JP2024513873A (ja) 切り替え可能な補間フィルタを用いる幾何学的分割
CN115516858A (zh) 视频编码中的缩放列表控制
CN117981305A (zh) 用于对视频进行编码/解码的方法和装置
US20220224902A1 (en) Quantization matrices selection for separate color plane mode
US20230336721A1 (en) Combining abt with vvc sub-block-based coding tools
US20230232045A1 (en) Scaling process for joint chroma coded blocks
US20230141577A1 (en) Method and apparatus for video encoding and decoding
US20220272356A1 (en) Luma to chroma quantization parameter table signaling
CN118140481A (zh) 利用isp模式对基于模版的帧内模式推导（timd）进行扩展
EP4360317A2 (en) Method and apparatus for video encoding and decoding
CN114788275A (zh) 用于联合Cb-Cr编码的量化矩阵的推导
KR20220057630A (ko) 코딩 툴들과의 변환 크기 상호작용들
CN118120231A (zh) 改善解码器侧帧内模式导出中的角度离散化
CN116601948A (zh) 使带有色度缩放的亮度映射适于4:4:4 rgb图像内容
CN114531953A (zh) 使用多参考行帧内预测的最可能模式信令

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication