CN115956363A - 用于后滤波的内容自适应在线训练方法及装置 - Google Patents

用于后滤波的内容自适应在线训练方法及装置 Download PDF

Info

Publication number
CN115956363A
CN115956363A CN202280004506.2A CN202280004506A CN115956363A CN 115956363 A CN115956363 A CN 115956363A CN 202280004506 A CN202280004506 A CN 202280004506A CN 115956363 A CN115956363 A CN 115956363A
Authority
CN
China
Prior art keywords
post
filtering
block
video
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280004506.2A
Other languages
English (en)
Inventor
丁鼎
蒋薇
王炜
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN115956363A publication Critical patent/CN115956363A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种视频解码方法、装置和非暂时性计算机可读存储介质。该装置包括处理电路。处理电路用于接收图像或者视频，所述图像或者视频包括至少一个块；对所述图像或者视频中与待重建的所述至少一个块相对应的第一后置滤波参数进行解码，其中，所述第一后置滤波参数应用于所述至少一个块中的一个或多个块，所述第一后置滤波参数已经由后置滤波神经网络NN中的后置滤波模块更新，基于训练数据集训练所述后置滤波NN；基于所述第一后置滤波参数，确定所述视频解码器中与所述至少一个块相对应的所述后置滤波NN；及，基于所确定的与所述至少一个块相对应的所述后置滤波NN，对所述至少一个块进行解码。

Description

用于后滤波的内容自适应在线训练方法及装置
引用并入
本申请要求于2022年5月20日提交的、申请号为17/749,641、发明名称为"用于后滤波的内容自适应在线训练方法及装置"的美国申请的优先权，以及于2021年5月27日提交的、申请号为63/194,057、发明名称为“用于后滤波的内容自适应在线训练方法”的美国临时申请的优先权，其全部内容通过引用并入本申请中。
技术领域
本申请实施例涉及视频编解码技术。
背景技术
本文所提供的背景描述旨在整体呈现本申请的背景。在背景技术部分以及本说明书的各个方面中所描述的目前已署名的发明人的工作所进行的程度，并不表明其在本申请提交时作为现有技术，且从未明示或暗示其被承认为本申请的现有技术。
通过具有运动补偿的帧间图片预测技术，可以进行视频编码和解码。未压缩的数字视频可包括一系列图片，每个图片具有例如1920×1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(也非正式地称为帧率)，例如每秒60个图片或60Hz。未压缩的视频具有非常大的比特率要求。例如，每个样本8比特的1080p60 4:2:0的视频(1920x1080亮度样本分辨率，60Hz帧率)要求接近1.5Gbit/s带宽。一小时这样的视频就需要超过600GB的存储空间。
视频编码和解码的一个目的，是通过压缩减少输入视频信号的冗余信息。视频压缩可以帮助降低对上述带宽或存储空间的要求，在某些情况下可降低两个或更多数量级。无损和有损压缩，以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不完全相同，但是原始信号和重建信号之间的失真足够小，使得重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用。例如，相比于电视应用的用户，某些消费流媒体应用的用户可以容忍更高的失真。可实现的压缩比反映出：较高的允许/容许失真可产生较高的压缩比。
视频编码器和解码器可利用几大类技术，例如包括：运动补偿、变换、量化和熵编码。
视频编解码器技术可包括已知的帧内编码技术。在帧内编码中，在不参考先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以为帧内图片。帧内图片及其衍生(例如独立解码器刷新图片)可用于复位解码器状态，因此可用作编码视频比特流和视频会话中的第一图片，或用作静止图像。帧内块的样本可用于变换，且可在熵编码之前量化变换系数。帧内预测可以是使预变换域中的样本值最小化的技术。在某些情形下，变换后的DC值越小，且AC系数越小，则在给定的量化步长尺寸下需要越少的比特来表示熵编码之后的块。
如同从诸如MPEG-2代编码技术中所获知的，传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括：试图从例如周围样本数据和/或元数据中得到数据块的技术，其中周围样本数据和/或元数据是在空间相邻的编码/解码期间、且在解码顺序之前获得的。这种技术后来被称为"帧内预测"技术。需要注意的是，至少在某些情形下，帧内预测仅使用正在重建的当前图片的参考数据，而不使用参考图片的参考数据。
可以存在许多不同形式的帧内预测。当在给定的视频编码技术中可以使用超过一种这样的技术时，所使用的技术可以按帧内预测模式进行编码。在某些情形下，模式可具有子模式和/或参数，且这些模式可单独编码或包含在模式码字中。将哪个码字用于给定模式/子模式/参数组合会通过帧内预测影响编解码效率增益，因此用于将码字转换成比特流的熵编码技术也会出现这种情况。
H.264引入了一种帧内预测模式，其在H.265中进行了改进，且在更新的编码技术中进一步被改进，诸如联合开发模式(Joint Exploration Model,JEM)，通用视频编码(Versatile Video Coding，VVC)，以及基准集合(BenchMark Set，BMS)。可以使用属于已有样本的相邻样本的值，来形成预测块。根据方向，相邻样本的样本值被复制到预测块。所使用方向的参考，可以在比特流中被编码，或者可以自身被预测。
参照图1A，右下方描绘了来自H.265的33个可能的预测方向(对应35个帧内预测模式中的33个角度模式)中已知的九个预测方向的子集。箭头会聚的点(101)表示正在被预测的样本。箭头表示样本正在被预测的方向。例如，箭头(102)表示根据右上方与水平方向成45度角的至少一个样本，预测样本(101)。类似地，箭头(103)表示根据左下方与水平方向成22.5度角的至少一个样本，预测样本(101)。
仍然参考图1A，在左上方示出了一个包括4×4个样本的正方形块(104)(由粗虚线表示)。正方形块(104)由16个样本组成，每个样本用“S”、以及其在Y维度上的位置(例如，行索引)和在X纬度上的位置(例如，列索引)来标记。例如，样本S21是Y维度上的第二个(从最上方)样本和X维度上的第一个样本(从左侧开始)。类似地，样本S44在X维度和Y维度上都是块(104)中的第四个样本。由于该块为4×4大小的样本，因此S44位于右下角。还示出了遵循类似编号方案的参考样本。参考样本用"R"、以及其相对于块(104)的Y位置(例如，行索引)和X位置(列索引)来标记。在H.264和H.265中，在重建时预测样本和块相邻，因此，不需要使用负值。
通过从信号通知的预测方向所占用的相邻样本来复制参考样本值，可以进行帧内图片预测。例如，假设编码视频比特流包括信令，对于该块，该信令指示与箭头(102)一致的预测方向，即，根据右上方与水平方向成45度角的至少一个预测样本来预测样本。在这种情况下，根据同一参考样本R05，预测样本S41、S32、S23和S14。然后，根据参考样本R08预测样本S44。
在某些情况下，例如通过内插，可以合并多个参考样本的值，以便计算参考样本，尤其是当方向不能被45度整除时。
随着视频编码技术的发展，方向的数量逐渐增加。在H.264(2003年)中，可以表示九种不同的方向。在H.265(2013年)和JEM/VVC/BMS中增加到了33个，而在此申请时，可以支持多达65个方向。已经进行试验来识别出最可能的方向，熵编码中的某些技术可以用于以少量的比特来标识这些最可能的方向，接收损失某些不太可能的方向。进一步，这些方向本身有时可以从相邻、已解码的块所使用的相邻方向中预测得到。
图1B示出了根据JEM描绘65个帧内预测方向的示意图(110)，以示出随时间增加的预测方向的数量。
表示方向的编码后视频比特流中帧内预测方向比特的映射可以根据不同的视频编码技术而不同；并且其范围可以例如从预测方向的简单直接映射到帧内预测模式、到码字、到涉及最可能模式的复杂自适应方案，以及类似技术。然而，在所有的情况下，统计地来看，有一些方向在视频内容中出现的可能性比其他方向小。由于视频压缩的目的是降低冗余，在一个良好工作的视频编解码技术中，这些不太可能的方向，相比更可能的方向，使用更多的比特进行表示。
运动补偿可以是一种有损压缩技术，且可涉及如下技术：来自先前重建的图片或重建图片一部分(参考图片)的样本数据块在空间上按运动矢量(下文称为MV)指示的方向移位后，用于新重建的图片或图片部分的预测。在某些情况下，参考图片可与当前正在重建的图片相同。MV可具有两个维度X和Y，或者三个维度，其中第三个维度表示使用中的参考图片(后者间接地可为时间维度)。
在一些视频压缩技术中，应用于某个样本数据区域的MV可根据其它MV来预测，例如根据与正在重建的区域空间相邻的另一个样本数据区域相关的、且按解码顺序在该MV前面的那些MV。这样做可以大大减少编码MV所需的数据量，从而消除冗余信息并增加压缩量。MV预测可以有效地进行，例如，当对从相机导出的输入视频信号(称为自然视频)进行编码时，存在一种统计上的可能性，即面积大于单个MV适用区域的区域，会朝着类似的方向移动，因此，在某些情况下，可以用邻近区域的MV导出的相似运动矢量进行预测。这导致针对给定区域发现的MV与根据周围MV预测的MV相似或相同，并且在熵编码之后，又可以用比直接编码MV时使用的比特数更少的比特数来表示。在某些情况下，MV预测可以是对从原始信号(即样本流)导出的信号(即MV)进行无损压缩的示例。在其它情况下，MV预测本身可能是有损的，例如由于根据几个周围MV计算预测值时产生的取整误差。
H.265/HEVC(ITU-T H.265建议书，“高效视频编解码(High Efficiency VideoCoding)”，2016年12月)中描述了各种MV预测机制。在H.265提供的多种MV预测机制中，本申请描述的是下文称作“空间合并”的技术。
请参考图2，当前块(201)包括在运动搜索过程期间已由编码器发现的样本，根据已产生空间偏移的相同大小的先前块，可预测所述样本。另外，可从一个或至少两个参考图片相关联的元数据中导出所述MV，而非对MV直接编码。例如，使用关联于A0、A1和B0、B1、B2(分别对应202到206)五个周围样本中的任一样本的MV，(按解码次序)从最近的参考图片的元数据中导出所述MV。在H.265中，MV预测可使用相邻块也正在使用的相同参考图片的预测值。
发明内容
本申请实施例提供了用于视频编码和解码的方法及装置。在一些示例中，用于视频解码的装置包括处理电路。处理电路用于接收图像或者视频，所述图像或者视频包括至少一个块；对所述图像或者视频中与待重建的所述至少一个块相对应的第一后置滤波参数进行解码，其中，所述第一后置滤波参数应用于所述至少一个块中的一个或多个块，所述第一后置滤波参数已经由后置滤波神经网络NN中的后置滤波模块更新，基于训练数据集训练所述后置滤波NN；基于所述第一后置滤波参数，确定所述视频解码器中与所述至少一个块相对应的所述后置滤波NN；及，基于所确定的与所述至少一个块相对应的所述后置滤波NN，对所述至少一个块进行解码。
在一实施例中，处理电路对所述图像或视频中与所述至少一个块相对应的第二后置滤波参数进行解码；进一步基于第二后置滤波参数，确定所述后置滤波NN；其中，所述第二后置滤波参数应用于所述至少一个块中的第二块，所述第二块与所述至少一个块中的所述一个或多个块不同，所述第二后置滤波参数已经由所述后置滤波NN中的所述后置滤波模块进行更新。
在一实施例中，所述第一后置滤波参数与待重建的第二图像相对应，所述处理电路用于：基于确定的所述后置滤波NN，对所述第二图像进行解码。
在一实施例中，所述第一后置滤波参数不同于所述第二后置滤波参数，所述第一后置滤波参数自适应于所述至少一个块中第一块的内容，所述第二后置滤波参数自适应于所述第二块的内容。
在一实施例中，基于所述后置滤波NN中的偏置项或权重系数，更新所述第一后置滤波参数。
在一实施例中，所述后置滤波NN配置有初始参数；所述处理电路用于：利用所述第一后置滤波参数，更新所述初始参数中的至少一个。
在一实施例中，与所述至少一个块对应的编码信息指示所述第一后置滤波参数与所述初始参数中的一个初始参数之间的差值，所述处理电路用于：根据所述差值与所述初始参数中的一个初始参数的和，确定所述第一后置滤波参数。
在一实施例中，在(i)所述后置滤波NN的单个层、(ii)所述后置滤波NN的多层，或(iii)所述后置滤波NN的所有层中，更新所述第一后置滤波参数。
在一实施例中，所述后置滤波NN中层的数目取决于步长，或，与所述至少一个块中的不同块相对应的步长的数量。
本申请实施例还提供了一种非暂时性计算机可读存储介质，其上存储有指令，当所述指令由至少一个处理执行时，实现上述视频解码方法。
附图说明
根据以下详细描述和附图，所公开的主题的其他特征、性质和各种优点将进一步明确，其中：
图1A是帧内预测模式的示例性子集的示意图；
图1B是示例性帧内预测方向的示意图；
图2示出了根据一实施例的当前块(201)及其周围样本的示意图；
图3是根据一实施例的通信***(300)的简化框图的示意图；
图4是根据另一实施例的通信***(400)的简化框图的示意图；
图5是根据一实施例的解码器的简化框图的示意图；
图6是根据一实施例的编码器的简化框图的示意图；
图7示出了根据另一实施例的编码器的框图；
图8示出了根据另一实施例的解码器的框图；
图9A示出了根据本申请实施例的逐块图像编码的示例；
图9B示出了根据本申请实施例的示例性NIC框架；
图10示出了根据本申请实施例的主编码器网络的示例性CNN；
图11示出了根据本申请实施例的主解码器网络的示例性CNN；
图12示出了根据本申请实施例的超编码器的示例性CNN；
图13示出了根据本申请实施例的超解码器的示例性CNN；
图14示出了根据本申请实施例的上下文模型网络的示例性CNN；
图15示出了根据本申请实施例的熵参数网络的示例性CNN；
图16A示出了根据本申请实施例的示例性视频编码器；
图16B示出了根据本申请实施例的示例性视频解码器；
图17示出了根据本申请实施例的示例性视频编码器；
图18示出了根据本申请实施例的示例性视频解码器；
图19A示出了根据本申请实施例的逐块图像滤波的示例；
图19B示出了根据本申请实施例的示例性后置滤波模块和NIC框架；
图20A示出了根据本申请实施例的示例性视频解码器；
图20B示出了根据本申请实施例的示例性视频解码器；
图21A-21C示出了根据本申请实施例的示例性去块过程；
图22示出了根据本申请实施例的包括多于两个块的样本的边界区域的示例；
图23示出了根据本申请实施例的基于多个去块模型的示例性去块过程；
图24示出了根据本申请实施例的示例性增强过程；
图25示出了根据本申请实施例的示例性增强过程；
图26示出了根据本申请实施例的示例性图像级增强过程；
图27示出了根据本申请实施例的编码方法的流程图；
图28示出了根据本申请实施例的解码方法的流程图；
图29是根据一实施例的计算机***的示意图。
具体实施方式
图3示出了根据本申请一实施例的通信***(300)的简化框图。通信***(300)包括可以经由例如网络(350)彼此通信的多个终端设备。例如，通信***(300)包括经由网络(350)互连的第一对终端设备(310)和(320)。在图3的示例中，第一对终端设备(310)和(320)执行数据的单向传输。例如，终端设备(310)可以对视频数据(例如，由终端设备(310)捕获的视频图片流)进行编码，以经由网络(350)传输到另一个终端设备(320)。已编码视频数据可以以至少一个已编码视频比特流的形式传输。终端设备(320)可以从网络(350)接收已编码视频数据，对已编码视频数据进行解码以恢复视频图片，并且根据恢复的视频数据显示视频图片。在媒体服务应用等中，单向数据传输可能很常见。
在另一个示例中，通信***(300)包括第二对终端设备(330)和(340)，其执行例如在视频会议期间可能发生的已编码视频数据的双向传输。对于数据的双向传输，在示例中，终端设备(330)和(340)中的每个终端设备可以对视频数据(例如，由终端设备捕获的视频图片流)进行编码，以经由网络(350)传输到终端设备(330)和(340)中的另一个终端设备。终端设备(330)和(340)中的每个终端设备还可以接收由终端设备(330)和(340)中的另一个终端设备传输的已编码视频数据，并且可以对已编码视频数据进行解码以恢复视频图片，并且可以根据恢复的视频数据在可访问的显示设备上显示视频图片。
在图3的示例中，终端设备(310)、(320)、(330)和(340)可以被示为服务器、个人计算机和智能电话，但是本申请的原理可以不限于此。本申请的实施例可以应用于膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络(350)表示在终端设备(310)、(320)、(330)和(340)之间传送已编码视频数据的任何数量的网络，包括例如有线(wireline/wired)和/或无线通信网络。通信网络(350)可以在电路交换和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。为了本讨论的目的，网络(350)的架构和拓扑对于本申请的操作可能无关紧要，除非下文中所解释的。
作为实施例，图4示出视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流式传输***可包括采集子***(413)，所述采集子***可包括数码相机等视频源(401)，所述视频源创建未压缩的视频图片流(402)。在实施例中，视频图片流(402)包括由数码相机拍摄的样本。相较于已编码的视频数据(404)(或已编码的视频码流)，视频图片流(402)被描绘为粗线以强调高数据量的视频图片流，视频图片流(402)可由电子装置(420)处理，所述电子装置(420)包括耦接到视频源(401)的视频编码器(403)。视频编码器(403)可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流(402)，已编码的视频数据(404)(或已编码的视频码流(404))被描绘为细线以强调较低数据量的已编码的视频数据(404)(或已编码的视频码流(404))，其可存储在流式传输服务器(405)上以供将来使用。至少一个流式传输客户端子***，例如图3中的客户端子***(406)和客户端子***(408)，可访问流式传输服务器(405)以检索已编码的视频数据(404)的副本(407)和副本(409)。客户端子***(406)可包括例如电子装置(330)中的视频解码器(410)。视频解码器(410)对已编码的视频数据的传入副本(407)进行解码，且产生可在显示器(412)(例如显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流(411)。在一些流式传输***中，可根据某些视频编码/压缩标准对已编码的视频数据(404)、视频数据(407)和视频数据(409)(例如视频码流)进行编码。该些标准的实施例包括ITU-T H.265。在实施例中，正在开发的视频编码标准非正式地称为下一代视频编码(Versatile Video Coding，VVC)，本申请可用于VVC标准的上下文中。
应注意，电子装置(420)和电子装置(430)可包括其它组件(未示出)。举例来说，电子装置(420)可包括视频解码器(未示出)，且电子装置(430)还可包括视频编码器(未示出)。
图5是根据本申请公开的实施例的视频解码器(510)的框图。视频解码器(510)可设置在电子装置(530)中。电子装置(530)可包括接收器(531)(例如接收电路)。视频解码器(510)可用于代替图4实施例中的视频解码器(410)。
接收器(531)可接收将由视频解码器(510)解码的至少一个已编码视频序列；在同一实施例或另一实施例中，一次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其它已编码视频序列。可从信道(501)接收已编码视频序列，所述信道可以是通向存储已编码的视频数据的存储装置的硬件/软件链路。接收器(531)可接收已编码的视频数据以及其它数据，例如，可转发到它们各自的使用实体(未标示)的已编码音频数据和/或辅助数据流。接收器(531)可将已编码视频序列与其它数据分开。为了防止网络抖动，缓冲存储器(515)可耦接在接收器(531)与熵解码器/解析器(520)(此后称为“解析器(520)”)之间。在某些应用中，缓冲存储器(515)是视频解码器(510)的一部分。在其它情况下，所述缓冲存储器(515)可设置在视频解码器(510)外部(未标示)。而在其它情况下，视频解码器(510)的外部设置缓冲存储器(未标示)以例如防止网络抖动，且在视频解码器(510)的内部可配置另一缓冲存储器(515)以例如处理播出定时。而当接收器(531)从具有足够带宽和可控性的存储/转发装置或从等时同步网络接收数据时，也可能不需要配置缓冲存储器(515)，或可以将所述缓冲存储器做得较小。当然，为了在互联网等业务分组网络上使用，也可能需要缓冲存储器(515)，所述缓冲存储器可相对较大且可具有自适应性大小，且可至少部分地实施于操作***或视频解码器(510)外部的类似元件(未标示)中。
视频解码器(510)可包括解析器(520)以根据已编码视频序列重建符号(521)。这些符号的类别包括用于管理视频解码器(510)的操作的信息，以及用以控制显示装置(512)(例如，显示屏)等显示装置的潜在信息，所述显示装置不是电子装置(530)的组成部分，但可耦接到电子装置(530)，如图5中所示。用于显示装置的控制信息可以是辅助增强信息(Supplemental Enhancement Information，SEI消息)或视频可用性信息(VideoUsability Information，VUI)的参数集片段(未标示)。解析器(520)可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行，且可遵循各种原理，包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器(520)可基于对应于群组的至少一个参数，从已编码视频序列提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(Group of Pictures，GOP)、图片、图块、切片、宏块、编码单元(Coding Unit，CU)、块、变换单元(Transform Unit，TU)、预测单元(Prediction Unit，PU)等等。解析器(520)还可从已编码视频序列提取信息，例如变换系数、量化器参数值、运动矢量等等。
解析器(520)可对从缓冲存储器(515)接收的视频序列执行熵解码/解析操作，从而创建符号(521)。
取决于已编码视频图片或一部分已编码视频图片(例如：帧间图片和帧内图片、帧间块和帧内块)的类型以及其它因素，符号(521)的重建可涉及多个不同单元。涉及哪些单元以及涉及方式可由解析器(520)从已编码视频序列解析的子群控制信息控制。为了简洁起见，未描述解析器(520)与下文的多个单元之间的此类子群控制信息流。
除已经提及的功能块以外，视频解码器(510)可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施例中，这些单元中的许多单元彼此紧密交互并且可以彼此集成。然而，出于描述所公开主题的目的，概念上细分成下文的功能单元是适当的。
第一单元是缩放器/逆变换单元(551)。缩放器/逆变换单元(551)从解析器(520)接收作为符号(521)的量化变换系数以及控制信息，包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(551)可输出包括样本值的块，所述样本值可输入到聚合器(555)中。
在一些情况下，缩放器/逆变换单元(551)的输出样本可属于帧内编码块；即：不使用来自先前重建的图片的预测性信息，但可使用来自当前图片的先前重建部分的预测性信息的块。此类预测性信息可由帧内图片预测单元(552)提供。在一些情况下，帧内图片预测单元(552)采用从当前图片缓冲器(558)提取的已重建信息生成大小和形状与正在重建的块相同的周围块。举例来说，当前图片缓冲器(558)缓冲部分重建的当前图片和/或完全重建的当前图片。在一些情况下，聚合器(555)基于每个样本，将帧内预测单元(552)生成的预测信息添加到由缩放器/逆变换单元(551)提供的输出样本信息中。
在其它情况下，缩放器/逆变换单元(551)的输出样本可属于帧间编码和潜在运动补偿块。在此情况下，运动补偿预测单元(553)可访问参考图片存储器(557)以提取用于预测的样本。在根据符号(521)对提取的样本进行运动补偿之后，这些样本可由聚合器(555)添加到缩放器/逆变换单元(551)的输出(在这种情况下被称作残差样本或残差信号)，从而生成输出样本信息。运动补偿预测单元(553)从参考图片存储器(557)内的地址获取预测样本可受到运动矢量控制，且所述运动矢量以所述符号(521)的形式而供运动补偿预测单元(553)使用，所述符号(521)例如是包括X、Y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时，从参考图片存储器(557)提取的样本值的内插、运动矢量预测机制等等。
聚合器(555)的输出样本可在环路滤波器单元(556)中被各种环路滤波技术采用。视频压缩技术可包括环路内滤波器技术，所述环路内滤波器技术受控于包括在已编码视频序列(也称作已编码视频码流)中的参数，且所述参数作为来自解析器(520)的符号(521)可用于环路滤波器单元(556)。然而，在其他实施例中，视频压缩技术还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序)部分期间获得的元信息，以及响应于先前重建且经过环路滤波的样本值。
环路滤波器单元(556)的输出可以是样本流，所述样本流可输出到显示装置(512)以及存储在参考图片存储器(557)，以用于后续的帧间图片预测。
一旦完全重建，某些已编码图片就可用作参考图片以用于将来预测。举例来说，一旦对应于当前图片的已编码图片被完全重建，且已编码图片(通过例如解析器(520))被识别为参考图片，则当前图片缓冲器(558)可变为参考图片存储器(557)的一部分，且可在开始重建后续已编码图片之前重新分配新的当前图片缓冲器。
视频解码器(510)可根据例如ITU-T H.265标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法以及视频压缩技术或标准中记录的配置文件的意义上，已编码视频序列可符合所使用的视频压缩技术或标准指定的语法。具体地说，配置文件可从视频压缩技术或标准中可用的所有工具中选择某些工具作为在所述配置文件下可供使用的仅有工具。对于合规性，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片大小、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、最大参考图片大小等。在一些情况下，由层级设定的限制可通过假想参考解码器(Hypothetical ReferenceDecoder，HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。
在实施例中，接收器(531)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(510)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余切片、冗余图片、前向纠错码等形式。
图6是根据本申请公开的实施例的视频编码器(603)的框图。视频编码器(603)设置于电子装置(620)中。电子装置(620)包括传输器(640)(例如传输电路)。视频编码器(603)可用于代替图4实施例中的视频编码器(403)。
视频编码器(603)可从视频源(601)(并非图6实施例中的电子装置(620)的一部分)接收视频样本，所述视频源可采集将由视频编码器(603)编码的视频图像。在另一实施例中，视频源(601)是电子装置(620)的一部分。
视频源(601)可提供将由视频编码器(603)编码的呈数字视频样本流形式的源视频序列，所述数字视频样本流可具有任何合适位深度(例如：8位、10位、12位……)、任何色彩空间(例如BT.601Y CrCB、RGB……)和任何合适取样结构(例如Y CrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务***中，视频源(601)可以是存储先前已准备的视频的存储装置。在视频会议***中，视频源(601)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图片，当按顺序观看时，这些图片被赋予运动。图片自身可构建为空间像素阵列，其中取决于所用的取样结构、色彩空间等，每个像素可包括至少一个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。
根据实施例，视频编码器(603)可实时或在由应用所要求的任何其它时间约束下，将源视频序列的图片编码且压缩成已编码视频序列(643)。施行适当的编码速度是控制器(650)的一个功能。在一些实施例中，控制器(650)控制如下文所描述的其它功能单元且在功能上耦接到这些单元。为了简洁起见，图中未标示耦接。由控制器(650)设置的参数可包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值等)、图片大小、图片群组(group of pictures，GOP)布局，最大运动矢量搜索范围等。控制器(650)可用于具有其它合适的功能，这些功能涉及针对某一***设计优化的视频编码器(603)。
在一些实施例中，视频编码器(603)在编码环路中进行操作。作为简单的描述，在实施例中，编码环路可包括源编码器(630)(例如，负责基于待编码的输入图片和参考图片创建符号，例如符号流)和嵌入于视频编码器(603)中的(本地)解码器(633)。解码器(633)以类似于(远程)解码器创建样本数据的方式重建符号以创建样本数据(因为在本申请所考虑的视频压缩技术中，符号与已编码视频码流之间的任何压缩是无损的)。将重建的样本流(样本数据)输入到参考图片存储器(634)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片存储器(634)中的内容在本地编码器与远程编码器之间也是按比特位精确对应的。换句话说，编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)也用于一些相关技术。
“本地”解码器(633)的操作可与例如已在上文结合图5详细描述视频解码器(510)的“远程”解码器相同。然而，另外简要参考图5，当符号可用且熵编码器(645)和解析器(520)能够无损地将符号编码/解码为已编码视频序列时，包括缓冲存储器(515)和解析器(520)在内的视频解码器(510)的熵解码部分，可能无法完全在本地解码器(633)中实施。
此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。出于此原因，本申请侧重于解码器操作。可简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述，并且在下文提供。
在操作期间，在一些实施例中，源编码器(630)可执行运动补偿预测编码。参考来自视频序列中被指定为“参考图片”的至少一个先前已编码图片，所述运动补偿预测编码对输入图片进行预测性编码。以此方式，编码引擎(632)对输入图片的像素块与参考图片的像素块之间的差异进行编码，所述参考图片可被选作所述输入图片的预测参考。
本地视频解码器(633)可基于源编码器(630)创建的符号，对可指定为参考图片的已编码视频数据进行解码。编码引擎(632)的操作可为有损过程。当已编码视频数据可在视频解码器(图6中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(633)复制解码过程，所述解码过程可由视频解码器对参考图片执行，且可使重建的参考图片存储在参考图片高速缓存(634)中。以此方式，视频编码器(603)可在本地存储重建的参考图片的副本，所述副本与将由远端视频解码器获得的重建参考图片具有共同内容(不存在传输误差)。
预测器(635)可针对编码引擎(632)执行预测搜索。即，对于将要编码的新图片，预测器(635)可在参考图片存储器(634)中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图片运动矢量、块形状等。预测器(635)可基于样本块-逐像素块的方式执行操作，以找到合适的预测参考。在一些情况下，根据预测器(635)获得的搜索结果可确定，输入图片可具有从参考图片存储器(634)中存储的多个参考图片取得的预测参考。
控制器(650)可管理源编码器(630)的编码操作，包括例如设置用于对视频数据进行编码的参数和子群参数。
可在熵编码器(645)中对所有上述功能单元的输出进行熵编码。熵编码器(645)根据例如霍夫曼编码、可变长度编码、算术编码等技术对各种功能单元生成的符号进行无损压缩，从而将所述符号转换成已编码视频序列。
传输器(640)可缓冲由熵编码器(645)创建的已编码视频序列，从而为通过通信信道(660)进行传输做准备，所述通信信道可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器(640)可将来自视频编码器(603)的已编码视频数据与要传输的其它数据合并，所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。
控制器(650)可管理视频编码器(603)的操作。在编码期间，控制器(650)可以为每个已编码图片分配某一已编码图片类型，但这可能影响可应用于相应的图片的编码技术。例如，通常可将图片分配为以下任一种图片类型：
帧内图片(I图片)，其可以是不将序列中的任何其它图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新(Independent Decoder Refresh，“IDR”)图片。所属领域的技术人员了解I图片的变体及其相应的应用和特征。
预测性图片(P图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。
双向预测性图片(B图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。
源图片通常可在空间上细分成多个样本块(例如，4×4、8×8、4×8或16×16个样本的块)，且逐块(block-wise)进行编码。这些块可参考其它(已编码)块进行预测编码，根据应用于块的相应图片的编码分配来确定所述其它块。举例来说，I图片的块可进行非预测编码，或所述块可参考同一图片的已已编码块来进行预测编码(空间预测或帧内预测)。P图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。
视频编码器(603)可根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(603)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，已编码视频数据可符合所用视频编码技术或标准指定的语法。
在实施例中，传输器(640)可在传输已编码的视频时传输附加数据。源编码器(630)可将此类数据作为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图片和切片等其它形式的冗余数据、SEI消息、VUI参数集片段等。
采集到的视频可作为呈时间序列的多个源图片(视频图片)。帧内图片预测(常常简化为帧内预测)利用给定图片中的空间相关性，而帧间图片预测则利用图片之间的(时间或其它)相关性。在实施例中，将正在编码/解码的特定图片分割成块，正在编码/解码的特定图片被称作当前图片。在当前图片中的块类似于视频中先前已编码且仍被缓冲的参考图片中的参考块时，可通过称作运动矢量的矢量对当前图片中的块进行编码。所述运动矢量指向参考图片中的参考块，且在使用多个参考图片的情况下，所述运动矢量可具有识别参考图片的第三维度。
在一些实施例中，双向预测技术可用于帧间图片预测中。根据双向预测技术，使用两个参考图片，例如按解码次序都在视频中的当前图片之前(但按显示次序可能分别是过去和将来)第一参考图片和第二参考图片。可通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中的块进行编码。具体来说，可通过第一参考块和第二参考块的组合来预测所述块。
此外，合并模式技术可用于帧间图片预测中以改善编解码效率。
根据本申请公开的一些实施例，帧间图片预测和帧内图片预测等预测的执行以块为单位。举例来说，根据HEVC标准，将视频图片序列中的图片分割成编码树单元(codingtree unit，CTU)以用于压缩，图片中的CTU具有相同大小，例如64×64像素、32×32像素或16×16像素。一般来说，CTU包括三个编码树块(coding tree block，CTB)，所述三个编码树块是一个亮度CTB和两个色度CTB。更进一步的，还可将每个CTU以四叉树拆分为至少一个编码单元(coding unit，CU)。举例来说，可将64×64像素的CTU拆分为一个64×64像素的CU，或4个32×32像素的CU，或16个16×16像素的CU。在实施例中，分析每个CU以确定用于CU的预测类型，例如帧间预测类型或帧内预测类型。此外，取决于时间和/或空间可预测性，将CU拆分为至少一个预测单元(prediction unit，PU)。通常，每个PU包括亮度预测块(prediction block，PB)和两个色度PB。在实施例中，编码(编码/解码)中的预测操作以预测块为单位来执行。以亮度预测块作为预测块为例，预测块包括像素值(例如，亮度值)的矩阵，例如8×8像素、16×16像素、8×16像素、16×8像素等等。
图7是根据本申请公开的另一实施例的视频编码器(703)的图。视频编码器(703)用于接收视频图片序列中的当前视频图片内的样本值的处理块(例如预测块)，且将所述处理块编码到作为已编码视频序列的一部分的已编码图片中。在本实施例中，视频编码器(703)用于代替图4实施例中的视频编码器(403)。
在HEVC实施例中，视频编码器(703)接收用于处理块的样本值的矩阵，所述处理块为例如8×8样本的预测块等。视频编码器(703)使用例如率失真(rate-distortion，RD)优化来确定是否使用帧内模式、帧间模式或双向预测模式来编码所述处理块。当在帧内模式中编码处理块时，视频编码器(703)可使用帧内预测技术以将处理块编码到已编码图片中；且当在帧间模式或双向预测模式中编码处理块时，视频编码器(703)可分别使用帧间预测或双向预测技术将处理块编码到已编码图片中。在某些视频编码技术中，合并模式可以是帧间图片预测子模式，其中，在不借助预测值外部的已编码运动矢量分量的情况下，从至少一个运动矢量预测值导出运动矢量。在某些其它视频编码技术中，可存在适用于主题块的运动矢量分量。在实施例中，视频编码器(703)包括其它组件，例如用于确定处理块模式的模式决策模块(未示出)。
在图7的实施例中，视频编码器(703)包括如图7所示的耦接到一起的帧间编码器(730)、帧内编码器(722)、残差计算器(723)、开关(726)、残差编码器(724)、通用控制器(721)和熵编码器(725)。
帧间编码器(730)用于接收当前块(例如处理块)的样本、比较所述块与参考图片中的至少一个参考块(例如先前图片和后来图片中的块)、生成帧间预测信息(例如根据帧间编码技术的冗余信息描述、运动矢量、合并模式信息)、以及基于帧间预测信息使用任何合适的技术计算帧间预测结果(例如已预测块)。在一些实施例中，参考图片是基于已编码的视频信息解码的已解码参考图片。
帧内编码器(722)用于接收当前块(例如处理块)的样本、在一些情况下比较所述块与同一图片中已编码的块、在变换之后生成量化系数、以及在一些情况下还(例如根据至少一个帧内编码技术的帧内预测方向信息)生成帧内预测信息。在实施例中，帧内编码器(722)还基于帧内预测信息和同一图片中的参考块计算帧内预测结果(例如已预测块)。
通用控制器(721)用于确定通用控制数据，且基于所述通用控制数据控制视频编码器(703)的其它组件。在实施例中，通用控制器(721)确定块的模式，且基于所述模式将控制信号提供到开关(726)。举例来说，当所述模式是帧内模式时，通用控制器(721)控制开关(726)以选择供残差计算器(723)使用的帧内模式结果，且控制熵编码器(725)以选择帧内预测信息且将所述帧内预测信息添加在码流中；以及当所述模式是帧间模式时，通用控制器(721)控制开关(726)以选择供残差计算器(723)使用的帧间预测结果，且控制熵编码器(725)以选择帧间预测信息且将所述帧间预测信息添加在码流中。
残差计算器(723)用于计算所接收的块与选自帧内编码器(722)或帧间编码器(730)的预测结果之间的差(残差数据)。残差编码器(724)用于基于残差数据操作，以对残差数据进行编码以生成变换系数。在实施例中，残差编码器(724)用于将残差数据从时域转换到频域，且生成变换系数。变换系数接着经由量化处理以获得量化的变换系数。在各种实施例中，视频编码器(703)还包括残差解码器(728)。残差解码器(728)用于执行逆变换，且生成已解码残差数据。已解码残差数据可适当地由帧内编码器(722)和帧间编码器(730)使用。举例来说，帧间编码器(730)可基于已解码残差数据和帧间预测信息生成已解码块，且帧内编码器(722)可基于已解码残差数据和帧内预测信息生成已解码块。适当处理已解码块以生成已解码图片，且在一些实施例中，所述已解码图片可在存储器电路(未示出)中缓冲并用作参考图片。
熵编码器(725)用于将码流格式化以产生已编码的块。熵编码器(725)根据HEVC标准等合适标准产生各种信息。在实施例中，熵编码器(725)用于获得通用控制数据、所选预测信息(例如帧内预测信息或帧间预测信息)、残差信息和码流中的其它合适的信息。应注意，根据所公开的主题，当在帧间模式或双向预测模式的合并子模式中对块进行编码时，不存在残差信息。
图8是根据本申请公开的另一实施例的视频解码器(810)的图。视频解码器(810)用于接收作为已编码视频序列的一部分的已编码图像，且对所述已编码图像进行解码以生成重建的图片。在实施例中，视频解码器(810)用于代替图3实施例中的视频解码器(410)。
在图8实施例中，视频解码器(810)包括如图8中所示耦接到一起的熵解码器(871)、帧间解码器(880)、残差解码器(873)、重建模块(874)和帧内解码器(872)。
熵解码器(871)可用于根据已编码图片来重建某些符号，这些符号表示构成所述已编码图片的语法元素。此类符号可包括例如用于对所述块进行编码的模式(例如帧内模式、帧间模式、双向预测模式、后两者的合并子模式或另一子模式)、可分别识别供帧内解码器(872)或帧间解码器(880)用以进行预测的某些样本或元数据的预测信息(例如帧内预测信息或帧间预测信息)、呈例如量化的变换系数形式的残差信息等等。在实施例中，当预测模式是帧间或双向预测模式时，将帧间预测信息提供到帧间解码器(880)；以及当预测类型是帧内预测类型时，将帧内预测信息提供到帧内解码器(872)。残差信息可经由逆量化并提供到残差解码器(873)。
帧间解码器(880)用于接收帧间预测信息，且基于所述帧间预测信息生成帧间预测结果。
帧内解码器(872)用于接收帧内预测信息，且基于所述帧内预测信息生成预测结果。
残差解码器(873)用于执行逆量化以提取解量化的变换系数，且处理所述解量化的变换系数，以将残差从频域转换到空间域。残差解码器(873)还可能需要某些控制信息(用以获得量化器参数QP)，且所述信息可由熵解码器(871)提供(未标示数据路径，因为这仅仅是低量控制信息)。
重建模块(874)用于在空间域中组合由残差解码器(873)输出的残差与预测结果(可由帧间预测模块或帧内预测模块输出)以形成重建的块，所述重建的块可以是重建的图片的一部分，所述重建的图片继而可以是重建的视频的一部分。应注意，可执行解块操作等其它合适的操作来改善视觉质量。
应注意，可使用任何合适的技术来实施视频编码器(403)、视频编码器(603)和视频编码器(703)以及视频解码器(410)、视频解码器(510)和视频解码器(810)。在实施例中，可使用至少一个集成电路来实施视频编码器(403)、视频编码器(603)和视频编码器(703)以及视频解码器(410)、视频解码器(510)和视频解码器(810)。在另一实施例中，可使用执行软件指令的至少一个处理器来实施视频编码器(403)、视频编码器(603)和视频编码器(703)以及视频解码器(410)、视频解码器(510)和视频解码器(810)。
本申请描述了与神经网络图像压缩技术和/或神经网络视频压缩技术相关的视频编码技术，诸如基于神经网络图像压缩(NIC)的人工智能(AI)。本申请的各方面包括NIC中的内容自适应在线训练，诸如具有后滤波的内容自适应在线训练NIC方法，用于基于神经网络的端到端(E2E)优化图像编码框架。神经网络(NN)可以包括人工神经网络(ANN)，诸如深度神经网络(DNN)或卷积神经网络(CNN)等。
在实施例中，相关的混合视频编解码器难以作为整体进行优化。例如，混合视频编解码器中单个模块(例如，编码器)的改进可能不会带来整体性能中的编解码增益。在基于NN的视频编码框架中，可以通过执行学习过程或训练过程(例如，机器学习过程)来从输入到输出联合地优化不同的模块，以改进最终目标(例如，率失真性能，诸如在本申请中描述的率失真损失L)，因此产生E2E优化的NIC。
示例性NIC框架或***可以描述如下。NIC框架可以使用输入块x作为神经网络编码器(例如，基于诸如DNN的神经网络的编码器)的输入，以计算压缩表示(例如，紧凑表示)
Figure BDA0003956482100000221
该压缩表示可以是紧凑的，例如用于存储和传输目的。神经网络解码器(例如，基于诸如DNN的神经网络的解码器)可以使用压缩表示
Figure BDA0003956482100000222
作为输入来重建输出块(也被称为重建块)
Figure BDA0003956482100000223
在各种实施例中，输入块x和重建块
Figure BDA0003956482100000224
在空间域中，压缩表示
Figure BDA00039564821000002216
在与空间域不同的域中。在一些示例中，对压缩表示
Figure BDA0003956482100000225
进行量化和熵编码。
在一些示例中，NIC框架可以使用变分自动编码器(VAE，variationalutoencoder)结构。在VAE结构中，神经网络编码器可以直接使用整个输入块x作为神经网络编码器的输入。整个输入块x可以通过一组作为黑盒工作的神经网络层来计算压缩表示
Figure BDA0003956482100000226
压缩表示
Figure BDA0003956482100000227
是神经网络编码器的输出。神经网络解码器可以将整个压缩表示
Figure BDA0003956482100000228
作为输入。压缩表示
Figure BDA0003956482100000229
可以通过作为另一黑盒工作的另一组神经网络层来计算重建块
Figure BDA00039564821000002210
可以优化率失真(R-D)损失L
Figure BDA00039564821000002211
使用折中(trade-off)超参数λ，实现重建块
Figure BDA00039564821000002212
的失真损失
Figure BDA00039564821000002213
与紧凑表示
Figure BDA00039564821000002214
的比特消耗R之间的折衷。
Figure BDA00039564821000002215
神经网络(例如，ANN)可以从示例中学习执行任务，而无需特定于任务的编程。ANN可以配置有连接的节点或人工神经元。节点之间的连接可以将信号从第一节点传输到第二节点(例如，接收节点)，并且可以通过权重来修改该信号，该权重可以由用于该连接的权重系数来指示。接收节点可以处理从至少一个节点接收到的至少一个信号(即，接收节点的至少一个输入信号)，然后通过将函数应用于输入信号来生成输出信号。该函数可以是线性函数。在示例中，输出信号是至少一个输入信号的加权和。在示例中，输出信号进一步由偏置修改，该偏置可以由偏置项指示，因此输出信号是偏置和至少一个输入信号的加权和的总和。函数可以包括非线性操作，例如，作用于偏置与至少一个输入信号的加权总和的加权和或总和。输出信号可以被发送到连接到接收节点的至少一个节点(至少一个下游节点)。ANN可以由参数(例如，连接和/或偏置的权重)来表示或配置。权重和/或偏置可以通过训练带有示例的ANN获得，其中，可以迭代地调整权重和/或偏置。训练的ANN，配置上所确定的权重和/或确定的偏置，可以用于执行任务。
ANN中的节点可以以任何合适的架构来组织。在各种实施例中，ANN中的节点被组织成层，包括输入层，用于接收ANN的至少一个输入信号，和输出层，用于从ANN输出至少一个输出信号。在实施例中，ANN进一步包括至少一个层，诸如输入层和输出层之间的至少一个隐藏层。不同的层可以对不同层的相应输入执行不同类型的变换。信号可以从输入层传播到输出层。
在输入层与输出层之间具有多个层的ANN可以被称为DNN。在实施例中，DNN是前馈网络，其中数据从输入层流到输出层而没有返回的环路(looping back)。在示例中，DNN是全连接网络，其中一层中的每个节点连接到下一层中的所有节点。在实施例中，DNN是递归神经网络(RNN)，其中数据可以在任何方向上流动。在实施例中，DNN是CNN。
CNN可以包括输入层、输出层以及输入层与输出层之间的至少一个隐藏层。至少一个隐藏层可以包括执行卷积(诸如，二维(2D)卷积)的至少一个卷积层(例如，在编码器中使用的)。在实施例中，在卷积层中执行的2D卷积，处于卷积核(也被称为滤波器或信道，诸如5×5矩阵)与到卷积层的输入信号(例如，诸如2D块的2D矩阵、256×256矩阵)之间。在各种示例中，卷积核的尺寸(例如，5×5)小于输入信号的尺寸(例如，256×256)。因此，输入信号(例如，256×256矩阵)中被卷积核覆盖的部分(例如，5×5区域)小于输入信号的区域(例如，256×256区域)，因此可以被称为下一层中的相应节点中的感受域。
在卷积期间，计算卷积核与输入信号中对应的相应感受域的点积。因此，卷积核的每个元素是应用于感受域中的对应样本的权重，因此卷积核包括权重。例如，由5×5矩阵表示的卷积核具有25个权重。在一些示例中，偏置被施加到卷积层的输出信号，并且输出信号基于点积和偏置的总和。
卷积核可以沿着输入信号(例如，2D矩阵)移动，移动大小被称为步幅，这样，卷积操作生成特征图(feature map)或激活图(activation map)(例如，另一2D矩阵)，进而作为CNN中下一层的输入。例如，输入信号是2D块，有256×256样本，步幅是2个样本(例如，步幅为2)。对于步幅2，卷积核沿着X方向(例如，水平方向)和/或Y方向(例如，垂直方向)移位2个样本。
多个卷积核可以在同一卷积层中应用于输入信号，以分别生成多个特征图，其中每个特征图可以表示输入信号的特定特征。通常，具有N个信道(即，N个卷积核)的卷积层，每个卷积核具有M×M个样本，并且步幅S可以被指定为Conv：M×M cN sS。例如，具有192个信道的卷积层，每个卷积核具有5×5个样本，并且步幅为2被指定为Conv：5×5c192 s2。至少一个隐藏层可以包括执行反卷积的至少一个反卷积层(例如，在解码器中使用的)，诸如2D反卷积。反卷积是卷积的逆过程。具有192个信道的反卷积层，每个反卷积核具有5×5个样本，并且步幅2被指定为DeConv：5×5c192 s2。
在各种实施例中，CNN具有以下益处。CNN中的可学习参数(即，要训练的参数)的数量可以显著小于DNN中的可学习参数的数量，诸如前馈DNN。在CNN中，相对大量的节点可以共享相同的滤波器(例如，相同的权重)和相同的偏置(如果使用偏置的话)，因此可以减少存储器占用面积，因为可以在共享相同滤波器的所有感受域上使用单个偏置和单个权重矢量。例如，对于具有100×100样本的输入信号，具有5×5样本的卷积核的卷积层具有25个可学习参数(例如，权重)。如果使用偏置，则一个信道使用26个可学习参数(例如，25个权重和一个偏置)。如果卷积层具有N个信道，则总的可学习参数是26×N。另一方面，对于DNN中的全连接层，对于下一层中的每个节点使用100×100(即，10000)的权重。如果下一层具有L个节点，则总的可学习参数是10000×L。
CNN可以进一步包括至少一个其它层，诸如至少一个池化层、可以将一层中的每个节点连接到另一层中的每个节点的至少一个全连接层，和/或，至少一个归一化层等。CNN中的层可以以任何合适的顺序和以任何合适的架构(例如，前馈架构、递归架构)来布置。在示例中，卷积层之后是至少一个其它层，诸如至少一个池化层、至少一个全连接层，和/或至少一个归一化层等。
池化层可以将来自一个层处的多个节点的输出组合到下一层中的单个节点中，从而减小数据的尺寸。以下描述了池化层的池化操作，以特征图为输入。描述可以适当地适于其它输入信号。特征图可以被划分成子区域(例如，矩形子区域)，并且可以例如通过取平均池化中的平均值或最大池化中的最大值，将相应子区域中的特征独立地下采样(或池化)为单个值。
池化层可以执行池化，诸如局部池化、全局池化、最大池化和/或平均池化等。池化是非线性下采样的一种形式。局部池化在特征图中组合少量节点(例如，本地节点群集，诸如2×2节点)。全局池化可以组合例如特征图的所有节点。
池化层可以减少表示的大小，因此减小CNN中的参数数量、存储器占用面积和计算量。在示例中，池化层被***在CNN中的连续卷积层之间。在示例中，池化层之后是激活函数，诸如整流线性单元(ReLU)层。在示例中，在CNN中的连续卷积层之间省略了池化层。
归一化层可以是ReLU、泄漏(leaky)ReLU、广义***归一化(GDN，generalizeddivisive normalization)或逆GDN(IGDN)等。通过将负值设置为零，ReLU可以应用非饱和激活函数来从输入信号(诸如特征图)中去除负值。泄漏ReLU对于负值可以具有小斜率(例如，0.01)，而不是平坦斜率(例如，0)。相应地，如果值x大于0，则来自泄漏ReLU的输出是x。否则，来自泄漏ReLU的输出是值x乘以小斜率(例如，0.01)。在示例中，在训练之前确定斜率，因此在训练期间不学习斜率。
在基于NN的图像压缩方法中，诸如基于DNN或基于CNN的图像压缩方法，不直接对整个图像进行编码，而是基于块或逐块的编码机制，有效用于在基于DNN的视频编码标准中，诸如FVC，对图像进行压缩。整个图像可以被分区成相同(或不同)大小的块，并且这些块可以被单独压缩。在实施例中，图像可以被分割成具有相等大小或不相等大小的块。可以压缩分割的块而不是图像。图9A示出了根据本申请实施例的逐块图像编码的示例。图像(980)可以被分区成块，例如块(981)-(996)。块(981)-(996)可以例如根据扫描顺序被压缩。在图9A中所示的示例中，块(981)-(989)已经被压缩，并且块(990)-(996)将被压缩。
图像可以被视为块。在实施例中，图像被压缩而不被分割成块。整个图像可以是E2E NIC框架的输入。
在下面的描述中，为了简洁起见，使用信号来指代图像或块。因此，输入信号可以指输入图像或输入块，已编码信号可以指已编码图像或已编码块，并且重建信号可以指重建图像或重建块。
图9B示出了根据本申请实施例的示例性NIC框架(900)(例如，NIC***)。NIC框架(900)可以基于神经网络，诸如DNN和/或CNN。NIC框架(900)可以用于压缩(例如，编码)信号(例如，块和/或图像)和解压缩(例如，解码或重建)压缩信号(例如，块和/或图像)(例如，已编码块或图像)。NIC框架(900)可以包括使用神经网络实现的两个子神经网络，即，第一子NN(951)和第二子NN(952)。
第一子NN(951)可以类似于自动编码器，并且可以被训练以生成输入信号(例如，输入块或输入图像)x的压缩信号(例如，压缩块或压缩图像)
Figure BDA0003956482100000261
，并且对该压缩信号
Figure BDA0003956482100000262
进行解压缩以获得重建信号(例如，重建块或重建图像)
Figure BDA0003956482100000263
。第一子NN(951)可以包括多个部件(或模块)，诸如主编码器神经网络(或主编码器网络)(911)、量化器(912)、熵编码器(913)、熵解码器(914)和主解码器神经网络(或主编码器网络)(915)。参考图9B，主编码器网络(911)可以从输入信号x(例如，要被压缩或编码的信号)生成潜在值或潜在表示y。在示例中，主编码器网络(911)使用CNN来实现。潜在表示y与输入信号x之间的关系可以使用等式2来描述。
y＝f1(x；θ1)          等式2其中，参数θ1表示参数，诸如在主编码器网络(911)中的卷积核中使用的权重和偏置(如果在主编码器网络(911)中使用偏置)。
可以使用量化器(912)来量化潜在表示y，以生成量化的潜在值
Figure BDA0003956482100000272
。量化的潜在值
Figure BDA0003956482100000273
可以例如由熵编码器(913)使用无损压缩来压缩，以生成输入信号x的压缩表示
Figure BDA0003956482100000274
的压缩信号(例如，已编码信号)
Figure BDA0003956482100000275
(931)。熵编码器(913)可以使用熵编码技术，诸如霍夫曼编码或算术编码等。在示例中，熵编码器(913)使用算术编码并且是算术编码器。在示例中，已编码信号(931)在已编码码流中传输。
已编码信号(931)可以由熵解码器(914)解压缩(例如，熵解码)以生成输出。熵解码器(914)可以使用与熵编码器(913)中使用的熵编码技术相对应的熵解码技术，诸如霍夫曼编码或算术编码等。在示例中，熵解码器(914)使用算术解码并且是算术解码器。在示例中，在熵编码器(913)中使用无损压缩，在熵解码器(914)中使用无损解压缩，并且诸如由于已编码信号(931)的传输而引起的噪声是可以忽略的，来自熵解码器(914)的输出是量化的潜在值
Figure BDA0003956482100000276
。
主解码器网络(915)可以对量化的潜在值
Figure BDA0003956482100000277
进行解码，以生成重建信号
Figure BDA0003956482100000278
。在示例中，主解码器网络(915)使用CNN来实现。重建信号
Figure BDA0003956482100000279
(即，主解码器网络(915)的输出)与量化的潜在值
Figure BDA00039564821000002710
(即，主解码器网络(915)的输入)之间的关系可以使用等式3来描述。
Figure BDA0003956482100000271
其中，参数θ2表示参数，诸如在主解码器网络(915)中的卷积核中使用的权重和偏置(如果在主解码器网络(915)中使用偏置)。因此，第一子NN(951)可以压缩(例如，编码)输入信号x以获得已编码信号(931)，并且解压缩(例如，解码)已编码信号(931)以获得重建信号
Figure BDA0003956482100000282
。由于量化器(912)引入的量化损失，重建信号
Figure BDA0003956482100000283
可以不同于输入信号x。
第二子NN(952)可以针对量化的潜在值
Figure BDA0003956482100000284
，学习熵模型(例如，先验概率模型)，用于熵编码。因此，熵模型可以是条件熵模型，例如高斯混合模型(GMM)、取决于输入块x的高斯尺度模型(GSM)。第二子NN(952)可以包括上下文模型NN(916)、熵参数NN(917)、超编码器(921)、量化器(922)、熵编码器(923)、熵解码器(924)和超解码器(925)。在上下文模型NN(916)中使用的熵模型可以是潜在值(例如，量化的潜在值
Figure BDA0003956482100000285
)的自回归模型。在示例中，超编码器(921)、量化器(922)、熵编码器(923)、熵解码器(924)和超解码器(925)形成超神经网络(例如，超先验NN)。超神经网络可以表示信息，即对校正基于上下文的预测有用的信息。来自上下文模型NN(916)和超神经网络的数据可以由熵参数NN(917)组合。熵参数NN(917)可以生成参数，诸如均值和尺度参数，用于熵模型，诸如条件高斯熵模型(例如，GMM)。
参考图9B，在编码器端，来自量化器(912)的量化的潜在值
Figure BDA0003956482100000286
被馈送到上下文模型NN(916)中。在解码器端，来自熵解码器(914)的量化的潜在值
Figure BDA0003956482100000287
被馈送到上下文模型NN(916)中。上下文模型NN(916)可以使用诸如CNN的神经网络来实现。上下文模型NN(916)可以基于上下文
Figure BDA0003956482100000288
生成输出ocm,i，该上下文是上下文模型NN(916)可用的量化的潜在值
Figure BDA00039564821000002810
。上下文
Figure BDA0003956482100000289
可以包括编码器端的先前量化的潜在值或解码器端的先前熵解码的量化的潜在值。上下文模型NN(916)的输出ocm,i与输入(例如，
Figure BDA00039564821000002811
)之间的关系可以使用等式4来描述。
Figure BDA0003956482100000281
其中，参数θ3表示参数，诸如在上下文模型NN(916)中的卷积核中使用的权重和偏置(如果在上下文模型NN(916)中使用偏置)。
来自上下文模型NN(916)的输出ocm,i和来自超解码器(925)的输出ohc被馈送到熵参数NN(917)以生成输出oep。熵参数NN(917)可以使用诸如CNN的神经网络来实现。熵参数NN(917)的输出oep与输入(例如，ocm,i和ohc)之间的关系可以使用等式5来描述。
oep＝f4(ocm,i,ohc；θ4)                         等式5其中，参数θ4表示参数，诸如在熵参数NN(917)中的卷积核中使用的权重和偏置(如果在熵参数NN(917)中使用偏置)。熵参数NN(917)的输出oep可以用于确定(例如，调节conditioning)熵模型，因此条件熵模型可以例如经由来自超解码器(925)的输出ohc而取决于输入信号x。在示例中，输出oep包括用于调节熵模型(例如，GMM)的参数，诸如均值和尺度参数。参考图9B，熵编码器(913)和熵解码器(914)可以分别在熵编码和熵解码中采用熵模型(例如，条件熵模型)。
第二子NN(952)可以描述如下。潜在值y可以被馈送到超编码器(921)以生成超潜在值z。在示例中，超编码器(921)使用诸如CNN的神经网络来实现。超潜在值z与潜在值y之间的关系可以使用等式6来描述。
z＝f5(y；θ5)                等式6其中，参数θ5表示参数，诸如在超编码器(921)中的卷积核中使用的权重和偏置(如果在超编码器(921)中使用偏置)。
超潜在值z由量化器(922)量化以生成量化的潜在值
Figure BDA0003956482100000291
。量化的潜在值
Figure BDA0003956482100000292
可以由熵编码器(923)例如使用无损压缩进行压缩，以生成边信息，诸如来自超神经网络的已编码比特(932)。熵编码器(923)可以使用熵编码技术，诸如霍夫曼编码或算术编码等。在示例中，熵编码器923使用算术编码并且是算术编码器。在示例中，诸如已编码比特(932)的边信息可以例如与已编码信号(931)一起在已编码码流中传输。
诸如已编码比特(932)的边信息可以由熵解码器(924)解压缩(例如，熵解码)以生成输出。熵解码器(924)可以使用熵编码技术，诸如霍夫曼编码或算术编码等。在示例中，熵解码器(924)使用算术解码并且是算术解码器。在示例中，在熵编码器(923)中使用无损压缩，在熵解码器(924)中使用无损解压缩，并且诸如由于边信息的传输而引起的噪声是可以忽略的，来自熵解码器(924)的输出可以是量化的潜在值
Figure BDA0003956482100000302
。超解码器(925)可以对量化的潜在值
Figure BDA0003956482100000303
进行解码，以生成输出ohc。输出ohc与量化的潜在值
Figure BDA0003956482100000304
之间的关系可以使用等式7来描述。
Figure BDA0003956482100000301
其中，参数θ6表示参数，诸如在超解码器(925)中的卷积核中使用的权重和偏置(如果在超解码器(925)中使用偏置)。
如以上描述的，可以将压缩或已编码比特(932)作为边信息添加到已编码码流，这使得熵解码器(914)能够使用条件熵模型。因此，熵模型可以是信号相关的(例如，块相关的或图像相关的)和空间自适应的，因此可以比固定熵模型更准确。
NIC框架(900)可以被适当地修改，例如省略图9B中所示的至少一个部件、修改图9B中所示的至少一个部件和/或包括图9B中未示出的至少一个部件。在示例中，使用固定熵模型的NIC框架包括第一子NN(951)，而不包括第二子NN(952)。在示例中，NIC框架包括NIC框架(900)中除熵编码器(923)和熵解码器(924)之外的部件。
在实施例中，图9B中所示的NIC框架(900)中的至少一个部件，使用至少一个神经网络来实现，诸如至少一个CNN。NIC框架(例如，NIC框架(900))中的每个基于NN的部件(例如，主编码器网络(911)、主解码器网络(915)、上下文模型NN(916)、熵参数NN(917)、超编码器(921)或超解码器(925))可以包括任何合适的架构(例如，具有任何合适的层组合)，包括任何合适类型的参数(例如，权重、偏置和/或权重和偏置的组合等)，并且包括任何合适数量的参数。
在实施例中，使用相应的CNN来实现主编码器网络(911)、主解码器网络(915)、上下文模型NN(916)、熵参数NN(917)、超编码器(921)和超解码器(925)。
图10示出了根据本申请实施例的主编码器网络(911)的示例性CNN。例如，主编码器网络(911)包括四组层，其中每组层包括卷积层5×5c192 s2，之后是GDN层。可以修改和/或省略图10中所示的至少一个层。可以将至少一个附加层添加到主编码器网络(911)。
图11示出了根据本申请实施例的主解码器网络(915)的示例性CNN。例如，主解码器网络(915)包括三组层，其中每组层包括反卷积层5×5c192 s2，之后是IGDN层。另外，三组层之后是反卷积层5×5c3 s2，之后是IGDN层。可以修改和/或省略图11中所示的至少一个层。可以将至少一个附加层添加到主解码器网络(915)。
图12示出了根据本申请实施例的超(hyper)编码器(921)的示例性CNN。例如，超编码器(921)包括卷积层3×3c192 s1(之后是泄漏ReLU)、卷积层5×5c192 s2(之后是泄漏ReLU)以及卷积层5×5c192 s2。可以修改和/或省略图12中所示的至少一个层。可以将至少一个附加层添加到超编码器(921)。
图13示出了根据本申请实施例的超解码器(925)的示例性CNN。例如，超解码器(925)包括反卷积层5×5c192 s2(之后是泄漏ReLU)、反卷积层5×5c288 s2(之后是泄漏ReLU)以及反卷积层3×3c384 s1。可以修改和/或省略图13中所示的至少一个层。可以将至少一个附加层添加到超解码器(925)。
图14示出了根据本申请实施例的上下文模型NN(916)的示例性CNN。例如，上下文模型NN(916)包括用于上下文预测的掩码卷积5×5c384 s1，因此等式4中的上下文
Figure BDA0003956482100000311
包括有限上下文(例如，5×5卷积核)。图14中的卷积层可以被修改。可以将至少一个附加层添加到上下文模型NN(916)。
图15示出了根据本申请实施例的熵参数NN(917)的示例性CNN。例如，熵参数NN(917)包括卷积层1×1c640 s1(之后是泄漏ReLU)、卷积层1×1c512s1(之后是泄漏ReLU)以及卷积层1×1c384 s1。可以修改和/或省略图15中所示的至少一个层。可以将至少一个附加层添加到熵参数NN(917)。
NIC框架(900)可以使用CNN来实现，如参考图10至图15描述的。NIC框架(900)可以被适当地修改，使得NIC框架(900)中的至少一个部件(例如，(911)、(915)、(916)、(917)、(921)和/或(925))使用任何合适类型的神经网络(例如，基于CNN或非CNN的神经网络)来实现。NIC框架(900)的至少一个其它部件可以使用至少一个神经网络来实现。
包括神经网络(例如，CNN)的NIC框架(900)可以被训练以学习在神经网络中使用的参数。例如，当使用CNN时，可以分别在训练过程中学习参数θ1-θ6，诸如在主编码器网络(911)中的卷积核中使用的权重和偏置(如果在主编码器网络(911)中使用偏置)、在主解码器网络(915)中的卷积核中使用的权重和偏置(如果在主解码器网络(915)中使用偏置)、在超编码器(921)中的卷积核中使用的权重和偏置(如果在超编码器(921)中使用偏置)、在超解码器(925)中的卷积核中使用的权重和偏置(如果在超解码器(925)中使用偏置)、在上下文模型NN(916)中的至少一个卷积核中使用的权重和偏置(如果在上下文模型NN(916)中使用偏置)以及在熵参数NN(917)中的卷积核中使用的权重和偏置(如果在熵参数NN(917)中使用偏置)。
在示例中，参考图10，主编码器网络(911)包括四个卷积层，其中每个卷积层具有5×5的卷积核和192个信道。因此，在主编码器网络(911)中的卷积核中使用的权重的数量是19200(即，4×5×5×192)。在主编码器网络(911)中使用的参数包括19200个权重和可选的偏置。当在主编码器网络(911)中使用偏置和/或至少一个附加NN时，可以包括至少一个附加参数。
参考图9B，NIC框架(900)包括在至少一个神经网络上构建的至少一个部件或模块。至少一个部件可以包括主编码器网络(911)、主解码器网络(915)、超编码器(921)、超解码器(925)、上下文模型NN(916)和熵参数NN(917)中的至少一个。至少一个部件可以被单独训练。在示例中，训练过程被用于分别学习每个部件的参数。至少一个部件可以作为组被联合训练。在示例中，训练过程被用于联合地学习至少一个部件的子集的参数。在示例中，训练过程被用于学习所有至少一个部件的参数，因此被称为E2E优化。
在NIC框架(900)中的至少一个部件的训练过程中，可以初始化至少一个部件的权重(或权重系数)。在示例中，基于至少一个预训练的对应神经网络模型(例如，DNN模型、CNN模型)来初始化权重。在示例中，通过将权重设置为随机数来初始化权重。
例如，在权重被初始化之后，可以采用训练块集合来训练至少一个部件。训练块集合可以包括具有至少一个任何合适大小的任何合适块。在一些示例中，训练块集合包括块，来自空间域中的原始图像、自然图像和/或计算机生成的图像的。在一些示例中，训练块集合包括块，来自具有空间域中的残差数据的残差块或残差图像。残差数据可以由残差计算器(例如，残差计算器(723))计算。在一些示例中，原始图像和/或包括残差数据的残差图像可以直接用于训练NIC框架(诸如NIC框架(900))中的神经网络。因此，原始图像、残差图像、来自原始图像的块和/或来自残差图像的块可以用于训练NIC框架中的神经网络。
为了简洁起见，以下以训练块作为示例来描述训练过程。描述可以适当地适于训练图像。训练块集合中的训练块t可以通过图9B中的编码过程来生成压缩表示(例如，(例如进入码流的)已编码信息)。已编码信息可以通过图9B中描述的解码过程来计算和重建重建块
Figure BDA0003956482100000333
。
对于NIC框架(900)，平衡了两个竞争目标，例如重建质量和比特消耗。质量损失函数(例如，失真或失真损失
Figure BDA0003956482100000332
可以用于指示重建质量，诸如重建(例如，重建块
Figure BDA0003956482100000331
)与原始块(例如，训练块)之间的差异。率(或率损失)R可以用于指示压缩表示的比特消耗。在示例中，率损失R进一步包括例如用于确定上下文模型的边信息。
对于神经网络图像压缩，量化的可微分近似可以用于E2E优化。在各种示例中，在基于神经网络的图像压缩的训练过程中，噪声注入被用于模拟量化，因此量化通过噪声注入来进行模拟，而不是由量化器(例如，量化器(912))了I执行。因此，利用噪声注入的训练可以在变化上(variationally)近似量化误差。每像素比特(BPP)估计器可以用于模拟熵编码器，因此熵编码由BPP估计器模拟而不是由熵编码器(例如，(913))和熵解码器(例如，(914))执行。因此，可以例如基于噪声注入和BPP估计器，来估计在训练过程期间等式1中所示的损失函数L中的率损失R。通常，较高的率R可以允许较低的失真D，而较低的率R可以导致较高的失真D。因此，等式1中的折中超参数λ可以用于优化联合R-D损失L，其中,L为λD和R的总和。训练过程可以用于调整NIC框架(900)中的至少一个部件(例如(911)、(915))的参数，使得联合R-D损失L被最小化或最优化。在一些示例中，可以使用折中超参数λ来优化联合率失真(R-D)损失，如：
Figure BDA0003956482100000341
其中，E用于测量已解码块与编码之前的原始块残差之间的失真，其作为残差编码/解码DNN和编码/解码DNN的正则化损失。β是平衡正则化损失的重要性的超参数。
各种模型可以用于确定失真损失D和率损失R，这样，确定等式1中的联合R-D损失L。在示例中，失真损失
Figure BDA0003956482100000342
表示为峰值信噪比(PSNR)，该峰值信噪比是基于均方误差、多尺度结构相似性(MS-SSIM，multiscale structural similarity)质量指标、PSNR或MS-SSIM等的加权组合等的度量。
在示例中，训练过程的目标是训练编码神经网络(例如，编码DNN)(诸如要在编码器端使用的视频编码器)以及训练解码神经网络(例如，解码DNN)(诸如要在解码器端使用的视频解码器)。在示例中，参考图9B，编码神经网络可以包括主编码器网络(911)、超编码器(921)、超解码器(925)、上下文模型NN(916)和熵参数NN(917)。解码神经网络可以包括主解码器网络(915)、超解码器(925)、上下文模型NN(916)和熵参数NN(917)。视频编码器和/或视频解码器可以包括至少一个其它部件，基于至少一个NN，和/或，非基于至少一个NN。
可以以E2E方式对NIC框架(例如，NIC框架(900))进行训练。在示例中，在训练过程中，基于反向传播梯度，以E2E方式，联合地更新编码神经网络和解码神经网络。
在NIC框架(900)中的神经网络的参数被训练之后，NIC框架(900)中的至少一个部件可以用于编码和/或解码块。在实施例中，在编码器端，视频编码器被配置为将输入信号x编码成要在码流中传输的已编码信号(931)。视频编码器可以包括NIC框架(900)中的多个部件。在实施例中，在解码器端，对应的视频解码器被配置为将码流中的已编码信号(931)解码为重建信号
Figure BDA0003956482100000351
。视频解码器可以包括NIC框架(900)中的多个部件。
在示例中，例如当采用内容自适应在线训练时，视频编码器包括NIC框架(900)中的所有部件。
图16A示出了根据本申请实施例的示例性视频编码器(1600A)。视频编码器(1600A)包括例如参考图9B描述的主编码器网络(911)、量化器(912)、熵编码器(913)和第二子NN(952)。图16B示出了根据本申请实施例的示例性视频解码器(1600B)。视频解码器(1600B)可以与视频编码器(1600A)相对应。视频解码器(1600B)可以包括主解码器网络(915)、熵解码器(914)、上下文模型NN(916)、熵参数NN(917)、熵解码器(924)和超解码器(925)。参考图16A至图16B，在编码器端，视频编码器(1600A)可以生成要在码流中传输的已编码信号(931)和已编码比特(932)。在解码器端，视频解码器(1600B)可以接收已编码信号(931)和已编码比特(932)并且对它们进行解码。
图17至图18分别示出了根据本申请实施例的示例性视频编码器(1700)和对应的视频解码器(1800)。参考图17，编码器(1700)包括主编码器网络(911)、量化器(912)和熵编码器(913)。参考图9B描述主编码器网络(911)、量化器(912)和熵编码器(913)的示例。参考图18，视频解码器(1800)包括主解码器网络(915)和熵解码器(914)。参考图9B描述主解码器网络(915)和熵解码器(914)的示例。参考图17和图18，视频编码器(1700)可以生成要包括在码流中的已编码信号(931)。视频解码器(1800)可以接收已编码信号(931)并且对其进行解码。
可以将后置滤波或后处理应用于重建信号，诸如重建块或重建图像，以确定后置滤波信号(例如，后置滤波图像或后置滤波块)。可以应用后置滤波以减少后置滤波信号的失真损失，例如，后置滤波信号的失真损失可以小于对应的重建信号的失真损失。
图19A示出了根据本申请实施例的逐块图像滤波的示例。代替直接对整个图像(1980)进行后置滤波，可以将基于块的滤波机制应用于后置滤波。整个图像(1980)被分区成相同大小(例如，WxH样本)或不同大小的块(1981)-(1996)，并且块(1981)-(1996)被单独地执行后置滤波。在实施例中，后置滤波模块被应用于块(1981)-(1996)而不是图像(1980)。
在实施例中，对图像(例如，重建图像)进行后置滤波而不将其分割成块，因此整个图像是后置滤波模块的输入。
图19B示出了根据本申请实施例的示例性后置滤波模块(1910)和NIC框架(例如，NIC框架(900))。参考图9B描述NIC框架(900)。来自主解码器网络(915)的重建信号
Figure BDA0003956482100000361
可以被馈送到后置滤波模块(1910)中，并且后置滤波信号
Figure BDA0003956482100000362
可以由后置滤波模块(1910)生成。在示例中，重建块
Figure BDA0003956482100000363
的失真损失
Figure BDA0003956482100000364
被缩减为后置滤波信号
Figure BDA00039564821000003610
的失真损失
Figure BDA0003956482100000367
，其中后置滤波信号
Figure BDA0003956482100000366
的失真损失
Figure BDA0003956482100000365
小于重建块
Figure BDA0003956482100000368
的失真损失
Figure BDA0003956482100000369
。
后置滤波模块(1910)可以使用能够减少失真损失并且提高视觉质量的任何合适的滤波方法来实现。根据本申请的实施例，后置滤波模块(1910)是基于NN的，并且使用NN(例如，后置滤波NN)(诸如后置滤波DNN或后置滤波CNN)来实现。
后置滤波NN可以包括任何合适的架构(例如，具有任何合适的层组合)，包括任何合适类型的参数(例如，权重、偏置和/或权重和偏置的组合等)，并且包括任何合适数量的参数，如本申请中描述的。
在示例中，使用包括至少一个卷积层的CNN来实现后置滤波NN。后置滤波NN可以包括在本申请中描述的至少一个附加层，诸如至少一个池化层、至少一个全连接层和/或至少一个归一化层等。后置滤波NN中的层可以以任何合适的顺序和以任何合适的架构(例如，前馈架构或递归架构)来布置。在示例中，卷积层之后是至少一个其它层，诸如至少一个池化层、至少一个全连接层和/或至少一个归一化层等。后置滤波NN中的卷积层中的每一个可以包括任何合适数量的信道以及任何合适的卷积核和步幅。
可以基于训练信号(例如，训练图像和/或训练块)来训练后置滤波NN，这些训练信号与以上参考图9B描述的那些训练信号相似或相同。在一些示例中，要被压缩(例如，编码)和/或传输的输入信号(例如，输入图像或输入块)的特性，与训练信号的特性显著不同。因此，使用用训练信号训练的后置滤波NN，对与输入信号相对应的重建信号进行后置滤波，可以导致相对较差的R-D损失L(例如，相对较大的失真)。因此，本申请的各方面描述了一种用于后置滤波的内容自适应在线训练方法。在用于后置滤波的内容自适应在线训练方法中，可以基于要压缩(例如，编码)和/或传输的至少一个输入信号来确定后置滤波NN的至少一个参数。至少一个输入信号可以包括原始数据或残差数据。
在实施例中，至少一个输入信号是输入图像中的至少一个块。至少一个块可以用于通过优化率失真性能来确定后置滤波NN中的至少一个参数，并且用于后置滤波的内容自适应在线训练方法，可以被称为用于后置滤波的逐块内容自适应在线训练方法。
在实施例中，至少一个输入信号是至少一个输入图像。至少一个输入图像可以用于通过优化率失真性能来确定后置滤波NN中的至少一个参数，并且用于后置滤波的内容自适应在线训练方法，可以被称为用于后置滤波的基于图像的内容自适应在线训练方法。
指示确定的至少一个参数的后置滤波信息，可以与已编码的至少一个信号(例如，已编码的至少一个块或已编码的至少一个图像)，一起被编码到视频码流中。在解码器端，可以基于确定的至少一个参数来确定后置滤波NN，并且可以对重建的至少一个信号进行后置滤波，通过使用确定的至少一个参数来实现更好的压缩性能。可以由视频解码器分别基于已编码的至少一个信号来重建重建的至少一个信号。
根据本申请的各方面，内容自适应在线训练可以应用于后置滤波(诸如基于NN的后置滤波)中。基于NN的后置滤波(例如，基于DNN的后置滤波或基于CNN的后置滤波)可以在基于NN的图像编码框架(例如，NIC框架(900))或其它图像压缩方法中实现。
后置滤波模块(1910)可以使用NN(例如，DNN或CNN)来实现，并且可以被应用于重建信号
Figure BDA0003956482100000388
。后置滤波模块中的NN可以被称为后置滤波NN，诸如后置滤波DNN或后置滤波CNN。后置滤波模块(1910)的输出是后置滤波信号
Figure BDA00039564821000003810
。根据本申请的实施例，可以实现后置滤波模块(1910)的内容自适应在线训练以减少等式9中所示的R-D损失
Figure BDA0003956482100000389
。
Figure BDA0003956482100000381
其中，与后置滤波信号
Figure BDA0003956482100000382
相对应的R-D损失
Figure BDA0003956482100000383
可以包括后置滤波信号
Figure BDA0003956482100000384
的失真损失
Figure BDA0003956482100000385
，已编码信号
Figure BDA0003956482100000386
的率损失R
Figure BDA0003956482100000387
，以及在已编码视频码流中发信号通知后置滤波信息的率损失或比特消耗R(p)。后置滤波信息可以指示后置滤波NN的至少一个参数。
为了简洁起见，后置滤波模块(1910)的内容自适应在线训练可以被称为后置滤波训练。用于后置滤波的逐块内容自适应在线训练方法可以被称为逐块后置滤波训练。用于后置滤波的基于图像的内容自适应在线训练方法可以被称为基于图像的后置滤波训练。
在实施例中，后置滤波训练的目标是减小(例如，最小化)R-D损失Lp，使得R-D损失Lp小于重建信号
Figure BDA0003956482100000391
的R-D损失L
Figure BDA0003956482100000392
如等式1中描述的。比较等式1和等式8，率损失
Figure BDA0003956482100000393
保持不变。由于率损失R(p)增加了R-D损失Lp，因此后置滤波训练可以显著地降低失真损失
Figure BDA0003956482100000394
使得
Figure BDA0003956482100000395
根据本申请的实施例，可以例如基于至少一个输入信号，在后置滤波训练中，确定后置滤波NN中的至少一个参数。参考图19B，输入信号x被馈送到NIC框架(900)中，并且在编码过程中生成已编码信号
Figure BDA0003956482100000396
。在解码过程中生成重建信号
Figure BDA0003956482100000397
。在实施例中，后置滤波NN中的至少一个参数，可以在后置滤波训练中，基于重建信号
Figure BDA0003956482100000398
来确定。在示例中，后置滤波NN中的至少一个参数，基于重建信号
Figure BDA0003956482100000399
，被迭代地更新以减少失真损失
Figure BDA00039564821000003910
。因此，后置滤波NN取决于重建信号
Figure BDA00039564821000003911
，重建信号取决于要编码的输入信号x。
后置滤波NN可以例如在后置滤波训练之前配置有初始参数(例如，初始权重和/或初始偏置)。在实施例中，基于包括训练块和/或训练图像的训练数据集，对后置滤波NN进行预训练，并且初始参数包括预训练参数(例如，预训练权重和/或预训练偏置)。在实施例中，后置滤波NN未被预训练。初始参数可以是随机参数。
在实施例中，后置滤波NN中的初始参数中的至少一个初始参数，在后置滤波训练中，基于根据输入信号x确定的重建信号
Figure BDA00039564821000003912
，被迭代地更新。可以通过在后置滤波训练中确定的至少一个参数(例如，至少一个替换参数)来更新(例如，替换)至少一个初始参数。在示例中，更新初始参数的整个集合。在示例中，初始参数的子集由至少一个替换参数更新，并且初始参数的剩余子集通过后置滤波训练保持不变。
后置滤波训练可以用作预处理步骤(例如，预编码步骤)，用于提高任何图像压缩方法的压缩性能。
可以将确定的至少一个参数与已编码信号
Figure BDA0003956482100000401
一起编码到视频码流中。已编码信号
Figure BDA0003956482100000402
的率损失，由率损失R(
Figure BDA0003956482100000403
)表示，已编码的至少一个参数的率损失，由率损失R(p)表示。后置滤波训练对于图像压缩编解码器是不可知的，并且可以用任何合适类型的图像压缩编解码器来实现。图像压缩编解码器可以是基于NN的，诸如图9B和图19B中所示的NIC框架(900)。图像压缩编解码器可以在没有NN的情况下实现，诸如在图5至图8的某些实现中实现。
通过在后置滤波NN中使用确定的至少一个参数(例如，至少一个替换参数)，后置滤波模块(1910)可以被应用于重建信号
Figure BDA0003956482100000404
(例如，重建图像或重建块)并且实现更好的失真性能，诸如更小的R-D损失Lp。如参考等式8描述的，R(p)表示编码到视频码流中的至少一个参数(例如，至少一个替换参数)的比特消耗。
当多个输入信号被用于确定至少一个参数时，以上描述可以被适当地修改，其中，确定的至少一个参数由多个输入信号共享。
参考图19B，在编码器端，可以基于后置滤波训练中的重建信号
Figure BDA0003956482100000405
来确定后置滤波模块(1910)中的后置滤波NN的至少一个参数。可以基于输入信号x生成已编码信号
Figure BDA0003956482100000406
。在实施例中，可以对指示后置滤波NN的至少一个参数的后置滤波信息进行编码。后置滤波信息与已编码信号
Figure BDA0003956482100000407
相对应。已编码信号
Figure BDA0003956482100000408
和后置滤波信息可以被包括在已编码视频码流中。
图20A示出了根据本申请实施例的示例性视频解码器(2000A)。视频解码器(2000A)可以包括参考图16B描述的视频解码器(1600B)的部件和参考图19B描述的后置滤波模块(1910)。
图20B示出了根据本申请实施例的示例性视频解码器(2000B)。视频解码器(2000B)可以包括参考图18描述的视频解码器(1800)的部件和参考图19B描述的后置滤波模块(1910)。
在解码器端，参考图19B、图20A和图20B，后置滤波信息可以由视频解码器(例如，视频解码器(2000A)或(2000B))解码。可以基于后置滤波信息来获得后置滤波模块(1910)中的后置滤波NN的至少一个参数。在实施例中，后置滤波NN配置有初始参数，并且至少一个参数是至少一个替换参数。可以分别利用至少一个替换参数来更新至少一个初始参数。
在示例中，后置滤波信息指示至少一个参数与初始参数中的相应的至少一个初始参数之间的差。至少一个参数可以根据差和至少一个初始参数中的相应的至少一个初始参数的总和来确定。
可以基于后置滤波信息来确定视频解码器(例如，视频解码器(2000A)或(2000B))中的后置滤波模块(1910)中的后置滤波NN。在实施例中，基于至少一个参数来更新后置滤波NN中的至少一个初始参数，例如，用至少一个参数来替换至少一个初始参数。
参考图19B、图20A和图20B，已编码信号
Figure BDA0003956482100000411
可以由视频解码器(2000A)或(2000B)解码。例如，主解码器网络(915)重建已编码信号
Figure BDA0003956482100000412
以生成重建信号
Figure BDA0003956482100000413
。可以基于后置滤波NN对重建信号
Figure BDA0003956482100000414
进行后置滤波，后置滤波NN是基于至少一个参数确定的(例如，更新的)。在示例中，基于更新的后置滤波NN对重建信号
Figure BDA0003956482100000415
进行后置滤波。
在一些示例中，由后置滤波信息指示的至少一个参数被解压缩，然后用于更新后置滤波NN。
根据本申请的实施例，后置滤波训练可以被称为微调过程，其中后置滤波NN中的初始参数中的至少一个初始参数(例如，至少一个预训练参数)可以基于要编码和/或传输的至少一个输入信号来更新(例如，微调)。至少一个输入信号可以不同于用于获得初始参数的训练信号。因此，后置滤波NN可以适于以至少一个输入信号的内容为目标。
在示例中，至少一个输入信号包括要被编码和/或传输的至少一个输入信号。在示例中，至少一个输入信号包括单个输入信号(例如，单个输入图像或单个输入块)，并且对该单个输入信号执行后置滤波训练。基于单个输入信号来确定(例如，训练或更新)后置滤波NN。在解码器端确定的后置滤波NN可以用于对与单个输入信号相对应的重建信号(例如，重建图像或重建块)，以及可选地对与其它输入信号相对应的其它重建信号，进行后置滤波。后置滤波信息可以与已编码的单个输入信号(例如，已编码图像或已编码块)一起被编码到视频码流中。
在实施例中，至少一个输入信号包括多个输入信号，并且对多个输入信号执行后置滤波训练。基于多个输入信号来确定(例如，训练或更新)后置滤波NN。在解码器端确定的后置滤波NN可以用于对与多个输入信号相对应的重建信号，以及可选地对与其它输入信号相对应的其它重建信号，进行后置滤波。后置滤波信息可以与已编码的多个输入信号一起被编码到视频码流中。
率损失Rp可以随着在视频码流中标识后置滤波信息而增加。当至少一个输入信号包括单个输入信号时，为每个已编码信号发信号通知后置滤波信息，并且率损失Rp的第一增加用于指示由于对每个信号发信号通知后置滤波信息而导致的率损失Rp的增加。当至少一个输入信号包括多个输入信号时，发信号通知多个输入信号并由多个输入信号共享后置滤波信息，并且使用率损失Rp的第二增加来指示由于发信号通知每个信号的后置滤波信息而导致的率损失Rp的增加。因为后置滤波信息由多个输入信号共享，所以率损失Rp的第二增加可以小于率损失Rp的第一增加。因此，在一些示例中，使用多个输入信号来确定(例如，训练或更新)后置滤波NN可能是有利的。
后置滤波NN可以由不同类型的参数(诸如权重、偏置等)指定。后置滤波NN可以配置有合适的初始参数，诸如权重、偏置或权重和偏置的组合。当使用至少一个CNN时，权重可以包括卷积核中的元素。如以上描述的，初始参数的子集或整个集合可以通过后置滤波训练来更新。
在实施例中，被更新的至少一个初始参数在后置滤波NN的单个层(例如，单个卷积层)中。在实施例中，被更新的至少一个初始参数在后置滤波NN的多个或所有层(例如，多个或所有卷积层)中。
可以使用一种或多种类型的参数来指定后置滤波NN。在实施例中，要更新的至少一个初始参数是至少一个偏置项，并且仅至少一个偏置项被确定的至少一个参数替换。在实施例中，要更新的至少一个初始参数是权重，并且仅权重被确定的至少一个参数替换。在实施例中，要更新的至少一个初始参数包括权重和偏置项，并且由确定的至少一个参数替换。在示例中，初始参数的整个集合由确定的至少一个参数替换。
后置滤波训练可以包括多个时期(epoch)(例如，迭代)，其中在迭代过程中更新至少一个初始参数。当训练损失已经变平或将要变平时，后置滤波训练可以停止。在示例中，当训练损失(例如，R-D损失Lp)低于第一阈值时，后置滤波训练停止。在示例中，当两个连续训练损失之间的差低于第二阈值时，后置滤波训练停止。
两个超参数(例如，步长和最大步数)可以与损失函数(例如，R-D损失Lp)一起用于后置滤波训练。最大迭代次数可以用作最大迭代次数的阈值以终止后置滤波训练。在示例中，当迭代次数达到最大迭代次数时，后置滤波训练停止。
步长可以指示在线训练过程(例如，后置滤波训练)的学习速率。可以在后置滤波训练中执行的梯度下降算法或反向传播计算中使用步长。步长可以使用任何合适的方法来确定。
在逐块后置滤波训练中，图像中每个块的步长可以不同。在实施例中，可以为图像指配不同的步长，以便实现更好的压缩结果(例如，更好的R-D损失Lp)。
在基于图像的后置滤波训练中，每个图像的步长可以不同。在实施例中，可以为不同的输入图像指配不同的步长，以便实现更好的压缩结果(例如，更好的R-D损失Lp)。
在实施例中，不同的步长用于具有不同类型的内容的信号(例如，块或图像)以实现最佳结果。信号可以包括输入信号(例如，输入信号x)、已编码信号(例如，已编码信号
Figure BDA0003956482100000431
)、重建信号(例如，重建信号
Figure BDA0003956482100000432
)等。参考图9B和图19B描述输入信号(例如，输入信号x)、已编码信号(例如，已编码信号
Figure BDA0003956482100000441
)和对应的重建信号(例如，重建信号
Figure BDA0003956482100000442
)的关系。不同的类型可以指不同的方差。在示例中，基于用于更新后置滤波NN的信号(例如，块或图像)的方差来确定步长。例如，具有高方差的信号的步长大于具有低方差的信号的步长，其中高方差大于低方差。
在实施例中，基于信号(例如，块或图像)的特性(诸如信号的RGB方差)来选择步长。在实施例中，基于信号(例如，块或图像)的RD性能(例如，R-D损失L)来选择步长。可以基于不同的步长生成多个参数集合(例如，多个替换参数集合)，并且可以选择具有更好压缩性能(例如，更小的R-D损失)的集合。
在实施例中，第一步长可以用于运行一定次数(例如，100)的迭代。然后，第二步长(例如第一步长加上或减去大小增量)可以用于运行一定次数的迭代。来自第一步长大小和第二步长大小的结果可以被比较以确定要使用的步长大小。可以测试多于两个步长，以确定最佳步长。
步长可以在后置滤波训练期间变化。步长可以在后置滤波训练开始时具有初始值，并且该初始值可以在后置滤波训练的稍后阶段被减小(例如，减半)，例如，在一定次数的迭代之后以实现更精细的调节(tuning)。步长或学习速率可以由调度器在迭代后置滤波训练期间改变。调度器可以包括用于调整步长的参数调整方法。调度器可以确定步长的值，使得步长可以在多个区间中增加、减少或保持恒定。在示例中，由调度器在每个步骤中改变学习速率。单个调度器或多个不同的调度器可以用于不同的块或不同的图像。因此，可以基于多个调度器生成多个参数集合，并且可以选择具有更好压缩性能(例如，较小的R-D损失Lp)的多个参数集合之一。
在实施例中，为不同的信号(例如，不同的块或不同的图像)指配多个学习速率时间表，以便实现更好的压缩结果。在示例中，图像中的所有块共享相同的学习速率时间表。在示例中，一组图像共享相同的学习速率时间表。在实施例中，学习速率时间表的选择基于信号(例如，块或图像)的特性，诸如信号的RGB方差。在实施例中，学习速率调度的选择基于信号的RD性能。
在实施例中，可以使用不同的信号(例如，不同的块或不同的图像)来确定(例如，更新)后置滤波NN中的不同类型的参数(例如，偏置或权重)。例如，第一信号(例如，第一块)被用于更新后置滤波NN中的至少一个偏置，并且第二信号(例如，第二块)被用于更新后置滤波NN中的至少一个权重。
在实施例中，使用多个信号(例如，一个图像或多个图像中的多个块)来确定(例如，更新)相同的至少一个参数。在示例中，图像中的所有块被用于确定(例如，更新)相同的至少一个参数。
在实施例中，基于信号(例如，块或图像)的特性(诸如信号的RGB方差)来选择要更新的至少一个初始参数。在实施例中，基于信号的RD性能来选择要更新的至少一个初始参数。
在后置滤波训练结束时，可以为相应的确定的至少一个参数(例如，相应的至少一个替换参数)计算至少一个更新的参数。在实施例中，至少一个更新的参数被计算为确定的至少一个参数(例如，相应的至少一个替换参数)与对应的至少一个初始参数(例如，至少一个预训练参数)之间的差。在实施例中，至少一个更新的参数分别是确定的至少一个参数。
在实施例中，如何从相应的确定的至少一个参数获得至少一个更新的参数取决于在后置滤波训练中使用的信号(例如，输入信号x、重建信号
Figure BDA0003956482100000451
)。不同的方法可以用于不同的信号。在示例中，应用于第一块的后置滤波NN的更新的参数被计算为基于第一块获得的替换参数与对应的预训练参数之间的差。在示例中，应用于第二块的后置滤波NN的更新的参数是基于第二块获得的替换参数。
在实施例中，不同的块在至少一个更新的参数与至少一个替换参数之间具有不同的关系。例如，对于第一块，至少一个更新的参数被计算为至少一个替换参数与对应的至少一个预训练参数之间的差。对于第二块，至少一个更新的参数分别是至少一个替换参数。
在实施例中，如何从相应的确定的至少一个参数中获得至少一个更新的参数不取决于在后置滤波训练中使用的信号(例如，输入信号x、重建信号
Figure BDA0003956482100000461
)。在示例中，所有块共享相同的方式来更新后置滤波NN中的至少一个参数。在实施例中，图像中的多个块(例如，所有块)在至少一个更新的参数与至少一个替换参数之间具有相同的关系。
在实施例中，基于信号(例如，块或图像)的特性(诸如信号的RGB方差)来选择至少一个更新的参数与至少一个替换参数之间的关系。在实施例中，基于信号的RD性能来选择至少一个更新的参数与至少一个替换参数之间的关系。
在实施例中，可以例如使用某种线性或非线性变换，从确定的至少一个参数(例如，至少一个替换参数)生成至少一个更新的参数，并且至少一个更新的参数是基于确定的至少一个参数生成的至少一个代表性参数。确定的至少一个参数被变换成至少一个更新的参数以用于更好的压缩。
在示例中，可以例如使用LZMA2来压缩至少一个更新的参数，LZMA2是Lempel–Ziv–Markov链算法(LZMA)或bzip2算法等的变型。在示例中，对于至少一个更新的参数省略压缩。在一些实施例中，至少一个更新的参数可以作为后置滤波信息被编码到视频码流中，其中后置滤波信息可以指示确定的至少一个参数(例如，至少一个替换参数)。
在实施例中，用于至少一个更新的参数的压缩方法，对于不同的信号(例如，不同的块或不同的图像)是不同的。例如，对于第一块，LZMA2被用于压缩至少一个更新的参数，并且对于第二块，bzip2被用于压缩至少一个更新的参数。在实施例中，使用相同的压缩方法来压缩图像中的多个块(例如，所有块)的至少一个更新的参数。在实施例中，基于信号(例如，块或图像)的特性(诸如信号的RGB方差)来选择压缩方法。在实施例中，基于信号的RD性能来选择压缩方法。
在实施例中，每个信号的后置滤波NN的结构(例如，架构)是相同的。后置滤波NN的结构可以包括多个层，如何组织和连接不同的节点和/或层、前馈架构、递归架构、DNN和/或CNN等。在示例中，该结构是指多个卷积层，并且不同的块具有相同数量的卷积层。
在实施例中，后置滤波NN的不同结构与不同的信号相对应。在示例中，用于对不同块进行后置滤波的后置滤波NN具有不同数量的卷积层。
在实施例中，基于R-D损失Lp与R-D损失L的比较来确定是否使用后置滤波模块对信号(例如，块或图像)进行后置滤波。在实施例中，基于不同后置滤波模块的不同R-D损失Lps的比较来选择具有最佳R-D性能(例如，最小R-D损失Lp)的后置滤波模块。
根据本申请的实施例，每个信号(例如，每个块或每个图像)与在后置滤波训练中基于该信号确定的后置滤波NN相对应。后置滤波NN可以独立于另一个后置滤波NN而被更新。例如，与第一信号相对应的后置滤波NN独立于与第二信号相对应的后置滤波NN而被更新。
根据本申请的实施例，可以基于与另一信号(例如，第一信号)相对应的后置滤波NN来更新与信号(例如，第二信号)相对应的后置滤波NN。在示例中，对与第一信号相对应的已编码码流中的第一后置滤波信息进行解码。第一后置滤波信息可以指示视频解码器中的后置滤波NN的第一参数。可以基于由第一后置滤波信息指示的第一参数来确定视频解码器中与第一信号相对应的后置滤波NN。在示例中，第一信号包括待重建的第一已编码块。可以基于与第一信号相对应的确定的后置滤波NN来解码第一信号。例如，重建第一信号，并且基于确定的后置滤波NN对重建的第一信号进行后置滤波。
与第一信号相对应的后置滤波NN中的至少一个参数可以用于更新与第二信号相对应的后置滤波NN。例如，同一图像的块中的像素分布可以是相似的，因此可以减小与不同块相对应的后置滤波器NN的要更新的至少一个参数。根据本申请的实施例，与第二信号相对应的已编码码流中的第二后置滤波信息可以被解码。第二后置滤波信息可以指示第二参数。第二信号不同于第一信号。可以基于第二参数来更新与第一信号相对应的后置滤波NN。更新的后置滤波NN与第二信号相对应，并且配置有第一参数和第二参数。可以基于与第二信号相对应的更新的后置滤波NN来解码(例如，后置滤波)第二信号。
在实施例中，可以将不同的后置滤波NN应用于具有不同大小的信号(例如，块或图像)。通常，后置滤波NN中的参数的数目可以随着信号(例如，块或图像)的大小(例如，宽度、高度或面积)而增加。
在实施例中，将不同的后置滤波NN应用于与不同压缩质量目标相对应的相同信号(例如，图像或块)。
NIC框架和后置滤波NN可以包括任何类型的神经网络，并且使用任何基于神经网络的图像压缩方法，诸如上下文-超先验(hyperprior)编码器-解码器框架、尺度-超先验编码器-解码器框架、高斯混合似然框架和高斯混合似然框架的变体、基于RNN的递归压缩方法和基于RNN的递归压缩方法的变体等。
与相关的E2E图像压缩方法相比，本申请中的后置滤波训练方法和装置可以具有以下益处。利用自适应在线训练机制来提高编解码效率。使用灵活和通用的框架可以适应各种类型的预训练框架和质量度量。例如，通过使用在线训练，后置滤波NN中的某些预训练参数可以被替换为要编码和传输的至少一个块或至少一个图像。
视频编码技术可以包括对重建样本执行的滤波操作，使得可以减少由有损压缩(诸如通过量化)引起的伪像。在一种这样的滤波操作中使用去块滤波过程，其中可以对两个相邻块之间的块边界(例如，边界区域)进行滤波，使得可以实现样本值从一个块到另一个块的更平滑的转变。
在一些相关示例(例如，HEVC)中，去块滤波过程可以被应用于与块边界相邻的样本。可以以与解码过程相同的顺序对每个CU执行去块滤波过程。例如，可以通过首先对图像的垂直边界执行水平滤波，然后对图像的水平边界执行垂直滤波来执行去块滤波过程。对于亮度分量和色度分量，滤波可以被应用于被确定为要滤波的8×8块边界。在示例中，不处理4×4块边界以便降低复杂度。
边界强度(BS)可以用于指示去块滤波过程的程度或强度。在实施例中，BS的值2指示强滤波，1指示弱滤波，并且0指示没有去块滤波。
可以使用任何合适的方法(诸如，本申请中的实施例)从已编码视频码流重建图像的块。例如，可以使用例如包括神经网络(例如，CNN)的视频解码器(例如，(1600B)、(1800)、(2000A)或(2000B))来重建块。可以使用不基于NN的视频解码器来重建块。根据本申请的一些实施例，可以利用至少一个后处理NN，对重建块的前两个相邻重建块的多个区域之一，执行后置滤波或后处理。前两个相邻重建块可以具有第一共享边界，并且包括在第一共享边界的两侧上具有样本的边界区域。前两个相邻重建块的多个区域可以包括边界区域和边界区域之外的非边界区域。可以利用前两个相邻重建块的多个区域中的后处理区域来替换多个区域中的一个。所执行的后处理可以是对边界区域进行去块，增强至少一个非边界区域，和/或，去块和增强的组合等。
可以使用一种或多种去块方法来减少块(例如，图像中的重建块)当中的伪像。为了减少块当中的伪像，诸如边界区域中的伪像，可以使用至少一个基于NN的去块模型。基于NN的去块模型可以是基于DNN的去块模型、基于CNN的去块模型等。基于NN的去块模型可以使用NN(诸如DNN或CNN等)来实现。
在实施例中，多个区域中的一个是边界区域。至少一个后处理NN包括至少一个去块NN，并且可以利用至少一个去块NN在边界区域上执行去块。边界区域可以用已去块边界区域替换。去块的示例在图21A至图21C、图22、图23和图26中示出。
图21A至图21C示出了根据本申请实施例的示例性去块过程(2100)。参考图21A，图像(2101)可以被分区成多个块(2111)-(2114)。为了简洁，在图21A中图示了四个大小相等的块(2111)-(2114)。通常，图像可以被分区成任何合适数量的块，并且块的大小可以不同或相同，并且描述可以被适当地修改。在一些示例中，可以通过去块来处理包括伪像的区域，例如由于将图像分区成块而引起的伪像。
在示例中，块(2111)-(2114)是来自主解码器网络(915)的重建块。重建块(2111)-(2114)的前两个相邻重建块可以包括由第一共享边界(2141)分开的块(2111)和(2113)。块(2111)和(2113)可以包括在第一共享边界(2141)的两侧上具有样本的边界区域A。参考图21A至图21B，边界区域A可以包括分别位于块(2111)和(2113)中的子边界区域A1和A2。
重建块(2111)-(2114)的两个相邻重建块可以包括由第二共享边界(2142)分开的块(2112)和(2114)。块(2112)和(2114)可以包括在第二共享边界(2142)的两侧上具有样本的边界区域B。参考图21A至图21B，边界区域B可以包括分别位于块(2112)和(2114)中的子边界区域B1和B2。
重建块(2111)-(2114)的两个相邻重建块可以包括由共享边界(2143)分开的块(2111)和(2112)。块(2111)和(2112)可以包括在共享边界(2143)的两侧上具有样本的边界区域C。参考图21A至图21B，边界区域C可以包括分别位于块(2111)和(2112)中的子边界区域C1和C2。
重建块(2111)-(2114)的两个相邻重建块可以包括由共享边界(2144)分开的块(2113)和(2114)。块(2113)和(2114)可以包括在共享边界(2144)的两侧上具有样本的边界区域D。参考图21A至图21B，边界区域D可以包括分别位于块(2113)和(2114)中的子边界区域D1和D2。
子边界区域A1-D1和A2-D2(以及边界区域A-D)可以具有任何合适的大小(例如，宽度和/或高度)。在图21A中所示的实施例中，子边界区域A1、A2、B1和B2具有相同的大小m×n，其中，n是块(2111)-(2114)的宽度，m是子边界区域A1、A2、B1和B2的高度。m和n两者是正整数。在示例中，m是四个像素或四个样本。因此，边界区域A和B具有相同的大小2m×n。子边界区域C1、C2、D1和D2具有相同的大小n×m，其中，n是块(2111)-(2114)的高度，m是子边界区域C1、C2、D1和D2的宽度。因此，边界区域C和D具有相同的大小n×2m。如以上描述的，子边界区域和边界区域可以具有不同的大小，诸如不同的宽度和/或不同的高度等。例如，子边界区域A1和A2可以具有不同的高度。在示例中，子边界区域C1和C2可以具有不同的宽度。边界区域A和B可以具有不同的宽度。边界区域C和D可以具有不同的高度。
参考图21A至图21B，边界区域A包括来自第一共享边界(2141)的块(2111)中的m行样本(例如，m排样本)和来自第一共享边界(2141)的块(2113)中的m行样本(例如，m排样本)。边界区域C包括来自共享边界(2143)的块(2111)中的m行样本(例如，m列样本)和来自共享边界(2143)的块(2112)中的m行样本(例如，m列样本)。
可以利用至少一个去块NN(诸如基于至少一个DNN、至少一个CNN或至少一个任何合适的NN的去块NN)对边界区域A-D中的至少一个执行去块。在示例中，至少一个去块NN包括去块NN(2130)。在示例中，使用包括至少一个卷积层的CNN来实现去块NN(2130)。去块NN(2130)可以包括在本申请中描述的至少一个附加层，诸如至少一个池化层、至少一个全连接层和/或至少一个归一化层等。去块NN(2130)中的层可以以任何合适的顺序和以任何合适的架构(例如，前馈架构、递归架构)布置。在示例中，卷积层之后是至少一个其它层，诸如至少一个池化层、至少一个全连接层和/或至少一个归一化层等。
可以利用去块NN(2130)在边界区域A-D上执行去块。边界区域A-D中的至少一个包括伪像。伪像可以由各个相邻块引起。边界区域A-D中的至少一个可以被发送到去块NN(2130)以减少伪像。因此，去块NN(2130)的输入包括边界区域A-D中的至少一个，并且来自去块NN(2130)的输出包括被去块的边界区域A-D中的至少一个。
参考图21B，边界区域A-D包括由各个相邻块引起的伪像。边界区域A-D可以被发送到去块NN(2130)以减少伪像。来自去块NN(2130)的输出包括已去块边界区域A’-D’。在示例中，与边界区域A-D中的伪像相比，已去块边界区域A’-D’中的伪像被减少。
参考图21B和图21C，图像(2101)中的边界区域A-D被更新，例如通过被已去块边界区域A’-D’替换。因此，图像(2150)被生成，并且包括已去块边界区域A’-D’和非边界区域(2121)-(2124)。
至少一个样本可以在多个边界区域中。当多个边界区域由对应的已去块边界区域替换时，可以使用任何合适的方法来确定至少一个共享样本之一的值。
参考图21A，样本S在边界区域A和C中。在获得边界区域A’和C’之后，可以使用以下方法来获得样本S的值。在示例中，边界区域A由已去块边界区域A’替换，并且随后边界区域C由已去块边界区域C’替换。因此，样本S的值由已去块边界区域C’中的样本S的值来确定。
在示例中，边界区域C由已去块边界区域C’替换，并且随后边界区域A由已去块边界区域A’替换。因此，样本S的值由已去块边界区域A’中的样本S的值来确定。
在示例中，样本S的值是通过已去块边界区域A’中的样本S的值与已去块边界区域C’中的样本S的值的平均值(例如，加权平均值)确定的。
边界区域可以包括多于两个块的样本。图22示出了根据本申请实施例的包括多于两个块的样本的边界区域的示例。单个边界区域AB可以包括边界区域A和B。边界区域AB可以包括在两个相邻重建块(2111)和(2113)之间的共享边界(2141)的两侧上的样本，并且包括在两个相邻重建块(2112)和(2114)之间的共享边界(2142)的两侧上的样本。单个边界区域CD可以包括边界区域C和D。边界区域CD可以包括在两个相邻重建块(2111)和(2112)之间的共享边界(2143)的两侧上的样本，并且包括在两个相邻重建块(2113)和(2114)之间的共享边界(2144)的两侧上的样本。
去块NN(诸如去块NN(2130))可以对边界区域AB和CD中的至少一个执行去块，以生成边界区域中的至少一个已去块边界区域。参考图22，边界区域AB和CD被发送到去块NN(2130)，并且生成已去块边界区域AB’和CD’。已去块边界区域AB’和CD’可以替换图像(2101)中的边界区域AB和CD，因此生成图像(2250)。图像(2250)可以包括已去块边界区域AB’-CD’和非边界区域(2121)-(2124)。
根据本申请的实施例，可以使用多模型去块方法。可以将不同的去块模型应用于不同类型或类别的边界区域，以去除伪像。可以应用分类模块来将边界区域分类成不同的类别。可以应用任何分类模块。在示例中，分类模块基于NN。在示例中，分类模块不基于NN。可以根据各个类别将边界区域发送到不同的去块模型。
在实施例中，至少一个去块NN包括分别基于不同去块模型实现的多个去块NN。可以确定将多个去块NN中的哪一个应用于边界区域。可以利用确定的去块NN对边界区域执行去块。在示例中，应用多个去块NN中的哪一个是由基于NN(例如，也被称为分类NN)(诸如DNN或CNN等)的分类模块来确定的。
图23示出了根据本申请实施例的基于多个去块模型的示例性去块过程(2300)。分类模块(2310)可以将边界区域A-D分类成至少一个类别。例如，边界区域C-D被分类成第一类别，边界区域B被分类成第二类别，并且边界区域A被分类成第三类别。不同的去块模型可以被应用于不同类别的边界区域。在图23中，去块NN(2330)可以用于执行去块，诸如基于多个去块模型(例如，去块模型1-L)的多模型去块。L是正整数。当L是1时，去块NN(2330)包括单个去块模型。当L大于1时，去块NN(2330)包括多个去块模型。
在示例中，去块模型1被应用于第一类别中的至少一个边界区域(例如，C和D)，并且生成至少一个已去块边界区域(例如，C”和D”)。将去块模型2应用于第二类别中的至少一个边界区域(例如，B)，并且生成至少一个已去块边界区域(例如，B”)。将去块模型3应用于第三类别中的至少一个边界区域(例如，A)，并且生成已去块边界区域(例如，A”)。已去块边界区域A”-D”可以替换图像(2101)中的对应边界区域A-D，因此生成图像(2350)。图像(2350)可以包括已去块边界区域A”-D”和非边界区域(2121)-(2124)。
可以应用任何合适的度量来对边界区域进行分类或归类。在示例中，根据边界区域的内容对边界区域进行分类。例如，具有高频内容(例如，具有相对大的方差的内容)的边界区域和具有低频内容(例如，具有相对小的方差的内容)的边界区域被分类成与不同去块模型相对应的不同类别。边界区域中的伪像的强度可以用于对边界区域进行分类。多模型去块方法可以被应用于任何合适的边界区域，诸如两个或更多个块之间的边界区域(例如，A、B、C、D、AB和/或CD)。边界区域的频率可以基于边界区域内的样本的最大差值来确定。在示例中，确定共享边界的第一侧中的第一边缘附近的样本的第一差值。在示例中，确定共享边界的第二侧中的第二边缘附近的样本的第二差值。在示例中，确定第一差值和第二差值。
可以应用去块NN(例如，图21B中的去块NN(2130)或图23中的去块NN(2330))来去除块当中的伪像。在示例中，可以对接近共享边界的样本或像素比更远离共享边界的样本(或像素)进行更多的去块。返回参考图21A，样本S比样本F更接近共享边界(2141)，因此样本S可以比样本F更多地被去块。
去块NN(例如，图21B中的去块NN(2130)或图23中的去块NN(2330))中的去块模型可以包括至少一个卷积层。例如，可以使用基于CNN的注意机制(例如，非本地注意、挤压和激励网络(SENet))和/或残差神经网络(ResNet)(例如，包括一组CNN或卷积神经网络(convnets)和激活函数)等。例如，可以例如通过将输出大小改变为与输入大小相同来使用图像超分辨率所使用的DNN。在图像超分辨率中，图像的分辨率可以从低分辨率提高到高分辨率。
以上描述了如何使用NN或其它基于学习的方法对至少一个边界区域执行去块。在一些示例中，视频编码器和/或视频解码器可以在基于NN的去块方法或非基于NN的去块方法之间进行选择。可以在各种级别上进行选择，诸如在条带级别、图片级别、图片群组和/或序列级别等。可以使用标志来发信号通知该选择。可以从边界区域的内容推断该选择。
除了本申请中描述的方法和实施例之外，视频编码器和/或视频解码器还可以应用各种级别的边界强度，例如，当对像素或样本的NN导出调整处于边界强度(BS)的默认级别时。通过分析边界条件和块编码特征，可以指配不同级别的BS来修改(例如，放大或减小)默认调整。
根据本申请的实施例，至少一个后处理NN可以包括至少一个增强NN。相邻重建块的非边界区域中的至少一个可以利用至少一个增强NN来增强。非边界区域中的至少一个可以用非边界区域中的增强的至少一个非边界区域替换。
可以将重建图像(例如，图21A中的图像(2101))发送到增强模块以生成增强图像(例如，最终重建图像)。在执行去块的一些实施例中，可以在通过使用去块NN减少伪像之后将重建图像发送到增强模块。为了增强图像的质量，可以在诸如图24中的后置增强NN(2430)的后置增强模块中使用基于NN的后置增强模型(例如，基于至少一个DNN或至少一个CNN的后置增强模型)。
图24示出了根据本申请实施例的示例性增强过程(2400)。在一些示例中，图像(2101)中的非边界区域(2121)-(2124)(例如，除边界区域A-D之外的剩余区域)不被发送到去块模块(例如，去块NN(2130))。在示例中，非边界区域(例如，非边界区域(2121))来自图像(例如，(2101))中的重建块(例如，(2111))，并且边界区域的大小可以是(n-m)×(n-m)。如参考图21A描述的，n是重建块(例如，(2111))的边长(例如，宽度和/或高度)，并且m是用于去块的子边界区域(例如，A1)的边长。至少一个非边界区域(2121)-(2124)可以被发送到增强模块以进一步提高非边界区域(2121)-(2124)中的至少一个非边界区域的质量。非边界区域中的增强的至少一个非边界区域可以替换图像中的非边界区域(2121)-(2124)中的至少一个。参考图24，将非边界区域(2121)-(2124)馈送到后置增强NN(2430)中，以生成增强的非边界区域(2121’)-(2124’)。增强的非边界区域(2121')-(2124')可以替换增强的非边界区域(2121)-(2124)以生成增强图像(2450)。
在示例中，非边界区域与边界区域重叠，使得非边界区域的一部分在边界区域中。在示例中，非边界区域是整个编码块。参考图24，块(2111)可以是非边界区域，因此非边界区域(2111)与诸如(2112)-(2113)的其它相邻块邻接。
在一些实施例中，至少一个增强NN分别基于多个增强模型(例如，后置增强模型)。可以例如通过分类模块来确定将多个增强模型中的哪一个应用于非边界区域。可以利用确定的增强模型来增强非边界区域。在示例中，应用多个增强模型中的哪一个是由基于NN(例如，也被称为分类NN)(诸如DNN或CNN等)的分类模块来确定的。在后置增强过程(例如，(2500))中使用的分类模块(例如，分类模块(2510))可以与在去块过程(例如，(2300))中使用的分类模块(例如，分类模块(2310))相同或不同。在后置增强过程中使用的分类模块(例如，分类模块(2510))可以包括NN(例如，DNN或CNN)。在示例中，在后置增强过程中使用的分类模块(例如，分类模块(2510))不包括NN。
图25示出了示例性增强过程(2500)，诸如根据本申请实施例的多模型后置增强模块。
分类模块(2510)可以将非边界区域(2121)-(2124)分类成至少一个类别。例如，非边界区域(2122)-(2123)被分类成第一类别，并且非边界区域(2121)和(2124)被分类成第二类别。可以将不同的增强模型(例如，后置增强模型)应用于不同类别的非边界区域。在图25中，增强NN(2530)可以用于执行增强，诸如基于多个增强模型(例如，增强模型1-J)的多模型增强。J是正整数。当J是1时，增强NN(2530)包括单个增强模型。当J大于1时，增强NN(2530)包括多个增强模型。
在示例中，将增强模型1应用于第一类别中的至少一个非边界区域(例如，(2122)-(2123))，并且生成至少一个增强的非边界区域(例如，(2122”)-(2123”))。将增强模型2应用于第二类别中的至少一个非边界区域(例如，(2121)和(2124))，并且生成至少一个增强的非边界区域(例如，(2121”)和(2124”))。增强的非边界区域(2121”)-(2124”)可以替换对应的非边界区域(2121)-(2124)，其中增强图像(2550)包括增强的非边界区域(2121”)-(2124”)和边界区域A-D。
可以应用任何合适的度量来对非边界区域进行分类或归类。在示例中，根据非边界区域的内容对非边界区域进行分类。例如，具有高频内容(例如，具有相对大的方差的内容)的非边界区域和具有低频内容(例如，具有相对小的方差的内容)的非边界区域被分类成与不同增强模型相对应的不同类别。
可以在块级增强图像，如参考图21至图25描述的。增强模型(例如，后置增强模型)可以增强整个图像。图26示出了根据本申请实施例的增强整个图像的示例性图像级增强过程(2600)。图像(2101)包括非边界区域(2121)-(2124)和边界区域A-D，如图21A中描述的。在示例中，如以上描述的，图像(2101)是包括重建块(2111)-(2114)的重建图像。可以减少边界区域中的伪像，并且可以用改进的视觉质量来增强非边界区域。
参考图26，可以将包括边界区域A-D和非边界区域(2121)-(2124)的图像(2101)馈送到增强模块(2630)中。增强模块(2630)可以例如通过对边界区域A-D进行去块来分别生成与边界区域A-D相对应的增强的边界区域E-H。增强模块(2630)可以生成分别与非边界区域(2121)-(2124)相对应的增强的非边界区域(2621)-(2624)。增强的边界区域E-H可以分别替换边界区域A-D，并且增强的非边界区域(2621)-(2624)可以分别替换非边界区域(2121)-(2124)，因此基于重建图像(2101)生成增强图像(2650)。
在示例中，基于图像的增强模块(2630)包括可以执行去块和增强两者的增强NN。在示例中，基于图像的增强模块(2630)包括可以执行增强的增强NN和可以执行去块的去块NN。
参考图24至图26描述的增强模块(例如，(2430)、(2530)和(2630))可以增强图像的质量。增强模块(例如，(2430)、(2530)和(2630))可以包括至少一个卷积层。可以使用基于CNN的注意机制(例如，非本地注意，SENet)和/或ResNet(例如，包括一组CNN或卷积神经网络(convnets)和激活函数)等。例如，可以例如通过将输出大小改变为与输入大小相同来使用图像超分辨率所使用的DNN。
图像中的边界区域和非边界区域可以由增强NN和去块NN以任何合适的顺序(诸如顺序地或同时地)处理。在示例中，边界区域由去块NN去块，并且随后，非边界区域由增强NN处理。在示例中，非边界区域由增强NN处理，并且随后边界区域由去块NN去块。
根据本申请的实施例，增强NN(例如，(2430)、(2530)或(2630))、去块NN(例如，(2130)或(2330))和/或分类NN(例如，(2310)或(2510))可以包括任何神经网络架构，可以包括任何数量的层，可以包括至少一个子神经网络(如在本申请中描述的)，并且可以利用任何合适的训练图像或训练块来训练。训练图像可以包括原始图像或包含残差数据的图像。训练块可以来自原始图像或包括残差数据的图像。
内容自适应在线训练可以被应用于更新增强NN(例如，(2430)、(2530)或(2630))、去块NN(例如，(2130)或(2330))和/或分类NN(例如，(2310)或(2510))之一中的至少一个预训练参数，如本申请中描述的。
增强NN(例如，(2430)、(2530)或(2630))、去块NN(例如，(2130)或(2330))和/或分类NN(例如，(2310)或(2510))可以被分别训练，例如，单个去块NN被训练以确定去块NN中的预训练参数。增强NN(例如，(2430)、(2530)或(2630))、去块NN(例如，(2130)或(2330))和/或分类NN(例如，(2310)或(2510))可以作为NIC框架中的部件来训练(预训练或在线训练)。例如，NIC框架(900)以及增强NN(例如，(2430)、(2530)或(2630))、去块NN(例如，(2130)或(2330))和/或分类NN(例如，(2310)或(2510))中的至少一个可以被联合训练。
在实施例中，后置滤波模块(1910)中的后置滤波NN可以包括增强NN(例如，(2430)、(2530)或(2630))、去块NN(例如，(2130)或(2330))和分类NN(例如，(2310)或(2510))中的至少一个。增强NN(例如，(2430)、(2530)或(2630))和去块NN(例如，(2130)或(2330))可以被应用于重建图像或重建块。
增强过程(例如，(2400)、(2500)或(2600))可以被称为后置增强过程，例如，当在块被重建之后执行增强过程时。出于相同的原因，增强模块(例如，(2430)、(2530)或(2630))可以被称为后置增强模块或后置增强NN。
在一些示例中，重建图像(2101)包括残差数据。
图27示出了概述根据本申请实施例的编码过程(2700)的流程图。过程(2700)可以用于对输入信号(例如，输入块或输入图像)进行编码。在各种实施例中，过程(2700)由处理电路执行，处理电路诸如终端设备(310)、(320)、(330)和(340)中的处理电路、执行视频编码器(例如，(403)、(603)、(703)、(1600A)或(1700))的功能的处理电路等。在示例中，处理电路执行功能的组合，诸如(i)视频编码器(403)、视频编码器(603)和视频编码器(703)之一，以及(ii)视频编码器(1600A)或视频编码器(1700)之一。在一些实施例中，过程(2700)以软件指令实现，因此当处理电路执行软件指令时，处理电路执行过程(2700)。该过程开始于(S2701)，并且进行到(S2710)。
在(S2710)处，使用任何合适的方法，基于输入信号(例如，x)，生成已编码信号(例如，
Figure BDA0003956482100000591
)。在示例中，如参考图9B和图19B描述的，基于输入信号x生成已编码信号
Figure BDA0003956482100000592
。输入信号可以是输入块或输入图像。
在(S2720)处，基于后置滤波训练中的重建信号(例如，
Figure BDA0003956482100000593
)，确定后置滤波模块(例如(1910))中后置滤波NN的至少一个参数。参考图19B，可以使用NIC框架(900)，基于已编码信号
Figure BDA0003956482100000594
生成重建信号
Figure BDA0003956482100000595
。可以在后置滤波模块(1910)中实现后置滤波训练，以确定后置滤波NN的至少一个参数。后置滤波NN可以配置有初始参数，并且初始参数中的至少一个初始参数可以在后置滤波训练中被迭代地更新。至少一个初始参数可以由至少一个参数替换。
在(S2730)处，对指示后置滤波NN的至少一个参数的后置滤波信息进行编码。后置滤波信息与已编码信号
Figure BDA0003956482100000601
相对应。在一些示例中，可以在已编码视频码流中传输已编码信号
Figure BDA0003956482100000602
和后置滤波信息。该过程(2700)进行到(S2799)，并且结束。
过程(2700)可以适当地适于各种场景，并且过程(2700)中的步骤可以相应地被调整。过程(2700)中的步骤中的至少一个可以被修改、省略、重复和/或组合。可以使用任何合适的顺序来实现过程(2700)。可以增加至少一个附加步骤。
图28示出了概述根据本申请实施例的解码过程(2800)的流程图。过程(2800)可以用于已编码信号(例如，已编码块或已编码图像)的重建和后置滤波。在各种实施例中，过程(2800)由处理电路执行，处理电路诸如终端设备(310)、(320)、(330)和(340)中的处理电路、执行视频解码器(1600B)的功能的处理电路、执行视频解码器(例如，(2000A)或(2000B))的功能的处理电路。在示例中，处理电路执行功能的组合，诸如(i)视频解码器(410)、视频解码器(510)和视频解码器(810)之一，以及(ii)视频解码器(2000A)或视频解码器(2000B)之一。在一些实施例中，过程(2800)以软件指令实现，因此当处理电路执行软件指令时，处理电路执行过程(2800)。该过程开始于(S2801)，并且进行到(S2810)。
在(S2810)处，对与已编码视频码流中第一已编码信号相对应的第一后置滤波信息进行解码。第一已编码信号可以是已编码块或已编码图像。第一后置滤波信息可以指示视频解码器中的第一参数(例如，第一后置滤波参数)。后置滤波NN可以由视频解码器(例如，(2000A)或(2000B))中的后置滤波模块(例如，(1910))来实现。
在示例中，第一已编码信号包括待重建的第一编码图像，第一后置滤波信息与第一已编码图像相对应。
在示例中，第一后置滤波信息进一步与待重建的第二已编码图像相对应。
第一参数(例如，第一后置滤波参数)可以是后置滤波NN中的偏置项或权重系数。在示例中，基于后置滤波NN中的偏置项或权重系数，更新第一后置滤波参数。
第一后置滤波信息可以以各种方式指示后置滤波NN的至少一个参数。在示例中，后置滤波NN配置有初始参数。第一后置滤波信息指示第一参数与初始参数中的一个初始参数之间的差值，第一参数可以根据该差值与该初始参数中的一个初始参数的和来确定。在另一示例中，第一后置滤波信息直接指示至少一个参数。
在示例中，后置滤波NN中的层的数目取决于第一已编码信号的大小(例如，宽度、高度或面积)。
在示例中，后置滤波NN中层的数目取决于步长，或，与至少一个块中的不同块相对应的步长的数目。
在示例中，接收图像或视频，所述图像或视频包括至少一个块。对与图像或视频中待重建的至少一个块相对应的第一后置滤波参数进行解码。第一后置滤波参数可以应用于至少一个块中的一个或多个。第一后置滤波参数已经由后置滤波NN中的后置滤波模块进行更新，基于训练数据集训练后置滤波NN。
在(S2820)处，基于例如由第一后置滤波信息指示的第一参数(例如，第一后置滤波参数)，确定视频解码器中与第一已编码信号相对应的后置滤波NN。例如，利用第一参数(例如，第一后置滤波参数)，对为后置滤波NN配置的初始参数中的至少一个进行更新(例如，替换)。
在(S2830)处，基于与第一已编码信号相对应的后置滤波NN，对第一已编码信号进行解码。可以重建第一已编码信号以生成重建信号。可以基于确定的后置滤波NN，对重建信号进行后置滤波，以生成后置滤波信号。
在示例中，第一已编码信号包括已编码块，该已编码块可以被重建。可以基于确定的后置滤波NN，对重建块进行后置滤波，以生成后置滤波块。
在示例中，第一已编码信号包括第一已编码图像，并且基于与第一已编码图像相对应的后置滤波NN，对第一已编码图像进行解码。
在示例中，基于与第一已编码图像相对应的后置滤波NN，对第二已编码图像进行解码。
该过程(2800)进行到(S2899)，并且结束。
过程(2800)可以适当地适于各种场景，并且过程(2800)中的步骤可以相应地被调整。过程(2800)中的步骤中的至少一个可以被修改、省略、重复和/或组合。可以使用任何合适的顺序来实现过程(2800)。可以增加至少一个附加步骤。
在示例中，对图像或视频中与至少一个块相对应的第二后置滤波参数进行解码。可以基于第二后置滤波参数，确定后置滤波NN。第二后置滤波参数可以应用于至少一个块中的第二块。第二块可以与至少一个块中的一个或多个不同。第二后置滤波参数已经由后置滤波NN中的后置滤波模块更新。
第一后置滤波参数可以不同于第二后置滤波参数，第一后置滤波参数自适应于至少一个块中第一块的内容，第二后置滤波参数自适应于第二块的内容。第一块可以不同于第二块。
可以基于至少一个块中第一块的内容，确定第一后置滤波参数，并且可以基于第二块的内容，确定第二后置滤波参数。
在示例中，第一后置滤波参数与待重建的第二图像相对应，并且基于确定的后置滤波NN，对第二图像进行解码。
在示例中，对已编码视频码流中与第二已编码信号相对应的第二后置滤波信息进行解码。第二后置滤波信息指示第二参数。第二已编码信号不同于第一已编码信号。可以基于第二参数，更新与第一已编码信号相对应的后置滤波NN。更新的后置滤波NN与第二已编码信号相对应，并且可以配置有第一参数和第二参数。第一参数和第二参数可以包括(i)两个不同的权重系数，(ii)两个不同的偏置，或(iii)更新的后置滤波NN的权重系数和偏置。可以基于与第二已编码信号相对应的更新后的后置滤波NN，对第二已编码信号进行解码。
在示例中，在(i)后置滤波NN的单个层、(ii)后置滤波NN的多层或(iii)后置滤波NN的所有层中，更新第一后置滤波参数。
本申请中的实施例可以单独使用或以任何顺序组合使用。进一步地，方法(或实施例)、编码器和解码器中的每一个可以通过处理电路(例如，至少一个处理器或至少一个集成电路)来实现。在一个示例中，至少一个处理器执行存储在非易失性计算机可读存储介质中的程序。
本申请不对用于编码器(诸如基于神经网络的编码器)、解码器(诸如基于神经网络的解码器)的方法施加任何限制。在编码器和/或解码器等中使用的至少一个神经网络可以是任何合适类型的至少一个神经网络，诸如DNN和CNN等。
因此，本申请的内容自适应在线训练方法可以适应不同类型的NIC框架，例如不同类型的编码DNN、解码DNN、编码CNN和/或解码CNN等。
上述技术可以通过计算机可读指令实现为计算机软件，并且物理地存储在至少一个计算机可读存储介质中。例如，图29示出了计算机***(2900)，其适于实现所公开主题的某些实施例。
所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由至少一个计算机中央处理单元(CPU)，图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。
所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。
图29所示的用于计算机***(2900)的组件本质上是示例性的，并不用于对实现本申请实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机***(2900)的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。
计算机***(2900)可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对至少一个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
人机界面输入设备可包括以下中的至少一个(仅绘出其中一个)：键盘(2901)、鼠标(2902)、触控板(2903)、触摸屏(2910)、数据手套(未示出)、操纵杆(2905)、麦克风(2906)、扫描仪(2907)、照相机(2908)。
计算机***(2900)还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激至少一个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏(2910)、数据手套(未示出)或操纵杆(2905)的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如，扬声器(2909)、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕(2910)，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。
计算机***(2900)还可以包括人可访问的存储设备及其相关介质，如包括具有CD/DVD的高密度只读/可重写式光盘(CD/DVD ROM/RW)(2920)或类似介质(2921)的光学介质、拇指驱动器(2922)、可移动硬盘驱动器或固体状态驱动器(2923)，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备，等等。
本领域技术人员还应当理解，结合所公开的主题使用的术语“计算机可读存储介质”不包括传输介质、载波或其它瞬时信号。
计算机***(2900)还可以包括通往至少一个通信网络(2955)的接口(2954)。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、***、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或***总线(2949)(例如，计算机***(2900)的USB端口)；其它***通常通过连接到如下所述的***总线集成到计算机***(2900)的核心(例如，以太网接口集成到PC计算机***或蜂窝网络接口集成到智能电话计算机***)。通过使用这些网络中的任何一个，计算机***(2900)可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机***。上述的每个网络和网络接口可使用某些协议和协议栈。
上述的人机界面设备、人可访问的存储设备以及网络接口可以连接到计算机***(2900)的核心(2940)。
核心(2940)可包括至少一个中央处理单元(CPU)(2941)、图形处理单元(GPU)(2942)、以现场可编程门阵列(FPGA)(2943)形式的专用可编程处理单元、用于特定任务的硬件加速器(2944)、图形适配器(2950)等。这些设备以及只读存储器(ROM)(2945)、随机存取存储器(2946)、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)(2947)等可通过***总线(2948)进行连接。在某些计算机***中，可以以至少一个物理插头的形式访问***总线(2948)，以便可通过额外的中央处理单元、图形处理单元等进行扩展。***装置可直接附接到核心的***总线(2948)，或通过***总线(2949)进行连接。在一示例中，屏幕(2910)可以连接到图形适配器(2950)。***总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。
CPU(2941)、GPU(2942)、FPGA(2943)和加速器(2944)可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM(2945)或RAM(2946)中。过渡数据也可以存储在RAM(2946)中，而永久数据可以存储在例如内部大容量存储器(2947)中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与至少一个CPU(2941)、GPU(2942)、大容量存储器(2947)、ROM(2945)、RAM(2946)等紧密关联。
所述计算机可读存储介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
作为实施例而非限制，具有体系结构(2900)的计算机***，特别是核心(2940)，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在至少一个有形的计算机可读存储介质中的软件的功能。这种计算机可读存储介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心(2940)的特定存储器，例如核心内部大容量存储器(2947)或ROM(2945)。实现本申请的各种实施例的软件可以存储在这种设备中并且由核心(2940)执行。根据特定需要，计算机可读存储介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心(2940)特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM(2946)中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机***可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器(2944))中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读存储介质的引用可包括存储执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本申请包括任何合适的硬件和软件组合。
附录A：首字母缩略词
JEM：联合开发模式
VVC：通用视频编码
BMS：基准集合
MV：运动向量
HEVC：高效视频编码
SEI：补充增强信息
VUI：视频可用性信息
GOP：图片组
TU：变换单元
PU：预测单元
CTU：编码树单元
CTB：编码树块
PB：预测块
HRD：假设参考解码器
SNR：信噪比
CPU：中央处理单元
GPU：图形处理单元
CRT：阴极射线管
LCD：液晶显示
OLED：有机发光二极管
CD：光盘
DVD：数字化视频光盘
ROM：只读存储器
RAM：随机存取存储器
ASIC：专用集成电路
PLD：可编程逻辑设备LAN：局域网
GSM：全球移动通信***
LTE：长期演进
CANBus：控制器局域网络总线
USB：通用串行总线
PCI：***设备互连
FPGA：现场可编程门阵列
SSD：固态驱动器
IC：集成电路
CU：编码单元
NIC：神经网络图像压缩
R-D：率失真
E2E：端到端
ANN：人工神经网络
DNN：深度神经网络
CNN：卷积神经网络
虽然本申请已对多个示例性实施例进行了描述，但实施例的各种变更、排列和各种等同替换均属于本申请的范围内。因此应理解，本领域技术人员能够设计多种***和方法，所述***和方法虽然未在本文中明确示出或描述，但其体现了本申请的原则，因此属于本申请的精神和范围之内。

Claims (20)

1.一种视频解码器中的视频解码方法，其特征在于，所述方法包括：
接收图像或者视频，所述图像或者视频包括至少一个块；
对所述图像或者视频中与待重建的所述至少一个块相对应的第一后置滤波参数进行解码，其中，所述第一后置滤波参数应用于所述至少一个块中的一个或多个块，所述第一后置滤波参数已经由后置滤波神经网络NN中的后置滤波模块更新，基于训练数据集训练所述后置滤波NN；
基于所述第一后置滤波参数，确定所述视频解码器中与所述至少一个块相对应的所述后置滤波NN；及，
基于所确定的与所述至少一个块相对应的所述后置滤波NN，对所述至少一个块进行解码。
2.根据权利要求1所述的方法，其特征在于，进一步包括：
对所述图像或视频中与所述至少一个块相对应的第二后置滤波参数进行解码；
进一步基于第二后置滤波参数，确定所述后置滤波NN；
其中，所述第二后置滤波参数应用于所述至少一个块中的第二块，
所述第二块与所述至少一个块中的所述一个或多个块不同，
所述第二后置滤波参数已经由所述后置滤波NN中的所述后置滤波模块进行更新。
3.根据权利要求1所述的方法，其特征在于，所述第一后置滤波参数与待重建的第二图像相对应，所述方法进一步包括：
基于确定的所述后置滤波NN，对所述第二图像进行解码。
4.根据权利要求2所述的方法，其特征在于，所述第一后置滤波参数不同于所述第二后置滤波参数，所述第一后置滤波参数自适应于所述至少一个块中第一块的内容，所述第二后置滤波参数自适应于所述第二块的内容。
5.根据权利要求1所述的方法，其特征在于，基于所述后置滤波NN中的偏置项或权重系数，更新所述第一后置滤波参数。
6.根据权利要求1所述的方法，其特征在于，所述后置滤波NN配置有初始参数；
所述确定所述后置滤波NN包括：利用所述第一后置滤波参数，更新所述初始参数中的至少一个。
7.根据权利要求6所述的方法，其特征在于，与所述至少一个块对应的编码信息指示所述第一后置滤波参数与所述初始参数中的一个初始参数之间的差值，所述方法进一步包括：
根据所述差值与所述初始参数中的一个初始参数的和，确定所述第一后置滤波参数。
8.根据权利要求1所述的方法，其特征在于，在(i)所述后置滤波NN的单个层、(ii)所述后置滤波NN的多层，或(iii)所述后置滤波NN的所有层中，更新所述第一后置滤波参数。
9.根据权利要求1所述的方法，其特征在于，所述后置滤波NN中层的数目取决于步长，或，与所述至少一个块中的不同块相对应的步长的数量。
10.一种视频解码装置，其特征在于，包括：
处理电路，用于：
接收图像或者视频，所述图像或者视频包括至少一个块；
对所述图像或者视频中与待重建的所述至少一个块相对应的第一后置滤波参数进行解码，其中，所述第一后置滤波参数应用于所述至少一个块中的一个或多个块，所述第一后置滤波参数已经由后置滤波神经网络NN中的后置滤波模块更新，基于训练数据集训练所述后置滤波NN；
基于所述第一后置滤波参数，确定所述视频解码器中与所述至少一个块相对应的所述后置滤波NN；及，
基于所确定的与所述至少一个块相对应的所述后置滤波NN，对所述至少一个块进行解码。
11.根据权利要求10所述的装置，其特征在于，所述处理电路用于：
对所述图像或视频中与所述至少一个块相对应的第二后置滤波参数进行解码；
进一步基于第二后置滤波参数，确定所述后置滤波NN；
其中，所述第二后置滤波参数应用于所述至少一个块中的第二块，
所述第二块与所述至少一个块中的所述一个或多个块不同，
所述第二后置滤波参数已经由所述后置滤波NN中的所述后置滤波模块进行更新。
12.根据权利要求10所述的装置，其特征在于，所述第一后置滤波参数与待重建的第二图像相对应，所述处理电路用于：
基于确定的所述后置滤波NN，对所述第二图像进行解码。
13.根据权利要求11所述的装置，其特征在于，所述第一后置滤波参数不同于所述第二后置滤波参数，所述第一后置滤波参数自适应于所述至少一个块中第一块的内容，所述第二后置滤波参数自适应于所述第二块的内容。
14.根据权利要求10所述的装置，其特征在于，基于所述后置滤波NN中的偏置项或权重系数，更新所述第一后置滤波参数。
15.根据权利要求10所述的装置，其特征在于，所述后置滤波NN配置有初始参数；
所述处理电路用于：利用所述第一后置滤波参数，更新所述初始参数中的至少一个。
16.根据权利要求15所述的装置，其特征在于，与所述至少一个块对应的编码信息指示所述第一后置滤波参数与所述初始参数中的一个初始参数之间的差值，所述处理电路用于：
根据所述差值与所述初始参数中的一个初始参数的和，确定所述第一后置滤波参数。
17.根据权利要求10所述的装置，其特征在于，在(i)所述后置滤波NN的单个层、(ii)所述后置滤波NN的多层，或(iii)所述后置滤波NN的所有层中，更新所述第一后置滤波参数。
18.根据权利要求10所述的装置，其特征在于，所述后置滤波NN中层的数目取决于步长，或，与所述至少一个块中的不同块相对应的步长的数量。
19.一种非暂时性计算机可读存储介质，其特征在于，其上存储有指令，当所述指令由至少一个处理执行时，实现：
接收图像或者视频，所述图像或者视频包括至少一个块；
对所述图像或者视频中与待重建的所述至少一个块相对应的第一后置滤波参数进行解码，其中，所述第一后置滤波参数应用于所述至少一个块中的一个或多个块，所述第一后置滤波参数已经由后置滤波神经网络NN中的后置滤波模块更新，基于训练数据集训练所述后置滤波NN；
基于所述第一后置滤波参数，确定所述视频解码器中与所述至少一个块相对应的所述后置滤波NN；及，
基于所确定的与所述至少一个块相对应的所述后置滤波NN，对所述至少一个块进行解码。
20.根据权利要求19所述的非暂时性计算机可读存储介质，其特征在于，所述指令由至少一个处理执行时，实现：
对所述图像或视频中与所述至少一个块相对应的第二后置滤波参数进行解码；
进一步基于第二后置滤波参数，确定所述后置滤波NN；
其中，所述第二后置滤波参数应用于所述至少一个块中的第二块，
所述第二块与所述至少一个块中的所述一个或多个块不同，
所述第二后置滤波参数已经由所述后置滤波NN中的所述后置滤波模块进行更新。
CN202280004506.2A 2021-05-27 2022-05-24 用于后滤波的内容自适应在线训练方法及装置 Pending CN115956363A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163194057P 2021-05-27 2021-05-27
US63/194,057 2021-05-27
US17/749,641 US11979565B2 (en) 2021-05-27 2022-05-20 Content-adaptive online training method and apparatus for post-filtering
US17/749,641 2022-05-20
PCT/US2022/072529 WO2022251828A1 (en) 2021-05-27 2022-05-24 Content-adaptive online training method and apparatus for post-filtering

Publications (1)

Publication Number Publication Date
CN115956363A true CN115956363A (zh) 2023-04-11

Family

ID=84194503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280004506.2A Pending CN115956363A (zh) 2021-05-27 2022-05-24 用于后滤波的内容自适应在线训练方法及装置

Country Status (6)

Country Link
US (1) US11979565B2 (zh)
EP (1) EP4128764A4 (zh)
JP (1) JP2023532397A (zh)
KR (1) KR20230010259A (zh)
CN (1) CN115956363A (zh)
WO (1) WO2022251828A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11811429B2 (en) * 2019-10-15 2023-11-07 Tencent America LLC Variational dropout with smoothness regularization for neural network model compression
US20240121443A1 (en) * 2022-10-06 2024-04-11 Sharp Kabushiki Kaisha Systems and methods for signaling neural network post-filter information updates in video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3651462A1 (en) * 2018-11-12 2020-05-13 Samsung Electronics Co., Ltd. Display apparatus and method of scaling the image resolution
WO2020192034A1 (zh) * 2019-03-24 2020-10-01 Oppo广东移动通信有限公司 滤波方法及装置、计算机存储介质
US20200311551A1 (en) * 2019-03-25 2020-10-01 Nokia Technologies Oy Compressing weight updates for decoder-side neural networks
US20210021823A1 (en) * 2018-02-23 2021-01-21 Sk Telecom Co., Ltd. Apparatus and method for applying artificial neural network to image encoding or decoding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
US10284432B1 (en) 2018-07-03 2019-05-07 Kabushiki Kaisha Ubitus Method for enhancing quality of media transmitted via network
US11412262B2 (en) * 2019-06-24 2022-08-09 Qualcomm Incorporated Nonlinear extensions of adaptive loop filtering for video coding
JP2021072540A (ja) 2019-10-30 2021-05-06 キヤノン株式会社 画像符号化装置、復号装置、伝送システム、及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210021823A1 (en) * 2018-02-23 2021-01-21 Sk Telecom Co., Ltd. Apparatus and method for applying artificial neural network to image encoding or decoding
EP3651462A1 (en) * 2018-11-12 2020-05-13 Samsung Electronics Co., Ltd. Display apparatus and method of scaling the image resolution
WO2020192034A1 (zh) * 2019-03-24 2020-10-01 Oppo广东移动通信有限公司 滤波方法及装置、计算机存储介质
US20200311551A1 (en) * 2019-03-25 2020-10-01 Nokia Technologies Oy Compressing weight updates for decoder-side neural networks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MISKA M. HANNUKSELA等: "AHG9: On post-filter SEI（JVET-V0058）", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29 22ND MEETING, BY TELECONFERENCE, 20–28 APR. 2021》, 13 April 2021 (2021-04-13) *
YAT-HONG LAM等: "AHG11: Content-adaptive neural network post-processing filter（JVET-V0075）", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29 22ND MEETING, BY TELECONFERENCE, 20–28 APR. 2021》, 21 April 2021 (2021-04-21), pages 1 - 5 *

Also Published As

Publication number Publication date
KR20230010259A (ko) 2023-01-18
EP4128764A1 (en) 2023-02-08
EP4128764A4 (en) 2023-09-06
US11979565B2 (en) 2024-05-07
JP2023532397A (ja) 2023-07-28
WO2022251828A1 (en) 2022-12-01
US20220385896A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
JP7434604B2 (ja) ニューラル画像圧縮における画像置換を用いたコンテンツ適応型オンライン訓練
CN116349225B (zh) 视频解码方法和装置、电子设备和存储介质
US11979565B2 (en) Content-adaptive online training method and apparatus for post-filtering
JP7368639B2 (ja) ビデオ符号化のための方法、装置及びコンピュータプログラム
JP7443564B2 (ja) ビデオデコーディングの方法、装置、及びコンピュータプログラム、並びにビデオエンコーディングの方法
US20220360770A1 (en) Block-wise content-adaptive online training in neural image compression with post filtering
US11889112B2 (en) Block-wise content-adaptive online training in neural image compression
US20220353521A1 (en) Method and apparatus for content-adaptive online training in neural image compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40084466

Country of ref document: HK