CN112544078A - 用于虚拟边界的环内滤波的方法和设备 - Google Patents

Abstract

公开了用于虚拟边界的环内滤波的方法和设备。具体地，公开了对包含一个或更多个虚拟边界的图像(例如360度虚拟现实(VR360)视频)进行编解码的方法和设备。根据该方法，接收与当前重建后像素的环路滤波器相关联的重建后滤波单元。向当前重建后像素应用与环路滤波器相关联的环路滤波处理，以生成已滤波重建后像素，其中，如果当前重建后像素的环路滤波处理跨该图像的虚拟边界，则在使用固定尺寸环路滤波时禁用环路滤波处理，或者在将自我调整尺寸环路滤波用于当前重建后像素时选择较小尺寸的环路滤波器，其中，当禁用环路滤波处理时，已滤波重建后像素和当前重建后像素相同。

Description

用于虚拟边界的环内滤波的方法和设备

技术领域

本发明涉及对包含一个或更多个虚拟边界的图像(例如360度虚拟现实(VR360)图像)进行图像处理。特别地，本发明涉及对于包含一个或更多个虚拟边界的图像(例如VR360视频编解码)，在不连续边界或虚拟边界处进行环内滤波处理(in-loop filteringprocess)。

背景技术

360度视频(也称为沉浸式视频(immersive video))是一项新兴的技术，该技术可以提供“当下的感觉(feeling as sensation of present)”。通过利用覆盖全景的环绕场景(特别是360度视野)包围用户来实现沉浸感。立体呈现可以进一步改善“当下的感觉”。因此，将全景视频广泛用于虚拟现实(VR)应用中。

可以使用360度球形全景摄像机，或者被设置成覆盖环绕360度的所有视野的多张图像来捕获360度虚拟现实(VR)图像。三维(3D)球形图像很难使用常规的图像/视频处理装置来进行处理或存储。因此，通常使用3D到2D投影方法(例如等距矩形(EquiRectangular)投影(ERP)和立方体贴图(CubeMap)投影(CMP))将360度VR图像转换成二维(2D)格式。除了ERP和CMP投影格式外，还有各种其它的VR投影格式，例如OctaHedron投影(OHP)、二十面体投影(ISP)、分段球形投影(SSP)和旋转球形投影(RSP)在本领域中是广泛使用的。

与常规的2D视频序列相比，VR360视频序列通常需要更多的存储空间。因此，通常将视频压缩应用于VR360视频序列，以减少用于存储的存储空间或用于流播/传输的比特率。

高效视频编解码(HEVC)标准是在ITU-T视频编解码专家组(VCEG：Video CodingExperts Group)和ISO/IEC运动图像专家组(MPEG：Moving Picture Experts Group)标准化组织的联合视频项目下开发的，尤其是具有称为视频编解码联合协作团队(JCT-VC：joint Collaborative Team on Video Coding)的合作关系。可以使用HEVC对VR360视频序列进行编解码。然而，本发明也可以适用于其它编解碼方法。

在HEVC中，将一个片段分区为多个编码树单元(CTU：coding tree unit)。对于彩色图像，可以将彩色片段分区成多个编码树块(CTB:coding tree block)。将CTU进一步分区成多个编码单元(CU：coding unit)，以适应各种局部特征。HEVC支持多种帧内(Intra)预测模式，并且对于帧内编码的CU，用信号通知所选择的帧内预测模式。除了编码单元的概念，HEVC中还引入了预测单元(PU：prediction unit)的概念。一旦进行了CU层次树的拆分后，根据预测类型和PU分区，将各个叶级CU进一步拆分成一个或更多个预测单元(PU)。在预测之后，将与CU相关联的残余项(residue)分区成变换块，命名为用于变换处理的变换单元(TU)。

虽然编码处理可以有效减少传输所需的带宽或存储所需的容量，但编码处理通常会引入称为编码伪像(coding artefact)的编码噪声。为了减轻编码伪像，已经引入了各种滤波技术，例如去块滤波器(de-blocking filter)、SAO(样本自适应偏移，sampleadaptive offset)以及ALF(自我调整环路滤波器，adaptive loop filter)。通常将滤波处理应用于重建后图像，随后将该重建后图像用作参考图像。换句话说，滤波处理处于编码环路内部。因此，这种滤波处理也称为环内滤波。

在HEVC中，在重建图像之后应用去块滤波器。对编码单元、预测单元或变换单元之间的边界进行滤波，以减轻因基于块的编码而造成的块状伪像。边界可以是垂直边界或水平边界。分别如图1A和图1B所示的垂直边界(110)和水平边界(120)的去块滤波处理中涉及到边界像素。对于垂直边界(即，图1A中的线110)，将水平滤波器应用于各条水平线上的一些边界样本。例如，可以将水平去块滤波器应用于垂直边界左侧的p00、p01以及p02和垂直边界右侧的q00、q01以及q02。类似地，对于水平边界(即，图1B中的线120)，将垂直滤波器应用于各条垂直线上的一些边界样本。例如，可以将垂直去块滤波器应用于水平边界上侧的p00、p01以及p02和水平边界下侧的q00、q01以及q02。换句话说，沿垂直于边界的方向来应用去块滤波器。

边界强度值Bs是针对每四个样本的长度边界来进行计算的，并且可以取3个可能的值。亮度(Luma)分量和色度(chroma)分量在去块处理中是分开处理的。对于亮度分量，可以仅对具有等于1或2的Bs值的块边界进行滤波。对于色度分量的情况来说，可以仅对具有等于2的Bs值的边界进行滤波。

对于亮度分量，针对每四个样本长度边界来检查附件条件，以确定是否应当应用去块滤波，并且进一步确定如果应用了去块，那么是应用常规的滤波器还是应用强滤波器。

对于常规滤波模式下的亮度分量，可以对边界的各侧的两个样本进行修改。在强滤波模式下，可以对边界的各侧的三个样本进行修改。

对于色度分量，当边界强度大于1时，可以仅对边界的各侧的一个样本进行修改。

开发了SAO处理来补偿因编码处理而造成的强度水平偏移。HEVC采用的SAO处理包含两种方法。其中，一种方法是带偏移(BO：Band Offset)，另一种方法是边缘偏移(EO：EdgeOffset)。BO用于根据像素强度将像素分类成多个带，接着将偏移应用于一个或更多个带中的像素。EO用于根据当前像素与相邻的近邻像素之间的关系将像素分类成多个类别，接着将偏移应用于各个类别的像素。有4种EO方向模式(0°、90°、135°和45°)，并且不进行处理(关闭(OFF))。图2中示出了这四种EO类型。

当对区域中的所有像素进行分类时，对于各个类别的像素，汇出并传输一个偏移量。将SAO处理应用于亮度分量和色度分量，并且这些分量中的各个分量是独立处理的。除EO的类别4外，其它各个类别的所有像素汇出一个偏移量，其中类别4被强制使用了零偏移。下表1列出了EO像素分类，其中“C”表示待分类的像素。如表1所示，与对类别进行确定相关联的条件涉及：根据EO类型将当前像素值与两个相应的近邻值进行比较。可以根据比较结果来确定类别(即，“>”、“<”或“＝”)。各个类别在当前像素和相邻的像素之间的相对强度方面都有特殊含义。例如，类别0对应于“谷”，其中，中心像素的强度低于两个相邻的像素的强度。类别3对应于“峰”，其中，中心像素的强度高于两个相邻的像素的强度。类别1和类别2分别对应于具有向上斜率(类别2)或向下斜率(类别1)的平面段。

表1

自我调整环路滤波器(ALF)是将自我调整滤波器尺寸应用于重建后像素的滤波器。在HEVC标准开发期间对ALF进行了评估，但对HEVC并未采用ALF。然而，命名为VVC(通用视频编解码，Versatile Video Coding)的新兴的视频编解码标准正在考虑使用ALF。为了优化性能，ALF使用Wiener滤波技术来汇出滤波器系数。而且，对于不同的图像区域允许多个滤波器。例如，ALF可以是5x5滤波器或7x7滤波器，如图3所示，其中“C”表示正被滤波的当前重建后像素。

根据常规的方法，将环路滤波器(例如去块、SAO以及ALF)应用于重建后VR360图像，而无需考虑VR360图像中的可能的不连续边界。例如，基于立方体贴图的投影使用立方体上的六个面来表示VR360视频中的一个帧。这六个面对应于从该立方体展开并适配成不同的布局(例如1x6、6x1、2x3或者3x2的布局)的面。在各种立方体贴图布局中，3x2布局因其编码效率而经常被使用。图4示出了3x2立方体贴图布局形式的示例。布局410对应于从立方体展开的六个面，其中图像412对应于正面，连接至图像412左侧的三个图像414在水平方向上对应于连接至正面412的其它三个表面，图像416对应于立方体顶部的面，而图像418对应于立方体底部的面。因此，包括图像414和图像412的四个图像在水平方向上是连续的，而包括图像416、图像412以及图像418的三个图像在垂直方向上是连续的。4x3布局410包含一些空白区域，这对于编解码是无效的。布局420对应于3x2立方体贴图布局，其中，三个图像414和三个垂直连接的图像(图像416、412以及418)是毗连的。与三个图像414相对应的上方的子帧在水平方向上是连续的。而且，与三个图像412、416以及418相对应的下方的子帧在水平方向上是连续的。然而，上方的子帧和下方的子帧之间的边界422是不连续的。换句话说，与来自3D投影的布局格式相对应的VR360图像可以在图像内包含不连续边界。

除了VR360图像，其它的图像格式也可能在图像中包含不连续边界。例如，画中画(PIP：Picture-In-Picture)格式是一种流行的格式，可以在同一屏幕上同时显示两个视频(例如主视频和副视频)。因此，对于各个PIP帧，与所述两个视频关联的图像之间可能存在不连续性。VR360图像以及PIP帧中存在有跨不连续边界的环路滤波处理问题。

图5A至图5C例示了应用于重建后VR360图像的环内滤波器的示例。图5A例示了去块滤波器的示例，其中，将去块滤波器应用于当前块510。将去块滤波器应用于当前块510与上方的相邻的块512之间的水平边界516。还将去块滤波器应用于当前块510与左侧的相邻的块514之间的垂直边界518。

图5B例示了SAO处理的示例。基于各个编码树单元(CTU)520的统计信息来导出偏移补偿参数。在统计信息推导期间，将BO和EO分类应用于所有像素。对于各个BO和EO类别，确定偏移值。在收集CTU的统计信息之后，可以将SAO应用于CTU中的重建后像素。

图5C例示了用于重建后VR360图像的ALF处理的示例。重建后像素530可以由5x5滤波器进行滤波，或者重建后像素532可以由7x7滤波器进行滤波。如前提及，可以使用Wiener滤波器技术来设计滤波器参数，以使得原始图像与重建后图像之间的误差最小化。对于各个重建后像素，自我调整地选择滤波器尺寸以实现最佳性能。

如图4中的布局420所示，立方体贴图的3x2布局在上方的子帧与下方的子帧之间包含不连续边界。边界422的一侧上的像素可以与边界422的另一侧上的像素完全不同。因此，在将环内滤波器应用于紧挨着该边界或者靠近该边界的重建后像素时，可能会导致不合需要的结果。图6例示了应用于重建后像素622的SAO滤波器的示例，其中表示了不连续边界610。针对重建后像素622例示了在不连续边界处的SAO操作620。由虚线框624表示了3x3的SAO窗口。对于水平边界610，针对90°、135°以及45°的SAO滤波处理将利用来自不连续边界的另一侧的参考像素。尽管不连续边界的另一侧上的相邻像素626(命名为非期望像素)靠近重建后像素622，但这些像素626与正被滤波的重建后像素622可能有很大不同。在这种情况下，针对边界像素的SAO处理可能会产生不合需要的结果。

因此，希望开发出克服与用于VR360图像的环内滤波器有关的问题的技术。

发明内容

公开了对视频序列进行编解码的方法和设备，其中，所述重建后滤波单元包括用于环路滤波处理的多个重建后像素。根据该方法，接收针对当前图像中的当前重建后像素的重建后滤波单元，其中，所述重建后滤波单元与环路滤波器相关联，并且所述重建后滤波单元包括第一重建后像素，所述第一重建后像素用于向所述当前重建后像素应用与所述环路滤波器相关联的环路滤波处理。向所述当前重建后像素应用与所述环路滤波器相关联的所述环路滤波处理，以生成已滤波重建后像素，其中，如果针对所述当前重建后像素的所述环路滤波处理跨所述当前图像的虚拟边界，则在使用固定尺寸环路滤波时禁用所述环路滤波处理，或者在将自我调整尺寸环路滤波用于所述当前重建后像素时选择较小尺寸的环路滤波器。当禁用所述环路滤波处理时，所述已滤波重建后像素和所述当前重建后像素相同。提供包括所述已滤波重建后像素的处理后图像。所述环路滤波器属于包括去块滤波器、SAO(样本自适应偏移)以及ALF(自我调整环路滤波器)的组。

所述视频序列可以对应于360度虚拟现实(VR360)视频。

在一个实施方式中，所述环路滤波器对应于去块滤波器，并且如果与所述去块滤波器的目标块相关联的块边缘与所述虚拟边界对齐，则针对所述目标块禁用所述环路滤波处理。在另一实施方式中，所述环路滤波器对应于去块滤波器，并且如果所述虚拟边界跨目标块，则针对所述目标块禁用所述环路滤波处理。在又一实施方式中，所述环路滤波器对应于去块滤波器，并且如果所述虚拟边界跨目标块的邻近块，则针对所述目标块禁用所述环路滤波处理，并且其中，将所述环路滤波处理应用于所述目标块与所述目标块的所述邻近块之间的块边界。

在另一实施方式中，当所述环路滤波器使用自我调整滤波器尺寸时，去除跨所述虚拟边界的任何环路滤波器候选者，并且如果没有剩余环路滤波器候选者可用，则禁用所述环路滤波处理。当所述环路滤波器使用自我调整滤波器尺寸并且将所述环路滤波处理应用于所述当前重建后像素时，确定所选择的滤波器并且在比特流中传输表示所选择的滤波器的语法。

在另一实施方式中，当所述环路滤波器使用自我调整滤波器尺寸时，确定环路滤波器候选者并且检查与所述环路滤波器候选者相关联的所述环路滤波处理是否跨所述虚拟边界；如果与所述环路滤波器候选者相关联的所述环路滤波处理跨所述虚拟边界，则检查是否存在较小环路滤波器候选者；而如果没有较小环路滤波器候选者可用，则禁用所述环路滤波处理。如果存在所述较小环路滤波器候选者，则将所述较小环路滤波器候选者用作所述环路滤波器候选者，并且检查与所述环路滤波器候选者相关联的所述环路滤波处理是否跨所述虚拟边界。

在另一实施方式中，当所述VR360图像采用基于立方体贴图的投影的3x2布局时，针对一排滤波单元中的目标滤波单元导出的边界检查的结果被所述一排滤波单元中的其它滤波单元共享，并且其中，所述边界检查确定所述目标滤波单元的所述环路滤波处理是否跨所述VR360图像的顶部子帧与底部子帧之间的所述虚拟边界。

附图说明

图1A例示了在垂直边界的去块滤波处理中所涉及的边界像素的示例。

图1B例示了在水平边界的去块滤波处理中所涉及的边界像素的示例。

图2标出了SAO(样本自适应偏移)的4种EO(边缘偏移)方向模式(0°、90°、135°以及45°)。

图3例示了包括5x5滤波器和7x7滤波器的ALF的示例，其中“C”表示正被滤波的当前重建后像素。

图4例示了4x3和3x2立方体贴图布局形式的示例。

图5A例示了应用于采用3x2布局的VR360图像的块的去块滤波器的示例。

图5B例示了应用于采用3x2布局的VR360图像的像素的SAO处理的示例。

图5C例示了针对重建后VR360图像使用5x5或7x7滤波器的ALF处理的示例。

图6例示了在不连续边界处应用于重建后像素的SAO滤波器的示例。

图7A例示了跨不连续边界应用或者应用于靠近不连续边界的块边界的去块滤波处理的示例。

图7B例示了跨不连续边界应用SAO(样本自适应偏移)和ALF(自我调整环路滤波器)滤波处理的示例。

图8例示了针对固定滤波器尺寸的根据本发明的实施方式的经修改的滤波处理的流程图的示例。

图9例示了针对自我调整滤波器尺寸的根据本发明的实施方式的经修改的滤波处理的流程图的示例。

图10例示了针对自我调整滤波器尺寸的根据本发明的另一实施方式的经修改的滤波处理的流程图的示例。

图11例示了用于边界检查处理的加速技术的示例。

图12例示了根据本发明的实施方式的用于VR360视频的编解码***的示例性流程图，其中，如果环路滤波处理跨虚拟边界，则禁用环路滤波处理。

具体实施方式

下面的描述是执行本发明的最佳预期模式。该描述仅出于例示本发明的一般原理的目的而给出，而不应按限制性意义进行。本发明的范围是通过参考所附权利要求来最佳地确定的。

应当容易地明白，如本文通常描述的且在附图中例示的本发明的组件可以按宽泛种类的不同配置来设置和设计。因此，如在附图中所表示的，下面对本发明的***和方法的实施方式的更详细的描述并非旨在对要求保护的本发明的范围进行限制，而只是表示本发明的所选择的实施方式。

贯穿本说明书对“一个实施方式”、“实施方式”或类似语言的引用意指可以在本发明的至少一个实施方式中包括结合该实施方式描述的特定特征、结构或特性。因此，贯穿本说明书各处出现的短语“在一个实施方式中”或者“在实施方式中”不必都指同一实施方式。

而且，可以在一个或更多个实施方式中按任何合适的方式组合所描述的特定特征、结构或特性。然而，相关领域的技术人员将认识到，可以在缺少这些具体细节中的一个或更多个的情况下或者利用其它方法、组件等来具体实践本发明。在其它情况下，未详细示出或描述公知的结构或操作，以避免混淆本发明的各方面。

参照附图将最好地理解本发明的所示实施方式，其中，贯穿全文相同的部分由相同的数字加以指定。下面的描述只是作为示例，并且简单地例示了与本文所要求保护的发明相一致的设备和方法的某些选择的实施方式。

在本说明书中，出现在附图和描述中的相同标号指定了不同视图之间的对应或相同要素。

如前提及，当将环内滤波器应用于VR360视频中的不连续边界时，对于该不连续边界的一侧上的重建后像素的滤波处理可能需要使用该不连续边界的另一侧上的一个或更多个重建后像素(称为非预期像素)。由于不连续边界的两侧的像素之间的不连续性，因此将非预期像素用于环内滤波处理可能会造成明显的伪像。因此，根据本发明的方法，如果环内滤波处理跨该不连续边界，则禁用环内滤波处理或者使用较小尺寸的滤波器。VR360视频或PIP中的不连续边界或边缘在本公开中也称为虚拟边界。在本公开中，环内滤波器可以被称为环路滤波器。在本公开中，环内滤波处理可以被称为环路滤波处理。

图7A例示了跨不连续边界705应用去块滤波处理。在图7A中，将去块滤波处理710应用于当前块712，其中将块边界与不连续边界705对齐。当前块712的去块滤波处理涉及由点填充区域714所表示的非预期像素。由于跨不连续边界应用去块滤波处理，因此，根据本发明的方法禁用了当前块的去块滤波处理。将去块滤波处理720应用于当前块722，其中，不连续边界705位于当前块的内部。当前块722的去块滤波处理可能涉及非预期像素，其中，当前块中的像素中的一些像素可以与相邻的参考块(如点填充区域724所示)位于虚拟边界的不同侧。根据本发明的方法禁用当前块的去块滤波处理，或者使用具有较小滤波器尺寸的去块滤波器。另外，当虚拟边界位于相邻的参考块内部时，根据本发明的方法禁用当前块的去块滤波处理，或者使用具有较小滤波器尺寸的去块滤波器。在HEVC中，去块滤波器在块边界的各侧可以使用多至4个像素。根据本发明的实施方式，去块滤波器可以在块边界的至少一侧上使用较少的像素。

可以将去块滤波器应用于诸如变换块边界、子块边界或其它类型块这样的块。因此，在一个实施方式中，如果块(例如，与用于去块滤波器的子块或变换块相关联的子块边缘或变换块边缘)与虚拟边界对齐或者虚拟边界位于块或相邻的块内部，则禁用该块(例如，子块或变换块)的环路滤波处理。

在图7B中，将SAO滤波处理730应用于与不连续边界705相邻的当前像素732。当前像素732的SAO滤波处理涉及由点填充正方形734所表示的非预期像素。由于跨不连续边界应用SAO滤波处理，因此，根据本发明的方法禁用了当前像素的SAO滤波处理。在图7B中，将ALF滤波处理740应用于与不连续边界705相邻的当前像素742。当前像素742的ALF滤波处理涉及由点填充正方形744所表示的非预期像素。由于跨不连续边界应用ALF滤波处理，因此，根据本发明的方法禁用了当前像素的ALF滤波处理。虽然作为示例将去块、SAO以及ALF环内滤波器用于禁用跨不连续边界的环内波处理的方法，但该方法还可以应用于其它类型的环内滤波处理。

当将环路滤波器应用于重建后像素时，环路滤波处理涉及围绕正被滤波的重建后像素的参考像素集合。对于所选择的环路滤波器，所涉及的参考像素集合被称为滤波单元。例如，对于去块滤波器，滤波单元对应于块边缘的各侧的4像素线。对于SAO，滤波单元取决于EO方向。对于0°方向模式，滤波单元对应于3x1像素。对于90°方向模式，滤波单元对应于1x3像素。对于135°方向模式和45°方向模式，滤波单元对应于3x3像素。对于ALF，滤波单元对应于5x5像素或7x7像素。

可以对常规的滤波处理进行修改以支持本发明的方法。当滤波器尺寸固定(例如，HEVC中的去块滤波器，滤波器尺寸在块边缘的各侧固定在4个像素)时，可以修改滤波处理，如图8所示。在图8中，在步骤810中，检查涉及环内滤波处理的参考像素是否跨不连续边界。如果结果为真(即，环内滤波处理涉及的参考像素跨了不连续边界)，则如步骤820所示，禁用当前滤波单元的滤波处理。如果结果为假(即，环内滤波处理涉及的参考像素未跨不连续边界)，则如步骤830所示，执行当前滤波单元的滤波处理。

如果滤波器尺寸是自我调整的(例如，ALF的滤波器尺寸为7x7或5x5)，则可以修改滤波处理，如图9所示。在图9中，如步骤910所示，去除涉及跨不连续边界的像素的任何滤波器候选者。在去除之后，如果没有可用的滤波器候选者，则禁用滤波处理。否则，从可用候选者中选择滤波器，并且将所选择的滤波器用于执行滤波处理，并在比特流中传输表示所选择的滤波器的语法。因此，在步骤920中检查是否不存在可用候选者。如果结果为真(即，没有可用的滤波器候选者)，则如步骤930所示，禁用滤波处理。如果结果为假(即，有至少一个可用的滤波器候选者)，则在步骤940中确定滤波器，并且如步骤950所示，基于所选择的滤波器执行滤波处理。可以按PPS(图像参数集，Picture Parameter Set)、APS(自我调整参数集，Adaptation Parameter Set)、SPS(序列参数集，Sequence Parameter Set)、片段、图像、CTU、CU、PU或TU级别在比特流中传输语法，以表示从可用候选者集合中选择的滤波器。

图10例示了针对图9所示的用于禁用滤波处理的方法的另选方法。在这种方案中，首先，如步骤1010所示，从滤波器候选者中确定滤波器。在步骤1020中执行参考像素是否跨不连续边界。如果步骤1020的结果为真，则在步骤1030，进一步检查是否有较小滤波器可用。较小滤波器可以是小于且最接近于当前滤波器尺寸的滤波器候选者。如果较小滤波器可用(即，从步骤1030开始的“真”路径)，则如步骤1040所示，使用较小滤波器。如果没有较小滤波器可以使用，则如步骤1050所示，禁用滤波处理。如果步骤1020的结果为假，则在步骤1060中执行滤波处理。

对于经修改的滤波处理，需要检查参考像素是否跨不连续边界。必须对各个滤波单元执行检查操作，这可能导致大的计算开销。因此，本文公开了一种加速检查处理的技术。

在基于立方体贴图的投影的3x2布局中，不连续边界总是位于位置(x、PicHeight/2)，其中，x处于(0，PicWidth)的范围内，而PicHeight和PicWidth分别表示图像的高度和宽度。因此，具有相同的y位置的已滤波像素可以共享相同的检查结果，使得可以显著降低计算复杂度。图11例示了用于边界检查处理的加速技术的示例。在左侧，将常规的检查处理1120用于采用3x2布局的VR360图像1110，其中，示出了上方的子帧与下方的子帧之间的不连续边界1114。示出了与不连续边界1114相邻的一排滤波单元1112(在该示例中为5个滤波单元)。根据常规的检查处理，必须检查所有5个滤波单元。在右侧，示出了引入本发明的检查处理1130。检查在所述一排滤波单元1112中的第一滤波单元1132的y位置，并且该结果由所述一排中的其它滤波单元使用。

为了表示禁用针对虚拟边界的滤波器，可以按所述SPS、PPS、APS、片段、图块、图像、CTU、CU、PU或TU级别在比特流中用信号通知语法(例如启用标志)，以表示是否针对对应的区域(例如，图像、片段、图块、CTU、CU、PU或TU)中的虚拟边界禁用滤波器。例如，可以在SPS中用信号通知语法sps_loop_filter_disabled_across_virtual_boundaries_flag，用于禁用跨虚拟边界的环路滤波器。

在不同的图像、片段、图块、CTU、CU、PU或TU中，该虚拟边界可以是不同的。

在上面的公开中，已经基于来自立方体贴图映像的3x2布局公开了根据实施方式的各种环路滤波处理。然而，本发明不限于这种特定的VR360图像格式。本发明的环路滤波处理可以应用于采用其它布局格式的VR360图像，例如从八面体投影(OHP，OctaHedronProjection)、二十面体投影(ISP，icosahedron projection)、分段球形投影(SSP，Segmented Sphere Projection)以及旋转球形投影(RSP，Rotated Sphere Projection)汇出的布局格式。VR360图像中可能有多个虚拟边界。而且，虚拟边界可以沿其它方向而不是垂直/水平方向。

如前提及，对于非VR360图像，图像内的不连续边界也可能出现。例如，在画中画视频中，图像还包括图像内的不连续边界。本发明的环路滤波处理也可以应用于PIP视频。此外，PIP中的不连续边界或边缘是虚拟边界的示例。

该方法不仅适用于去块滤波器、ALF滤波器以及SAO滤波器，而且适用于其它类型的环路滤波器。

图12例示了根据本发明的实施方式的用于VR360视频的编解码***的示例性流程图，其中，如果环路滤波处理跨虚拟边界，则禁用环路滤波处理。可以将流程图中所示的步骤以及本公开中的其他后续流程图实现为可在编码器侧和/或解码器侧的一个或更多个处理器(例如，一个或更多个CPU)上执行的程序代码。流程图中所示的步骤也可以基于硬件来实现，例如被设置成执行该流程图中的步骤的一个或更多个电子装置或处理器。根据该方法，在步骤1210中，接收VR360图像中的当前重建后像素的重建后滤波单元，其中，重建后滤波单元与环路滤波器相关联，并且重建后滤波单元包括第一重建后像素，以应用与环路滤波器相关联的环路滤波处理至当前重建后像素。在步骤1220中，向当前重建后像素应用与环路滤波器相关联的环路滤波处理，以生成已滤波重建后像素，其中，如果当前重建后像素的环路滤波处理跨VR360图像的虚拟边界，则在使用固定尺寸环路滤波时禁用环路滤波处理，或者在将自我调整尺寸环路滤波用于当前重建后像素时选择较小尺寸的环路滤波器；并且其中，当禁用环路滤波处理时，已滤波重建后像素和当前重建后像素相同。在步骤1230中，提供包括已滤波重建后像素的处理后VR360图像。

上面示出的流程图旨在用作示例来例示本发明的实施方式。在不脱离本发明的精神的情况下，本领域技术人员可以通过修改单独步骤、拆分或组合步骤来具体实践本发明。

呈现上面的描述是为了使本领域普通技术人员能够具体实践在特定的应用及其要求的背景下所提供的本发明。所述实施方式的各种修改例对于本领域技术人员是显而易见的，并且可以将本文所定义的一般原理应用于其它实施方式。因此，本发明不旨在限于所示出和描述的特定的实施方式，而是符合与本文所公开的原理和新颖特征相一致的最广范围。在上面的详细描述中，例示了各种具体的细节，以便提供对本发明的详尽理解。尽管如此，本领域技术人员还应明白，可以对本发明进行具体实践。

如上所述的本发明的实施方式可以采用各种硬件、软件代码或这两者的组合来实现。例如，本发明的实施方式可以是用于执行本文所述的处理的集成到视频压缩芯片中的一个或更多个电子电路或者集成到视频压缩软件中的程序代码。本发明的实施方式还可以是要在数字信号处理器(DSP)上执行以执行本文所述的处理的程序代码。本发明还可以涉及要由计算机处理器、数字信号处理器、微处理器或者现场可程序设计门阵列(FPGA)执行的许多功能。可以将这些处理器配置成，通过执行对根据本发明具体实施的特定方法进行定义的机器可读软件代码或固件代码来执行根据本发明的特定的任务。可以以不同的程序设计语言和不同的格式或样式来开发软件代码或固件代码。也可以为不同的目标平台编译所述软件代码。然而，软件代码的不同的代码格式、样式以及语言和配置代码以执行根据本发明的任务的其它手段将不脱离本发明的精神和范围。

本发明可以在不脱离其精神和基本特征的情况下按其它特定形式来具体实施。所述示例要如所示并且不受限地按全部方面来加以考虑。因此，通过所附权利要求而非前述描述来表示本发明的范围。落入权利要求的等同物的含义和范围内的所有改变将被涵盖在这些权利要求的范围内。

Claims (12)

1.一种对视频序列进行编解码的方法，其中，来自所述视频序列的图像包括一个或更多个不连续边界，所述方法包括以下步骤：

接收针对当前图像中的当前重建后像素的重建后滤波单元，其中，所述重建后滤波单元与环路滤波器相关联，并且所述重建后滤波单元包括第一重建后像素，以应用与所述环路滤波器相关联的环路滤波处理至所述当前重建后像素；

向所述当前重建后像素应用与所述环路滤波器相关联的所述环路滤波处理，以生成已滤波重建后像素，其中，如果针对所述当前重建后像素的所述环路滤波处理跨所述当前图像的虚拟边界，则在使用固定尺寸环路滤波时禁用所述环路滤波处理，或者在将自我调整尺寸环路滤波用于所述当前重建后像素时选择较小尺寸的环路滤波器；并且其中，当禁用所述环路滤波处理时，所述已滤波重建后像素和所述当前重建后像素相同；以及

提供包括所述已滤波重建后像素的处理后图像。

2.根据权利要求1所述的方法，其特征在于，所述视频序列对应于360度虚拟现实视频，即VR360视频。

3.根据权利要求1所述的方法，其特征在于，所述环路滤波器属于包括如下各项的组：去块滤波器、样本自适应偏移(SAO)、以及自我调整环路滤波器(ALF)。

4.根据权利要求1所述的方法，其特征在于，所述环路滤波器对应于去块滤波器，并且如果与所述去块滤波器的目标块相关联的块边缘与所述虚拟边界对齐，则针对所述目标块禁用所述环路滤波处理。

5.根据权利要求1所述的方法，其特征在于，所述环路滤波器对应于去块滤波器，并且如果所述虚拟边界跨目标块，则针对所述目标块禁用所述环路滤波处理。

6.根据权利要求1所述的方法，其特征在于，所述环路滤波器对应于去块滤波器，并且如果所述虚拟边界跨目标块的邻近块，则针对所述目标块禁用所述环路滤波处理，并且其中，将所述环路滤波处理应用于所述目标块与所述目标块的所述邻近块之间的块边界。

7.根据权利要求1所述的方法，其特征在于，当所述环路滤波器使用自我调整滤波器尺寸时，去除跨所述虚拟边界的任何环路滤波器候选者，并且如果没有剩余环路滤波器候选者可用，则禁用所述环路滤波处理。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤，当所述环路滤波器使用自我调整滤波器尺寸并且将所述环路滤波处理应用于所述当前重建后像素时，确定所选择的滤波器并且在比特流中传输表示所选择的滤波器的语法。

9.根据权利要求1所述的方法，其特征在于，当所述环路滤波器使用自我调整滤波器尺寸时，确定环路滤波器候选者并且检查与所述环路滤波器候选者相关联的所述环路滤波处理是否跨所述虚拟边界；如果与所述环路滤波器候选者相关联的所述环路滤波处理跨所述虚拟边界，则检查是否存在较小环路滤波器候选者；且如果没有较小环路滤波器候选者可用，则禁用所述环路滤波处理。

10.根据权利要求9所述的方法，其特征在于，如果存在所述较小环路滤波器候选者，则将所述较小环路滤波器候选者用作所述环路滤波器候选者，并且检查与所述环路滤波器候选者相关联的所述环路滤波处理是否跨所述虚拟边界。

11.根据权利要求1所述的方法，其特征在于，当所述当前图像采用基于立方体贴图的投影的3x2布局时，针对一排滤波单元中的目标滤波单元导出的边界检查的结果被所述一排滤波单元中的其它滤波单元共享，并且其中，所述边界检查确定针对所述目标滤波单元的所述环路滤波处理是否跨所述当前图像的顶部子帧与底部子帧之间的虚拟边界。

12.一种对视频序列进行编解码的设备，其中，来自所述视频序列的图像包括一个或更多个不连续边界，所述设备包括：一个或更多个电子装置或处理器，所述一个或更多个电子装置或处理器被配置成：

接收针对当前图像中的当前重建后像素的重建后滤波单元，其中，所述重建后滤波单元与环路滤波器相关联，并且所述重建后滤波单元包括第一重建后像素，以应用与所述环路滤波器相关联的环路滤波处理至所述当前重建后像素；

向所述当前重建后像素应用与所述环路滤波器相关联的所述环路滤波处理，以生成已滤波重建后像素，其中，如果针对所述当前重建后像素的所述环路滤波处理跨所述当前图像的虚拟边界，则在使用固定尺寸环路滤波时禁用所述环路滤波处理，或者在将自我调整尺寸环路滤波用于所述当前重建后像素时选择较小尺寸的环路滤波器；并且其中，当禁用所述环路滤波处理时，所述已滤波重建后像素和所述当前重建后像素相同；以及

提供包括所述已滤波重建后像素的处理后图像。

Images