CN109565595B - 一种使用基于分割的视频编码块划分的视频编码设备和方法 - Google Patents

一种使用基于分割的视频编码块划分的视频编码设备和方法 Download PDF

Info

Publication number
CN109565595B
CN109565595B CN201680087097.1A CN201680087097A CN109565595B CN 109565595 B CN109565595 B CN 109565595B CN 201680087097 A CN201680087097 A CN 201680087097A CN 109565595 B CN109565595 B CN 109565595B
Authority
CN
China
Prior art keywords
video coding
motion vector
coding block
segment
virtual partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680087097.1A
Other languages
English (en)
Other versions
CN109565595A (zh
Inventor
赵志杰
马克斯·布莱泽
麦蒂尔斯·韦恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN109565595A publication Critical patent/CN109565595A/zh
Application granted granted Critical
Publication of CN109565595B publication Critical patent/CN109565595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种处理视频信号的编码装置，视频信号包括多个可分成视频编码块的帧。视频信号当前帧的第一视频编码块划分为与相对于视频信号的第一参考帧的第一分段运动矢量相关联的第一分段和第二分段。第一视频编码块与多个虚拟分区相关联。每个虚拟分区与当前帧的多个视频编码块各自的子集相关联。各自子集的每个视频编码块与第一视频编码块相邻并且与运动矢量相关联。编码处理器基于与所选虚拟分区相关联的相邻视频编码块的至少一个运动矢量，针对每个虚拟分区，对第一分段运动矢量进行编码，以编码第一视频编码块。基于与第一分段运动矢量的编码相关联的相应性能指标来选择虚拟分区。生成所选虚拟分区的虚拟分区标识符和包括编码的第一分段运动矢量的编码信息。

Description

一种使用基于分割的视频编码块划分的视频编码设备和方法
技术领域
本发明总体涉及视频编码领域。更具体地，本发明涉及一种使用基于分割的视频编码块划分的视频信号编码装置和视频信号解码装置以及相应的方法。
背景技术
在当前的视频编码方案中，例如H.264/AVC(“高级视频编码”)、HEVC(“高效视频编码”)等，帧间预测图像(也称为帧)中的运动信息被划分为可配置大小的矩形视频编码块。而在H.264/AVC中，运动信息被划分为最大尺寸为16×16像素的对称视频编码块，即所谓的宏块，它可以进一步细分为最小为4×4像素。在HEVC中，采用最大尺寸为64×64像素的编码树单元(coding tree unit，简称CTU)代替宏块。CTU不仅是一个更大的宏块，在四叉树(quadtree，简称QT)分解方案中它可以划分为更小的编码单元(coding unit，简称CU)，而这些编码单元又可以被细分为最小尺寸为8×8像素。而且，与H.264/AVC相比，HEVC还支持将编码单元(CU)通过非对称运动划分(asymmetric motion partitioning，简称AMP)划分为预测单元(prediction unit，简称PU)。
基于速率失真优化标准，在编码过程中对每个CTU的分解和划分进行确定。虽然AMP已经改善了编码效率，但在视频序列中移动对象的边界上仍存在编码效率问题。若对象边界不完全垂直或水平，沿着对象边界可能出现细微的四叉树分解和块划分。由于沿边界的块包含类似的运动信息，因此引入了冗余，这降低了编码效率。
解决这一问题的一种方法称为几何运动划分(geometric motion partitioning，简称GMP)。其理念为通过一条直线将一个矩形视频编码块分割成两个分段，该直线实际上可以为任何方向。该方法使得运动分割具有更大的灵活性，从而更接近实际运动。然而，在穷举搜索中寻找视频编码块的最优GMP极大地增加了计算复杂度。此外，还须提供一个用于附加GMP信息的有效预测编码方案。
在一种更通用和高级的划分方法中，包含对象边界的视频编码块沿实际对象边界被划分为两个(或多个)分段，其中所述两个或多个分段携带相干但不同的运动信息。由于边界形状的可能的复杂性，鉴于数据速率，对边界进行编码并将其作为边信息传输给解码器通常不是一个有效的选择。这个问题可以通过根据已经可用的信息例如可用的参考图像确定解码器(和编码器)侧的对象边界来解决。寻找正确的对象边界是图像分割领域的典型问题。可以根据多种图像特征进行分割，如像素亮度、色度、纹理或其组合。
在WO2008150113中公开了H.264/AVC上下文中基于分割的划分方法的一个示例。参考块用于通过编码附加运动矢量获得当前块的分区。
WO2013165808将基于分割的视频编码划分方法扩展到可缩放的视频编码。
WO2015007348涉及基于深度的块划分(depth based block partitioning，简称DBBP)，其例如用作HEVC的3D扩展中的编码工具，并且公开了在视频编码块的同位位置(即collocated position)使用深度图而非参考图像以获得适当的分割。
在3D视频编码的上下文中，WO2015139762公开了一种确定矩形分区(虚拟分区)的方法，该矩形划分表示基于深度信息和预定义的决策规则的二进制分割掩码定义的不规则形状划分，其中，该预定义的决策规则中考虑了预先选择的二进制分割掩码样本的二进制分割掩码值。二进制分割掩码定义了基于深度的块划分(DBBP)编码工具所用的不规则划分，其中，二进制掩码样本与已编码块的样本对应。根据预定义的选择模式，选择用来确定所导致的矩形划分的样本，该划分表示输入的不规则形状的划分(二进制分割掩码)。基于深度的块划分(DBBP)中，使用六种可用的两个分段的规则形状的划分模式，可认为是虚拟分区模式，进行视频编码。通过比较二进制分割掩码中的六个样本的二进制值，将二进制分割掩码映射到六种可用的两个分段的划分模式中的一种。
尽管与其他现有技术方法相比，上述传统方法已经有了一些改进，但是仍然需要改进通过基于分割的视频编码块划分进行视频编码的设备和方法。
发明内容
本发明的目的为提供一种改进的使用基于分割的视频编码块划分的视频编码设备和方法。上述和其它目的通过独立权利要求的主题来实现。进一步的实现方式在从属权利要求、说明书以及附图中显而易见。
为详细描述本发明，将使用以下术语、缩写和符号：
HEVC 高效视频编码
CU 编码单元
CTU 编码树单元
PU 预测单元
PB 预测块
MV 运动矢量
GMP 几何运动划分
SBP 基于分割的划分
AMP 非对称运动划分此处使用的视频信号或视频序列为呈现运动图像的一组后续帧。换句话说，视频信号或视频序列包括多个帧(也称为图像)。
此处使用的分割是指将图像或图像区域，特别是视频编码块，划分为两个或更多个分段的过程。
此处使用的编码树单元(CTU)表示预定义大小的视频序列的编码结构的根，包含帧的一部分(例如，64×64像素)。CTU可划分为若干CU。
此处使用的编码单元(CU)表示预定义大小的视频序列的基本编码结构，包含帧的一部分，属于CTU。CU可以进一步划分为多个CU。
此处使用的预测单元(PU)表示编码结构，其是CU的划分结果。
此处使用的术语同位置(即co-located)在本文中表示第二帧即参考帧中的块或区域，对应于第一帧即当前帧中的实际块或区域。
本文描述的设备和方法可以用于表示结合矩形块划分使用的基于分割的块划分的运动信息，这对视频编码应用中的帧间预测是有用的。
本文描述的设备和方法可以用于图片之间的帧间预测，以利用自然视频序列的时间冗余。当前图片和参考图片之间所观察到的信息变化通常可以近似于平移运动，例如图像平面内的线性运动。基于块的运动补偿是这种示例的主要实现，其中，参考图像划分为矩形块，块内的每个像素都显示相同的运动。因此，可以通过单个运动矢量来描述称为预测块的整个块的移动。整个参考图片上的运动矢量集合表示为运动矢量场。根据与运动矢量场相关联的参考图片的时间位置和数量，可以进一步区分单向和双向预测。进一步，如果两个运动矢量与预测块内的相同空间位置相关联，则引入加权预测的概念。
本文描述的设备和方法可以利用运动矢量场在空间和时间上呈现的冗余。如果运动主要在图像的区域内是相干的，则可以从其相邻块中预测块的运动矢量，并且仅需要发送运动矢量差，这取决于编码器的速率失真操作点。还在编码器处选择合适的候选运动矢量预测值，以满足速率失真优化。
第一方面，本发明涉及一种视频信号的编码装置，其中，视频信号包括多个帧，并且每个帧可分成多个视频编码块。所述装置包括：划分器，用于将所述视频信号当前帧的多个视频编码块中的第一视频编码块划分为第一分段和第二分段，其中，第一分段与相对于所述视频信号的参考帧的第一分段运动矢量相关联。所述第一视频编码块与所述第一视频编码块的多个预定义虚拟分区(虚拟分区virtual partition，亦可理解为虚拟分区模式)相关联，每个虚拟分区与所述视频信号当前帧的多个视频编码块各自的子集相关联，其中，所述各自子集的每个视频编码块与所述第一视频编码块相邻并且与各自相邻块的运动矢量相关联。所述装置还包括：编码处理器，用于基于与所选虚拟分区相关联的相邻视频编码块的至少一个运动矢量，针对每个虚拟分区，对所述第一分段运动矢量进行编码，以对所述第一编码块进行编码；选择器，用于基于与所述第一分段运动矢量的编码相关联的相应性能指标来选择所述第一视频编码块的虚拟分区，并生成标识所述选择器选择的虚拟分区的虚拟分区标识符(即virtual partition identifier)和包括所述编码的第一分段运动矢量的编码信息。
如此，提供了一种通过基于分割的视频编码块划分进行视频编码的改进编码装置。
根据第一方面，在所述装置的第一种可能的实现方式中，所述选择器用于基于与所述第一分段运动矢量的编码相关联的相应率失真指标(即rate distortion measure)来选择所述第一视频编码块的虚拟分区，特别是通过最小化所述率失真指标。
根据第一方面或第一种实现方式，在所述装置的第二种可能的实现方式中，所述编码处理器用于基于与所述第一视频编码块的所选虚拟分区相关联的相邻视频编码块的至少一个运动矢量和所述视频信号的时间相邻帧中的同位置视频编码块的至少一个运动矢量，对所述第一分段运动矢量进行编码。
根据第一方面或第一或第二种实现方式，在所述装置的第三种可能的实现方式中，所述编码处理器用于将所述虚拟分区标识符与所述第一视频编码块一并进行编码。
根据第一方面或第一至第三种实现方式的任意一种，在所述装置的第四种可能的实现方式中，边界运动矢量与所述第一视频编码块的第一分段和第二分段之间的边界相关联，且所述编码处理器用于基于所述第一分段运动矢量和/或与所述第二分段相关联的第二分段运动矢量对所述边界运动矢量进行编码。
根据第一方面的第四种实现方式，在所述装置的第五种可能的实现方式中，所述编码处理器用于通过在参考帧中重新缩放所述同位置视频编码块的第一分段运动矢量来对所述边界运动矢量进行编码。
根据第一方面或第一至第五种实现方式的任意一种，在所述装置的第六种可能的实现方式中，所述编码处理器用于基于所述第一视频编码块的所选虚拟分区相关联的所述相邻视频编码块的至少一个运动矢量，通过运动矢量合并对所述第一分段运动矢量进行编码。
根据第一方面或第一至第六种实现方式的任意一种，在所述装置的第七种可能的实现方式中，所述第一视频编码块的预定义虚拟分区的集合包括所述第一视频编码块的分区2NxN、Nx2N、2NxnU、2NxnD、nLx2N和nRx2N。
第二方面，本发明涉及一种视频信号的编码方法，其中，视频信号包括多个帧，并且每个帧可分成多个视频编码块。所述方法包括：第一步骤，将所述视频信号当前帧的多个视频编码块中的第一视频编码块划分为第一分段和第二分段，其中，所述第一分段与相对于所述视频信号的参考帧的第一分段运动矢量相关联；所述第一视频编码块与所述第一视频编码块的多个预定义虚拟分区相关联；每个虚拟分区与所述视频信号当前帧的多个视频编码块各自的子集相关联；所述各自子集的每个视频编码块与所述第一视频编码块相邻并且与相邻块运动矢量相关联。所述方法包括：进一步的步骤，基于与所述第一视频编码块的所选虚拟分区相关联的相邻视频编码块的至少一个相邻块运动矢量，针对每个虚拟分区，对所述第一分段运动矢量进行编码。所述方法包括：进一步的步骤，基于与所述第一分段运动矢量的编码相关联的相应性能指标来选择所述第一视频编码块的虚拟分区，并生成标识所选虚拟分区的虚拟分区标识符和包括所述编码的第一分段运动矢量的编码信息。
如此，提供了一种通过基于分割的视频编码块划分的进行视频编码的改进编码方法。
本发明第二方面所述的方法可以由本发明第一方面所述的装置执行。本发明第二方面所述的方法的进一步特征和实施方式可以直接从根据本发明第一方面及其不同实现形式所述的装置的功能中得到。
具体地，根据第二方面，在所述方法的第一种可能的实现方式中，所述选择器基于与所述第一分段运动矢量的编码相关联的相应率失真指标来选择所述第一视频编码块的虚拟分区，特别是通过最小化所述率失真指标。
根据第二方面或第一种实现方式，在所述方法的第二种可能的实现方式中，编码处理器基于与所述第一视频编码块的所选虚拟分区相关联的相邻视频编码块的至少一个运动矢量和所述视频信号的时间相邻帧中的同位置视频编码块的至少一个运动矢量，对所述第一分段运动矢量进行编码。
根据第二方面或第一或第二种实现方式，在所述方法的第三种可能的实现方式中，所述编码处理器将虚拟分区标识符与所述第一视频编码块一并进行编码。
根据第二方面或第一至第三种实现方式的任意一种，在所述方法的第四种可能的实现方式中，边界运动矢量与所述第一视频编码块的第一分段和第二分段之间的边界相关联，且所述编码处理器基于所述第一分段运动矢量和/或与所述第二分段相关联的第二分段运动矢量对所述边界运动矢量进行编码。
根据第二方面的第四种实现方式，在所述方法的第五种可能的实现方式中，所述编码处理器通过在参考帧中重新缩放所述同位置视频编码块的第一分段运动矢量来对所述边界运动矢量进行编码。
根据第二方面或第一至第五种实现方式的任意一种，在所述方法的第六种可能的实现方式中，所述编码处理器基于所述第一视频编码块的所选虚拟分区相关联的所述相邻视频编码块的至少一个运动矢量，通过运动矢量合并对所述第一分段运动矢量进行编码。
根据第二方面或第一至第六种实现方式中任意一种，在所述方法的第七种可能的实现方式中，所述第一视频编码块的预定义虚拟分区的集合包括所述第一视频编码块的分区2NxN、Nx2N、2NxnU、2NxnD、nLx2N和nRx2N。
第三方面，本发明涉及一种编码视频信号的解码装置，其中，编码视频信号包括多个帧，并且每个帧可分成多个视频编码块。所述装置包括：解码处理器，用于接收编码信息和虚拟分区标识符用于解码当前帧的第一视频编码块；基于所述虚拟分区标识符选择所述第一视频编码块的虚拟分区，其中，所述虚拟分区与所述编码视频信号当前帧的多个视频编码块的子集相关联；所述子集的每个视频编码块与所述第一视频编码块相邻；基于与所识别的所述第一视频编码块的虚拟分区相关联的相邻视频编码块的至少一个运动矢量，对第一分段运动矢量进行解码。所述装置还包括：划分器，用于将所述编码视频信号的第一参考帧中的同位置第一视频编码块划分为第一分段和第二分段，其中，所述解码处理器进一步用于基于所述解码的第一分段运动矢量对所述第一分段进行运动补偿。
如此，提供了一种通过基于分割的视频编码块划分进行视频解码的改进解码装置。
根据第三方面，在所述装置的第一种可能的实现方式中，所述解码处理器用于基于与所述第一视频编码块的虚拟分区相关联的相邻视频编码块的至少一个运动矢量和所述编码视频信号的时间相邻帧中的视频编码块的至少一个运动矢量，对所述第一分段运动矢量进行解码。根据第三方面或第一种实现方式，在所述装置的第二种可能的实现方式中，所述解码处理器用于基于所述第一视频编码块的所述虚拟分区相关联的所述相邻视频编码块的至少一个运动矢量，通过运动矢量合并对所述第一分段运动矢量进行解码。
根据第三方面或第一或第二种实现方式，在所述装置的第三种可能的实现方式中，所述第一视频编码块的虚拟分区为以下分区之一：所述第一视频编码块的2NxN、Nx2N、2NxnU、2NxnD、nLx2N或nRx2N分区。
根据第三方面或第一至第三种实现方式的任意一种，在所述装置的第四种可能的实现方式中，所述解码处理器用于基于所述第一分段运动矢量对所述第一分段和所述第二分段之间的边界相关联的边界运动矢量进行解码；所述划分器用于基于所述解码的边界运动矢量，将所述编码视频信号的所述第一参考帧中的同位置第一视频编码块划分为第一分段和第二分段。
第四方面，本发明涉及一种编码视频信号的解码方法，其中，编码视频信号包括多个帧，并且每个帧可分成多个视频编码块。所述方法包括如下步骤：接收编码信息和虚拟分区标识符用于解码当前帧的第一视频编码块；基于所述虚拟分区标识符选择所述第一视频编码块的虚拟分区，其中，所述虚拟分区与所述编码视频信号当前帧的多个视频编码块的子集相关联；所述子集的每个视频编码块与所述第一视频编码块相邻；基于与所识别的所述第一视频编码块的虚拟分区相关联的相邻视频编码块的至少一个运动矢量，对第一分段运动矢量进行解码；将所述编码视频信号的第一参考帧中的同位置第一视频编码块划分为第一分段和第二分段；基于所述解码的第一分段运动矢量对所述第一分段进行运动补偿。
如此，提供了一种通过基于分割的视频编码块划分的进行视频解码的改进解码方法。
本发明第四方面所述的方法可以由本发明第三方面所述的装置执行。本发明第四方面所述的方法的进一步特征和实施方式可以直接从根据本发明第三方面及其不同实现形式所述的装置的功能中得到。
根据第四方面，在所述方法的第一种可能的实现方式中，解码处理器基于与所述第一视频编码块的虚拟分区相关联的相邻视频编码块的至少一个运动矢量和所述编码视频信号的时间相邻帧中的视频编码块的至少一个运动矢量，对所述第一分段运动矢量进行解码。
根据第四方面或第一种实现方式，在所述方法的第二种可能的实现方式中，所述解码处理器基于所述第一视频编码块的所述虚拟分区相关联的所述相邻视频编码块的至少一个运动矢量，通过运动矢量合并对所述第一分段运动矢量进行解码。
根据第四方面或第一或第二种实现方式，在所述方法的第三种可能的实现方式中，所述第一视频编码块的虚拟分区为以下分区之一：所述第一视频编码块的2NxN、Nx2N、2NxnU、2NxnD、nLx2N或nRx2N分区。
根据第四方面或第一至第三种实现方式的任意一种，在所述方法的第四种可能的实现方式中，所述解码处理器基于所述第一分段运动矢量对所述第一分段和所述第二分段之间的边界相关联的边界运动矢量进行解码；所述划分器用于基于所述解码的边界运动矢量，将所述编码视频信号的所述第一参考帧中的同位置第一视频编码块划分为第一分段和第二分段。
第五方面，本发明涉及一种计算机程序，包括：程序代码，用于在计算机上运行时，执行根据本发明第三方面或第四方面所述的方法。
本发明可以硬件和/或软件的方式来实现。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1示出了实施例提供的一种视频信号的编码装置的示意图；
图2示出了实施例提供的一种编码视频信号的解码装置的示意图；
图3示出了实施例提供的图1的装置或图2的装置的组件的更详细视图的示意图；
图4示出了本发明的实施例中实现的基于分割的划分方法的不同方面的示意图；
图5示出了本发明的实施例中实现的基于分割的划分方法中使用的视频编码块的可能虚拟分区的示意图；
图6示出了本发明的实施例中实现的基于分割的划分方法的不同方面的示意图(预测分段和边界运动矢量)；
图7示出了本发明的实施例中实现的基于分割的划分方法的不同方面的示意图(使用相邻视频编码块预测运动矢量)；
图8示出了本发明的实施例中实现的基于分割的划分方法的不同方面的示意图(使用时间相邻帧的同位置视频编码块预测运动矢量)；
图9示出了本发明的实施例中实现的基于分割的划分方法的不同方面的示意图(结合虚拟分区和基于块的解码方面的基于分割的划分的模式信令)；
图10示出了示例性预测块的示意图，其包括三个不同的分段；
图11示出了实施例提供的一种视频信号的编码方法的示意图；
图12示出了实施例提供的一种视频信号的解码方法的示意图。
在各附图中，相同的或至少功能等同的特征使用相同的标号。
具体实施方式
以下结合附图进行描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其他方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。
可以理解的是，与所描述的方法有关的内容对于与用于执行方法对应的设备或***也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，对应的设备可以包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细阐述或说明。此外，应理解，除非另外具体指出，否则本文中描述的各种示例性方面的特征可彼此组合。
图1示出了实施例提供的一种视频信号的编码装置100的示意图。装置100用于对包括多个帧(这里也称为图片)的视频信号进行编码，其中，每个帧可分成多个视频编码块，并且每个视频编码块包括多个像素。在一个实施例中，视频编码块可以是宏块、编码树单元、编码单元、预测单元和/或预测块。
装置100包括划分器121，其在图1所示的实施例中以基于分割的划分单元121的形式实现，用于将视频信号当前帧的多个视频编码块中的第一视频编码块划分为第一分段和第二分段。图4示出了包括第一视频编码块400的视频信号的当前处理帧的一部分。边界401将第一视频编码块400分为包括第一视频编码块400的多个像素的第一集合的第一分段400a和包括第一视频编码块400的多个像素的第二补集的第二分段400b。如图4所示，第一分段400a与相对于视频信号的参考帧的第一分段运动矢量MVs,0相关联，第二分段与相对于视频信号的同一个或其他参考帧的第二分段运动矢量MVs,1相关联。此外，边界401与边界运动矢量MVb相关联。此外，图4示出了第一视频编码块400的可能的虚拟分区500a，将在下面进一步详细描述。
根据本发明，第一视频编码块400与第一视频编码块400的多个预定义虚拟分区500a-f相关联。换句话说，可以使用多个预定义的，特别是矩形的虚拟分区500a-f虚拟地划分第一视频编码块400，例如用于计算目的，将在下面进一步详细描述。图5示出了可以与第一视频编码块400相关联的矩形虚拟分区示例性集合。每个虚拟分区500a-f与视频信号当前帧的多个视频编码块各自的子集相关联，其中，各自子集的每个视频编码块与第一视频编码块400相邻并且与各自的运动矢量相关联。
例如，在图4所示的示例中，虚拟分区500a可以与第一视频编码块400相邻的视频编码块403、405、407、409和411相关联，如字母a0、a1、b2、b1和b0所示。
装置100还包括编码处理器102，其在图1所示的实施例中以熵编码单元105和编码单元103的形式实现，用于基于与所选虚拟分区500a-f相关联的相邻视频编码块之一的至少一个运动矢量，针对每个虚拟分区500a-f，对第一分段运动矢量MVs,0进行编码，以对第一视频编码块400进行编码。很显然，在本发明的上下文中，编码运动矢量包括编码当前运动矢量和相应参考运动矢量的差值，如本领域中通常所做的那样。
将图1中的块分组到为较大的功能单元(如编码处理器)是指示性的。为了方便参考，很显然，对编码处理器中所包含的块的不同选择不会影响装置100的功能。例如，在装置100中，除了熵编码单元105和编码单元103之外，编码处理器还可以包括帧间预测单元115。下文描述的装置200也是如此。
此外，该装置100还包括选择器115，其在图1所示的实施例中以帧间预测单元115或其一部分的形式实现，用于从第一视频编码块400的多个预定义虚拟分区500a-f的集合中选择第一视频编码块400的多个预定义虚拟分区500a-f中的虚拟分区，该分区提供预定义性能指标的最佳编码结果。在一个实施例中，选择器115用于基于速率失真标准，特别是速率失真比率，选择性能最佳的虚拟分区500a-f。
选择器115还用于生成虚拟分区标识符，用于标识选择器115基于性能指标，特别是速率失真标准，选择的虚拟分区500a-f，并生成包括编码的第一分段运动矢量MVs,0的编码信息。在混合视频编码中，视频信号的第一帧通常是帧内编码帧，只能通过帧内预测来编码。图1所示装置100的帧内预测单元113可以执行帧内预测过程。可以在不参考其他帧的信息的情况下解码帧内编码帧。第一帧之后的帧的视频编码块可以是帧间或帧内编码。图1所示装置的帧内/帧间预测选择单元123可以在帧内编码和帧间编码之间进行选择。
图1所示装置100的帧间预测单元115可以执行如下操作：运动估计、用于选择包括所选参考图片的运动数据的运动补偿、运动矢量、划分、模式决定和其他信息。下面在图3的上下文中进一步详述。
如上所述，基于分割的划分单元121将大体为矩形的视频编码块，例如视频编码块400，划分为两个或多个具有不规则(或任意)形状的分段，即，包括视频编码块400的多个像素的第一集合的第一分段400a和包括视频编码块400的多个像素的第二集合的第二分段400b。在只有两个分段的情况下，第二集合通常与视频编码块400的多个像素的第一集合互补。如上所述，第一分段400a和第二分段400b界定了彼此之间的边界401。
在图1所示的实施例中，帧内/帧间图像预测的预测误差ek，即原始视频编码块Sk与其预测S”k之间的差值，可以由装置100的编码单元103编码，可以执行变换、变换跳过、缩放和量化等处理。编码单元103的输出以及由帧内预测单元113、帧间预测单元115和/或滤波单元117提供的边信息可以由装置100的熵编码单元105进一步编码。
在图1所示的实施例中，视频信号的编码装置100与相应视频信号的解码装置200的处理相同，下面将在图2的上下文中进一步详细描述，这样编码装置100和解码装置200都将生成相同的预测。图1所示的编码装置100的解码单元107用于执行与编码单元103相反的操作，并重复预测误差/残差数据e’k的解码近似值。然后，将解码的预测误差/残差数据e’k添加到预测S”k的结果中。装置100的重构单元109获得将残差添加到预测S”k的结果，获得重构帧S”k。在一个实施例中，可选地，重构单元109的输出可以由在滤波单元117中实现的一个或多个滤波器进一步处理，以生成处理后的信号S‘’F k，在信号S‘’F k中，例如消除了编码伪影。重构帧或经滤波的重构帧可以存储在帧缓冲器119中，并作为在帧间预测单元或帧内预测单元中执行的运动补偿预测的参考帧。另外，帧间预测单元115还可以接收输入帧Sk。输入帧和重构帧或经滤波的重构帧可以直接输入或通过基于分割的划分单元121输入到帧间预测单元。最终的图片存储在编码装置100的帧缓冲器119中，并且可以用于预测视频信号的后续帧。在一个实施例中，基于分割的划分单元121可以执行基于物体边界的划分步骤，包括可能的预处理和后处理。基于分割的划分单元121用于从参考图片/帧中自适应地生成当前块的分段。可以对分割相关参数进行编码，并将其作为边信息发送到解码装置200。例如，可以将边信息从基于分割的划分单元121输入到帧间预测单元115，并从帧间预测单元115输入到熵编码单元105(图1中的虚线)。也可以将边信息从基于分割的划分单元121直接输入到熵编码单元105(未示出)。然后，可以将边信息与编码视频信号一并发送到解码装置200。也可以在视频信号中对边信息进行编码，作为码流发送到解码装置200。
图2示出了实施例提供的视频信号的解码装置200的示意图，特别是由图1所示的编码装置100编码的视频信号。
装置200包括解码处理器，其在图2所示的实施例中以熵解码单元205、解码单元207和帧间预测单元215的形式实现，用于例如从图1所示的编码装置100接收编码信息和虚拟分区标识符，以对视频信号的当前处理帧中的第一视频编码块进行解码，例如，图4所示的第一视频编码块400。
在解码处理器完成解码处理后，装置200的帧间预测单元215还用于基于虚拟分区标识符选择第一视频编码块400的虚拟分区500a-f，其中虚拟分区500a-f与编码视频信号的当前处理帧的多个视频编码块的子集相关联，且所述子集的每个视频编码块与第一视频编码块400相邻。
装置200还用于基于由虚拟分区标识符标识的第一视频编码块400的虚拟分区500a-f相关联的相邻视频编码块的至少一个运动矢量，对第一分段运动矢量MVs,0进行解码。很显然，在本发明的上下文中，解码运动矢量包括在熵解码单元处解码当前运动矢量和相应参考运动矢量的差值，如本领域中通常所做的那样。可以将解码的差值输入到帧间预测单元215(图2中从熵解码单元到帧间预测单元的虚线)，以生成解码运动矢量。
装置200还包括划分器221，其在图2所示的实施例中以基于分割的划分单元221的形式实现，用于基于解码的边界运动矢量，将编码视频信号的参考帧中的同位置第一视频编码块划分为第一分段和第二分段。
装置200的解码处理器进一步用于基于解码的第一分段运动矢量对第一分段进行运动补偿。通常，运动补偿是一种算法技术，用于通过考虑摄像机和/或视频中的物体的运动，在给定前一帧和/或未来帧的情况下预测视频信号的帧。
在图2所示的实施例中，熵解码单元205用于对解码装置200的附加组件，特别是帧内预测单元213、帧间预测单元215、基于分割的划分单元221和/或滤波单元217所需的预测误差、运动数据和其他边信息进行熵解码。帧内预测单元213、帧间预测单元215、帧内/帧间预测选择单元223、基于分割的划分单元221和滤波单元217的操作与图1所示的编码装置100的对应组件执行的操作基本相同，即已在图1的上下文中描述的帧内预测单元113、帧间预测单元115、帧内/帧间预测选择单元123，基于分割的划分单元121和滤波单元117。这是为了确保编码装置100和解码装置200都能够生成相同的预测。
图3更详细地说明了编码装置100和解码装置200的功能块，这些功能块根据本发明的实施例实现基于分割的划分。在图3所示的实施例中，基于分割的划分单元121包括分割缓冲器121a和分割装置121b，帧间预测单元115包括“运动估计：分割”块115a，“运动估计”块115b和“运动矢量预测”块115c。如上所述，这些块也可以在解码装置200的帧间预测单元215和基于分割的划分单元221中实现。能够理解的是，为了清晰起见，图3中未明确指定现代混合视频编解码器中可能存在的其它典型组件，例如变换编码块和熵编码块。
在图3所示的实施例中，SBP控制块301用于在第一步骤中确定是否针对当前的四叉树深度级别进行分割。在一个实施例中，SBP控制块301用于在当前深度级别k，检查是否应针对所有深度级别进行分割以及深度是否不大于阈值深度kMaxDepth。虽然在图3中描述的实现方式中，SBP控制块301描述为连接在基于分割的划分单元121的上游的独立块，但是这种块的功能也可以在基于分割的划分单元121内实现。在这种情况下，无需指示独立块，例如图1和2所示。
如果是这种情况，则第二步，可以将与当前处理的视频编码块相关联的图片区域分割为二进制掩码，并将其存储在基于分割的划分单元121的分割缓冲器121a中。否则，即如果不满足SBP控制块301检查的条件之一，则可以从分割缓冲器121a加载与深度级别k-1相关联的分割后的图片区域，并且在步骤6继续处理(在后续描述中介绍)。
第三步，可以由基于分割的划分单元121的分割装置121b进行分割，包括预处理和后处理的所有可能步骤。可以对分割相关参数进行编码，并将其作为边信息发送到解码装置200。参考上述编码装置所述，可以在码流中将分割相关参数与编码视频信号一并发送到解码装置200。也可以在视频信号中对分割相关参数进行编码，作为码流发送到解码装置200。
第四步，针对属于与当前图片(或帧)相关联的分割参考图片列表的每个参考图片(或参考帧)，可以根据以下步骤5和6估计边界运动矢量MVb。在一个实施例中，可以基于速率失真成本标准来选择位移矢量MVb。
第五步，分析当前处理的视频编码块的同位置位置处的参考图片的图片区域，其中，图片区域的大小可取决于可配置的搜索窗口大小和当前处理的视频编码块大小。根据上述步骤3对图片区域进行分割。
第六步，可以对当前分割的图像区域和分割的参考图像区域进行运动估计，从而得到边界位移矢量MVb。
第七步，可以对参考图片列表中的所有参考图片重复步骤5和6。在找到最佳位移矢量之后，可以使用边界位移矢量对分割参考图片区域进行运动补偿，并将其存储在基于分割的划分单元121的分割缓冲器121a中。所选分割参考图片可以与参考图片索引相关联，作为边信息发送到解码装置200。
在第八步中，可以使用针对每个分段的经补偿的分割掩码对当前处理的视频编码块按分段进行运动估计，从而得到每个分段的一个运动矢量。可以通过单向和双向方式以及使用加权预测方案进行运动估计。
第九步，可以预测各分段的运动矢量。最后，可以预测边界运动矢量。
如上所述，根据本发明的实施例，可以预测两种不同类型的运动矢量，即，与分段相关的运动矢量，例如，图4中的分别与第一分段400a和第二分段400b相关联的运动矢量MVs,0和MVs,1，以及可以在分割参考图片中定位分割或边界401的边界运动矢量MVb。
在一个实施例中，对于两种类型的运动矢量，可以编译不同的候选预测值列表。在一个实施例中，根据当前处理的视频编码块400的所选虚拟分区500a-f来编译分段运动矢量预测值的候选列表。选择矩形虚拟分区500a-f以生成运动矢量候选预测值的最佳列表。因此，根据本发明的实施例，分割掩码或相关分析不用于确定虚拟分区500a-f。如上所述，例如，基于速率失真优化来选择虚拟分区500a-f。为此，可以使用任何方法来识别哪个虚拟分区产生最优速率失真。例如，可以选择将率失真指标最小化的虚拟分区。在一个实施例中，可以从用于常规的基于块的划分的可用模式集合中得出要测试的虚拟分区500a-f的总数。相反，在一个实施例中，用于预测边界运动矢量的候选列表包括分段运动矢量。
如上所述，图5示出了示例性虚拟分区500a-f的集合，即基于水平和垂直块的虚拟分区。这些虚拟分区可以是对称的虚拟分区(2NxN和Nx2N)和非对称的虚拟分区(2NxnU、2NxnD、nLx2N和nRx2N)。然而，这仅仅是预定义虚拟分区集合的一种可能的实现方式，在其他实施例中，此集合可以包括多于或少于六个虚拟分区以及与图5所示的虚拟分区不同的虚拟分区。
图6示出了在编码装置100的实施例中实现的预测过程，并且特别描述了图3所示的单元115a和115c执行的处理步骤。在第一阶段中，进行分段预测(块601、603、603a和603b)，然后在第二阶段中，进行边界运动矢量预测(块605和607)。更具体地，在块601中，可以从可用的划分模式集合中选择矩形划分模式，例如由图5中的块500a至500f指定的划分模式，并将其表示为当前SBP块的虚拟分区模式。根据所选虚拟分区模式，通过块603a，可以为每个分段生成运动矢量候选列表，其中，候选列表项取决于虚拟分区的形状和运动矢量的可用性。图7举例说明了检查可用性的相邻位置。可以将候选列表输入到“合并/MVP决定”块603b，其中，基于速率失真成本标准确定是否通过来自候选列表(合并)的运动矢量预测当前分段像素，或者是否使用通过块115b(MVP)中的运动估计找到的运动矢量。根据所选模式，可以将不同的运动边信息传递给熵编码器。如块605所示，可以将得到的分段运动矢量添加到边界运动矢量候选预测值列表中。对下一分段重复该过程。如果已经处理了所有分段，则块607中，可以计算每个候选预测值的速率估计。从列表中取一个分段矢量作为由块115a确定的边界运动矢量的预测值。
在一个实施例中，每个分段运动矢量都有两个运动矢量预测的选项，这两个选项都基于运动矢量预测值的候选列表。
第一选项是将分段运动矢量与空间或时间相邻的运动矢量合并。完全从运动矢量的合并候选列表中预测一个分段的运动矢量，合并候选列表由当前块400的空间和时间相邻块构成。如果时间候选运动矢量与不同于当前参考图片的参考图片相关联，则根据其相对时间位置进行缩放。候选列表隐式地取决于所选虚拟分区500a-f，下文将进一步详细描述。在运动矢量合并的情况下，根据一个实施例，使用信号仅发送合并索引，并且不进一步对运动矢量差、参考图片索引或预测值索引进行编码。
第二选项是常规的运动矢量预测(MVP)。在一个实施例中，在前两个条目之后截断得到候选列表。编码处理器105和/或帧间预测单元115可以从估计的分段或边界运动矢量中减去运动矢量预测值之后，通过测量剩余运动矢量差的编码成本，选择速率最佳预测值。在一个实施例中，在这种情况下，可以对运动矢量差、预测值索引和参考图片索引进行编码。
可以从分段运动矢量MVs,0和MVs,1中的一个预测边界运动矢量MVb，边界运动矢量可以使用预测值索引指示。如在时间合并候选的情况下，分段运动矢量MVs,0和MVs,1和边界运动矢量MVb可以与不同的参考图片(帧)相关联，并且可以基于以下等式应用每个分段运动矢量MVs的缩放。
Figure GDA0001918868280000121
其中，tb是当前参考图片和边界参考图片之间的时间距离，td是当前参考图片和分段参考图片之间的时间距离。因此，可以将剩余运动矢量差与参考图片索引和分段预测值索引一并发送到解码器或装置200。
在编码装置100已经测试了所有虚拟分区500a-f之后，编码装置100选择性能最佳的虚拟分区，并使用虚拟分区标识符用信号发送给解码装置200。在一个实施例中，虚拟分区标识符可以仅仅是编码索引，例如，虚拟分区2NxN 500a为“0”，虚拟分区Nx2N 500b为“1”，依此类推。
如上所述，每个虚拟分区500a-f与当前处理的视频编码块400相邻的视频编码块的可能不同的子集相关联。因此，所选虚拟分区500a-f确定每个虚拟分区的可能运动矢量候选预测值集合。
图7举例说明了候选位置，其中，2NxN虚拟分区500a的上分区P0的运动矢量候选预测值由相邻运动矢量场的采样位置A0、A1、B0、B1和B2指示。显然，不同的虚拟分区配置导致运动矢量场邻域的不同采样位置。
针对每个虚拟分区500a-f，可以从当前处理的视频编码块400的空间同位置、和时间相邻块中构建运动矢量预测值的候选列表。在一个实施例中，按以下顺序测试空间相邻位置，即相邻块：
A1→B1→B0→A0→B2
在一个实施例中，基于当前分区子块的左上像素，采样位置可以衍生为以下相邻块位置：
-A0：左下
-A1：左
-B0：右上
-B1：上
-B2：左上
在一个实施例中，可以测试另外两个时间候选C0和C1并将其添加到候选列表中。如图8所示，可以在当前处理的视频编码块400(与同位置视频编码块400'相对应)的同位置位置从当前处理的帧800的参考帧800'中获取另外两个时间候选C0和C1，其中C0和C1的位置如下：
-C0：同位置右下
-C1：同位置中心对于每个空间和时间位置，可以检查测试位置是否属于帧间编码块以及运动矢量是否已经可用。如果条件成立，且之前尚未在前一步骤中添加的话，则可以将每个可用运动矢量添加到候选列表中。对于虚拟分区500a的第二部分，推导过程可能不同：如果虚拟分区是垂直模式，在构建P1的候选列表时，可以省略采样位置A1。如果虚拟分区是水平模式，构建P1的候选列表时，可以省略采样位置B1。
对于每个编码块，解码装置200可以使用分割装置121b从参考图片自适应地生成分割。为了获得与已被编码装置100确定为速率失真最优的分割相匹配的正确分割，解码装置200可能需要附加信息，例如，参考图片被分割的指示符、定位参考图片中要分割的区域的运动矢量和/或操控分割过程本身的附加参数。
可以根据所选虚拟分区500a-f，对用于重构SBP块所需的分段运动信息进行解码和排列，因此看起来与基于常规块的划分情况相同。因此，对于由本发明的实施例实现SBP的情况，可以重用已经为基于常规块的划分指定的解码步骤，并且只需要解码附加标记。对于解码装置200中的存储器访问和SBP块的未来参考而言，以基于块的方式存储运动信息是有用的。图9示出了在本发明的实施例中，结合基于块的解码方面实现的基于分割的划分(segmentation based partitioning，简称SBP)的模式信令的概述。为了清晰起见，图9省略了与SBP无关的中间解码步骤，如变换系数解码等。SBP的信令可以通过编码层次结构的不同级别的标志的组合来实现。在一个实施例中，如果为当前处理的帧启用了SBP，则执行以下步骤：
1.在编码树块的根处，解码SBP标志(图9的块901)。如果一个子块正在使用SBP，则发出信号：“true”值。如果标志的值是“false”，则可以假设所有子块正在使用常规块划分，且不需要解码涉及SBP的其他标志或符号(图9的块903)。
2.解码虚拟分区(也称为虚拟分区模式)，其指定用于SBP或常规运动划分的运动信息的虚拟分区(图9的块911和913)。如上所述，根据解码的虚拟分区，为进一步的预测和重构过程构建不同的预测候选列表。
3.在对预测信息进行分段或分区解码之前，解码SBP子标志(图9的块915)，指示是否在当前块中使用SBP(图9的块917)。只有SBP根标志设置为“true”时，才会解码此标志。此外，只有虚拟分区属于SBP模式的预定义组时，才会解码此标志。如果标志的值为“true”，则当前块使用SBP。否则，使用基于规则块的划分。
4.如果SBP子标志设置为“true”，则为当前块启用SBP，并开始分段解码。SBP标志还指示分割相关信息，例如分割参考图片索引、预测值索引和边界运动矢量差，需要解码(图9的块919)。
在一个实施例中，对每个分段执行以下附加步骤：
1.执行每个分区/分段的解码步骤。通常，根据解码后的合并标志的值，可以通过合并模式或MVP(运动矢量预测)模式来确定分段运动矢量。在第一种情况下，如果合并标志的值为true，则可以解码合并索引，指定要使用的合并候选列表的候选项。
2.在MVP(运动矢量预测)的情况下，可以从编码装置100提供的码流中解码以下符号：指定了对当前分段使用单向、双向还是加权预测的帧间预测方向索引，因此指定了每个分段的运动矢量的数量。根据运动矢量的数量，可以对参考图片索引、运动矢量差和候选预测值进行解码。合并和MVP候选列表是根据虚拟分区构建的，且可以包含已解码的当前块的空间和时间相邻块。列表构建与根据实施例的编码装置100中实现的对应处理的上述描述相同。
3.分段经处理后，可以解码边界相关信息。附加信息可以包括分割参考图像索引、预测值索引和运动矢量差。
4.可以导出在解码的分割参考图片中定位边界的运动矢量。最终的边界运动矢量MVb是运动矢量预测值MVs,MVPIdxb和运动矢量差MVdb的总和，即：
MVb＝MVs,MVPIdxb+MVdb
5.如果由分割设置指定，则可以解码附加的分割控制信息。相应地可以进行分割。否则，可以通过自动方法对当前处理的视频编码块进行分段，并且不再解码其他信息。
6.分割装置121b对指定的参考图片进行分割，可以包括预处理和后处理的方法。结果是标记与当前处理的块大小相等的分割掩码，其中，每个标记的区域与一个分段相关联。
通过上述步骤6，可以完成基于分割的划分信息的解码，并且可以开始当前处理的视频编码块的基于帧间预测的重构。在一个实施例中，可以根据以下方案对于分割掩码重建块：PredB(x)＝RefB(x-MVs,0)*Masks,0+RefB(x-MVs,1)*Masks,1+…+RefB(x-MVs,Np)*Masks,Np其中，“PredB”表示当前位置x处的预测块，“RefB”表示根据每个分段的解码参考图片索引的参考块。“Mask”表示标记的分割掩码，其中索引表示分割掩码的相应标记区域。每个标记区域与属于该分段的运动矢量MV相关联。运动矢量基于时间同位置位置来定位参考图片中的区域。图10示出了一个示例预测块400'，其由三个不同的分段400a'，400b'和400c'生成。因此，所得到的预测块400'是从参考图像获得的运动补偿区域的像素级组合。
图11示出了根据实施例的视频信号的编码方法1100的示意图，其中，视频信号包括多个帧，并且每个帧可分成多个视频编码块，包括例如第一视频编码块403。
方法1100包括第一步骤1101，将视频信号的当前处理帧的多个视频编码块中的第一视频编码块403划分为第一分段和第二分段，其中，第一分段与相对于视频信号的参考帧的第一分段运动矢量相关联，第一视频编码块403与第一视频编码块403的多个预定义虚拟分区500a-f相关联，即，第一视频编码块403可以由多个预定义虚拟分区500a-f划分。每个虚拟分区500a-f与视频信号当前帧的多个视频编码块各自的子集相关联，其中，各自子集的每个视频编码块与第一视频编码块403相邻并且与各自运动矢量相关联。
方法1100包括：进一步的步骤1103，基于与第一视频编码块403的所选虚拟分区500a-f相关联的相邻视频编码块的至少一个相邻块运动矢量，针对每个虚拟分区500a-f，对第一分段运动矢量进行编码。
方法1100包括：进一步的步骤1105，基于与第一分段运动矢量的编码相关联的相应性能指标来选择第一视频编码块403的虚拟分区500a-f，并生成标识所选虚拟分区500a-f的虚拟分区标识符和包括编码的第一分段运动矢量的编码信息。
图12示出了根据实施例的编码视频信号的解码方法1200的示意图，其中，编码视频信号包括多个帧，并且每个帧可分成多个视频编码块，包括例如第一视频编码块403。
方法1200包括如下步骤：1201接收编码信息和虚拟分区标识符用于解码当前解码帧中的第一视频编码块403；1203基于虚拟分区标识符选择第一视频编码块403的虚拟分区500a-f，其中，虚拟分区500a-f与编码视频信号当前解码帧的多个视频编码块的子集相关联；所述子集的每个视频编码块与第一视频编码块403相邻；1205基于与所识别的第一视频编码块403的虚拟分区500a-f相关联的相邻视频编码块的至少一个运动矢量，对第一分段运动矢量进行解码；1207将编码视频信号的第一参考帧中的同位置第一视频编码块划分为至少第一分段和第二分段；1209基于解码的第一分段运动矢量对第一分段进行运动补偿。在一个实施例中，方法1200可以在分区步骤1207之前包括将与分区相关联的边界运动矢量解码为第一分段和第二分段的另一步骤。
尽管本发明的特定特征或方面可能已经仅结合几种实施方式或实施例中的一种进行公开，但此类特征或方面可以和其它实施方式或实施例中的一个或多个特征或方面相结合，只要对于任何给定或特定的应用是有需要或有利。而且，在一定程度上，术语“包括”、“有”、“具有”或这些词的其他变形在详细的说明书或权利要求书中使用，这类术语和所述术语“包含”是类似的，都是表示包括的含义。同样，术语“示例性地”，“例如”仅表示为示例，而不是最好或最佳的。可以使用术语“耦合”和“连接”及其派生词。应当理解，这些术语可以用于指示两个元件彼此协作或交互，而不管它们是直接物理接触还是电接触，或者它们彼此不直接接触。
尽管本文中已说明和描述特定方面，但所属领域的技术人员应了解，多种替代和/或等效实施方式可在不脱离本发明的范围的情况下所示和描述的特定方面。该申请旨在覆盖本文论述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，除非对权利要求的阐述另有暗示用于实施部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实施。
通过以上启示，对于本领域技术人员来说，许多替代、修改和变化是显而易见的。当然，所属领域的技术人员容易认识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但所属领域的技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实践本发明。

Claims (18)

1.一种视频信号的编码装置（100），其特征在于，视频信号包括多个帧，并且每个帧被分成多个视频编码块，所述装置（100）包括：
划分器（121，121b），用于将所述视频信号当前帧的多个视频编码块中的第一视频编码块（400）划分为第一分段（400a）和第二分段（400b），其中，所述第一分段（400a）与相对于所述视频信号的第一参考帧的第一分段运动矢量相关联；
其中，所述第一视频编码块（400）与所述第一视频编码块（400）的多个虚拟分区（500a-f）相关联；每个虚拟分区（500a-f）与所述视频信号当前帧的多个视频编码块各自的子集相关联；所述各自子集的每个视频编码块与所述第一视频编码块（400）相邻并且与一个运动矢量相关联；
编码处理器（102），用于基于与所选虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量，针对每个虚拟分区（500a-f），对所述第一分段运动矢量进行编码，以对所述第一视频编码块（400）进行编码；
相应的，边界运动矢量与所述第一视频编码块（400）的第一分段（400a）和第二分段（400b）之间的边界（401）相关联，所述编码处理器（102）用于基于所述第一分段运动矢量和/或与所述第二分段（400b）相关联的第二分段运动矢量对所述边界运动矢量进行编码；
选择器（115），用于基于与所述第一分段运动矢量的编码相关联的相应性能指标来选择所述第一视频编码块（400）的虚拟分区（500a-f），并生成用于标识所述选择器（115）选择的虚拟分区（500a-f）的虚拟分区标识符和包括所述编码的第一分段运动矢量的编码信息。
2.根据权利要求1所述的装置（100），其特征在于，所述选择器（115）用于基于与所述第一分段运动矢量的编码相关联的相应率失真指标来选择所述第一视频编码块（400）的虚拟分区。
3.根据权利要求1所述的装置（100），其特征在于，所述编码处理器（102）用于基于与所述第一视频编码块（400）的所选虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量和所述视频信号的相邻帧中的同位置视频编码块的至少一个运动矢量，对所述第一分段运动矢量进行编码。
4.根据权利要求1-3中任一项所述的装置（100），其特征在于，所述编码处理器（102）用于将所述虚拟分区标识符与所述第一视频编码块（400）一并进行编码。
5.根据权利要求1所述的装置（100），其特征在于，所述编码处理器（102）用于通过在参考帧中重新缩放所述同位置视频编码块的第一分段运动矢量，对所述边界运动矢量进行编码。
6.根据权利要求1-3或5中任一项所述的装置（100），其特征在于，所述编码处理器（102）用于基于所述第一视频编码块（400）的所选虚拟分区（500a-f）相关联的所述相邻视频编码块的至少一个运动矢量，通过运动矢量合并对所述第一分段运动矢量进行编码。
7.根据权利要求1-3或5中任一项所述的装置（100），其特征在于，所述第一视频编码块（400）的虚拟分区（500a-f）的集合包括所述第一视频编码块（400）的分区2NxN、Nx2N、2NxnU、2NxnD、nLx2N和nRx2N。
8.一种视频信号的编码方法（1100），其特征在于，视频信号包括多个帧，并且每个帧可分成多个视频编码块，所述方法（1100）包括：
将所述视频信号当前帧的多个视频编码块中的第一视频编码块（400）划分（1101）为第一分段（400a）和第二分段（400b），其中，所述第一分段（400a）与相对于所述视频信号的参考帧的第一分段运动矢量相关联；所述第一视频编码块（400）与所述第一视频编码块（400）的多个虚拟分区（500a-f）相关联；每个虚拟分区（500a-f）与所述视频信号当前帧的多个视频编码块各自的子集相关联；所述各自子集的每个视频编码块与所述第一视频编码块（400）相邻并且与一个运动矢量相关联；
基于与所述第一视频编码块（400）的所选虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量，针对每个虚拟分区（500a-f），对所述第一分段运动矢量进行编码（1103）；相应的，基于所述第一分段运动矢量和/或与所述第二分段（400b）相关联的第二分段运动矢量对边界运动矢量进行编码，所述边界运动矢量与所述第一视频编码块（400）的第一分段（400a）和第二分段（400b）之间的边界（401）相关联；
基于与所述第一分段运动矢量的编码相关联的相应性能指标来选择（1105）所述第一视频编码块的虚拟分区（500a-f），并生成标识所选虚拟分区（500a-f）的虚拟分区标识符和包括所述编码的第一分段运动矢量的编码信息。
9.一种编码视频信号的解码装置（200），其特征在于，编码视频信号包括多个帧，并且每个帧可分成多个视频编码块，所述装置（200）包括：
解码处理器（205、207和215）用于：
接收编码信息和虚拟分区标识符；
基于所述解码出的虚拟分区标识符选择第一视频编码块的虚拟分区（500a-f），其中，所述虚拟分区与所述编码视频信号当前帧的多个视频编码块的子集相关联；所述子集的每个视频编码块与所述第一视频编码块相邻；其中，所述虚拟分区标识符是基于与所选虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量，针对每个虚拟分区（500a-f），对所述第一分段运动矢量进行编码，以对所述第一视频编码块（400）进行编码；基于与所述第一分段运动矢量的编码相关联的相应性能指标来选择所述第一视频编码块（400）的虚拟分区（500a-f），并生成得到的，所述虚拟分区标识符用于标识所选择的虚拟分区（500a-f）；
基于与所识别出的的所述第一视频编码块的虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量，对第一分段运动矢量进行解码；
划分器（221），用于将所述编码视频信号的第一参考帧中的同位置第一视频编码块划分为第一分段和第二分段；
其中，所述解码装置（205、207和215）进一步用于基于所述解码出的第一分段运动矢量对所述第一分段进行运动补偿；
所述解码处理器（205、207和215）还用于基于所述第一分段运动矢量对所述第一分段和所述第二分段之间的边界相关联的边界运动矢量进行解码；
所述划分器（221）用于基于所述解码的边界运动矢量，将所述编码视频信号的所述第一参考帧中的同位置第一视频编码块划分为第一分段和第二分段。
10.根据权利要求9所述的装置（200），其特征在于，所述解码处理器（205、207和215）用于基于与所述第一视频编码块的虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量和所述编码视频信号的相邻帧中的视频编码块的至少一个运动矢量，对所述第一分段运动矢量进行解码。
11.根据权利要求9所述的装置（200），其特征在于，所述解码处理器（205、207和215）用于基于所述第一视频编码块的所述虚拟分区（500a-f）相关联的所述相邻视频编码块的至少一个运动矢量，通过运动矢量合并对所述第一分段运动矢量进行解码。
12.根据权利要求9-11任一项所述的装置（200），其特征在于，所述第一视频编码块的虚拟分区（500a-f）是以下分区之一：所述第一视频编码块的2NxN、Nx2N、2NxnU、2NxnD、nLx2N或nRx2N分区。
13.一种编码视频信号的解码方法（1200），其特征在于，编码视频信号包括多个帧，并且每个帧可分成多个视频编码块，所述方法（1200）包括：
接收（1201）编码信息和虚拟分区标识符；
基于所述虚拟分区标识符选择（1203）第一视频编码块的虚拟分区（500a-f），其中，虚拟分区与所述编码视频信号当前帧的多个视频编码块的子集相关联，所述子集的每个视频编码块与所述第一视频编码块相邻；其中，所述虚拟分区标识符是基于与所选虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量，针对每个虚拟分区（500a-f），对所述第一分段运动矢量进行编码，以对所述第一视频编码块（400）进行编码；基于与所述第一分段运动矢量的编码相关联的相应性能指标来选择所述第一视频编码块（400）的虚拟分区（500a-f），并生成得到的，所述虚拟分区标识符用于标识所选择的虚拟分区（500a-f）；
基于与所识别的所述第一视频编码块的虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量，对第一分段运动矢量进行解码（1205）；
将所述编码视频信号的第一参考帧中的同位置第一视频编码块划分（1207）为第一分段和第二分段；
基于解码的所述第一分段运动矢量对所述第一分段进行运动补偿（1209）；
基于所述第一分段运动矢量对所述第一分段和所述第二分段之间的边界相关联的边界运动矢量进行解码；
基于所述解码的边界运动矢量，将所述编码视频信号的所述第一参考帧中的同位置第一视频编码块划分为第一分段和第二分段。
14.根据权利要求13所述的方法（1200），其特征在于，所述基于与所识别的所述第一视频编码块的虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量，对第一分段运动矢量进行解码（1205），包括：
基于与所述第一视频编码块的虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量和所述编码视频信号的相邻帧中的视频编码块的至少一个运动矢量，对所述第一分段运动矢量进行解码。
15.根据权利要求13或14所述的方法（1200），其特征在于，所述基于与所识别的所述第一视频编码块的虚拟分区（500a-f）相关联的相邻视频编码块的至少一个运动矢量，对第一分段运动矢量进行解码（1205），包括：基于所述第一视频编码块的所述虚拟分区（500a-f）相关联的所述相邻视频编码块的至少一个运动矢量，通过运动矢量合并对所述第一分段运动矢量进行解码。
16.根据权利要求13-15任一项所述的方法（1200），其特征在于，所述第一视频编码块的虚拟分区（500a-f）是以下分区之一：所述第一视频编码块的2NxN、Nx2N、2NxnU、2NxnD、nLx2N或nRx2N分区。
17.根据权利要求13-16任一项所述的方法（1200），其特征在于，所述方法还包括：基于所述第一分段运动矢量对所述第一分段和所述第二分段之间的边界相关联的边界运动矢量进行解码；
所述将所述编码视频信号的第一参考帧中的同位置第一视频编码块划分（1207）为第一分段和第二分段，包括：
基于所述解码的边界运动矢量，将所述编码视频信号的所述第一参考帧中的同位置第一视频编码块划分为第一分段和第二分段。
18.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，执行权利要求8所述的方法（1100）或权利要求13至17任一项所述的方法（1200）。
CN201680087097.1A 2016-06-24 2016-06-24 一种使用基于分割的视频编码块划分的视频编码设备和方法 Active CN109565595B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/064707 WO2017220163A1 (en) 2016-06-24 2016-06-24 Devices and methods for video coding using segmentation based partitioning of video coding blocks

Publications (2)

Publication Number Publication Date
CN109565595A CN109565595A (zh) 2019-04-02
CN109565595B true CN109565595B (zh) 2021-06-22

Family

ID=56203403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087097.1A Active CN109565595B (zh) 2016-06-24 2016-06-24 一种使用基于分割的视频编码块划分的视频编码设备和方法

Country Status (4)

Country Link
US (1) US10931965B2 (zh)
EP (1) EP3469793A1 (zh)
CN (1) CN109565595B (zh)
WO (1) WO2017220163A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111886861B (zh) * 2018-02-22 2023-12-22 Lg电子株式会社 根据图像编码***中的块划分结构的图像解码方法和设备
CN112997490B (zh) * 2018-11-16 2023-12-22 夏普株式会社 用于在视频编码中导出运动矢量预测的***和方法
CN112135137B (zh) * 2019-06-25 2024-04-09 华为技术有限公司 视频编码器、视频解码器及相应方法
WO2021104309A1 (en) * 2019-11-27 2021-06-03 Mediatek Inc. Method and apparatus of unified weight and motion indexes derivation for geometric merge mode in video coding
WO2024119404A1 (en) * 2022-12-07 2024-06-13 Intel Corporation Visual quality enhancement in cloud gaming by 3d information-based segmentation and per-region rate distortion optimization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013165808A1 (en) * 2012-04-29 2013-11-07 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
CN103477635A (zh) * 2010-10-08 2013-12-25 弗兰霍菲尔运输应用研究公司 支持块分割及块合并的图像编码技术

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596243B2 (en) * 2005-09-16 2009-09-29 Sony Corporation Extracting a moving object boundary
JP2009545920A (ja) * 2006-08-02 2009-12-24 トムソン ライセンシング ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置
KR20080107965A (ko) 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
CN101822064A (zh) 2007-10-16 2010-09-01 汤姆逊许可公司 用于几何分割超级块的视频编码和解码的方法和设备
KR101441905B1 (ko) * 2009-11-18 2014-09-24 에스케이텔레콤 주식회사 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8879632B2 (en) 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
CN102223526B (zh) 2010-04-15 2013-09-11 华为技术有限公司 图像编解码方法及相关装置
DK3661210T3 (da) * 2010-07-20 2023-09-11 Ntt Docomo Inc Fremgangsmåde til forudsigende billedafkodning
CN106937123B (zh) * 2010-10-28 2020-03-27 韩国电子通信研究院 视频解码设备
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
WO2013070001A1 (ko) * 2011-11-08 2013-05-16 한국전자통신연구원 후보 리스트 공유 방법 및 이러한 방법을 사용하는 장치
KR20230145540A (ko) 2011-11-11 2023-10-17 지이 비디오 컴프레션, 엘엘씨 적응적 분할 코딩
WO2013068564A1 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective wedgelet partition coding using spatial prediction
EP2777286B1 (en) 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
WO2015007348A1 (en) 2013-07-19 2015-01-22 Huawei Technologies Co., Ltd. Method and apparatus for encoding and decoding a texture block using depth based block partitioning
CN106233334B (zh) 2014-03-20 2020-03-10 华为技术有限公司 一种将视频块分割模式和视频编码块关联的装置和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103477635A (zh) * 2010-10-08 2013-12-25 弗兰霍菲尔运输应用研究公司 支持块分割及块合并的图像编码技术
WO2013165808A1 (en) * 2012-04-29 2013-11-07 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding

Also Published As

Publication number Publication date
CN109565595A (zh) 2019-04-02
US20190124356A1 (en) 2019-04-25
WO2017220163A1 (en) 2017-12-28
EP3469793A1 (en) 2019-04-17
US10931965B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
CN113383554B (zh) LUT和共享Merge列表之间的交互
CN113170099B (zh) 块内拷贝模式和帧间预测工具之间的交互
DK2777283T3 (en) Effective prediction using partition encoding
US10771816B2 (en) Method for deriving a motion vector
US20190124332A1 (en) Inter-prediction mode based image processing method, and apparatus therefor
CN109565595B (zh) 一种使用基于分割的视频编码块划分的视频编码设备和方法
TWI655863B (zh) 視訊處理系統中基於預測子的分割的方法及裝置
WO2020142448A1 (en) System and method for signaling of motion merge modes in video coding
CN115152227A (zh) 并行处理的选择性切换
WO2020008330A1 (en) Priority-based non-adjacent merge design
US10735726B2 (en) Apparatuses and methods for encoding and decoding a video coding block of a video signal
CN110832854A (zh) 利用插值进行帧内预测的方法和装置
CN113170187A (zh) 导出构造的仿射合并候选的方法
WO2019229682A1 (en) Application of interweaved prediction
CN118176731A (zh) 用于视频处理的方法、装置和介质
CN110650348A (zh) 运动矢量的推导方法和编码方法、装置、设备及介质
CN113557720A (zh) 视频编解码中的多假设预测当中的自适应权重

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant