CN110521207A - 用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置 - Google Patents

用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置 Download PDF

Info

Publication number
CN110521207A
CN110521207A CN201880018582.2A CN201880018582A CN110521207A CN 110521207 A CN110521207 A CN 110521207A CN 201880018582 A CN201880018582 A CN 201880018582A CN 110521207 A CN110521207 A CN 110521207A
Authority
CN
China
Prior art keywords
block
prediction
current block
videos
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880018582.2A
Other languages
English (en)
Inventor
方健
姜制远
金娜莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
College-Production-Learning Cooperation Group Of Lihua Women's University
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by College-Production-Learning Cooperation Group Of Lihua Women's University, Electronics and Telecommunications Research Institute ETRI filed Critical College-Production-Learning Cooperation Group Of Lihua Women's University
Priority to CN202310972732.6A priority Critical patent/CN116781932A/zh
Publication of CN110521207A publication Critical patent/CN110521207A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于视频编码/解码的基于非典型块的运动预测的方法及其装置。公开了所述基于非典型块的运动预测方法，包括以下步骤：检测360度图像的格式信息；通过使用所述格式信息来改变当前块的形状和/或邻近块的形状；并且基于所述形状改变来预测当前块的运动矢量。

Description

用于视频编码/解码的基于非典型块的运动预测和补偿的方 法及其装置
技术领域
本公开涉及一种用于视频编码/解码的基于可变形块的运动预测和补偿的方法和设备。更具体地，本公开涉及一种考虑到360度视频编码/解码中的视频特性的用于视频编码/解码的基于可变形块的运动预测和补偿的方法和设备。
背景技术
近来，随着对诸如超高清(UHD)视频服务等的高分辨率和高质量视频服务的需求的增加，已经开发了诸如高效视频编码(HEVC)的视频编码标准。HEVC将一个条带划分为多个编码树单元(CTU)，并且每个CTU以四叉树形式被递归地划分。图7是示意性地示出当对图像进行编码和解码时图像的分区结构的示图。参照图7，将被划分的单元是编码单元(CU)，并且每个CU可以被分区为诸如2N×2N、N×2N、2N×N、N×N、不对称分区结构(非对称运动分区，AMP)等的各种预测单元(PU)。
同时，360度视频拍摄设备一般可以被分类为装配型和一体型。图8是示出根据本公开的实施例的360度视频拍摄设备的示图。参照图8，一体型810的意思可以是单个相机经由鱼眼镜头以360度进行拍摄的相机等。装配型820的意思可以是彼此连接以进行拍摄的多个相机。对使用一体型810或装配型820获得的视频执行拼接处理，使得通常可以获得矩形球面展开格式(equi-rectangular)的360度视频。
360度视频可以具有各种投影格式。图9是示出根据本公开的实施例的360度视频的投影格式的示图。参照图9，360度视频被格式化为ERP(矩形球面展开投影)910、ISP(二十面体投影)920、CMP(立方体图投影)930、OCP(八面体投影)940、四面体(未示出)、十二面体(未示出)等。在各种投影格式中，通常用于360度视频的投影格式(即，原生的)是ERP。图10是示出根据本公开的实施例的ERP视频的示图。ERP视频是投影在基于纬度和经度被划分成相同区域的球面上的视频。参照图10，基于相机，被映射到360度球体的视频1010被投影成2D，从而获得ERP视频1020。
图11是示出根据本公开的实施例的ERP失真的示图。参照图11，相对于赤道在ERP视频中上下移动可能导致视频被左右拉伸的失真。例如，视频相对于纬度被拉伸
因此，由于ERP视频中发生的失真，使用传统的基于块的运动估计技术作为针对ERP视频的运动估计和补偿技术不合适，并且已经讨论了对这方面进行补充的研究。
发明内容
技术问题
本公开的目的在于提供一种用于视频编码/解码的基于可变形块的运动预测的方法和设备。
本公开的另一目的在于提供一种用于视频编码/解码的基于可变形块的运动补偿的方法和设备。
本公开的另一目的在于提供一种用于在考虑到360度视频编码/解码处理中的视频特性执行基于可变形块的运动预测的方法和设备。
本公开的另一目的在于提供一种用于在考虑到360度视频编码/解码处理中的视频特性执行基于可变形块的运动补偿的方法和设备。
将被理解的，将由本公开解决的技术问题不限于前述技术问题，并且对于本公开所属领域的普通技术人员而言，其他未提及的技术问题从以下描述中将是显而易见的。
技术方案
根据本公开的一个方面，提供了一种基于可变形块的运动预测的方法，所述方法包括：检测360度视频的格式信息；通过使用所述格式信息使当前块的形式和邻近块的形式中的至少一个变形；并且基于所述变形来预测针对当前块的运动矢量。
根据本公开的另一方面，提供了一种基于可变形块的运动补偿的方法，所述方法包括：接收当前块的运动预测信息；接收360度视频的格式信息；并且通过使用所述运动预测信息和所述格式信息生成针对当前块的预测块。
根据本公开的另一方面，提供了一种用于基于可变形块的运动补偿的设备，所述设备被配置为：检测360度视频的格式信息；通过使用所述格式信息使当前块的形式和邻近块的形式中的至少一个变形；并且基于所述变形来预测针对当前块的运动矢量。
根据本公开的另一方面，提供了一种用于基于可变形块的运动补偿的设备，所述设备被配置为：接收当前块的运动预测信息；接收360度视频的格式信息；并且通过使用所述运动预测信息和所述格式信息生成针对当前块的预测块。
将被理解的，前面概述的特征是本公开的以下详细描述的示例性方面，而不限制本发明的范围。
技术效果
根据本公开，可以提供一种用于视频编码/解码的基于可变形块的运动预测的方法和设备。
此外，根据本公开，可以提供一种用于视频编码/解码的基于可变形块的运动补偿的方法和设备。
此外，根据本公开，可以提供一种用于考虑到360度视频编码/解码处理中的视频特性来执行基于可变形块的运动预测的方法和设备。
此外，根据本公开，可以提供一种用于考虑到360度视频编码/解码处理中的视频特性来执行基于可变形块的运动补偿的方法和设备。
可以从本公开获得的效果将不仅限于上述效果。此外，对于本领域技术人员而言，本文未描述的其他效果将从以下描述变得显而易见。
附图说明
图1是示出根据本公开的实施例的编码设备的配置的框图。
图2是示出根据本公开的实施例的解码设备的配置的框图。
图3是示意性地示出当对图像进行编码和解码时图像的分区结构的示图。
图4是示出帧内预测处理的实施例的示图。
图5是示出帧间预测处理的实施例的示图。
图6是示出变换和量化的处理的示图。
图7是示意性地示出当对图像进行编码和解码时图像的分区结构的示图。
图8是示出根据本公开的实施例的360度视频拍摄设备的示图。
图9是示出根据本公开的实施例的360度视频的投影格式的示图。
图10是示出根据本公开的实施例的ERP视频的示图。
图11是示出根据本公开的实施例的ERP失真的示图。
图12是示出基于典型块的运动预测的方法的实施例的示图。
图13是示出根据本公开的实施例的当将基于典型块的运动预测的技术应用于ERP视频时发生的问题的示图。
图14是示出根据本公开的实施例的基于可变形块的运动预测的方法的示图。
图15是示出根据本公开的另一实施例的基于可变形块的运动预测的方法的示图。
图16是示出根据本公开的实施例的针对ERP视频的填充视频的示图。
图17是示出根据本公开的又一实施例的基于可变形块的运动预测的方法的示图。
图18是示出根据本公开的实施例的用于基于可变形块的运动预测的设备如何进行操作的示图。
图19是示出根据本公开的实施例的用于基于可变形块的运动补偿的设备如何进行操作的示图。
具体实施方式
在下文中，将详细描述本公开的示例性实施例，使得本领域普通技术人员结合附图容易地理解和实现由本公开提供的设备和方法。然而，本公开可以以各种形式体现，并且本公开的范围不应被解释为限于示例性实施例。
在描述本公开的实施例时，当公知的功能或结构可能模糊本公开的精神时，将不详细描述它们。此外，与本公开的描述无关的部件在附图中未被示出，并且将相同的附图标号给予相同的部件。
在本公开中，将被理解的，当元件被称为被“连接到”、“耦合到”另一元件或“与”另一元件“组合”时，该元件可以被直接连接或耦合到所述另一元件或与所述另一个元件组合，或者可以在它们之间存在中间元件。将进一步被理解的，术语“包括”、“包含”、“具有”等当在本公开中被使用时，指定所述特征、整数、步骤、操作、元件、组件和/或其组合的存在，但是不排除存在或添加一个或更多个其他特征、整数、步骤、操作、元件、组件和/或其组合。
将被理解的，尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一个元件区分开，而不用于表明元件之间的顺序或优先级。例如，在不脱离本公开的教导的情况下，下面讨论的第一元件可以被称为第二元件。类似地，第二元件也可以称为第一元件。
在本公开中，有区别地命名元件以清楚地描述各种元件的特征，而并不表示元件在物理上彼此分离。也就是说，多个被区分开的元件可以被组合成单个硬件单元或单个软件单元，相反，一个元件可以由多个硬件单元或多个软件单元实现。因此，虽然没有具体说明，但是各种元件的集成形式或一个元件的分离形式可以落入本公开的范围内。
在本公开中，在各种实施例中描述的所有组成元件不应被解释为必要元件，而是一些组成元件可以是可选元件。因此，由特定实施例中的组成元件的相应子集配置的实施例也可以落入本公开的范围内。另外，通过将一个或更多个元件添加到各种元件而配置的实施例也可以落入本公开的范围内。
在下文中，将参照附图详细描述本发明的实施例。
在描述本发明的示例性实施例时，由于公知的功能或结构可能不必要地模糊对本发明的理解，所以将不详细描述它们。附图中相同的组成元件由相同的附图标号表示，并且将省略对相同元件的重复描述。
在下文中，图像可以表示构成视频的画面，或者可以表示视频本身。例如，“对图像进行编码或解码或编解码”可以表示“对运动画面进行编码或解码或编解码”，并且可以表示“对运动画面的图像中的一个图像进行编码或解码或编解码。”
在下文中，术语“运动画面”和“视频”可以用作相同的含义并且彼此替换。
在下文中，目标图像可以是作为编码目标的编码目标图像和/或作为解码目标的解码目标图像。此外，目标图像可以是输入到编码设备的输入图像，以及输入到解码设备的输入图像。这里，目标图像可以与当前图像具有相同的含义。
在下文中，术语“图像”、“画面”、“帧”和“屏幕”可以用作相同的含义并且彼此替换。
在下文中，目标块可以是作为编码目标的编码目标块和/或作为解码目标的解码目标块。此外，目标块可以是作为当前编码和/或解码的目标的当前块。例如，术语“目标块”和“当前块”可以用作相同的含义并且彼此替换。
在下文中，术语“块”和“单元”可以用作相同的含义并且彼此替换。或者“块”可以表示特定单元。
在下文中，术语“区域”和“片段”可以彼此替换。
在下文中，特定信号可以是表示特定块的信号。例如，原始信号可以是表示目标块的信号。预测信号可以是表示预测块的信号。残差信号可以是表示残差块的信号。
在实施例中，特定信息、数据、标志、索引、元素和属性等中的每一个可以具有值。等于“0”的信息、数据、标志、索引、元素和属性的值可以表示逻辑假或第一预定义值。换句话说，值“0”、假、逻辑假和第一预定义值可以彼此替换。等于“1”的信息、数据、标志、索引、元素和属性的值可以表示逻辑真或第二预定义值。换句话说，值“1”、真、逻辑真和第二预定义值可以彼此替换。
当变量i或j用于表示列、行或索引时，i的值可以是等于或大于0，或等于或大于1的整数。也就是说，列、行、索引等可以从0开始计数，或者可以从1开始计数。
术语描述
编码器：表示执行编码的设备。也就是说，表示编码设备。
解码器：表示执行解码的设备。也就是说，表示解码设备。
块：是样点的M×N阵列。这里，M和N可以表示正整数，并且块可以表示二维形式的样点阵列。块可以指单元。当前块可以表示在进行编码时成为目标的编码目标块，或者在进行解码时成为目标的解码目标块。另外，当前块可以是编码块、预测块、残差块和变换块中的至少一个。
样点：是构成块的基本单元。根据比特深度(Bd)，样点可以被表示为从0到2Bd-1的值。在本发明中，样点可以用作像素的含义。也就是说，样点、pel、像素可以具有彼此相同的含义。
单元：可以指编码和解码单元。当对图像进行编码和解码时，单元可以是通过对单个图像进行分区而生成的区域。另外，当在进行编码或解码期间将单个图像分区为子划分单元时，单元可以表示子划分单元。也就是说，图像可以被分区为多个单元。当对图像进行编码和解码时，可以执行针对每个单元的预定处理。单个单元可以被分区为尺寸小于该单元的尺寸的子单元。依据功能，单元可以表示块、宏块、编码树单元、代码树块、编码单元、编码块、预测单元、预测块、残差单元、残差块、变换单元、变换块等。另外，为了将单元与块区分开，单元可以包括亮度分量块、与亮度分量块相关联的色度分量块、以及每个颜色分量块的语法元素。单元可以具有各种尺寸和形状，特别地，单元的形状可以是二维几何图形，诸如正方形、矩形、梯形、三角形、五边形等。另外，单元信息可以包括指示编码单元、预测单元、变换单元等的单元类型以及单元尺寸、单元深度、单元的编码和解码顺序等中的至少一个。
编码树单元：被配置有亮度分量Y的单个编码树块以及与色度分量Cb和Cr相关的两个编码树块。另外，编码树单元可以表示包括多个块和每个块的语法元素。可以通过使用四叉树分区方法和二叉树分区方法中的至少一个对每个编码树单元进行分区，以配置诸如编码单元、预测单元、变换单元等的下级单元。编码树单元可以用作用于指定在对作为输入图像的图像进行编码/解码时成为处理单元的样点块的术语。
编码树块：可以用作用于指定Y编码树块、Cb编码树块和Cr编码树块中的任意一个的术语。
邻近块：可以表示与当前块相邻的块。与当前块相邻的块可以表示与当前块的边界接触的块，或者位于距当前块预定义距离内的块。邻近块可以表示与当前块的顶点相邻的块。这里，与当前块的顶点相邻的块可以表示与和当前块水平相邻的邻近块垂直相邻的块、或者与和当前块垂直相邻的邻近块水平相邻的块。
重建邻近块：可以表示与当前块相邻并且已经在空间/时间上被编码或解码的邻近块。这里，重建邻近块可以表示重建邻近单元。重建空间邻近块可以是在当前画面内并且已经通过编码或解码或编解码而被重建的块。重建时间邻近块是位于参考图像内的当前画面的当前块的的相应位置处的块或所述块的邻近块。
单元深度：可以表示单元的分区程度。在树结构中，最高节点(根节点)可以与未被分区的第一单元相应。此外，最高节点可以具有最小深度值。在这种情况下，最高节点的深度可以为等级0。深度为等级1的节点可以表示通过对第一单元进行一次分区而生成的单元。深度为级别2的节点可以表示通过对第一单元进行两次分区而生成的单元。深度为级别n的节点可以表示通过对第一单元进行n次分区而生成的单元。叶节点可以是最低节点并且是不能被进一步分区的节点。叶节点的深度可以是最大等级。例如，最大等级的预定义值可以是3。根节点的深度可以最低，并且叶节点的深度可以最深。另外，当单元被表示为树结构时，单元存在的等级可以表示单元深度。
比特流：可以表示包括编码图像信息的比特流。
参数集：与比特流内的构造之中的头信息相应。视频参数集、序列参数集、画面参数集和自适应参数集中的至少一个可以被包括在参数集中。另外，参数集可以包括条带头和并行块头信息。
解析：可以表示通过执行熵解码来确定语法元素的值，或者可以表示熵解码本身。
符号：可以表示编码/解码目标单元的语法元素、编码参数和变换系数值中的至少一个。另外，符号可以表示熵编码目标或熵解码结果。
预测模式：可以是指示利用帧内预测进行编码/解码的模式或利用帧间预测进行编码/解码的模式的信息。预测单元：可以表示当执行预测(诸如帧间预测、帧内预测、帧间补偿、帧内补偿和运动补偿)时的基本单元。单个预测单元可以被分区为具有更小尺寸的多个分区，或者可以被分区为多个下级预测单元。多个分区可以是在执行预测或补偿时的基本单元。通过划分预测单元而生成的分区也可以是预测单元。
预测单元分区：可以表示通过对预测单元进行分区而获得的形式。
参考画面列表：可以表示包括用于帧间预测或运动补偿的至少一个参考画面的列表。参考画面列表的类型可以是列表组合(LC)、列表0(L0)、列表1(L1)、列表2(L2)、列表3(L3)等。至少一个参考画面列表可以用于帧间预测。
帧间预测指示符：可以表示当前块的帧间预测方向(单向预测、双向预测等)。可选地，帧间预测指示符可以表示用于生成当前块的预测块的参考画面的数量。可选地，帧间预测指示符可以表示用于对当前块执行帧间预测或运动补偿的预测块的数量。
预测列表利用标志：指示是否使用特定参考画面列表中的至少一个参考画面来生成预测块。可以使用预测列表利用标志来推导帧间预测指示符，相反地，可以使用帧间预测指示符来推导预测列表利用标志。例如，当预测列表利用标志指示第一值0时，预测列表利用标志可以指示不使用参考画面列表中的参考画面来生成预测块。当预测列表利用标志指示第二值1时，预测列表利用标志可以指示使用参考画面列表中的参考画面生成预测块。
参考画面索引：可以表示特定参考画面在参考画面列表中的索引。
参考画面：可以表示特定块所参考的用于帧间预测或运动补偿的画面。可选地，参考画面可以是包含当前块所参考的用于帧间预测或运动补偿的参考块的画面。在下文中，术语“参考画面”和“参考图像”可以以相同的含义使用，并且可以互换使用。
运动矢量：可以是用于帧间预测或运动补偿的二维矢量。运动矢量可以表示编码/解码目标块与参考块之间的偏移。例如，(mvX，mvY)可以指示运动矢量。mvX可以指示水平分量，并且mvY可以指示垂直分量。
搜索范围：可以是在帧间预测期间执行搜索运动矢量的二维区域。例如，搜索范围的尺寸可以是M×N。M和N可以是正整数。另外，例如，搜索范围的形状可以包括以二维表示的几何图形，诸如正方形、矩形、梯形、三角形、五边形等。
运动矢量候选：可以表示作为预测候选的块，或者可以表示在预测运动矢量时所述块的运动矢量。此外，运动矢量候选可以被包括在运动矢量候选列表中。
运动矢量候选列表：可以表示使用至少一个运动矢量候选而配置的列表。
运动矢量候选索引：可以表示指示运动矢量候选列表中的运动矢量候选的指示符。运动矢量候选索引可以是运动矢量预测因子的索引。
运动信息：可以表示运动矢量、参考画面索引和帧间预测指示符以及包括预测列表利用标志、参考画面列表信息、参考画面、运动矢量候选、运动矢量候选索引、合并候选、合并索引等中的至少一个的信息。
合并候选列表：可以表示使用至少一个合并候选而配置的列表。
合并候选：可以表示空间合并候选、时间合并候选、组合合并候选、组合双向预测合并候选、零合并候选等。合并候选可以包括诸如帧间预测指示符、关于每个列表的参考画面索引、运动矢量、预测列表利用标志等的运动信息。
合并索引：可以表示指示候选列表中的合并候选的指示符。此外，合并索引可以指示在空间/时间上与当前块相邻的重建块之中的推导合并候选的块。此外，合并索引可以指示合并候选的多条运动信息中的至少一条运动信息。
变换单元：可以表示在执行编码/解码(诸如变换、逆变换、量化、反量化、残差信号的变换系数编码/解码)时的基本单元。单个变换单元可以被分区为具有更小尺寸的多个更低等级的变换单元。这里，变换/逆变换可以包括第一变换/第一逆变换和第二变换/第二逆变换中的至少一个。
缩放：可以表示将变换系数等级乘以因子的处理。可以通过缩放变换系数等级来生成变换系数。缩放也可以称为反量化。
量化参数：可以表示在量化期间生成变换系数的变换系数等级时使用的值。量化参数还可以表示在反量化期间通过缩放变换系数等级来生成变换系数时使用的值。量化参数可以是被映射在量化步长上的值。
增量量化参数：可以表示预测量化参数与编码/解码目标单元的量化参数之间的差值。
扫描：可以表示对单元、块或矩阵内的系数进行排序的方法。例如，将系数的二维矩阵改变为一维矩阵可以被称为扫描，并且将系数的一维矩阵改变为二维矩阵可以被称为扫描或逆扫描。
变换系数：可以表示在编码器中执行变换之后生成的系数值。变换系数可以表示在解码器中执行熵解码和反量化中的至少一个之后生成的系数值。通过量化变换系数或残差信号而获得的量化的等级或者量化的变换系数等级也可以落入变换系数的含义内。
量化的等级：可以表示在编码器中通过量化变换系数或残差信号而生成的值。可选地，量化的等级可以表示在解码器中作为反量化目标将经历反量化的值。类似地，作为变换和量化的结果的量化的变换系数等级也可以落入量化的等级的含义内。
非零变换系数：可以表示具有除零之外的值的变换系数，或者具有除零之外值的变换系等级。
量化矩阵：可以表示在被执行用于提高主观图像质量或客观图像质量的量化处理或反量化处理中使用的矩阵。量化矩阵也可以称为缩放列表。
量化矩阵系数：可以表示量化矩阵内的每个元素。量化矩阵系数也可以被称为矩阵系数。
默认矩阵：可以表示在编码器或解码器中预先定义的预定量化矩阵。
非默认矩阵：可以表示在编码器或解码器中未被预先定义而是由用户用信号发送的量化矩阵。
统计值：针对具有可计算的特定值的变量、编码参数、常量值等之中的至少一个的统计值可以是平均值、加权平均值、加权和值、最小值、最大值、最常见的值、中值、相应特定值的插值之中的一个或更多个。
图1是示出根据应用了本发明的实施例的编码设备的配置的框图。
编码设备100可以是编码器、视频编码设备或图像编码设备。视频可包括至少一个图像。编码设备100可以顺序地对至少一个图像进行编码。
参照图1，编码设备100可以包括运动预测单元111、运动补偿单元112、帧内预测单元120、切换器115、减法器125、变换单元130、量化单元140、熵编码单元150、反量化单元160、逆变换单元170、加法器175、滤波器单元180和参考画面缓冲器190。
编码设备100可以通过使用帧内模式或帧间模式或者帧内模式和帧间模式两者来执行对输入图像的编码。另外，编码设备100可以通过对输入图像进行编码来生成包括编码信息的比特流，并输出所生成的比特流。生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线/无线传输介质被流传输。当帧内模式用作预测模式时，切换器115可以切换到帧内模式。可选地，当帧间模式用作预测模式时，切换器115可以切换到帧间模式。这里，帧内模式可以表示帧内预测模式，帧间模式可以表示帧间预测模式。编码设备100可以生成用于输入图像的输入块的预测块。另外，编码设备100可以在生成预测块之后使用输入块和预测块的残差对残差块进行编码。输入图像可以被称为作为当前编码目标的当前图像。输入块可以被称为作为当前编码目标的当前块，或者被称为编码目标块。
当预测模式是帧内模式时，帧内预测单元120可以使用已被编码/解码并与当前块相邻的块的样点作为参考样点。帧内预测单元120可以通过使用参考样点来对当前块执行空间预测，或者通过执行空间预测来生成输入块的预测样点。这里，帧内预测可以表示在帧内部的预测。
当预测模式是帧间模式时，运动预测单元111可以在执行运动预测时从参考图像检索与输入块最佳匹配的区域，并且通过使用检索到的区域来推导运动矢量。在这种情况下，搜索区域可以用作所述区域。参考图像可以被存储在参考画面缓冲器190中。这里，当执行对参考图像的编码/解码时，参考图像可以被存储在参考画面缓冲器190中。
运动补偿单元112可以通过使用运动矢量对当前块执行运动补偿来生成预测块。这里，帧间预测可以表示在帧之间的预测或运动补偿。
当运动矢量的值不是整数时，运动预测单元111和运动补偿单元112可以通过将插值滤波器应用于参考画面的部分区域来生成预测块。为了对编码单元执行画面间预测或运动补偿，可以确定跳过模式、合并模式、高级运动矢量预测(AMVP)模式和当前画面参考模式之中的哪个模式用于相应编码单元中包括的预测单元的运动预测和运动补偿。然后，依据所确定的模式，可以不同地执行画面间预测或运动补偿。
减法器125可以通过使用输入块和预测块的残差来生成残差块。残差块可以被称为残差信号。残差信号可以表示原始信号和预测信号之间的差。另外，残差信号可以是通过对原始信号和预测信号之间的差进行变换或量化或者变换和量化而生成的信号。残差块可以是块单元的残差信号。
变换单元130可以通过对残差块执行变换来生成变换系数，并输出所生成的变换系数。这里，变换系数可以是通过对残差块执行变换而生成的系数值。当变换跳过模式被应用时，变换单元130可以跳过对残差块的变换。
可以通过将量化应用于变换系数或应用于残差信号来生成量化的等级。在下文中，量化的等级在实施例中也可以被称为变换系数。
量化单元140可以通过根据参数对变换系数或残差信号进行量化来生成量化的等级，并输出生成的量化的等级。这里，量化单元140可以通过使用量化矩阵对变换系数进行量化。
熵编码单元150可以通过根据概率分布对由量化单元140计算的值或者对在执行编码时计算的编码参数值执行熵编码来生成比特流，并输出生成的比特流。熵编码单元150可以对图像的样点信息和用于对图像进行解码的信息执行熵编码。例如，用于对图像进行解码的信息可以包括语法元素。
当熵编码被应用时，符号被表示使得较少数量的比特被分配给具有高生成可能性的符号，并且较多数量的比特被分配给具有低生成可能性的符号，因此，可以减小用于将被编码的符号的比特流的大小。熵编码单元150可以使用诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的用于熵编码的编码方法。例如，熵编码单元150可以通过使用变长编码/变长码(VLC)表来执行熵编码。另外，熵编码单元150可以推导目标符号的二值化方法和目标符号/二进制位的概率模型，并且通过使用推导出的二值化方法和上下文模型来执行算术编码。
为了对变换系数等级进行编码，熵编码单元150可以通过使用变换系数扫描方法将二维块形式系数改变为一维矢量形式。
编码参数可以包括在编码器中被编码并且被用信号发送到解码器的诸如语法元素的信息(标志、索引等)以及在执行编码或解码时推导出的信息。编码参数可以表示在对图像进行编码或解码时所需的信息。例如，以下项中的至少一个值或组合形式可被包括在编码参数中：单元/块的尺寸、单元/块深度、单元/块分区信息、单元/块分区结构、是否以四叉树形式进行分区、是否以二叉树形式进行分区、二叉树形式的分区方向(水平方向或垂直方向)、二叉树形式的分区形式(对称分区或非对称分区)、预测模式(帧内预测或帧间预测)、帧内预测模式/方向、参考样点滤波方法、参考样点滤波器抽头、参考样点滤波器系数、预测块滤波方法、预测块滤波器抽头、预测块滤波器系数、预测块边界滤波方法、预测块边界滤波器抽头、预测块边界滤波器系数、帧间预测模式、运动信息、运动矢量、参考画面索引、帧间预测角度、帧间预测指示符、预测列表利用标志、参考画面列表、参考画面、运动矢量预测因子候选、运动矢量候选列表、是否使用合并模式、合并候选、合并候选列表、是否使用跳过模式、插值滤波器类型、插值滤波器抽头、插值滤波器系数、运动矢量大小、运动矢量的表示精确度、变换类型、变换尺寸、初级(第一)变换是否被使用的信息、次级变换是否被使用的信息、初级变换索引、次级变换索引、残差信号是否存在的信息、编码块样式、编码块标志(CBF)、量化参数、量化矩阵、是否应用帧内环路滤波器、帧内环路滤波器系数、帧内环路滤波器抽头、帧内环路滤波器形状/形式、是否应用去块滤波器、去块滤波器系数、去块滤波器抽头、去块滤波器强度、去块滤波器形状/形式、是否应用自适应样点偏移、自适应样点偏移值、自适应样点偏移类别、自适应样点偏移类型、是否应用自适应环路滤波器、自适应环路滤波器系数、自适应环路滤波器抽头、自适应环路滤波器形状/形式、二值化/反二值化方法、上下文模型确定方法、上下文模型更新方法、是否执行常规模式、是否执行旁通模式、上下文二进制位、旁通二进制位、变换系数、变换系数等级、量化的等级、变换系数等级扫描方法、图像显示/输出顺序、条带识别信息、条带类型、条带分区信息、并行块标识信息、并行块类型、并行块分区信息、画面类型、比特深度和关于亮度信号的信息或关于色度信号的信息。
这里，用信号发送标志或索引可以表示通过编码器对相应的标志或索引进行熵编码并将相应的标志或索引包括在比特流中，并且可以表示通过解码器从比特流对相应的标志或索引进行熵解码。
当编码设备100通过帧间预测执行编码时，编码的当前图像可以用作针对随后被处理的另一图像的参考图像。因此，编码设备100可以对编码的当前图像进行重建或解码，或者将重建或解码的图像作为参考图像存储在参考画面缓冲器190中。
量化的等级可以在反量化单元160中被反量化，或者可以在逆变换单元170中被逆变换。可以由加法器175将经过反量化或逆变换的系数或者经过反量化和逆变换两者的系数与预测块相加。通过将经过反量化或逆变换的系数或者经过反量化和逆变换两者的系数与预测块相加，可以生成重建块。这里，经过反量化或逆变换系数或经过反量化和逆变换两者的系数可以表示执行了反量化和逆变换中的至少一个的系数，并且可以表示重建残差块。
重建块可以通过滤波器单元180。滤波器单元180可以将去块滤波器、样点自适应偏移(SAO)和自适应环路滤波器(ALF)中的至少一个应用于重建样点、重建块或重建图像。滤波器单元180可以被称为环路滤波器。
去块滤波器可以去除在块之间的边界中生成的块失真。为了确定是否应用去块滤波器，可以基于被包括在块中所包括的若干行或列中的样点来确定是否将去块滤波器应用于当前块。当将去块滤波器应用于块时，可以根据所需的去块滤波强度来应用另一滤波器。
为了补偿编码误差，可以通过使用样点自适应偏移将合适的偏移值与样点值相加。样点自适应偏移可以按照样点单位对经过去块的图像偏离原始图像的偏移进行校正。可以使用考虑关于每个样点的边缘信息来应用偏移的方法，或者可以使用以下方法：将图像的样点分区为预定数量的区域，确定偏移被应用的区域，并对确定的区域应用偏移。
自适应环路滤波器可以基于经过滤波的重建图像和原始图像的比较结果来执行滤波。可以将包括在图像中的样点分区为预定组，可以确定将被应用于每个组的滤波器，并且可以对每个组执行差分滤波。可以通过编码单元(CU)以信号发送是否应用ALF的信息，并且将被应用于每个块的ALF的形式和系数可以变化。
已经通过滤波器单元180的重建块或重建图像可以被存储在参考画面缓冲器190中。由滤波器单元180处理的重建块可以是参考图像的一部分。也就是说，参考图像是由滤波器单元180处理的重建块组成的重建图像。存储的参考图像可以稍后用于帧间预测或运动补偿。
图2是示出根据应用了本发明的实施例的解码设备的配置的框图。
解码设备200可以是解码器、视频解码设备或图像解码设备。
参照图2，解码设备200可以包括熵解码单元210、反量化单元220、逆变换单元230、帧内预测单元240、运动补偿单元250、加法器225、滤波器单元260和参考画面缓冲器270。
解码设备200可以接收从编码设备100输出的比特流。解码设备200可以接收存储在计算机可读记录介质中的比特流，或者可以接收通过有线/无线传输介质被流传输的比特流。解码设备200可以通过使用帧内模式或帧间模式对比特流进行解码。另外，解码设备200可以生成解码图像或通过解码而生成的重建图像，并输出重建图像或解码图像。
当在解码时使用的预测模式是帧内模式时，切换器切换到帧内。可选地，当在解码时使用的预测模式是帧间模式时，切换器切换到帧间模式。
解码设备200可以通过对输入比特流进行解码来获得重建残差块，并生成预测块。当重建残差块和预测块被获得时，解码设备200可以通过将重建残差块与预测块相加来生成成为解码目标的重建块。解码目标块可以被称为当前块。
熵解码单元210可以通过根据概率分布对比特流进行熵解码来生成符号。生成的符号可以包括量化的等级形式的符号。这里，熵解码方法可以是上述熵编码方法的逆过程。
为了对变换系数级进行解码，熵解码单元210可以通过使用变换系数扫描方法将一维矢量形式系数改变为二维块形式。
可以在反量化单元220中对量化的等级进行反量化，或者在逆变换单元230中对量化的等级进行逆变换。量化的等级可以是进行反量化或逆变换或者进行反量化和逆变换两者的结果，并且可以被生成为重建残差块。这里，反量化单元220可以将量化矩阵应用于量化的等级。
当使用帧内模式时，帧内预测单元240可以通过对当前块执行使用与解码目标块相邻并且已经被解码的块的样点值的空间预测来生成预测块。
当使用帧间模式时，运动补偿单元250可以通过对当前块执行使用存储在参考画面缓冲器270中的运动矢量和参考图像的运动补偿来生成预测块。
加法器225可以通过将重建残差块与预测块相加来生成重建块。滤波器单元260可将去块滤波器、样点自适应偏移和自适应环路滤波器中的至少一个应用于重建块或重建图像。滤波器单元260可以输出重建图像。重建块或重建图像可以被存储在参考画面缓冲器270中并且在执行帧间预测时被使用。由滤波器单元260处理的重建块可以是参考图像的一部分。也就是说，参考图像是由滤波器单元260处理的重建块组成的重建图像。存储的参考图像可以稍后用于帧间预测或运动补偿。
图3是示意性地示出当对图像进行编码和解码时图像的分区结构的示图。图3示意性地示出了将单个单元分区为多个下级单元的示例。
为了有效地对图像进行分区，当进行编码和解码时，可以使用编码单元(CU)。当对图像进行编码/解码时，编码单元可以用作基本单元。另外，编码单元可以用作用于在对图像进行编码/解码时区分帧内预测模式和帧间预测模式的单元。编码单元可以是用于变换系数的预测、变换、量化、逆变换、反量化或编码/解码处理的基本单元。
参照图3，图像300按照最大编码单元(LCU)被顺序地分区，并且LCU单元被确定为分区结构。这里，LCU可以以与编码树单元(CTU)相同的含义被使用。单元分区可以表示对与该单元相关联的块进行分区。在块分区信息中，可以包括单元深度的信息。深度信息可以表示单元被分区的次数或程度或者单元被分区的次数和程度两者。可以基于树结构将单个单元分区为与深度信息分层相关联的多个更低等级的单元。换句话说，单元和通过对该单元进行分区而生成的更低等级的单元可以分别与节点和该节点的子节点相应。每个分区出的下级单元可以具有深度信息。深度信息可以是表示CU的尺寸的信息，并且可以被存储在每个CU中。单元深度表示与对单元进行分区相关的次数和/或程度。因此，更低等级的单元的分区信息可以包括关于更低等级的单元的尺寸的信息。
分区结构可以表示LCU 310内的编码单元(CU)的分布。可以根据是否将单个CU分区为多个(等于或大于2的正整数，包括2、4、8、16等)CU来确定这种分布。通过分区生成的CU的水平尺寸和垂直尺寸可以分别是分区之前的CU的水平尺寸和垂直尺寸的一半，或者，可以根据分区次数分别具有小于分区之前的水平尺寸和垂直尺寸的尺寸。CU可以被递归地分区为多个CU。通过递归分区，与分区之前的CU的高度和宽度之中的至少一个相比，分区之后的CU的高度和宽度之中的至少一个可以减小。可以递归地执行CU的分区，直到预定义的深度或预定义的尺寸为止。例如，LCU的深度可以是0，最小编码单元(SCU)的深度可以是预定义的最大深度。这里，LCU可以是具有最大编码单元尺寸的编码单元，并且SCU可以是具有如上所述的最小编码单元尺寸的编码单元。分区从LCU 310开始，当CU的水平尺寸或垂直尺寸或者水平尺寸和垂直尺寸两者通过分区而减小时，CU深度增加1。例如，对于每个深度，未被分区的CU的尺寸可以为2N×2N。此外，在CU被分区的情况下，可以将尺寸为2N×2N的CU分区为尺寸为N×N的四个CU。当深度增加1时，N的大小可以减小一半。
另外，可以通过使用CU的分区信息来表示CU是否被分区的信息。分区信息可以是1比特信息。除SCU之外的所有CU可以包括分区信息。例如，当分区信息的值是1时，可以不对CU进行分区，当分区信息的值是2时，可以对CU进行分区。
参照图3，具有深度0的LCU可以是64×64块。0可以是最低深度。具有深度3的SCU可以是8×8块。3可以是最高深度。32×32块和16×16块的CU可以分别被表示为深度1和深度2。
例如，当单个编码单元被分区为四个编码单元时，分区出的四个编码单元的水平尺寸和垂直尺寸可以是在被分区之前的CU的水平尺寸和垂直尺寸的一半尺寸。在一个实施例中，当尺寸为32×32的编码单元被分区为四个编码单元时，分区出的四个编码单元中的每一个的尺寸可以为16×16。当单个编码单元被分区为四个编码单元时，这可以被称为将编码单元分区为四叉树形式。
例如，当单个编码单元被分区为两个编码单元时，所述两个编码单元的水平尺寸或垂直尺寸可以是在被分区之前的编码单元的水平尺寸或垂直尺寸的一半。例如，当沿垂直方向对尺寸为32×32的编码单元进行分区时，被分区出的两个编码单元中的每一个的尺寸可以为16×32。当单个编码单元被分区为两个编码单元时，这可以被称为编码单元以二叉树形式被分区。图3的LCU 320是应用了四叉树形式的分区和二叉树形式的分区两者的LCU的示例。
图4是示出帧内预测处理的示图。
图4中从中心到外部的箭头可以表示帧内预测模式的预测方向。
可以通过使用当前块的邻近块的参考样点来执行帧内编码和/或解码。邻近块可以是重建邻近块。例如，可以通过使用编码参数或重建邻近块中包括的参考样点的值来执行帧内编码和/或解码。
预测块可以表示通过执行帧内预测而生成的块。预测块可以与CU、PU和TU之中的至少一个相应。预测块的单位的尺寸可以是CU、PU和TU之中的一个。预测块可以是尺寸为2×2、4×4、16×16、32×32或64×64等的正方形块，或者可以是尺寸为2×8、4×8、2×16、4×16和8×16等的矩形块。
可以根据用于当前块的帧内预测模式来执行帧内预测。当前块可以具有的帧内预测模式的数量可以是固定值，并且可以是根据预测块的属性而被不同地确定的值。例如，预测块的属性可以包括预测块的尺寸和预测块的形状等。
无论块的尺寸如何，帧内预测模式的数量可以固定为N。或者，帧内预测模式的数量可以是3、5、9、17、34、35、36、65或67等。可选地，帧内预测模式的数量可以根据块尺寸或颜色分量类型或块尺寸和颜色分量类型两者而变化。例如，帧内预测模式的数量可以根据颜色分量是亮度信号还是色度信号而变化。例如，随着块尺寸变大，可以增加帧内预测模式的数量。可选地，亮度分量块的帧内预测模式的数量可以大于色度分量块的帧内预测模式的数量。
帧内预测模式可以是非角度模式或角度模式。非角度模式可以是DC模式或平面模式，角度模式可以是具有特定方向或角度的预测模式。帧内预测模式可以由模式编号、模式值、模式数字、模式角度和模式方向中的至少一个表示。帧内预测模式的数量可以是1或者包括非角度模式和角度模式的更大数M。
为了对当前块进行帧内预测，可以执行以下步骤：确定包括在重建邻近块中的样点是否可以用作当前块的参考样点。当存在不可用作当前块的参考样点的样点时，可以使用通过对包括在重建邻近块的样点之中的至少一个样点值进行复制或执行插值或者进行复制并执行插值两者而获得的值来替换样点的不可用样点值，因此，替换的样点值用作当前块的参考样点。
当进行帧内预测时，可以基于帧内预测模式和当前块尺寸将滤波器应用于参考样点和预测样点中的至少一个。
在平面模式的情况下，当生成当前块的预测块时，根据预测块内的预测目标样点的位置，可以通过使用当前样点的左侧参考样点和上侧参考样点以及当前块的右上侧参考样点和左下侧参考样点的加权和来生成预测目标样点的样点值。另外，在DC模式的情况下，当生成当前块的预测块时，可以使用当前块的上侧参考样点和左侧参考样点的平均值。另外，在角度模式的情况下，可以通过使用当前块的上侧参考样点、左侧参考样点、右上侧参考样点和/或左下侧参考样点来生成预测块。为了生成预测样点值，可以执行实数单元的内插。
可以通过预测与当前块相邻存在的块的帧内预测模式来对当前块的帧内预测模式进行熵编码/解码。在当前块的帧内预测模式和邻近块的帧内预测模式相同时，可以通过使用预定标志信息来用信号发送当前块的帧内预测模式和相邻块的帧内预测模式相同的信息。另外，可以用信号发送多个邻近块的帧内预测模式之中的与当前块的帧内预测模式相同的帧内预测模式的指示符信息。在当前块的帧内预测模式和邻近块的帧内预测模式不同时，可以通过基于邻近块的帧内预测模式执行熵编码/解码来对当前块的帧内预测模式信息进行熵编码/解码。
图5是示出帧间预测处理的实施例的示图。
图5中所示的四边形可以指示图像。此外，图5中的箭头可以指示预测方向。根据编码类型，图像可以被分类为I画面(帧内画面)、P画面(预测画面)、B画面(双向预测画面)等。
可以通过帧内预测对I画面进行编码/解码，而无需帧间预测。可以通过仅使用存在于单向(例如，前向方向或后向方向)的参考画面的帧间预测对P画面进行编码/解码。可以通过使用存在于双向(例如，前向方向和后向方向)的参考画面的帧间预测对B画面进行编码/解码。此外，可以通过使用存在于双向的参考画面的帧间预测对B画面进行编码/解码，或者通过使用存在于前向方向和后向方向中的一个方向的参考画面的帧间预测对B画面进行编码/解码。这里，双向可以是前向方向和后向方向。这里，当使用帧间预测时，编码器可以执行帧间预测或运动补偿，解码器可以执行与其相应的运动补偿。
在下文中，将详细描述根据实施例的帧间预测。
可以使用参考画面和运动信息来执行帧间预测或运动补偿。
关于当前块的运动信息可以在帧间预测期间由编码设备100和解码设备200推导出。可以使用重建邻近块的运动信息、同位块(col块)的运动信息和/或与col块相邻的块来推导运动信息。col块可以是在已经重建的同位画面(col画面)中的与当前块的空间位置相应的块。这里，col画面可以是包括在参考画面列表中的至少一个参考画面中的一个画面。
推导运动信息的方法可以根据当前块的预测模式而变化。例如，作为被应用于帧间预测的预测模式，存在AMVP模式、合并模式、跳过模式、当前画面参考模式等。这里，合并模式可以被称为运动合并模式。
例如，作为预测模式，当应用AMVP模式时，可以将重建邻近块的运动矢量、col块的运动矢量、与col块相邻的块的运动矢量以及(0，0)运动矢量中的至少一个确定为运动矢量候选以生成运动矢量候选列表。生成的运动矢量候选列表可以用于推导运动矢量候选。基于推导出的运动矢量候选，可以确定当前块的运动信息。这里，col块的运动矢量或与col块相邻的块的运动矢量可以被称为时间运动矢量候选。重建邻近块的运动矢量可以被称为空间运动矢量候选。
编码设备100可以计算当前块的运动矢量与运动矢量候选之间的运动矢量差(MVD)，并且可以对MVD进行熵编码。此外，编码设备100可以对运动矢量候选索引进行熵编码以生成比特流。运动矢量候选索引可以指示从包括在运动矢量候选列表中的运动矢量候选中选择的最佳运动矢量候选。解码设备200可以从比特流对运动矢量候选索引进行熵解码，并且可以通过使用熵解码的运动矢量候选索引在运动矢量候选列表中包括的运动矢量候选之中选择解码目标块的运动矢量候选。此外，解码设备200可以通过熵解码的MVD和运动矢量候选求和来推导解码目标块的运动矢量。
比特流可以包括指示参考画面的参考画面索引等。参考画面索引可以被熵编码并且经由比特流从编码设备100被用信号发送到解码设备200。解码设备200可以基于推导出的运动矢量和参考画面索引信息来生成解码目标块的预测块。
作为推导运动信息的另一种方法，合并模式被使用。合并模式可以表示多个块的运动的合并。合并模式可以表示当前块的运动信息从邻近块的运动信息被推导出的模式。当应用合并模式时，可以使用重建邻近块的运动信息和/或col块的运动信息以生成合并候选列表。运动信息可以包括以下项中的至少一个：1)运动矢量、2)参考画面索引以及3)帧间预测指示符。预测指示符可指示单向(L0预测、L1预测)或双向。
合并候选列表可以指示存储运动信息的列表。存储在合并候选列表中的运动信息可以是与当前块相邻的邻近块的运动信息(空间合并候选)、参考画面中的与当前块相应的同位块的运动信息(时间合并候选)、由已经存在于合并候选列表中的运动信息的组合而新生成的运动信息以及零合并候选中的至少一个。
编码设备100可以对合并标志和合并索引中的至少一个进行熵编码以生成比特流，并且可以将比特流用信号发送到解码设备200。合并标志可以是指示是否对每个块执行合并模式的信息，并且合并索引可以是关于与当前块相邻的邻近块中的哪个块将用于合并的信息。例如，当前块的邻近块可以包括当前块的左邻近块、顶部邻近块和时间邻近块中的至少一个。
跳过模式可以是邻近块本身的运动信息被应用于当前块的模式。当使用跳过模式时，编码设备100可以对关于哪个块的运动信息将被用作当前块的运动信息的信息进行熵编码，并且可以经由比特流将熵编码的信息用信号发送到解码设备200。这里，编码设备100可以不向解码设备200用信号发送与运动矢量差信息、编码块标志和变换系数等级中的至少一个有关的语法元素。
当前画面参考模式可以表示使用当前块所属的当前画面内的预重建区域的预测模式。这里，为了指定预重建区域，可以对矢量进行定义。可以使用当前块的参考画面索引对当前块是否以当前画面参考模式被编码进行编码。可以用信号发送指示当前块是否以当前画面参考模式被编码的块的标志或索引，或者可以使用当前块的参考画面索引来推导所述标识或索引。在当前块以当前画面参考模式被编码时，可以将当前画面添加到针对当前块的参考画面列表内的固定位置或任意位置。固定位置可以是例如参考画面索引为零的位置或最后位置。当将当前画面添加到参考画面列表内的任意位置时，可以用信号发送指示任意位置的单独参考画面索引。
图6是示出变换和量化的处理的示图。
如图6所示，对残差信号执行变换和/或量化，使得生成量化的等级。可以由原始块和预测块(帧内预测块或帧间预测块)之间的差来生成残差信号。这里，预测块可以是通过帧内预测或帧间预测而生成的块。这里，变换可以包括初级变换和次级变换中的至少一个。对残差信号执行初级变换，使得可以生成变换系数。对变换系数执行次级变换，使得可以生成次级变换系数。
可以使用多个预定义的变换方法中的至少一个来执行初级变换。例如，多个预定义的变换方法可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)等。可以对执行初级变换之后生成的变换系数执行次级变换。可以依据当前块和/或邻近块的编码参数中的至少一个来确定在初级变换和/或次级变换中应用的变换方法。可选地，可以用信号发送指示变换方法的变换信息。
对执行初级变换和/或次级变换后的结果或者对残差信号执行量化，使得可以生成量化的等级。基于帧内预测模式或块尺寸/形状中的至少一个，可以根据右上对角线方向扫描、垂直方向扫描和水平方向扫描中的至少一个来扫描量化的等级。例如，使用右上对角线方向扫描来扫描块的系数，使得块的系数可以被改变为一维矢量形式。依据变换块的尺寸和/或帧内预测模式，可以使用以下方法来代替右上对角线方向扫描：使用垂直方向扫描来扫描列方向上的二维块形式系数，并且使用水平方向扫描来扫描行方向上的二维块形式系数。经过扫描的量化的等级可以被熵编码并包括在比特流中。
解码器可以对比特流进行熵解码，使得可以生成量化的等级。量化的等级被逆扫描，并且可以以二维块形式被提供。这里，作为逆扫描的方法，可以执行右上对角线方向扫描、垂直方向扫描和水平方向扫描中的至少一个。
可以对量化的等级执行反量化，可以依据是否执行次级逆变换来执行次级逆变换，并且可以依据是否执行初级逆变换对执行次级逆变换的结果执行初级逆变换，从而可以生成重建的残差信号。
图12是示出基于典型块的运动预测的方法的实施例的示图。例如，基于块的运动预测的方法可以是块匹配算法(BA)。参照图12，为了在图像序列中找到针对当前帧1210的当前块1212的运动矢量，在目标帧1220中设置特定搜索区域1222。接下来，基于搜索区域1222，找到与当前块1212具有最小差异的块。可以将从根据搜索结果确定的块(最佳匹配块)1224到当前块1212的运动路径设置为运动矢量1230。
同时，如图11所示，相对于赤道在ERP视频中上下移动可能导致失真，其中，视频被左右拉伸因此，为了将图12中描述的基于典型块的运动估计的技术应用于ERP视频，需要一种对视频被拉伸的失真进行补偿的技术。图13是示出根据本公开的实施例的当将基于典型块的运动预测的技术应用于ERP视频时发生的问题的示图。参照图13，由于当在ERP视频中沿特定方向移动坐标时原始视频变形，所以可能会发生诸如如何设置当前帧1310的当前块、如何在目标帧1320中设置搜索区域、如何设置目标帧1320的参考块的形式、如何找到运动矢量、如何处理使用运动矢量生成预测块的方法等的问题。
因此，根据本公开，用于基于可变形块的运动预测的方法和设备可以提供：确定当前块与邻近块匹配的范围的方法、通过根据360度视频特性检测出确定的范围改变来变换当前块或参考块的方法、将经过变换的当前块与邻近块进行匹配的方法等。同时，“确定的范围”可以被修改为“块在当前帧中的位置”。
此外，根据本公开，用于基于可变形块的运动预测的方法和设备可以提供：使用邻近块的运动信息根据360度视频特性检测改变并推导由该运动信息指定的块尺寸的处理，或者通过使用邻近块的运动信息通过在预测当前块时检测360度视频特性，将推导出的块变换为当前块的形式的处理。
此外，根据本公开，用于基于可变形块的运动预测的方法和设备可以提供以下处理：根据360度视频特性来检测改变，并通过使用当前块的一个方向运动信息和当前块的位置来推导在预测当前块的双向运动信息时的另一方向运动信息。
图14是示出根据本公开的实施例的基于可变形块的运动预测的方法的示图。
参照图14，根据本公开，用于基于可变形块的运动预测的设备可以基于视频中的样点位置来执行可变形块匹配算法。在用于基于可变形块的运动预测的设备中，对于当前帧1410中的中心样点的坐标为(x，y)并且块尺寸为B×B的当前块1420，在目标帧(未示出)上设置搜索区域，并且基于所设置的搜索区域找到(运动搜索)与当前块1420具有最小差异的块。通过上述处理，用于基于可变形块的运动预测的设备可以获得运动矢量(Δx，Δy)。此外，考虑到ERP视频特性(其中，当沿特定方向移动坐标时视频失真)，用于基于可变形块的运动预测的设备可以改变包含在当前块中的样点的位置。例如，通过应用ERP特性，可以将样点位置从坐标为的第一样点1422改变为坐标为的第一样点1424，其中，在ERP特性中，当相对于赤道上下移动移动时可能导致视频被左右拉伸第一样点可以是位于当前块中或当前块的边界处的样点，可以是与当前块在时间上或空间上相邻的块中的样点，但不限于此。
根据本公开，用于基于可变形块的运动预测的设备可以基于对针对当前帧或目标帧的每个块的特定样点的坐标的移动来改变块的形式。例如，基于对每个块的中心样点的坐标的移动，可以改变块的形式。例如，块的形式可以包括块的尺寸或形状。
此外，根据本公开，用于基于可变形块的运动预测的设备可以考虑ERP视频特性，其中，y坐标在接近极方向时快速改变并且沿赤道方向缓慢改变。例如，用于基于可变形块的运动预测的设备可以通过对ERP视频中的纬度的大小与预设阈值进行比较来确定是将块的形式保持为常规四边形形式还是改变块的形式。图15是示出根据本公开另一实施例的基于可变形块的运动预测的方法的示图。参照图15，相对于赤道(纬度为0度)1510，在块预测中，基于块的运动预测的传统方法用于第一纬度1520和第二纬度1530之间的区域。对于其他区域，可以使用图14中描述的基于可变形块的运动预测的方法。例如，第一纬度1520可以是(π/4)，第二纬度1530可以是-(π/4)。
根据本公开，用于基于可变形块的运动预测的设备可以根据图像中的样点位置来执行样点填充。根据图14中描述的基于可变形块的运动预测的方法，当y坐标大时，块增大的程度大。因此，可能在图像的边缘处需要填充。因为ERP视频的特性，由于图像的右侧和左侧是连接的，因此可以在填充中使用左侧图像或右侧图像。图16是示出根据本公开的实施例的针对ERP视频的填充视频的示图。参照图16，可以通过填充原始ERP视频1610中的特定左侧区域和右侧区域来获得填充视频1620。例如，在原始ERP视频中，当块尺寸为B、搜索区域为R、视频的宽度为W、视频的高度为H时，可以通过分别填充左侧和右侧来获得填充视频。
根据本公开，用于基于可变形块的运动预测的设备可以使搜索区域的形式变形以找到运动矢量。例如，搜索区域的形式可以包括搜索区域的尺寸或形状。关于运动矢量的搜索区域可以根据块的中心坐标的x或y分量的大小自适应地变化。例如，当关于赤道附近的块的搜索区域是R×R时，当沿极方向移动时，搜索区域可以被改变为
根据本公开，用于基于可变形块的运动预测的设备可以提供以下处理：根据360度视频特性来检测改变，并通过使用当前块的一个方向运动信息和当前块的位置来推导在预测当前块的双向运动信息时的另一方向运动信息。例如，根据本公开，用于基于可变形块的运动预测的设备可以执行非对称双向运动矢量缩放的技术。在360度视频中，在当前块具有双向运动矢量并且当一个方向上的第一运动矢量mv1被确定时，可以预测另一方向上的第二运动矢量mv2。例如，在用于基于可变形块的运动预测的设备中，使用确定的第一运动矢量以及当前块所属的帧中的x或y坐标，并且将第一运动矢量的x或y分量乘以整数的缩放因子，从而获得第二运动矢量。也就是说，第二运动矢量是与第一运动矢量的大小不同的矢量。当第一运动矢量mv1是(Δx,Δy)时，第二运动矢量mv2可以被表示为(f1*(-Δx),f2*(-Δy))。可以使用以下公式2来推导缩放因子f1和缩放因子f2。图17是示出根据本公开的又一实施例的基于可变形块的运动预测的方法的示图。参照图17，当关于当前块1702的前向运动矢量和后向运动矢量分别是第一运动矢量mv1 1710和第二运动矢量mv21720时，可以通过公式1和公式2来推导针对当前块的样点(x,y)的第二运动矢量。
公式1
mvx1：mvy1＝mvx2：mvy2
公式2
参照公式1，可以通过将第一运动矢量mv1乘以缩放因子来获得第二运动矢量mv2。此外，公式2是确定可以选择的各种缩放因子之一的方法。例如，在公式2中，可以确定缩放因子以最小化由第二运动矢量mv2指示的块f2和由第一运动矢量mv1指示的块f1之间的差。B是块尺寸。
根据本公开的用于基于可变形块的运动预测的设备可以应用于传统的压缩编解码技术。当应用传统的基于四边形块的运动预测技术以对360度ERP视频进行编码时，用于基于可变形块的运动预测的设备可以根据ERP视频中的块的y坐标自适应地使用/禁用特定类型的块。例如，用于基于可变形块的运动预测的设备可以使用在极坐标区域的坐标处以2N×N或沿水平方向分区出的非对称分区结构块。此外，用于基于可变形块的运动预测的设备可以不使用在极坐标区域的坐标处以N×2N或沿垂直方向分区出的非对称分区结构块。
此外，当根据ERP视频中的y坐标使块尺寸变形时，用于基于可变形块的运动预测的设备可以通过使用近似为2倍的块宽度。这被认为在传统的基于块的视频编码的运动预测中使用的块的尺寸是2n×2m(n和m是自然数)。
图18是示出根据本公开的实施例的用于基于可变形块的运动预测的设备如何进行操作的示图。
在步骤S1810，可以将当前块与邻近块进行比较，以预测当前帧中的当前块的运动。例如，可以通过改变位移来确定将被比较的邻近块的位置。
在步骤S1820，可以确定当前块的位置是否与邻近块的位置不同。同时，当预测合并候选或运动信息时，邻近块比较可以被跳过，并且可以使用推导出的运动信息来执行步骤S1820。
作为步骤S1820的确定结果，在当前块的位置与邻近块的位置不同时，在步骤S1830，可以识别360度视频的格式。例如，360度视频的格式可以包括360度视频的投影格式。
作为步骤S1820的确定结果，在当前块的位置与邻近块的位置相同时，即，当位移是(0，0)时，在步骤S1830，可以不识别360度视频的格式。
在步骤S1840，可以将当前块变换为与邻近块的位置相应的形式。例如，可以根据移动的运动矢量的位移使邻近块变形。可选地，可以根据移动的运动矢量的位移使当前块变形。
在步骤S1850，可以通过将经过变换的当前块与邻近块进行匹配来计算相似度。
在步骤S1860，可以确定经过变换的当前块和邻近块之间的相似度是否最佳。可选地，在步骤S1860，可以确定是否已经计算了所有特定邻近块中的每个邻近块与当前块之间的相似度。
作为步骤S1860的确定结果，当经过变换的当前块与邻近块之间的相似度最佳时，在步骤S1870，可以终止相似度计算。
图19是示出根据本公开的实施例的用于基于可变形块的运动补偿的设备如何进行操作的示图。
在步骤S1910，可以确定是否存在针对当前块的运动预测信息。例如，当前块的预测信息可以包括当前块或邻近块的运动信息。
在步骤S1920，可以确定是否存在关于视频特性的附加信息。
作为步骤S1920的确定结果，当存在关于视频特性的附加信息时，在步骤S1930，可以识别360度视频的格式。例如，360度视频的格式可以包括360度视频的投影格式。
作为步骤S1920的确定结果，当不存在关于视频特性的附加信息时，在步骤S1940，可以对当前块执行传统的运动补偿方法。
在步骤S1950，使用运动预测信息以移动到将被参考的块位置，并且基于360度视频特性的信息，可以确定邻近块的形式。
在步骤S1960，基于360度视频特性，将邻近块的尺寸变换为当前块的尺寸，并且可以执行针对当前块的运动补偿。
可以在用于运动预测的设备和用于运动补偿的设备中以相同的方式执行上述实施例。
在用于运动预测的设备和用于运动补偿的设备中应用实施例的顺序可以不同。在用于运动预测的设备和用于运动补偿的设备中应用实施例的顺序可以相同。
用于运动预测的设备可以是编码器的实施例。
用于运动补偿的设备可以是解码器的实施例。
可以在编码器和解码器中以相同的方法执行上述实施例。
应用于上述实施例的顺序在编码器和解码器之间可以不同，或者应用于上述实施例的顺序在编码器和解码器中可以相同。
可以对每个亮度信号和色度信号执行上述实施例，或者可以对亮度信号和色度信号相同地执行上述实施例。
应用本发明的上述实施例的块形式可以具有正方形形式或非正方形形式。
可以依据编码块、预测块、变换块、块、当前块、编码单元、预测单元、变换单元、单元和当前单元中的至少一个的尺寸来应用本发明的上述实施例。这里，尺寸可以被定义为最小尺寸或最大尺寸或最小尺寸和最大尺寸两者，以便应用上述实施例，或者可以被定义为应用上述实施例的固定尺寸。另外，在上述实施例中，第一实施例可以被应用于第一尺寸，第二实施例可以被应用于第二尺寸。换句话说，可以依据尺寸来组合地应用上述实施例。另外，当尺寸等于或大于最小尺寸并且等于或小于最大尺寸时，可以应用上述实施例。换句话说，当块尺寸被包括在特定范围内时，可以应用上述实施例。
例如，在当前块的尺寸是8×8或更大时，可以应用上述实施例。例如，在当前块的尺寸是4×4或更大时，可以应用上述实施例。例如，在当前块的尺寸是16×16或更大时，可以应用上述实施例。例如，在当前块的尺寸等于或大于16×16并且等于或小于64×64时，可以应用上述实施例。
可以依据时间层来应用本发明的上述实施例。为了识别可以应用上述实施例的时间层，可以用信号发送相应标识符，并且上述实施例可以被应用于由相应的标识符识别的指定时间层。这里，标识符可以被定义为可应用上述实施例的最低层或最高层或最低层和最高层两者，或者可以被定义为指示应用所述实施例的特定层。另外，可以对应用所述实施例的固定时间层进行定义。
例如，在当前图像的时间层是最低层时，可以应用上述实施例。例如，在当前图像的时间层标识符是1时，可以应用上述实施例。例如，在当前图像的时间层是最高层时，可以应用上述实施例。
可以对应用了本发明的上述实施例的条带类型进行定义，并且可以依据相应的条带类型来应用上述实施例。
在上述实施例中，基于具有一系列步骤或单元的流程图描述了所述方法，但是本发明不限于所述步骤的顺序，而是可以与其他步骤同时执行一些步骤或者与其他步骤以不同的顺序执行一些步骤。此外，本领域普通技术人员应该理解，流程图中的步骤不相互排斥，并且在不影响本发明的范围的情况下，可以将其他步骤添加到流程图中，或者可以从流程图中删除一些步骤。
本公开的各种实施例并非被呈现用于描述所有可用的组合，而是被呈现仅用于描述代表性组合。各种实施例中的步骤或元件可以单独使用或者可以组合使用。
另外，本公开的各种实施例可以以硬件、固件、软件或其组合的形式实施。当以硬件组件实施本公开时，硬件组件可以是例如专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等。
本公开的范围包括使得各种实施例的方法能够在设备中或在计算机上被执行的软件或机器可执行指令(例如，操作***(OS)、应用、固件、程序)，以及存储这种软件或机器可执行指令的使得软件或指令可以在设备中或在计算机上被执行的非暂时性计算机可读介质。

Claims (20)

1.一种基于可变形块的运动预测的方法，所述方法包括：
检测360度视频的格式信息；
通过使用所述格式信息使当前块的形式和邻近块的形式中的至少一个变形；并且
基于所述变形预测针对当前块的运动矢量。
2.如权利要求1所述的方法，其中，所述格式信息包括所述360度视频的投影格式。
3.如权利要求1所述的方法，其中，块的形式包括块的尺寸和形状中的至少一个。
4.如权利要求1所述的方法，其中，当所述360度视频是ERP格式视频时，所述变形的步骤包括考虑到当前块或邻近块在所述360度视频中位于的纬度，使当前块的形式或邻近块的形式变形。
5.如权利要求4所述的方法，其中，所述变形的步骤还包括通过将所述纬度与特定阈值进行比较来确定是否改变当前块的形式或邻近块的形式。
6.如权利要求1所述的方法，其中，当所述360度视频是ERP格式视频时，所述方法还包括通过使用所述360度视频的左侧特定区域和右侧特定区域中的至少一个区域对所述360度视频执行填充。
7.如权利要求1所述的方法，其中，当所述360度视频是ERP格式视频时，预测针对当前块的运动矢量的步骤包括：
考虑到所述360度视频中的纬度，使针对邻近块的搜索区域的形式变形；并且
基于变形的搜索区域预测针对当前块的运动矢量。
8.如权利要求1所述的方法，其中，当所述360度视频是ERP格式视频并且所述预测是双向运动信息预测时，预测所述运动矢量的步骤包括：
基于所述变形来预测针对当前块的第一运动矢量；
通过使用预测的第一运动矢量和当前块的位置来确定特定的缩放因子；并且
通过使用所述缩放因子来预测第二运动矢量。
9.一种基于可变形块的运动补偿的方法，所述方法包括：
接收当前块的运动预测信息；
接收360度视频的格式信息；并且
通过使用所述运动预测信息和所述格式信息生成针对当前块的预测块。
10.如权利要求9所述的方法，其中，生成针对当前块的预测块的步骤包括：
通过使用所述运动预测信息和所述格式信息，使当前块的形式和邻近块的形式中的至少一个变形；并且
通过使用变形的块生成针对当前块的预测块。
11.一种用于基于可变形块的运动预测的设备，所述设备被配置为：
检测360度视频的格式信息；
通过使用所述格式信息使当前块的形式和邻近块的形式中的至少一个变形；并且
基于所述变形来预测针对当前块的运动矢量。
12.如权利要求11所述的设备，其中，所述格式信息包括所述360度视频的投影格式。
13.如权利要求11所述的设备，其中，块的形式包括块的尺寸和形状中的至少一个。
14.如权利要求11所述的设备，其中，当所述360度视频是ERP格式视频时，所述设备考虑到当前块或邻近块在所述360度视频中位于的纬度，使当前块的形式或邻近块的形式变形。
15.如权利要求14所述的设备，其中，所述设备通过将所述纬度与特定阈值进行比较来确定是否改变当前块的形式或邻近块的形式。
16.如权利要求11所述的设备，其中，当所述360度视频是ERP格式视频时，所述设备通过使用所述360度视频的左侧特定区域和右侧特定区域中的至少一个区域对所述360度视频执行填充。
17.如权利要求11所述的设备，其中，当所述360度视频是ERP格式视频时，所述设备考虑到所述360度视频中的纬度使针对邻近块的搜索区域的形式变形，并且基于变形的搜索区域来预测针对当前块的运动矢量。
18.如权利要求11所述的设备，其中，当所述360度视频是ERP格式视频并且所述预测是双向运动信息预测时，所述设备基于所述变形来预测针对当前块的第一运动矢量，通过使用预测的第一运动矢量和当前块的位置来确定特定的缩放因子，并且通过使用所述缩放因子来预测第二运动矢量。
19.一种用于基于可变形块的运动补偿的设备，所述设备被配置为：
接收当前块的运动预测信息；
接收360度视频的格式信息；并且
通过使用所述运动预测信息和所述格式信息来生成针对当前块的预测块。
20.如权利要求19所述的设备，其中，所述设备通过使用所述运动预测信息和所述格式信息使当前块的形式和邻近块的形式中的至少一个变形，并且通过使用变形的块来生成针对当前块的预测块。
CN201880018582.2A 2017-03-13 2018-03-13 用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置 Withdrawn CN110521207A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310972732.6A CN116781932A (zh) 2017-03-13 2018-03-13 基于非典型块的运动预测和补偿的方法及其装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20170031085 2017-03-13
KR10-2017-0031085 2017-03-13
PCT/KR2018/002949 WO2018169288A1 (ko) 2017-03-13 2018-03-13 비디오 부/복호화를 위한 비정형 블록 기반 움직임 예측 및 보상 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310972732.6A Division CN116781932A (zh) 2017-03-13 2018-03-13 基于非典型块的运动预测和补偿的方法及其装置

Publications (1)

Publication Number Publication Date
CN110521207A true CN110521207A (zh) 2019-11-29

Family

ID=63522350

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310972732.6A Pending CN116781932A (zh) 2017-03-13 2018-03-13 基于非典型块的运动预测和补偿的方法及其装置
CN201880018582.2A Withdrawn CN110521207A (zh) 2017-03-13 2018-03-13 用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310972732.6A Pending CN116781932A (zh) 2017-03-13 2018-03-13 基于非典型块的运动预测和补偿的方法及其装置

Country Status (4)

Country Link
US (1) US20200275116A1 (zh)
KR (2) KR102596401B1 (zh)
CN (2) CN116781932A (zh)
WO (1) WO2018169288A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
US11800099B2 (en) * 2018-09-20 2023-10-24 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium for storing bitstream
CN111327904B (zh) * 2018-12-15 2023-03-03 华为技术有限公司 图像重建方法和装置
CN113615179B (zh) 2019-03-13 2024-02-09 Lg 电子株式会社 图像编码/解码方法和装置以及发送比特流的方法
EP3739880A1 (en) * 2019-05-14 2020-11-18 Axis AB Method, device and computer program product for encoding a distorted image frame

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945276A (zh) * 2009-07-03 2011-01-12 英特尔公司 在视频解码器处基于重构基准帧估计运动的方法和***
CN103688543A (zh) * 2011-07-01 2014-03-26 Sk电信有限公司 进行图像编码和解码的设备和方法
CN104365101A (zh) * 2012-04-15 2015-02-18 三星电子株式会社 用于确定用于帧间预测的参考图像的方法及设备
CN104704833A (zh) * 2012-09-19 2015-06-10 高通股份有限公司 多视图或3维视频译码中的高级视图间残差预测
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102439252B1 (ko) * 2010-05-26 2022-08-31 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
EP2552115A1 (en) * 2011-07-25 2013-01-30 Siemens Aktiengesellschaft A method for coding a sequence of digital images
US20180020238A1 (en) * 2016-07-15 2018-01-18 Mediatek Inc. Method and apparatus for video coding
JP2019530311A (ja) * 2016-09-02 2019-10-17 ヴィド スケール インコーポレイテッド ３６０度ビデオ情報をシグナリングするための方法およびシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945276A (zh) * 2009-07-03 2011-01-12 英特尔公司 在视频解码器处基于重构基准帧估计运动的方法和***
CN103688543A (zh) * 2011-07-01 2014-03-26 Sk电信有限公司 进行图像编码和解码的设备和方法
CN104365101A (zh) * 2012-04-15 2015-02-18 三星电子株式会社 用于确定用于帧间预测的参考图像的方法及设备
CN104704833A (zh) * 2012-09-19 2015-06-10 高通股份有限公司 多视图或3维视频译码中的高级视图间残差预测
US20160112704A1 (en) * 2014-10-20 2016-04-21 Google Inc. Continuous prediction domain

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HE. YUWEN ET AL.: "AHG8：Geometry Padding for 360 Video Coding，JVET-D0075" *

Also Published As

Publication number Publication date
WO2018169288A1 (ko) 2018-09-20
US20200275116A1 (en) 2020-08-27
KR20180104581A (ko) 2018-09-21
CN116781932A (zh) 2023-09-19
KR102596401B1 (ko) 2023-10-31
KR20230156275A (ko) 2023-11-14

Similar Documents

Publication Publication Date Title
CN111164978B (zh) 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
CN110521207A (zh) 用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置
CN110463201A (zh) 使用参考块的预测方法和装置
CN110024399A (zh) 对图像编码/解码的方法和设备及存储比特流的记录介质
CN112369022A (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
CN112385215A (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
CN110121884A (zh) 用于滤波的方法和装置
CN109417617A (zh) 帧内预测方法和装置
CN110089113A (zh) 图像编码/解码方法、设备以及用于存储比特流的记录介质
CN109952762A (zh) 视频编码/解码方法和设备以及存储比特流的记录介质
CN118055226A (zh) 图像编码/解码设备及发送图像数据的设备
CN112369021A (zh) 用于吞吐量增强的图像编码/解码方法和设备以及存储比特流的记录介质
CN112740680A (zh) 图像编码/解码方法和设备以及存储比特流的记录介质
CN110476425A (zh) 基于块形式的预测方法和装置
CN113273188B (zh) 图像编码/解码方法和装置以及存储有比特流的记录介质
CN112673629A (zh) 视频编码/解码方法和装置以及用于存储比特流的记录介质
CN112585976A (zh) 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
US20230362356A1 (en) Method and apparatus for performing encoding/decoding by using region-based inter/intra prediction technique
CN112438048A (zh) 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质
CN112740671A (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
CN113940077A (zh) 用于视频编码/解码的虚拟边界信令方法和设备
CN112740694A (zh) 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
US20220070475A1 (en) Image encoding/decoding method and apparatus, and recording media storing bitstream
CN113228681A (zh) 图像编码/解码方法和装置以及存储比特流的记录介质
CN113875235A (zh) 图像编码/解码方法和装置及存储比特流的记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20200107

Address after: Han Guodatianshi

Applicant after: ELECTRONICS AND TELECOMMUNICATIONS Research Institute OF KOREA

Address before: Han Guodatianshi

Applicant before: ELECTRONICS AND TELECOMMUNICATIONS Research Institute OF KOREA

Applicant before: EWHA University INDUSTRY COLLABORATION FOUNDATION

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191129

WW01 Invention patent application withdrawn after publication