CN112425174A - 帧间预测方法和图像解码装置 - Google Patents

帧间预测方法和图像解码装置 Download PDF

Info

Publication number
CN112425174A
CN112425174A CN201980047008.4A CN201980047008A CN112425174A CN 112425174 A CN112425174 A CN 112425174A CN 201980047008 A CN201980047008 A CN 201980047008A CN 112425174 A CN112425174 A CN 112425174A
Authority
CN
China
Prior art keywords
block
region
motion vector
reference picture
outer region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980047008.4A
Other languages
English (en)
Inventor
林晶娟
孙世勋
李善英
罗太英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority claimed from PCT/KR2019/006796 external-priority patent/WO2019240425A1/ko
Publication of CN112425174A publication Critical patent/CN112425174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种帧间预测方法和图像解码装置。本发明的一个实施方式提供一种在图像解码装置中执行的帧间预测方法，该方法包括以下步骤：基于从比特流解码的运动信息来导出当前块的运动矢量；通过从参考图片内的与外部区域对应的区域获取第一参考块当中的位于参考图片外的外部区域的参考样本通过使用运动矢量来获取第一参考块的参考样本；以及基于所获取的参考样本来预测当前块。

Description

帧间预测方法和图像解码装置
技术领域
本公开涉及视频的编码和解码，并且涉及具有改进的编码和解码效率的帧间预测方法和视频解码装置。
背景技术
由于视频数据的量大于语音数据或静止图像数据的量，因此在不进行压缩处理的情况下存储或发送视频数据需要包括存储器在内的大量硬件资源。
因此，在存储或发送视频数据时，通常使用编码器来压缩视频数据以进行存储或发送。然后，解码器接收压缩的视频数据，并且解压缩和再现视频数据。用于此类视频的压缩技术包括H.264/AVC和高效视频编码(HEVC)，与H.264/AVC相比，高效视频编码(HEVC)的编码效率提高了约40％。
然而，由于视频的大小、分辨率和帧速率逐渐增加，因此要编码的数据量也增加。因此，需要一种比现有压缩技术具有更好的编码效率和更高的质量的新压缩技术。
发明内容
技术问题
被设计为满足这样的需求的本公开的目的是提供一种改进的视频编码和解码技术。特别地，本公开的一方面涉及用于减少表达运动信息所需的比特数以改进编码和解码的技术。
技术方案
根据本公开的一方面，提供了一种由视频解码装置执行的帧间预测的方法，该方法包括：基于从比特流解码的运动信息来导出当前块的运动矢量；通过使用所述运动矢量来获取第一参考块的参考样本，其中，所述第一参考块当中的位于参考图片外的外部区域的参考样本是从所述参考图片内的与外部区域对应的对应区域来获取的；以及基于所获取的参考样本来预测当前块。
根据本公开的另一方面，提供一种视频解码装置，该视频解码装置包括：运动导出器，其被配置为基于从比特流解码的运动信息来导出当前块的运动矢量；以及样本获取器，其被配置为通过使用运动矢量来获取第一参考块的参考样本，其中，第一参考块当中的位于参考图片外的外部区域的参考样本是从所述参考图片内的与外部区域对应的对应区域来获取的；以及预测执行器，其被配置为基于所获取的参考样本来预测当前块。
有益效果
从以上描述中显而易见的是，根据本公开的实施方式，可以将参考图片外的特定区域替换为参考图片内的另一区域，并且因此可以高效地估计关于360度图像的运动信息。
此外，根据本公开的另一实施方式，参考图片中的另一区域同与参考图片外的特定区域相同的区域相对应，因此可以提高预测的准确性。
附图说明
图1是能够实现本公开的技术的视频编码装置的示例性框图。
图2是示出使用QTBTTT结构的块分割的图。
图3是示出多个帧内预测模式的图。
图4是能够实现本公开的技术的视频解码装置的示例性框图。
图5是能够实现本公开的技术的帧间预测器的示例性框图。
图6是示出与当前块的预测有关的本公开的示例的流程图。
图7是示出与当前块的预测有关的本公开的示例的图。
图8是示出与当前块的预测有关的本公开的另一示例的图。
图9是示出与运动矢量的调节有关的本公开的实施方式的图。
图10至图12是示出了基于参考块之间的方向关系来获取参考样本的本公开的各种实施方式的图。
图13是示出将本公开应用于具有不同格式的参考图片的实施方式的图。
具体实施方式
在下文中，将参考附图详细地描述本公开的一些实施方式。应当注意，尽管元件在不同的附图中被示出，但是在将附图标记添加到各个附图中的组成元件时，相同的附图标记表示相同的元件。此外，在本公开的以下描述中，将省略在此并入的已知功能和配置的详细描述，以避免使本公开的主题模糊。
图1是能够实现本公开的技术的视频编码装置的示例性框图。在下文中，将参考图1描述视频编码装置和该装置的元件。
视频编码装置包括分块器110、预测器120、减法器130、变换器140、量化器145、编码器150、逆量化器160、逆变换器165、加法器170、滤波器单元180和存储器190。
视频编码装置的每个元件都可以以硬件或软件、或者硬件和软件的组合来实现。各个元件的功能可以以软件来实现，并且微处理器可以被实现为执行与各个元件相对应的软件功能。
一个视频由多个图片组成。每个图片被分割成多个区域，并且对每个区域执行编码。例如，一个图片被分割成一个或更多个图块和/或切片。在此，一个或更多个图块可以被定义为图块组。每个图块或切片被分割成一个或更多个编码树单元(CTU)。每个CTU通过树结构被分割成一个或更多个编码单元(CU)。应用至每个CU的信息被编码为CU的语法，并且应用至被共同包括在一个CTU中的CU的信息被编码为CTU的语法。另外，将共同应用至一个图块中的所有块的信息编码为图块的语法，或者编码为图块组的语法，图块组为多个图块的集合，并且应用至构成一个图片的所有块的信息被编码在图片参数集(PPS)或图片标题中。此外，由多个图片共同参考的信息被编码在序列参数集(SPS)中。另外，由一个或更多个SPS共同参考的信息被编码在视频参数集(VPS)中。
分块器110确定编码树单元(CTU)的大小。关于CTU的大小的信息(CTU大小)被编码为SPS或PPS的语法，并且被发送到视频解码装置。
分块器110将构成视频的每个图片分割为具有预定大小的多个CTU，然后使用树结构递归地分割CTU。在树结构中，叶节点用作编码单元(CU)，它是编码的基本单位。
树结构可以是四叉树(QT)、二叉树(BT)、三叉树(TT)或者由QT结构、BT结构和TT结构中的两个或更多个的组合形成的结构，在所述四叉树(QT)中，节点(或父节点)被分割为具有相同大小的四个子节点(或孩子节点)；在所述二叉树(BT)中，节点被分割为两个子节点；在所述三叉树(TT)中，节点按1:2:1的比率被分割为三个子节点。例如，可以使用QTBT(四叉树加二叉树)结构或QTBTTT(四叉树加二叉树三叉树)结构。此处，BTTT可以统称为多类型树(MTT)。
图2示出了QTBTTT分割树结构。如图2所示，CTU可以最初以QT结构被分割。可以重复QT分割，直到分割块的大小达到QT中允许的叶节点的最小块大小(MinQTSize)为止。指示是否将QT结构的每个节点分割为更低层的四个节点的第一标记(QT_split_flag)由编码器150编码并用信号发送至视频解码装置。当QT的叶节点不大于BT中允许的根节点的最大块大小(MaxBTSize)时，可以将叶节点进一步分割为BT结构或TT结构中的一个或更多个。在BT结构和/或TT结构中，可以存在多个分割方向。例如，可以存在两个方向，这两个方向是节点的块的水平分割和垂直分割。如图2所示，当MTT分割开始时，指示节点是否被分割的第二标记(mtt_split_flag)、指示分割方向(垂直或水平)的标记和/或指示分割类型(二叉树或三叉树)的标记由编码器150编码并用信号发送到视频解码装置。
作为树结构的另一示例，当使用QTBTTT结构分割块时，与指示块已被分割的CU分割标记(split_cu_flag)和指示分割类型是否是QT分割的QT分割标记(split_qt_flag)有关的信息由编码器150编码并用信号发送到视频解码装置。当split_cu_flag的值指示块尚未被分割时，节点的块变为分割树结构中的叶节点，并其被用作编码单元(CU)，编码单元是编码的基本单位。当split_cu_flag的值指示块尚未被分割时，分割类型是QT还是MTT通过split_qt_flag的值来区分。当分割类型为QT时，不存在附加信息。当分割类型是MTT时，指示MTT分割方向(垂直或水平)的标记(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉树或三叉树)的标记(mtt_split_cu_binary_flag)由编码器150编码并用信号发送到视频解码装置。
作为树结构的另一示例，当使用QTBT时，可能存在两种分割类型，这两种分割类型是节点的块到相同大小的两个块的水平分割(即，对称水平分割)和垂直分割(即，对称垂直分割)。指示BT结构的每个节点是否被分割为更低层的块的分割标记(split_flag)和指示分割类型的分割类型信息由编码器150编码并发送到视频解码装置。可以存在将节点的块分割为两个非对称块的附加类型。非对称分割类型可以包括以1:3的大小比率将块分割成两个矩形块的类型、以及对角线分割节点的块的类型。
根据CTU的QTBT或QTBTTT分割，CU可以具有各种大小。以下，将与要被编码或解码的CU(即，QTBTTT的叶节点)相对应的块称为“当前块”。
预测器120预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
通常，图片中的每个当前块可以被预测性地编码。当前块的预测可以使用帧内预测技术(帧内预测技术基于来自包含当前块的图片的数据执行)或帧间预测技术(帧间预测技术基于来自在包含当前块的图片之前编码的图片的数据执行)来执行。帧间预测包括单向预测和双向预测。
帧内预测器122使用包括当前块的当前图片中的位于当前块周围的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多种帧内预测模式。例如，如图3所示，多个帧内预测模式可以包括：非方向模式，该非方向模式包括平面模式和DC模式；以及65方向模式。对于每种预测模式，要使用的式和相邻像素被不同地定义。
帧内预测器122可以确定将在对当前块进行编码时使用的帧内预测模式。在一些示例中，帧内预测器122可以使用几种帧内预测模式对当前块进行编码，并且从被测试的模式中选择合适的帧内预测模式来使用。例如，帧内预测器122可以使用对几种被测试的帧内预测模式的速率失真分析来计算速率失真值，并且可以在被测试模式当中选择具有最佳速率失真特性的帧内预测模式。
帧内预测器122从多个帧内预测模式当中选择一种帧内预测模式，并使用相邻像素(参考像素)和根据所选择的帧内预测模式确定的式来预测当前块。与所选择的帧内预测模式有关的信息由编码器150编码并且发送到视频解码装置。
帧间预测器124通过运动补偿处理生成针对当前块的预测块。帧间预测器在比当前图片更早被编码和解码的参考图片中搜索与当前块最相似的块，并基于搜索到的块生成针对当前块的预测块。然后，帧间预测器生成同当前图片中的当前块与参考图片中的预测块之间的位移相对应的运动矢量。通常，对亮度分量执行运动估计，并且基于亮度分量计算的运动矢量被用于亮度分量和色度分量两者。包括与用于预测当前块的参考图片有关的信息和与运动矢量有关的信息的运动信息由编码器150编码并发送到视频解码装置。
减法器130通过从当前块中减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。
变换器140将在空间域中具有像素值的残差块中的残差信号变换为频域中的变换系数。变换器140可以使用当前块的总大小作为变换单位来变换残差块中的残差信号。另选地，变换器可以将残差块分割为变换区域和非变换区域的子块，并且仅使用变换区域的子块作为变换单位来变换残差信号。这里，变换区域子块可以是基于水平轴(或垂直轴)的大小比率为1:1的两个矩形块之一。在这种情况下，指示仅子块已经被变换的标记(cu_sbt_flag)、方向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)由编码器150编码并用信号发送到视频解码装置。另外，基于水平轴(或垂直轴)，变换区域子块的大小可以具有1:3的大小比率。在这种情况下，用于区分分割的标记(cu_sbt_quad_flag)由编码器150另外编码并用信号发送到视频解码装置。
量化器145对从变换器140输出的变换系数进行量化，并将量化后的变换系数输出至编码器150。
编码器150通过使用诸如基于上下文的自适应二进制算术码(CABAC)的编码方法对量化后的变换系数进行编码来生成比特流。编码器150对与块分割有关的诸如CTU大小、CU分割标记、QT分割标记、MTT分割方向和MTT分割类型的信息进行编码，使得视频解码装置以与视频编码装置相同的方式分割块。
此外，编码器150对与指示当前块是通过帧内预测编码还是通过帧间预测编码的预测类型有关的信息进行编码，并且根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(关于参考图片和运动矢量的信息)进行编码。
逆量化器160对从量化器145输出的量化后的变换系数进行逆量化以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空间域，并重构残差块。
加法器170将重构的残差块与预测器120生成的预测块相加以重构当前块。重构的当前块中的像素被用作下一个块的帧内预测的参考像素。
滤波器单元180对重构像素进行滤波以减少由于基于块的预测和变换/量化而产生的模糊伪影、块伪影和振铃伪影(ringing artifact)。滤波器单元180可以包括解块滤波器182和样本自适应偏移(SAO)滤波器184。
解块滤波器180对重构块之间的边界进行滤波，以去除由逐块编码/解码引起的块伪影，并且SAO滤波器184对经解块滤波的视频进行附加滤波。SAO滤波器184是用于补偿由有损编码引起的重构像素与原始像素之间的差的滤波器。
通过解块滤波器182和SAO滤波器184被滤波的重构块被存储在存储器190中。一旦重构了一个图片中的所有块，就将重构图片用作用于要编码的下一个图片中的块的帧间预测的参考图片。
图4是能够实现本公开的技术的视频解码装置的示例性功能框图。在下文中，将参考图4描述视频解码装置和该装置的元件。
视频解码装置可以包括解码器410、逆量化器420、逆变换器430、预测器440、加法器450、滤波器单元460和存储器470。
类似于图1的视频编码装置，视频解码装置的每个元件可以被实现为硬件或软件，或者可以被实现为硬件和软件的组合。另外，每个元件的功能可以被实现为软件，并且微处理器可以被实现为执行与每个元件相对应的软件的功能。
解码器410通过对从视频编码装置接收的比特流进行解码并提取与块分割有关的信息，来确定要解码的当前块，并且提取预测信息和与重构当前块所需的残差信号有关的信息。
解码器410从序列参数集(SPS)或图片参数集(PPS)提取有关CTU大小的信息，确定CTU的大小，并且将图片分割为所确定大小的CTU。然后，解码器将CTU确定为最上层，即，树结构的根节点，并且提取与CTU有关的分割信息以使用树结构分割CTU。
例如，当使用QTBTTT结构分割CTU时，首先提取与QT分割有关的第一标记(QT_split_flag)，并且将每个节点分割为更低层的四个节点。然后，对于与QT的叶节点相对应的节点，提取与MTT分割有关的第二标记(MTT_split_flag)以及与分割方向(垂直/水平)和/或分割类型(二叉树/三叉树)有关的信息，并且以MTT结构分割叶节点。以这种方式，以BT或TT结构递归地分割QT的叶节点下方的每个节点。
作为另一示例，当使用QTBTTT结构分割CTU时，首先提取指示是否分割CU的CU分割标记(split_cu_flag)。如果相应块被分割，则提取QT分割标记(split_qt_flag)。当分割类型不是QT而是MTT时，将另外提取指示MTT分割方向(垂直或水平)的标记(mtt_split_cu_vertical_flag)和/或指示MTT分割类型(二叉树或三叉树)的标记(mtt_split_cu_binary_flag)。在分割过程中，每个节点可以经历零次或更多次递归QT分割，然后经历零次或更多次递归MTT。例如，CTU可能立即被MTT分割，或者可能仅被QT分割多次。
作为另一示例，当使用QTBT结构分割CTU时，第一标记(QT_split_flag)与QT分割有关，并且每个节点被分割为较低层的四个节点。对于与QT的叶节点相对应的节点，提取指示节点是否进一步被BT分割的split_flag和分割方向信息。
在通过树结构分割确定要解码的当前块时，解码器410提取与指示当前块是经受帧内预测还是帧间预测的预测类型有关的信息。当预测类型信息指示帧内预测时，解码器410针对当前块提取用于帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，解码器410提取帧间预测信息(即，指示运动矢量和运动矢量所参考的参考图片的信息)的语法元素。
解码器410提取与当前块的量化变换系数有关的信息作为与残差信号有关的信息。
逆量化器420对量化变换系数进行逆量化，并且将逆量化变换系数从频域逆变换到空间域，从而重构残差信号以生成当前块的残差块。
另外，当逆变换器430仅对变换块的部分区域(子块)进行逆变换时，提取指示仅变换块的子块已被变换的标记(cu_sbt_flag)和与子块有关的方向信息(垂直/水平)(cu_sbt_horizontal_flag)和/或子块位置信息(cu_sbt_pos_flag)。然后，通过将子块的变换系数从频域逆变换到空间域来重构残差信号。对于未被逆变换的区域，用“0”填充残差信号。从而，创建当前块的最终残差块。
预测器440可以包括帧内预测器442和帧间预测器444。当当前块的预测类型是帧内预测时，帧内预测器442被激活，当当前块的预测类型是帧间预测时，帧间预测器444被激活。
帧内预测器442基于从解码器410提取的用于帧内预测模式的语法元素，在多个帧内预测模式当中确定当前块的帧内预测模式，并且根据帧内预测模式，基于当前块周围的参考像素预测当前快。
帧间预测器444基于从解码器410提取的帧间预测模式的语法元素，确定当前块的运动矢量和由运动矢量参考的参考图片，并且基于运动矢量和参考图片预测当前块。
加法器450通过将从逆变换器输出的残差块与从帧间预测器或帧内预测器输出的预测块相加来重构当前块。重构的当前块中的像素被用作参考像素，以对稍后将解码的块进行帧内预测。
滤波器单元460可以包括解块滤波器462和SAO滤波器464。解块滤波器462对重构块之间的边界执行解块滤波以去除由逐块解码引起的块伪影。SAO滤波器464在解块滤波之后对重构块执行附加滤波，以便补偿由有损编码引起的重构像素与原始像素之间的差。通过解块滤波器462和SAO滤波器464滤波的重构块被存储在存储器470中。当重构一个图片中的所有块时，重构的图片被用作参考图片，以对此后将编码的图片中的块进行帧间预测。
图5是能够实现本公开的技术的帧间预测器444的示例性框图，图6是示出由帧间预测器444预测当前块的方法的流程图，并且图7是示出帧间预测器444预测当前块的本公开的示例的图。在下文中，将参照图5至图7详细描述本公开的技术特征，这些技术特征更准确且高效地实现针对360度图像的当前块的预测。
画面间预测编码方法(帧间预测方法)可以包括跳过模式、合并模式和自适应(或高级)运动矢量预测器(AMVP)模式。在跳过模式下，仅用信号发送相邻块的运动信息候选之一的运动信息。在合并模式下，用信号发送相邻块的运动信息候选之一的运动信息和通过对预测之后的残差进行编码而获得的信息。在AMVP模式下，用信号发送与当前块有关的运动信息和通过对预测之后的残差进行编码而获得的信息。
在跳过模式和合并模式下的运动信息可以与指示候选之一的索引值对应。在标准HEVC中，索引值可以通过merge_idx语法表达。AMVP模式下的运动信息可以与关于相邻块的运动信息与关于当前块的运动信息之间的差(mv差(MVD))对应。在标准HEVC中，MVD的值可以通过各种语法表达，如下表1所示。
[表1]
Figure BDA0002895515680000101
在以上表1中，[0]表示水平轴分量x，并且[1]表示垂直轴分量y。
在跳过模式和合并模式下，可以通过由merge_idx的信号值指示的与相邻块有关的运动信息来导出当前块的运动矢量。在AMVP模式下，当前块的运动矢量可以通过将通过与相邻块有关的运动信息获得的运动矢量预测器(MVP)值和MVD的信号值求和而导出。
在传统方法中，当由当前块的运动矢量指示的参考块的部分或整个区域(以下称为“外部区域”)位于参考图片外时，通过以下方法获得参考样本：用参考图片的边界或最外区域处的样本当中的最接近外部区域的样本来填充外部区域的样本。
例如，在传统方法中，当当前块的水平轴位置(x坐标)和运动矢量的水平值(x坐标)之和偏离参考图片时，将其替换为在参考图片的最近端处的值。该示例由下面的式1表示。
[式1]
xIntL＝xPb+(mvLX[0]＞＞2)+xL
xAi＝Clip3(0，pic_width_in_luma_samples-1，xIntL+i)
在上面的式1中，xPb表示当前块的水平轴位置(x坐标)，并且mvLX[0]表示四分之一像素运动矢量的水平值(x坐标)。xL表示从0到(width-1)的范围，其中“width”对应于当前块的宽度。xIntL表示由运动矢量表示的整数像素在参考图片中的位置。另外，xAi表示通过将k抽头插值滤波器所需的相邻整数像素(i)的相对位置与xIntL求和而获得的最终整数样本的位置。即，xAi表示在k抽头插值滤波器所需的xIntL周围沿着水平轴布置的整数像素的位置。关于xIntL，当运动矢量值mvLX[0]是四分之一(1/4)像素时，可以执行与式1中表达的运动矢量值的4倍相对应的运算(mvLX[0]＞＞2)。当mvLX[0]是1/16像素时，可以执行与运动矢量值的16倍相对应的运算(mvLX[0]＞＞4)。
如式1所示，当xIntL+i的位置在参考图片外时，使用剪裁功能将xAi的值替换为参考图片中的左端或右端位置的值。
作为另一个示例，在传统方法中，当当前块在垂直轴(y坐标)上的位置和运动矢量沿着垂直轴(y坐标)的值之和偏离参考图片时，将其替换为参考图片中的最近端的值。该示例由下面的式2表示。
[式2]
yIntL＝yPb+(mvLX[1]＞＞2)+yL
yAi＝Clip3(0，pic_height_in_luma_samples-1，yIntL+i)
在以上式2中，yPb表示当前块的垂直轴位置(y坐标)，而mvLX[1]表示四分之一像素运动矢量的垂直值(y坐标)。yL表示从0到(height-1)的范围，其中“height”对应于当前块的高度。yIntL表示由运动矢量指示的整数像素在参考图片中的位置。而且，yAi表示通过将k抽头插值滤波器所需的相邻整数像素(i)的相对位置与yIntL求和而获得的最终整数样本的位置。即，yIntL表示在k抽头插值滤波器所需的yIntL周围沿着垂直轴布置的整数像素的位置。关于yIntL，当运动矢量值mvLX[1]是四分之一(1/4)像素时，可以执行与运动矢量值的4倍相对应的运算(mvLX[1]＞＞2)，如式2中所表示的。当mvLX[1]是1/16像素时，可以执行与运动矢量值的16倍相对应的运算(mvLX[1]＞＞4)。
如式2所示，当yIntL+i的位置偏离参考图片时，使用剪裁功能将yAi的值替换为参考图片中的上端或下端位置的值。
如上所述操作的这种传统方法需要将参考图片的区域扩展到外部区域的额外存储资源，并且基于位于参考图片的最外侧的样本来近似外部区域的样本。因此，它可能降低运动补偿的精度。
基于360度图像的3D结构，投影到2D图像上的360度图像的边界可能彼此接触(彼此连接)。例如，在3D结构中，投影到2D图像上的360度图像的左侧和右侧彼此接触，左上侧和右上侧基于中心垂直线彼此接触，并且左下侧和右下侧基于中心垂直线彼此接触。基于360度图像的这种特性，本公开提出了一种用于在参考图片外的外部区域的更高效的帧间预测方法。
本公开中提及的当前图片和参考图片可以是通过将3D结构的360度图像变换成各种类型的2D格式(诸如，等量矩形投影(equirectangular projection,ERP)、立方体贴图投影(Cube Map Projection,CMP)以及二十面体投影(ISP))而获得的图片。在下文中，将围绕当前图片和通过将3D结构的360度图像变换为2D格式ERP而获得的参考图片来描述本公开。
视频编码装置搜索第一参考块，该第一参考块是与要编码的当前块相对应的参考块。在此，第一参考块可以是与当前块最相似的块。另外，视频编码装置可以从第一参考块获取参考样本，以便预测当前块。第一参考块的位于参考图片外的外部区域的参考样本可以是从与外部区域对应的对应区域来获取的。对应区域可以位于参考图片中。此外，视频编码装置可以基于所获取的参考样本来预测当前块。
与视频编码装置相关地描述的第一参考块、外部区域和对应区域中的每一个可以具有与将在下面与视频解码装置相关地描述的第一参考块740、外部区域742和对应区域752中的每个相同的含义。由视频解码装置执行的、以下描述的操作可以由视频编码装置类似地执行。
如图5所示，帧间预测器444可以包括运动导出器510、样本获取器520、预测执行器530、运动调节器540和关系指示器550。
首先，关于要被解码的当前图片710中包括的当前块720，运动导出器510基于从视频编码装置发送(从比特流解码)的运动信息导出当前块720的运动矢量(S610)。
在跳过模式或合并模式的情况下，运动导出器510可以基于与相邻块的运动信息候选之一的索引值相对应的merge_idx的值来导出当前块720的运动矢量(由图7中的实线箭头指示)，。在AMVP模式的情况下，运动导出器510可以通过将经由相邻块的运动信息值获取的运动矢量预测器(MVP)与由解码器410解码(并且从视频编码装置发送)的运动矢量差(MVD)求和来导出当前块720的运动矢量。
一旦导出运动矢量，样本获取器520就获取第一参考块740的参考样本，第一参考块740是使用所导出的运动矢量导出的参考块(S640)。具体地，当通过运动矢量的位置和当前块720的位置/大小获得的整数样本偏离参考图片时，样本获取器520从参考图片中的适当位置获取对应整数样本(S640)。在此，第一参考块740包括整数样本。
关于第一参考块740的位置，第一参考块740的仅一部分可以位于参考图片730外(图7的(A))，或者第一参考块740的整体可以位于参考图片730外(图7的(B))。
如图7的(A)的(b)和(c)所示，当第一参考块740的仅一部分位于参考图片730外时，第一参考块740可以由位于参考图片730外的外部区域742和位于参考图片730内的内部区域744组成。也就是说，第一参考块740可以包括位于参考图片730外的样本和位于参考图片730内的样本。
在这种情况下，考虑到在360度图像中，参考图片730的右边界与参考图片730的左边界接触，样本获取器520可以被配置为从参考图片730内的另一区域获取与外部区域742相对应的参考样本。具体地，样本获取器520可以从内部区域744获取与内部区域744相对应的参考样本，并且从对应区域752(其是参考图片730中的与外部区域742相对应的区域)获取与外部区域742相对应的参考样本。在此，从360度图像的角度来看，外部区域742与对应区域752之间的对应关系可以意味着外部区域742与对应区域752是相同区域。
基于参考图片730获取参考样本的位置可以描述如下。可以从参考图片730的右部获取与内部区域744相对应的参考样本，并且可以从参考图片730的左部获取与外部区域742相对应的参考样本。
如图7的(B)的(b)和(c)中所示，当第一参考块740的整***于参考图片730外时，第一参考块740可以仅由位于图片730外的外部区域742组成。即，第一参考块740可以仅由位于参考图片730外的样本组成。
在这种情况下，样本获取器520可以从参考图片730内的对应区域752获取与外部区域742对应的参考样本。这里，从360度图像的角度来看，外部区域742和对应区域752是相同区域。
当本公开采用用于运动补偿的k抽头插值滤波器(其中k是自然数)时，为其获取参考样本的对应区域752和/或内部区域744可以是通过由图8中的实线表示的区域在水平方向扩展k(向左k/2和向右k/2)并且在垂直方向扩展k(向上k/2和向下k/2)形成的区域(由虚线指示)。
在从内部区域744获取参考样本时，样本获取器520可以在通过将图8中所示的内部区域744分别向左、向上和向下扩展k/2形成的区域中获取参考样本。在从对应区域752获取参考样本时，样本获取器520可以在通过将图8中所示的对应区域752分别向右、向上和向下扩展k/2形成的区域中获取参考样本。
可以通过运动矢量的分辨率来确定是否扩展内部区域744和对应区域752。例如，当运动矢量的小数部分为0时，可以不扩展内部区域744和对应区域752。当运动矢量的小数部分不为0时，可以扩展内部区域744和对应区域752。
从内部区域744或对应区域752获取参考样本的以下描述应被理解为包括从内部区域744或对应区域752获取参考样本，以及从通过将内部区域744或对应区域752扩展k形成的区域获取参考样本。
通过将第一参考块740向左或向右移动ERP宽度或参考图片730的宽度，并且选择属于在移位位置处的参考块750(以下称为“第二参考块”)并且位于参考图片730内的区域(对应区域)，可以搜索对应区域752。该操作由下面的式3表示。
[式3]
Figure BDA0002895515680000141
在上面的式3中，xPb表示当前块720的水平轴位置(x坐标)，并且mvLX[0]表示子像素运动矢量的水平值(x坐标)。xL表示从0到(width-1)的范围，其中'width'对应于当前块720的宽度。xIntL表示由运动矢量表示的整数像素在参考图片730中的位置，并且picWidth可以具有各种含义，诸如参考图片730的宽度、未填充ERP的宽度、经填充ERP的宽度、以及偏移量。另外，xAi表示通过将k抽头插值滤波器所需的相邻整数像素(i)的相对位置与xIntL求和而获得的最终整数样本的位置。即，xAi表示在k抽头插值滤波器所需的xIntL周围沿着水平轴布置的整数像素的位置。关于xIntL，当运动矢量值mvLX[0]是四分之一(1/4)像素时，可以执行与运动矢量值的4倍相对应的运算(mvLX[0]>>2)。当mvLX[0]是1/16像素时，可以执行与式3中表示的运动矢量值的16倍相对应的运算(mvLX[0]>>4)。
如式3所示，当由运动矢量指示的整数样本位于参考图片730的左侧外时(xIntL+i<0)，可以通过将picWidth与整数样本的水平轴坐标相加来选择相应的最终整数样本xAi。当由运动矢量指示的整数样本位于参考图片730的右侧外(xIntL+i>picWidth-1)时，可以通过从整数样本的水平轴坐标减去picWidth来选择对应的最终整数样本xAi。
通常，picWidth可以等于参考图片730的宽度、重构图片的宽度或要解码的图片的宽度。然而，当通过将特定区域α填充到原始ERP图片的宽度w来执行编码时，picWidth可以等于原始ERP图片(未填充的参考图片)的宽度w，并且要编码的图片的宽度、重构图片的宽度、以及参考图片730的宽度可以等于(w+α)。在此，α表示已填充区域的宽度。
在这种情况下，可以通过将第一参考块740向左移位w而不是已填充的参考图片730的宽度(w+α)并且选择属于在移位位置处的第二参考块750并且位于参考图片730内的区域(对应区域)来搜索对应区域752。
简而言之，当原始图片未被填充时，用于搜索对应区域752的宽度可以是原始图片的宽度w或参考图片730的宽度。当原始图片被填充时，用于搜索的宽度可以是原始图片的宽度w。因此，在填充原始图片的情况下和不填充原始图片的情况下，用于搜索对应区域752的宽度可以等于原始图片的宽度w。
picWidth可以表示偏移量。偏移量是用于确定(计算)对应区域752的位置的值，并且可以由从视频编码装置发信号通知的信息(偏移量信息)识别或指示。该偏移量可以等于原始图片的宽度w或参考图片730的宽度。
视频解码装置可以从比特流获取与原始图片有关的宽度w信息或偏移量信息，并且基于与原始图片有关的宽度w信息或偏移量信息来得出或导出原始图片的宽度w或偏移量。此后，该装置可以将外部区域742(外部区域中的参考样本)移位所导出的原始图片的宽度w或偏移量，以识别对应区域752(对应区域的参考样本)。
一旦从对应区域752和/或内部区域744获取了第一参考块740的参考样本，预测执行器530就可以基于所获取的参考样本来预测当前块720(可以生成用于当前块的预测块)(S650)。
如上所述，本公开被配置为从与外部区域742相同的区域(对应区域)而不是近似于外部区域742的区域获取外部区域742的参考样本，因此当前块720的预测准确度可以被改善。
图9是示出与运动矢量的调节有关的本公开的实施方式的图。在下文中，将给出能够通过调节运动矢量来更高效地实现对对应区域752的搜索的本公开的技术特征的描述。
如图9的(A)所示，当当前块720的运动矢量指向参考图片730的右侧外时，使用该运动矢量导出的第一参考块740的整个区域位于参考图片730外。即，当运动矢量指向参考图片730的右侧外时，第一参考块740仅由外部区域742组成，而没有内部区域744。
帧间预测器444可以被配置为进一步执行调节运动矢量(MV包卷(MV wrapping))的过程，使得运动矢量指向参考图片730内的适当位置(S620)。MV包卷过程可以由运动调节器540执行，运动调节器540是帧间预测器444中包括的元件。在这种情况下，参考图片730的分辨率可以与重构图片的分辨率相同或者与包括特定已填充区域的重构图片的分辨率相同。
MV包卷程序的示例由下面的式4表示。
[式4]
Figure BDA0002895515680000161
在上面的式4中，xPb表示当前块720的水平轴位置(x坐标)，并且mvLX[0]表示子像素运动矢量的水平值(x坐标)。picWidth可以具有与式3中所述的相同含义。此处，当运动矢量值mvLX[0]为四分之一(1/4)像素时，可以执行与运动矢量值的4倍相对应的运算(mvLX[0]>>2)。当mvLX[0]是1/16像素时，可以执行与式4中表达的运动矢量值的16倍相对应的运算(mvLX[0]>>4)。
如式4所示，当运动矢量指向参考图片730的左侧外(xPb+(mvLX[0]>>4<0)时，运动矢量的x坐标向右移位picWidth(picWidth+(mvLX[0]>>4))，以将运动矢量调节为指向参考图片730内。当运动矢量指向参考图片730的右侧外(xPb+(mvLX[0]>>4)>picWidth-1)时，将运动矢量的x坐标移位picWidth((mvLX[0]]>>4)-picWidth)以将运动矢量调节为指向参考图片730内。
在下文中，为了区分用于导出第一参考块740的运动矢量和通过MV包卷过程调节的运动矢量，将用于导出第一参考块740的运动矢量称为“第一运动矢量”(在图9中由实线箭头指示)，并且将通过MV包卷过程调节的运动矢量称为“第二运动矢量”(在图9中由点划线箭头指示)。
从360度图像的观点来看，第一运动矢量指向的外部点(第一参考块的特定点)和第二运动矢量指向的内部点(第二参考块的特定点)是相同点。另外，从360度图像的角度来看，由第二运动矢量指向的第二参考块750(使用第二运动矢量导出)是与第一参考块740相同的区域。
如图9的(A)所示，由于第一参考块740的整***于参考图片730外(第一参考块仅由外部区域组成)，所以第二参考块750的整***于参考图片730内(第二参考块仅由对应区域组成)。
样本获取器520从第二参考块750获取与第一参考块740相对应的参考样本(S640)。以这种方式，帧间预测器444可以通过MV包卷过程，用与360结构中的外部区域742相同的区域对应的对应区域752替换位于参考图片730外的外部区域742。
根据实施方式，视频编码装置可以直接对第二运动矢量进行编码并发信号通知第二运动矢量。然而，由于第一运动矢量和第二运动矢量的x轴坐标的值之间的关系，与第二运动矢量相比，需要较少数量的比特对第一运动矢量进行编码。因此，就运动矢量的编码效率而言，对第一运动矢量进行编码可能更高效。
因此，当由视频编码装置编码的运动矢量(第一运动矢量)指向参考图片730外时，视频解码装置可以通过上述MV包卷过程获取指向参考图片730内的运动矢量(第二运动矢量)，并且还获取由第二运动矢量指向的参考块，即，第二参考块750。
如图9的(B)所示，当第一运动矢量指向参考图片730的左侧外时，使用第一运动矢量导出的第一参考块740的区域的全部或一部分位于参考图片730外。即，当第一运动矢量指向参考图片730的左侧外时，整个第一参考块740可以由外部区域742组成，或者可以由各自具有预定大小的区域的内部区域744和外部区域742组成。
运动调节器540可以通过执行上述MV包卷过程，将第一运动矢量调节为指向参考图片730内的第二运动矢量(S620)。
从360度图像的角度来看，由第一运动矢量指向的参考图片730的外部点(第一参考块的特定点)和由第二运动矢量指向的参考图片730的内部点(第二参考点的特定点)是相同的点。另外，从360度图像的角度来看，第二参考块750(其是使用第二运动矢量导出的参考块)对应于与第一参考块740相同的区域，并且对应区域752位于参考块750内。
当第一参考块740由各自具有特定面积的外部区域742和内部区域744组成(图9的(B))时，第二参考块750由各自具有特定面积的对应区域752和剩余区域754组成。在下文中，将构成第二参考块750的剩余区域754称为非对应区域754。
在这种状态下，样本获取器520从第二参考块750的对应区域752获取与外部区域742对应的参考样本(S640)。换句话说，帧间预测器444可以通过MV包卷过程，用对应于与外部区域742相同的区域的对应区域752替换位于参考图片730外的外部区域742。
关于获取参考样本的位置，从参考图片730的角度来看，可以从参考图片730的左部获取与内部区域744相对应的参考样本，并且可以从参考图片730的左部获取与外部区域742相对应的参考样本。
当通过将特定区域α填充到原始ERP图片的宽度w执行编码时，参考图片730的宽度被扩展为(w+α)，而不是ERP宽度w，因此第二参考块750的非对应区域754可以位于参考图片730内，而不位于参考图片外。在这种情况下，样本获取器520可以从第二参考块750的对应区域752获取与第一参考块740的外部区域742对应的参考样本，并且从位于参考图片730内的非对应区域754获取与第一参考块740的内部区域744对应的参考样本。
以这种方式，当帧间预测器444被配置为进一步执行MV包卷过程时，可以通过运动矢量调节的单个处理来指示对应区域752的位置，并且因此可以进一步改进帧间预测所需的时间和与存储器资源有关的效率。
在上述实施方式中，已经描述了仅当第一运动矢量指向参考图片730外时才执行MV包卷过程。然而，根据实施方式，即使在第一运动矢量指向参考图片730内时也可以执行MV包卷过程。
图10至图12是示出本公开的各种实施方式的图，其中，基于第一参考块740和第二参考块750之间的方向关系来获取参考样本。在下文中，将参考图10至图12描述本公开的涉及指示第一参考块740和第二参考块750之间的方向关系以及基于所指示的方向关系获取参考样本的技术特征。
第二参考块750中的与第一参考块740中的参考样本(第一参考样本)相对应的参考样本(第二参考样本)可以沿着与第一参考样本不同的方向布置。第一参考块740和第二参考块750之间的方向关系是指与第一参考样本的布置相比布置第二参考样本的方向。
当图10的(a)中所示的3D球体的形状的360度图像被分割时，其可以被变换成具有图10的(b)所示的2D ERP格式的参考图片730。从3D球体形状的角度来看，参考图片730的上侧彼此接触，并且因此对应于行y3的实线像素1至8与对应于行y2的实线像素5至4是相同的像素。另外，对应于行y4的虚线像素1至8与对应于行y1的虚线像素5至4是相同的像素。参考图片730的下侧也具有相同的特征或特性。
在这种状态下，第一参考块740由虚线像素5至7的行y1、实线像素5至7的行y2、实线像素1至3的行y3以及虚线像素1至3的行4组成，行y1中的虚线像素5至7和行y2中的实线像素5至7对应于外部区域742，并且与其对应的对应区域752可以由行y3中的实线像素5至7和行4中的虚线像素5至7组成。
另外，包括外部区域742的第一参考块740和包括对应区域752的第二参考块750关于参考图片730的垂直方向面向相反方向。换句话说，包括在外部区域742中的参考样本的布置方向关于参考图片730的垂直方向与包括在对应区域752中的参考样本的布置方向相反。
因此，在获取位于参考图片730的顶部或底部外的外部区域742的参考样本时，必须在与第一参考块740的方向相反的方向上获取参考样本(布置包括在外部区域中的参考样本的方向)。
鉴于此，本公开可以另外包括指示第一参考块740和第二参考块750之间的方向关系的关系指示器550，从而根据所指示的方向关系从对应区域752获取参考样本。
图11的(A)示出第一参考块740的一部分(外部区域)位于参考图片730的上端外的情况，并且图11的(B)示出第一参考块740的整体(外部区域)位于参考图片730的上端外的情况。
在两种情况下，可以将第一运动矢量调节为指向指示参考图片730外，并且关系指示器550可以指示使用调节后的运动矢量(第二运动矢量)导出的第二参考块750和第一参考块740具有相反方向的关系。
样本获取器520可以从内部区域744获取内部区域744的参考样本(S640)。另外，根据关系指示器550指示的方向关系，样本获取器520可以在关于参考图片730的垂直方向与布置外部区域742的参考样本的方向相反的方向上从对应区域752获取参考样本(S640)。
在不执行MV包卷过程的上述实施方式中，关系指示器550可以被配置为指示在360结构中的第一参考块740和对应于与第一参考块740相同的区域的第二参考块750之间的方向关系，并且样本获取器520可以被配置为从对应区域752获取与外部区域742对应的参考样本。
图12的(A)示出第一参考块740的一部分(外部区域)位于参考图片730的下端外的情况，并且图12的(B)示出第一参考块740的整体(外部区域)位于参考图片730的下端外的情况。
在两种情况下，可以将第一运动矢量调节为指向第二参考块750，并且就方向关系而言，关系指示器550可以指示第二参考块750与第一参考块740相反。
样本获取器520可以从内部区域744获取内部区域744的参考样本(S640)。另外，根据关系指示器550指示的方向关系，样本获取器520可以在关于参考图片730的垂直方向与布置外部区域742的参考样本的方向相反的方向上从对应区域752获取参考样本。
在不执行MV包卷过程的上述实施方式中，关系指示器550可以被配置为指示第一参考块740与第二参考块750之间的方向关系，并且样本获取器520可以被配置为从对应区域752获取与外部区域742对应的参考样本。
图13是示出将本公开应用于具有不同格式的参考图片730的实施方式的图。
如上所述，参考图片730可以对应于通过将3D结构的360度图像变换成各种类型的2D格式(诸如ERP、CMP和ISP)而获得的图片。在这些各种类型的格式中，在图13中示出通过将360度图像变换为CMP格式而获得的图片。
CMP格式的参考图片730可以由六个面组成，它们是右面、前面、左面、底面、后面和顶面。另外，如图13所示，由右面、前面和左面组成的组1和由底面、后面和顶面组成的组2布置在不同方向上，并且各个面中包括的参考样本根据上述布置关系也布置在不同方向上。
首先，运动导出器510可以基于从视频编码装置发送的运动信息来导出当前块720的运动矢量(由实线箭头表示的第一运动矢量)，并且样本获取器520可以从第一参考块740和/或第二参考块750获取第一参考块740的参考样本。
根据实施方式，在获取参考样本之前，可以基于360度图像将第一运动矢量调节为指向对应于与第一参考块740相同的区域的第二参考块750。
样本获取器520从内部区域744获取与第一参考块740的内部区域744相对应的参考样本，并且从第二参考块750中包括的对应区域752获取与外部区域742相对应的参考样本。
根据实施方式，当关系指示器550指示组1和组2之间的方向关系时，样本获取器520可以根据所指示的方向关系从对应区域752获取与外部区域742对应的参考样本。在此，方向关系可以包括各个面之间的位置关系和旋转关系。
在图13中，外部区域742中的像素关于参考图片730的垂直方向向下布置。外部区域742中的实线像素和虚线像素关于参考图片730的水平方向沿向右方向布置。与之相比，对应区域752的像素关于参考图片730的水平方向沿向右方向布置。对应区域752的实线像素和虚线像素关于参考图片730的垂直方向向下布置。另外，如上所述配置的像素之间的方向关系可以反映在或者应用于外部区域742与对应区域752之间的方向关系中，并且还可以反映在或者应用于第一参考块740和第二参考块750之间的方向关系中。
因此，如上所述，关系指示器550可以指示外部区域(第一参考块)和对应区域(第二参考块)之间的方向关系，并且样本获取器520可以根据所指示的方向关系获取对应区域752的像素。
这样，本公开的涉及从对应区域752获取外部区域742的参考样本、调节运动矢量以及根据参考块740和750之间的方向关系获取参考样本的技术特征不限于特定投影格式，而是可以应用于各种投影格式。因此，就应用性而言，本公开可以具有足够广泛的通用性。
尽管已经在本公开的所有实施方式中提及了根据单向预测来生成一个预测块，但是本公开的实施方式所属的领域的技术人员将想到，可以在两个方向上执行预测以生成两个预测块。
以上描述仅是本公开的技术思想的示例，并且本公开所属领域的普通技术人员将理解，在不脱离本公开的本质特征的情况下，可以进行各种修改和改变。因此，实施方式不旨在限制示例性实施方式的技术思想，而是示例性的，并且本公开的技术思想的范围不受这些实施方式限制。本公开寻求的保护范围应由所附权利要求书来解释，并且与权利要求书等同的范围内的所有技术思想应被解释为包括在本公开的范围内。
相关申请的交叉引用
本申请要求于2018年6月11日在韩国提交的专利申请No.10-2018-0066694、于2018年11月19日在韩国提交的专利申请No.10-2018-0142487、以及于2019年6月3日在韩国提交的专利申请No.10-2019-0065415的优先权，其全部内容通过引用合并于此。

Claims (16)

1.一种由视频解码装置执行的用于帧间预测的方法，所述方法包括以下步骤：
基于从比特流解码的运动信息导出当前块的运动矢量；
通过使用所述运动矢量来获取第一参考块的参考样本，其中，所述第一参考块当中的位于参考图片外的外部区域的参考样本是从所述参考图片内的与所述外部区域对应的对应区域获取的；以及
基于所获取的参考样本来预测所述当前块。
2.根据权利要求1所述的方法，所述方法还包括以下步骤：
在导出所述运动矢量之后，将所述运动矢量调节为指向与所述第一参考块相对应的第二参考块，
其中，所述对应区域是包括在所述第二参考块中的区域。
3.根据权利要求2所述的方法，其中，当所述运动矢量指向所述参考图片外时，执行所述运动矢量的调节。
4.根据权利要求1所述的方法，所述方法还包括以下步骤：
在导出所述运动矢量之后，指示所述第一参考块和第二参考块之间的方向关系，
其中，所述第二参考块与所述第一参考块对应并且包括所述对应区域，
其中，获取所述参考样本的步骤包括：
根据所指示的方向关系从所述对应区域获取参考样本。
5.根据权利要求4所述的方法，其中，对于360度图像，所述参考图片为等量矩形投影格式，
其中，所述指示的步骤包括：
当所述外部区域位于所述参考图片的上端或下端外时，指示所述第一参考块和所述第二参考块就关于所述参考图片的垂直方向的方向关系而言是彼此相反的，
其中，获取所述参考样本的步骤包括：
在关于所述参考图片的所述垂直方向与布置所述外部区域的所述参考样本的方向相反的方向上获取所述对应区域的所述参考样本。
6.根据权利要求1所述的方法，其中，所述对应区域是通过使所述外部区域在水平方向上移位由包含在所述比特流中的偏移量信息指示的偏移量而获得的区域。
7.根据权利要求6所述的方法，其中，当所述外部区域位于所述参考图片的左侧外时，通过将所述外部区域沿向右方向移位所述偏移量来获得所述对应区域，并且
其中，当所述外部区域位于所述参考图片的右侧外时，通过使所述外部区域沿向左方向移位所述偏移量来获得所述对应区域。
8.一种视频解码装置，所述视频解码装置包括：
运动导出器，所述运动导出器被配置为基于从比特流解码的运动信息来导出当前块的运动矢量；
样本获取器，所述样本获取器被配置为通过使用所述运动矢量来获取第一参考块的参考样本，其中，所述第一参考块当中的位于参考图片外的外部区域的参考样本是从所述参考图片内的与所述外部区域对应的对应区域获取的；以及
预测执行器，所述预测执行器被配置为基于所获取的参考样本来预测所述当前块。
9.根据权利要求8所述的视频解码装置，所述视频解码装置还包括：
运动调节器，所述运动调节器被配置为将所述运动矢量调节为指向与所述第一参考块相对应的第二参考块，
其中，所述对应区域是包括在所述第二参考块中的区域。
10.根据权利要求9所述的视频解码装置，其中，当所述运动矢量指向所述参考图片外时，所述运动调节器调节所述运动矢量。
11.根据权利要求8所述的视频解码装置，所述视频解码装置还包括：
关系指示器，所述关系指示器被配置为在导出所述运动矢量之后，指示所述第一参考块和第二参考块之间的方向关系，
其中，所述第二参考块与所述第一参考块对应并且包括所述对应区域，
其中，所述样本获取器根据所指示的方向关系从所述对应区域获取参考样本。
12.根据权利要求11所述的视频解码装置，其中，对于360度图像，所述参考图片是等量矩形投影格式，
其中，当所述外部区域位于所述参考图片的上端或下端外时，所述关系指示器指示所述第一参考块和所述第二参考块就关于所述参考图片的垂直方向的方向关系而言是彼此相反的，
其中，所述样本获取器在关于所述参考图片的所述垂直方向与布置所述外部区域的所述参考样本的方向相反的方向上获取所述对应区域的参考样本。
13.根据权利要求8所述的视频解码装置，其中，所述对应区域是通过使所述外部区域在水平方向上移位由包含在所述比特流中的偏移量信息指示的偏移量而获得的区域。
14.根据权利要求13所述的视频解码装置，其中，当所述外部区域位于所述参考图片的左侧外时，通过使所述外部区域在向右方向上移位所述偏移量来获得所述对应区域，并且
其中，当所述外部区域位于所述参考图片的右侧外时，通过使所述外部区域在向左方向上移位所述偏移量来获得所述对应区域。
15.一种由视频编码装置执行的用于帧间预测的方法，所述方法包括以下步骤：
搜索与当前块相对应的第一参考块；
获取所述第一参考块的参考样本，其中，所述第一参考块当中的位于参考图片外的外部区域的参考样本是从所述参考图片内的与所述外部区域对应的对应区域获取的；以及
基于所获取的参考样本来预测所述当前块。
16.一种视频编码装置，所述视频编码装置包括：
搜索器，所述搜索器用于搜索与当前块相对应的第一参考块；
样本获取器，所述样本获取器被配置为获取所述第一参考块的参考样本，其中，所述第一参考块当中的位于参考图片外的外部区域的参考样本是从所述参考图片内的与所述外部区域相对应的对应区域获取的；以及
预测执行器，所述预测执行器被配置为基于所获取的参考样本来预测所述当前块。
CN201980047008.4A 2018-06-11 2019-06-05 帧间预测方法和图像解码装置 Pending CN112425174A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20180066694 2018-06-11
KR10-2018-0066694 2018-06-11
KR10-2018-0142487 2018-11-19
KR1020180142487A KR20190140387A (ko) 2018-06-11 2018-11-19 360도 영상의 인터 예측 방법 및 이를 이용한 영상 복호화 장치
KR1020190065415A KR20190140399A (ko) 2018-06-11 2019-06-03 인터 예측 방법 및 영상 복호화 장치
KR10-2019-0065415 2019-06-03
PCT/KR2019/006796 WO2019240425A1 (ko) 2018-06-11 2019-06-05 인터 예측 방법 및 영상 복호화 장치

Publications (1)

Publication Number Publication Date
CN112425174A true CN112425174A (zh) 2021-02-26

Family

ID=69056280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980047008.4A Pending CN112425174A (zh) 2018-06-11 2019-06-05 帧间预测方法和图像解码装置

Country Status (3)

Country Link
US (1) US11425391B2 (zh)
KR (2) KR20190140387A (zh)
CN (1) CN112425174A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019240425A1 (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
EP4258666A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data
WO2024037641A1 (en) * 2022-08-19 2024-02-22 Mediatek Inc. Out-of-boundary reference block handling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142355A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 전방향성 영상의 메타데이터를 송수신하는 기법
WO2017220012A1 (en) * 2016-06-23 2017-12-28 Mediatek Inc. Method and apparatus of face independent coding structure for vr video
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
WO2018066988A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN108012155A (zh) * 2016-10-27 2018-05-08 联发科技股份有限公司 预拼接图像的视频编码方法、视频解码方法和相关的装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10096130B2 (en) 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
US9858706B2 (en) 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
EP3354029A4 (en) * 2015-09-23 2019-08-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR ENCODING 360-DEGREE PANORAMIC VIDEO
KR20180029315A (ko) 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
KR20180042098A (ko) 2016-10-17 2018-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018191224A1 (en) * 2017-04-11 2018-10-18 Vid Scale, Inc. 360-degree video coding using face continuities

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142355A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 전방향성 영상의 메타데이터를 송수신하는 기법
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
WO2017220012A1 (en) * 2016-06-23 2017-12-28 Mediatek Inc. Method and apparatus of face independent coding structure for vr video
WO2018066988A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN108012155A (zh) * 2016-10-27 2018-05-08 联发科技股份有限公司 预拼接图像的视频编码方法、视频解码方法和相关的装置

Also Published As

Publication number Publication date
KR20190140399A (ko) 2019-12-19
KR20190140387A (ko) 2019-12-19
US20210266559A1 (en) 2021-08-26
US11425391B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
KR101986586B1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
US11849121B2 (en) Inter-prediction method and image decoding device
US11425391B2 (en) Inter-prediction method and image decoding device
US11997255B2 (en) Video encoding and decoding using intra block copy
CN117581534A (zh) 视频编码/解码方法和装置
CN116472710A (zh) 利用分量之间的参考生成残差信号的方法和装置
CN117917072A (zh) 视频编码/解码方法和装置
CN115066900A (zh) 基于具有不同分辨率的参考图片的图像编码和解码
CN117917073A (zh) 视频编码/解码方法和装置
CN118251891A (zh) 利用基于模板匹配的帧内预测的视频编解码的方法和装置
CN118056399A (zh) 利用几何分区模式的视频编码/解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination