CN117201773A - 用于执行基于mrl的帧内预测的图像编译方法和装置 - Google Patents

用于执行基于mrl的帧内预测的图像编译方法和装置 Download PDF

Info

Publication number
CN117201773A
CN117201773A CN202311243754.5A CN202311243754A CN117201773A CN 117201773 A CN117201773 A CN 117201773A CN 202311243754 A CN202311243754 A CN 202311243754A CN 117201773 A CN117201773 A CN 117201773A
Authority
CN
China
Prior art keywords
current block
intra prediction
mode
samples
reference line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311243754.5A
Other languages
English (en)
Inventor
许镇
柳先美
李翎
崔璋元
崔情娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN117201773A publication Critical patent/CN117201773A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及一种用于执行基于MRL的帧内预测的图像编译方法和装置，一种图像解码方法包括以下步骤：配置用于当前块的包括候选帧内预测模式的MPM列表；基于用于当前块的指示MPM列表中包括的候选帧内预测模式当中的帧内预测模式的MPM索引信息来从MPM列表中推导当前块的帧内预测模式；基于帧内预测模式生成用于当前块的预测样本；以及基于预测样本生成用于当前块的重构图片，其中，用于配置MPM列表的步骤包括，基于表示用于当前块的帧内预测的参考线的参考线索引信息的值不是零的情况，将DC模式推导为候选帧内预测模式当中的一个模式，并且将其包括在MPM列表中。

Description

用于执行基于MRL的帧内预测的图像编译方法和装置
本申请是2021年08月05日提交进入中国专利局的国际申请日为2020年01月13日的申请号为202080012772.0(PCT/KR2020/000570)的，发明名称为“用于执行基于MRL的帧内预测的图像编译方法和装置”的专利申请的分案申请。
技术领域
本公开涉及图像编译(coding)技术，并且更具体地，本公开涉及一种用于执行基于多参考线(MRL)的帧内预测的方法和设备。
背景技术
最近，在各种领域中对诸如4K或8K超高清(UHD)图像/视频的高分辨率、高质量图像/视频的需求不断增加。随着图像/视频分辨率或质量变得更高，与传统图像/视频数据相比发送相对更多的信息或比特。因此，如果图像/视频数据经由诸如现有有线/无线宽带线路的介质发送或被存储在传统存储介质中，则传输和存储的成本容易增加。
此外，对虚拟现实(VR)和人工现实(AR)内容以及诸如全息图的沉浸式媒体的兴趣和需求日益增长；并且表现出与实际图像/视频不同的图像/视频特性的图像/视频(例如，游戏图像/视频)的广播也日益增长。
因此，需要高度高效的图像/视频压缩技术来有效地压缩并发送、存储或播放如上所述显示出各种特性的高分辨率、高质量图像/视频。
发明内容
技术问题
本公开的技术目的是为了提供一种用于改进图像编译效率的方法和设备。
本公开的另一技术目的是为了提供一种高效的帧内预测方法和设备。
本公开的又一技术目的是为了提供一种用于对基于多参考线(MRL)的帧内预测应用DC模式并且构造包括该DC模式的最可能模式(MPM)列表的方法和设备。
技术方案
根据本公开的一个实施方式，提供了一种由解码设备执行的图像解码方法。该方法包括：构造用于当前块的包括候选帧内预测模式的最可能模式(MPM)列表；基于指示MPM列表中包括的候选帧内预测模式当中的当前块的帧内预测模式的MPM索引信息，从MPM列表中推导当前块的帧内预测模式；基于帧内预测模式生成用于当前块的预测样本；以及基于预测样本生成用于当前块的重构图片，其中，构造MPM列表包括基于指示用于当前块的帧内预测的参考线的参考线索引信息的值不等于0的情况，将DC模式推导为候选帧内预测模式中的一个以将该DC模式包括在MPM列表中。
根据本公开的另一实施方式，提供了一种由编码设备执行的图像编码方法。该方法包括：构造用于当前块的包括候选帧内预测模式的最可能模式(MPM)列表；基于MPM列表中包括的候选帧内预测模式，推导当前块的帧内预测模式；生成指示MPM列表中包括的候选帧内预测模式当中的当前块的帧内预测模式的MPM索引信息；以及对包括指示用于当前块的帧内预测的参考线的参考线索引信息或MPM索引信息中的至少一个的图像信息进行编码，其中，构造MPM列表包括基于参考线索引信息的值不等于0的情况，将DC模式推导为候选帧内预测模式中的一个以将该DC模式包括在MPM列表中。
根据本公开的又一实施方式，提供了一种存储编码的图像信息的计算机可读数字存储介质，该计算机可读数字存储介质使权利要求1中公开的图像解码方法被执行。
有益效果
根据本公开，可改进总体图像/视频压缩效率。
根据本公开，通过高效的帧内预测可降低计算复杂度并且可改进预测性能，从而可改进总体编译效率。
根据本公开，通过构造包括用于基于MRL的帧内预测的DC模式的MPM列表并且使用MRL来执行DC模式帧内预测，可提高预测准确度，由此可改进总体编译效率。
附图说明
图1图示本文的实施方式可应用于的视频/图像编译***的示例。
图2是示意性地图示本文的实施方式可应用于的视频/图像编码设备的配置的图。
图3是用于示意性地说明本公开适用于的视频/图像解码设备的配置的图。
图4图示本公开的实施方式可应用于的基于帧内预测的图像编码方法的一个示例，并且图5图示编码设备中的帧内预测器。
图6图示本公开的实施方式可应用于的基于帧内预测的图像解码方法的一个示例，并且图7图示解码设备中的帧内预测器。
图8图示本公开的实施方式可应用于的编码设备的基于MPM模式的帧内预测方法的一个示例。
图9图示本公开的实施方式可应用于的解码设备中的基于MPM模式的帧内预测方法的一个示例。
图10图示本公开的实施方式可应用于的帧内预测模式的一个示例。
图11图示用于使用多参考线的帧内预测的参考样本线的一个示例。
图12图示用于在DC模式下推导预测样本的方法的一个实施方式。
图13图示用于在DC模式下推导预测样本的方法的另一实施方式。
图14是图示可由根据本公开的一个实施方式的编码设备执行的编码方法的流程图。
图15是图示可由根据本公开的一个实施方式的解码设备执行的解码方法的流程图。
图16图示根据本公开的实施方式可应用于的内容流***的示例。
具体实施方式
本公开可按各种形式修改，将描述并且在附图中图示其特定实施方式。然而，这些实施方式并非旨在限制本公开。以下描述中使用的术语仅用于描述特定实施方式，而非旨在限制本公开。单数表达包括复数表达，只要清楚地不同解读即可。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合，因此应该理解，不排除存在或添加一个或更多个不同的特征、数量、步骤、操作、元件、组件或其组合的可能性。
另外，本文件描述的附图的各个配置是为了说明作为彼此不同的特征的功能而独立的图示的，并不意指各个配置通过彼此不同的硬件或不同的软件被实现。例如，可以组合配置中的两个以上的配置以形成一个配置，并且也可以将一个配置划分为多个配置。在不脱离本文件的主旨的情况下，配置被组合和/或分离的实施例被包括在权利要求范围内。
在下文中，将参考附图详细地描述本实施方式的示例。另外，贯穿附图使用相似的附图标记来指示相似的元件，并且将省略对相似的元件的相同描述。
本文涉及视频/图像编译。例如，本文中公开的方法/实施方式可应用于通用视频编译(VVC)、基本视频编译(EVC)标准、AOMedia Video1(AV1)标准、第2代音频视频编译标准(AVS2)或下一代视频/图像编译标准(例如，H.267、H.268等)中公开的方法。
本文提出了视频/图像编译的各种实施方式，并且除非另外指定，否则上述实施方式也可彼此组合执行。
在本文中，视频可指随时间的一系列图像。图片通常是指表示特定时间帧处的一个图像的单元，并且切片(slice)/拼块(tile)是指在编译时构成图片的部分的单元。切片/拼块可包括一个或更多个编译树单元(CTU)。一个图片可由一个或更多个切片/拼块组成。一个图片可由一个或更多个拼块组组成。一个拼块组可包括一个或更多个拼块。图块(brick)可表示图片中的拼块内的CTU行的矩形区域(图块可表示图片中的拼块内的CTU行的矩形区域)。拼块可被分割成多个图块，各个图块可用拼块内的一个或更多个CTU行构造(拼块可被分割成多个图块，各个图块由拼块内的一个或更多个CTU行组成)。未被分割成多个图块的拼块也可被称为图块。图块扫描可表示分割图片的CTU的特定顺序排序，其中可以在图块内以CTU栅格扫描对CTU进行排序，并且拼块内的图块可以以拼块的图块的栅格扫描连续地排序，并且在图片中的拼块可以以图片中的拼块的栅格扫描连续地排序(图块扫描是分割图片的CTU的特定顺序排序，其中可以以图块中的CTU栅格扫描对CTU连续地排序，拼块内的图块可以以拼块的图块的栅格扫描连续地排序，并且图片中的拼块可以以图片的拼块的栅格扫描连续地排序)。拼块是特定拼块列和特定拼块列内的CTU的矩形区域(拼块是图片中的特定拼块列和特定拼块行内的CTU的矩形区域)。拼块列是高度等于图片的高度并且宽度可由图片参数集中的句法元素指定的CTU的矩形区域(拼块列是高度等于图片的高度并且宽度由图片参数集中的句法元素指定的CTU的矩形区域)。拼块行是宽度由图片参数集中的句法元素指定并且高度可等于图片的高度的CTU的矩形区域(拼块行是高度由图片参数集中的句法元素指定并且宽度等于图片的宽度的CTU的矩形区域)。拼块扫描可表示分割图片的CTU的特定顺序排序，并且CTU可以以拼块中的CTU栅格扫描连续地排序，而图片中的拼块可以以图片的拼块的栅格扫描连续地排序(拼块扫描是分割图片的CTU的特定顺序排序，其中CTU可以以拼块中的CTU栅格扫描连续地排序，而图片中的拼块可以以图片的拼块的栅格扫描连续地排序)。切片可包括图片的整数数量的图块，并且可在单个NAL单元中包括整数数量的图块(切片包括可排他地包含在单个NAL单元中的图片的整数数量的图块)。切片可用多个完整拼块构造，或者可以是一个拼块的完整图块的连续序列(切片可由多个完整拼块或仅一个拼块的完整图块的连续序列组成)。在本文中，拼块组和切片可代替彼此使用。例如，在本文中，拼块组/拼块组头可被称为切片/切片头。
像素或像元(pel)可意指构成一个图片(或图像)的最小单元。另外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素值，并且可仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，M×N块可包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。另选地，样本可意指空间域中的像素值，并且当这样的像素值被变换到频域时，它可意指频域中的变换系数。
在本文中，符号“/”和“、”应该被解释为指示“和/或”。例如，表达“A/B”被解释为“A和/或B”，并且表达“A、B”被解释为“A和/或B”。另外地，表达“A/B/C”意指“A、B和/或C中的至少一个”。此外，表达“A、B、C”也意指“A、B和/或C中的至少一个”。(在本文中，术语“/”和“、”应该被解释为指示“和/或”。例如，表达“A/B”可意指“A和/或B”。此外，“A、B”可意指“A和/或B”。此外，“A/B/C”可意指“A、B和/或C中的至少一个”。另外，“A/B/C”可意指“A、B和/或C中的至少一个”。)
另外地，在本文中，术语“或”应该被解释为“和/或”。例如，表达“A或B”可意指1)仅“A”、2)仅“B”和/或3)“A和B二者”。换言之，本文中的术语“或”可意指“另外地或另选地”。(此外，在该文献中，术语“或”应该被解释为指示“和/或”。例如，表达“A或B”可包括1)仅A、2)仅B和/或3)A和B二者。换言之，本文中的术语“或”应该被解释为指示“另外地或另选地”。)
图1图示本文的实施方式可应用于的视频/图像编译***的示例。
参照图1，视频/图像编译***可包括源装置和接收装置。源装置可通过数字存储介质或网络将编码的视频/图像信息或数据以文件或流的形式传送至接收装置。
源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备，解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器，并且显示器可被配置为单独的装置或外部组件。
视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置，和/或视频/图像生成装置。例如，视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如，视频/图像生成装置可包括计算机、平板计算机和智能电话，并且可(以电子方式)生成视频/图像。例如，可通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可由生成相关数据的处理代替。
编码设备可对输入视频/图像进行编码。为了压缩和编译效率，编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件，并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
解码设备可通过执行与编码设备的操作对应的诸如解量化、逆变换和预测的一系列过程对视频/图像进行解码。
渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
图2是示意性地图示本文的实施方式可应用于的视频/图像编码设备的配置的图。在下文中，所谓的视频编码设备可包括图像编码设备。
参照图2，编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式，图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可包括解码图片缓冲器(DPB)，或者可由数字存储介质配置。硬件组件还可包括存储器270作为内部/外部组件。
图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理器。例如，处理器可被称为编译单元(CU)。在这种情况下，编译单元可根据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分割。例如，一个编译单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编译单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和/或三元结构。另选地，可首先应用二叉树结构。可基于不再分割的最终编译单元来执行根据本公开的编译过程。在这种情况下，根据图像特性基于编译效率等，最大编译单元可用作最终编译单元，或者如果需要，编译单元可被递归地分割成深度更深的编译单元并且具有最优大小的编译单元可用作最终编译单元。这里，编译过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可从上述最终编译单元拆分或分割。预测单元可以是样本预测的单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下，单元可与诸如块或区域的术语互换使用。在一般情况下，M×N块可表示由M列和N行组成的样本或变换系数的集合。样本通常可表示像素或像素值，可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或像元的一个图片(或图像)对应的术语。
在编码设备200中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可被称为减法器231。预测器可对要处理的块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可确定基于当前块或CU应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可生成与预测有关的各种类型的信息(例如，预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可在熵编码器240中编码并以比特流的形式输出。
帧内预测器222可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。例如，非定向模式可包括DC模式和平面模式。例如，根据预测方向的详细程度，定向模式可包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可基于参考图片上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可被称为并置图片(colPic)。例如，帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动向量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可不发送残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可用作运动向量预测器，并且可通过用信号通知运动向量差来指示当前块的运动向量。
预测器220可基于下面描述的各种预测方法来生成预测信号。例如，预测器可不仅应用帧内预测或帧间预测以预测一个块，而且同时应用帧内预测和帧间预测二者。这可被称为组合帧间和帧内预测(CIIP)。另外，预测器可基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编译，例如屏幕内容编译(SCC)。IBC基本上在当前图片中执行预测，但是可与帧间预测相似地执行，使得在当前图片中推导参考块。即，IBC可使用本文中描述的至少一个帧间预测技术。调色板模式可被视为帧内编译或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知图片内的样本值。
由预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可用于生成重构信号或生成残差信号。变换器232可通过对残差信号应用变换技术来生成变换系数。例如，变换技术可包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen–Loève变换(KLT)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一个。这里，当像素之间的关系信息由图形表示时，GBT意指从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号生成的变换。另外，变换处理可应用于具有相同大小的正方形像素块或者可应用于具有正方形以外的可变大小的块。
量化器233可将变换系数量化并将它们发送到熵编码器240，并且熵编码器240可对量化的信号(关于量化的变换系数的信息)进行编码并输出比特流。关于量化的变换系数的信息可被称为残差信息。量化器233可基于系数扫描顺序将块类型量化的变换系数重排为一维向量形式，并且基于一维向量形式的量化的变换系数来生成关于量化的变换系数的信息。可生成关于变换系数的信息。熵编码器240可执行例如指数Golomb编译、上下文自适应可变长度编译(CAVLC)、上下文自适应二进制算术编译(CABAC)等的各种编码方法。熵编码器240可对量化的变换系数以外的视频/图像重构所需的信息(例如，句法元素的值等)一起或单独地进行编码。编码的信息(例如，编码的视频/图像信息)可按比特流的形式以NAL(网络抽象层)为单位发送或存储。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可包括一般约束信息。在本文中，从编码设备发送/用信号通知给解码设备的信息和/或句法元素可被包括在视频/图片信息中。视频/图像信息可通过上述编码过程编码并被包括在比特流中。比特流可经由网络发送或者可被存储在数字存储介质中。网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可被包括作为编码设备200的内部/外部元件，并且另选地，发送器可被包括在熵编码器240中。
从量化器233输出的量化的变换系数可用于生成预测信号。例如，可通过经由解量化器234和逆变换器235对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差(例如，应用跳过模式的情况)，则预测块可用作重构块。加法器250可被称为重构器或重构块生成器。如下所述，所生成的重构信号可用于当前图片中要处理的下一块的帧内预测并且可通过滤波用于下一图片的帧间预测。
此外，可在图片编码和/或重构期间应用与色度缩放的亮度映射(LMCS)。
滤波器260可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器260可通过对重构图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片存储在存储器270(具体地，存储器270的DPB)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可生成与滤波有关的各种类型的信息并且将所生成的信息发送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波有关的信息可由熵编码器240编码并以比特流的形式输出。
发送到存储器270的修改的重构图片可用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可避免编码设备200与解码设备之间的预测失配并且编译效率可改进。
存储器270DPB的DPB可存储用作帧间预测器221中的参考图片的修改的重构图片。存储器270可存储推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可存储当前图片中的重构块的重构样本并且可将重构样本传送至帧内预测器222。
图3是用于示意性地说明本公开适用于的视频/图像解码设备的配置的图。
参照图3，解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器331和帧内预测器332。残差处理器320可包括解量化器321和逆变换器321。根据实施方式，熵解码310、残差处理器320、预测器330、加法器340和滤波器350可由硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可包括解码图片缓冲器(DPB)或者可由数字存储介质配置。硬件组件还可包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如，解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此，例如，解码的处理器可以是编译单元，并且编译单元可根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编译单元分割。可从编译单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构图像信号可通过再现设备再现。
解码设备300可接收从图2的编码设备以比特流的形式输出的信号，并且所接收的信号可通过熵解码器310解码。例如，熵解码器310可解析比特流以推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可包括一般约束信息。解码设备还可基于关于参数集的信息和/或一般约束信息将图片解码。本文中稍后描述的用信号通知/接收的信息和/或句法元素可通过解码过程解码并从比特流获得。例如，熵解码器310基于诸如指数Golomb编译、CAVLC或CABAC的编译方法对比特流中的信息进行解码，并且输出图像重构所需的句法元素和残差的变换系数的量化值。更具体地，CABAC熵解码方法可接收与比特流中的各个句法元素对应的信元(bin)，使用解码目标句法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/信元的信息来确定上下文模型，并且通过根据所确定的上下文模型预测信元出现的概率对信元执行算术解码，并且生成与各个句法元素的值对应的符号。在这种情况下，CABAC熵解码方法可在确定上下文模型之后通过将解码的符号/信元的信息用于下一符号/信元的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测有关的信息可被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中执行了熵解码的残差值(即，量化的变换系数和相关参数信息)可被输入到残差处理器320。残差处理器320可推导残差信号(残差块、残差样本、残差样本阵列)。另外，熵解码器310所解码的信息当中关于滤波的信息可被提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)还可被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本文的解码设备可被称为视频/图像/图片解码设备，并且解码设备可被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可包括熵解码器310，并且样本解码器可包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
解量化器321可将量化的变换系数解量化并输出变换系数。解量化器321可按二维块形式重排量化的变换系数。在这种情况下，可基于在编码设备中执行的系数扫描顺序来执行重排。解量化器321可使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并且获得变换系数。
逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本阵列)。
预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
预测器320可基于下述各种预测方法来生成预测信号。例如，预测器不仅可应用帧内预测或帧间预测以预测一个块，而且可同时应用帧内预测和帧间预测。这可被称为组合帧间和帧内预测(CIIP)。另外，预测器可基于帧内块复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可用于游戏等的内容图像/视频编译，例如屏幕内容编译(SCC)。IBC基本上执行当前图片中的预测，但是可与帧间预测相似地执行，使得在当前图片中推导参考块。即，IBC可使用本文中描述的至少一种帧间预测技术。调色板模式可被视为帧内编译或帧内预测的示例。当应用调色板模式时，可基于关于调色板表和调色板索引的信息用信号通知图片内的样本值。帧内预测器331可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧内预测器331可参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可位于当前块附近或者可隔开。在帧内预测中，预测模式可包括多个非定向模式和多个定向模式。帧内预测器331可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可基于参考图片上运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动向量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可基于邻近块来配置运动信息候选列表并且基于所接收的候选选择信息来推导当前块的运动向量和/或参考图片索引。可基于各种预测模式来执行帧间预测，并且关于预测的信息可包括指示当前块的帧间预测模式的信息。
加法器340可通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差，例如当应用跳过模式时，预测块可用作重构块。
加法器340可被称为重构器或重构块生成器。所生成的重构信号可用于当前图片中要处理的下一块的帧内预测，可如下所述通过滤波输出，或者可用于下一图片的帧间预测。
此外，可在图片解码处理中应用与色度缩放的亮度映射(LMCS)。
滤波器350可通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可通过对重构图片应用各种滤波方法来生成修改的重构图片并且将修改的重构图片存储在存储器360(具体地，存储器360的DPB)中。例如，各种滤波方法可包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改的)重构图片可用作帧间预测器332中的参考图片。存储器360可存储推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可被发送到帧间预测器260以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可存储当前图片中的重构块的重构样本并将重构样本传送至帧内预测器331。
在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或分别与之对应应用。这也可适用于单元332和帧内预测器331。
如上所述，在执行视频编译时，执行预测以增强压缩效率。可通过预测生成包括当前块(即，目标编译块)的预测样本的预测块。在这种情况下，预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中相同地推导。编码设备可通过用信号向解码设备通知关于原始块(而非原始块的原始样本值本身)与预测块之间的残差的信息(残差信息)来增强图像编译效率。解码设备可基于残差信息来推导包括残差样本的残差块，可通过将残差块和预测块相加来生成包括重构样本的重构块，并且可生成包括重构块的重构图片。
残差信息可通过变换过程和量化过程来生成。例如，编码设备可推导原始块与预测块之间的残差块，可通过对包括在残差块中的残差样本(残差样本阵列)执行变换过程来推导变换系数，可通过对变换系数执行量化过程来推导量化的变换系数，并且可将相关残差信息(通过比特流)用信号通知给解码设备。在这种情况下，残差信息可包括诸如量化的变换系数的值信息、位置信息、变换方案、变换核心和量化参数的信息。解码设备可基于残差信息来执行解量化/逆变换过程并且可推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成重构图片。此外，编码设备可通过对供后续图片的帧间预测参考的量化的变换系数进行解量化/逆变换来推导残差块，并且可生成重构图片。
此外，当执行帧内预测时，可利用样本之间的相关性，并且可获得原始块与预测块之间的差异，即残差。可将上述变换和量化应用于残差，由此可去除空间冗余。在下文中，将详细地描述采用帧内预测的编码和解码方法。
帧内预测是指用于基于当前块所属的图片(在下文中，称为当前图片)中的当前块的外部参考样本，来为当前块生成预测样本的预测。这里，当前块的外部参考样本可指位于当前块附近的样本。当帧内预测被应用于当前块时，可推导要用于当前块的帧内预测的邻近参考样本。
例如，在当前块的大小(宽度x高度)是nWxnH时，当前块的邻近参考样本可包括与当前块的左边界相邻的样本和与左下角相邻的总共2xnH个样本、与当前块的上边界相邻的样本和与右上角相邻的总共2xnW个样本以及与当前块的左上角相邻的一个样本。另选地，当前块的邻近参考样本可包括多列上邻近样本和多行左邻近样本。另外，当前块的邻近参考样本可包括与当前块的右边界相邻的总共nH个样本、与当前块的底边界相邻的总共nW个样本以及与当前块的右下角相邻的一个样本。
然而，当前块的邻近参考样本中的一些可能尚未被解码或者可能不可用。在这种情况下，解码设备可通过用可用样本取代不可用样本来构造要用于预测的邻近参考样本。另选地，可通过可用样本的内插来构造要用于预测的邻近参考样本。
当推导邻近参考样本时，(i)可基于当前块的邻近参考样本的平均值或内插来推导预测样本，或者(ii)可基于在当前块的邻近参考样本当中相对于预测样本位于特定(预测)方向上的参考样本来推导预测样本。当帧内预测模式是非定向模式或非角度模式时可应用(i)的情况，然而当帧内预测模式是定向模式或角度模式时可应用情况(ii)。
另外，可通过在邻近参考样本当中的基于当前块的预测样本位于当前块的帧内预测模式的预测方向上的第一邻近样本与位于预测方向的相反方向上的第二邻近样本之间的内插来生成预测样本。上述情况能够被称为线性内插帧内预测(LIP)。另外，可使用线性模型来基于亮度样本生成色度预测样本。这种情况可被称为LM模式。
另外，可通过基于滤波的邻近参考样本推导当前块的临时预测样本，并且使用在现有的邻近参考样本(即未滤波的邻近参考样本)当中根据帧内预测模式推导的至少一个参考样本与该临时预测样本的加权和，来推导当前块的预测样本。上述情况可被称为位置相关帧内预测(PDPC)。
另外，可通过在当前块的多个邻近参考样本线当中选择具有最高预测准确度的参考样本线，以使用位于对应线的预测方向上的参考样本来推导预测样本，并且将所使用的参考样本线指示(用信号通知)给解码设备，来执行帧内预测编码。上述情况可被称为多参考线(MRL)帧内预测或基于MRL的帧内预测。
另外，可将当前块划分成垂直或水平子分区，以在相同的帧内预测模式下执行帧内预测，其中可以以子分区为单位推导和使用邻近参考样本。换言之，虽然可对于所有子分区以相同方式应用当前块的帧内预测模式，但是可取决于情形通过以子分区为单位推导和使用邻近参考样本来改进帧内预测性能。上述预测方法可被称为帧内子分区(ISP)或基于ISP的帧内预测。
帧内预测方法可被称为帧内预测类型以与帧内预测模式区分开。可通过诸如帧内预测方案或附加帧内预测模式的各种术语来称呼帧内预测类型。例如，帧内预测类型(或附加帧内预测模式)可包括LIP、PDPC、MRL和ISP中的至少一种。除了诸如LIP、PDPC、MRL和ISP的特定帧内预测类型之外的一般帧内预测方法可被称为正常帧内预测类型。当不应用特定的帧内预测类型时通常可应用正常帧内预测类型，并且可基于帧内预测模式来执行预测。此外，取决于需要，可对所推导的预测样本进行后滤波。
图4图示本公开的实施方式可应用于的基于帧内预测的图像编码方法的一个示例，并且图5图示编码设备中的帧内预测器。可以以与图2的编码设备200的帧内预测器222相同的方式或对应的方式应用图5的编码设备内的帧内预测器。
参照图4和图5，S400可由编码设备的帧内预测器222执行，并且S410可由编码设备的残差处理器230执行。更具体地，S410可由编码设备的减法器231执行。在步骤S420中，预测信息可由帧内预测器222推导并且由熵编码器240编码。在步骤S420中，残差信息可由残差处理器230推导并且由熵编码器240编码。残差信息是关于残差样本的信息。残差信息可包括关于用于残差样本的量化的变换系数的信息。如上所述，残差样本可通过编码设备的变换器232推导为变换系数，并且变换系数可通过量化器233推导为量化的变换系数。关于量化的变换系数的信息可由熵编码器240通过残差编译过程来编码。
编码设备对当前块执行帧内预测S400。编码设备可推导当前块的帧内预测模式/类型、推导当前块的邻近参考样本，并且基于帧内预测模式/类型和邻近参考样本来生成当前块中的预测样本。这里，可同时地执行用于确定帧内预测模式/类型、推导邻近参考样本并且生成预测样本的过程，或者可在其它过程之前执行一个过程。
例如，编码设备的帧内预测器222可包括帧内预测模式/类型确定单元222-1、参考样本推导单元222-2和预测样本推导单元222-3；帧内预测模式/类型确定单元222-1可确定当前块的帧内预测模式/类型；参考样本推导单元222-2可推导当前块的邻近参考样本；并且预测样本推导单元222-3可推导当前块的预测样本。尽管未示出，但是当执行预测样本滤波过程时，帧内预测器222还可包括预测样本滤波器(未示出)。编码设备可在多个帧内预测模式/类型当中确定应用于当前块的模式/类型。编码设备可针对帧内预测模式/类型来比较RD成本并且确定用于当前块的最佳帧内预测模式/类型。
如上所述，编码设备可执行预测样本滤波过程。预测样本滤波可被称为后滤波。可通过预测样本滤波过程对预测样本中的一些或全部进行滤波。在一些情况下，可省略预测样本滤波过程。
编码设备基于(滤波的)预测样本来生成当前块的残差样本S410。编码设备可在相位方面将预测样本与当前块的原始样本进行比较并且推导残差样本。
编码设备可对包括关于帧内预测的信息(预测信息)和关于残差样本的残差信息的图像信息进行编码S420。预测信息可包括帧内预测模式信息和帧内预测类型信息。残差信息可包括残差编译句法。编码设备可通过对残差样本进行变换/量化来推导量化的变换系数。残差信息可包括关于量化的变换系数的信息。
编码设备可以比特流的形式输出编码的图像信息。可通过存储介质或网络将所输出的比特流递送到解码设备。
如上所述，编码设备可生成重构图片(包括重构样本和重构块)。为此，编码设备可通过对量化的变换系数再次应用解量化/逆变换来推导(修改的)残差样本。为什么在对残差样本进行变换/量化之后再次执行解量化/逆变换的原因是为了推导与如上所述从解码设备推导的残差样本相同的残差样本。编码设备可基于预测样本和(修改的)残差样本来生成包括当前块的重构样本的重构块。基于重构块，可生成当前图片的重构图片。如上所述，可对重构图片进一步应用环路滤波过程。
图6图示本公开的实施方式可应用于的基于帧内预测的图像解码方法的一个示例，并且图7图示解码设备中的帧内预测器。可以以与图3的解码设备300的帧内预测器331相同的方式或对应的方式应用图7的解码设备内的帧内预测器。
参照图6和图7，解码设备可执行与在编码设备中执行的操作对应的操作。S600至S620的步骤可由解码设备的帧内预测器331执行，并且S600的预测信息和S630的残差信息可由解码设备的熵解码器310从比特流中获得。解码设备的残差处理器320可基于残差信息来推导当前块的残差样本。具体地，残差处理器320的解量化器321可通过根据基于残差信息而推导的量化的变换系数执行解量化来推导变换系数并且通过对变换系数执行逆变换来推导当前块的残差样本。S640的步骤可由解码设备的加法器340或重构器执行。
解码设备可基于所接收的预测信息(帧内预测模式/类型信息)来推导当前块的帧内预测模式/类型S600。解码设备可推导当前块的邻近参考样本S610。解码设备基于帧内预测模式/类型和邻近参考样本来生成当前块内的预测样本S620。在这种情况下，解码设备可执行预测样本滤波过程。预测样本滤波可被称为后滤波。可通过预测样本滤波程序来对预测样本中的一些或全部进行滤波。在一些情况下，可省略预测样本滤波过程。
解码设备基于所接收的残差信息来生成当前块的残差样本S630。解码设备可基于预测样本和残差样本来生成当前块的重构样本并且生成包括重构样本的重构块S640。可基于重构块来生成当前图片的重构图片。如上所述，可对重构图片进一步应用环路滤波过程。
这里，解码设备的帧内预测器331可包括帧内预测模式确定单元331-1、参考样本推导单元331-2和预测样本推导单元331-2；帧内预测模式/类型确定单元331-1可基于由熵解码器310获得的帧内预测模式/类型信息来确定当前块的帧内预测模式/类型；参考样本推导单元331-2可推导当前块的邻近参考样本；并且预测样本推导单元331-3可推导当前块的预测样本。尽管未示出，但是当执行上述预测样本滤波过程时，帧内预测器331还可包括预测样本滤波器(未示出)。
帧内预测模式信息可包括例如指示是对当前块应用最可能模式(MPM)还是对当前块应用剩余模式的标志信息(例如，intra_luma_mpm_flag)。当对当前块应用MPM时，预测模式信息还可包括指示帧内预测模式候选(MPM候选)中的一个的索引信息(例如，intra_luma_mpm_idx)。帧内预测模式候选(MPM候选)可包括MPM候选列表或MPM列表。另外，当未对当前块应用MPM时，帧内预测模式信息还可包括指示除了帧内预测模式候选(MPM候选)之外的剩余帧内预测模式中的一个的剩余模式信息(例如，intra_luma_mpm_remainder)。解码设备可基于帧内预测模式信息来确定当前块的帧内预测模式。
另外，可以各种形式实现帧内预测类型信息。作为一个示例，帧内预测类型信息可包括指示帧内预测类型中的一个的帧内预测类型索引信息。作为另一示例，帧内预测类型信息可包括以下各项中的至少一个：指示是否对当前块应用MRL以及在应用MRL时使用哪个参考样本线的参考样本线信息(例如，intra_luma_ref_idx)、指示是否对当前块应用ISP的ISP标志信息(例如，intra_subpartitions_mode_flag)、指示子分区的分割类型的ISP类型信息(例如，intra_subpartitions_split_flag)、指示是否应用PDCP的标志信息、或指示是否应用LIP的标志信息。另外，帧内预测类型信息可包括指示是否对当前块应用MIP的MIP标志。
可通过本文中描述的编译方法来对帧内预测模式信息和/或帧内预测类型信息进行编码/解码。例如，可基于截断(莱斯)二元码通过熵编译(例如，CABAC或CAVLC)来对帧内预测模式信息进行编码/解码。
此外，当应用帧内预测时，可使用邻近块的帧内预测模式来确定应用于当前块的帧内预测模式。例如，解码设备可基于接收的mpm索引来选择基于当前块的邻近块(例如，左邻近块和/或上邻近块)的帧内预测模式和附加候选模式而推导的mpm列表内的mpm候选中的一个或者基于剩余帧内预测模式信息来选择mpm候选(和平面模式)中未包括的其它剩余帧内预测模式中的一个。该mpm列表可被构造为包括或不包括平面模式作为候选。例如，当mpm列表包括平面模式作为候选时，mpm列表可具有六个候选。否则，mpm列表可具有五个候选。当mpm列表不包括平面模式作为候选时，可用信号通知指示当前块的帧内预测模式是否为平面模式的非平面标志(例如，intra_luma_not_planar_flag)。例如，当首先用信号通知mpm标志时，可在mpm标志的值为1时用信号通知mpm索引和非平面标志。另外，可在非平面标志的值为1时用信号通知mpm索引。这里，将mpm列表构造为不包括平面模式作为候选首先旨在通过非平面标志的信令来检查帧内预测模式是否为平面模式，这不意在指示平面模式不是mpm，而意在反映平面模式总是被认为是mpm的事实。
例如，可基于mpm标志(例如，intra_luma_mpm_flag)来指示应用于当前块的帧内预测模式被包括在mpm候选(和平面模式)中还是在剩余模式中。当mpm标志是1时，它可指示当前块的帧内预测模式被包括在mpm候选(和平面模式)中，然而当mpm标志是0时，它指示当前块的帧内预测模式块未被包括在mpm候选(和平面模式)中。当非平面标志(例如，intra_luma_not_planar_flag)是0时，它可指示当前块的帧内预测模式是平面模式，然而当非平面标志是1时，它可指示当前块的帧内预测模式不是平面模式。可以mpm_idx或intra_luma_mpm_idx句法元素的形式用信号通知mpm索引，并且可以rem_intra_luma_pred_mode或intra_luma_mpm_remainder句法元素的形式用信号通知剩余帧内预测模式信息。例如，可以rem_intra_luma_pred_mode或intra_luma_mpm_remainder句法元素的形式用信号通知剩余帧内预测模式信息。例如，剩余帧内预测模式信息可通过按预测模式编号的次序为剩余帧内预测模式编索引来指示在全部帧内预测模式当中未包括在mpm候选(和平面模式)中的剩余帧内预测模式中的一个。帧内预测模式可与亮度分量(样本)有关。在下文中，帧内预测模式信息可包括mpm标志(例如，intra_luma_mpm_flag)、非平面标志(例如，intra_luma_not_planar_flag)、mpm索引(例如，mpm_idx或intra_luma_mpm_idx)和剩余帧内预测模式信息(例如，rem_intra_luma_pred_mode或intra_luma_mpm_remainder)中的至少一个。在本公开中，可通过诸如MPM候选列表或candModeList的各种术语来称呼MPM列表。
通常，当对图像执行块分割时，要编译的当前块和邻近块具有类似的图像特性。因此，当前块和邻近块具有相同或类似的帧内预测模式的概率高。因此，编码器可使用邻近块的帧内预测模式来对当前块的帧内预测模式进行编码。例如，编码器/解码器可配置用于当前块的最可能模式(MPM)列表。MPM列表可被称为MPM候选列表。这里，MPM可意指用于通过在帧内预测模式编译时考虑当前块与邻近块之间的相似性来提高编译效率的模式。
图8图示本公开的实施方式可应用于的编码设备的基于MPM模式的帧内预测方法的一个示例。
参照图8，编码设备构造用于当前块的MPM列表S800。MPM列表可包括高度有可能要应用于当前块的候选帧内预测模式(MPM候选)。MPM列表可包括邻近块的帧内预测模式，并且还可包括根据预定方法的特定帧内预测模式。将稍后描述用于构造MPM列表的特定方法。
编码设备确定当前块的帧内预测模式S810。编码设备可基于各种帧内预测模式来执行预测，并且基于使用该预测的速率失真优化(RDO)来确定最佳帧内预测模式。在这种情况下，编码设备可使用仅MPM列表中配置的MPM候选和平面模式来确定最佳帧内预测模式或者通过进一步使用剩余帧内预测模式以及MPM列表中配置的MPM候选和平面模式来确定最佳帧内预测模式。
具体地，例如，在当前块的帧内预测类型是特定类型(例如，LIP、MRL或ISP)而不是正常帧内预测类型时，编码设备可通过考虑仅MPM候选和平面模式作为当前块的帧内预测模式候选来确定最佳帧内预测模式。换言之，可仅在MPM候选和平面模式当中确定当前块的帧内预测模式，其中，在这种情况下，可不对mpm标志进行编码/发信号通知。在这种情况下，解码设备可甚至在不接收mpm标志的单独的信令的情况下也假定mpm标志是1。
通常，在当前块的帧内预测模式不是平面模式而是MPM列表中的MPM候选中的一个时，编码设备生成指示MPM候选中的一个的mpm索引(mpm idx)。如果当前块的帧内预测模式也未被包括在MPM列表中，则编码设备生成指示在MPM列表(和平面模式)中未包括的剩余帧内预测模式当中与当前块的帧内预测模式相同的模式的剩余帧内预测模式信息。
编码设备可对帧内预测模式信息进行编码并且以比特流的形式输出编码的信息S820。帧内预测模式信息包括上述mpm标志、非平面标志、mpm索引和/或剩余帧内预测模式信息。通常，mpm索引信息和剩余帧内模式预测模式信息具有替代关系并且在指示用于一个块的帧内预测模式中不同时地用信号通知。换言之，可一起用信号通知mpm标志值1和非平面标志或mpm索引，或者一起用信号通知mpm标志值0和剩余帧内预测模式信息。然而，如上所述，当对当前块应用特定帧内预测类型时，可不用信号通知mpm标志，而是可用信号通知仅非平面标志和/或mpm索引。也就是说，在这种情况下，帧内预测模式信息可包括仅非平面标志和/或mpm索引。
图9图示本公开的实施方式可应用于的解码设备中的基于MPM模式的帧内预测方法的一个示例。图9的解码设备可响应于由图8的编码设备确定和用信号通知的帧内预测模式信息来确定帧内预测模式。
参照图9，解码设备从比特流中获得帧内预测模式信息S900。如上所述，帧内预测模式信息包括mpm标志、非平面标志、mpm索引和剩余帧内预测模式中的至少一个。
解码设备构造MPM列表S910。MPM列表是以与由编码设备构造的MPM列表相同的方式构造的。换言之，MPM列表可包括邻近块的帧内预测模式并且还可包括根据预定方法的特定帧内预测模式。将稍后描述用于构造MPM列表的特定方法。
尽管S910步骤被描述为在S900步骤之后执行，但是执行次序仅是示例，并且可在S900步骤之前执行S910步骤或者可在与S900步骤同时执行S910步骤。
解码设备基于MPM列表和帧内预测模式信息来确定当前块的帧内预测模式S920。
作为一个示例，当mpm标志的值是1时，解码设备可将平面模式推导为当前块的帧内预测模式或者将在(基于非平面标志的)MPM列表中的MPM候选当中由mpm索引指示的候选推导为当前块的帧内预测模式。这里，MPM候选可包括仅MPM列表中包括的候选，或者除了MPM列表中包括的候选之外，还包括可被应用于当MPM标志的值是1时的情况的平面模式。
作为另一示例，当mpm标志的值是0时，解码设备可将在MPM列表和平面模式中未包括的剩余帧内预测模式当中由剩余帧内预测模式信息指示的帧内预测模式推导为当前块的帧内预测模式。
作为又一示例，在当前块的帧内预测类型是特定类型(例如，LIP、MRL或ISP)时，解码设备可以甚至在不检查mpm标志的情况下也将在MPM列表内由平面模式或mpm索引指示的候选推导为当前块的帧内预测模式。
此外，帧内预测模式可包括非定向(或非角度)帧内预测模式和定向(或角度)帧内预测模式。例如，HEVC标准使用帧内预测模式，包括两个非定向预测模式和33个定向预测模式。非定向预测模式可包括平面帧内预测模式0和DC帧内预测模式1，而定向预测模式可包括帧内预测模式2至34。平面帧内预测模式可被称为平面模式，并且DC帧内预测模式可被称为DC模式。
为了捕获在自然视频(natural video)中找到的特定边缘方向，可将定向帧内预测模式从现有33个模式扩展到65个模式，如在要稍后描述的图10中那样。在这种情况下，帧内预测模式可包括两个非定向帧内预测模式和65个角度帧内预测模式。非定向帧内预测模式可包括平面帧内预测模式编号0和DC帧内预测模式编号1，并且定向帧内预测模式可包括帧内预测模式编号2至编号66。扩展定向帧内预测模式可被应用于所有大小的块并且可被应用于亮度分量和色度分量二者。然而，上述描述仅是示例，并且本公开的实施方式也可被应用于帧内预测模式的数量与示例不同的情况。还可取决于情形而利用帧内预测模式编号67，其中帧内预测模式编号67可表示线性模型(LM)模式。
图10图示本公开的实施方式可应用于的帧内预测模式的一个示例。
参照图10，可基于具有左向上对角线预测方向的帧内预测模式编号34，将具有水平方向性的帧内预测模式和具有垂直方向性的帧内预测模式彼此区分开。图10的H和V分别表示水平方向性和垂直方向性，并且从-32至32的数字表示样本网格位置上1/32单位的位移。帧内预测模式编号2至编号33具有水平方向性，并且帧内预测模式编号34至编号66具有垂直方向性。帧内预测模式编号18和帧内预测模式编号50分别表示水平帧内预测模式和垂直帧内预测模式；帧内预测模式编号2可被称为左向下对角线帧内预测模式，帧内预测模式编号34可被称为左向上对角线帧内预测模式，并且帧内预测模式编号66可被称为右向上对角线帧内预测模式。
此外，帧内预测可使用采用多个参考线的MRL。MRL方法可使用沿着与当前块的上边和/或左边分开一至三个样本距离的样本线定位的邻近样本作为参考样本来执行帧内预测。
图11图示用于使用多参考线的帧内预测的参考样本线的一个示例。图11的块单元可表示当前块。
在一个实施方式中，帧内预测可使用与当前块相邻的参考样本(或最接近当前块的参考样本，即，位于距当前块零样本距离处的参考样本)作为用于预测的参考样本。在另一实施方式中，多参考线(MRL)帧内预测使用位于距当前块的左边界和上边界K个样本距离(其中K是大于或等于1的整数)处的参考样本，从而为参考样本提供更多选项并且提供比使用最接近当前块(即，位于零样本距离处)的参考样本的帧内预测更准确的预测性能。当前块的参考样本可被称为当前块的邻近样本或当前块的参考线样本，并且参考线样本可被称为参考线上的样本。
参照图11，位于距当前块零个、一个、二个和三个样本距离处的邻近参考样本的位置分别可被称为参考线0、1、2和3。参考线可由参考样本线、参考样本行或参考样本列指示，或者简单地由线、行或列指示。参考线0、1、2和3可按最接近当前块的次序定位。在一个示例中，可使用参考线1和2来执行多参考线帧内预测。在另一示例中，可使用参考线1和3来执行多参考线帧内预测。然而，应该注意，本公开的多参考线帧内预测不一定限于上述示例。
另外，基于MRL的帧内预测可用信号通知参考线信息以指示使用哪条参考线。例如，可以intra_luma_ref_idx句法元素的形式用信号通知参考线信息。当intra_luman_ref_idx的值是0时，它可指示使用最接近当前块的参考样本(即，位于零样本距离处的样本)来执行帧内预测。当intra_luma_ref_idx是1时，它可指示使用与当前块第二近的参考样本(即，位于一个样本距离处的样本)来执行帧内预测。当intra_luma_ref_idx是2时，它可指示使用与当前块第三或第四近的参考样本(即，位于两个或三个样本距离处的样本)来执行帧内预测。
在下文中，将描述用于在执行基于MRL的帧内预测时构造MPM列表的方法以及用于通过在DC模式下推导邻近参考样本来执行帧内预测的方法。
图12图示用于在DC模式下推导预测样本的方法的一个实施方式。
为了方便起见，图12使用在其中使用最接近当前块的参考样本(即，位于零样本距离处的样本)的示例来给出描述。换言之，图12图示当参考线索引信息(例如，intra_luma_ref_idx)的值是0时在DC模式下使用的参考样本。当参考线索引信息(例如，intra_luma_ref_idx)的值不是0时，可将图12中公开的方法以相同的方式应用于DC模式。
参照图12的(a)，在当前块是正方形块(例如，4x4块)并且当前块的帧内预测是DC模式时，可推导用于DC模式的帧内预测的邻近参考样本。此时，邻近参考样本可包括位于当前块的左邻域中的左参考样本(E、F、G、H)和位于当前块的上邻域中的上参考样本(A、B、C、D)。在这种情况下，使用左参考样本(E、F、G、H)和上参考样本(A、B、C、D)来计算平均值，并且可基于所计算的平均值来推导DC值(dcVal)。当前块(在图12的(a)中用斜线填充的区域)内的样本可用DC值(dcVal)填充。换言之，用DC值(dcVal)填充的样本可被称为预测样本。
参照图12的(b)，在当前块是非正方形块(例如，8x4块)并且当前块的帧内预测是DC模式时，可推导用于DC模式的帧内预测的邻近参考样本。此时，邻近参考样本可包括位于非正方形块的宽度和高度的较长边的参考样本。由于图12的(b)中所示的8x4块的宽度(即，水平长度)具有较大的值，所以可将位于宽度边的邻域中的上参考样本(A、B、C、D、E、F、G和H)推导为邻近参考样本。在这种情况下，使用上参考样本(A、B、C、D、E、F、G和H)来计算平均值，并且可基于所计算的平均值来推导DC值(dcVal)。当前块(在图12的(b)中用斜线填充的区域)内的样本可用DC值(dcVal)填充。换言之，用DC值(dcVal)填充的样本可被称为预测样本。
如上所述，与正方形块不同，当对于非正方形块使用所有左参考样本和上参考样本来计算平均值时，由于除数值不具有2n的形式，所以必须使用除法运算。为了将除法运算改变为移位运算，如上所述，可使用仅位于非正方形块的宽度和高度的较长边上的参考样本来计算DC值。
当在DC模式下当前块是非正方形块时，图12的实施方式将宽度(即，水平长度)与高度(即，垂直长度)进行比较，使用仅较长边上的参考样本来计算DC值，并且将参考样本推导为当前块的预测样本。由于上述方法使用仅宽度和高度的任何一边(即，具有较长长度的边)上的参考样本，所以可能使预测准确度降级。因此，在下文中，将描述用于在当前块是非正方形块时通过使用所有左参考样本和上参考样本来计算DC值而生成预测样本的方法。另外，将描述用于选择参考样本(左参考样本和上参考样本)以使用移位运算而不是除法运算来计算DC值的方法。在一个实施方式中，从较长边上的邻近参考样本当中选择与非正方形块的宽度和高度的较短边上的邻近参考样本的数量一样多的参考样本，并且使用所选择的邻近参考样本来计算DC值。如上所述，由于当从较长边上的邻近参考样本当中选择与较短边上的参考样本的数量一样多的参考样本时，所选择的参考样本的总数具有2n的形式，所以可使用移位运算来计算平均值。
图13图示用于在DC模式下推导预测样本的方法的另一个实施方式。图13中公开的方法从较长边上的参考样本当中选择与非正方形块的宽度和高度的较短边上的参考样本的数量一样多的参考样本，但是选择较长边上的不同位置处的参考样本。
另外，为了方便起见，图13使用在其中使用最接近当前块的参考样本(即，位于零样本距离处的样本)的示例来给出描述。换言之，图13图示当参考线索引信息(例如，intra_luma_ref_idx)的值是0时在DC模式下使用的参考样本。当参考线索引信息(例如，intra_luma_ref_idx)的值不是0时，可将图13中公开的方法以相同的方式应用于DC模式。
参照图13的(a)至(d)，在当前块是非正方形块(例如，8x4块)并且当前块的帧内预测是DC模式时，可推导用于DC模式的帧内预测的邻近参考样本。此时，邻近参考样本可包括位于当前块的左邻域中的左参考样本(I、J、K、L)以及位于当前块的上邻域中的上参考样本(A、B、C、D、E、F、G和H)当中的与左参考样本的数量一样多的参考样本。
例如，如图13的(a)中所示，可通过在每奇数编号位置处对上参考样本(A、B、C、D、E、F、G和H)进行采样来选择与左参考样本的数量一样多的参考样本。换言之，奇数编号位置处的参考样本可指通过下述操作获得的参考样本(A、C、E和G)：通过从第一位置处的参考样本开始对每隔一个参考样本进行采样，在上参考样本当中选择与左参考样本的数量一样多的样本。在这种情况下，邻近参考样本可包括总共8个参考样本(四个左参考样本和四个上参考样本)。可通过计算总共8个参考样本的平均值来推导DC值。
在另一示例中，如图13的(b)中所示，可通过在每偶数编号位置处对上参考样本(A、B、C、D、E、F、G和H)进行采样来选择与左参考样本的数量一样多的参考样本。换言之，偶数编号位置处的参考样本可指通过下述操作获得的参考样本(B、D、F和H)：通过从第二位置处的参考样本开始对每隔一个参考样本进行采样，在上参考样本当中选择与左参考样本的数量一样多的样本。在这种情况下，邻近参考样本可包括总共8个参考样本(四个左参考样本和四个上参考样本)。可通过计算总共8个参考样本的平均值来推导DC值。
在又一示例中，如图13的(c)中所示，可通过从上参考样本的第一位置开始在连续位置(A、B、C和D)处对上参考样本(A、B、C、D、E、F、G和H)进行采样来选择与左参考样本的数量一样多的参考样本。在这种情况下，邻近参考样本可包括总共8个参考样本(四个左参考样本和四个上参考样本)。可通过计算总共8个参考样本的平均值来推导DC值。
在再一示例中，如图13的(d)中所示，可通过从上参考样本的最后位置开始在连续位置(E、F、G、H)处对上参考样本(A、B、C、D、E、F、G和H)进行采样来选择与左参考样本的数量一样多的参考样本。在这种情况下，邻近参考样本可包括总共8个参考样本(四个左参考样本和四个上参考样本)。可通过计算总共8个参考样本的平均值来推导DC值。
虽然图13的实施方式使用8x4块来给出描述，但是上述描述仅是示例，并且可将上述方法应用于各种大小的非正方形块以推导邻近参考样本并且使用所推导的邻近参考样本来计算DC值。作为一个示例，在当前块是16x4非正方形块时，可在四个左参考样本当中选择四个参考样本以及在16个上参考样本当中选择四个参考样本。此时，当应用图13的(a)方法时，可通过从16个上参考样本的第一位置处的参考样本开始对每四个样本进行采样来选择总共四个上参考样本。因此，可通过计算四个左参考样本和四个采样的上参考样本的平均值来推导DC值。可将上述操作以相同的方式应用于图13的(b)、(c)和(d)中图示的方法以推导左参考样本和上参考样本并且基于所推导的参考样本来计算DC值。
此外，可将使用多参考线的帧内预测方法仅应用于除了平面模式和DC模式之外的定向帧内预测模式。因此，存在不可将多参考线应用于作为非定向模式的平面模式和DC模式的帧内预测的缺点。本文提出用于通过应用如上所述在DC模式下推导邻近参考样本的各种方法来使用多参考线执行DC模式帧内预测的方法。
在一个实施方式中，为了降低基于多参考线的帧内预测的复杂度，多参考线不被应用于所有帧内预测模式，而仅被应用于MPM列表中包括的候选帧内预测模式。因此，当应用基于MRL的帧内预测时，可将DC模式添加到MPM列表以执行DC模式。换言之，用于使用多参考线的帧内预测的现有MPM列表生成不包括平面模式和DC模式的总共六个候选帧内预测模式。然而，根据本公开，可通过将DC模式添加到候选帧内预测模式来构造MPM列表。作为一个示例，可在不改变现有MPM列表中的候选帧内预测模式的数量的情况下添加DC模式。在这种情况下，可推导作为当前块的左邻近块的候选帧内预测模式的左模式和作为当前块的上邻近块的候选帧内预测模式的上模式，并且可通过基于左模式和上模式推导候选帧内预测模式来构造MPM列表。此时，可推导候选帧内预测模式中的一个作为DC模式。
根据一个实施方式，在推导候选帧内预测模式中的一个作为DC模式时，可移除MPM列表中的候选帧内预测模式中的一个，并且可添加DC模式。在这种情况下，用于移除MPM列表中的候选帧内预测模式的方法可移除具有最低发生概率的位于MPM列表的最后次序上的候选帧内预测模式。然而，上述描述仅是示例，并且可移除位于特定位置处的候选帧内预测模式，或者可考虑DC模式的发生频率来移除位于MPM列表的第一次序上的候选帧内预测模式。另外，用于将DC模式添加到MPM列表的方法可将DC模式添加到MPM列表中的从中移除候选帧内预测模式的位置。例如，可将DC模式添加到MPM列表的最后次序或者将DC模式添加到MPM列表的第一次序。另外，可任意地确定添加DC模式的MPM列表内的位置。换言之，可移除在MPM列表中的候选帧内预测模式当中位于特定次序上的候选帧内预测模式，并且可将DC模式定位在MPM列表的任何次序上。
如上所述，可仍然通过将DC模式添加到MPM列表，在基于MRL的帧内预测中使用DC模式来执行预测。此时，对MPM列表中包括的DC模式的预测可使用参照图12和图13描述的用于预测DC值的各种方法。
图14是图示可由根据本公开的一个实施方式的编码设备执行的编码方法的流程图。
图14中公开的方法可由图2中公开的编码设备200执行。具体地，S1400至S1420的步骤可由图2中公开的预测器220(更具体地，帧内预测器222)执行，并且图14的S1420至S1430的步骤可由图2中公开的熵编码器240执行。另外，图14中公开的方法可包括本文中的上述实施方式。因此，将省略或简化与上述实施方式的那些描述重叠的图14的详细描述。
参照图14，编码设备可配置用于当前块的包括候选帧内预测模式的最可能模式(MPM)列表S1400。
在一个实施方式中，编码设备可推导作为当前块的左邻近块的候选帧内预测模式的左模式并且可推导作为当前块的上邻近块的候选帧内预测模式的上模式。这里，左邻近块可指示与当前块的左边相邻定位的左邻近块当中的最底邻近块，并且上邻近块可指示与当前块的上边相邻定位的最右邻近块。例如，如果当前块的大小是WxH，当前块的左上样本位置的x分量是xN并且其y分量是yN，则左邻近块可以是包括(xN-1,yN+H-1)坐标的样本的块，并且上邻近块可以是包括(xN+W-1,yN-1)坐标的样本的块。
例如，当左邻近块可用并且对左邻近块应用帧内预测时，编码设备可将左邻近块的帧内预测模式推导为左候选帧内预测模式(即，左模式)。当上邻近块可用、对上邻近块应用帧内预测，并且上邻近块被包括在当前CTU中时，编码设备可将上邻近块的帧内预测模式推导为上候选帧内预测模式(即，上模式)。另选地，当左邻近块不可用或者未对左邻近块应用帧内预测时，编码设备可将平面模式推导为左模式。当上邻近块不可用、未对上邻近块应用帧内预测，或者上邻近块未被包括在当前CTU中时，编码设备可将平面模式推导为上模式。
编码设备可通过基于从左邻近块推导的左模式和从上邻近块推导的上模式来推导当前块的候选帧内预测模式来构造MPM列表。此时，MPM列表可包括左模式和上模式并且还可包括根据预定方法的特定帧内预测模式。
在一个实施方式中，编码设备可通过对当前块应用多参考线来确定是否执行帧内预测并且可根据该确定来推导特定帧内预测模式以及将所推导的帧内预测模式包括在MPM列表中。当通过对当前块应用多参考线来执行帧内预测时，编码设备可生成并用信号通知参考线索引信息。参考线索引信息可包括指示用于当前块的帧内预测的参考线的索引值并且可以上述intra_luma_ref_idx句法元素的形式用信号通知。当intra_luma_ref_idx的值是0时，它可指示使用最接近当前块的参考样本(即，零样本距离处的参考样本)来执行帧内预测。当intra_luma_ref_idx的值是1时，它可指示使用与当前块第二近的参考样本(即，一个样本距离处的参考样本)来执行帧内预测。当intra_luma_ref_idx的值是2时，它可指示使用与当前块第三或第四近的参考样本(即，两个或三个样本距离处的参考样本)来执行帧内预测。
例如，当参考线索引信息的值不是0时，编码设备可将DC模式推导为候选帧内预测模式中的一个并且可将所推导的DC模式包括在MPM列表中。在这种情况下，DC模式可位于MPM列表的任何次序上。另选地，可考虑发生频率将DC模式包括在MPM列表的第一次序或最后次序上。
编码设备可基于MPM列表中包括的候选帧内预测模式来推导当前块的帧内预测模式S1410。
在一个实施方式中，编码设备可对当前块执行各种帧内预测模式以推导具有最佳速率失真(RD)成本的帧内预测模式，并且将所推导的帧内预测模式确定为当前块的帧内预测模式。在这种情况下，编码设备可基于包括两个非定向帧内预测模式和65个帧内定向预测模式的帧内预测模式来推导当前块的最佳帧内预测模式。另选地，编码设备可仅使用包括MPM列表的MPM候选来确定最佳帧内预测模式。这里，MPM候选可根据MPM列表中的候选的数量包括候选帧内预测模式和/或平面模式。例如，当MPM列表中的候选的数量是6时，MPM候选可包括平面模式和候选帧内预测模式，而当MPM列表中的候选的数量是5时，MPM候选可包括候选帧内预测模式。
例如，当参考线索引信息的值不是0时，编码设备可通过使用MPM列表中包括的MPM候选帧内预测模式来推导当前块的最佳帧内预测模式。换言之，在这种情况下，可仅从在MPM列表中包括DC模式的候选帧内预测模式(和平面模式)当中确定当前块的帧内预测模式。另外，当参考线索引信息的值不是0时，编码设备可不对MPM标志信息进行编码/用信号通知。以这种方式，当MPM标志信息未被编码/用信号通知时，可将MPM标志信息的值推导为1。如上所述，可以intra_luma_mpm_flag句法元素的形式表达MPM标志信息。例如，当intra_luma_mpm_flag的值是1时，它指示当前块的帧内预测模式从MPM候选帧内预测模式(候选帧内预测模式和/或平面模式)当中被选择，而当intra_luma_mpm_flag的值是0时，它可指示当前块的帧内预测模式不从MPM候选帧内预测模式(候选帧内预测模式和/或平面模式)当中被选择。
编码设备可生成指示来自MPM列表中包括的候选帧内预测模式当中的当前块的帧内预测模式的MPM索引信息S1420。
在一个实施方式中，当参考线索引信息的值不是0并且MPM标志信息的值被推导为1时，编码设备生成指示MPM列表中的候选帧内预测模式中的一个的索引值并且将所生成的索引值编码成MPM索引信息。换言之，当参考线索引信息的值不是0并且MPM标志信息的值被推导为1时，可对MPM索引信息进行编码/用信号通知。
例如，在当前块的帧内预测模式被推导为MPM列表中包括的DC模式时，可生成MPM索引信息作为指示MPM列表中包括的候选帧内预测模式当中的DC模式的索引值。此时，当DC模式被包括在MPM列表的第一次序上时，可对MPM索引信息进行编码以具有0的索引值。或者，当DC模式被包括在MPM列表的最后次序上时，可对MPM索引信息进行编码以根据MPM列表中的候选的数量具有n的索引值(例如，当候选的数量是6时n是5，或者当候选的数量是5时n是4)。
另外，编码设备可通过基于为当前块确定的帧内预测模式执行帧内预测来生成用于当前块的预测样本。例如，在当前块的帧内预测模式被推导为MPM列表中包括的DC模式时，编码设备可基于当前块是正方形块还是非正方形块来推导用于当前块的DC模式的邻近参考样本，基于邻近参考样本来计算用于当前块的DC值，并且基于DC值来生成预测样本。此时，可将推导邻近参考样本的过程应用于已参照图12和图13详细地描述的上述各种实施方式。
在一个实施方式中，在当前块是正方形块时，编码设备可推导包括当前块的左参考样本和当前块的上参考样本的邻近参考样本。此时，编码设备可基于参考线索引信息来推导邻近参考样本。例如，在这种情况下，邻近参考样本可包括由参考线索引信息指示的左参考线(即，位于0、1、2或3个样本距离处的左参考样本)和上参考线(即，位于0、1、2或3个样本距离处的上参考样本)。
另选地，在当前块是非正方形块，并且当前块的宽度大于高度时，编码设备可推导包括当前块的上参考样本的邻近参考样本。作为一个示例，上参考样本可包括其数量与当前块的宽度相同的参考样本。作为另一示例，上参考样本可包括与左参考样本相同数量的参考样本。作为又一示例，通过对当前块的上参考样本当中的奇数编号样本或偶数编号样本进行采样，上参考样本可包括与左参考样本相同数量的参考样本。另外，在这种情况下，编码设备可基于参考线索引信息来推导邻近参考样本。例如，在这种情况下，邻近参考样本可包括由参考线索引信息指示的上参考线(即，位于0、1、2或3个样本距离处的上参考样本)。
另选地，在当前块是非正方形块，并且当前块的宽度小于高度时，编码设备可推导包括当前块的左参考样本的邻近参考样本。作为一个示例，左参考样本可包括其数量与当前块的高度相同的参考样本。作为另一示例，左参考样本可包括与上参考样本相同数量的参考样本。作为又一示例，通过对当前块的左参考样本当中的奇数编号样本或偶数编号样本进行采样，左参考样本可包括与上参考样本相同数量的参考样本。另外，在这种情况下，编码设备可基于参考线索引信息来推导邻近参考样本。例如，在这种情况下，邻近参考样本可包括由参考线索引信息指示的左参考线(即，位于0、1、2或3个样本距离处的左参考样本)。
另外，编码设备可基于当前块的预测样本和当前块的原始样本来推导当前块的残差样本。另外，编码设备可基于残差样本来生成关于当前块的残差信息并且对包括残差信息的图像信息进行编码。这里，残差信息可包括关于通过对残差样本执行变换和量化所推导的量化的变换系数的信息、位置信息、变换技术、变换核和量化参数。
编码设备可对包括参考线索引信息或MPM索引信息中的至少一个的图像信息进行编码S1430。
在一个实施方式中，编码设备可对图像信息进行编码并且以比特流的形式输出编码的图像信息，图像信息包括基于是否应用基于MRL的帧内预测而确定的参考线索引信息和基于MPM列表而推导的当前块的帧内预测模式信息(例如，MPM索引信息)。另外，编码设备还可推导残差信息并对其进行编码，并且可以比特流的形式输出编码的残差信息。
可通过网络或(数字)存储介质来将比特流传送至解码设备。这里，网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD的各种存储介质。
生成用于当前块的预测样本的过程可由图2中公开的编码设备200的帧内预测器222执行，推导残差样本的过程可由图2中公开的编码设备200的减法器231执行，并且生成残差信息并对其进行编码的过程可由图2中公开的编码设备200的残差处理器230和熵编码器240执行。
图15是图示可由根据本公开的一个实施方式的解码设备执行的解码方法的流程图。
图15中公开的方法可由图3中公开的解码设备300执行。具体地，S1500至S1520的步骤可由图3中公开的预测器330(更具体地，帧内预测器331)执行，并且图15的S1530的步骤可由图3中公开的残差处理器320和/或加法器340执行。另外，图15中公开的方法可包括本文中的上述实施方式。因此，将省略或简化与上述实施方式的那些描述重叠的图15的详细描述。
参照图15，解码设备可配置用于当前块的包括候选帧内预测模式的最可能模式(MPM)列表S1500。
在一个实施方式中，解码设备可推导作为当前块的左邻近块的候选帧内预测模式的左模式并且可推导作为当前块的上邻近块的候选帧内预测模式的上模式。这里，左邻近块可指示与当前块的左边相邻定位的左邻近块当中的最底邻近块，并且上邻近块可指示与当前块的上边相邻定位的最右邻近块。例如，如果当前块的大小是WxH，当前块的左上样本位置的x分量是xN，并且其y分量是yN，则左邻近块可以是包括(xN-1,yN+H-1)坐标的样本的块，并且上邻近块可以是包括(xN+W-1,yN-1)坐标的样本的块。
例如，当左邻近块可用并且对左邻近块应用帧内预测时，解码设备可将左邻近块的帧内预测模式推导为左候选帧内预测模式(即，左模式)。当上邻近块可用、对上邻近块应用帧内预测，并且上邻近块被包括在当前CTU中时，解码设备可将上邻近块的帧内预测模式推导为上候选帧内预测模式(即，上模式)。另选地，当左邻近块不可用或者未对左邻近块应用帧内预测时，解码设备可将平面模式推导为左模式。当上邻近块不可用、未对上邻近块应用帧内预测，或者上邻近块未被包括在当前CTU中时，解码设备可将平面模式推导为上模式。
解码设备可通过基于从左邻近块推导的左模式和从上邻近块推导的上模式来推导当前块的候选帧内预测模式来构造MPM列表。此时，MPM列表可包括左模式和上模式并且还可包括根据预定方法的特定帧内预测模式。
在一个实施方式中，解码设备可通过对当前块应用多参考线来确定是否执行帧内预测，并且可根据该确定来推导特定帧内预测模式以及将所推导的帧内预测模式包括在MPM列表中。换言之，解码设备可通过获得参考线索引信息确定是否通过为当前块应用多参考线来执行帧内预测。参考线索引信息可包括指示用于当前块的帧内预测的参考线的索引值并且可以以上述intra_luma_ref_idx句法元素的形式用信号通知。当intra_luma_ref_idx的值是0时，它可指示使用最接近当前块的参考样本(即，零样本距离处的参考样本)来执行帧内预测。当intra_luma_ref_idx的值是1时，它可指示使用与当前块第二近的参考样本(即，一个样本距离处的参考样本)来执行帧内预测。当intra_luma_ref_idx的值是2时，它可指示使用与当前块第三或第四近的参考样本(即，两个或三个样本距离处的参考样本)来执行帧内预测。
例如，当参考线索引信息的值不是0时，解码设备可将DC模式推导为候选帧内预测模式中的一个并且可将所推导的DC模式包括在MPM列表中。在这种情况下，DC模式可位于MPM列表的任何次序上。另选地，可考虑发生频率将DC模式包括在MPM列表的第一次序或最后次序上。
解码设备可基于MPM索引信息来从MPM列表中推导当前块的帧内预测模式S1510。
在一个实施方式中，解码设备可从比特流中获得当前块的帧内预测模式信息。帧内预测模式信息指示当前块的帧内预测模式，包括MPM标志信息、MPM索引信息和剩余模式信息。
此时，当参考线索引信息的值不是0时，编码设备可不用信号通知MPM标志信息。以这种方式，当未用信号通知MPM标志信息时，解码设备可将MPM标志信息的值推导为1。如上所述，可以intra_luma_mpm_flag句法元素的形式用信号通知MPM标志信息。例如，当intra_luma_mpm_flag的值是1时，它指示当前块的帧内预测模式从MPM候选帧内预测模式(候选帧内预测模式和/或平面模式)当中被选择，而当intra_luma_mpm_flag的值是0时，它可指示当前块的帧内预测模式不从MPM候选帧内预测模式(候选帧内预测模式和/或平面模式)当中被选择。这里，MPM候选帧内预测模式可取决于MPM列表的候选的数量而包括候选帧内预测模式和/或平面模式。例如，当MPM列表的候选的数量是6时，MPM候选可包括平面模式和候选帧内预测模式，而当MPM列表的候选的数量是5时，MPM候选可包括候选帧内预测模式。
另外，当参考线索引信息的值不是0，并且MPM标志信息的值被推导为1时，可从编码设备用信号通知MPM索引信息。换言之，解码设备可从比特流中获得MPM索引信息并且对所获得的比特流进行解码。如上所述，MPM索引信息包括指示MPM列表中包括的候选帧内预测模式当中的当前块的帧内预测模式的索引值，例如可以intra_luma_mpm_idx句法元素的形式表达该索引值。
换言之，当参考线索引信息的值不是0，并且MPM标志信息的值被推导为1时，解码设备可获得MPM索引信息并对其进行解码以及基于解码的MPM索引信息从MPM列表中推导当前块的帧内预测模式。
例如，当MPM索引信息指示MPM列表中包括的候选帧内预测模式当中的DC模式时，解码设备可将当前块的帧内预测模式推导为DC模式。此时，当DC模式被包括在MPM列表的第一次序上时，MPM索引信息可通过被编码以具有0的索引值来用信号通知。或者，当DC模式被包括在MPM列表的最后次序上时，MPM索引信息可通过被编码以根据MPM列表中的候选的数量具有n的索引值(例如，当候选的数量是6时n是5，或者当候选的数量是5时n是4)来发信号通知。
解码设备可基于帧内预测模式来生成用于当前块的预测样本S1520。
例如，在当前块的帧内预测模式被推导为MPM列表中包括的DC模式时，解码设备可基于当前块是正方形块还是非正方形块来推导用于当前块的DC模式的邻近参考样本，基于邻近参考样本来计算用于当前块的DC值，并且基于DC值来生成预测样本。此时，可将推导邻近参考样本的过程应用于已参照图12和图13详细地描述的上述各种实施方式。
在一个实施方式中，在当前块是正方形块时，解码设备可推导包括当前块的左参考样本和当前块的上参考样本的邻近参考样本。此时，解码设备可基于参考线索引信息来推导邻近参考样本。例如，在这种情况下，邻近参考样本可包括由参考线索引信息指示的左参考线(即，位于0、1、2或3个样本距离处的左参考样本)和上参考线(即，位于0、1、2或3个样本距离处的上参考样本)。
另选地，在当前块是非正方形块，并且当前块的宽度大于高度时，解码设备可推导包括当前块的上参考样本的邻近参考样本。作为一个示例，上参考样本可包括其数量与当前块的宽度相同的参考样本。作为另一示例，上参考样本可包括与左参考样本相同数量的参考样本。作为又一示例，通过对当前块的上参考样本当中的奇数编号样本或偶数编号样本进行采样，上参考样本可包括与左参考样本相同数量的参考样本。另外，在这种情况下，解码设备可基于参考线索引信息来推导邻近参考样本。例如，在这种情况下，邻近参考样本可包括由参考线索引信息指示的上参考线(即，位于0、1、2或3个样本距离处的上参考样本)。
另选地，在当前块是非正方形块，并且当前块的宽度小于高度时，解码设备可推导包括当前块的左参考样本的邻近参考样本。作为一个示例，左参考样本可包括其数量与当前块的高度相同的参考样本。作为另一示例，左参考样本可包括与上参考样本相同数量的参考样本。作为又一示例，通过对当前块的左参考样本当中的奇数编号样本或偶数编号样本进行采样，左参考样本可包括与上参考样本相同数量的参考样本。另外，在这种情况下，解码设备可基于参考线索引信息来推导邻近参考样本。例如，在这种情况下，邻近参考样本可包括由参考线索引信息指示的左参考线(即，位于0、1、2或3个样本距离处的左参考样本)。
解码设备可基于预测样本来生成用于当前块的重构图片S1530。
在一个实施方式中，解码设备可直接使用预测样本作为重构样本或者通过根据预测模式将残差样本添加到预测样本来生成重构样本。
当存在用于当前块的残差样本时，解码设备可接收关于当前块的残差的信息。关于残差的信息可包括用于残差样本的变换系数。解码设备可基于残差信息来为当前块推导残差样本(或残差样本阵列)。解码设备可基于预测样本和残差样本来生成重构样本并且基于重构样本来推导重构块或重构图片。此后，解码设备可取决于需要而对重构图片应用诸如去块滤波和/或SAO过程的环路滤波过程，以如上所述增强主观/客观图像质量。
在上述示例性***中，通过使用一系列步骤和框来根据流程图描述方法。然而，本公开不限于步骤的特定次序，并且可与不同的步骤一起并且按与上述步骤不同的次序或同时地执行一些步骤。另外，本领域的技术人员应该理解，流程图中所示的步骤不是排他性的，还可包括其它步骤，或者在不影响本公开的技术范围的情况下，可删除流程图的一个或更多个步骤。
可以软件的形式实现根据本公开的方法，并且可将根据本公开的编码设备和/或解码设备包括在执行图像处理的设备如TV、计算机、智能电话、机顶盒和显示设备中。
当本公开的实施方式由软件实现时，前述方法可由执行前述功能的模块(过程或功能)实现。模块可被存储在存储器中并由处理器执行。存储器可被安装在处理器内部或外部并且可经由各种公知手段连接到处理器。处理器可包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其它存储装置。换言之，可在处理器、微处理器、控制器或芯片上实现并执行根据本公开的实施方式。例如，可在计算机、处理器、微处理器、控制器或芯片上实现并执行各个图中图示的功能单元。在这种情况下，可在数字存储介质中存储关于实现方式的信息(例如，关于指令的信息)或算法。
另外，本公开应用于的解码设备和编码设备可被包括在以下各项中：多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置以及诸如视频通信的实时通信装置、移动流装置、存储介质、摄像机、视频点播(VoD)服务提供商、空中(OTT)视频装置、互联网流服务提供商、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、图像电话视频装置、车辆终端(例如，车辆(包括自主车辆)终端、飞机终端或船舶终端)和医疗视频装置；并且可用于处理图像信号或数据。例如，OTT视频装置可包括游戏机、蓝光播放器、连接互联网的TV、家庭影院***、智能电话、平板PC和数字录像机(DVR)。
另外，本公开应用于的处理方法可被以由计算机执行的程序的形式产生并且可被存储在计算机可读记录介质中。也可将具有根据本公开的数据结构的多媒体数据存储在计算机可读记录介质中。计算机可读记录介质包括在其中存储计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质也包括以载波(例如，通过互联网的传输)的形式体现的介质。另外，通过编码方法生成的比特流可被存储在计算机可读记录介质中或者通过有线或无线通信网络来传送。
另外，可将本公开的实施方式体现为基于程序代码的计算机程序产品，并且可在根据本公开的实施方式的计算机上执行程序代码。可将程序代码存储在计算机可读载体上。
图16表示本文的实施方式可应用于的内容流***的示例。
参考图16，本文的实施方式应用于的内容流***通常可包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器用来将从诸如智能电话、相机、摄像机等的多媒体输入装置输入的内容压缩为数字数据，生成比特流，并且将其传送至流服务器。作为另一示例，在诸如智能电话、相机、摄像机等的多媒体输入装置直接生成码流的情况下，可省略编码服务器。
可通过本文的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流服务器可在传送或接收比特流的过程中暂时存储比特流。
流服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据，该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时，网络服务器将请求转移至流服务器，并且流服务器将多媒体数据传送至用户。在这方面，内容流***可包括单独的控制服务器，并且在这种情况下，控制服务器用来控制内容流***中的各个设备之间的命令/响应。
流服务器可从媒体存储装置和/或编码服务器接收内容。例如，在从编码服务器接收到内容的情况下，可实时地接收内容。在这种情况下，流服务器可将比特流存储预定时间段以流畅地提供流服务。
例如，用户设备可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
可将内容流***中的每个服务器作为分布式服务器操作，并且在这种情况下，可以分布式方式处理由每个服务器接收的数据。

Claims (4)

1.一种用于图像解码的解码装置，所述解码装置包括：
存储器；以及
至少一个处理器，所述至少一个处理器连接到所述存储器，所述至少一个处理器被配置成：
从比特流获得包括参考线索引信息的图像信息；
构造用于当前块的包括候选帧内预测模式的最可能模式MPM列表；
基于指示所述MPM列表中包括的所述候选帧内预测模式当中的所述当前块的所述帧内预测模式的MPM索引信息，从所述MPM列表中推导所述当前块的帧内预测模式；
基于所述帧内预测模式推导所述当前块的预测样本；以及
基于所述预测样本生成重构图片，
其中，所述MPM列表的构造包括基于指示被用于所述当前块的帧内预测的邻近参考样本的参考线的所述参考线索引信息的值不等于0的情况，将DC模式推导为所述候选帧内预测模式中的一个以将所述DC模式包括在所述MPM列表中，
其中，基于所述参考线索引信息的值等于0，所述参考线与所述当前块相邻，以及基于所述参考线索引信息的值大于0，所述参考线与所述当前块不相邻，
其中，基于指示包括在所述MPM列表中的所述候选帧内预测模式当中的所述DC模式的所述MPM索引信息推导所述DC模式作为所述当前块的所述帧内预测模式，
其中，基于所述参考线索引信息的值不等于0，参考线n被用于生成所述当前块的预测样本，其中所述n大于0，
其中，为了推导所述当前块的预测样本，所述至少一个处理器进一步被配置成：
通过使用所述当前块的参考线n中的参考样本当中的特定参考样本来计算用于所述当前块的DC值，其中，所述参考样本包括所述当前块的参考线n中的左参考样本和上参考样本；以及
基于所述DC值来推导所述预测样本，
其中，基于所述当前块是正方形块还是非正方形块来确定所述特定参考样本，
其中，基于所述当前块是所述正方形块，被用于计算所述DC值的所述特定参考样本包括所述参考线n中的所述左参考样本和所述参考线n中的所述上参考样本两者，
其中，基于所述当前块是所述非正方形块并且所述当前块的宽度大于所述当前块的高度，被用于计算所述DC值的所述特定参考样本包括所述参考线n中的所述上参考样本并且不包括所述参考线n中的所述左参考样本，并且
其中，基于所述当前块是所述非正方形块并且所述当前块的宽度小于所述当前块的高度，被用于计算所述DC值的所述特定参考样本包括所述参考线n中的所述左参考样本并且不包括所述参考线n中的所述上参考样本。
2.一种用于图像编码的编码装置，所述编码装置包括：
存储器；以及
至少一个处理器，所述至少一个处理器连接到所述存储器，所述至少一个处理器被配置成：
构造用于当前块的包括候选帧内预测模式的最可能模式MPM列表；
基于所述MPM列表中包括的所述候选帧内预测模式推导所述当前块的帧内预测模式；
生成指示所述MPM列表中包括的所述候选帧内预测模式当中的所述当前块的所述帧内预测模式的MPM索引信息；
基于所述帧内预测模式生成所述当前块的预测样本，以及
对图像信息进行编码，所述图像信息包括指示被用于所述当前块的帧内预测的邻近参考样本的参考线的参考线索引信息或所述MPM索引信息中的至少一个，
其中，构造所述MPM列表包括基于其中所述参考线索引信息的值不等于0的情况，将DC模式推导为所述候选帧内预测模式中的一个以将所述DC模式包括在所述MPM列表中，
其中，基于所述参考线索引信息的值等于0，所述参考线与所述当前块相邻，以及基于所述参考线索引信息的值大于0，所述参考线与所述当前块不相邻，
其中，基于所述当前块的帧内预测模式被推导为包括在所述MPM列表中的所述DC模式，生成所述MPM索引信息作为指示包括在所述MPM列表中的所述候选帧内预测模式中的所述DC模式的索引值，
其中，基于所述参考线索引信息的值不等于0，参考线n被用于生成所述当前块的所述预测样本，其中所述n大于0，
其中，为了生成所述当前块的预测样本，所述至少一个处理器进一步被配置成：
基于被应用于所述当前块的所述DC模式，通过使用所述当前块的参考线n中的参考样本当中的特定参考样本来计算用于所述当前块的DC值，其中，所述参考样本包括所述当前块的参考线n中的左参考样本和上参考样本；以及
基于所述DC值来推导所述预测样本，
其中，基于所述当前块是正方形块还是非正方形块来确定所述特定参考样本，
其中，基于所述当前块是所述正方形块，用于计算所述DC值的所述特定参考样本包括所述参考线n中的左参考样本和所述参考线n中的上参考样本两者，
其中，基于所述当前块是所述非正方形块并且所述当前块的宽度大于所述当前块的高度，用于计算所述DC值的所述特定参考样本包括所述参考线n中的所述上参考样本并且不包括所述参考线n中的所述左参考样本，以及
其中，基于所述当前块是所述非正方形块并且所述当前块的宽度小于所述当前块的高度，用于计算所述DC值的所述特定参考样本包括所述参考线n中的所述左参考样本并且不包括所述参考线n中的所述上参考样本。
3.一种计算机可读存储介质，其存储通过根据权利要求2的用于图像编码的编码设备生成的比特流。
4.一种发送用于图像的数据的装置，所述装置包括：
至少一个处理器，所述至少一个处理器被配置成获得用于所述图像的比特流，其中，基于下述来生成所述比特流：构造用于当前块的包括候选帧内预测模式的最可能模式MPM列表，基于所述MPM列表中包括的所述候选帧内预测模式来推导所述当前块的帧内预测模式，生成指示所述MPM列表中包括的所述候选帧内预测模式当中的所述当前块的所述帧内预测模式的MPM索引信息，基于所述帧内预测模式生成所述当前块的预测样本，以及对图像信息进行编码，所述图像信息包括指示被用于所述当前块的帧内预测的邻近参考样本的参考线的参考线索引信息或所述MPM索引信息中的至少一个；以及
发射器，所述发射器被配置成发送包括所述比特流的所述数据，
其中，构造所述MPM列表包括基于其中所述参考线索引信息的值不等于0的情况，将DC模式推导为所述候选帧内预测模式中的一个以将所述DC模式包括在所述MPM列表中，
其中，基于所述参考线索引信息的值等于0，所述参考线与所述当前块相邻，以及基于所述参考线索引信息的值大于0，所述参考线与所述当前块不相邻，
其中，基于所述当前块的帧内预测模式被推导为包括在所述MPM列表中的DC模式，生成所述MPM索引信息作为指示包括在所述MPM列表中的所述候选帧内预测模式当中的所述DC模式的索引值，
其中，基于所述参考线索引信息的值不等于0，参考线n被用于生成所述当前块的预测样本，其中所述n大于0，并且
其中，所述当前块的预测样本的生成包括：
基于被应用于所述当前块的所述DC模式，通过使用所述当前块的参考线n中的参考样本当中的特定参考样本来计算用于所述当前块的DC值，其中，所述参考样本包括所述当前块的参考线n中的左参考样本和上参考样本；以及
基于所述DC值来推导所述预测样本，
其中，基于所述当前块是正方形块还是非正方形块来确定所述特定参考样本，
其中，基于所述当前块是所述正方形块，用于计算所述DC值的所述特定参考样本包括所述参考线n中的所述左参考样本和所述参考线n中的所述上参考样本两者，
其中，基于所述当前块是所述非正方形块并且所述当前块的宽度大于所述当前块的高度，用于计算所述DC值的所述特定参考样本包括所述参考线n中的所述上参考样本并且不包括所述参考线n中的所述左参考样本，以及
其中，基于所述当前块是所述非正方形块并且所述当前块的宽度小于所述当前块的高度，用于计算所述DC值的所述特定参考样本包括所述参考线n中的所述左参考样本并且不包括所述参考线n中的所述上参考样本。
CN202311243754.5A 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置 Pending CN117201773A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962791877P 2019-01-13 2019-01-13
US62/791,877 2019-01-13
PCT/KR2020/000570 WO2020145775A1 (ko) 2019-01-13 2020-01-13 Mrl 기반 인트라 예측을 수행하는 영상 코딩 방법 및 장치
CN202080012772.0A CN113424529B (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080012772.0A Division CN113424529B (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置

Publications (1)

Publication Number Publication Date
CN117201773A true CN117201773A (zh) 2023-12-08

Family

ID=71520273

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202311243754.5A Pending CN117201773A (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置
CN202080012772.0A Active CN113424529B (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置
CN202311238524.XA Pending CN117201771A (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置
CN202311238635.0A Pending CN117201772A (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置
CN202311247584.8A Pending CN117201774A (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN202080012772.0A Active CN113424529B (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置
CN202311238524.XA Pending CN117201771A (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置
CN202311238635.0A Pending CN117201772A (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置
CN202311247584.8A Pending CN117201774A (zh) 2019-01-13 2020-01-13 用于执行基于mrl的帧内预测的图像编译方法和装置

Country Status (9)

Country Link
US (2) US11716461B2 (zh)
EP (1) EP3905674A4 (zh)
JP (2) JP7354260B2 (zh)
KR (1) KR20210093349A (zh)
CN (5) CN117201773A (zh)
BR (1) BR112021013735A2 (zh)
MX (1) MX2021008450A (zh)
WO (1) WO2020145775A1 (zh)
ZA (1) ZA202105106B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106364B (zh) * 2018-05-12 2022-09-30 数码士有限公司 使用参考样本的视频信号处理方法及设备
CN117201773A (zh) * 2019-01-13 2023-12-08 Lg 电子株式会社 用于执行基于mrl的帧内预测的图像编译方法和装置
US11405638B2 (en) * 2019-03-17 2022-08-02 Tencent America LLC Method and apparatus for video coding by determining intra prediction direction based on coded information of neighboring blocks
EP3932056A4 (en) * 2019-03-21 2022-08-03 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR INTRAPREDICTION
CN114175635A (zh) * 2019-05-27 2022-03-11 Sk电信有限公司 用于推导帧内预测模式的方法及装置
US12015765B2 (en) * 2021-04-26 2024-06-18 Tencent America LLC Template matching based intra prediction
CA3185916A1 (en) * 2022-01-05 2023-07-05 Comcast Cable Communications, Llc Video compression using boundary based template refinement
WO2023224289A1 (ko) * 2022-05-16 2023-11-23 현대자동차주식회사 가상의 참조라인을 사용하는 비디오 코딩을 위한 방법 및 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854551B (zh) * 2010-06-08 2012-08-15 浙江大学 帧内预测模式编解码方法及装置
EP2727363B1 (en) * 2011-06-28 2020-11-18 HFI Innovation Inc. Method and apparatus of intra mode coding
KR20140008503A (ko) * 2012-07-10 2014-01-21 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20140121022A (ko) * 2013-04-04 2014-10-15 주식회사 팬택 복수의 레이어를 지원하는 비디오의 부호화 및 복호화 방법 및 이를 이용하는 장치
EP3442232A4 (en) * 2016-04-06 2019-12-04 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
WO2017183751A1 (ko) * 2016-04-22 2017-10-26 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN109076241B (zh) * 2016-05-04 2023-06-23 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测
WO2017205703A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Improved weighted angular prediction coding for intra coding
EP3972256B1 (en) * 2016-06-24 2024-01-03 KT Corporation Adaptive reference sample filtering for intra prediction using distant pixel lines
CN116684580A (zh) * 2016-08-03 2023-09-01 株式会社Kt 用于对视频进行编码和解码的方法和装置
US20180199062A1 (en) 2017-01-11 2018-07-12 Qualcomm Incorporated Intra prediction techniques for video coding
US10742975B2 (en) 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
CN117336509A (zh) 2017-07-06 2024-01-02 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
CN111034196B (zh) * 2017-08-21 2023-11-17 韩国电子通信研究院 用于对视频进行编码/解码的方法和设备以及存储比特流的记录介质
CN117176958A (zh) * 2017-11-28 2023-12-05 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的传输方法和存储介质
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction
CN112106364B (zh) * 2018-05-12 2022-09-30 数码士有限公司 使用参考样本的视频信号处理方法及设备
CN112385234B (zh) * 2018-10-09 2024-04-09 华为技术有限公司 图像和视频译码的设备和方法
KR102636813B1 (ko) * 2018-11-22 2024-02-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 펄스 코드 변조 기술
CN117201773A (zh) * 2019-01-13 2023-12-08 Lg 电子株式会社 用于执行基于mrl的帧内预测的图像编译方法和装置

Also Published As

Publication number Publication date
CN113424529B (zh) 2023-10-13
JP2022517028A (ja) 2022-03-03
US11716461B2 (en) 2023-08-01
US20210344907A1 (en) 2021-11-04
KR20210093349A (ko) 2021-07-27
JP7354260B2 (ja) 2023-10-02
WO2020145775A1 (ko) 2020-07-16
EP3905674A4 (en) 2022-06-22
CN117201772A (zh) 2023-12-08
CN117201774A (zh) 2023-12-08
CN113424529A (zh) 2021-09-21
BR112021013735A2 (pt) 2021-09-21
CN117201771A (zh) 2023-12-08
EP3905674A1 (en) 2021-11-03
JP2023164632A (ja) 2023-11-10
ZA202105106B (en) 2023-01-25
MX2021008450A (es) 2021-09-21
US20230328231A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
CN113424529B (zh) 用于执行基于mrl的帧内预测的图像编译方法和装置
CN113853797B (zh) 使用变换索引的图像编码
CN113826395B (zh) 图像编码中基于矩阵的帧内预测的变换
CN113273192B (zh) 使用mpm列表的基于帧内预测的视频编码方法及装置
KR20210118113A (ko) Mpm 리스트 기반 인트라 예측 방법 및 장치
CN116156188A (zh) 视频编码和解码方法、存储介质以及图像数据的传输方法
CN112956201B (zh) 使用句法来执行编码的句法设计方法和设备
CN114556931B (zh) 基于调色板模式的图像或视频编码
CN113767625A (zh) 基于mpm列表的帧内预测方法及其设备
CN111989919B (zh) 基于使用mpm列表的帧内预测的图像编码方法及设备
CN113316938B (zh) 使用去块滤波的图像编译方法和装置
US20220174270A1 (en) Method and device for configuring mpm list
CN113475065A (zh) 使用统一mpm列表的基于帧内预测的图像编译方法和设备
KR20210092829A (ko) Mpm 리스트를 사용하는 인트라 예측 기반 영상 코딩 방법 및 장치
US20220124309A1 (en) Unified mpm list-based intra prediction
EP4044598A1 (en) Method and device for processing image information for image/video coding
CN113273210B (zh) 用于编译关于合并数据的信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240325

Address after: No. 18 Wusha Haibin Road, Chang'an Town, Dongguan City, Guangdong Province

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Country or region after: China

Address before: Seoul, South Kerean

Applicant before: LG ELECTRONICS Inc.

Country or region before: Republic of Korea