CN110999290B - 使用跨分量线性模型进行帧内预测的方法和装置 - Google Patents

使用跨分量线性模型进行帧内预测的方法和装置 Download PDF

Info

Publication number
CN110999290B
CN110999290B CN201980002859.7A CN201980002859A CN110999290B CN 110999290 B CN110999290 B CN 110999290B CN 201980002859 A CN201980002859 A CN 201980002859A CN 110999290 B CN110999290 B CN 110999290B
Authority
CN
China
Prior art keywords
block
reconstructed
luma
chrominance
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980002859.7A
Other languages
English (en)
Other versions
CN110999290A (zh
Inventor
马祥
赵寅
杨海涛
陈建乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN110999290A publication Critical patent/CN110999290A/zh
Application granted granted Critical
Publication of CN110999290B publication Critical patent/CN110999290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于对视频数据块进行编码的方法包括：对重构亮度块进行降采样以获得降采样亮度块；从所述重构亮度块上方的重构相邻亮度样本或所述重构亮度块左侧的重构相邻亮度样本中确定最大亮度值和最小亮度值；基于所述最大亮度值和所述最小亮度值的位置，从所述目标色度块的重构相邻色度样本导出所述最大亮度值和最小亮度值相应对应的第一色度值和第二色度值；基于所述最大和最小亮度值以及所述第一和第二色度值，计算跨分量线性模型(cross‑component linear model，CCLM)预测模式的参数；以及基于所述参数和所述降采样亮度块，生成所述目标色度块的预测色度值。

Description

使用跨分量线性模型进行帧内预测的方法和装置
相关申请案交叉申请
本发明要求2018年7月15日递交的第62/698,279号美国临时专利申请案的在先申请优先权，该在先申请的全部内容以引入的方式并入本文本中。
技术领域
本发明涉及视频编码和解码，尤其涉及使用跨分量线性模型进行帧内预测编码的技术。
背景技术
自从DVD光盘问世以来，数字视频已被广泛使用数字视频首先进行编码，然后使用传输介质进行传输观看者接收视频并使用观看设备来解码和显示视频多年来，由于分辨率、色深和帧率更高等原因，视频质量有所提高这带来了更大的数据流，这些数据流现在通常通过互联网和移动通信网络进行传输。
然而，视频分辨率越高，所需带宽通常也更多，因为这类视频具有更多信息为了降低带宽要求，已经引入了涉及视频压缩的视频编码标准在对视频进行编码时，降低带宽要求(或在存储时降低对应的存储器要求)这种降低通常会导致质量下降因此，视频编码标准试图在带宽要求和质量之间找到平衡。
由于需要不断提高质量并降低带宽要求，因此在不断探索在保持质量的同时，降低带宽要求或者在提高质量的同时保持带宽要求的方案。此外，有时折衷是可以接受的。例如，如果质量明显提升，则可以接受提高带宽要求。
高效率视频编码(High Efficiency Video Coding，HEVC)是本领域技术人员所熟知的视频编码标准的一个示例。在HEVC中，将编码单元(coding unit，CU)划分为预测单元(prediction unit，PU)或变换单元(transform unit，TU)通用视频编码(Versatile VideoCoding，VVC)下一代标准是ITU-T视频编码专家组(Video Coding Experts Group，VCEG)和ISO/IEC运动图像专家组(Moving Picture Experts Group，MPEG)标准组织最近的联合视频项目，这两个标准组织以联合视频探索小组(Joint Video Exploration Team，JVET)为名共同合作。VVC也称为ITU-T H.266/下一代视频编码(Next Generation Video Coding，NGVC)标准。在VVC中，删除了多个分区类型的概念，即删除了CU、PU和TU概念的分离，除非由于CU的大小对于最大变换长度来说太大而需要将这些概念分离。VVC还支持更灵活的CU分区形状。
发明内容
本发明描述了使用跨分量线性模型进行帧内预测编码的方法和装置。所述方法和装置可以用于现有视频编解码器，例如高效率视频编码(High Efficiency Video Coding，HEVC)以及任何未来的视频编码标准。
本发明的目的是提供一种用于对视频数据块进行跨分量预测的方法。所述方法可以包括对重构亮度块进行降采样以获得降采样亮度块，所述重构亮度块对应目标色度块。所述方法还可以包括从所述重构亮度块上方的重构相邻亮度样本和/或所述重构亮度块左侧的重构相邻亮度样本中确定最大亮度值和最小亮度值，所述重构亮度块上方的所述重构相邻亮度样本与所述重构亮度块相邻。所述方法还可以包括：基于所述最大亮度值和所述最小亮度值的位置，从所述目标色度块的重构相邻色度样本导出所述最大亮度值和最小亮度值相应对应的第一色度值和第二色度值；基于所述最大和最小亮度值以及所述第一色度值和所述第二色度值，计算跨分量线性模型(cross-component linear model，CCLM)预测模式的参数；以及基于所述CCLM预测模式的所述参数和所述降采样亮度块，生成所述目标色度块的预测色度值。
在本发明的其它方面中，提供了一种用于处理视频数据块的装置。所述装置可以包括处理器和存储有指令的存储器，当所述指令由所述处理器执行时，使得所述处理器对重构亮度块进行降采样以获得降采样亮度块，所述重构亮度块对应目标色度块。当所述存储的指令由所述处理器执行时，还使得所述处理器从所述重构亮度块上方的重构相邻亮度样本和/或所述重构亮度块左侧的重构相邻亮度样本中确定最大亮度值和最小亮度值，其中所述重构亮度块上方的所述重构相邻亮度样本与所述重构亮度块相邻。当所述存储的指令由所述处理器执行时，还使得所述处理器：基于所述最大亮度值和所述最小亮度值的位置，从所述目标色度块的重构相邻色度样本导出所述最大亮度值和最小亮度值相应对应的第一色度值和第二色度值；基于所述最大和最小亮度值以及所述第一和第二色度值，计算跨分量线性模型(cross-component linear model，CCLM)预测模式的参数；以及基于所述CCLM预测模式的所述参数和所述降采样亮度块，生成所述目标色度块的预测色度值。所述装置还包括：帧间预测单元；滤波器，用于对所述重构块进行降采样以获得滤波块；以及缓冲器，用于存储所述滤波块并向所述帧间预测单元提供所述滤波块以生成预测视频数据块。
在一些实施例中，所述处理器用于获取区域中所述最大亮度值的位置M和所述最小亮度值的位置N，其中所述区域包括所述重构亮度块上方的所述相邻亮度样本。所述处理器还用于获取与所述最大亮度值所对应的所述目标色度块相邻的临近色度样本中的第一位置处的所述第一色度值，以及与所述最小亮度值所对应的所述目标色度块相邻的所述临近色度样本中的第二位置处的所述第二色度值。
在一实施例中，所述区域还包括所述重构色度块左侧的相邻亮度样本，或所述降采样亮度块左侧的相邻亮度样本。
在一实施例中，在M为所述重构亮度块的相邻上方行的第M个位置的情况下，所述第一位置为所述目标色度块的相邻上方行的第M/2或(M+1)/2或(M-1)/2个位置。
在一实施例中，在N为所述重构亮度块的相邻上方行的第N个位置的情况下，所述第二位置为所述目标色度块的相邻上方行的第N/2或(N+1)/2或(N-1)/2个位置。
在一实施例中，在M为所述重构亮度块或所述降采样亮度块的相邻左列的第M个位置的情况下，所述第一位置为所述目标色度块的相邻左列的第M/2或(M+1)/2或(M-1)/2个位置
在一实施例中，在N为所述重构亮度块或所述降采样亮度块的相邻左列的第N个位置的情况下，所述第二位置为所述目标色度块的相邻左列的第N/2或(N+1)/2或(N-1)/2个位置。
本发明的其它方面和优点在以下结合附图所做的详细描述中显而易见，所述附图通过示例的方式示出了所述实施例的原理。
附图说明
为了便于更好地理解本发明，现在参考附图，其中相同的元素通过相同的标号引用。这些附图不应视为限制本发明，而是仅为示例性的。
图1为根据本发明一些实施例的包括滤波器的编码装置的方框图。
图2为根据本发明一些实施例的包括滤波器的解码装置的方框图。
图3为亮度和色度样本相对于彼此的位置的示意图。
图4包括图4A和图4B，为用于对降采样的重构亮度块进行缩放的缩放参数的示例导出位置的示意图。图4A示出了共置亮度块的相邻重构像素的示例。图4B示出了色度块的相邻重构像素的示例。
图5为可在本发明实施例中采用的视频分量采样格式的一个示例的示意图。
图6为可在本发明实施例中采用的视频分量采样格式的另一示例的示意图。
图7示出了根据本发明实施例的阈值相关曲线的图。
图8为根据本发明实施例的在最小亮度值和最大亮度值之间延伸的直线的图。
图9包括图9A和图9B，为根据本发明实施例的用于基于降采样亮度块导出线性模型系数的示例***结构。图9A示出了示例原始(重构)亮度块，图9B示出了示例降采样亮度块。
图10包括图10A和图10B，为根据本发明另一实施例的用于基于降采样亮度块导出线性模型系数的示例***结构。图10A示出了示例原始(重构)亮度块，图10B示出了示例降采样亮度块。
图11包括图11A和图11B，为根据本发明实施例的用于基于降采样色度块导出线性模型系数的示例***结构。图11A示出了示例原始(重构)亮度块，图11B示出了示例降采样色度块。
图12包括图12A至图12C，为根据本发明实施例的用于基于降采样亮度和色度块导出线性模型系数的示例***结构。图12A示出了示例原始(重构)亮度块，图12B示出了示例降采样亮度块，图12C示出了示例降采样色度块。
图13为根据本发明一些实施例的使用跨分量线性模型(cross-component linearmodel，CCLM)预测模式的块预测方法的简化流程图。
图14为可以用来实施本发明各种实施例的装置的方框图。
具体实施方式
以下结合附图进行描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其它方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。
可以理解的是，与所描述的方法有关的内容对于与用于执行方法对应的设备或***也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，对应的设备可以包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细阐述或说明。此外，应理解，除非另外具体指出，否则本文中描述的各种示例性方面的特征可彼此组合。
视频图像也称为帧，可以包括三个样本阵列，表示为SL、Scb和Scr。SL为二维亮度样本阵列(也称为块)。Scb为二维Cb色度样本阵列。Scr为二维Cr色度样本阵列。色度(chrominance)样本也可以称为“色度(chroma)”样本。图像也可以是单色的，并且可以仅包括亮度样本阵列。视频分片(即视频帧或视频帧的一部分)可以分成视频块，视频块也可以称为编码树块，编码树块可以是NxN样本块。
本文中所使用的术语“块”是指任何类型的块或任何深度的块，例如，术语“块”可以包括但不限于根块、块、子块、叶节点等。待编码的块的大小不一定要相同。一个图像可能包括大小不同的块，视频序列的不同图像的块栅格也可能不同。变换块是指应用相同变换的样本的矩形(正方形或非正方形)块。术语“编码单元(coding unit，CU)”和“预测单元(prediction unit，PU)”是指当前正在编码的编码单元和预测单元。编码单元(codingunit，CU)的每个变换单元(“transform unit，TU”)与亮度变换块、Cb变换块以及Cr变换块相关联。
图1示出了根据一实施例的编码装置100，其包括根据一实施例的滤波器120。编码装置100用于对视频信号帧的块进行编码，视频信号包括多个帧(本文中也称为图像或图片)，其中每个帧可包括多个块，并且每个块可包括多个像素。在一实施例中，块可以是宏块、编码树单元、编码单元、预测单元和/或预测块。
在图1所示的示例性实施例中，以混合视频编码编码器的形式实现编码装置100。通常，视频信号的第一帧为帧内编码帧，仅使用帧内预测进行编码。为此，图1所示的编码装置100的实施例包括用于进行帧内预测的帧内预测单元154。帧内编码帧可以在没有其它帧的信息的情况下进行解码。帧内预测单元154可以基于帧内估计单元152提供的信息对块执行帧内预测。
可以使用帧间预测或帧内预测对第一帧内编码帧之后的后续帧的块进行编码，如模式选择单元160所选择的。为此，编码装置100还可以包括帧间预测单元144。通常，帧间预测单元144可以用于基于帧间估计单元142提供的运动估计对块执行运动补偿。
在一实施例中，编码装置100还可以包括用于确定原始块和其预测值之间的差异的残差计算单元104，即定义帧内/帧间图像预测的预测误差的残差块由变换单元106(例如使用DCT)对残差块进行变换以生成变换系数，由量化单元108对变换系数进行量化。例如，由帧内预测单元154、帧间预测单元144和滤波器120提供量化单元108的输出以及编码信息或边信息，并由熵编码单元170对这些输出和信息进行进一步编码，以生成编码图像数据。
混合视频编码器通常复制解码器处理以便二者生成相同的预测值。因此，在图1所示的实施例中，逆量化单元110和逆变换单元112执行变换单元106和量化单元108的逆操作，并复制残差块的解码近似值。然后，重构单元114将解码残差块的数据添加到预测结果中，即预测块中。然后，可以将重构单元114的输出提供给(行)缓冲器116以用于帧内预测，并由滤波器120进一步处理，下文将详细描述最终图像存储在解码图像缓冲器130中并且可以用于后续帧的帧间预测。
图2示出了根据本发明实施例的包括滤波器220的解码装置200。解码装置200用于对帧的编码视频(或图像)块进行解码。在图2所示的实施例中，解码装置200可以实施为混合解码器。熵解码单元204执行编码图像数据的熵解码，编码图像数据通常可能含有预测误差(即残差块)、运动数据和其它边信息，帧内预测单元254、帧间预测单元244以及解码装置200的其它部件，例如滤波器220，尤其需要这些信息。通常，图2所示的解码装置200的帧内预测单元254和帧间预测单元244由模式选择单元260选择，并且以与图1所示的编码装置100的帧内预测单元154和帧间预测单元144相同的方式运作，使得编码装置100和解码装置200可以生成相同的预测值。解码装置200的重构单元214用于基于逆量化单元210和逆变换单元212提供的滤波预测块和残差块对视频块进行重构。如编码装置100中一样，可以向用于帧内预测的行缓冲器216提供重构块，并且可以由用于帧间预测的滤波器220向解码图像缓冲器230提供滤波块/帧。
本发明描述了用于视频编码和压缩的技术。具体而言，本发明描述了用于线性模型(Linear Model，LM)预测视频编码模式的技术。在LM预测视频编码模式中，根据缩放的、降采样的、重构的对应亮度块预测色度块(即，该缩放的、降采样的、重构的对应亮度块构成用于预测色度块的预测块)。
在一些示例性实施例中，对重构的对应亮度块的降采样包括滤波，本发明描述了执行此类滤波的示例性实施例。此外，本发明描述的技术也可适用于以下情况：LM预测模式中所使用的亮度样本位于不同的片中。
因此，本发明描述的技术与线性模型(Linear Model，LM)预测模式有关，该预测模式用于减少视频编码中的分量间冗余。本发明所描述的技术可以在高级视频编解码器的环境中使用，例如高效视频编码(high efficiency video coding，HEVC)标准的扩展或下一代视频编码标准，例如建立在HEVC之上的联合探索模型(Joint Exploration Model，JEM)。
在执行LM预测编码或解码时，视频编码器或视频解码器(统称为视频编解码器)从用于降采样的视频数据存储器中提取相邻亮度样本，以确定用于对降采样的对应亮度块进行缩放的缩放参数。如果用于对相邻亮度样本进行降采样的滤波器使用了存储在本地(例如，存储在编码电路的本地存储器中)的相邻亮度样本的范围之外的相邻亮度样本，则视频编码器或视频解码器从外部存储器中检索亮度样本可能会浪费处理时间和存储器带宽。例如，在视频编码技术而非通用视频编码中，可能存在以下问题：执行LM预测模式操作需要从存储器中提取亮度样本值，这可能需要额外的处理时间和存储器带宽。本发明描述了减少需要相对较高的处理时间和存储器带宽的取样样本的数量的示例性实施例。
在一示例性实施例中，在提取用于执行降采样的相邻亮度样本时，视频编码器和视频解码器(即视频编解码器)可以将特定亮度样本(例如，未存储在本地存储器中的亮度样本或尚未生成的亮度样本)排除在外。这样，提取样本不会使视频编码器和视频解码器访问非本地(即外部)存储器。相反，在示例性实施例中，视频编码器或视频解码器仅从本地存储器中提取亮度样本，例如，以便用于LM预测模式操作。
在一些实施例中，视频编码器和视频解码器(统称为视频编解码器)根据视频压缩标准进行操作视频编码标准的示例包括ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-TH.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也称为ISO/IEC MPEG-4AVC)，包括其分层编码(Scalable Video Coding，SVC)和多视角视频编码(Multi-view Video Coding，MVC)扩展。
此外，ITU-T视频编码专家组(Video Coding Experts Group，VCEG)和ISO/IEC运动图像专家组(Motion Picture Experts Group，MPEG)的视频编码联合协作小组(JointCollaboration Team on Video Coding，JCT-VC)最近已经开发了一个新的视频编码标准，即高效率视频编码(High Efficiency Video Coding，HEVC)HEVC草案规范，以下称为HEVCWD，可从以下地址获取：http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip。HEVC标准也在ITU-T H.265建议书和国际标准ISO/IEC23008-2中共同提出，两者标题均为“高效率视频编码(High efficiency video coding)”，均于2014年10月发布。
HEVC的规范及其扩展，包括格式范围扩展(Format Range Extension，RExt)、HEVC分层扩展(Scalable Extension of HEVC，SHVC)和多视角HEVC(Multi-View HEVC，MV-HEVC)扩展，可从以下地址获取：http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip。
视频编码可以基于颜色空间和颜色格式执行。例如，彩***在使用各种颜色空间来有效表示颜色的多媒体***中起着重要作用。颜色空间使用多个分量通过数值来指定颜色，一个流行的颜色空间是RGB颜色空间，其中的颜色表示为三个主要颜色分量值(即红色、绿色和蓝色)的组合对于彩***压缩，YCbCr颜色空间已广泛使用，如下文中所描述的：A.Ford和A.Roberts所著的“色彩空间转换(Colour space conversions)”，技术报告，伦敦威斯敏斯特大学，1998年8月。
YCbCr可以通过线性变换从RGB颜色空间轻松转换而来，显著降低了YCbCr颜色空间中的不同分量之间的冗余，即跨分量冗余。由于Y信号传送亮度信息，因此YCbCr的一个优点是与黑白电视的向后兼容性。此外，通过以4:2:0的色度采样格式对Cb和Cr分量进行二次采样，可以减少色度带宽，该二次采样的主观影响与RGB颜色空间中的二次采样相比明显更小。由于这些优点，YCbCr一直是视频压缩的主要颜色空间。视频压缩中还使用其它颜色空间，例如YCoCg。在本发明中，无论实际使用何种颜色空间，Y、Cb、Cr都用于表示视频压缩方案中的三个颜色分量。
在4:2:0采样中，两个色度阵列中的每一个只有亮度阵列的一半高度和一半宽度。图3示出了图像中亮度和色度样本的标称垂直和水平相对位置。
为了减少跨分量冗余，在JEM中使用跨分量线性模型(cross-component linearmodel，CCLM)预测模式，使用以下线性模型基于相同CU的重构亮度样本来预测色度样本：
predC(i,j)＝α·recL′(i,j)+β (1)
其中，predC(i,j)表示CU中的预测色度样本，recL(i,j)表示相同CU的降采样重构亮度样本。参数α和β通过根据以下等式(2)和(3)通过将当前块周围的相邻重构亮度和色度样本之间的回归误差减到最小来导出：
Figure GDA0003025202200000061
Figure GDA0003025202200000062
其中，L(n)表示降采样的上方和左侧的相邻重构亮度样本，C(n)表示上方和左侧的相邻重构色度样本，N的值等于当前色度编码块的宽度和高度的最小值的两倍。对于具有正方形形状的编码块，直接应用以上等式(2)和(3)。对于非正方形编码块，首先对较长边的相邻样本进行二次采样以获得与较短边相同数量的样本。
图4包括图4A和图4B，为示出用来对降采样的重构亮度块进行缩放的缩放参数的示例导出位置的示意图。图4示出了左侧和上方的因果样本(causal sample)的位置以及CCLM模式中涉及的当前块的样本的示例。白色正方形为当前块的样本，阴影圈为重构样本。图4A示出了共置亮度块的相邻重构像素的示例。图4B示出了色度块的相邻重构像素的示例。如果视频格式为YUV4:2:0，则存在一个16x16亮度块和两个8x8色度块。
该回归误差最小化计算作为解码过程的一部分执行，而不是仅仅作为编码器搜索操作，因此不使用语法来传送α值和β值。
CCLM预测模式还包括两个色度分量之间的预测，即，从Cb分量预测Cr分量在残差域中使用CCLM Cb到Cr预测，而不使用重构样本信号。这是通过根据等式(4)将加权重构Cb残差值与原始Cr帧内预测值相加以形成最终Cr预测值来实现的：
Figure GDA0003025202200000063
缩放因子α的导出方式与CCLM亮度到色度预测中类似，唯一的区别是增加了与误差函数中的默认α值有关的回归成本，以便导出的缩放因子偏向默认值–0.5，如下所示：
Figure GDA0003025202200000071
其中Cb(n)表示相邻重构Cb样本，Cr(n)表示相邻重构Cr样本，λ等于∑(Cb(n)·Cb(n))＞＞9。
图5为示出可在本发明实施例中采用的视频分量采样格式的一个示例的示意图。
图6为示出可在本发明实施例中采用的视频分量采样格式的另一示例的示意图。
增加CCLM亮度到色度预测模式作为一种附加色度帧内预测模式。在编码器侧，针对色度分量增加了一次率失真成本检查以选择色度帧内预测模式。当针对CU的色度分量使用了帧内预测模式而非CCLM亮度到色度预测模式时，针对Cr分量预测使用CCLM Cb到Cr预测。
在JEM中有两种CCLM模式：单模型CCLM模式和多模型CCLM模式(multiple modelCCLM mode，MMLM)。如名称所示，单模型CCLM模式使用一个线性模型针对整个CU根据亮度样本预测色度样本，而在MMLM中可以有两个线性模型。在MMLM中，当前块的相邻亮度样本和相邻色度样本分类为两组，每组用作一个训练集以导出一个线性模型(即，针对特定组导出特定α和特定β)。此外，当前亮度块的样本也基于与相邻亮度样本相同的分类规则进行分类。
在一实施例中，将Rec′L[x,y]小于等于阈值的相邻样本分类为组1；而将Rec′L[x,y]大于阈值的相邻样本分类为组2。将阈值计算为相邻重构亮度样本的平均值。
可以通过以下等式(6)生成位置(x，y)处的分量间预测值：
Figure GDA0003025202200000072
图7示出了根据本发明实施例的阈值相关曲线的图。
为了执行跨分量预测，针对4:2:0色度格式，需要对重构亮度块进行降采样以匹配色度信号的大小通过等式(7)计算CCLM模式中使用的默认降采样滤波器：
Rec′L[x，y]＝(2×RecL[2x，2y]+2×RecL[2x，2y+1]+RecL[2x-1，2y]+RecL[2x+1，2y]+RecL[2x-1，2y+1]+RecL[2x+1，2y+1]+4)>>3 (7)
需注意，该降采样假设色度样本位置相对于亮度样本位置为“0型”相位关系，即水平并置采样和垂直间隙采样。
在一实施例中，针对单模型CCLM模式和多模型CCLM(multiple model CCLM，MMLM)模式都使用6抽头降采样滤波器。
对于MMLM模式，编码器可以替代性地选择四个附加亮度降采样滤波器中的一个以用于CU中的预测，并发送滤波器索引来指示使用了这些滤波器中的哪一个。用于MMLM模式的四个可选的亮度降采样滤波器如下：
Rec'L[x,y]＝(RecL[2x,2y]+RecL[2x+1,2y]+1)>>1 (8)
Rec'L[x,y]＝(RecL[2x+1,2y]+RecL[2x+1,2y+1]+1)>>1 (9)
Rec'L[x,y]＝(RecL[2x,2y+1]+RecL[2x+1,2y+1]+1)>>1 (10)
Rec'L[x,y]＝(RecL[2x,2y]+RecL[2x,2y+1]+RecL[2x+1,2y]+RecL[2x+1,2y+1]+2)>>2 (11)
跨分量线性模型预测
为了导出线性模型系数，对上方和左侧的相邻重构亮度样本进行降采样以获得与上方和左侧的相邻重构色度样本的一对一关系。为了获得线性模型系数参数α和β，本发明实施例仅使用最小值和最大值：2个点(亮度和色度对)，(A，B)是该组相邻亮度样本内的最小值和最大值，如图8所示。
图8为示出根据本发明一些实施例的在最小亮度值A和最大亮度值B之间延伸的直线的图。该直线通过等式Y＝αx+β表示，其中线性模型参数α和β根据以下等式(12)和(13)获得：
Figure GDA0003025202200000081
β＝yA-αxA (13)
这里注意，从降采样亮度相邻重构样本和色度相邻重构样本中选择2个点(亮度和色度对)(A，B)。
相邻样本的降采样方法
实际上，YUV4:2:0是视频序列或图像的一种常用格式，由于亮度部分的空间分辨率大于色度部分的空间分辨率，所以，对于LM模式，通常需要将亮度部分的分辨率降采样到色度部分的分辨率。例如，对于YUV4:2:0格式，通常需要将亮度部分降采样4(将宽度降采样2、高度降采样2)。然后，使用降采样的亮度块(其空间分辨率与色度部分的空间分辨率相同)和色度块以CCIP模式执行预测。
这种方法也适用于相邻样本为了导出线性模型系数，也需要对上方和左侧的相邻重构亮度样本进行降采样以获得与上方和左侧的相邻重构色度样本的一对一关系。
图9包括图9A和图9B，示出了相邻降采样过程，其中左侧的块为原始或重构块(图9A)，右侧的块为降采样块(图9B)。参考图9A，原始(重构)块是亮度块2个顶部相邻行A1和A2将用于降采样以获得降采样相邻行A。A[i]是降采样相邻行A中的第i个样本，A1[i]是A1中的第i个样本，A2[i]是A2中的第i个样本。在一示例性实施例中，如果使用6抽头降采样滤波器，则通过等式(14)计算第i个样本：
A[i]＝(A2[2i]*2+A2[2i-1]+A2[2i+1]+A1[2i]*2+A1[2i-1]+A1[2i+1]+4)>>3(14)
其中，“>>”表示向右的位移操作，即，>>3表示向右移动3位。
并且，将使用3个左侧相邻列L1、L2和L3进行降采样以获得L列。例如，如果使用6抽头降采样滤波器，则通过等式(15)计算L[i]样本：
L[i]＝(L2[2i]*2+L1[2i]+L3[2i]+L2[2i+1]*2+L1[2i+1]+L3[2i+1]+4)>>3(15)
其中，L[i]是L列中的第i个样本，L1[i]是L1列中的第i个样本，L2[i]是L2列中的第i个样本，L3[i]是L3列中的第i个样本，“>>”表示向右的位移操作。
图9B示出了上述降采样过程之后的示例降采样亮度块“亮度'”。
对于LM模式，相邻样本的数量也可以大于当前块的大小。图10包括图10A和图10B，示出了相邻降采样过程，其中左侧的块为原始块(图10A)，右侧的块为降采样块(图10B)图10A示出了示例，原始亮度块“亮度”2个顶部相邻行A1和A2的大小大于当前亮度块的行大小，并且将用于降采样以获得降采样相邻行A，如图10B所示。将使用三个左侧相邻列L1至L3进行降采样以获得L列。图10B示出了降采样亮度块“亮度'”，其中顶部相邻样本A的大小M大于降采样块“亮度'”的大小W，左侧降采样列“L”的大小“N”大于降采样块“亮度'”的列的大小“H”。
在一些LM过程中，将使用2行相邻重构亮度样本来获得降采样的顶部相邻重构亮度样本。与常规帧内模式预测相比，此类LM过程将增加行缓冲器，从而增加存储器成本。并且，为了获得降采样的相邻重构样本，需要使用多抽头降采样滤波器进行降采样操作，这将增加解码器复杂度。
尽管相关技术中已经显示出了LM模式的压缩优势，但是可以对一些区域进行优化以在解码器侧实现低成本具体而言，本发明人已经确定了改进的技术方案，下面将详细描述。
在不增加行缓冲器的大小且不引入降采样操作的情况下，可以在相邻的1行和1列中的原始重建样本中获得最大亮度值和最小亮度值。
本发明实施例结合图9和图10提供了使用上述降采样操作的改进过程和技术。在一实施例中，可以使用当前块上方的相邻降采样行或当前块左侧的相邻降采样列。在另一实施例中，可以使用当前块上方的相邻降采样行或重构亮度样本左侧的原始三个相邻列。
在本发明中，提供了改进的技术方案以获得最大亮度值和最小亮度值以及对应的色度值，以便导出线性模型(linear model，LM)系数。在提出的方案中，不是使用2行亮度样本进行降采样，而是仅使用1行原始重构亮度重构样本来搜索(确定)最大亮度值和最小亮度值，而对于左侧相邻样本，可以使用三个左侧的相邻列。此外，也可以仅使用1列亮度重构样本来搜索(确定)最大亮度值和最小值。
第一实施例：使用重构亮度样本上方相邻行中的样本和左侧相邻列中的样本。
根据第一实施例，上方相邻行中的相邻原始重构亮度样本为A1[i](i≥0且≤2W-1)左侧相邻列中的相邻原始重构亮度样本为L1[i](i≥0且≤2H-1)。
上方行中的相邻色度样本为A[i](i≥0且≤W-1)左侧的相邻色度样本为L[i](i≥0且≤H-1)。
如果最大亮度值和最小亮度值(统称为最大/最小值)在上方相邻行中，且样本位置的索引为M，则对应的色度样本的位置为M/2，对应的色度值为A[M/2]。
如果最大/最小值在左侧列中且样本位置的索引为N，则对应的色度样本的位置为N/2，对应的色度值为L[N/2]。
在一实施例中，如果最大/最小值在上方行中，则除了使用M/2来获得色度样本的位置外，还可以使用(M+1)/2，这时对应的色度值为A[(M+1)/2]。
在一实施例中，如果最大/最小值在相邻上方行中，则除了使用M/2来获得色度样本的位置外，还可以使用(M-1)/2，这时对应的色度值为A[(M-1)/2]。
在一实施例中，如果最大/最小值在左侧列中，则除了使用N/2来获得色度样本的位置外，还可以使用(N+1)/2，这时对应的色度值为L[(N+1)/2]。
在一实施例中，如果最大/最小值在左侧列中，则除了使用N/2来获得色度样本的位置外，还可以使用(N-1)/2，这时对应的色度值为L[(N-1)/2]。
在一实施例中，为了加快搜索操作的速度，搜索步长“s”可以大于1，这表示只检查A1[s*j]和L1[s*J]以搜索最大/最小值，其中s为正整数。
如图10所示的情况，当相邻样本的数量大于当前块的大小时，该方法也适用。
第二实施例：使用重构亮度样本上方的相邻行和左侧的三个相邻列
根据第二实施例，将仅使用1行亮度重构样本来获得最大/最小亮度值，而左侧的三列可以用于获得最大/最小亮度值。换句话说，根据第二实施例，将在上方行中的原始重构亮度样本和左侧列中的降采样亮度样本中获得最大/最小亮度值。
参考图12A，上方行中的相邻原始重构亮度样本为A1[i](i≥0且≤2W-1)。参考图12B，左侧列中的降采样相邻亮度样本为L4[i](i≥0且≤H-1)。
参考图12C，上方行中的相邻色度样本为A[i](i≥0且≤W-1)左侧列中的相邻色度样本为L[i](i≥0且≤H-1)。
在一实施例中，如果最大/最小值在上方行中且样本位置的索引为M，则对应的色度样本的位置为M/2，对应的色度值为A[M/2]。
在一实施例中，如果最大/最小值在左侧L4列中且样本位置的索引为N，则对应的色度样本的位置为N，对应的色度值为L[N]。
在一实施例中，如果最大/最小值在上方行中，则除了使用M/2来获得色度样本的位置外，还可以使用(M+1)/2，这时对应的色度值为A[(M+1)/2]。
在一实施例中，如果最大/最小值在上方行中，则除了使用M/2来获得色度样本的位置外，还可以使用(M-1)/2，这时对应的色度值为A[(M-1)/2]。
在一实施例中，为了加快搜索操作的速度，搜索步长s可以大于1，这表示只检查A1[s*j]以搜索最大/最小值。
如图10所示的情况，当相邻样本的数量大于当前块的大小时，该方法也适用。
在目前的CCIP或LM方法中，为了获得最大/最小亮度值，需要2行亮度样本来获得降采样的顶部相邻样本，但这会增加行缓冲器的大小并增加存储器成本。而且，对于降采样操作，解码器复杂度将会增加。
根据本发明实施例，将仅使用1行相邻重构亮度样本来获得最大/最小亮度值以及对应的色度值对于上方行，没有降采样操作。
在第一实施例中，将仅使用1行相邻重构亮度样本和1列相邻重构亮度样本来获得最大/最小亮度值以及对应的色度值。
在第二实施例中，将仅使用1行相邻重构亮度样本来获得最大/最小亮度值，而对于左侧的相邻样本，则可以使用现有方法。换句话说，在该方法中，将在与原始重构亮度块相邻的行上方的原始重构亮度样本以及原始重构亮度块左侧三列中的降采样亮度样本中获得最大/最小亮度值。
因此，上述实施例将不会增加行缓冲器，从而保持较低的存储器成本。
此处需注意，本发明中描述的实施例用于获得最大/最小亮度值以及对应的色度值，以便导出线性模型系数用于色度帧内预测，将过程步骤或硬件单元嵌入到帧内预测模块中。因此，过程步骤或硬件单元既存在于解码器单元中，也存在于编码器单元中。并且，编码器(编码单元)和解码器(解码单元)中的用于获得最大/最小亮度值和对应的色度值的过程步骤或硬件单元可以相同。
对于色度块，使用LM模式获得其预测值。首先，需要获得或接收对应的降采样亮度样本，然后在相邻样本中获得最大/最小亮度值和对应的色度值以计算线性模型系数，然后使用导出的线性模型系数和降采样亮度块，获得当前色度块的预测值。
本发明涉及获得最大/最小亮度值和对应的色度值，用于导出线性模型系数以下描述将集中于用于获得最大/最小亮度值和对应的色度值的方案。
图13为示出根据本发明一实施例的使用跨分量线性模型(cross-componentlinear model，CCLM)预测模式的视频数据块预测方法130的简化流程图。方法130可包括以下步骤：
步骤1310：对重构亮度块进行降采样以获得降采样亮度块，重构亮度块对应目标色度块。由于亮度部分的空间分辨率通常比色度部分的空间分辨率要高，因此通常需要对亮度部分进行降采样以匹配色度部分的分辨率。
步骤1320：从重构亮度块上方的重构相邻亮度样本和/或从重构亮度块左侧的重构相邻亮度样本中确定最大亮度值和最小亮度值。重构亮度块上方的重构相邻亮度样本与重构亮度块相邻。
步骤1330：基于最大亮度值和最小亮度值的位置，从目标色度块的重构相邻色度样本导出最大亮度值和最小亮度值分别对应的第一色度值和第二色度值。可以基于上面第一实施例中所描述的步骤来确定最大亮度值和最小亮度值对应的色度值。在一些实施例中，可以仅使用1行重构亮度样本和1列重构亮度样本来确定最大亮度值和最小亮度值，并且可以根据最大亮度值和最小亮度值分别获得对应的色度值。
在一实施例中，导出第一色度值和第二色度值包括：获取区域中的最大亮度值的位置M和最小亮度值的位置N，其中该区域包括重构亮度块上方的相邻亮度样本；以及获取与最大亮度值所对应的目标色度块相邻的临近样本中的第一位置处的第一色度值，以及与最小亮度值所对应的目标色度块相邻的临近色度样本中的第二位置处的第二色度值。在一实施例中，该区域还包括重构色度块左侧的相邻亮度样本，或降采样亮度块左侧的相邻亮度样本。
在M为重构亮度块的相邻上方行的第M个位置的情况下，第一位置为目标色度块的相邻上方行的第M/2或(M+1)/2或(M-1)/2个位置。在N为重构亮度块的相邻上方行的第N个位置的情况下，第二位置为目标色度块的相邻上方行的第N/2或(N+1)/2或(N-1)/2个位置。
在M为重构亮度块或降采样亮度块的相邻左侧列的相邻上方行的第M个位置的情况下，第一位置为目标色度块的相邻左侧列的第M/2或(M+1)/2或(M-1)/2个位置。在N为重构亮度块或降采样亮度块的相邻左侧列的第N个位置的情况下，第二位置为目标色度块的相邻左侧列的第N/2或(N+1)/2或(N-1)/2个位置。
在第一实施例的示例中，重构亮度块上方的相邻原始重构亮度样本为A1[i](i≥0且≤2W-1)左侧的相邻原始重构亮度样本为L1[i](i≥0且≤2H-1)(参见图11A)。
色度块上方的相邻色度样本为A[i](i≥0且≤W-1)左侧的相邻色度样本为L[i](i≥0且≤H-1)(参见图11B)可以基于以下条件确定色度值：
如果最大亮度值和最小亮度值(统称为最大/最小值)在上方相邻行中，且最大/最小值的样本位置的索引为M，则对应的色度样本的位置为M/2，对应的色度值为A[M/2]。
如果最大/最小值在左侧列中且样本位置的索引为N，则对应的色度样本的位置为N/2，对应的色度值为L[N/2]。
如果最大/最小值在上方行中，则除了使用M/2来获得色度样本的位置外，还可以使用(M+1)/2，这时对应的色度值为A[(M+1)/2]。
如果最大/最小值在相邻上方行中，则除了使用M/2来获得色度样本的位置外，还可以使用(M-1)/2，这时对应的色度值为A[(M-1)/2]。
如果最大/最小值在左侧列中，则除了使用N/2来获得色度样本的位置外，还可以使用(N+1)/2，这时对应的色度值为L[(N+1)/2]。
如果最大/最小值在左侧列中，则除了使用N/2来获得色度样本的位置外，还可以使用(N-1)/2，这时对应的色度值为L[(N-1)/2]。
在一些其它示例中，将仅使用1行亮度重构样本来获得最大/最小亮度值，而左侧的三列可以用于获得最大/最小亮度值。上文已经根据第二实施例详细描述了这些示例实施例，因此，为简洁起见，此处不再赘述这些示例实施例。
步骤1340：基于最大亮度值和最小亮度值以及对应的第一色度值和第二色度值，计算跨分量线性模型(cross-component linear model，CCLM)预测模式的参数计算最大亮度值和最小亮度值以及对应的色度值之后，使用等式(2)和等式(3)导出线性模型系数。
步骤1350：基于CCLM预测模式的参数和降采样的亮度块，生成目标色度块的预测色度值。基于最大和最小亮度值的位置，从重构的上方相邻色度块或重构的左侧相邻色度块，导出最大亮度值和最小亮度值所对应的相应色度值获得线性模型系数之后，可以使用等式(1)导出预测色度值的预测或生成。
在一些示例中，基于最小均方(least mean square，LMS)算法分别获得等式(2)和(3)中的线性模型参数α和β。通过考虑用乘法替代除法运算，下面的表1给出了与最小均方算法相关的复杂度。
表1
运算 LMS中的运算次数
乘法 2N+2+2
加法 7N+3
“除法” 2
其中，N为边界中的色度样本的数量需注意，可以使用表、乘法和移位操作来实施除法。
根据本发明实施例，可以用如图8所示的直线方程来替代用于确定线性模型参数α和β的LMS算法。分别通过等式(12)和等式(13)获得线性模型参数α和β。在一些实施例中，可以通过乘法和右移操作来实施除法。为了导出色度预测值，使用以下等式所示的整数操作来实施乘法：
Figure GDA0003025202200000121
Figure GDA0003025202200000122
表示下采样后的与色度块对应的重建亮度块。
由于位移操作S始终具有相同的值，因此该实施方式比当前的LMS实施方式更简单。
表2示出了LMS算法和本发明提供的方案之间的运算次数。
表2
运算 LMS中的运算次数 根据本发明的运算次数
乘法 2N+2+2 1
加法 7N+3 3
“除法” 2 1
比较 0 2N
与LMS算法中的运算次数相比，基于最小/最大值的帧内预测方法显著减少了乘法和加法的次数，同时增加了用于确定相邻样本的最小亮度值和最大亮度值的比较次数。
图14为可以用来实施各种实施例的装置1400的方框图装置1400可以是图1所示的编码装置100和图2所示的解码装置200。此外，装置1400可以托管所述元件中的一个或多个在一些实施例中，装置1400配备有一个或多个输入/输出设备，例如扬声器、麦克风、鼠标、触摸屏、按键、键盘、打印机、显示器等装置1400可包括一个或多个中央处理器(centralprocessing unit，CPU)1410、存储器1420、大容量存储器1430、视频适配器1440以及连接到总线的I/O接口1460。总线是任意类型的若干总线架构中的一种或多种，包括存储器总线或存储控制器、***总线、视频总线等。
CPU 1410可以具有任何类型的电子数据处理器存储器1420可以包括或可以是任意类型的***存储器，例如静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步DRAM(synchronousDRAM，SDRAM)、只读存储器(read-only memory)以及这些类型的组合，等等在一实施例中，存储器1420可包括在开机时使用的ROM、用于程序的DRAM以及执行程序时所使用的数据存储器在一些实施例中，存储器1420可以是非瞬时性的大容量存储器1430可包括任意类型的用于存储数据、程序和其它信息并且使这些数据、程序和其它信息可以通过总线进行访问的存储设备。大容量存储器1430包括例如固态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器等中的一个或多个。
视频适配器1440和I/O接口1460提供接口以将外部输入输出设备耦合到装置1400。例如，装置1400可向客户端提供SQL命令接口如图所示，输入输出设备的示例包括耦合到视频适配器1440的显示器1490，以及耦合到I/O接口1460的鼠标/键盘/打印机1470的任意组合。其它设备可以耦合到装置1400，且使用的接口卡可以更多或更少例如，可以使用串口卡(未示出)向打印机提供串口。
装置1400还可以包括一个或多个网络接口1450，网络接口1450包括以太网线等有线链路，和/或无线链路，用于访问节点或一个或多个网络1480。网络接口1450允许装置1400通过网络1480与远程单元通信。例如，网络接口1450可提供与数据库的通信在一实施例中，装置1400耦合到局域网或广域网以进行数据处理并与其它处理单元、因特网、远程存储设备等远程设备进行通信。
尽管本发明的特定特征或方面可能已经仅结合几种实施方式或实施例中的一种进行公开，但此类特征或方面可以和其它实施方式或实施例中的一个或多个特征或方面相结合，只要对任何给定或特定的应用有需要或有利即可此外，就在具体实施方式或权利要求书中使用的术语“包含”、“具有”、“具备”或其它变体来说，这些术语旨在以类似于术语“包括”的方式包含在内同样，术语“示例性”、“例如”仅表示示例，而非最好的或最佳的可以使用术语“耦合”和“连接”以及衍生词应当理解，这些术语可以用于表示两个元件彼此协作或相互作用，而不管它们是直接物理接触还是电接触，或者它们彼此不直接接触。
尽管本文中已说明和描述特定方面，但所属领域的技术人员应了解，多种替代和/或等效实施方式可在不脱离本发明的范围的情况下所示和描述的特定方面。该申请旨在覆盖本文论述的特定方面的任何修改或变更。
尽管以上权利要求书中的元件是利用对应的标签按照特定顺序列举的，除非对权利要求的阐述另有暗示用于实施部分或所有这些元件的特定顺序，否则这些元件不必限于以所述特定顺序来实施。
通过以上启示，对于本领域技术人员来说，许多替代、修改和变化是显而易见的。当然，所属领域的技术人员容易认识到除本文所述的应用之外，还存在本发明的众多其它应用。虽然已参考一个或多个特定实施例描述了本发明，但所属领域的技术人员将认识到在不偏离本发明的范围的前提下，仍可对本发明作出许多改变。因此，应理解，只要是在所附权利要求书及其等效物的范围内，可以用不同于本文具体描述的方式来实践本发明。

Claims (14)

1.一种用于视频数据块的跨分量预测的方法，其特征在于，所述方法包括：
对重构亮度块进行降采样以获得降采样亮度块，所述重构亮度块对应目标色度块；
从所述重构亮度块上方的重构相邻亮度样本和/或所述重构亮度块左侧的重构相邻亮度样本中确定最大亮度值和最小亮度值，其中所述重构亮度块上方的所述重构相邻亮度样本与所述重构亮度块相邻；
基于所述最大亮度值和所述最小亮度值的位置，从所述目标色度块的重构相邻色度样本导出所述最大亮度值和最小亮度值对应的第一色度值和第二色度值；
基于所述最大亮度值和所述最小亮度值以及所述第一色度值和所述第二色度值，计算跨分量线性模型(cross-component linear model，CCLM)预测模式的参数；以及
基于所述参数和所述降采样亮度块，生成所述目标色度块的预测色度值。
2.根据权利要求1所述的方法，其特征在于，导出所述第一和第二色度值包括：
获取区域中所述最大亮度值的位置M和所述最小亮度值的位置N，其中所述区域包括所述重构亮度块上方的相邻亮度样本；
获取与所述最大亮度值所对应的所述目标色度块相邻的色度样本中的第一位置处的所述第一色度值，以及与所述最小亮度值所对应的所述目标色度块相邻的色度样本中的第二位置处的所述第二色度值。
3.根据权利要求2所述的方法，其特征在于，所述区域还包括所述重构亮度块左侧的相邻亮度样本，或所述降采样亮度块左侧的相邻亮度样本。
4.根据权利要求3所述的方法，其特征在于，在M为所述重构亮度块的相邻上方行的第M个位置的情况下，所述第一位置为所述目标色度块的相邻上方行的第M/2或(M+1)/2或(M-1)/2个位置。
5.根据权利要求3所述的方法，其特征在于，在N为所述重构亮度块的相邻上方行的第N个位置的情况下，所述第二位置为所述目标色度块的相邻上方行的第N/2或(N+1)/2或(N-1)/2个位置。
6.根据权利要求3所述的方法，其特征在于，在M为所述重构亮度块或所述降采样亮度块的相邻左列的第M个位置的情况下，所述第一位置为所述目标色度块的相邻左列的第M/2或(M+1)/2或(M-1)/2个位置。
7.根据权利要求3所述的方法，其特征在于，在N为所述重构亮度块或所述降采样亮度块的相邻左列的第N个位置的情况下，所述第二位置为所述目标色度块的相邻左列的第N/2或(N+1)/2或(N-1)/2个位置。
8.一种用于处理视频数据块的装置，其特征在于，包括：
处理器和存储有指令的存储器，当所述指令由所述处理器执行时，使得所述处理器：
对重构亮度块进行降采样以获得降采样亮度块，所述重构亮度块对应目标色度块；
从所述重构亮度块上方的重构相邻亮度样本和/或所述重构亮度块左侧的重构相邻亮度样本中确定最大亮度值和最小亮度值，其中所述重构亮度块上方的所述重构相邻亮度样本与所述重构亮度块相邻；
基于所述最大亮度值和所述最小亮度值的位置，从所述目标色度块的重构相邻色度样本导出所述最大亮度值和最小亮度值对应的第一色度值和第二色度值；
基于所述最大和最小亮度值以及所述第一和第二色度值，计算跨分量线性模型(cross-component linear model，CCLM)预测模式的参数；以及
基于所述参数和所述降采样亮度块，生成所述目标色度块的预测色度值。
9.根据权利要求8所述的装置，其特征在于，所述处理器用于：
获取区域中所述最大亮度值的位置M和所述最小亮度值的位置N，其中所述区域包括所述重构亮度块上方的所述相邻亮度样本；
获取与所述最大亮度值所对应的所述目标色度块相邻的色度样本中的第一位置处的所述第一色度值，以及与所述最小亮度值所对应的所述目标色度块相邻的色度样本中的第二位置处的所述第二色度值。
10.根据权利要求9所述的装置，其特征在于，所述区域还包括所述重构亮度块左侧的相邻亮度样本，或所述降采样亮度块左侧的相邻亮度样本。
11.根据权利要求9所述的装置，其特征在于，在M为所述重构亮度块的相邻上方行的第M个位置的情况下，所述第一位置为所述目标色度块的相邻上方行的第M/2或(M+1)/2或(M-1)/2个位置。
12.根据权利要求9所述的装置，其特征在于，在N为所述重构亮度块的相邻上方行的第N个位置的情况下，所述第二位置为所述目标色度块的相邻上方行的第N/2或(N+1)/2或(N-1)/2个位置。
13.根据权利要求9所述的装置，其特征在于，在M为所述重构亮度块或所述降采样亮度块的相邻左列的第M个位置的情况下，所述第一位置为所述目标色度块的相邻左列的第M/2或(M+1)/2或(M-1)/2个位置。
14.根据权利要求9所述的装置，其特征在于，在N为所述重构亮度块或所述降采样亮度块的相邻左列的第N个位置的情况下，所述第二位置为所述目标色度块的相邻左列的第N/2或(N+1)/2或(N-1)/2个位置。
CN201980002859.7A 2018-07-15 2019-04-30 使用跨分量线性模型进行帧内预测的方法和装置 Active CN110999290B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862698279P 2018-07-15 2018-07-15
US62/698,279 2018-07-15
PCT/CN2019/085133 WO2020015433A1 (en) 2018-07-15 2019-04-30 Method and apparatus for intra prediction using cross-component linear model

Publications (2)

Publication Number Publication Date
CN110999290A CN110999290A (zh) 2020-04-10
CN110999290B true CN110999290B (zh) 2021-07-16

Family

ID=69164987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980002859.7A Active CN110999290B (zh) 2018-07-15 2019-04-30 使用跨分量线性模型进行帧内预测的方法和装置

Country Status (2)

Country Link
CN (1) CN110999290B (zh)
WO (1) WO2020015433A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210070368A (ko) * 2018-10-12 2021-06-14 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 비디오 이미지 요소 예측 방법 및 장치, 컴퓨터 저장 매체
BR112022008369A2 (pt) 2019-11-01 2022-07-12 Beijing Bytedance Network Tech Co Ltd Método de processamento de vídeo, aparelho para processar dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
CN115606177A (zh) * 2020-03-21 2023-01-13 抖音视界有限公司（Cn） 在跨分量视频编解码中使用相邻样点
CN117596409A (zh) 2020-04-18 2024-02-23 抖音视界有限公司 用于处理视频数据的方法、装置以及计算机可读存储介质
WO2021247883A1 (en) * 2020-06-03 2021-12-09 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component correlation
CN113365067B (zh) * 2021-05-21 2023-03-14 中山大学 基于位置加权的色度线性预测方法、装置、设备及介质
CN113489974B (zh) * 2021-07-02 2023-05-16 浙江大华技术股份有限公司 帧内预测方法、视频/图像编解码方法及相关装置
WO2024022325A1 (en) * 2022-07-27 2024-02-01 Mediatek Inc. Method and apparatus of improving performance of convolutional cross-component model in video coding system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104380741A (zh) * 2012-01-19 2015-02-25 华为技术有限公司 用于lm帧内预测的参考像素缩减
CN104718759A (zh) * 2012-01-24 2015-06-17 华为技术有限公司 Lm模式的简化
CN107211124A (zh) * 2015-01-27 2017-09-26 高通股份有限公司 适应性跨分量残差预测
CN107409209A (zh) * 2015-03-20 2017-11-28 高通股份有限公司 用于线性模型预测模式的降取样处理

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6543578B2 (ja) * 2016-01-27 2019-07-10 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104380741A (zh) * 2012-01-19 2015-02-25 华为技术有限公司 用于lm帧内预测的参考像素缩减
CN104718759A (zh) * 2012-01-24 2015-06-17 华为技术有限公司 Lm模式的简化
CN107211124A (zh) * 2015-01-27 2017-09-26 高通股份有限公司 适应性跨分量残差预测
CN107409209A (zh) * 2015-03-20 2017-11-28 高通股份有限公司 用于线性模型预测模式的降取样处理

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Chroma intra prediction by reconstructed luma samples》;Jianle Chen ET AL;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting: Guangzhou》;20101015;第2节，附图1 *
《Multi-model Based Cross-component Linear Model Chroma Intra-prediction for Video Coding》;Kai Zhang ET AL;《VCIP 2017》;20171213;全文 *
《Non-CE3：On cross-component linear model simplification》;Guillaume Laroche ET AL;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 11th Meeting: Ljubljana》;20180712;摘要、第1-2节，附图1 *

Also Published As

Publication number Publication date
CN110999290A (zh) 2020-04-10
WO2020015433A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
CN110999290B (zh) 使用跨分量线性模型进行帧内预测的方法和装置
CN107409209B (zh) 用于线性模型预测模式的降取样处理
CN104247423B (zh) 可伸缩视频编码***的帧内模式编码方法和装置
TW201904285A (zh) 在視訊寫碼中之增強的解塊濾波設計
JP2020503815A (ja) ビデオコーディングのためのイントラ予測技法
CN111819852A (zh) 用于变换域中残差符号预测的方法及装置
CN116996670A (zh) 视频译码中的经改进帧内预测
KR102606414B1 (ko) 디블로킹 필터의 경계 강도를 도출하는 인코더, 디코더 및 대응 방법
JP7343668B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
KR20210125088A (ko) 매트릭스 기반 인트라 예측 및 2차 변환 코어 선택을 조화시키는 인코더, 디코더 및 대응 방법
CN113728629A (zh) 视频译码中的运动向量推导
KR102160242B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
CN113545063A (zh) 使用线性模型进行帧内预测的方法及装置
JP7384974B2 (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
US20120263225A1 (en) Apparatus and method for encoding moving picture
CN114556931A (zh) 基于调色板模式的图像或视频编码
KR20220128468A (ko) 미리 정의된 필터들에 의한 샘플 오프셋
KR20220127308A (ko) 비디오 코딩을 위한 방법 및 장치
KR20210129736A (ko) 옵티컬 플로 기반 비디오 인터 예측
KR20230111257A (ko) 향상 계층에 대한 인코딩 및 디코딩 방법들 및 장치들
EP3777157A1 (en) Line buffer for spatial motion vector predictor candidates
CN117063471A (zh) 用于运动矢量差的联合信令方法
EP4118824A1 (en) Harmonized design between multiple reference line intra prediction and transform partitioning
CN115769577A (zh) 具有子空间约束的正交变换生成
JP2021528919A (ja) イントラ予測のためのデバイスおよび方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant