CN114982242A - 发信号通知图片分割信息的方法和设备 - Google Patents

发信号通知图片分割信息的方法和设备 Download PDF

Info

Publication number
CN114982242A
CN114982242A CN202080093704.1A CN202080093704A CN114982242A CN 114982242 A CN114982242 A CN 114982242A CN 202080093704 A CN202080093704 A CN 202080093704A CN 114982242 A CN114982242 A CN 114982242A
Authority
CN
China
Prior art keywords
picture
information
flag
image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080093704.1A
Other languages
English (en)
Inventor
亨得利·亨得利
S·帕鲁利
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN114982242A publication Critical patent/CN114982242A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Radio Relay Systems (AREA)

Abstract

在根据本公开的由解码设备对图像进行解码的方法中,当前图片基于指示是否存在关于子图片的信息的标志和指示子图片是否包括单个切片的标志而被配置为包括单个切片。

Description

发信号通知图片分割信息的方法和设备
技术领域
本公开涉及图像编码技术,并且最具体地,涉及用于发信号通知图像编码***中的图片分割信息的方法和设备。
背景技术
近来,在各种领域中,对诸如高清(HD)图像和超高清(UHD)图像这样的高分辨率、高质量图像的需求正在增长。因为图像数据具有高分辨率和高质量,所以相对于传统图像数据,待发送的信息或比特的量增加。因此,当使用诸如传统有线/无线宽带线路这样的介质发送图像数据或者使用现有存储介质存储图像数据时,其发送成本和存储成本增加。
因此,需要有效发送、存储和再现高分辨率高质量图像的信息的高效图像压缩技术。
发明内容
技术问题
本公开提供了用于提高图像编码效率的方法和设备。
本公开还提供了用于发信号通知图片的分割信息的方法和设备。
本公开还提供了基于当前图片的分割信息对当前图片进行解码的方法和设备。
技术方案
在一方面,提供了一种由解码设备执行的图像解码方法。该方法包括以下步骤:从比特流获得关于当前图片的图像信息;以及基于所述图像信息对所述当前图片进行解码,其中,所述图像信息包括与子图片信息的存在相关的第一标志和与每个子图片是否仅包括一个切片相关的第二标志,并且其中,基于所述第一标志和所述第二标志,所述当前图片中所包括的切片的数目被推导为等于1。
在另一方面,提供了一种由编码设备执行的图像编码方法。该方法包括以下步骤:通过对当前图片进行分割来推导至少一个切片;以及基于所述至少一个切片对所述当前图片的图像信息进行编码,其中,所述图像信息包括与子图片信息的存在相关的第一标志和与所述当前图片中的每个子图片是否仅包括一个切片相关的第二标志,并且其中,基于所述第一标志和所述第二标志,所述当前图片中所包括的切片的数目被推导为等于1。
在又一方面,提供了一种存储比特流的非暂态计算机可读存储介质,所述比特流包括致使图像解码方法被执行的图像信息。该图像解码方法包括以下步骤:从比特流获得关于当前图片的图像信息;以及基于所述图像信息对所述当前图片进行解码,其中,所述图像信息包括与子图片信息的存在相关的第一标志和与每个子图片是否仅包括一个切片相关的第二标志,并且其中,基于所述第一标志和所述第二标志,所述当前图片中所包括的切片的数目被推导为等于1。
有利效果
根据本公开,可以提高整体图像/视频压缩效率。
根据本公开,可以提高分割的效率。
根据本公开,可以基于当前图片的分割信息来提高分割的效率。
附图说明
图1示意性例示了可以应用本文献的实施方式的视频/图像编码***的示例。
图2是例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示意图。
图3是例示了可以应用本文献的实施方式的视频/图像解码设备的配置的示意图。
图4例示了编码数据的示例性层次结构。
图5是例示了分割图片的示例的示图。
图6是例示了根据实施方式的图片编码过程的流程图。
图7是例示了根据实施方式的图片解码过程的流程图。
图8是例示了根据实施方式的编码设备的操作的流程图。
图9是例示了根据实施方式的编码设备的配置的框图。
图10是例示了根据实施方式的解码设备的操作的流程图。
图11是例示了根据实施方式的解码设备的配置的框图。
图12例示了可以应用本文献中公开的实施方式的内容流传输***的示例。
具体实施方式
本文献可按各种方式修改并具有各种实施方式,将详细描述并且在附图中例示特定实施方式。然而,这并非旨在将本文献限制在特定实施方式。本说明书中通用的术语仅用于描述特定实施方式,而非用于限制本文献的技术精神。单数表达包括复数表达,除非上下文另有明确表示。本说明书中诸如“包括”和“具有”这样的术语应被理解为指示存在说明书中描述的特性、数目、步骤、操作、元件、部分或其组合,并且不排除存在或添加一个或更多个其他特性、数目、步骤、操作、元件、部分或其组合的可能性。
另外,本文献描述的附图中的元件是为了方便与不同特性功能有关的描述而独立图示的。这不意味着每个元件被实现为不同的硬件或不同的软件。例如,可以组合元件中的至少两个以形成单个元件,并且也可以将单个元件划分为多个元件。在不脱离本文献的主旨的情况下,元件被组合和/或分离的实施方式也被包括在本文献的权利范围内。
在本公开中,“A或B”可以意指“仅A”、“仅B”或“A和B二者”。换句话说,在本公开中,“A或B”可以被解释为“A和/或B”。例如,在本公开中,“A、B或C”可以意指“仅A”、“仅B”、“仅C”或“A、B、C的任何组合”。
在本公开中使用的斜杠(/)或逗号可以意指“和/或”。例如,“A/B”可以意指“A和/或B”。因此,“A/B”可以意指“仅A”、“仅B”或“A和B二者”。例如,“A、B、C”可以意指“A、B或C”。
在本公开中,“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B二者”。另外,在本说明书中,表述“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为“A和B中的至少一个”。
另外,在本公开中,“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外,“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。
另外,在本公开中使用的括号可以意指“例如”。具体地,当被指示为“预测(帧内预测)”时,可以意味着“帧内预测”被提议为“预测”的示例。换句话说,本公开的“预测”不限于“帧内预测”,并且“帧内预测”可以被提议为“预测”的示例。另外,当被指示为“预测(即,帧内预测)”时,也可以意味着“帧内预测”被提议为“预测”的示例。
在本公开中,在一个附图中被单独说明的技术特征可以单独实现,或者可以同时实现。
下文中,参照附图更具体地描述本文献的优选实施方式。下文中,在附图中,相同的附图标记被用于相同的元件,并且可以省略对相同元件的冗余描述。
图1示意性例示了可以应用本文献的实施方式的视频/图像编码***的示例。
参照图1,视频/图像编码***可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络将文件或流传输形式的编码后的视频/图像信息或数据传送到接收装置。
源装置可包括视频源、编码设备和发送器。接收装置可包括接收器、解码设备和渲染器。编码设备可被称为视频/图像编码设备,解码设备可被称为视频/图像解码设备。发送器可被包括在编码设备中。接收器可被包括在解码设备中。渲染器可包括显示器,并且显示器可被配置为单独的装置或外部部件。
视频源可通过捕获、合成或生成视频/图像的处理来获取视频/图像。视频源可包括视频/图像捕获装置,和/或视频/图像生成装置。例如,视频/图像捕获装置可包括一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。例如,视频/图像生成装置可包括计算机、平板计算机和智能电话,并且可(以电子方式)生成视频/图像。例如,可通过计算机等生成虚拟视频/图像。在这种情况下,视频/图像捕获处理可由生成相关数据的处理代替。
编码设备可对输入视频/图像进行编码。为了压缩和编码效率,编码设备可执行诸如预测、变换和量化的一系列过程。编码的数据(编码的视频/图像信息)可按比特流的形式输出。
发送器可通过数字存储介质或网络将以比特流的形式输出的编码的图像/图像信息或数据以文件或流的形式发送至接收装置的接收器。数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送器可包括用于通过预定文件格式生成媒体文件的元件,并且可包括用于通过广播/通信网络传输的元件。接收器可接收/提取比特流并且将所接收的比特流发送至解码设备。
解码设备可通过执行与编码设备的操作对应的诸如反量化、逆变换和预测的一系列过程对视频/图像进行解码。
渲染器可渲染解码的视频/图像。渲染的视频/图像可通过显示器显示。
本文献涉及视频/图像编码。例如,本文献中公开的方法/实施方式可以应用于在通用视频编码(VVC)、EVC(基本视频编码)标准、AOMedia视频1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如,H.267或H.268等)中公开的方法。
本文献提出了视频/图像编码的各种实施方式,并且除非另外提到,否则这些实施方式可以彼此组合地执行。
在本公开中,视频可以意指根据时间推移的一系列图像的集合。通常,图片意指表示特定时间区域的图像的单元,并且切片/图块是构成图片的部分的单元。切片/图块可以包括一个或更多个编码树单元(CTU)。一个图片可以包括一个或更多个切片/图块。
图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是高度等于图片的高度并且宽度由图片参数集中的语法元素指定的CTU的矩形区域。图块行是高度由图片参数集中的语法元素指定并且宽度等于图片宽度的CTU的矩形区域。图块扫描是以下的分割图片的CTU的特定顺序排序:在图块中按CTU光栅扫描对CTU进行连续排序,而按图片的图块的光栅扫描对图片中的图块进行连续排序。切片可以包括多个完好图块或一个NAL单元中可以包括的图片的图块中的多个连续CTU列。在本公开中,图块组可以与切片可互换地使用。例如,在本公开中,图块组/图块组头可以被称为切片/切片头。
此外,图片可以分为两个或更多个子图片。子图片可以是图片内的一个或更多个切片的矩形区域。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外,“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值,并且可以仅表示亮度分量的像素/像素值或色度分量的像素/像素值。
单元可表示图像处理的基本单位。单元可包括图片的特定区域和与该区域有关的信息中的至少一个。一个单元可包括一个亮度块和两个色度(例如,cb、cr)块。在一些情况下,单元可与诸如块或区域这样的术语互换使用。在一般情况下,M×N块可包括M列和N行的样本(或样本数组)或变换系数的集合(或数组)。图2是示意性例示了可以应用本文献的实施方式的视频/图像编码设备的配置的示图。下文中,视频编码设备可以包括图像编码设备。
参照图2,编码设备200包括图像分割器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可包括帧间预测器221和帧内预测器222。残差处理器230可包括变换器232、量化器233、反量化器234和逆变换器235。残差处理器230还可包括减法器231。加法器250可被称为重构器或重构块生成器。根据实施方式,图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可由至少一个硬件部件(例如,编码器芯片组或处理器)配置。另外,存储器270可包括解码图片缓冲器(DPB),或者可由数字存储介质配置。硬件部件还可包括存储器270作为内部/外部部件。
图像分割器210可将输入到编码设备200的输入图像(或者图片或帧)分割成一个或更多个处理器。例如,处理器可被称为编码单元(CU)。在这种情况下,编码单元可根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)递归地分割。例如,一个编码单元可基于四叉树结构、二叉树结构和/或三元结构被分割成深度更深的多个编码单元。在这种情况下,例如,可首先应用四叉树结构,稍后可应用二叉树结构和/或三元结构。另选地,可首先应用二叉树结构。可基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下,根据图像特性基于编码效率等,最大编码单元可用作最终编码单元,或者如果需要,编码单元可被递归地分割成深度更深的编码单元并且具有最优大小的编码单元可用作最终编码单元。这里,编码过程可包括预测、变换和重构的过程(将稍后描述)。作为另一示例,处理器还可包括预测单元(PU)或变换单元(TU)。在这种情况下,预测单元和变换单元可从上述最终编码单元拆分或分割。预测单元可以是样本预测的单元,变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
在一些情况下,单元可与诸如块或区域这样的术语互换使用。在一般情况下,M×N块可表示由M列和N行组成的样本或变换系数的集合。样本通常可表示像素或像素值,可仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可用作与像素或画素的一个图片(或图像)对应的术语。
在编码设备200中,从输入图像信号(原始块、原始样本数组)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本数组)以生成残差信号(残差块、残差样本数组),并且所生成的残差信号被发送到变换器232。在这种情况下,如所示出的,在编码器200中从输入图像信号(原始块、原始样本数组)中减去预测信号(预测块、预测样本数组)的部分可以被称为减法器231。预测器可以对待处理块(下文中,被称为当前块)执行预测并生成包括当前块的预测样本的预测块。预测器可以以当前块或CU为基础确定是应用帧内预测还是帧间预测。如随后在对每种预测模式的描述中所描述的,预测器可以生成诸如预测模式信息这样的与预测相关的各种信息,并且将所生成的信息发送到熵编码器240。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式被输出。
帧内预测器222可通过参考当前图片中的样本来预测当前块。根据预测模式,所参考的样本可位于当前块附近或者可隔开。在帧内预测中,预测模式可包括多个非定向模式和多个定向模式。例如,非定向模式可包括DC模式和平面模式。例如,根据预测方向的详细程度,定向模式可包括33个定向预测模式或65个定向预测模式。然而,这仅是示例,可根据设置使用更多或更少的定向预测模式。帧内预测器222可使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可基于参考图片上运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。这里,为了减少在帧间预测模式下发送的运动信息量,可基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可包括运动矢量和参考图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,邻近块可包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可相同或不同。时间邻近块可被称为并置参考块、并置CU(colCU)等,并且包括时间邻近块的参考图片可被称为并置图片(colPic)。例如,帧间预测器221可基于邻近块来配置运动信息候选列表并且生成指示哪一候选用于推导当前块的运动矢量和/或参考图片索引的信息。可基于各种预测模式执行帧间预测。例如,在跳过模式和合并模式的情况下,帧间预测器221可使用邻近块的运动信息作为当前块的运动信息。在跳过模式下,与合并模式不同,可不发送残差信号。在运动矢量预测(MVP)模式的情况下,邻近块的运动矢量可用作运动矢量预测器,并且可通过发信号通知运动矢量差来指示当前块的运动矢量。
预测器220可以基于下述的各种预测方法来生成预测信号。例如,预测器不仅可以应用帧内预测或帧间预测来预测一个块,而且还可以同时应用帧内预测和帧间预测二者。这可以被称为帧间和帧内预测组合(CIIP)。另外,预测器可以是基于块内复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编码,例如,屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测,但可以在当前图片中推导参考块方面与帧间预测类似地执行。即,IBC可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。
通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或者生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如,变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-loève变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里,GBT意指当用图表示像素之间的关系信息时从图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而生成的变换。另外,变换处理可以应用于大小相同的正方形像素块,或者可以应用于大小可变而非正方形的块。
量化器233可以对变换系数进行量化并将它们发送到熵编码器240,并且熵编码器240可以对量化后的信号(关于量化后的变换系数的信息)进行编码并输出比特流。关于量化后的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块类型的量化后的变换系数重新排列成一维矢量形式,并基于一维矢量形式的量化后的变换系数来生成关于量化后的变换系数的信息。可以生成关于变换系数的信息。熵编码器240可以执行诸如(例如)指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等这样的各种编码方法。熵编码器240可以一起或分别地对除了量化后的变换系数(例如,语法元素的值等)之外的视频/图像重构所必需的信息进行编码。编码后的信息(例如,编码后的视频/图像信息)可以以比特流的形式以NAL(网络抽象层)为单位发送或存储。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外,视频/图像信息还可以包括常规约束信息。在本文献中,从编码设备发送/发信号通知给解码设备的信息和/或语法元素可以被包括在视频/图片信息中。视频/图像信息可以通过上述编码过程被编码并且被包括在比特流中。可以通过网络传输比特流,或者可以将其存储在数字存储介质中。网络可以包括广播网络和/或通信网络,并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)或存储信号的储存器(未示出)可以被包括作为编码设备200的内部/外部元件,并且另选地,发送器可以被包括在熵编码器240中。
从量化器233输出的量化后的变换系数可以用于生成预测信号。例如,可以通过经由反量化器234和逆变换器235对量化后的变换系数应用反量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加,以生成重构信号(重构图片、重构块、重构样本数组)。如果没有待处理块的残差(诸如,应用跳过模式的情况),则预测块可以用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中待处理的下一块的帧内预测,并且如下所述,可以用于通过滤波的下一图片的帧间预测。
此外,可以在图片编码和/或重构处理期间应用具有色度缩放的亮度映射(LMCS)。
滤波器260可以通过向重构信号应用滤波来改善主观/客观图像质量。例如,滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片,并将修改后的重构图片存储在存储器270中,具体地,存储在存储器270的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移(SAO)、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波相关的各种类型的信息,并将所生成的信息传送到熵编码器290,如随后的每种过滤方法的描述中描述的。与滤波相关的信息可以由熵编码器290编码并以比特流的形式被输出。
发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时,可以避免编码设备200与解码设备之间的预测失配,并且可以提高编码效率。
存储器270的DPB可以存储修改后的重构图片,以用作帧间预测器221中的参考图片。存储器270可以存储从其推导出(或编码)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器221,以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本,并可以将重构样本传送到帧内预测器222。
图3是示意性说明了可以应用本文献的公开内容的视频/图像解码设备的配置的示图。
参照图3,解码设备300可包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可包括帧间预测器331和帧内预测器332。残差处理器320可包括反量化器321和逆变换器321。根据实施方式,熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可由硬件部件(例如,解码器芯片组或处理器)配置。另外,存储器360可包括解码图片缓冲器(DPB)或者可由数字存储介质配置。硬件部件还可包括存储器360作为内部/外部部件。
当输入包括视频/图像信息的比特流时,解码设备300可重构与在图2的编码设备中处理视频/图像信息的处理对应的图像。例如,解码设备300可基于从比特流获得的块分割相关信息来推导单元/块。解码设备300可使用编码设备中应用的处理器来执行解码。因此,例如,解码的处理器可以是编码单元,并且编码单元可根据四叉树结构、二叉树结构和/或三叉树结构从编码树单元或最大编码单元分割。可从编码单元推导一个或更多个变换单元。通过解码设备300解码和输出的重构图像信号可通过再现设备再现。
解码设备300可以以比特流的形式接收从图2的编码设备输出的信号,并且可以通过熵解码器310对接收到的信号进行解码。例如,熵解码器310可以对比特流进行解析,以推导图像重构(或图片重构)所必需的信息(例如,视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外,视频/图像信息还可以包括常规约束信息。解码设备还可以基于关于参数集的信息和/或常规约束信息对图片进行解码。随后在本文献中描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码,并从比特流中获得。例如,熵解码器310可以基于诸如指数哥伦布编码、CABAC或CAVLC这样的编码方法对比特流中的信息进行解码,并且输出图像重构所需的语法元素和针对残差的变换系数的量化值。更具体地,CABAC熵解码方法可以在比特流中接收与每个语法元素对应的bin,使用解码目标语法元素信息、解码目标块的解码信息或前一级中解码的符号/bin的信息来确定上下文模型,并通过根据所确定的上下文模型预测bin的出现概率来对bin执行算术解码,并生成与每个语法元素的值对应的符号。在这种情况下,CABAC熵解码方法可以通过在确定上下文模型之后将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器310解码的信息当中的与预测相关的信息可以被提供到预测器(帧间预测器332和帧内预测器331),并且在熵解码器310中被执行熵解码的残差值(即,量化后的变换系数和相关的参数信息)可以被输入到残差处理器320。残差处理器320可以推导残差信号(残差块、残差样本、残差样本数组)。另外,由熵解码器310解码的信息当中的关于滤波的信息可以被提供到滤波器350。此外,用于接收从编码设备输出的信号的接收器(未示出)可以另外被配置为解码设备300的内部/外部元件,或者接收器可以是熵解码器310的部件。此外,根据本文献的解码设备可以被称为视频/图像/图片解码设备,并且解码设备可以被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310,并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
反量化器321可将量化后的变换系数反量化并输出变换系数。反量化器321可按二维块形式重排量化后的变换系数。在这种情况下,可基于在编码设备中执行的系数扫描顺序来执行重排。反量化器321可使用量化参数(例如,量化步长信息)对量化后的变换系数执行反量化并且获得变换系数。
逆变换器322对变换系数逆变换以获得残差信号(残差块、残差样本数组)。
预测器可对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测并且可确定特定帧内/帧间预测模式。
预测器320可以基于下述的各种预测方法来生成预测信号。例如,预测器不仅可以应用帧内预测或帧间预测来预测一个块,而且还可以同时应用帧内预测和帧间预测。这可以被称为帧间和帧内预测组合(CIIP)。另外,预测器可以基于块内复制(IBC)预测模式或调色板模式来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编码,例如,屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测,但可以在当前图片中推导参考块方面与帧间预测类似地执行。即,IBC可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时,可以基于关于调色板表和调色板索引的信息来发信号通知图片内的样本值。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式,所参考的样本可以位于当前块的附近,或者可以分开定位。在帧内预测中,预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于参考图片上的运动矢量所指定的参考块(参考样本数组)来推导当前块的预测块。在这种情况下,为了减少在帧间预测模式下发送的运动信息的量,可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动矢量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下,邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如,帧间预测器332可以基于邻近块来配置运动信息候选列表,并基于接收到的候选选择信息来推导当前块的运动矢量和/或参考图片索引。可以基于各种预测模式来执行帧间预测,并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340可以通过将所获得的残差信号与从预测器330输出的预测信号(预测块或预测样本数组)相加来生成重构信号(重构图片、重构块或重构样本数组)。如果不存在处理目标块的残差(诸如,应用跳变模式的情况),则预测块可以用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将处理的下一个块的帧内预测,并且如随后描述的,还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。
此外,具有色度缩放的亮度映射(LMCS)还可以被应用于图片解码处理。
滤波器350可以通过向重构信号应用滤波来改善主观/客观图像质量。例如,滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片,并将修改后的重构图片存储在存储器360中,具体地,存储在存储器360的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器331中的参考图片。存储器360可以存储从其推导出(或解码出)当前图片中的运动信息的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被传送到帧间预测器331,以便被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本,并将重构样本传送到帧内预测器332。
在本公开中,在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或者被分别应用以对应于解码设备300的滤波器350、帧间预测器332和帧内预测器331。这对于帧间预测器332和帧内预测器331也可以同样适用。
如上所述,在执行视频编码时,执行预测以增强压缩效率。可通过预测来生成包括当前块(即,目标编码块)的预测样本的预测块。在这种情况下,预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中相同地推导。编码设备可通过向解码设备发信号通知关于原始块(而非原始块的原始样本值本身)与预测块之间的残差的信息(残差信息)来增强图像编码效率。解码设备可基于残差信息来推导包括残差样本的残差块,可通过将残差块和预测块相加来生成包括重构样本的重构块,并且可生成包括重构块的重构图片。
残差信息可通过变换过程和量化过程来生成。例如,编码设备可推导原始块与预测块之间的残差块,可通过对包括在残差块中的残差样本(残差样本数组)执行变换过程来推导变换系数,可通过对变换系数执行量化过程来推导量化后的变换系数,并且可将相关残差信息(通过比特流)发信号通知给解码设备。在这种情况下,残差信息可包括量化后的变换系数、位置信息、变换方案、变换核和量化参数等的值信息。解码设备可基于残差信息来执行反量化/逆变换过程并且可推导残差样本(或残差块)。解码设备可基于预测块和残差块来生成重构图片。此外,为了后续图片的帧间预测参考,编码设备可通过对量化后的变换系数进行反量化/逆变换来推导残差块,并且可生成重构图片。
图4例示了编码数据的示例性层次结构。
参照图4,编码数据可以划分为操纵视频/图像的编码处理和视频/图像本身的视频编码层(VCL)以及存储并发送编码后的视频/图像的数据并处于视频编码层(VCL)和较低***之间的网络抽象层(NAL)。
VCL可以生成补充增强信息(SEI)消息,该SEL消息是在对应于序列和图片的头部以及视频/图像的参数集(图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等)的编码处理中补充需要的。SEI消息与用于视频/图像的信息(切片数据)分开。包括用于视频/图像的信息的VCL包括切片数据和切片头。此外,切片头可以被称为图块组头,并且切片数据可以被称为图块组数据。
在NAL中,可以通过向在VCL中生成的原始字节序列有效载荷(RBSP)添加头信息(NAL单元头)来生成NAL单元。在这种情况下,RBSP被称为在VCL中生成的切片数据、参数集、SEI消息等。NAL单元头可以包括根据NAL单元中所包括的RBSP数据指定的NAL单元类型信息。
作为NAL的基本单元的NAL单元根据预定规范执行将编码图像映射到诸如文件格式、实时传输协议(RTP)、传输流(TS)等这样的较低***的比特序列的功能。
如图中所示,根据在VCL中生成的RBSP,NAL单元可以划分为VCL NAL单元和非VCLNAL单元。VCL NAL单元可以意指包括用于图像的信息(切片数据)的NAL单元,并且非VCLNAL单元可以意指包括对图像进行解码所需的信息(参数集或SEI消息)的NAL单元。
上述的VCL NAL单元和非VCL NAL单元可以通过根据较低***的数据规范附接头信息来通过网络发送。例如,NAL单元可以被变换为诸如H.266/VVC文件格式、RTP(实时传输协议)、TS(传输流)等这样的预定规范的数据格式。
如上所述,对于NAL单元,可以根据NAL单元中所包括的RBSP数据结构来指定NAL单元类型,并且NAL单元类型的信息可以被存储在NAL单元头中并被发信号通知。
例如,根据NAL单元是否包括用于图像的信息(切片数据),NAL单元可以分类为VCLNAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据VCL NAL单元中所包括的图片的性质和类型来分类,并且非VCL NAL单元类型可以根据参数集的类型来分类。
下面描述了根据非VCL NAL单元类型中所包括的参数集的类型指定的NAL单元类型的示例。可以根据参数集的类型指定NAL单元类型。例如,NAL单元类型可以被指定为APS(自适应参数集)NAL单元(包括APS的NAL单元的类型)、DPS(解码参数集)NAL单元(包括DPS的NAL单元的类型)、VPS(视频参数集)NAL单元(包括VPS的NAL单元的类型)、SPS(序列参数集)NAL单元(包括SPS的NAL单元的类型)以及PPS(图片参数集)NAL单元(包括PPS的NAL单元的类型)中的一种。
上述NAL单元类型可以具有针对NAL单元类型的语法信息,并且该语法信息可以被存储在NAL单元头中并发信号通知。例如,语法信息可以是nal_unit_type,并且NAL单元类型可以被指定为nal_unit_type值。
此外,如上所述,一个图片可以具有多个切片,并且一个切片可以包括切片头和切片数据。在这种情况下,除了多个切片(切片头和切片数据的集合)之外,还可以在一个图片中添加一个图片头。图片头(图片头语法)可以包括可以共同应用于图片的信息/参数。切片头(切片头语法)可以包括可以共同应用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括可以共同应用于一个或更多个切片或图片的信息/参数。SPS(SPS语法)可以包括可以共同应用于一个或更多个序列的信息/参数。VPS(VPS语法)可以包括可以共同应用于多个层的信息/参数。DPS(DPS语法)可以包括可以共同应用于整个视频的信息/参数。DPS可以包括与CVS(编码视频序列)的级联相关的信息/参数。在本公开中,高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DPS语法、图片头语法或切片头语法中的至少一个。
在本公开中,从编码设备编码到解码设备并以比特流格式发信号通知的图像/视频信息可以包括切片头中所包括的信息、图片头中所包括的信息、APS中所包括的信息、PPS中所包括的信息、SPS中所包括的信息、VPS中所包括的信息、和/或DPS中所包括的信息以及与图片中的分割相关的信息、帧内/帧间预测信息、残差信息、环路滤波信息等。另外,图像/视频信息还可以包括NAL单元头的信息。
图5是例示了分割图片的示例的示图。
图片可以被分割为编码树单元(CTU),并且CTU可以对应于编码树块(CTB)。CTU可以包括亮度样本的编码树块和色度样本的对应两个编码树块。此外,用于编码和预测的CTU的最大可用大小可以不同于用于变换的CTU的最大可用大小。
图块可以对应于覆盖矩形区域的一系列CTU,并且一个图片可以被分割为一个或更多个图块行和一个或更多个图块列。
此外,切片可以包括整数个完好图块或整数个连续完好CTU列。在这种情况下,可以支持两种类型的切片模式,包括光栅扫描切片模式和矩形切片模式。
在光栅扫描切片模式下,切片可以在图片的图块光栅扫描中包括一系列完好图块。在矩形切片模式下,切片可以包括一起形成图片的矩形区域的多个完好图块。另选地,在矩形切片模式下,切片可以包括一起形成图片的矩形区域的图块中的多个连续CTU列。矩形切片中的图块可以在对应于相应切片的矩形区域中以图块光栅扫描顺序被扫描。
此外,子图片可以包括覆盖图片的矩形区域的一个或更多个切片。
图5的(a)是例示了图片被分割为光栅扫描切片的示例的示图。例如,图片可以被分割为12个图块和3个光栅扫描切片。
另外,图5的(b)是例示了图片被分割为矩形切片的示例的示图。例如,图片可以被分割为24个图块(6个图块行4个图块列)和9个矩形切片。
此外,图5的(c)是例示了图片被分割为图块和矩形切片的示例的示图。例如,图片可以被分割为24个图块(2个图块行2个图块列)和4个矩形切片。
图6是例示了根据实施方式的图片编码过程的流程图。
在一个实施方式中,可以由编码设备的图像分割器210执行图片分割(步骤S600),并且可以由编码设备的熵编码器240执行图片编码(步骤S610)。
根据实施方式的编码设备可以推导当前图片中所包括的切片和/或图块(步骤S600)。例如,编码设备可以执行图片分割以对输入的当前图片进行编码。例如,编码设备可以推导当前图片中所包括的切片和/或图块。编码设备可以通过考虑当前图片的图像性质和编码效率来将图片以各种格式分割,并生成表示具有最佳编码效率的分割格式的信息,然后,可以将该信息发信号通知给解码设备。
根据实施方式的编码设备可以基于推导出的切片和/或图块对当前图片执行编码(步骤S610)。例如,编码设备可以对包括切片和/或图块的信息的视频/图像信息进行编码,并将该信息以比特流格式输出。输出的比特流可以通过数字存储介质或网络被转发到解码设备。
图7是例示了根据实施方式的图片解码过程的流程图。
在实施方式中,可以由解码设备的熵解码器310执行从比特流获得视频/图像信息的步骤(步骤S710)和推导当前图片中的切片和/或图块的步骤(步骤S720),并且可以由解码设备的加法器340执行基于切片和/或图块重构当前图片的步骤。
根据实施方式的解码设备可以从接收到的比特流获得视频/图像信息(步骤S710)。视频/图像信息可以包括HLS,并且HLS可以包括切片的信息或图块的信息。切片的信息可以包括用于在当前图片中指定一个或更多个切片的信息,并且图块的信息可以包括用于在当前图片中指定一个或更多个图块的信息。可以通过各种参数集、图片头和/或切片头来获得切片的信息或图块的信息。
此外,当前图片可以包括包含一个或更多个切片的图块或包括一个或更多个图块的切片。
根据实施方式的解码设备可以基于包括当前图片中的切片和/或图块的信息的视频/图像信息来推导切片和/或图块(步骤S720)。
根据实施方式的解码设备可以基于切片和/或图块对当前图片进行重构(解码)(步骤S730)。
此外,如上所述,图片可以被分割为子图片、图块和切片。子图片的信息可以通过SPS发信号通知,并且图块和矩形切片的信息可以通过PPS发信号通知。另外,光栅扫描切片的信息可以通过切片头发信号通知。
例如,包含子图片的信息的SPS语法可以如下表地表示。
[表1]
Figure BDA0003753291340000171
例如,包括图块和矩形切片的信息的PPS语法可以如下表地表示。
[表2]
Figure BDA0003753291340000181
另外,例如,包括光栅扫描切片的信息的切片头语法可以如下表地表示。
[表3]
Figure BDA0003753291340000182
此外,当前图片中的切片的信息和图块的信息可以包括与当前图片中的每个子图片是否包括单个切片相关的标志。该标志可以被称为single_slice_per_subpic_flag或pps_single_slice_per_subpic_flag,但可以不限于此。此外,子图片的信息可以包括与子图片信息的存在相关的标志,并且该标志可以被称为subpics_present_flag或sps_subpic_info_present_flag,但可以不限于此。例如,子图片的信息可以被包括在参数集中。例如,子图片的信息可以被包括在SPS中。
常规地,在与子图片信息的存在相关的标志的值为零的情况下,限制标志的值,使得与子图片是否仅包括一个切片相关的标志的值变为零。即,在与子图片信息的存在相关的标志的值为零的情况下,确定子图片不可用,并且与子图片是否仅包括一个切片相关的标志的值被限制为零。然而,该条件非常严格。例如,即使在不存在子图片信息的情况下,当前图片也可以被分割为两个或更多个图块,并且所有图块都可以被包括在单个切片中。在这种情况下,当前图片仅包括一个切片。
因此,本公开的实施方式提出了消除在与子图片信息的存在相关的标志的值为零的情况下与子图片是否仅包括一个切片相关的标志的值变为零的限制的方法。在这种情况下,与子图片是否仅包括一个切片相关的标志可以指示即使在不存在子图片信息的情况下当前图片也仅包括一个切片的情况。
例如,根据实施方式,即使在编码层视频序列(CLVS)不存在子图片信息的情况下,也可以存在与子图片是否仅包括一个切片相关的标志。即,即使在CLVS不存在子图片信息的情况下,与子图片是否仅包括一个切片相关的标志也可以具有值零或1。
例如,在与子图片信息的存在相关的标志的值为零并且与子图片是否仅包括一个切片相关的标志的值为1的情况下,当前图片可以仅包括一个切片。即,在不存在发信号通知的子图片并且与子图片是否仅包括一个切片相关的标志的值为1的情况下,图片中切片的数目可以被推断为1。
另外,在与子图片信息的存在相关的标志的值为零的情况下,当前图片中子图片的数目可以为1。例如,在与子图片信息的存在相关的标志的值为零的情况下,参照图像信息的SPS的所有图片中的每一个中存在的子图片的数目可以为1。
此外,与当前图片中所包括的切片的数目相关的标志可以被包括在图像信息的PPS中。与当前图片中所包括的切片的数目相关的标志可以被称为num_slices_in_pic_minus1或pps_num_slices_in_pic_minus1,但可以不限于此。此外,与当前图片中所包括的子图片的数目相关的标志可以被包括在图像信息的SPS中。与当前图片中所包括的子图片的数目相关的标志可以被称为sps_num_subpics_minus1,但可以不限于此。
在不存在子图片信息并且与子图片是否仅包括一个切片相关的标志的值为1的情况下,与当前图片中所包括的切片的数目相关的标志可以被推断为具有值零。另外,在不存在子图片信息并且与子图片是否仅包括一个切片相关的标志的值为1的情况下,与当前图片中所包括的切片的数目相关的标志和与当前图片中所包括的子图片的数目相关的标志可以被推断为具有相同的值。
另外,在与子图片是否仅包括一个切片相关的标志的值为1的情况下,图片中的所有CTU都可以属于图片中所包括的仅一个切片。
包括与子图片是否仅包括一个切片相关的标志和与当前图片中所包括的切片的数目相关的标志的语法元素的语义可以如下表地表示。
[表4]
Figure BDA0003753291340000201
参照上表,在与子图片是否仅包括一个切片相关的标志对应的single_slice_per_subpic_flag的值为1的情况下,每个子图片可以包括单个矩形切片。另外,在single_slice_per_subpic_flag的值为零的情况下,每个子图片可以包括一个或更多个矩形切片。在single_slice_per_subpic_flag的值为1的情况下,对应于与当前图片中所包括的切片的数目相关的标志的num_slices_in_pic_minus1的值可以被推断为具有对应于与当前图片中所包括的子图片的数目相关的标志的sps_num_subpics_minus1的值。
此外,在single_slice_per_subpic_flag的值为1并且对应于与子图片信息的存在相关的标志的subpics_present_flag的值为零的情况下,参照PPS的图片可以每个图片具有单个切片。
此外,可以根据下表来确定作为对图片中的图块进行解码的顺序的扫描处理。
[表5]
Figure BDA0003753291340000211
Figure BDA0003753291340000221
图8是例示了根据实施方式的编码设备的操作的流程图,并且图9是例示了根据实施方式的编码设备的配置的框图。
图8中示出的方法可以由图2或图9中示出的编码设备执行。图9中示出的步骤S810可以由图2中示出的图像分割器210执行,并且步骤S820可以由图2中示出的熵编码器240执行。此外,根据步骤S810和S820的操作基于参考图1至图7描述的说明书的一部分。因此,省略或简要描述了与参考图1至图7描述的说明书重叠的详细描述。
参照图8,根据实施方式的编码设备可以对当前图片进行分割并推导至少一个切片(步骤S810)。例如,编码设备的图像分割器210可以基于至少一个切片来生成当前图片的分割信息。
根据实施方式的编码设备可以基于至少一个切片对当前图片的图像信息进行编码(步骤S810)。图像信息可以包括基于至少一个切片生成的分割信息。
例如,图像信息可以包括与子图片信息的存在相关的第一标志和与子图片是否仅包括一个切片相关的第二标志。例如,基于第一标志和第二标志,当前图片中所包括的切片的数目可以被推导为等于1。
例如,在与子图片信息的存在相关的第一标志的值为零并且第二标志的值为1的情况下,当前图片中所包括的切片的数目可以被推导为等于1。
例如,在与子图片信息的存在相关的第一标志的值为零的情况下,当前图片中存在的子图片的数目可以为1。
例如,与子图片信息的存在相关的第一标志可以被包括在图像信息的SPS(序列参数集)中。
例如,与子图片是否仅包括一个切片相关的第二标志可以被包括在图像信息的PPS(图片参数集)中。
例如,图像信息可以包括与当前图片中所包括的切片的数目相关的第三标志,并且第三标志可以被包括在图像信息的PPS中。
另外,例如,图像信息可以包括与当前图片中所包括的子图片的数目相关的第四标志,并且第四标志可以被包括在图像信息的SPS中。
另外,例如,在第一标志的值为零的情况下,参照图像信息的SPS的所有图片中的每一个中存在的子图片的数目可以被推导为等于1。
此外,图像信息可以包括当前图片的预测信息。预测信息可以包括在当前图片中执行的帧间预测模式或帧内预测模式的信息。编码设备可以生成当前图片的预测信息并对其进行编码。
此外,可以通过网络或(数字)存储介质将比特流发送到解码设备。这里,网络可以包括广播网络和/或通信网络。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。
图10是例示了根据实施方式的编码设备的操作的流程图,并且图11是例示了根据实施方式的解码设备的配置的框图。
图10中公开的方法可以由图3或图11中示出的解码设备执行。特别地,步骤S1010和S1020可以由图3中示出的熵解码器310执行。此外,根据步骤S1010至S1020的操作基于参考图1至图7描述的说明书的一部分。因此,省略或简要描述了与参考图1至图7描述的说明书重叠的详细描述。
根据实施方式的解码设备可以从比特流获得当前图片的图像信息(步骤S1010)。例如,解码设备的熵解码器310可以从比特流获得包括当前图片的分割信息的图像信息。例如,分割信息可以包括当前图片的切片信息。另外,图像信息可以包括预测相关信息或残差相关信息的至少一部分。例如,预测相关信息可以包括帧间预测模式信息或帧间预测类型信息。
根据实施方式的解码设备可以基于至少图像信息来对当前图片进行解码(步骤S1020)。例如,解码设备的熵解码器310可以基于当前图片的切片信息来推导当前图片的分割结构。
例如,图像信息可以包括与子图片信息的存在相关的第一标志和与子图片是否仅包括一个切片相关的第二标志。例如,基于第一标志和第二标志,当前图片中所包括的切片的数目可以被推导为等于1。
例如,在第一标志的值为零并且第二标志的值为1的情况下,当前图片中所包括的切片的数目可以被推导为等于1。
例如,在与子图片信息的存在相关的标志的值为零的情况下,当前图片中存在的子图片的数目可以为1。
例如,与子图片信息的存在相关的第一标志可以被包括在图像信息的SPS(序列参数集)中。
例如,与子图片是否仅包括一个切片相关的第二标志可以被包括在图像信息的PPS(图片参数集)中。
例如,图像信息可以包括与当前图片中所包括的切片的数目相关的第三标志,并且第三标志可以被包括在图像信息的PPS中。
另外,例如,图像信息可以包括与当前图片中所包括的子图片的数目相关的第四标志,并且与当前图片中所包括的子图片的数目相关的标志可以被包括在图像信息的SPS中。
另外,例如,在第一标志的值为零的情况下,参照图像信息的SPS的所有图片中的每一个中存在的子图片的数目可以被推导为等于1。
尽管已经基于在上述实施方式中顺序列出步骤或块的流程图描述了方法,但本文献的步骤不限于特定的顺序,并且特定步骤可以相对于上述步骤在不同的步骤中或以不同的顺序或者同时地执行。另外,本领域的普通技术人员将理解,流程图中的步骤不是排他性的,并且在没有对本公开的范围施加影响的情况下,可以在其中包括另一步骤,或者可以删除流程图中的一个或更多个步骤。
根据本公开的以上提到的方法可以是软件的形式,并且根据本公开的编码设备和/或解码设备可以被包括在用于执行图像处理的装置(例如,TV、计算机、智能电话、机顶盒、显示装置等)中。
当用软件实现本公开的实施方式时,可以用执行以上提到的功能的模块(处理或功能)实现以上提到的方法。模块可以被存储在存储器中并且由处理器执行。存储器可以安装在处理器的内部或外部,并可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(ASIC)、其他芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其他存储装置。换句话说,根据本公开的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如,相应图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下,关于实现方式的信息(例如,关于指令的信息)或算法可以被存储在数字存储介质中。
另外,应用本文献的实施方式的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供器、顶置(OTT)视频装置、互联网流传输服务提供器、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、图像电话视频装置、车载终端(例如,车(包括自主车辆)载终端、飞机终端或轮船终端)和医疗视频装置中;并且可以被用于处理图像信号或数据。例如,OTT视频装置可以包括游戏控制台、Blueray(蓝光)播放器、联网TV、家庭影院***、智能手机、平板PC和数字视频记录仪(DVR)。
另外,应用本文献的处理方法可以以由计算机执行的程序的形式产生,并可以被存储在计算机可读记录介质中。根据本文献的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有类型的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还包括以载波(例如,互联网上的传输)的形式实施的媒体。另外,通过编码方法生成的比特流可以被存储在计算机可读记录介质中,或者可以通过有线或无线通信网络传输。
另外,本文献的实施方式可以使用程序代码被实施为计算机程序产品,并且程序代码可以根据本文献的实施方式由计算机执行。程序代码可以被存储在计算机可读载体上。
图12例示了可以应用本文献中公开的实施方式的内容流传输***的示例。
参照图12,应用本文献的实施方式的内容流传输***基本上可以包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。
编码服务器用来将从诸如智能电话、照相机、摄像机等这样的多媒体输入装置输入的内容压缩为数字数据,生成比特流,并且将其传送至流传输服务器。作为另一示例,在诸如智能电话、照相机、摄像机等这样的多媒体输入装置直接生成码流的情况下,可省略编码服务器。
可通过本文献的实施方式应用于的编码方法或比特流生成方法来生成比特流。并且流传输服务器可在发送或接收比特流的过程中暂时存储比特流。
流传输服务器基于用户的请求通过网络服务器向用户设备传送多媒体数据,该网络服务器充当向用户通知存在什么服务的工具。当用户请求用户想要的服务时,网络服务器将请求转移至流传输服务器,并且流传输服务器将多媒体数据传送至用户。在这方面,内容流***可包括单独的控制服务器,并且在这种情况下,控制服务器用来控制内容流***中的各个设备之间的命令/响应。
流传输服务器可从媒体存储器和/或编码服务器接收内容。例如,在从编码服务器接收到内容的情况下,可实时地接收内容。在这种情况下,流传输服务器可将比特流存储预定时间段以流畅地提供流传输服务。
例如,用户装置可包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超级本、可穿戴装置(例如,手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
可将内容流***中的每个服务器作为分布式服务器操作,并且在这种情况下,可以分布式方式处理由每个服务器接收的数据。
本公开的权利要求可以以各种方式组合。例如,本公开的方法权利要求中的技术特征可以组合以在设备中实施或执行,并且设备权利要求中的技术特征可以组合以在方法中实施或执行。此外,方法权利要求和设备权利要求中的技术特征可以组合以在设备中实施或执行。此外,方法权利要求和设备权利要求中的技术特征可以组合以在方法中实施或执行。

Claims (17)

1.一种由解码设备执行的图像解码方法,该图像解码方法包括以下步骤:
从比特流获得关于当前图片的图像信息;以及
基于所述图像信息对所述当前图片进行解码,
其中,所述图像信息包括与子图片信息的存在相关的第一标志和与每个子图片是否仅包括一个切片相关的第二标志,并且
其中,基于所述第一标志和所述第二标志,所述当前图片中所包括的切片的数目被推导为等于1。
2.根据权利要求1所述的图像解码方法,其中,当所述第一标志的值为零并且所述第二标志的值为1时,所述当前图片中所包括的切片的数目为1。
3.根据权利要求1所述的图像解码方法,其中,当所述第一标志的值为零时,所述当前图片中存在的子图片的数目为1。
4.根据权利要求1所述的图像解码方法,其中,所述第一标志被包括在所述图像信息的序列参数集SPS中。
5.根据权利要求1所述的图像解码方法,其中,所述第二标志被包括在所述图像信息的图片参数集PPS中。
6.根据权利要求1所述的图像解码方法,其中,所述图像信息还包括与所述当前图片中所包括的所述切片的数目相关的第三标志,并且
其中,所述第三标志被包括在所述图像信息的PPS中。
7.根据权利要求1所述的图像解码方法,其中,所述图像信息还包括与所述当前图片中所包括的子图片的数目相关的第四标志,并且
其中,所述第四标志被包括在所述图像信息的SPS中。
8.根据权利要求1所述的图像解码方法,其中,当所述第一标志的值为零时,参照所述图像信息的SPS的所有图片中的每一个中存在的子图片的数目被推导为等于1。
9.一种由编码设备执行的图像编码方法,该图像编码方法包括以下步骤:
通过对当前图片进行分割来推导至少一个切片;以及
基于所述至少一个切片对所述当前图片的图像信息进行编码,
其中,所述图像信息包括与子图片信息的存在相关的第一标志和与所述当前图片中的每个子图片是否仅包括一个切片相关的第二标志,并且
其中,基于所述第一标志和所述第二标志,所述当前图片中所包括的切片的数目被推导为等于1。
10.根据权利要求9所述的图像编码方法,其中,当所述第一标志的值为零并且所述第二标志的值为1时,所述当前图片中所包括的切片的数目为1。
11.根据权利要求9所述的图像编码方法,其中,当所述第一标志的值为零时,所述当前图片中存在的子图片的数目为1。
12.根据权利要求9所述的图像编码方法,其中,所述第一标志被包括在所述图像信息的序列参数集SPS中。
13.根据权利要求9所述的图像编码方法,其中,所述第二标志被包括在所述图像信息的图片参数集PPS中。
14.根据权利要求9所述的图像编码方法,其中,所述图像信息还包括与所述当前图片中所包括的切片的数目相关的第三标志,并且
其中,所述第三标志被包括在所述图像信息的PPS中。
15.根据权利要求9所述的图像编码方法,其中,所述图像信息还包括与所述当前图片中所包括的子图片的数目相关的第四标志,并且
其中,所述第四标志被包括在所述图像信息的SPS中。
16.根据权利要求9所述的图像编码方法,其中,当所述第一标志的值为零时,参照所述图像信息的SPS的所有图片中的每一个中存在的子图片的数目被推导为等于1。
17.一种存储致使解码设备执行图像解码方法的图像信息的非暂态计算机可读存储介质,该图像解码方法包括以下操作:
从比特流获得关于当前图片的图像信息;以及
基于所述图像信息对所述当前图片进行解码,
其中,所述图像信息包括与子图片信息的存在相关的第一标志和与每个子图片是否仅包括一个切片相关的第二标志,并且
其中,基于所述第一标志和所述第二标志,所述当前图片中所包括的切片的数目被推导为等于1。
CN202080093704.1A 2019-11-27 2020-11-26 发信号通知图片分割信息的方法和设备 Pending CN114982242A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962941662P 2019-11-27 2019-11-27
US62/941,662 2019-11-27
PCT/KR2020/016944 WO2021107634A1 (ko) 2019-11-27 2020-11-26 픽처 분할 정보를 시그널링 하는 방법 및 장치

Publications (1)

Publication Number Publication Date
CN114982242A true CN114982242A (zh) 2022-08-30

Family

ID=76130633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080093704.1A Pending CN114982242A (zh) 2019-11-27 2020-11-26 发信号通知图片分割信息的方法和设备

Country Status (10)

Country Link
US (1) US12003720B2 (zh)
EP (1) EP4068784A4 (zh)
JP (2) JP7375198B2 (zh)
KR (1) KR20220082081A (zh)
CN (1) CN114982242A (zh)
AU (2) AU2020392155B2 (zh)
BR (1) BR112022010214A2 (zh)
CA (1) CA3163401A1 (zh)
MX (1) MX2022006361A (zh)
WO (1) WO2021107634A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220083818A (ko) * 2019-11-27 2022-06-20 엘지전자 주식회사 슬라이스 관련 정보를 시그널링하는 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553150B1 (en) * 2000-04-25 2003-04-22 Hewlett-Packard Development Co., Lp Image sequence compression featuring independently coded regions
US9706204B2 (en) * 2010-05-19 2017-07-11 Sk Telecom Co., Ltd. Image encoding/decoding device and method
JP5706771B2 (ja) * 2010-07-30 2015-04-22 キヤノン株式会社 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
CN108353179A (zh) * 2015-09-10 2018-07-31 三星电子株式会社 编码设备、解码设备及其编码方法和解码方法
CN116170588A (zh) * 2016-03-30 2023-05-26 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
US10410376B1 (en) * 2016-09-26 2019-09-10 Amazon Technologies, Inc. Virtual reality media content decoding of portions of image frames
WO2018178507A1 (en) * 2017-03-27 2018-10-04 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10791003B2 (en) * 2017-10-30 2020-09-29 Intel Corporation Streaming on diverse transports

Also Published As

Publication number Publication date
US12003720B2 (en) 2024-06-04
JP7375198B2 (ja) 2023-11-07
CA3163401A1 (en) 2021-06-03
EP4068784A4 (en) 2024-01-17
MX2022006361A (es) 2022-09-07
AU2020392155B2 (en) 2024-02-15
US20230029653A1 (en) 2023-02-02
AU2020392155A1 (en) 2022-07-14
JP2023503660A (ja) 2023-01-31
JP7528335B2 (ja) 2024-08-05
BR112022010214A2 (pt) 2022-09-06
EP4068784A1 (en) 2022-10-05
KR20220082081A (ko) 2022-06-16
WO2021107634A1 (ko) 2021-06-03
AU2024203032A1 (en) 2024-05-23
JP2023175009A (ja) 2023-12-08

Similar Documents

Publication Publication Date Title
CN114600466A (zh) 基于交叉分量滤波的图像编码设备和方法
US12015766B2 (en) Prediction weighted table-based image/video coding method and apparatus
US11575942B2 (en) Syntax design method and apparatus for performing coding by using syntax
CN114982245A (zh) 基于滤波的图像编码装置和方法
CN115104317A (zh) 图像编码装置和用于控制环路滤波的方法
JP7528335B2 (ja) ピクチャ分割情報をシグナリングする方法及び装置
US20230057736A1 (en) Image coding apparatus and method based on sub-picture
CN115053522A (zh) 采用自适应环路滤波器的视频或图像编码
CN115136607A (zh) 基于滤波的图像编码装置和方法
CN114424548A (zh) 基于调色板编码的图像或视频编码
KR20220161412A (ko) 비디오 또는 영상 코딩 시스템에서의 흑백 영상에 대한 크로마 디블록킹 파라미터 정보에 기반한 영상 코딩 방법
CN115088262A (zh) 用于发信号通知图像信息的方法和装置
CN115104313A (zh) 发信号通知在图片或切片级适用的视频信息的方法和装置
CN114762350A (zh) 基于切片类型的图像/视频编译方法和设备
US20240129475A1 (en) Method and device for signaling information related to slice in image/video encoding/decoding system
US20230046583A1 (en) Virtual boundary-based image coding device and method
US20230041024A1 (en) Image coding device and method
US20230052204A1 (en) Picture splitting-based image coding device and method
US20240056591A1 (en) Method for image coding based on signaling of information related to decoder initialization
US20230046209A1 (en) Filtering-based image coding device and method
CN115004708A (zh) 用于发信号通知图像信息的方法和设备
CN115004709A (zh) 用于发信号通知切片相关信息的方法和装置
CN114982231A (zh) 图像解码方法及用于其的装置
CN114930855A (zh) 用于图像/视频编译的切片和拼块配置
CN114762335A (zh) 基于变换跳过和调色板编码相关数据的图像或视频编码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination