CN115699762A - 通过用信号通知gci对图像进行编码/解码的方法和设备及存储比特流的计算机可读记录介质 - Google Patents

通过用信号通知gci对图像进行编码/解码的方法和设备及存储比特流的计算机可读记录介质 Download PDF

Info

Publication number
CN115699762A
CN115699762A CN202180036646.3A CN202180036646A CN115699762A CN 115699762 A CN115699762 A CN 115699762A CN 202180036646 A CN202180036646 A CN 202180036646A CN 115699762 A CN115699762 A CN 115699762A
Authority
CN
China
Prior art keywords
information
prediction
flag
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180036646.3A
Other languages
English (en)
Inventor
南廷学
朴婡利
张炯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115699762A publication Critical patent/CN115699762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了用于用信号通知GCI来对图像进行编码/解码的方法和设备以及传输比特流的方法。根据本公开的用于对图像进行解码的方法可以包括以下步骤：获得指示是否约束预定编码工具的应用的第一信息；获得指示是否应用预定编码工具的第二信息，以及基于第二信息重构当前画面，其中，基于第一信息的值来确定第二信息的值，并且预定编码工具可包括与变换系数相关的缩放列表的显式信令、加权预测或在虚拟边界中的环路内滤波的非激活中的至少一者。

Description

通过用信号通知GCI对图像进行编码/解码的方法和设备及存 储比特流的计算机可读记录介质
技术领域
本公开涉及图像编码/解码方法和设备，更具体地，涉及图像编码/解码方法和设备以及存储由本公开的图像编码方法/设备生成的比特流的计算机可读记录介质。
背景技术
最近，各个领域对诸如高清(HD)图像和超高清(UHD)图像的高分辨率和高质量图像的需求正在增加。随着图像数据的分辨率和质量的提高，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息量或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地传输、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的在于提供一种具有提高的编码/解码效率的图像编码/解码方法和设备。
本公开的另一个目的是提供一种用于通过用信号通知一般约束信息(GCI)来提高编码/解码效率的图像编码/解码方法和设备。
本公开的另一个目的是提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
本公开的另一个目的是提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
本公开的另一个目的是提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本公开所解决的技术问题不限于上述技术问题，本领域技术人员通过以下描述将清楚此处未描述的其它技术问题。
技术方案
根据本公开的一个方面的由图像解码设备执行的图像解码方法可以包括以下步骤：获得指定是否约束预定编码工具的应用的第一信息，获得指定是否应用预定编码工具的第二信息，以及基于第二信息重构当前画面。可以基于第一信息的值来确定第二信息的值，并且预定编码工具可以包括加权预测、针对变换系数的缩放列表的显式信令或在虚拟边界处的环路内滤波的禁用中的至少一者。
在本公开的图像解码方法中，基于第一信息指定应用被约束，第二信息可以具有指定不应用预定编码工具的值。
在本公开的图像解码方法中，可以从用于用信号通知一般约束信息的语法结构获得第一信息。
在本公开的图像解码方法中，可从序列参数集(SPS)获得第二信息。
根据本公开的另一方面的图像解码设备可以包括存储器和至少一个处理器。至少一个处理器可以获得指定是否约束预定编码工具的应用的第一信息，获得指定是否应用预定编码工具的第二信息，并且基于第二信息重构当前画面。可以基于第一信息的值来确定第二信息的值，并且预定编码工具可以包括加权预测、针对变换系数的缩放列表的显式信令或在虚拟边界处的环路内滤波的禁用中的至少一者。
由根据本公开的另一方面的图像编码设备执行的图像编码方法可以包括：对指定是否约束预定编码工具的应用的第一信息进行编码；对指定是否应用预定编码工具的第二信息进行编码；以及基于第二信息对当前视频序列中的当前画面进行编码。可以基于第一信息的值来确定第二信息的值，并且预定编码工具可以包括加权预测、针对变换系数的缩放列表的显式信令或在虚拟边界处的环路内滤波的禁用中的至少一者。
在本公开的图像编码方法中，基于第一信息指定应用被约束，第二信息可以具有指定不应用预定编码工具的值。
在本公开的图像编码方法中，第一信息可以被编码在用于用信号通知一般约束信息的语法结构中。
在本公开的图像编码方法中，第二信息可以被编码在序列参数集(SPS)中。
根据本公开的另一方面的传输方法可以传输由本公开的图像编码设备或图像编码方法生成的比特流。
根据本公开的另一方面的计算机可读记录介质可以存储由本公开的图像编码设备或图像编码方法生成的比特流。
以上关于本公开的简要概述的特征仅仅是本公开的以下详细描述的示例性方面，并不限制本公开的范围。
有益效果
根据本公开，能够提供一种具有提高的编码/解码效率的图像编码/解码方法和设备。
此外，根据本公开，可以提供一种用于通过用信号通知一般约束信息(GCI)来提高编码/解码效率的图像编码/解码方法和设备。
此外，根据本公开，能够提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
此外，根据本公开，能够提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
此外，根据本公开，能够提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本领域的技术人员将理解，通过本公开可以实现的效果不限于上文已经具体描述的内容，并且将从详细描述中更清楚地理解本公开的其它优点。
附图说明
图1是示意性地示出本公开的实施方式适用于的视频编码***的视图。
图2是示意性地示出本公开的实施方式适用于的图像编码设备的视图。
图3是示意性地示出本公开的实施方式适用于的图像解码设备的视图。
图4是示出本公开的实施方式适用于的示意性画面解码过程的示例的流程图。
图5是示出本公开的实施方式适用于的示意性画面编码过程的示例的流程图。
图6是例示用于用信号通知常规一般约束信息的语法结构的示例的视图。
图7是示出用于用信号通知作为一般约束信息的指示是否约束加权预测的信息的语法结构的示例的视图。
图8是例示参照图7描述的实施方式的图像编码设备的操作的图。
图9是例示参照图7描述的实施方式的图像解码设备的操作的图。
图10是例示本公开的用于用信号通知作为一般约束信息的指定是否约束缩放列表的显式信令的信息的语法结构的示例的视图。
图11是例示参照图10描述的实施方式的图像编码设备的操作的图。
图12是例示参照图10描述的实施方式的图像解码设备的操作的图。
图13是例示用于用信号通知作为本公开的一般约束信息的指定是否约束在虚拟边界处的环路内滤波的禁用的信息的语法结构的示例的视图。
图14是例示参照图13描述的实施方式的图像编码设备的操作的图。
图15是例示参照图13描述的实施方式的图像解码设备的操作的图。
图16是例示本公开的用于用信号通知作为一般约束信息的指定是否约束熵编码同步的信息的语法结构的示例的视图。
图17是例示本公开的用于用信号通知作为一般约束信息的指定是否约束长期参考画面(LTRP)的使用的信息的语法结构的示例的视图。
图18是示出本公开的实施方式适用于的内容流***的视图。
具体实施方式
在下文中，将参照附图对本公开的实施方式进行详细描述，以易于本领域技术人员实现。然而，本公开可以以各种不同的形式实现，并且不限于本文描述的实施方式。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“联接”或“链接”到另一个组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其它组件时，除非另有说明，否则是指还可以包括其它组件，而不是排除其它组件。
在本公开中，术语第一、第二等仅用于将一个组件与其它组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施方式中的第一组件在另一个实施方式中可以被称为第二组件，类似地，一个实施方式中的第二组件在另一个实施方式中可以被称为第一组件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施方式也包括在本公开的范围内。
在本公开中，各个实施方式中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施方式中描述的组件的子集组成的实施方式也包括在本公开的范围内。此外，除了在各种实施方式中描述的组件之外还包括其它组件的实施方式包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“画面”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成画面的一部分的编码单元，一个画面可以由一个或更多个切片/拼块组成。此外，切片/拼块可以包括一个或更多个编码树单元(CTU)。
在本公开中，“像素”或“像元(pel)”可以意指构成一个画面(或图像)的最小单元。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括画面的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编码块”、“当前编码单元”、“编码目标块”、“解码目标块”或“处理目标块”中的一个。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
另外，在本公开中，除非明确说明为色度块，“当前块”可以意指包括亮度分量块和色度分量块二者的块或“当前块的亮度块”。“当前块的亮度块”可以通过包括诸如“亮度块”或“当前亮度块”的亮度分量块的明确描述来表示。另外，“当前块的色度块”可以通过包括诸如“色度块”或“当前色度块”的色度分量块的明确描述来表示。
在本公开中，“A或B”可以意指“仅A”、“仅B”或“A和B二者”。换句话说，在本公开中，“A或B”可解释为“A和/或B”。例如，在本公开中，“A、B或C”可表示“仅A”、“仅B”、“仅C”或“A、B和C的任意组合”。
本公开中使用的斜线(/)或逗号可表示“和/或”。例如，“A/B”可表示“A和/或B”。因此，“A/B”可表示“仅A”、“仅B”或“A和B两者”。例如，“A、B、C”可以意指“A、B或C”。
在本公开中，“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B二者”。另外，在本公开中，“A或B中的至少一个”或“A和/或B中的至少一个”可被解释为与“A和B中的至少一个”相同。
另外，在本公开中，“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外，在本公开中，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可被解释为与“A、B和C中的至少一个”相同。
另外，本公开中使用的括号可以意指“例如”。具体地，当描述“预测(帧内预测)”时，可以提出“帧内预测”作为“预测”的示例。换句话说，本公开的“预测”不限于“帧内预测”，并且可以提出“帧内预测”作为“预测”的示例。另外，即使当描述了“预测(即，帧内预测)”时，也可以提出“帧内预测”作为“预测”的示例。
在本公开中，在一个附图中单独描述的技术特征可以单独或同时实现。
视频编码***的概述
图1是示出根据本公开的视频编码***的视图。
根据实施方式的视频编码***可以包括编码设备10和解码设备20。编码设备10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码设备20。
根据实施方式的编码设备10可以包括视频源生成器11、编码单元12和发送器13。根据实施方式的解码设备20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发送器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编码效率，编码单元12可以执行一系列过程，例如预测、变换和量化。编码单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
发送器13可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码视频/图像信息或数据传输到解码设备20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码设备的概述
图2是示出本公开的实施方式可适用于的图像编码设备的视图。
如图2所示，图像编码设备100可以包括图像分割器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测单元180、帧内预测单元185和熵编码器190。帧间预测单元180和帧内预测单元185可以统称为“预测单元”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施方式中，配置图像编码设备100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码画面缓冲器(DPB)并且可以由数字存储介质配置。
图像分割器110可将输入到图像编码设备100的输入图像(或画面或帧)分割成一个或更多个处理单元。例如，处理单元可以称为编码单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分割编码树单元(CTU)或最大编码单元(LCU)来获取编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分割为更深深度的多个编码单元。对于编码单元的分割，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。可以将最大编码单元用作最终编码单元，也可以将通过分割最大编码单元获取的更深深度的编码单元用作最终编码单元。这里，编码过程可以包括稍后将描述的预测、变换和重构的过程。作为另一个示例，编码过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编码单元划分或分割。预测单元可以是样本预测单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
预测单元(帧间预测单元180或帧内预测单元185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测单元可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测单元可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测单元185可以通过参考当前画面中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测单元185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测单元180可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如，帧间预测单元180可以基于邻近块配置运动信息候选列表并生成指示使用哪个候选来推导当前块的运动向量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测单元180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且当前块的运动向量可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测单元可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测单元不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。此外，预测单元可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容视频/图像编码，例如，屏幕内容编码(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前画面中先前重构的参考块来预测当前画面的方法。当应用IBC时，参考块在当前画面中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测执行，因为在当前画面内推导参考块。即，IBC可以使用本公开中描述的至少一种帧间预测技术。
预测单元生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测单元输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的正方形像素块或者可以应用于具有可变大小而不是正方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描顺序将块类型的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单元进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码设备100的内部/外部元件。另选地，可以提供发送器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个画面进行帧间预测。
此外，在图像编码和/或重构处理中，可以应用具有色度缩放的亮度映射(LMCS)。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构画面可以用作帧间预测单元180中的参考画面。当通过图像编码设备100应用帧间预测时，可以避免图像编码设备100和图像解码设备之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构画面以用作帧间预测单元180中的参考画面。存储器170可以存储从其中推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前画面中重构块的重构样本并且可以将重构样本传送到帧内预测单元185。
图像解码设备的概述
图3是示意性地示出本公开的实施方式可适用的图像解码设备的视图。
如图3所示，图像解码设备200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可以统称为“预测单元”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施方式，配置图像解码设备200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码画面缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码设备200可以通过执行与由图2的图像编码设备100执行的处理相对应的处理来重构图像。例如，图像解码设备200可以使用在图像编码设备中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元。编码单元可以通过分割编码树单元或最大编码单元来获取。通过图像解码设备200解码和输出的重构图像信号可以通过再现设备(未示出)再现。
图像解码设备200可以接收以比特流的形式从图2的图像编码设备输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码设备还可以基于关于参数集的信息和/或通用约束信息对画面进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率来对bin执行算术解码，并且生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测单元(帧间预测单元260和帧内预测单元265)，并且在熵解码器210中对其执行熵解码的残差值，即，量化变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将熵解码器210解码的信息当中关于滤波的信息提供给滤波器240。此外，用于接收从图像编码设备输出的信号的接收器(未示出)可以进一步被配置为图像解码设备200的内部/外部元件，或者接收器可以是熵解码器210的组件。
此外，根据本公开的图像解码设备可以被称为视频/图像/画面解码设备。图像解码设备可以分为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元160或帧内预测单元265中的至少一个。
解量化器220可以对量化变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化变换系数。在这种情况下，可以基于在图像编码设备中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测单元可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测单元可以基于从熵解码器210输出的关于预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定帧内/帧间预测模式(预测技术)。
与在图像编码设备100的预测单元中描述的相同的是，预测单元可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测单元265可以通过参考当前画面中的样本来预测当前块。帧内预测单元185的描述同样适用于帧内预测单元265。
帧间预测单元260可以基于参考画面上由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。例如，帧间预测单元260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息推导当前块的运动向量和/或参考画面索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测单元(包括帧间预测单元260和/或帧内预测单元265)输出的预测信号(预测块、预测样本阵列)相加生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差(例如，应用跳过模式的情况)，则预测块可以用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。所生成的重构信号可以用于当前画面中要处理的下一块的帧内预测，并且可以用于通过如下所述的滤波对下一画面的帧间预测。
此外，在画面解码处理中，可以应用具有色度缩放的亮度映射(LMCS)。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构画面可以用作帧间预测单元260中的参考画面。存储器250可以存储从其中推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前画面中重构块的重构样本并将重构样本传送到帧内预测单元265。
在本公开中，在图像编码设备100的滤波器160、帧间预测单元180和帧内预测单元185中描述的实施方式可以同等地或对应地应用于图像解码设备200的滤波器240、帧间预测单元260和帧内预测单元265。
编码设备的量化器可以通过对变换系数应用量化来推导量化变换系数，并且编码设备的解量化器或解码设备的解量化器可以通过对量化变换系数应用解量化来推导变换系数。在视频编码中，可以改变量化率，并且可以使用经改变的量化率来调整压缩率。从实现的角度来看，考虑到复杂性，可以使用量化参数(QP)而不是直接使用量化率。例如，可使用从0到63的整数值的量化参数，并且每个量化参数集可以对应于实际量化率。可以不同地设置针对亮度分量(亮度样本)的量化参数QPY和针对色度分量(色度样本)的量化参数QPC。
在量化处理中，变换系数C可以被输入并且除以量化率Qstep，并且可以基于此推导经量化变换系数C’。在此情况下，考虑到计算复杂性，可以将量化率乘以比例以形成整数，并且通过与比例值相对应的值来执行移位运算。可以基于量化率与比例值的乘积推导量化比例。也就是说，可以根据QP推导量化比例。量化比例可以被应用于变换系数，并且可以基于此推导量化变换系数C’。
解量化处理是量化处理的逆处理，并且量化变换系数C’可以乘以量化率Qstep，并且可以基于此推导重构变换系数C”。在此情况下，可以根据量化参数推导级别(level)比例，级别比例可以被应用于量化变换系数C”，并且可以基于此推导重构变换系数C”。由于变换及/或量化处理的损失，重构变换系数C”可以与原始变换系数C稍微不同。因此，即使在编码设备中，也可以与解码设备中相同的方式执行解量化。
此外，可以应用用于根据频率调整量化强度的自适应频率加权量化技术。自适应频率加权量化技术可以对应于根据频率不同地应用量化强度的方法。在自适应频率加权量化中，可以使用预定义的量化缩放矩阵根据频率不同地应用量化强度。也就是说，上述量化/解量化处理还可以基于量化缩放矩阵来执行。
例如，根据当前块的大小和/或应用于当前块以生成当前块的残差信号的预测模式是帧间预测还是帧内预测，可以使用不同的量化缩放矩阵。量化缩放矩阵可被称作量化矩阵或缩放矩阵。量化缩放矩阵可以是预定义的。另外，对于频率自适应缩放，用于量化缩放矩阵的频率量化缩放信息可以在编码设备中被构造/编码并且被用信号通知到解码设备。频率量化缩放信息可以被称为量化缩放信息。频率量化缩放信息可以包括缩放列表数据scaling_list_data。
可以基于缩放列表数据来推导量化缩放矩阵。此外，频率量化缩放信息可以包括指定是否存在缩放列表数据的存在标志信息。另外，当在高级别(例如，SPS)用信号通知缩放列表数据时，还可以包括在低级别(例如，PPS、APS或切片报头等)处修改的指定缩放列表数据的信息。
一般视频/图像编码过程
在视频/图像编码中，配置视频/图像的画面可以根据解码顺序来编码/解码。与解码画面的输出顺序对应的画面顺序可以与解码顺序不同地设定，并且基于此，在帧间预测期间不仅可以执行前向预测，而且可以执行后向预测。
图4是示出本公开的实施方式适用于的示意性画面解码过程的示例的流程图。
图4所示的各个过程可以由图3的图像解码设备执行。例如，步骤S410可以由熵解码器210执行，步骤S420可以由包括预测单元265和260的预测单元执行，步骤S430可以由包括的残差处理器220和230执行，步骤S440可以由加法器235执行，步骤S450可以由滤波器240执行。步骤S410可以包括本公开中描述的信息解码过程，步骤S420可以包括本公开中描述的帧间/帧内预测过程，步骤S430可以包括本公开中描述的残差处理过程，步骤S440可以包括本公开中描述的块/画面重构过程，步骤S450可以包括本公开中描述的环路内滤波过程。
参照图4，画面解码过程可以示意性地包括用于从比特流获得视频/图像信息(通过解码)的过程(S410)、画面重构过程(S420至S440)和针对重构画面的环路内滤波过程(S450)。可以基于通过本公开中描述的帧间/帧内预测(S420)和残差处理(S430)(量化变换系数的解量化和逆变换)获得的预测样本和残差样本来执行画面重构过程。可以通过针对通过画面重构过程生成的重构画面的环路内滤波过程来生成修改的重构画面。在这种情况下，修改的重构画面可以作为解码画面输出，被存储在存储器250的解码画面缓冲器(DPB)中，并且在稍后对画面进行解码时在帧间预测过程中用作参考画面。可以省略环路内滤波过程(S450)。在这种情况下，重构画面可以作为解码画面输出，被存储在存储器250的DPB中，并且在稍后对画面进行解码时在帧间预测过程中用作参考画面。如上所述，环路内滤波过程(S450)可以包括去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程，其中一些或全部可以省略。另外，去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程中的一个或一些可以依次应用，或者它们全部可以依次应用。例如，在对重构画面应用去块滤波过程之后，可以执行SAO过程。另选地，例如，在对重构画面应用去块滤波过程之后，可以执行ALF过程。这甚至可以在编码设备中类似地执行。
图5是示出本公开的实施方式适用于的示意性画面编码过程的示例的流程图。
图5所示的各个过程可以由图2的图像编码设备执行。例如，步骤S510可以由预测单元185和180执行，步骤S520可以由残差处理器115、120和130执行，步骤S530可以由熵编码器190执行。步骤S510可以包括本公开中描述的帧间/帧内预测过程，步骤S520可以包括本公开中描述的残差处理过程，步骤S530可以包括本公开中描述的信息编码过程。
参照图5，画面编码过程可以示意性地不仅包括对用于画面重构的信息(例如，预测信息、残差信息、分割信息等)进行编码并以比特流的形式输出的过程，而且包括为当前画面生成重构画面的过程以及对重构画面应用环路内滤波的过程(可选)，如相对于图2所描述的。编码设备可以通过解量化器140和逆变换器150从量化变换系数推导(修改的)残差样本，并且基于作为步骤S510的输出的预测样本和(修改的)残差样本来生成重构画面。这样生成的重构画面可以等于解码设备中生成的重构画面。可以通过对重构画面的环路内滤波过程来生成修改的重构画面。在这种情况下，修改的重构画面可以被存储在存储器170或解码画面缓冲器中，并且类似于解码设备，在稍后对画面进行编码时可以在帧间预测过程中用作参考画面。如上所述，在一些情况下，一些或所有环路内滤波过程可以被省略。当执行环路内滤波过程时，(环路内)滤波相关信息(参数)可以在熵编码器190中编码并且以比特流的形式输出，并且解码设备可以基于滤波相关信息使用与编码设备相同的方法执行环路内滤波过程。
通过这种环路内滤波过程，在视频/图像编码期间出现的噪声(例如，块伪影和振铃伪影)可以减少，并且主观/客观视觉质量可以改进。另外，通过在编码设备和解码设备二者中执行环路内滤波过程，编码设备和解码设备可以推导相同的预测结果，画面编码可靠性可以增加，并且要为画面编码发送的数据量可以减少。
如上所述，画面重构过程可以不仅在图像解码设备中执行，而且在图像编码设备中执行。可以基于帧内预测/帧间预测以块为单位生成重构块，并且可以生成包括重构块的重构画面。当当前画面/切片/拼块组是I画面/切片/拼块组时，包括在当前画面/切片/拼块组中的块可以仅基于帧内预测来重构。另一方面，当当前画面/切片/拼块组是P或B画面/切片/拼块组时，包括在当前画面/切片/拼块组中的块可以基于帧内预测或帧间预测来重构。在这种情况下，可以对当前画面/切片/拼块组中的一些块应用帧间预测，并且可以对剩余块应用帧内预测。画面的颜色分量可以包括亮度分量和色度分量，并且除非本公开中明确限制，否则本公开的方法和实施方式适用于亮度分量和色度分量二者。
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本公开的方法，所描述的步骤可以进一步包括其它步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其它附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施方式不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施方式中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施方式可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
此外，应用本公开的实施方式的图像解码设备和图像编码设备可以被包括在多媒体广播传送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(over the top video)装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、医疗视频装置等中，并且可用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院***、智能电话、平板PC、数字录像机(DVR)等。
图6是示出用于用信号通知常规一般约束信息的语法结构的示例的视图。在VVC中，可存在用于控制针对配置文件(profile)、层或级别的编码工具或功能的一般约束旗标。
参照图6，比特流可以包括例如general_constraint_info()语法结构中的general_non_packed_constraint_flag或general_frame_only_constraint_flag的信息作为一般约束信息。
例如，作为一般约束信息，可在OlsInScope的比特流中用信号通知指定是否约束帧封装布置SEI消息的信息(例如，general_non_packed_constraint_flag)。第一值(例如，1)的general_non_packed_constraint_flag可以指定存在于OlsInScope的比特流中的帧封装布置SEI消息不存在。第二值(例如，0)的general_non_packed_constraint_flag可以指定不施加约束。
另外，例如，作为一般约束信息，可以用信号通知指定是否约束OlsInScope的帧的信息(例如，general_frame_only_constraint_flag)。第一值(例如，1)的general_frame_only_constraint_flag可以指定施加约束，使得OlsInScope递送指定帧的画面。第二值(例如，0)的general_frame_only_constraint_flag可以指定不施加约束。也就是说，当general_frame_only_constraint_flag为第二值时，由OlsInScope递送的画面可以或可以不指定帧。在上文，OlsInScope可以意指包括在比特流中的输出层集合。
一般约束信息不限于参照图6描述的general_non_packed_constraint_flag和general_frame_only_constraint_flag，并且可以用信号通知其它一般约束信息。然而，用于用信号通知一般约束信息的常规语法结构具有无法充分支持对各种编码设备的约束的问题。
图7是例示本公开的用于用信号通知作为一般约束信息的指定是否约束加权预测的信息的示例的视图。
如上文所述，可以基于根据预测模式推导的运动信息推导当前块的预测块。预测块可以包括当前块的预测样本(预测样本阵列)。在当前块的运动向量指定分数样本单元时，可以执行内插过程。因此，可以基于参考画面中的分数样本单元的参考样本推导当前块的预测样本。
当仿射帧间预测应用于当前块时，可以基于样本/子块单元运动向量(MV)生成预测样本。当应用双预测时，可以基于L0预测(即，使用MVL0和参考画面列表L0中的参考画面的预测)来推导预测样本，并且可以基于L1预测(即，使用MVL1和参考画面列表L1中的参考画面的预测)来推导预测样本。另外，通过所推导预测样本的加权总和或加权平均值推导的预测样本(根据相位)可用作当前块的预测样本。在应用双预测的情况下，当用于L0预测的参考画面和用于L1预测的参考画面基于当前画面位于不同时间方向上时(即，当其对应于双预测和双向预测时)，这可被称作真实双向预测。基于所推导的预测样本，可以生成重构样本和重构画面。
在帧间预测中，可使用加权样本预测。加权样本预测可被称作加权预测。当当前块(例如，CU)的当前切片的切片类型为P切片或B切片时，可应用加权预测。也就是说，加权预测不仅可在应用双预测时使用，而且可在应用单预测时使用。例如，可以基于weightedPredFlag确定加权预测。可以基于用信号通知的pps_weighted_pred_flag(在P切片的情况下)或pps_weighted_bipred_flag(在B切片的情况下)确定weightedPredFlag的值。更具体地，指定是否针对当前块应用加权预测的weightedPredFlag可以在P切片的情况下被推导为pps_weighted_pred_flag值，并且可以在B切片的情况下被推导为pps_weighted_bipred_flag值。在上文中，pps_weighted_pred_flag可以是指定是否将加权预测应用于P切片的信息，且pps_weighted_bipred_flag可以是指定是否将显式加权预测应用于B切片的信息。pps_weighted_pred_flag和pps_weighted_bipred_flag可以被包括在参数集(例如，画面级别的画面参数集(PPS))中并且用信号通知。在本公开中，显式加权预测可以意指在通过比特流显式地用信号通知关于用于加权预测的权重的信息时的加权预测。根据本公开的实施方式，加权预测的约束信息可以被用信号通知作为一般约束信息。
参照图7，可以用信号通知指定是否约束加权预测的信息(例如，no_weighted_pred_constraint_flag)。在此情况下，可以在用于用信号通知一般约束信息的general_constraint_info()语法结构中包括并用信号通知指定是否约束加权预测的信息。
根据本实施方式，第一值(例如，1)的no_weighted_pred_constraint_flag可以意指施加约束使得sps_weighted_pred_flag和sps_weighted_bipred_flag的值为0。另外，第二值(例如，0)的no_weighted_pred_constraint_flag可以意指不施加约束。在上文中，sps_weighted_pred_flag为在高级别(例如，SPS)处用信号通知的信息，并且可以是指定是否应用加权预测的信息的示例。例如，第一值(例如，1)的sps_weighted_pred_flag可以指定加权预测适用于参考SPS的P切片，并且第二值(例如，0)的sps_weighted_pred_flag可以指定加权预测不应用于参考SPS的P切片。另外，sps_weighted_bipred_flag可以为在高级别(例如，SPS)处用信号通知的信息，并且可以是指定是否应用显式加权预测的信息的示例。例如，第一值(例如，1)的sps_weighted_bipred_flag可以指定显式加权预测适用于参考SPS的B切片，并且第二值(例如，0)的sps_weighted_bipred_flag可以指定显式加权预测不应用于参考SPS的B切片。如上文所描述，可以在general_constraint_info()语法结构中包括和用信号通知一般约束信息。general_constraint_info()语法结构存在于配置文件层级别(PTL)语法结构中，并且提供关于用于特定配置文件、层和级别的附加约束或限制的信息。
图8是例示根据参照图7所述的实施方式的图像编码设备的操作的图。在图8中，加权预测信息可以包括单向加权预测信息或双向加权预测信息中的至少一者。单向加权预测信息可以对应于指定加权预测是否适用于P切片的信息。例如，单向加权预测信息可以与诸如sps_weighted_pred_flag或pps_weighted_pred_flag的标志相对应。双向加权预测信息可以对应于指定显式加权预测是否适用于B切片的信息。例如，双向加权预测信息可以与诸如sps_weighted_bipred_flag或pps_weighted_bipred_flag的标志相对应。可以在序列级别或画面级别中的至少一者处用信号通知加权预测信息。例如，可以在序列参数集(SPS)或画面参数集(PPS)中的至少一者中包括且用信号通知加权预测信息。
参照图8，图像编码设备可以对no_weighted_pred_constraint_flag进行编码(S810)。图像编码设备可以确定是否对加权预测施加约束，并相应地对no_weighted_pred_constraint_flag进行编码。当对加权预测施加约束时，图像编码设备可以对第一值(例如，1)的no_weighted_pred_constraint_flag进行编码。另选地，当未对加权预测施加约束时，图像编码设备可以对(例如，0)的no_weighted_pred_constraint_flag进行编码第二值。图像编码设备可以将no_weighted_pred_constraint_flag编码为general_constraint_info()语法结构中的一般约束信息。例如，即使在将加权预测应用于当前配置文件、层和级别时图像编码设备也可以通过用信号通知no_weighted_pred_constraint_flag来设置加权预测的约束。因此，可以设置更多各种编码环境。
图像编码设备确定no_weighted_pred_constraint_flag的值(S820)，并且当该值为第二值(例如，0)时(S820-否)，图像编码设备可以对第一值(例如，1)或第二值(例如，0)的加权预测信息进行编码(S830)。当no_weighted_pred_constraint_flag的值为第一值(例如，1)(S820-是)时，图像编码设备可以对第二值(例如，0)的加权预测信息进行编码(S840)。图像编码设备可以对例如SPS中的sps_weighted_pred_flag和sps_weighted_bipred_flag进行编码。
当加权预测信息(sps_weighted_pred_flag或sps_weighted_bipred_flag)为第一值(例如，1)时，图像编码设备可以对与加权预测相关的附加信息(未示出)进行编码。当加权预测信息(sps_weighted_pred_flag或sps_weighted_bipred_flag)为第二值(例如，0)时，图像编码设备可以跳过用信号通知与加权预测相关的附加信息(未示出)。图像编码设备可以或可以不基于sps_weighted_pred_flag、sps_weighted_bipred_flag和/或与加权预测相关的附加信息应用加权预测和/或显式加权预测，从而相对于包含于当前序列中的当前画面执行编码。
图9是例示参照图7所述的实施方式的图像解码设备的操作的图。
参照图9，图像解码设备可以从比特流获得加权预测信息(S910)。在此情况下，可以通过参照图8所描述的方法来对加权预测信息进行编码。
图像解码设备可以确定加权预测信息是否为第一值(例如，1)(S920)。当加权预测信息为第一值(例如，1)时(S920-是)，图像解码设备可以对与加权预测相关的附加信息进行解析(S940)。在这种情况下，基于与加权预测相关的附加信息，图像解码设备可以通过将加权预测应用于P切片或将显式加权预测应用于B切片来重构当前画面(未示出)。
当加权预测信息为第二值(例如，0)时(S920-否)，图像解码设备可以跳过与加权预测相关的附加信息的解析(S930)。另外，图像解码设备可以在不应用加权预测和显式加权预测的情况下重构当前画面(未示出)。
由图像解码设备接收的加权预测信息(sps_weighted_pred_flag或sps_weighted_bipred_flag)由参照图8描述的方法被编码。也就是说，图像解码设备接收由图像编码设备基于no_weighted_pred_constraint_flag编码的加权预测信息(sps_weighted_pred_flag或sps_weighted_bipred_flag)。因此，图像解码设备可以在未确定no_weighted_pred_constraint_flag是否为第一值(例如，1)的情况下获得根据本公开被编码为准确值的加权预测信息(sps_weighted_pred_flag或sps_weighted_bipred_flag)。
然而，图像解码设备的操作不限于以上示例，并且图像解码设备可以基于no_weighted_pred_constraint_flag推断加权预测信息(sps_weighted_pred_flag或sps_weighted_bipred_flag)的值。例如，当no_weighted_pred_constraint_flag的值为第一值(例如，1)时，图像解码设备可以将加权预测信息(sps_weighted_pred_flag或sps_weighted_bipred_flag)推断为第二值(例如，0)。
另外，尽管图9中未示出，但是图像解码设备可以从比特流获得no_weighted_pred_constraint_flag。图像解码设备可以基于所获得的no_weighted_pred_constraint_flag推断如上文所描述的加权预测信息(sps_weighted_pred_flag或sps_weighted_bipred_flag)，并且可以通过包括是否应用与加权预测相关的模块来有效地执行设备的初始化。例如，图像解码设备可以对设备进行初始化以使得即使在当前配置文件、层和级别允许加权预测时，也基于no_weighted_pred_constraint_flag来约束加权预测。因此，可以设置更多各种编码环境。
图10是例示本公开的用于用信号通知作为一般约束信息的指定是否约束缩放列表的显式信令的信息的语法结构的示例的视图。
根据本公开的另一实施方式，缩放列表的显式信令的约束信息可以用信号通知为一般约束信息。
参照图10，可以用信号通知指定是否约束显式缩放列表的使用的信息(例如，no_scaling_list_constraint_flag)。在这种情况下，可以在用于用信号通知一般约束信息的general_constraint_info()语法结构中包括并用信号通知指定是否约束对显式缩放列表的使用的信息。
根据本实施方式，第一值(例如，1)的no_scaling_list_constraint_flag可以意指施加约束以使得sps_explicit_scaling_list_enabled_flag的值为0。另外，第二值(例如，0)的no_scaling_list_constraint_flag可以意指不施加约束。在上文中，sps_explicit_scaling_list_enabled_flag是在高级别(例如，SPS)处用信号通知的信息，并且可以是指定是否使用显式缩放列表的信息的示例。
例如，第一值(例如，1)的sps_explicit_scaling_list_enabled_flag可以指定，当对切片进行解码时，在针对变换系数的缩放(解量化)处理中针对编码层视频序列(CLVS)启用在调适参数集(APS)处用信号通知的显式缩放列表的使用，并且第二值(例如，0)的sps_explicit_scaling_list_enabled_flag可以指定，当对切片进行解码时，在针对变换系数的缩放(解量化)处理中针对编码层视频序列(CLVS)禁用在APS处用信号通知的显式缩放列表的使用。当使用显式缩放列表时，可以基于在比特流(例如，缩放列表APS)中包括并且显式地用信号通知的缩放列表来推导用于针对变换系数的缩放处理的缩放矩阵。当未使用显式缩放列表时，可通过预定过程推导用于变换系数的缩放处理的缩放矩阵。预定过程可以是在图像编码设备和图像解码设备之间预定义的过程。另选地，例如，可以使用在图像编码设备和图像解码设备之间预定的值来推导缩放矩阵。如上文所描述，可以在general_constraint_info()语法结构中包括和用信号通知一般约束信息。general_constraint_info()语法结构存在于配置文件层级别(PTL)语法结构中，并且可以提供关于针对特定配置文件、层和级别的附加约束或限制的信息。
图11是例示参照图10所述的实施方式的图像编码设备的操作的图。
参照图11，图像编码设备可以对no_scaling_list_constraint_flag进行编码(S1110)。图像编码设备可以确定是否对显式缩放列表的使用施加约束，并且相应地对no_scaling_list_constraint_flag进行编码。在对显式缩放列表的使用施加约束时，图像编码设备可以对第一值(例如，1)的no_scaling_list_constraint_flag进行编码。另选地，当未对显式缩放列表的使用施加约束时，图像编码设备可以对第二值(例如，0)的no_scaling_list_constraint_flag进行编码。图像编码设备可以将no_scaling_list_constraint_flag编码为general_constraint_info()语法结构中的一般约束信息。例如，即使在当前配置文件、层和级别允许使用显式缩放列表时，图像编码设备也可以通过用信号通知no_weighted_pred_constraint_flag来设置对显式缩放列表的使用的约束。因此，可以设置更多各种编码环境。
图像编码设备确定no_weighted_pred_constraint_flag的值(S1120)，并且当该值为第二值(例如，0)时(S1120-否)，图像编码设备可以对第一值(例如，1)或第二值(例如，0)的sps_explicit_scaling_list_enabled_flag进行编码(S1130)。当no_scaling_list_constraint_flag的值为第一值(例如，1)(S1120-是)时，图像编码设备可以对第二值(例如，0)的sps_explicit_scaling_list_enabled_flag进行编码(S1140)。图像编码设备可以对例如SPS中的sps_explicit_scaling_list_enabled_flag进行编码。
当sps_explicit_scaling_list_enabled_flag为第一值(例如，1)时，图像编码设备可以对与显式缩放列表(未示出)相关的附加信息进行编码。当sps_explicit_scaling_list_enabled_flag为第二值(例如，0)时，图像编码设备可以跳过用信号通知与显式缩放列表(未示出)相关的附加信息。图像编码设备可以基于sps_explicit_scaling_list_enabled_flag和/或与显式缩放列表相关的附加信息来使用或不使用显式缩放列表，从而对包括在当前序列中的当前画面执行编码。
图12是例示参照图10描述的实施方式的图像解码设备的操作的图。
参照图12，图像解码设备可以从比特流获得sps_explicit_scaling_list_enabled_flag(S1210)。在这种情况下，sps_explicit_scaling_list_enabled_flag可以由参照图11描述的方法编码。
图像解码设备可以确定sps_explicit_scaling_list_enabled_flag是否为第一值(例如，1)(S1220)。当sps_explicit_scaling_list_enabled_flag为第一值(例如，1)(S1220-是)时，图像解码设备可以对与显式缩放列表相关的附加信息进行解析(S1240)。在这种情况下，基于与显式缩放列表相关的附加信息，图像解码设备可以通过使用显式缩放列表来重构当前画面(未示出)。当sps_explicit_scaling_list_enabled_flag为第二值(例如，0)时(S1220-是)，图像解码设备可以跳过与显式缩放列表相关的附加信息的解析(S1230)。另外，图像解码设备可以在不使用显式缩放列表的情况下重构当前画面(未示出)。
由图像解码设备接收的sps_explicit_scaling_list_enabled_flag由参照图11描述的方法被编码。也就是说，图像解码设备接收由图像编码设备基于no_scaling_list_constraint_flag编码的sps_explicit_scaling_list_enabled_flag。因此，图像解码设备可以在未确定no_scaling_list_constraint_flag是否为第一值(例如，1)的情况下获得根据本公开编码为准确值的sps_explicit_scaling_list_enabled_flag。
然而，图像解码设备的操作不限于以上示例，并且图像解码设备可以基于no_scaling_list_constraint_flag推断sps_explicit_scaling_list_enabled_flag的值。例如，当no_scaling_list_constraint_flag的值为第一值(例如，1)时，图像解码设备可以将sps_explicit_scaling_list_enabled_flag推断为第二值(例如，0)。
此外，尽管图12中未示出，但是图像解码设备可以从比特流获得no_scaling_list_constraint_flag。图像解码设备可以基于所获得的no_scaling_list_constraint_flag推断如上文所描述的sps_explicit_scaling_list_enabled_flag，并且可以通过包括是否应用与显式缩放列表相关的模块来有效地执行设备的初始化。例如，图像解码设备可以初始化设备以使得即使在当前配置文件、层和级别允许使用显式缩放列表时，也基于no_scaling_list_constraint_flag来约束显式缩放列表的使用。因此，可设定更多各种编码环境。
图13是例示本公开的用于用信号通知作为一般约束信息的指定是否约束在虚拟边界处的环路内滤波的禁用的信息的语法结构的示例的视图。
根据本公开的另一实施方式，可以将在虚拟边界处的环路内滤波的禁用的约束信息用信号通知为一般约束信息。
参照图13，可以用信号通知指定是否约束在虚拟边界处的环路内滤波的禁用的信息(例如，no_virtual_boundaries_constraint_flag)。在这种情况下，可以在用于用信号通知一般约束信息的general_constraint_info()语法结构中包括并用信号通知指定是否约束在虚拟边界处的环路内滤波的禁用的信息。
根据本实施方式，第一值(例如，1)的no_virtual_boundaries_constraint_flag可以意指施加约束使得sps_virtrual_boundaries_enabled_flag的值为0。另外，第二值(例如，0)的no_virtual_boundaries_constraint_flag可以意指不施加约束。在上文中，sps_virtrual_boundaries_enabled_flag是在高级别(例如，SPS)处用信号通知的信息，并且可以是指定是否在虚拟边界处禁用环路内滤波的信息的示例。
例如，第一值(例如，1)的sps_virtrual_boundaries_enabled_flag可以指定在虚拟边界处的环路内滤波的禁用可用于CLVS，并且第二值(例如，0)的sps_virtrual_boundaries_enabled_flag可以指定在虚拟边界处的环路内滤波的禁用不可用于CLVS。当虚拟边界处的环路内滤波的禁用可用时，可以附加地用信号通知虚拟边界的存在和/或关于虚拟边界的位置的信息，并且可以基于虚拟边界的存在来执行环路内滤波。例如，当待滤波的边界为虚拟边界时，可以不执行环路内滤波。当在虚拟边界处的环路内滤波的禁用不可用时，可以不附加地用信号通知虚拟边界的存在和/或关于虚拟边界的位置的信息，并且可以在不考虑虚拟边界的存在的情况下执行环路内滤波。例如，可在不确定待滤波的边界是否为虚拟边界的情况下执行环路内滤波。如上文所述，可以在general_constraint_info()语法结构中包括和用信号通知一般约束信息。general_constraint_info()语法结构存在于配置文件层级别(PTL)语法结构中并且可以提供关于针对特定配置文件、层和级别的附加约束或限制的信息。
图14是例示参照图13描述的实施方式的图像编码设备的操作的图。
参照图14，图像编码设备可以对no_virtual_boundaries_constraint_flag进行编码(S1410)。图像编码设备可以确定是否对虚拟边界处的环路内滤波的禁用施加约束，并相应地对no_virtual_boundaries_constraint_flag进行编码。当在虚拟边界处对环路内滤波的禁用施加约束时，图像编码设备可以对第一值(例如，1)的no_virtual_boundaries_constraint_flag进行编码。另选地，当在虚拟边界处未对环路内滤波的禁用施加约束时，图像编码设备可以对第二值(例如，0)的no_virtual_boundaries_constraint_flag进行编码。图像编码设备可以将no_virtual_boundaries_constraint_flag编码为general_constraint_info()语法结构中的一般约束信息。例如，图像编码设备可以通过用信号通知no_virtual_boundaries_constraint_flag来设置对虚拟边界处的环路内滤波的禁用的约束，即使当前配置文件、层和级别在虚拟边界处禁用环路内滤波。因此，可以设置更多各种编码环境。
图像编码设备确定no_virtual_boundaries_constraint_flag的值(S1420)，并且当该值为第二值(例如，0)时(S1420-否)，图像编码设备可以对第一值(例如，1)或第二值(例如，0)的sps_virtual_boundaries_enabled_flag进行编码(S1430)。当no_virtual_boundaries_constraint_flag的值为第一值(例如，1)(S1420-是)时，图像编码设备可以对第二值(例如，0)的sps_virtual_boundaries_enabled_flag进行编码(S1440)。图像编码设备可以对例如SPS中的sps_virtual_boundaries_enabled_flag进行编码。
当sps_virtual_boundaries_enabled_flag为第一值(例如，1)时，图像编码设备可以对与虚拟边界(未示出)相关的附加信息进行编码。当sps_virtual_boundaries_enabled_flag为第二值(例如，0)时，图像编码设备可以跳过用信号通知与虚拟边界(未示出)有关的附加信息。图像编码设备可以基于sps_virtual_boundaries_enabled_flag和/或与虚拟边界相关的附加信息在虚拟边界处启用或禁用环路内滤波，从而对当前序列中包括的当前画面执行编码。
图15是例示参照图13所述的实施方式的图像解码设备的操作的图。
参照图15，图像解码设备可以从比特流获得sps_virtual_boundaries_enabled_flag(S1510)。在此情况下，可通过参照图14所述的方法来对sps_virtual_boundaries_enabled_flag进行编码。
图像解码设备可以确定sps_virtual_boundaries_enabled_flag是否为第一值(例如，1)(S1520)。当sps_virtual_boundaries_enabled_flag为第一值(例如，1)时(S1520-是)，图像解码设备可以执行与虚拟边界相关的附加信息的解析(S1540)。在这种情况下，基于与虚拟边界(未示出)相关的附加信息，图像解码设备可以通过在虚拟边界处禁用环路内滤波来重构当前画面。当sps_virtual_boundaries_enabled_flag为第二值(例如，0)时(S1520-否，图像解码设备可以跳过与虚拟边界相关的附加信息的解析(S1530)。在这种情况下，图像解码设备可以在不考虑虚拟边界的情况下通过执行环路内滤波来重构当前画面(未示出)。
由图像解码设备接收的sps_virtual_boundaries_enabled_flag由参照图14描述的方法编码。也就是说，图像解码设备接收由图像编码设备基于no_virtual_boundaries_constraint_flag编码的sps_virtual_boundaries_enabled_flag。因此，图像解码设备可以在未确定no_virtual_boundaries_constraint_flag是否为第一值(例如，1)的情况下根据本公开获得编码为准确值的sps_virtual_boundaries_enabled_flag。
然而，图像解码设备的操作不限于以上示例，并且图像解码设备可以基于no_virtual_boundaries_constraint_flag推断sps_virtual_boundaries_enabled_flag的值。例如，当no_virtual_boundaries_constraint_flag的值为第一值(例如，1)时，图像解码设备可以将sps_virtual_boundaries_enabled_flag推断为第二值(例如，0)。
此外，尽管图9中未示出，但是图像解码设备可以从比特流获得no_virtual_boundaries_constraint_flag。如上所述，图像解码设备可以基于所获得的no_virtual_boundaries_constraint_flag来推断sps_virtual_boundaries_enabled_flag，并且可以通过包括是否在虚拟边界处应用与环路内滤波的禁用相关的模块来有效地执行设备的初始化。例如，图像解码设备可以初始化设备以使得即使在当前配置文件、层和级别允许在虚拟边界处的环路内滤波的禁用时，也基于no_virtual_boundaries_constraint_flag来约束在虚拟边界处的环路内滤波的禁用。因此，可以设置更多各种编码环境。
图16是例示本公开的用于用信号通知作为一般约束信息的指定是否约束熵编码同步的信息的语法结构的示例的视图。
根据本公开的另一实施方式，同步和存储用于熵编码的上下文变量的特定处理的性能的约束信息可以作为一般约束信息被用信号通知。
参照图16，可以用信号通知指示用于上下文变量的特定同步处理和特定存储处理是否被约束的信息(例如，no_wpp_constraint_flag)。在这种情况下，可以在用于用信号通知一般约束信息的general_constraint_info()语法结构中包括并用信号通知指定是否约束特定同步处理和特定存储处理的信息。
根据本实施方式，第一值(例如，1)的no_wpp_constraint_flag可以意指施加约束使得sps_entropy_coding_sync_enabled_flag的值为0。另外，第二值(例如，0)的no_wpp_constraint_flag可以意指不施加约束。在上文中，sps_entropy_coding_sync_enabled_flag是在高级别(例如，SPS)处用信号通知的信息，并且可以是指定是否约束针对上下文变量的特定同步处理和特定存储处理的信息的示例。
例如，第一值(例如，1)的sps_entropy_coding_sync_enabled_flag可以指定在对包括参考SPS的每一画面中的每一拼块中的编码树块(CTB)行的第一CTB的编码树单元(CTU)进行解码之前调用针对上下文变量的特定同步处理。第一值(例如，1)的sps_entropy_coding_sync_enabled_flag可以指定在对包括参考SPS的每一画面中的每一拼块中的编码树块(CTB)行的第一CTB的编码树单元(CTU)进行解码之后调用针对上下文变量的特定存储处理。第二值(例如，0)的sps_entropy_coding_sync_enabled_flag可以指定在对包括参考SPS的每一画面中的每一拼块中的编码树块(CTB)行的第一CTB的编码树单元(CTU)进行解码之前不调用针对上下文变量的特定同步处理。另外，第二值(例如，0)的sps_entropy_coding_sync_enabled_flag可以指定在对包括参考SPS的每一画面中的每一拼块中的编码树块(CTB)行的第一CTB的编码树单元(CTU)进行解码之后不调用针对上下文变量的特定存储处理。如上文所描述，可在general_constraint_info()语法结构中包括和用信号通知一般约束信息。general_constraint_info()语法结构存在于配置文件层级别(PTL)语法结构中，并且可以提供关于针对特定配置文件、层和级别的附加约束或限制的信息。
图17是例示本公开的用于用信号通知作为一般约束信息的指定是否约束长期参考画面(LTRP)的使用的信息的语法结构的示例的视图。
根据本公开的另一实施方式，LTRP的使用的约束信息可以作为一般约束信息被用信号通知。
参照图17，可以用信号通知指定是否约束LTRP的使用的信息(例如，no_ltrp_constraint_flag)。在这种情况下，可以在用于用信号通知一般约束信息的general_constraint_info()语法结构中包括并且用信号通知指定是否约束LTRP的使用的信息。
根据本实施方式，第一值(例如，1)的no_ltrp_constraint_flag可以意指施加约束使得sps_long_term_ref_pics_flag的值为0。另外，第二值(例如，0)的no_ltrp_constraint_flag可以意指不施加约束。在上文中，sps_long_term_ref_pics_flag为在高级别(例如，SPS)处用信号通知的信息，并且可以是指定是否约束LTRP的使用的信息的示例。
例如，第一值(例如，1)的sps_long_term_ref_pics_flag可以指定LTRP可用于CLVS中的一或多个编码画面的帧间预测，并且第二值(例如，0)的sps_long_term_ref_pics_flag可以指定LTRP不用于CLVS中的一或多个编码画面的帧间预测。如上文所描述，可在general_constraint_info()语法结构中包括和用信号通知一般约束信息。general_constraint_info()语法结构存在于配置文件层级别(PTL)语法结构中，并且可以提供关于针对特定配置文件、层和级别的附加约束或限制的信息。
图18是示出可应用本公开的实施方式的内容流***的视图。
如图18中所示，应用本公开的实施方式的内容流***可以主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等多媒体输入装置输入的内容压缩成数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当智能电话、相机、摄像机等多媒体输入装置直接生成比特流时，可以省略编码服务器。
比特流可以由应用本公开的实施方式的图像编码方法或图像编码设备产生，并且流服务器可以在发送或接收比特流的过程中暂时存储比特流。
流服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户告知服务的媒介。当用户向网络服务器请求所需的服务时，网络服务器可以将其递送到流服务器，并且流服务器可以向用户发送多媒体数据。在这种情况下，内容流***可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流***中的装置之间的命令/响应。
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器可以在预定时间内存储比特流。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、板式PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流***中的各个服务器可以作为分布式服务器运行，在这种情况下，从各个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施方式的方法的操作能够在设备或计算机上执行的软件或机器可执行命令(例如，操作***、应用、固件、程序等)、具有存储在其上并且可在设备或计算机上执行的此类软件或命令的非暂时性计算机可读介质。
工业适用性
本公开的实施方式可以被用于对图像进行编码或解码。

Claims (10)

1.一种由图像解码设备执行的图像解码方法，所述图像解码方法包括：
获得指定是否约束预定编码工具的应用的第一信息；
获得指定是否应用所述预定编码工具的第二信息；以及
基于所述第二信息重构当前画面，
其中，基于所述第一信息的值来确定所述第二信息的值，并且
其中，所述预定编码工具包括加权预测、针对变换系数的缩放列表的显式信令或在虚拟边界处的环路内滤波的禁用中的至少一者。
2.根据权利要求1所述的图像解码方法，其中，基于所述第一信息指定应用被约束，所述第二信息具有指定不应用所述预定编码工具的值。
3.根据权利要求1所述的图像解码方法，其中，所述第一信息从用于用信号通知一般约束信息的语法结构中获得。
4.根据权利要求1所述的图像解码方法，其中，所述第二信息是从序列参数集SPS获得的。
5.一种图像解码设备，所述图像解码设备包括：
存储器；以及
至少一个处理器，
其中，所述至少一个处理器被配置为：
获得指定是否约束预定编码工具的应用的第一信息；
获得指定是否应用所述预定编码工具的第二信息；并且
基于所述第二信息重构当前画面，
其中，基于所述第一信息的值来确定所述第二信息的值，并且
其中，所述预定编码工具包括加权预测、针对变换系数的缩放列表的显式信令或在虚拟边界处的环路内滤波的禁用中的至少一者。
6.一种由图像编码设备执行的图像编码方法，所述图像编码方法包括：
对指定是否约束预定编码工具的应用的第一信息进行编码；
对指定是否应用预定编码工具的第二信息进行编码；以及
基于所述第二信息对当前视频序列中的当前画面进行编码，
其中，基于所述第一信息的值来确定所述第二信息的值，并且
其中，所述预定编码工具包括加权预测、针对变换系数的缩放列表的显式信令或在虚拟边界处的环路内滤波的禁用中的至少一者。
7.根据权利要求6所述的图像编码方法，其中，基于所述第一信息指定应用被约束，所述第二信息具有指定不应用所述预定编码工具的值。
8.根据权利要求6所述的图像编码方法，其中，所述第一信息被编码在用于用信号通知一般约束信息的语法结构中。
9.根据权利要求6所述的图像编码方法，其中，所述第二信息被编码在序列参数集SPS中。
10.一种存储由根据权利要求6所述的图像编码方法生成的比特流的非暂时性计算机可读记录介质。
CN202180036646.3A 2020-05-22 2021-05-20 通过用信号通知gci对图像进行编码/解码的方法和设备及存储比特流的计算机可读记录介质 Pending CN115699762A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063028589P 2020-05-22 2020-05-22
US63/028,589 2020-05-22
PCT/KR2021/006292 WO2021235871A1 (ko) 2020-05-22 2021-05-20 Gci를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
CN115699762A true CN115699762A (zh) 2023-02-03

Family

ID=78708674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180036646.3A Pending CN115699762A (zh) 2020-05-22 2021-05-20 通过用信号通知gci对图像进行编码/解码的方法和设备及存储比特流的计算机可读记录介质

Country Status (4)

Country Link
US (1) US20230291933A1 (zh)
KR (1) KR20230015392A (zh)
CN (1) CN115699762A (zh)
WO (1) WO2021235871A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104838659B (zh) * 2012-11-30 2019-09-10 索尼公司 图像处理装置及方法
US9641862B2 (en) * 2013-10-15 2017-05-02 Nokia Technologies Oy Video encoding and decoding
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
WO2020091213A1 (ko) * 2018-11-04 2020-05-07 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치

Also Published As

Publication number Publication date
KR20230015392A (ko) 2023-01-31
WO2021235871A1 (ko) 2021-11-25
US20230291933A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
KR20220049486A (ko) 필터링 기반 영상 코딩 장치 및 방법
US20220345726A1 (en) Image encoding/decoding method and device using lossless color transform, and method for transmitting bitstream
CN114208175B (zh) 基于色度量化参数数据的图像解码方法及其设备
CN114930816A (zh) 对图像进行编译的装置和方法
CN114223198A (zh) 编译色度量化参数数据的图像解码方法及其设备
KR20220041898A (ko) 적응적 루프 필터링 기반 영상 코딩 장치 및 방법
US20220417512A1 (en) Image encoding/decoding method and device, and method for transmitting bitstream
CN114258677A (zh) 编译色度量化参数偏移相关信息的图像解码方法和设备
KR20220097511A (ko) 예측 가중 테이블 기반 영상/비디오 코딩 방법 및 장치
US12047582B2 (en) Image encoding/decoding method and device using symmetric motion vector difference (SMVD), and method for transmitting bitstream
CN115699755A (zh) 基于卷绕运动补偿的图像编码/解码方法和装置及存储比特流的记录介质
CN115552896A (zh) 对矩形切片的大小信息选择性编码的图像编码/解码方法和设备及发送比特流的方法
CN115244936A (zh) 基于混合nal单元类型的图像编码/解码方法和装置及发送比特流的方法
US20230156231A1 (en) Image encoding/decoding method and device signaling sps, and method for transmitting bitstream
KR20230024340A (ko) Aps에 대한 식별자를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
CN115315959A (zh) 通过确定边界强度执行去块滤波的图像编码/解码方法和设备及发送比特流的方法
CN114175644A (zh) 使用色度量化参数表的图像解码方法及其设备
CN115699762A (zh) 通过用信号通知gci对图像进行编码/解码的方法和设备及存储比特流的计算机可读记录介质
CN115668948A (zh) 用信号通知ptl相关信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115702567A (zh) 用于用信号通知dpb相关信息和ptl相关信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668918A (zh) 基于画面划分信息和子画面信息的图像编码/解码方法和设备及存储比特流的记录介质
CN115668951A (zh) 用信号通知关于dpb参数的数量的信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668944A (zh) 用信号通知dpb参数的视频编码/解码方法和设备及存储比特流的计算机可读记录介质
KR20240112882A (ko) Dimd 모드 기반 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination