CN108293115A - 用于对图像进行编码/解码的方法及设备 - Google Patents

用于对图像进行编码/解码的方法及设备 Download PDF

Info

Publication number
CN108293115A
CN108293115A CN201680068871.4A CN201680068871A CN108293115A CN 108293115 A CN108293115 A CN 108293115A CN 201680068871 A CN201680068871 A CN 201680068871A CN 108293115 A CN108293115 A CN 108293115A
Authority
CN
China
Prior art keywords
coding unit
unit
data cell
coding
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680068871.4A
Other languages
English (en)
Inventor
林敬旻
闵正惠
李�善
李善一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108293115A publication Critical patent/CN108293115A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据一个实施方式，提供的是一种视频解码方法，所述视频解码方法包括：从视频图片中确定用于帧内预测的数据单元；从比特流获得帧内预测类型信息，所述帧内预测类型信息指示了是根据使用预先确定的预测信息进行预测的第一帧内预测类型还是根据使用与所述数据单元相邻的数据单元进行预测的第二帧内预测类型来预测所述数据单元；基于从所述比特流获得的所述帧内预测类型信息，确定根据所述第一帧内预测类型所预测的第一数据单元和根据所述第二帧内预测类型所预测的第二数据单元；通过使用所述预先确定的预测信息来生成关于根据所述第一帧内预测类型所预测的所述第一数据单元的第一预测值；以及通过使用与所述数据单元相邻的数据单元来生成关于根据所述第二帧内预测类型所预测的所述第二数据单元的第二预测值。

Description

用于对图像进行编码/解码的方法及设备
技术领域
根据实施例的方法和装置能够通过使用图像中包括的各种数据单元来对图像进行编码或解码。
背景技术
图像数据根据数据压缩标准(例如，根据运动图片专家组(MPEG)标准的编解码器)被编码，并且被以比特流的形式记录在记录介质上或者经由通信信道来发送。
随着用于再现和存储高分辨率或高质量图像内容的硬件的发展和供应，越来越需要用于有效地对高分辨率或高质量图像内容进行编码或解码的编解码器。编码的图像内容可以被解码并因此再现。近来，已经实现了有效地压缩这种高分辨率或高质量图像内容的方法。例如，实现了任意地处理要编码的图像的高效图像压缩方法。
为了压缩图像，可以使用各种数据单元，并且在这些数据单元之间可以存在层次关系。可以通过使用各种方法来分割数据单元以确定在图像压缩中使用的数据单元的大小，并且当根据图像特性的优化数据单元被确定时，可以执行图像编码或解码。
发明内容
技术问题
在一般压缩方法中，压缩序列从左上侧向右下侧进行，并且在帧内预测中使用仅左部编译值和顶部编译值来执行预测。在这种情况下，因为整个区域被预测为左部值和顶部值，所以存在右部和底部区域的预测精度减小的问题。
问题的解决方案
根据本公开的一方面，一种视频解码方法包括：从视频图片中确定用于帧内预测的数据单元；从比特流获得帧内预测类型信息，所述帧内预测类型信息指示了是根据使用预先确定的预测信息进行预测的第一帧内预测类型还是根据使用与所述数据单元相邻的数据单元进行预测的第二帧内预测类型来预测所述数据单元；基于从所述比特流获得的所述帧内预测类型信息，确定根据所述第一帧内预测类型预测的第一数据单元和根据所述第二帧内预测类型预测的第二数据单元；通过使用所述预先确定预测信息来生成关于根据所述第一帧内预测类型预测的所述第一数据单元的第一预测值；以及通过使用与所述数据单元相邻的所述数据单元来生成关于根据所述第二帧内预测类型预测的所述第二数据单元的第二预测值。
根据本公开的另一方面，一种视频编码方法包括：根据使用预先确定预测信息进行预测的第一帧内预测类型来确定第一数据单元并且根据使用与第二数据单元相邻的数据单元进行预测的第二帧内预测类型来确定第二数据单元；通过使用所述预先确定预测信息来生成关于根据所述第一帧内预测类型预测的所述第一数据单元的第一预测值；通过使用与所述第二数据单元相邻的所述数据单元来生成关于根据所述第二帧内预测类型预测的所述第二数据单元的第二预测值；以及生成包括基于所述第一预测值和所述第二预测值中的至少一个而确定的编码信息的比特流以对视频图片进行编码，其中，所述比特流包括所述预先确定预测信息。
根据本公开的另一方面，一种视频解码装置包括：数据单元确定器，所述数据单元确定器被配置为从视频图片中确定用于帧内预测的数据单元；比特流获得器，所述比特流获得器被配置为从比特流获得帧内预测类型信息，所述帧内预测类型信息指示了是根据使用预先确定的预测信息进行预测的第一帧内预测类型还是根据使用与所述数据单元相邻的数据单元进行预测的第二帧内预测类型来预测所述数据单元；以及解码器，所述解码器被配置为基于从所述比特流获得的所述帧内预测类型信息，确定根据所述第一帧内预测类型预测的第一数据单元和根据所述第二帧内预测类型预测的第二数据单元，使用所述预先确定预测信息来生成关于根据所述第一帧内预测类型预测的所述第一数据单元的第一预测值，并且使用与所述数据单元相邻的所述数据单元来生成关于根据所述第二帧内预测类型预测的所述第二数据单元的第二预测值。
根据本公开的另一方面，一种视频编码设备包括：数据单元确定器，所述数据单元确定器被配置为根据使用预先确定预测信息进行预测的第一帧内预测类型来确定第一数据单元并且根据使用与第二数据单元相邻的数据单元进行预测的第二帧内预测类型来确定第二数据单元；以及比特流生成器和编码器，所述编码器被配置为通过使用所述预先确定预测信息来生成关于根据所述第一帧内预测类型预测的所述第一数据单元的第一预测值，通过使用与所述第二数据单元相邻的所述数据单元来生成关于根据所述第二帧内预测类型预测的所述第二数据单元的第二预测值，并且生成包括基于所述第一预测值和所述第二预测值中的至少一个而确定的编码信息的比特流以对视频图片进行编码，其中，所述比特流包括所述预先确定预测信息。
有益效果
因为可以扩展和使用可用的参考值，所以可以使用适合于图像的特性的数据单元，从而使得能实现高效的图像编码和解码并且增强重建图像的质量。
附图说明
图1示出了根据实施例的能够基于块形状信息和分割形状信息中的至少一种对图像进行解码的图像解码装置的框图。
图2例示了根据实施例的能够基于块形状信息和分割形状信息中的至少一种对图像进行编码的图像编码装置的框图。
图3例示了根据实施例的确定根据第一帧内预测形状预测的第一数据单元和根据第二帧内预测形状预测的第二数据单元的过程。
图4例示了根据实施例的基于预先确定预测信息根据第一帧内预测类型来预测第一数据单元的过程。
图5例示了根据实施例的根据使用相邻数据单元预测的第二帧内预测类型来预测第二数据单元的过程。
图6例示了根据实施例的根据使用与左边和顶边相邻的数据单元以及与右边和底边相邻的数据单元预测的第二帧内预测类型来预测第二数据单元的过程。
图7例示了根据实施例的确定关于数据单元的第一帧内预测类型和第二帧内预测类型的过程。
图8示出了根据实施例的使用帧内预测类型信息的视频解码方法的流程图。
图9示出了根据实施例的由图像编码装置执行的通过分割第一编码单元来确定一个或更多个编码单元的操作。
图10示出了根据实施例的当第二编码单元满足预先确定条件时用于通过分割第一编码单元来确定非正方形第二编码单元的分割方法被限制。
图11示出了根据实施例的当分割形状信息指示不将正方形编码单元分割成四个正方形编码单元时分割正方形编码单元的操作。
图12示出了根据实施例的多个编码单元的处理顺序可根据分割编码单元的操作而变化。
图13示出了根据实施例的当通过递归地分割编码单元来确定多个编码单元时随着编码单元的形状和大小变化而确定编码单元的深度的操作。
图14示出了根据实施例的可基于编码单元的形状和大小确定的编码单元的深度和用于识别编码单元的部分索引(PID)。
图15示出了根据实施例的基于图片中包括的多个预先确定数据单元确定多个编码单元。
图16示出了根据实施例的用作确定图片中包括的参考编码单元的确定顺序的单元的处理块。
图17是示出了根据实施例的在编码单元的分割类型的组合根据每张图片而变化的情况下可以为每张图片确定的编码单元的图。
图18是示出了根据实施例的可以基于用二进制码表达的分割类型信息确定的编码单元的各种类型的图。
图19是示出了根据实施例的可以基于可以用二进制码表达的分割类型信息确定的编码单元的另一类型的图。
图20是执行环路滤波的图像编码和解码***的框图。
图21是示出了根据实施例的包括在最大编码单元中的滤波单元的示例和滤波单元的滤波执行信息的图。
图22是例示了根据实施例的在根据预先确定编码方法确定的编码单元之间执行合并或分割的过程的图。
图23是示出了根据实施例的根据编码单元的Z扫描顺序的索引的图。
图24是示出了根据实施例的用于帧内预测编码单元的参考样本的图。
具体实施方式
在下文中，将通过参考附图说明本公开的实施例来详细描述本公开。然而，本公开可以被以许多不同的形式具体实现，而未被解释为限于本文所阐述的实施例；相反，这些实施例被提供为使得本公开将是透彻且完整的，并且会将本公开的构思充分地传达给本领域的普通技术人员。
在详细地描述实施例之前，现在将简要地描述本说明书中使用的术语。
尽管在考虑依照实施例而获得的功能的同时尽可能从目前广泛地使用的一般术语中选择以下描述中使用的术语，然而这些术语可以基于本领域的普通技术人员的意图、新技术的出现等用其他术语替换。在特定情况下，可以使用由本申请人任意地选择的术语。在这种情况下，可以在实施例的对应部分中描述这些术语的含义。因此，注意的是，本文所使用的术语是基于其实际含义和本说明书的全部内容来解释的，而不是基于术语的名称来简单地解释的。
如本文所使用的，除非上下文另外清楚地指出，否则单数形式“一”、“一个”和“该”旨在也包括复数形式。
应理解的是，术语“包括”、“包括有”、“包含”和/或“包含有”当被用在本文中时，指定存在陈述的元素，但是不排除存在或添加一个或更多个其他元素。术语“部分”或“模块”用于表示用于执行至少一个功能或操作的实体，并且可以被具体实现为但不限于软件元素或硬件元素，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。“部分”或“模块”可以被配置为存在于可寻址存储介质中或者操作一个或更多个处理器。因此，例如，“部分”或“模块”包括元素(例如，软件元素、面向对象软件元素、类元素和任务元素)、进程、函数、属性、过程，子例行程序、程序代码段、驱动、固件、微码、电路、数据、数据库、数据结构、表、数组和参数。在元素和“部分”或“模块”中提供的功能可以被组合为更小数量的元素和“部分”或“模块”，或者可以被划分成更大数量的元素和“部分”或“模块”。
在以下描述中，术语“图像”表示静止图像(例如，视频的静止帧)或运动图像，例如，视频它本身。
术语“样本”表示指派给图像的采样位置的数据，即，要处理的数据。例如，空间域中的图像的像素值和转换域中的转换系数可以是样本。可以将包括一个或更多个样本的单元定义为块。
现在将详细地参考实施例，其示例被例示在附图中。在以下描述中，为了清楚，与实施例无关的部分或元素被省略。
图1示出了根据实施例的能够基于块形状信息和分割形状信息中的至少一种对图像进行解码的图像解码装置100的框图。
参考图1，根据实施例，图像解码装置100可以包括：数据单元确定器110，其从视频图片中确定用于帧内预测的数据单元；比特流获得器120，其从比特流获得指示是否根据使用预先确定预测信息进行预测的第一帧内预测类型来预测或者是否根据使用数据单元的相邻数据单元进行预测的第二帧内预测类型来预测的帧内预测类型信息；以及解码器130，其基于所获得的帧内预测类型信息，确定根据第一帧内预测类型预测的第一数据单元和根据第二帧内预测类型预测的第二数据单元，使用预先确定预测信息来生成关于根据第一帧内预测类型的第一数据单元的第一预测值，并且使用数据单元的相邻数据单元来生成关于根据第二帧内预测类型的第二数据单元的第二预测值。根据实施例，当图像解码装置100的比特流获得器120获得帧内预测类型信息时，图像解码装置100的解码器130可以基于帧内预测类型信息生成关于根据第一帧内预测类型的第一数据单元的第一预测值。
根据实施例，图像解码装置100的数据单元确定器110可以确定用于帧内预测的数据单元。例如，数据单元可以是编码单元、预测单元和转换单元中的一个。
根据实施例，图像解码装置100的比特流获得器120可以获得指示是否根据第一帧内预测类型或第二帧内预测类型来预测所确定的数据单元的帧内预测类型信息。根据第一帧内预测类型的预测可以使用除***数据单元以外的信息来执行帧内预测。根据第二帧内预测类型的预测可以使用邻近数据单元来执行帧内预测。
根据实施例，图像解码装置100的解码器130可以基于帧内预测类型信息生成关于根据第一帧内预测类型的第一数据单元的第一预测值。解码器130可以生成关于根据第二帧内预测类型的第二数据单元的第二预测值。例如，解码器130可以通过使用第二数据单元的相邻数据单元当中的左边和顶边的数据单元或右边和底边的数据单元来生成预测值。
图3例示了根据实施例的确定根据第一帧内预测类型预测的第一数据单元和根据第二帧内预测类型预测的第二数据单元的过程。
根据实施例，解码器130可以基于帧内预测类型信息生成根据第一帧内预测类型预测的第一数据单元310和根据第二帧内预测类型预测的第二数据单元320。例如，可以确定预测数据单元是使用邻近数据单元还是除关于邻近数据单元的信息以外的信息来预测的。
根据实施例，解码器130可以使用除关于邻近数据单元的信息以外的信息来预测数据单元。例如，解码器130可以使用存储在条带头部、PPS或SPS中的指定值来执行预测。例如，预先确定值可以被预先分配给数据单元中的每个区域。
参考图3，当解码器130根据第一帧内预测来预测第一数据单元310时，解码器130可以根据第二帧内预测类型来预测第二数据单元320。例如，可以使用关于根据第一帧内预测类型预测的第一数据单元310的信息来预测第二数据单元320。例如，可以使用与右边或底边相邻的数据单元中的至少一个来预测第二数据单元320。
根据实施例，解码器130可以生成第二数据单元320的预测值作为与第二数据单元320相邻的第一数据单元310的样本值的平均值。或者，解码器130可以使用与右部相邻的第一数据单元310来生成关于第二数据单元320中的右部预测样本的样本值的预测值，并且使用与底边相邻的第一数据单元310来生成关于第二数据单元320中的底部预测样本的样本值的预测值。
根据实施例，解码器130可以基于相邻数据单元生成关于第二数据单元320中的预测样本的相对方向性的预测值。例如，解码器130可以通过对样本值应用相对距离的权重来生成第二数据单元320的预测值。
根据实施例，解码器130可以使用与右边相邻的第一数据单元310的参考样本和与顶边相邻的第二数据单元320的参考样本来生成第二数据单元320的预测值。例如，解码器130可以通过对通过不同的帧内预测类型预测的第一数据单元310和第二数据单元320的参考样本应用相同的Intra_angular模式来生成要预测的数据单元的预测值。例如，即使当应用相同的Intra_angular模式时，解码器130也可以根据参考样本(即，第一数据单元310的参考样本或第二数据单元320的参考样本)的类型来应用权重以生成数据单元的预测值。
图4例示了根据实施例的基于预先确定的预测信息根据第一帧内预测类型来预测第一数据单元的过程。
根据实施例，解码器130可以使用除关于邻近数据单元的信息以外的信息来预测根据第一帧内预测类型预测的第一数据单元420。例如，可以使用与包括第一数据单元420的上层的数据单元相邻的样本值410来预测第一数据单元420。与包括第一数据单元420的上层的数据单元相邻的样本值410可以包括关于CTU边界的邻近像素的信息或关于CU边界的邻近像素的信息。当使用关于CTU边界的邻近像素的信息来执行预测时，预测目标单元可以是CU、PU、TU或CTU。当使用关于CU边界的邻近像素的信息来执行预测时，预测目标单元可以是PU、TU或CU。
根据实施例，解码器130可以生成第一数据单元420的预测值作为与包括第一数据单元420的上层的数据单元相邻的参考样本的样本值410的平均值。例如，解码器130可以对与上层的数据单元相邻的样本执行滤波以去除与第一数据单元420的参考样本的不连续性。例如，解码器130可以针对上层的数据单元的左上部样本和左部样本或右部样本采取不同的滤波器。
根据实施例，解码器130可以通过基于与包括第一数据单元420的上层的数据单元相邻的参考样本的相对方向性应用Intra_Angular模式来生成预测值。例如，解码器130可以通过对样本值应用相对距离的权重来生成第一数据单元420的预测值。
图5例示了根据实施例的根据使用相邻数据单元预测的第二帧内预测类型来预测第二数据单元的过程。
根据实施例，解码器130可以使用与数据单元相邻的数据单元来根据第二帧内预测类型执行预测。例如，当对数据单元510执行预测时，可以使用关于根据与数据单元510的底边相邻的第一帧内预测类型编码的数据单元530的信息511。例如，当对数据单元520执行预测时，可以使用关于根据与数据单元520的右边相邻的第一帧内预测类型编码的数据单元530的信息521。
根据实施例，当左边或顶边的距离根据在数据单元510中预测的样本位置接近时，解码器130可以使用左边和顶边的样本值来执行预测。或者，根据实施例，当右边或底边的距离根据在数据单元510中预测的采样位置接近时，解码器130可以使用右边和底边的样本值来执行预测。
根据实施例，解码器130可以生成数据单元510的预测值作为数据单元510的邻近参考样本的平均值。例如，解码器130可以通过使用与左边相邻的参考样本和与顶边相邻的参考样本的平均值以及与底边相邻的参考样本和与右边相邻的参考样本的平均值来生成数据单元中的参考样本的预测值。例如，解码器130可以通过对每个平均值应用数据单元510中的预测样本与邻近参考样本之间的距离的权重来生成数据单元中的预测样本的预测值。
根据实施例，解码器130可以考虑数据单元510的方向性和数据单元510的邻近参考样本来生成预测样本的预测值。将稍后将参考图6描述考虑数据单元510的方向性和数据单元510的邻近参考样本的方法。
根据实施例，解码器130可以将与数据单元520中的预测样本相邻的参考样本中的一个用作关于一行的预测样本值。例如，解码器130可以将与数据单元510的底边相邻的参考样本中的一个用作关于在数据单元520中的垂直方向上的一行的预测样本值。例如，解码器130可以经与数据单元520的右边相邻的参考样本中的一个用作关于在数据单元520中的水平方向上的一行的预测样本值。
图6例示了根据实施例的根据使用与左边和顶边相邻的数据单元以及与右边和底边相邻的数据单元预测的第二帧内预测类型来预测第二数据单元的过程。
参考图6，当关于根据第二帧内预测类型的第二数据单元的第二预测值被生成时，解码器130可以使用左部数据单元和顶部数据单元中的至少一个来生成预测值。或者，解码器130可以使用右部数据单元和底部数据单元中的至少一个来生成预测值。解码器130可以通过根据距离并且使用同一预测模式631来对使用左部数据单元和顶部数据单元中的至少一个生成的预测值进行双线性内插来生成新的预测值611。
根据实施例，解码器130可以基于除现有的预测模式641之外的新的预测模式642使用右部数据单元和底部数据单元中的至少一个来生成预测值621。例如，解码器130可以基于新的67种预测模式640来使用与右部和底部数据单元相邻的样本值，其中32种预测模式被添加到现有的35种预测模式640。
根据实施例，解码器130可以对使用左部数据单元和顶部数据单元中的至少一个生成的预测值以及使用右部数据单元和底部数据单元中的至少一个生成的预测值执行滤波以减轻边界部分。例如，解码器130可以执行滤波以去除在两种模式下未参考的相邻样本与预测样本之间的不连续性。
图7例示了根据实施例的确定关于数据单元的第一帧内预测类型和第二帧内预测类型的过程。
根据实施例，解码器130可以基于帧内预测类型信息关于CU、PU或TU中的每一个确定是否根据第一帧内预测类型生成预测值或者是否根据第二帧内预测类型生成预测值。
根据实施例，解码器130可以确定要在Intra_DC模式下根据第一帧内预测类型执行预测，而在除Intra_DC模式以外的模式下根据第二帧内预测类型执行预测。
根据实施例，解码器130可以获得指示第一数据单元和第二数据单元中的哪一个用于对数据单元进行分类的标志，并且当所获得的标志指示第一数据单元和第二数据单元中的哪一个用于对数据单元进行分类时，根据第一帧内预测类型或第二帧内预测类型生成数据单元的预测值。
图8示出了根据实施例的使用帧内预测类型信息的视频解码方法的流程图。
在操作S810中，图像解码装置100的数据单元确定器110可以从视频图片确定用于帧内预测的数据单元。
在操作S820中，图像解码装置100的比特流获得器120可以从比特流获得指示是否根据使用预先确定预测信息预测的第一帧内预测类型或使用数据单元的相邻数据单元预测的第二帧内预测类型来预测数据单元的帧内预测类型信息。
在操作S830中，图像解码装置100的解码器130可以基于帧内预测类型信息确定根据第一帧内预测类型预测的第一数据单元和根据第二帧内预测类型预测的第二数据单元。
在操作S840中，图像解码装置100的解码器130可以使用预先确定预测信息来生成关于根据第一帧内预测类型的第一数据单元的第一预测值。
在操作S850中，图像解码装置100的解码器130可以使用数据单元的相邻数据单元来生成关于根据第二帧内预测类型的第二数据单元的第二预测值。
图10示出了根据实施例的当第二编码单元满足预先确定条件时用于通过分割第一编码单元1000来确定非正方形第二编码单元的分割方法被图像解码装置100限制。
根据实施例，解码器130可以基于通过比特流获得器120获得的块形状信息和分割形状信息中的至少一种确定要将正方形第一编码单元1000分割成非正方形第二编码单元1010a、1010b、1020a和1020b。可以独立地分割第二编码单元1010a、1010b、1020a和1020b。因此，解码器130可以基于第二编码单元1010a、1010b、1020a和1020b中的每一个的块形状信息和分割形状信息中的至少一种确定是否要将第一编码单元1000分割成多个编码单元。根据实施例，解码器130可以通过在水平方向上分割通过在垂直方向上分割第一编码单元1000而确定的非正方形左部第二编码单元1010a来确定第三编码单元1012a和1012b。然而，当在水平方向上分割左部第二编码单元1010a时，解码器130可以限制在左部第二编码单元1010a被分割的水平方向上不分割右部第二编码单元1010b。当通过同样在水平方向上分割右部第二编码单元1010b来确定第三编码单元1014a和1014b时，因为左部第二编码单元1010a和右部第二编码单元1010b在水平方向上被独立地分割，所以可以确定第三编码单元1012a、1012b、1014a和1014b。然而，这种情况同样地用作解码器130基于块形状信息和分割形状信息中的至少一种将第一编码单元1000分割成四个正方形第二编码单元1030a、1030b、1030c和1030d的情况，并且在图像解码方面可能是效率低的。
根据实施例，解码器130可以通过在垂直方向上分割通过在水平方向上分割第一编码单元1000而确定的非正方形第二编码单元1020a或1020b来确定第三编码单元1022a、1022b、1024a和1024b。然而，当在垂直方向上分割第二编码单元(例如，上部第二编码单元1020a)时，由于上述原因，解码器130可以限制在上部第二编码单元1020a被分割的垂直方向上不分割其他第二编码单元(例如，下部第二编码单元1020b)。
图11示出了根据实施例的当分割形状信息指示不将正方形编码单元分割成四个正方形编码单元时由图像解码装置100分割正方形编码单元的操作。
根据实施例，解码器130可以通过基于块形状信息和分割形状信息中的至少一种分割第一编码单元1100来确定第二编码单元1110a、1110b、1120a和1120b。分割形状信息可以包括关于编码单元被分割的各种形状的信息，但是有些时候，关于各种形状的信息可以不包括用于将编码单元分割成四个正方形编码单元的信息。根据分割形状信息，解码器130可以不将第一正方形编码单元1100分割成四个正方形第二编码单元1130a、1130b、1130c和1130d。解码器130可以基于分割形状信息确定非正方形第二编码单元1110a、1110b、1120a和1120b。
根据实施例，解码器130可以独立地分割非正方形第二编码单元1110a、1110b、1120a和1120b。可以以预先确定顺序递归地分割第二编码单元1110a、1110b、1120a和1120b中的每一个，并且这可以对应于基于块形状信息和分割形状信息中的至少一种的第一编码单元1100的分割方法。
例如，解码器130可以通过在水平方向上分割左部第二编码单元1110a来确定正方形第三编码单元1112a和1112b，并且通过在水平方向上分割右部第二编码单元1110b来确定正方形第三编码单元1114a和1114b。此外，解码器130可以通过在水平方向上分割左部第二编码单元1110a和右部第二编码单元1110b两者来确定正方形第三编码单元1116a、1116b、1116c和1116d。在这种情况下，可以确定具有与从第一编码单元1100分割的四个正方形第二编码单元1130a、1130b、1130c和1130d相同的形状的编码单元。
作为另一示例，解码器130可以通过在垂直方向上分割上部第二编码单元1120a来确定正方形第三编码单元1122a和1122b，并且通过在垂直方向上分割下部第二编码单元1120b来确定正方形第三编码单元1124a和1124b。此外，解码器130可以通过在垂直方向上分割上部第二编码单元1120a和下部第二编码单元1820b两者来确定正方形第三编码单元1122a、1122b、1124c和1124d。在这种情况下，可以确定具有与从第一编码单元1100分割的四个正方形第二编码单元1130a、1130b、1130c和1130d相同的形状的编码单元。
图12示出了根据实施例的多个编码单元的处理顺序可根据分割编码单元的操作而变化。
根据实施例，解码器130可以基于块形状信息和分割形状信息分割第一编码单元1200。当块形状信息指示正方形并且分割形状信息指示要在水平方向和垂直方向中的至少一个上分割第一编码单元1200时，解码器130可以通过分割第一编码单元1200来确定第二编码单元(例如，1210a、1210b、1220a和1220b)。参考图12，可以基于每个编码单元的块形状信息和分割形状信息独立地分割通过在仅水平或垂直方向上分割第一编码单元1200而确定的非正方形第二编码单元1210a、1210b、1220a和1220b。例如，解码器130可以通过在水平方向上分割通过在垂直方向上分割第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d，并且通过在垂直方向上分割通过在水平方向上分割第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和1226d。已经在上面关于图10描述了分割第二编码单元1210a、1210b、1220a和1220b的操作，并且因此将不在此提供其详细描述。
根据实施例，解码器130可以以预先确定顺序处理编码单元。已经在上面关于图7描述了以预先确定顺序处理编码单元的操作，并且因此将不在此提供其详细描述。参考图12，解码器130可以通过分割正方形第一编码单元1200来确定四个正方形第三编码单元1216a、1216b、1216c、1216d、1226a、1226b、1226c和1226d。根据实施例，解码器130可以基于第一编码单元1200的分割方法确定第三编码单元1216a、1216b、1216c、1216d、1226a、1226b、1226c和1226d的处理顺序。
根据实施例，解码器130可以通过在水平方向上分割通过在垂直方向上分割第一编码单元1200而生成的第二编码单元1210a和1210b来确定第三编码单元1216a、1216b、1216c和1216d，并且以用于在垂直方向上最初处理被包括在左部第二编码单元1210a中的第三编码单元1216a和1216b并且然后在垂直方向上处理被包括在右部第二编码单元1210b中的第三编码单元1216c和1216d的处理顺序1217处理第三编码单元1226a、1226b、1226c和1226d。
根据实施例，解码器130可以通过在垂直方向上分割通过在水平方向上分割第一编码单元1200而生成的第二编码单元1220a和1220b来确定第三编码单元1226a、1226b、1226c和1226d方向，并且以用于在水平方向上最初处理被包括在上部第二编码单元1220a中的第三编码单元1226a和1226b并且然后在水平方向上处理被包括在下部第二编码单元1220b中的第三编码单元1226c和1226d的处理顺序1227处理第三编码单元1226a、1226b、1226c和1226d。
参考图12，可以通过分割第二编码单元1210a、1210b、1220a和1220b来确定正方形第三编码单元1216a、1216b、1216c、1216d、1226a、1226b、1226c和1226d。尽管第二编码单元1210a和1210b是通过与通过在水平方向上分割第一编码单元1200而确定的第二编码单元1220a和1220b不同地在垂直方向上分割第一编码单元1200来确定的，然而从其分割的第三编码单元1216a、1216b、1216c、1216d、1226a、1226b、1226c和1226d最终示出从第一编码单元1200分割的相同形状的编码单元。因此，通过基于块形状信息和分割形状信息中的至少一种以不同的方式递归地分割编码单元，即使当编码单元最终被确定为相同的形状时，解码器130也可以以不同的顺序处理多个编码单元。
图13示出了根据实施例的当通过递归地分割编码单元来确定多个编码单元时随着编码单元的形状和大小变化而确定编码单元的深度的操作。
根据实施例，解码器130可以基于预先确定准则确定编码单元的深度。例如，预先确定准则可以是编码单元的长边的长度。当被分割之前的编码单元的长边的长度是分割当前编码单元的长边的长度的2n倍(n>0)时，解码器130可以确定当前编码单元的深度从被分割之前的编码单元的深度增加了n。在以下描述中，具有增加的深度的编码单元被表达为更深深度的编码单元。
参考图13，根据实施例，解码器130可以通过基于指示正方形形状的块形状信息(例如，块形状信息可以被表达为‘0：正方形’)分割正方形第一编码单元1300来确定更深深度的第二编码单元1302和第三编码单元1304。假定正方形第一编码单元1300的大小是2N×2N，通过将第一编码单元1300的宽度和高度减小至1/21而确定的第二编码单元1302可以具有N×N的大小。此外，通过将第二编码单元1302的宽度和高度减小至1/2而确定的第三编码单元1304可以具有N/2×N/2的大小。在这种情况下，第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/22倍。当第一编码单元1300的深度是D时，第二编码单元1302(其宽度和高度是第一编码单元1300的宽度和高度的1/21倍)的深度可以是D+1，并且第三编码单元1304(其宽度和高度是第一编码单元1300的宽度和高度的1/22倍)的深度可以是D+2。
根据实施例，解码器130可以通过基于指示非正方形形状的块形状信息(例如，块形状信息可以被表达为指示高度比宽度长的非正方形形状的‘1：NS_VER’，或者被表达为指示宽度比高度长的非正方形形状的‘2：NS_HOR’)分割非正方形第一编码单元1310或1320来确定更深深度的第二编码单元1312或1322和第三编码单元1314或1324。
解码器130可以通过划分具有大小为N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元(例如1302、1312或1322)。也就是说，解码器130可以通过在水平方向上分割第一编码单元1310来确定具有大小为N×N的第二编码单元1302或具有大小为N×N/2的第二编码单元1322，或者通过在水平和垂直方向上分割第一编码单元1310来确定具有大小为N/2×N的第二编码单元1312。
根据实施例，解码器130可以通过划分具有大小为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元(例如，1302、1312或1322)。也就是说，解码器130可以通过在垂直方向上分割第一编码单元1320来确定具有大小为N×N的第二编码单元1302或具有大小为N/2×N的第二编码单元1312，或者通过在水平和垂直方向上分割第一编码单元1320来确定具有大小为N×N/2的第二编码单元1322。
根据实施例，解码器130可以通过划分具有大小为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元(例如，1304、1314或1324)。也就是说，解码器130可以通过在垂直和水平方向上分割第二编码单元1302来确定具有大小为N/2×N/2的第三编码单元1304、具有大小为N/22×N/2的第三编码单元1314或具有大小为N/2×N/22的第三编码单元1324。
根据实施例，解码器130可以通过划分具有大小为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元(例如，1304、1314或1324)。也就是说，解码器130可以通过在水平方向上分割第二编码单元1312来确定具有N/2×N/2的第三编码单元1304或具有大小为N/2×N/22的第三编码单元1324，或者通过在垂直和水平方向上分割第二编码单元1312来确定具有大小为N/22×N/2的第三编码单元1314。
根据实施例，解码器130可以通过划分具有大小为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元(例如，1304、1314或1324)。也就是说，解码器130可以通过在垂直方向上分割第二编码单元1322来确定具有大小为N/2×N/2的第三编码单元1304或具有大小为N/22×N/2的第三编码单元1314，或者通过在垂直和水平方向上分割第二编码单元1312来确定具有大小为N/2×N/22的第三编码单元1324。
根据实施例，解码器130可以在水平或垂直方向上分割正方形编码单元(例如，1300、1302或1304)。例如，解码器130可以通过在垂直方向上分割具有大小为2N×2N的第一编码单元1300来确定具有大小为N×2N的第一编码单元1310，或者通过在水平方向上分割第一编码单元1300来确定具有大小为2N×N的第一编码单元1320。根据实施例，当基于编码单元的最长边的长度确定深度时，通过在水平或垂直方向上分割具有大小为2N×2N的第一编码单元(例如，1300)而确定的编码单元的深度可以与第一编码单元(例如，1300)的深度相同。
根据实施例，第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/22倍。当第一编码单元1310或1320的深度是D时，第二编码单元1312或1322(其宽度和高度是第一编码单元1310或1320的宽度和高度的1/2倍)的深度可以是D+1，并且第三编码单元1314或1324(其宽度和高度是第一编码单元1310或1320的宽度和高度的1/22倍)的深度可以是D+2。
图14示出了根据实施例的可基于编码单元的形状和大小确定的编码单元的深度和用于识别编码单元的部分索引(PID)。
根据实施例，解码器130可以通过分割正方形第一编码单元1400来确定各种形状的第二编码单元。参考图14，解码器130可以通过基于分割形状信息在垂直方向和水平方向中的至少一个上分割第一编码单元1400来确定第二编码单元1402a、1402b、1404a、1404b、1406a、1406b、1406c和1406d。也就是说，解码器130可以基于第一编码单元1400的分割形状信息确定第二编码单元1402a、1402b、1404a、1404b、1406a、1406b、1406c和1406d。
根据实施例，基于正方形第一编码单元1400的分割形状信息而确定的第二编码单元1402a、1402b、1404a、1404b、1406a、1406b、1406c和1406d的深度可以基于其长边的长度被确定。例如，因为正方形第一编码单元1400的边的长度等于非正方形第二编码单元1402a、1402b、1404a和1404b的长边的长度，所以第一编码单元1400以及非正方形第二编码单元1402a、1402b、1404a和1404b可以具有相同的深度，例如D。然而，当解码器130基于分割形状信息将第一编码单元1400分区成四个正方形第二编码单元1406a、1406b、1406c和1406d时，因为正方形第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2倍，所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深1的D+1。
根据实施例，解码器130可以通过基于分割形状信息在水平方向上分割高度比宽度长的第一编码单元1410来确定多个第二编码单元1412a、1412b、1414a、1414b和1414c。根据实施例，解码器130可以通过基于分割形状信息在垂直方向上分割宽度比高度长的第一编码单元1420来确定多个第二编码单元。
根据实施例，基于非正方形第一编码单元1410或1420的分割形状信息而确定的第二编码单元1412a、1412b、1414a和1414b的深度可以基于其长边的长度被确定。例如，因为正方形第二编码单元1412a和1412b的边的长度是具有高度比宽度长的非正方形形状的第一编码单元1410的边的长度的1/2倍，所以正方形第二编码单元1412a和1412b的深度是比非正方形第一编码单元1410的深度D深1的D+1。
此外，解码器130可以基于分割形状信息将非正方形第一编码单元1410分割成奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可以包括非正方形第二编码单元1414a和1414c以及正方形第二编码单元1414b。在这种情况下，因为非正方形第二编码单元1414a和1414c的长边的长度以及正方形第二编码单元1414b的边的长度是第一编码单元1410的边的长度的1/2倍，所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形第一编码单元1410的深度D深1的D+1。解码器130可以通过使用确定从第一编码单元1410分割的编码单元的深度的上述方法来确定从具有宽度比高度长的非正方形形状的第一编码单元1420分割的编码单元的深度。
根据实施例，当奇数个分割编码单元不具有相等的大小时，解码器130可以基于编码单元之间的大小比率确定用于识别分割编码单元的PID。参考图14，奇数个分割编码单元1414a、1414b和1414c当中的中心位置的编码单元1414b可以具有等于其他编码单元1414a和1414c的宽度的宽度以及为其他编码单元1414a和1414c的高度的两倍的高度。也就是说，在这种情况下，中心位置的编码单元1414b可以包括其他两个编码单元1414a或1414c中的两个。因此，假定中心位置的编码单元1414b的PID基于扫描顺序为1，则紧挨着编码单元1414b位于的编码单元1414c的PID可以增加2并且因此可以为3。这就是说，可以存在PID值的不连续性。根据实施例，解码器130可以基于在用于识别分割编码单元的PID中是否存在不连续性确定奇数个分割编码单元是否不具有相等的大小。
使用PID来确定三分割
根据实施例，图像解码装置100可以基于用于识别通过分割当前编码单元而确定的多个编码单元的PID值来确定是否使用特定分割方法。参考图14，图像解码装置100可以通过分割具有高度比宽度长的矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码装置100可以使用这些PID来识别多个编码单元。根据实施例，可以从每个编码单元的预先确定位置的样本(例如，左上部样本)获得PID。
根据实施例，图像解码装置100可以通过使用用于识别编码单元的PID来确定分割编码单元当中的预先确定位置的编码单元。根据实施例，当具有高度比宽度长的矩形形状的第一编码单元1410的分割形状信息指示要将编码单元分割成三个编码单元时，图像解码装置100可以将第一编码单元1410分割成三个编码单元1414a、1414b和1414c。图像解码装置100可以将PID指派给三个编码单元1414a、1414b和1414c中的每一个。图像解码装置100可以对奇数个分割编码单元的PID进行比较以确定这些编码单元当中的中心位置的编码单元。图像解码装置100可以将具有编码单元的PID当中的与中间值相对应的PID的编码单元1414b确定为通过分割第一编码单元1410而确定的编码单元当中的中心位置的编码单元。根据实施例，图像解码装置100可以基于当分割编码单元不具有相等的大小时的编码单元之间的大小比率确定用于识别分割编码单元的PID。参考图14，通过分割第一编码单元1410而生成的编码单元1414b的宽度可以等于其他编码单元1414a和1414c的宽度，高度可以为其他编码单元414a和1414c的高度的两倍。在这种情况下，假定中心位置的编码单元1414b的PID是1，紧挨着编码单元1414b位于的编码单元1414c的PID可以增加2并且因此可以为3。当PID不像上面所描述的那样均匀地增加时，图像解码装置100可以确定编码单元被分割成包括具有与其他编码单元的大小不同的大小的编码单元的多个编码单元。根据实施例，当分割形状信息指示要将编码单元分割成奇数个编码单元时，图像解码装置100可以分割当前编码单元，使得奇数个编码单元当中的预先确定位置的编码单元(例如，中心位置的编码单元)具有与其他编码单元的大小不同的大小。在这种情况下，图像解码装置100可以通过使用编码单元的PID来确定具有不同大小的中心位置的编码单元。然而，预先确定位置的编码单元的PID和大小或位置不限于上述示例，并且可以使用编码单元的各种PID以及各种位置和大小。
根据实施例，解码器130可以使用编码单元开始被递归地分割的预先确定数据单元。
图15示出了根据实施例的基于图片中包括的多个预先确定数据单元确定多个编码单元。
根据实施例，预先确定数据单元可以被定义为编码单元开始使用块形状信息和分割形状信息中的至少一种来递归地分割的数据单元。也就是说，预先确定数据单元可以对应于最高深度的编码单元，其用于确定从当前图片分割的多个编码单元。在以下描述中，为了说明的方便，预先确定数据单元被称为参考数据单元。
根据实施例，参考数据单元可以具有预先确定大小和形状。根据实施例，参考编码单元可以包括M×N个样本。在本文中，M和N可以是相等的值，并且可以是被表达为2的乘数的整数。也就是说，参考数据单元可以具有正方形或非正方形形状，并且可以是整数个编码单元。
根据实施例，图像解码装置100的解码器130可以将当前图片分割成多个参考数据单元。根据实施例，解码器130可以通过使用每个参考数据单元的分割信息来分割从当前图片分割的多个参考数据单元。分割参考数据单元的操作可对应于使用四叉树结构的分割操作。
根据实施例，解码器130可以预先确定包括在当前图片中的参考数据单元所允许的最小大小。因此，解码器130可以确定具有大于或等于最小大小的大小的各种参考数据单元，并且通过参考所确定的参考数据单元使用块状信息和分割形状信息来确定一个或更多个编码单元。
参考图15，图像解码装置100可以使用正方形参考编码单元1500或非正方形参考编码单元1502。根据实施例，可以基于能够包括一个或更多个参考编码单元的各种数据单元(例如，序列、图片、条带、条带分段和最大编码单元)确定参考编码单元的形状和大小。
根据实施例，图像解码装置100的比特流获得器120可以从比特流获得关于各种数据单元中的每一个的参考编码单元形状信息和参考编码单元大小信息中的至少一种。已经在上面关于图3的分割当前编码单元300的操作描述了确定包括在正方形参考编码单元1500中的至少一个编码单元的操作，并且已经在上面关于图4的分割当前编码单元400或450的操作描述了确定包括在非正方形参考编码单元1502中的至少一个编码单元的操作。因此，将不在此提供其详细描述。
根据实施例，解码器130可以使用用于识别参考编码单元的大小和形状的PID，以根据基于预先确定条件预先确定的一些数据单元来确定参考编码单元的大小和形状。也就是说，比特流获得器120可以从比特流获得仅用于识别参考编码单元关于作为在各种数据单元(例如，序列、图片、条带、条带分段和最大编码单元)当中满足预先确定条件的数据单元(例如，具有小于或等于条带的大小的数据单元)的每个条带、条带分段或最大编码单元的大小和形状的PID。解码器130可以通过使用PID来确定参考数据单元关于满足预先确定条件的每个数据单元的大小和形状。当关于具有相对较小大小的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元大小信息时，因为使用比特流的效率可能不好，所以可以获得并使用仅PID，而不是直接地获得参考编码单元形状信息和参考编码单元大小信息。在这种情况下，可以预先确定与用于识别参考编码单元的大小和形状的PID相对应的参考编码单元的大小和形状中的至少一个。也就是说，解码器130可以通过基于PID选择预先确定的参考编码单元的大小和形状中的至少一个来确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的大小和形状中的至少一个。
根据实施例，解码器130可以使用包括在最大编码单元中的一个或更多个参考编码单元。也就是说，从图片分割的最大编码单元可以包括一个或更多个参考编码单元，并且可以通过递归地分割每个参考编码单元来确定编码单元。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，可以通过基于四叉树结构分割最大编码单元n次来获得参考编码单元的大小。也就是说，解码器130可以通过基于四叉树结构分割最大编码单元n次来确定参考编码单元，并且根据各种实施例来基于块形状信息和分割形状信息中的至少一种分割参考编码单元。
图16示出了根据实施例的用作用于确定包括在图片1600中的参考编码单元的确定顺序的单元的处理块。
根据实施例，解码器130可以确定从图片分割的一个或更多个处理块。处理块是包括从图片分割的一个或更多个参考编码单元的数据单元，并且可以以特定顺序确定包括在处理块中的一个或更多个参考编码单元。也就是说，在每个处理块中确定的一个或更多个参考编码单元的确定顺序可以对应于用于确定参考编码单元的各种形状的顺序中的一种，并且可以根据处理块而变化。关于每个处理块确定的参考编码单元的确定顺序可以是各种顺序中的一种，例如，光栅扫描顺序、Z扫描、N扫描、右上对角扫描、水平扫描和垂直扫描，但是不限于上面提及的扫描顺序。
根据实施例，解码器130可以获得处理块大小信息并且确定图片中包括的一个或更多个处理块的大小。解码器130可以从比特流获得处理块大小信息并且确定图片中包括的一个或更多个处理块的大小。处理块的大小可以是通过处理块大小信息指示的数据单元的预先确定大小。
根据实施例，图像解码装置100的比特流获得器120可以关于每个特定数据单元从比特流获得处理块大小信息。例如，可以从诸如图像、序列、图片、条带或条带分段的数据单元中的比特流获得处理块大小信息。也就是说，比特流获得器120可以关于各种数据单元中的每一个从比特流获得处理块大小信息，并且解码器130可以通过使用所获得的处理块大小信息来确定从图片分割的一个或更多个处理块的大小。处理块的大小可以是参考编码单元的大小的整数倍。
根据实施例，解码器130可以确定图片1600中包括的处理块1602和1612的大小。例如，解码器130可以基于从比特流获得的处理块大小信息确定处理块的大小。参考图16，根据实施例，解码器130可以将处理块1602和1612的宽度确定为参考编码单元的宽度的四倍，并且将处理块1602和1612的高度确定为参考编码单元的高度的四倍。解码器130可以确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。
根据实施例，解码器130可以基于处理块的大小确定被包括在图片1600中的处理块1602和1612，并且参考编码单元确定器12可以确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序。根据实施例，参考编码单元的确定可以包括参考编码单元的大小的确定。
根据实施例，解码器130可以从比特流获得包括在一个或更多个处理块中的一个或更多个参考编码单元的确定顺序信息，并且基于所获得的确定顺序信息确定一个或更多个参考编码单元的确定顺序。可以将确定顺序信息定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说，可以关于每个处理块独立地确定参考编码单元的确定顺序。
根据实施例，图像解码装置100可以关于每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如，比特流获得器120可以关于诸如图像、序列、图片、条带、条带分段或处理块的每个数据单元从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序，所以可以关于包括整数个处理块的每个特定数据单元获得确定顺序信息。
根据实施例，图像解码装置100可以基于所确定的确定顺序确定一个或更多个参考编码单元。
根据实施例，比特流获得器120可以从比特流获得参考编码单元的确定顺序信息作为与处理块1602和1612有关的信息，并且解码器130可以确定包括在处理块1602和1612中的一个或更多个参考编码单元的确定顺序，并且基于该确定顺序确定被包括在图片1600中的一个或更多个参考编码单元。参考图16，解码器130可以分别确定处理块1602和1612中的一个或更多个参考编码单元的确定顺序1604和1614。例如，当关于每个处理块获得参考编码单元的确定顺序信息时，可以针对处理块1602和1612获得参考编码单元的不同形状的确定顺序信息。当处理块1602中的参考编码单元的确定顺序1604是光栅扫描顺序时，可以以光栅扫描顺序确定包括在处理块1602中的参考编码单元。与此不同，当另一个处理块1612中的参考编码单元的确定顺序1614是逆光栅扫描顺序时，可以以逆光栅扫描顺序确定包括在处理块1612中的参考编码单元。
根据实施例，解码器130可以对所确定的一个或更多个参考编码单元进行解码。解码器130可以基于如上所述确定的参考编码单元对图片进行解码。对参考编码单元进行解码的方法可以包括各种图像解码方法。
根据实施例，图像解码装置100可以从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的分割方法的分割形状信息，并且使用所获得的信息。块形状信息或分割形状信息可以被包括在与各种数据单元有关的比特流中。例如，解码器130可以使用包括在序列参数集、图片参数集、视频参数集、条带头部或条带分段头部中的块形状信息或分割形状信息。此外，解码器130可以关于每个最大编码单元、参考编码单元或处理块从比特流获得与块形状信息或分割形状信息相对应的语法，并且使用所获得的语法。
根据实施例，解码器130可以不同地确定可以根据每个预先确定数据单元划分编码单元的分割形状的种类。根据实施例，图像解码装置100的解码器130可以不同地确定可以根据每个预先确定数据单元(例如，序列、图片、条带等)划分编码单元的形状的组合。
图17是在图片具有编码单元的分割类型的彼此不同的组合的情况下可以为每张图片确定的编码单元的图。
参考图17，解码器130可以将编码单元的分割类型的组合确定为根据每张图片不同。例如，解码器130可以通过从图像中包括的一张或更多张图片当中使用可以被分割成四个编码单元的图片1700、可以被分割成两个或四个编码单元的图片1710以及可以被分割成两个、三个或四个编码单元的图片1720来对图像进行解码。解码器130可以仅使用表示分割成四个正方形编码单元的分割类型信息来将图片1700分割成多个编码单元。解码器130可以仅使用表示分割成两个或四个编码单元的分割类型信息来分割图片1710。解码器130可以仅使用表示分割成两个、三个或四个编码单元的分割类型信息来分割图片1720。分割类型的上述组合是用于描述图像解码装置100的操作的示例，并且因此，分割类型的组合不限于以上实施例，并且应解释的是，可以关于预先确定数据单元使用分割类型的各种组合。
根据实施例，图像解码装置100的比特流获得器120可以为每一预先确定数据单元(例如，序列、图片、条带等)获得包括表示分割类型信息的组合的索引的比特流。例如，比特流获得器可以从序列参数集、图片参数集或条带头部获得表示分割类型信息的组合的索引。图像解码装置100的解码器130可以通过使用所获得的索引来关于每一预先确定数据单元确定编码单元的分割类型的组合，并且因此，数据单元可以使用彼此不同的分割类型的组合。
图18是示出了根据实施例的可以基于用二进制码表达的分割类型信息确定的编码单元的各种类型的图。
根据实施例，图像解码装置100可以通过使用由比特流获得器120获得的块类型信息和分割类型信息来将编码单元分割成各种类型。编码单元的分割类型可以包括各种类型，包括以上实施方式中的上述类型。
参考图18，解码器130可以基于分割类型信息在水平方向和垂直方向中的一个上分割正方形类型的编码单元，并且可以在水平或垂直方向上分割非正方形形状的编码单元。
当根据实施例解码器130可以将水平方向和垂直方向上的正方形形状的编码单元分割成正方形形状的四个编码单元时，关于正方形形状的编码单元的分割类型信息可以指示四种分割类型。根据实施例，可以将分割类型信息表达为两位数的二进制码，并且可以向每个分割类型分配二进制码。例如，当编码单元未被分割时，可以将分割类型信息表达为(00)b。当在水平方向和垂直方向上分割编码单元时，可以将分割类型信息表达为(01)b。当在水平方向上分割编码单元时，可以将分割类型信息表达为(10)b。当在垂直方向上分割编码单元时，可以将分割类型信息表达为(11)b。
根据实施例，当解码器130在水平方向或垂直方向上分割非正方形形状的编码单元时，可以根据多少编译单位被分割来确定分割类型信息可以表示的分割类型的种类。参考图18，根据实施例，解码器130可以将非正方形形状的编码单元分割成多达三片。解码器130可以将编码单元分割成两个编码单元，并且在这种情况下，可以将分割类型信息表达为(10)b。解码器130可以将编码单元分割成三个编码单元，并且在这种情况下，可以将分割类型信息表达为(11)b。解码器130可以确定不分割编码单元，并且在这种情况下，可以将分割类型信息表达为(0)b。也就是说，解码器130可以使用可变长度编译(VLC)而不是固定长度编译(FLC)来使用表示分割类型信息的二进制码。
参考图18，根据实施例，可以将表示编码单元未被分割的分割类型信息的二进制码表达为(0)b。在表示编码单元未被分割的分割类型信息的二进制码被设置为(00)b的情况下，即使当不存在设置为(01)b的分割类型信息时，也必须使用分割类型信息的两位的二进制码。然而，如图18中所示，当关于非正方形形状的编码单元使用三种分割类型时，解码器130可以甚至通过将一位二进制码(0)b用作分割类型信息来确定不分割编码单元，并且因此，可以高效地使用比特流。然而，通过分割类型信息表示的非正方形的编码单元的分割类型不限于图18中所示的三种类型，而是应解释的是，分割类型可以包括包括上述实施例的各种类型。
图19是示出根据实施例的可以基于可以用二进制码表达的分割类型信息确定的编码单元的另一类型的图。
参考图19，解码器130可以基于分割类型信息在水平或垂直方向上分割正方形形状的编码单元，并且可以在水平或垂直方向上分割非正方形形状的编码单元。也就是说，分割类型信息可以表示在一个方向上分割的正方形形状的编码单元。在这种情况下，可以将表示正方形形状的编码单元未被分割的分割类型信息的二进制码表达为(0)b。在表示编码单元未被分割的分割类型信息的二进制码被设置为(00)b的情况下，即使当不存在设置为(01)b的分割类型信息时，也必须使用分割类型信息的两位的二进制码。然而，如图19中所示，当关于正方形形状的编码单元使用三种分割类型时，解码器130可以甚至通过将一位二进制码(0)b用作分割类型信息来确定不分割编码单元，并且因此，可以高效地使用比特流。然而，通过分割类型信息表示的正方形形状的编码单元的分割类型不限于图19中所示的三种类型，而是应解释的是，分割类型可以包括包括上述实施例的各种类型。
根据实施例，可以通过使用二进制码来表达块类型信息或分割类型信息，并且这种信息可以作为比特流被直接地生成。另外，表达为二进制码的块类型信息可以不作为比特流被直接地生成，而是可以被用作上下文自适应二进制算术编译(CABAC)中的二进制码输入。
根据实施例，将描述图像解码装置100通过CABAC来获得关于块类型信息或分割类型信息的语法的过程。可以经由比特流获得器获得包括关于语法的二进制码的比特流。解码器130可以通过对包括在所获得的比特流中的bin串进行逆量化来检测表示块类型信息或分割类型信息的语法元素。根据实施例，解码器130获得与要解码的语法元素相对应的一组二进制bin串，并且对这些bin中的每一个进行解码。另外，解码器130可以重复地执行以上操作，直到经解码的bin的bin串等于或者为预先计算出的bin串中的一个。解码器130可以通过执行bin串的逆二进制化来确定语法元素。
根据实施例，解码器130可以通过执行自适应二进制算术编译的解码操作来确定bin串的语法，并且解码器130可以更新由比特流获得器获得的这些bin的概率模型。参考图18，根据实施例，图像解码装置100的比特流获得器120可以获得表示指示分割类型信息的二进制码的比特流。解码器130可以通过使用所获得的具有一位或两位大小的二进制码来确定关于分割类型信息的句法。解码器130可以关于两位二进制码中的每个位来更新概率，以确定关于分割类型信息的语法。也就是说，解码器130可以根据第一bin在两位二进制码中具有的值(即，0或1)来更新当对下一个bin进行解码时具有值为0或1的概率。
根据实施例，当确定语法时，解码器130可以更新在对关于语法的bin串中的这些bin进行解码时使用的这些bin的概率，并且解码器130可以确定该bin串中的某位的概率未被更新并且相同的概率维持。
参考图18，在通过使用表示非正方形形状的编码单元的分割类型信息的bin串来确定语法的过程中，解码器130可以通过使用当非正方形形状的编码单元未被分割时具有值为0的一个bin来确定关于分割类型信息的语法。也就是说，当块类型信息表示当前编码单元具有非正方形形状时，分割类型信息的bin串中的第一bin在非正方形形状的编码单元未被分割时可以具有值0，而在非正方形的编码单元被分割成两个或三个编码单元时可以具有值1。因此，关于非正方形形状的编码单元的分割类型信息的bin串中的第一bin具有值0的概率可以是1/3，而具有值1的概率可以是2/3。如上所述，因为表示非正方形形状的编码单元未被分割的分割类型信息可以仅通过具有值0的一位的bin串来表达，所以解码器130可以通过仅当分割类型信息的第一bin具有值1时确定第二bin是否具有值0或1来确定确定分割类型信息的语法。根据实施例，当关于分割类型信息的第一bin具有值1时，解码器130可以在第二bin具有值0的概率和具有值1的概率彼此相等的假定下对该bin进行解码。
根据实施例，图像解码装置100可以在确定关于分割类型信息的bin串的bin时关于每个bin使用各种概率。根据实施例，解码器130可以根据非正方形块的方向不同地确定bin关于分割类型信息的概率。根据实施例，解码器130可以将bin关于分割类型信息的概率确定为根据当前编码单元的面积或较长边的长度不同。根据实施例，解码器130可以将bin关于分割类型信息的概率确定为根据当前编码单元的形状和长边的长度中的至少一个不同。
根据实施例，解码器130可以关于预先确定大小或更大的编码单元确定这些bin关于分割类型信息的概率彼此相等。例如，关于基于编码单元的长边的长度具有64样本或更大的大小的编码单元，可以确定分割类型信息的这些bin的概率彼此相等。
根据实施例，解码器130可以基于条带类型(例如，I条带、P条带或B条带)确定配置分割类型信息的bin串的这些bin的初始概率。
图20是执行环路滤波的图像编码和解码***的框图。
图像编码和解码***2000的编码终端2010传送图像的编码比特流，并且解码终端2050接收比特流并对它进行解码以输出重建图像。这里，编码终端2010可以是与稍后将描述的图像编码装置200类似的元件，并且解码终端2050可以是与图像解码装置100类似的元件。
在编码终端2010中，预测编码器2015通过帧间预测和帧内预测输出参考图像，并且转换和量化单元2020将参考图像与当前输入图像之间的残差数据量化成量化转换系数并且输出量化转换系数。熵编码器2025对量化转换系数进行编码和转换，并且输出比特流。量化转换系数通过逆量化和逆转换单元2030被重建为空间域的数据，并且空间域的重建数据通过去块滤波单元2035和环路滤波单元2040作为重建图像被输出。在通过预测编码器2015之后，重建图像可以被用作下一个输入图像的参考图像。
在由解码终端2050接收到的比特流中，编码图像数据通过熵解码器2055及逆量化和逆转换单元2060被重建为空间域的残差数据。参考图像和从预测解码器2075输出的残差数据被组合以配置空间域的图像数据，并且去块滤波单元2065和环路滤波单元2070对空间域的图像数据执行滤波操作以输出当前原始图像的重建图像。重建图像可以由预测解码器2075用作下一个原始图像的参考图像。
编码终端2010的环路滤波单元2040可以通过使用由用户输入或者根据***设置输入的滤波信息来执行环路滤波。由环路滤波单元2040使用的滤波信息被输出到熵编码器2010，然后被与编码图像数据一起传送到解码终端2050。解码终端2050的环路滤波单元2070可以基于输入到解码终端2050的滤波信息执行环路滤波。
图21是示出了根据实施例的包括在最大编码单元中的滤波单元的示例和滤波单元的滤波执行信息的图。
当编码终端2010的环路滤波单元2040和解码终端2050的环路滤波单元2070的滤波单元包括与根据参考图3至图5所图示的实施例的编码单元类似的数据单元时，滤波信息可以包括用于表示滤波单元的数据单元的块类型信息和分割类型信息以及表示是否对滤波单元执行环路滤波的环路滤波执行信息。
根据实施例的包括在最大编码单元2100中的滤波单元可以具有与包括在最大编码单元2100中的编码单元的块类型和分割类型相同的块类型和分割类型。另外，可以基于包括在最大编码单元2100中的编码单元的大小分割根据实施例的包括在最大编码单元2100中的滤波单元。参考图21，例如，滤波单元可以包括具有深度D的正方形形状的滤波单元2140、具有深度D的非正方形形状的滤波单元2132和2134、具有深度D+1的正方形形状的滤波单元2112、2114、2116、2152、2154和2164、具有深度D+1的正方形形状的滤波单元2162和2166以及具有深度D+2的正方形形状的滤波单元2122、2124、2126和2128。
包括在最大编码单元2100中的滤波单元的块类型信息、分割类型信息(深度)和环路滤波执行信息可以像下表1中所示的那样被编码。
[表1]
根据实施例的递归地分割编码单元以根据块类型信息和块分割信息来确定多个编码单元的过程如参考图13的以上描述一样。在根据实施例的滤波单元的环路滤波执行信息中，当标志值是1时，它表示对所对应的滤波单元执行环路滤波，而当标志值是0时，它表示不执行环路滤波。参考上表1，用于确定作为环路滤波单元2040和2070的滤波目标的滤波单元的数据单元的信息可以全部被编码为滤波信息并传送。
根据实施例配置的编码单元是为了使与原始图像的误差最小化，并且因此，被预期在其之间具有高空间关系。因此，因为滤波单元是基于根据实施例的编码单元来确定的，所以可以省略与编码单元的确定分开地确定滤波单元的操作。因此，因为滤波单元是基于根据实施例的编码单元来确定的，所以可以省略用于确定滤波单元的分割类型的信息，并且因此，可以减小滤波信息的传输比特率。
在以上实施例中，描述了滤波单元是基于根据实施例的编码单元来确定的，基于编码单元执行滤波单元的分割，然后，不再在任意深度处分割滤波单元并且可以确定在对应深度处的滤波单元的类型。
上面参考以上实施例所描述的滤波单元的确定可以被应用于诸如去块滤波、自适应环路滤波等以及环路滤波的各种实施例。
根据实施例的图像解码装置100可以通过使用块类型信息和分割类型信息中的至少一种来分割当前编码单元，以及块类型信息可以被提前确定为仅使用正方形类型并且分割类型信息可以被提前确定为不分割或者表示编码单元可以被分割成四个正方形编码单元。也就是说，根据块类型信息，当前编码单元具有正方形形状，并且可以不被分割或者可以根据分割类型信息被分割成四个正方形编码单元。图像解码装置100可以通过比特流获得器来获得比特流，所述比特流是通过被提前确定要仅使用以上块类型和分割类型的预先确定编码方法来生成的，并且解码器130可以仅使用提前确定的块类型和分割类型。在这种情况下，图像解码装置100可以通过使用与上述编码方法类似的预先确定解码方法来解决与预先确定编码方法的兼容性问题。根据实施例，当图像解码装置100使用仅使用通过块类型信息和分割类型信息表示的各种类型当中的预先确定块类型和分割类型的上述预先确定解码方法时，块类型信息仅表示正方形形状，并且因此，图像解码装置100可以省略从比特流获得块类型信息的过程。可以使用表示是否使用上述预先确定解码方法的语法，并且可以针对包括多个编码单元的各种形状的数据单元中的每一个(例如，序列、图片、条带单元、最大编码单元等)从比特流获得语法。也就是说，比特流获得器120可以基于表示是否使用预先确定解码方法的语法来确定是否从比特流获得表示块类型信息的语法。
图23是示出了根据实施例的根据编码单元的Z扫描顺序的索引的图。
根据实施例的图像解码装置100可以以Z扫描顺序扫描包括在上部数据单元中的较低数据单元。另外，根据实施例的图像解码装置100可以根据包括在最大编码单元或处理块中的编码单元中的Z扫描索引来顺序访问数据。
根据实施例的图像解码装置100可以像上面参考图3和图4所描述的那样将参考编码单元分割成至少一个编码单元。这里，在参考编码单元中，正方形形状的编码单元和非正方形形状的编码单元可以混合地存在。根据实施例的图像解码装置100可以根据包括在参考编码单元中的每个编码单元中的Z扫描索引来访问数据。这里，应用Z扫描索引的方式可以根据在参考编码单元中是否存在非正方形形状编码单元而变化。
根据实施例，当在参考编码单元中不存在非正方形形状的编码单元时，参考编码单元中的较低深度的编码单元可以具有连续的Z扫描索引。例如，根据实施例，较高深度的编码单元可以包括较低深度的四个编码单元。这里，较低深度的四个编码单元可以在它们之间具有连续的边界，并且可以根据表示Z扫描顺序的索引以Z扫描顺序扫描较低深度的编码单元。根据实施例的表示Z扫描顺序的索引可以根据关于编码单元的Z扫描顺序被设置为递增数。在这种情况下，可以根据Z扫描顺序来扫描相同深度的更深编码单元。
根据实施例，当在参考编码单元中存在非正方形形状的至少一个编码单元时，图像解码装置100将参考编码单元中的每个编码单元分割成子块并且以Z扫描顺序对已分割的子块执行扫描操作。例如，当在参考编码单元中在垂直或水平方向上存在非正方形形状的编码单元时，可以通过使用分割的子块来执行Z扫描。另外，例如，参考编码单元被分割成奇数编码单元，可以通过使用子块来执行Z扫描。子块是通过分割不再被分割的编码单元或任意编码单元来获得的，并且可以具有正方形形状。例如，可以将正方形形状的编码单元分割成四个方块子块。另外，例如，可以将非正方形形状的编码单元分割成两个正方形子块。
参考图23，例如，根据实施例的图像解码装置100可以在编码单元2300中以Z扫描顺序扫描较低深度的编码单元2302、2304、2306、2308和2310。编码单元2300以及编码单元2302、2304、2306、2308和2310关于彼此分别是上部编码单元和下部编码单元。编码单元2300包括在水平方向上的非正方形形状的编码单元2306和2310。非正方形形状的编码单元2306和2310与正方形形状的相邻编码单元2302和2304具有不连续的边界。另外，编码单元2308具有正方形形状，并且被***在从非正方形形状的编码单元分割的奇数编码单元之间。像非正方形形状的编码单元2306和2310一样，编码单元2308与正方形形状的相邻编码单元2302和2304具有不连续的边界。当在编码单元2300中包括非正方形编码单元2306和2310或者在编码单元2300中包括***在从非正方形编码单元分割的奇数编码单元之间的编码单元2308时，编码单元之间的相邻边界是不连续的，并且因此，可以不设置连续的Z扫描索引。因此，图像解码装置100可以将编码单元分割为子块并且连续地设置Z扫描索引。另外，图像解码装置100可以对非正方形形状的编码单元2306和2310或***在非正方形形状的奇数编码单元之间的编码单元2308执行连续的Z扫描操作。
图23中所示的编码单元2320是通过将编码单元2300中的编码单元2302、2304、2306、2308和2310分割成子块来获得的。可以关于每个子块设置Z扫描索引，并且子块之间的相邻边界是连续的。因此，可以以Z扫描顺序扫描子块。例如，根据实施例的编译装置可以将编码单元2308分割为子块2322、2324、2326和2328。这里，可以在处理子块2330上的数据之后扫描子块2322和2324，并且可以在处理子块2332上的数据之后扫描子块2326和2328。另外，可以以Z扫描顺序扫描子块。
在以上实施例中，可以根据用于存储数据、加载数据、访问数据等的Z扫描顺序来扫描数据单元。
另外，在以上实施例中，描述了可以根据Z扫描顺序来扫描数据单元，但是可以以各种扫描顺序扫描数据单元，所述各种扫描顺序例如为光栅扫描、N扫描、右上对角扫描、水平扫描，垂直扫描等，并且可以不限于Z扫描顺序。
另外，在以上实施例中，描述了参考编码单元中的编码单元被扫描，但是不限于此，而是它不限于以上示例，即，要扫描的目标可以是处理块中的最大编码单元或任意块。
另外，在以上实施例中，只有当存在至少一个非正方形块时，该块才被分割成要根据Z扫描顺序扫描的子块。然而，即使当不存在用于简化实施方式的非正方形块时，也可以将该块分割成要根据Z扫描顺序扫描的子块。
根据实施例的图像解码装置100可以通过对编码单元执行帧间预测或帧内预测来生成预测数据，可以通过对包括在当前编码单元中的转换单元执行逆转换来生成残差数据，并且可以通过使用预测数据和残差数据来重建当前编码单元。
根据实施例的编码单元的预测模式可以是帧内模式、帧间模式和跳跃模式中的至少一种。根据实施例，可以关于每个编码单元独立地选择预测模式。
例如，当2N×2N的编码单元被分割并且变成两个2N×N或两个N×2N编码单元时，可以对编码单元单独地执行帧间模式下的预测和帧内模式下的预测。另外，根据实施例可以将跳跃模式应用于2N×N或N×2N的编码单元。
同时，根据实施例，在图像解码装置100中，可以在跳跃模式下在8×4或4×8的编码单元上允许双预测。在跳跃模式下，仅传送关于编码单元的跳跃模式信息，并且因此，可以省略在对应编码单元上使用残余数据。因此，可以减小逆量化和逆转换的开销。替代地，根据实施例的图像解码装置100在被应用跳跃模式的编码单元上允许双预测，以改进解码效率。另外，根据实施例的图像解码装置100在8×4或4×8的编码单元上允许双预测，但是在运动补偿过程中设置相对较小数量的内插抽头以高效地使用存储器带宽。作为示例，不是使用8抽头的内插滤波器，而是可以使用具有少于8的抽头的内插滤波器(例如，2抽头内插滤波器)。
另外，根据实施例的图像解码装置100可以按照预先确定类型(例如，基于斜线的分割)分割包括在当前编码单元中的区域，并且可以执行关于每个分割区域的帧间预测或帧内预测信息的发信号通知。
根据实施例的图像解码装置100可以通过在帧内模式下使用当前编码单元的***样本来获得当前编码单元的预测样本。这里，在帧内预测中，通过使用已被重建的***样本来执行预测，并且这些样本被称为参考样本。
图24是根据实施例的用于编码单元的帧内预测的参考样本的图。参考图24，关于具有非正方形块形状(在水平方向上长度为w且在垂直方向上长度为h)的当前编码单元2300，在编码单元2300上方的w+h个参考样本、在编码单元2300的左侧处的w+h个参考样本以及在编码单元2300的左上侧处的一个参考样本即总共2(w+h)+1个参考样本是必需的。为了制备参考样本，对不存在参考样本的一部分执行填充的过程被执行，并且可以执行针对每种预测模式的参考样本滤波过程以减小重建参考样本中的量化误差。
在以上实施例中，在当前编码单元的块类型为非正方形形状的情况下的参考样本的数量可以被同样地应用于当前编码单元的块类型为正方形形状的情况。
上述实施例例示了与由图像解码装置100执行的图像解码方法有关的操作。在下文中，将在下面参考各种实施例描述图像编码装置200执行与图像解码方法的逆过程相对应的图像编码方法的操作。
图2例示了根据实施例的能够基于块形状信息和分割形状信息中的至少一种对图像进行编码的图像编码装置200的框图。
参考图2，根据实施例，图像编码装置200可以包括：比特流生成器210，用于生成包括诸如分割形状信息和块形状信息的预先确定信息的比特流；以及编码器220，用于使用预先确定信息来对图像进行编码。根据实施例，图像编码装置200的编码器220可以确定基于块形状信息和分割形状信息中的至少一种分割图像的至少一个编码单元，并且图像编码装置200的比特流生成器210可以生成包括块形状信息和分割形状信息中的至少一种的比特流。这里，块形状信息可以意指指示编码单元的形状的信息或语法，并且分割形状信息可以意指指示编码单元被分割的形状的信息或语法。
根据实施例，图像编码装置200的编码器220可以确定编码单元的形状。例如，编码单元可以具有正方形形状或非正方形形状，并且指示这种形状的信息可以被包括在块形状信息中。
根据实施例，编码器220可以确定什么形状编码单元将被分割。编码器220可以确定包括在编码单元中的至少一个编码单元的形状，并且比特流生成器210可以生成包括分割形状信息的比特流，所述分割形状信息包括关于编码单元的形状的信息。
根据实施例，编码器220可以确定是否分割编码单元。当编码器220确定在编码单元中包括仅一个编码单元或者编码单元未被分割时，比特流生成器210可以生成包括指示编码单元未被分割的分割形状信息的比特流。编码器220可以将编码单元分割成包括在编码单元中的多个编码单元，并且比特流生成器210可以生成包括指示编码单元被分割成多个编码单元的分割形状信息的比特流。
根据实施例，指示编码单元被分割成多少个编码单元或者编码单元被分割成哪一个方向的信息可以被包括在分割形状信息中。例如，分割形状信息可以指示编码单元在垂直方向和水平方向中的至少一个上被分割或者编码单元未被分割。
图3例示了根据实施例的图像编码装置200分割当前编码单元300并且确定至少一个编码单元的过程。
根据实施例，编码器220可以确定编码单元的形状。例如，编码器220可以考虑到速率失真(RD)成本来确定具有最优RD成本的编码单元的形状。
根据实施例，编码器220可以确定当前编码单元是正方形形状并且因此确定正方形编码单元被分割的形状。例如，编码器220可以确定是否分割正方形编码单元、是否垂直地分割正方形编码单元、是否水平地分割正方形编码单元或者是否将正方形编码单元分割成4个编码单元。参考图3，编码器220可以不分割具有与当前编码单元300的大小相同的大小的编码单元310a或者可以基于指示预先确定分割方法的分割形状信息确定分割编码单元310b、310c、310d等。
参考图3，根据实施例，编码器220可以确定通过在垂直方向上分割当前编码单元300而获得的两个编码单元310b。编码器220可以确定通过在水平方向上分割当前编码单元300而获得的两个编码单元310c。编码器220可以确定通过在垂直和水平方向上分割当前编码单元300而获得的四个编码单元310d。然而，正方形编码单元被分割的分割形状可以未被解释为限于上述形状并且可以包括分割形状信息可以指示的各种形状。将在下面关于各种实施例详细地描述正方形编码单元被分割的预先确定分割形状。
根据实施例，图像编码装置200的比特流生成器210可以生成包括指示由编码器220分割的当前编码单元300的形状的分割形状信息的比特流。
图4示出了根据实施例的图像编码装置200分割非正方形编码单元并且确定一个或更多个编码单元的操作。
根据实施例，编码器220可以确定是否不分割非正方形当前编码单元或者通过使用预先确定分割方法来分割非正方形当前编码单元。参考图4，当前编码单元400或450的编码器220可以不分割具有与当前编码单元400或450相同的大小的编码单元460或者可以确定根据分割方法分割编码单元420a、420b、430a、430b、430c、470a、470b、480a、480b和480c。图像编码装置200的比特流生成器210可以生成包括指示这种分割形状的分割形状信息的比特流。将在下面关于各个实施例详细地描述分割非正方形编码单元的预先确定分割方法。
根据实施例，编码器220可以确定编码单元被分割的形状。参考图4，编码器220可以通过分割当前编码单元400或450来确定包括在当前编码单元中的两个编码单元420a和420b或470a和470b，并且生成包括指示这种分割形状的分割形状信息的比特流。
根据实施例，当编码器220分割非正方形当前编码单元400或450时，编码器220可以考虑到非正方形当前编码单元400或450的长边的位置来分割当前编码单元400或450。例如，编码器220可以通过在考虑当前编码单元400或450的形状分割当前编码单元400或450的长边的方向上分割当前编码单元400或450来确定多个编码单元，并且比特流生成器210可以生成包括指示这种分割形状的分割形状信息的比特流。
根据实施例，编码器220可以确定包括在当前编码单元400或450中的奇数个编码单元。例如，编码器220可以将当前编码单元400或450分割成三个编码单元430a、430b和430c或480a、480b和480c。根据实施例，编码器220可以确定包括在当前编码单元400或450中的奇数个编码单元，并且所有确定的编码单元可以不具有相同的大小。例如，所确定的奇数个编码单元430a、430b和430c或480a、480b和480c当中的预先确定编码单元430b或480b可以具有与其他编码单元430a和430c或480a和480c的大小不同的大小。也就是说，可以通过分割当前编码单元400或450来确定的编码单元可以具有多个大小，并且在一些情况下，所有奇数个编码单元430a、430b和430c或480a、480b和480c均可以有不同的大小。
根据实施例，编码器220可以确定包括在当前编码单元400或450中的奇数个编码单元，并且对通过分割当前编码单元400或450而生成的奇数个编码单元当中的至少一个编码单元设置预先确定限制。参考图4，编码器220可以将通过分割当前编码单元400或450而生成的三个编码单元430a、430b和430c或480a、480b和480c当中的中心位置的编码单元430b或480b的解码方法设置为与其他编码单元430a和430c或480a和480c的解码方法不同。例如，与其他编码单元430a和430c或480a和480c不同，编码器220可以将中心位置的编码单元430b或480b限制为不再被分割或者被分割仅预先确定次数。
图5例示了根据实施例的图像编码装置200分割编码单元的操作。
根据实施例，编码器220可以确定是否将正方形第一编码单元500分割成编码单元。根据实施例，编码器220可以通过在水平方向上分割第一编码单元500来确定第二编码单元510。根据实施例，第一编码单元、第二编码单元和第三编码单元是用于理解在编码单元之间分割之前和之后的关系的术语。例如，可以通过分割第一编码单元来确定第二编码单元，并且可以通过分割第二编码单元来确定第三编码单元。在下面应理解的是，第一、第二和第三编码单元的关系遵循上述特性。
根据实施例，图像编码装置200可以基于块形状信息和分割形状信息中的至少一种确定是否要将所确定的第二编码单元510分割成编码单元。参考图5，编码器220可以或可以不将通过基于块形状信息和分割形状信息中的至少一种分割第一编码单元500而确定的非正方形第二编码单元510分割成一个或更多个第三编码单元520a、520b、520c、1220d等。图像编码装置200的比特流生成器210可以生成包括块形状信息和分割形状信息中的至少一种的比特流，并且编码器220可以通过基于块形状信息和分割形状信息中的至少一种分割第一编码单元500来生成多个各种形状的第二编码单元(例如，510)，并且可以通过使用基于块形状信息和分割形状信息中的至少一种分割第一编码单元500的方法来分割第二编码单元510。根据实施例，当第一编码单元500基于第一编码单元500的块形状信息和分割形状信息中的至少一种被分割成第二编码单元510时，也可以基于第二编码单元510的块形状信息和分割形状信息中的至少一种将第二编码单元510分割成第三编码单元(例如，520a、520b、520c、520d等)。因此，可以通过分割非正方形编码单元来确定正方形编码单元，并且可以通过递归地分割正方形编码单元来确定非正方形编码单元。参考图5，可以递归地分割通过分割非正方形第二编码单元1210而确定的奇数个第三编码单元520b、520c和520d当中的预先确定编码单元(例如，中心位置的编码单元或正方形编码单元)。根据实施例，可以在水平方向上将奇数个第三编码单元520b、520c和520d当中的正方形第三编码单元520c分割成多个第四编码单元。所述多个第四编码单元中的非正方形第四编码单元540可以被分成多个编码单元。例如，可以将非正方形第四编码单元分割成奇数个编码单元。
可以基于与每个编码单元有关的分割形状信息和块形状信息中的至少一种递归地分割编码单元。将在下面关于各种实施例描述可用于递归地分割编码单元的方法。
根据实施例，编码器220可以基于块形状信息和分割形状信息中的至少一种确定要将第三编码单元520a、520b、520c、520d等中的每一个分割成编码单元或者不分割第二编码单元510。根据实施例，编码器220可以将非正方形第二编码单元510分割成奇数个第三编码单元520b、520c和520d。图像编码装置200可以对奇数个第三编码单元520b、520c和520d当中的预先确定第三编码单元设置预先确定限制。例如，图像编码装置200可以将奇数个第三编码单元520b、520c和520d当中的中心位置的编码单元520c限制为不再被分割或者被分割可设置的次数。参考图5，图像编码装置200可以将包括在非正方形第二编码单元510中的奇数个第三编码单元520b、520c和520d当中的中心位置的第三编码单元520c限制为不再被分割，使用预先确定分割方法来分割(例如，被分割成仅四个编码单元或者使用第二编码单元510的分割方法来分割)，或者被分割仅分割预先确定次数(例如，分割仅n次(其中n>0))。然而，对中心位置的第三编码单元520c的限制不限于上述示例，并且可以包括用于与其他第三编码单元520b和520d不同地对中心位置的第三编码单元520c进行解码的各种限制。
根据实施例，图像编码装置200的比特流生成器210可以生成与当前编码单元中的预先确定位置的样本有关的比特流以及包括用于分割当前编码单元的块形状信息和分割形状信息中的至少一种的比特流。
图6示出了根据实施例的由图像编码装置200执行的确定奇数个编码单元当中的预先确定编码单元的方法。图像编码装置200的比特流生成器210可以确定是否要将当前编码单元600分割成各种形状和大小的编码单元。参考图6，比特流生成器210可以生成与包括在当前编码单元600中的多个样本当中的预先确定位置的样本(例如，中心位置的样本640)有关的比特流以及包括当前编码单元600的块形状信息和分割形状信息中的至少一种的比特流。然而，当前编码单元600中的与块形状信息和分割形状信息中的至少一种有关的预先确定位置可以未被解释为限于图6中所示的中心位置并且可以包括可以被包括在当前编码单元600中的各种位置(例如，顶部、底部、左部、右部、左上部、左下部、右上部、右下部等)。
根据实施例，当当前编码单元被分割成预先确定数量的编码单元时，图像编码装置200可以选择这些编码单元中的一个。可以使用各种方法来选择多个编码单元中的一个，如将在下面关于各种实施例所描述的。
根据实施例，图像编码装置200的编码器220可以将当前编码单元分割成多个编码单元，并且确定预先确定位置的编码单元。
图6示出了根据实施例的由图像编码装置200执行的确定奇数个编码单元当中的预先确定位置的编码单元的方法。
根据实施例，编码器220可以使用指示奇数个编码单元的位置的信息来确定奇数个编码单元当中的中心位置的编码单元。参考图6，编码器220可以通过分割当前编码单元600来确定奇数个编码单元620a、620b和620c。编码器220可以通过使用关于奇数个编码单元620a、620b和620c的位置的信息来确定中心位置的编码单元620b。例如，编码器220可以通过基于指示包括在编码单元620a、620b和620c中的预先确定样本的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置的编码单元620b。具体地，编码器220可以通过基于指示编码单元620a、620b和620c的左上部样本630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置的编码单元620b。
根据实施例，指示分别被包括在编码单元620a、620b和620c中的左上部样本630a、630b和630c的位置的信息可以包括关于编码单元620a、620b和620c在图片中的位置或坐标的信息。根据实施例，指示分别被包括在编码单元620a、620b和620c中的左上部样本630a、630b和630c的位置的信息可以包括指示包括在当前编码单元600中的编码单元620a、620b和620c的宽度或高度的信息，并且这些宽度或高度可以对应于指示编码单元620a、620b和620c在图片中的坐标之间的差异的信息。也就是说，图像编码装置200可以通过直接地使用关于编码单元620a、620b和620c在图片中的位置或坐标的信息或者通过使用关于编码单元的宽度和高度的信息来确定中心位置的编码单元620b，所述宽度和高度对应于坐标之间的差值。
根据实施例，指示上部编码单元620a的左上部样本630a的位置的信息可以包括坐标(xa,ya)，指示中间编码单元620b的左上部样本630b的位置的信息可以包括坐标(xb,yb)，并且指示下部编码单元620c的左上部样本630c的位置的信息可以包括坐标(xc,yc)。图像编码装置200可以通过分别使用包括在编码单元620a、620b和620c中的左上部样本630a、630b和630c的坐标来确定中间编码单元620b。例如，当左上部样本630a、630b和630c的坐标被以升序或降序排序时，包括中心位置的样本630b的坐标(xb,yb)的编码单元620b可以被确定为通过分割当前编码单元600而确定的编码单元620a、620b和620c当中的中心位置的编码单元。然而，指示左上部样本630a、630b和630c的位置的坐标可以包括指示图片中的绝对位置的坐标，或者可以使用指示中间编码单元620b的左上部样本630b的相对位置的坐标(dxb,dyb)以及参考上部编码单元620a的左上部样本630a的位置指示下部编码单元620c的左上部样本630c的相对位置的坐标(dxc,dyc)。通过将包括在编码单元中的样本的坐标用作指示样本的位置的信息来确定预先确定位置的编码单元的方法可以未被解释为限于上述方法，并且可以包括能够使用样本的坐标的各种算术方法。
根据实施例，图像编码装置200可以将当前编码单元600分割成多个编码单元620a、620b和620c，并且基于预先确定准则选择编码单元620a、620b和620c中的一个。例如，图像编码装置200可以在编码单元620a、620b和620c当中选择具有与其他编码单元的大小不同的大小的编码单元620b。
根据实施例，图像编码装置200可以通过使用指示上部编码单元620a的左上部样本630a的位置的坐标(xa,ya)、指示中间编码单元620b的左上部样本630b的位置的坐标(xb,yb)和指示下部编码单元620c的左上部样本630c的位置的坐标(xc,yc)来确定编码单元620a、620b和620c的宽度或高度。图像编码装置200可以通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元620a、620b和620c的大小。
根据实施例，图像编码装置200可以将上部编码单元620a的宽度确定为xb-xa并且将其高度确定为yb-ya。根据实施例，图像编码装置200可以将中间编码单元620b的宽度确定为xc-xb并且将其高度确定为yc-yb。根据实施例，图像编码装置200可以通过使用当前编码单元600的宽度或高度或者上部编码单元620a和中间编码单元620b的宽度或高度来确定下部编码单元620c的宽度或高度。图像编码装置200可以基于所确定的编码单元620a、620b和620c的宽度和高度确定具有与其他编码单元的大小不同的大小的编码单元。参考图6，图像编码装置200可以将具有与上部编码单元620a和下部编码单元620c的大小不同的大小的中间编码单元620b确定为预先确定位置的编码单元。然而，由图像编码装置200确定具有与其他编码单元的大小不同的大小的编码单元的上述方法仅仅对应于通过使用基于样本的坐标而确定的编码单元的大小来确定预先确定位置的编码单元的示例，并且因此可以使用通过对基于预先确定样本的坐标而确定的编码单元的大小进行比较来确定预先确定位置的编码单元的各种方法。
然而，被考虑来确定编码单元的位置的样本的位置可以未被解释为限于上述左上部位置，并且可以使用关于包括在编码单元中的样本的任意位置的信息。
根据实施例，图像编码装置200可以考虑当前编码单元的形状在通过分割当前编码单元而确定的奇数个编码单元当中选择预先确定位置的编码单元。例如，当当前编码单元具有宽度比高度长的非正方形形状时，图像编码装置200可以确定在水平方向上的预先确定位置的编码单元。也就是说，图像编码装置200可以确定在水平方向上的不同位置的编码单元中的一个并且对该编码单元进行限制。当当前编码单元具有高度比宽度长的非正方形形状时，图像编码装置200可以确定在垂直方向上的预先确定位置的编码单元。也就是说，图像编码装置200可以确定在垂直方向上的不同位置的编码单元中的一个并且对该编码单元进行限制。
根据实施例，图像编码装置200可以使用指示偶数个编码单元的位置的信息来确定偶数个编码单元当中的预先确定位置的编码单元。图像编码装置200可以通过分割当前编码单元来确定偶数个编码单元，并且通过使用关于偶数个编码单元的位置的信息来确定预先确定位置的编码单元。与其有关的操作可以对应于确定奇数个编码单元当中的预先确定位置(例如，中心位置)的编码单元的操作，已经在上面关于图6对此进行了详细的描述，并且因此将不在此提供其详细描述。
根据实施例，当非正方形当前编码单元被分割成多个编码单元时，可以在分割操作中使用关于预先确定位置的编码单元的预先确定信息以确定多个编码单元当中的预先确定位置的编码单元。例如，图像编码装置200的编码器220可以在分割操作中使用被存储在包括在中心位置的编码单元中的样本中的块形状信息和分割形状信息中的至少一种，以确定通过分割当前编码单元而确定的多个编码单元当中的中心位置的编码单元。
参考图6，图像编码装置200的编码器220可以将当前编码单元600分割成多个编码单元620a、620b和620c并且确定多个编码单元620a、620b和620c当中的中心位置的编码单元620b。编码单元620a、620b和620c。比特流生成器210可以生成包括在当前编码单元600的分割过程中使用的块形状信息和分割形状信息中的至少一种的比特流。编码器220可以考虑与在当前编码单元600的分割过程中使用的块形状信息和分割形状信息中的至少一种的比特流有关的样本的位置来确定中心位置的编码单元620b。也就是说，可以生成与位于当前编码单元600的中心位置中的样本640有关的比特流包括当前编码单元600的块形状信息和分割形状信息中的至少一种的比特流。在这种情况下，编码器220可以将包括样本640的编码单元620b确定为多个编码单元620a、620b和620c当中的位于中心位置中的编码单元。然而，用于确定通过分割当前编码单元而确定的多个编码单元当中的中心位置的编码单元的信息可以未被解释为限于在当前编码单元的分割过程中使用的块形状信息和分割形状信息中的至少一种，并且可以使用各种类型的信息。在这点上，由图像编码装置200执行的确定预先确定位置的编码单元的过程可以与由图像解码装置100执行的在从当前编码单元确定的多个编码单元当中确定预先确定位置的编码单元的过程相反，并且因此将省略其详细描述。
根据实施例，图像编码装置200可以通过分割当前编码单元来确定一个或更多个编码单元，并且基于预先确定块(例如，当前编码单元)确定对一个或更多个编码单元进行解码的顺序。
图7示出了根据实施例的当图像编码装置200通过分割当前编码单元来确定多个编码单元时处理多个编码单元的顺序。与图7有关的由图像编码装置200执行的处理多个编码单元的过程可以类似于上面参考图7所描述的图像解码装置100的操作，并且因此将省略其详细描述。
图8示出了根据实施例的由图像编码装置200执行的当编码单元未被以预先确定顺序处理时确定当前编码单元被分割成奇数个编码单元的过程。
根据实施例，图像编码装置200的编码器220可以确定当前编码单元被分割成奇数个编码单元并且比特流生成器210可以生成包括指示当前编码单元的形状的块形状信息和指示当前编码单元的分割形状(分割成奇数个编码单元)的分割形状信息的比特流。参考图8，正方形第一编码单元800可以被分割成非正方形第二编码单元810a和810b，并且第二编码单元810a和810b可以被独立地分割成第三编码单元820a、820b、820c、820d和820e。根据实施例，编码器220可以通过在水平方向上分割第二编码单元当中的左部第二编码单元810a来确定多个第三编码单元820a和820b，并且将右部第二编码单元810b分割成奇数个第三编码单元820c、820d和820e。与图8有关的由图像编码装置200执行的确定当前编码器被分割成奇数个编码单元的过程可以与参考图8所描述的图像编码装置100的操作相反，并且因此将省略其详细描述。
图9示出了根据实施例的由图像编码装置200执行的通过分割第一编码单元900来确定一个或更多个编码单元的操作。根据实施例，编码器220可以分割第一编码单元900并且比特流生成器210可以生成包括指示第一编码单元900的形状的块形状信息和指示第一编码单元900被分割成的形状的分割形状信息中的至少一种的比特流。正方形第一编码单元900可以被分割成四个正方形编码单元或者分割成多个非正方形编码单元。例如，参考图9，编码器220可以将第一编码单元900分割成多个非正方形编码单元。在这种情况下，比特流生成器210可以生成包括指示第一编码单元900为正方形形状的块形状信息和指示第一编码单元900被分割为非正方形编码单元的分割形状信息的比特流。具体地，编码器220可以将正方形第一编码单元900分割成奇数个编码单元，例如，通过在垂直方向上分割正方形第一编码单元900而确定的第二编码单元910a、910b和910c或者通过在水平方向上分割正方形第一编码单元900而确定的第二编码单元920a、920b和920c。在这种情况下，比特流生成器210可以生成包括指示奇数个编码单元是通过在水平方向上或在垂直方向上分割第一编码单元900来确定的分割形状信息的比特流。与图9有关的由图像编码装置200执行的通过分割第一编码单元900来确定一个或更多个编码单元的过程可以与上面参考图9所描述的图像解码装置100的操作的过程相反，并且因此将省略其详细描述。
图10示出了根据实施例的图像编码装置200限制当通过分割第一编码单元1000而确定的非正方形第二编码单元满足预先确定条件时可以将非正方形第二编码单元分割成的形状。
根据实施例，编码器220可以确定要将正方形第一编码单元1000分割成非正方形第二编码单元1010a和1010b或1020a和1020b。可以独立地分割第二编码单元1010a和1010b或1020a和1020b。因此，编码器220可以确定是否要将第二编码单元1010a和1010b或1020a和1020b中的每一个分割成多个编码单元。与图10有关的由图像编码装置200执行的限制当非正方形第二编码单元满足预先确定条件时可以将非正方形第二编码单元分割成的形状的操作可以与上面参考图10所描述的图像解码装置100的操作相反，并且因此将省略其详细描述。
图11示出了根据实施例的由图像编码装置200在分割形状信息指示不将正方形编码单元分割成四个正方形编码单元时分割正方形编码单元的操作。图像编码装置200在这点上的操作可以与上面参考图11所描述的图像解码装置100的操作相反，并且因此将省略其详细描述。
图12示出了根据实施例的取决于编码单元的分割过程而变化的多个编码单元的处理顺序。
根据实施例，编码器220可以在水平方向和垂直方向中的至少一个上分割正方形形状的第一编码单元1200。根据实施例，比特流生成器210可以生成包括表示第一编码单元1200具有正方形形状的块类型信息以及表示第一编码单元1200在水平方向和垂直方向中的至少一个上被分割的分割类型信息的比特流。
根据实施例，编码器220可以分割第一编码单元1200以确定第二编码单元(例如，1210a、1210b、1220a、1220b、1230a、1230b、1230c、1230d等)。参考图12，可以独立地分割通过仅在水平方向或垂直方向上分割第一编码单元1200而确定的非正方形形状的第二编码单元1210a、1210b、1220a和1220b。例如，编码器220可以在水平方向上分别分割通过在垂直方向上分割第一编码单元1200而生成的第二编码单元1210a和1210b以确定第三编码单元1216a、1216b、1216c和1216d，并且可以在水平方向上分别分割通过在水平方向上分割第一编码单元1200而生成的第二编码单元1220a和1220b以确定第三编码单元1226a、1226b、1226c和1226d。有关图10的图像编码装置200的操作可以与上面参考图10所描述的图像解码装置100的操作相反，并且因此，其详细描述被省略。
图13例示了当编码单元被递归地分割以确定多个编码单元时，根据编码单元的形状和大小的变化来确定编码单元的深度的过程。用于图像编码装置200的编码器220确定深度的过程可以与上面参考图13所描述的用于图像解码装置100的解码器130确定编码单元的深度的过程相反，并且因此，其详细描述被省略。
根据实施例，图像编码装置200可以基于用于对多个编码单元进行分类的索引的值确定从当前编码单元分割的多个编码单元是否被按照某个分割类型分割。参考图14，图像编码装置200可以分割高度比宽度大的矩形形状的第一编码单元1410，以确定偶数编码单元1412a和1412b或奇数编码单元1414a、1414b和1414c。图像编码装置200可以使用指示每个编码单元的索引(PID)来使多个编码单元中的每一个与其他编码单元区分开。根据实施例，可以从每个编码单元中的预先确定位置处的样本(例如，左上部样本)获得PID。有关图14的图像编码装置200的操作可以与上面参考图14所描述的图像解码装置100的操作相反，并且因此，其详细描述被省略。
图15示出了根据实施例的根据图片中包括的多个预先确定数据单元来确定多个编码单元。根据实施例，编码器220可以使用参考编码单元作为编码单元的递归分割开始于的预先确定数据单元。关于图15，使用参考编码单元的图像编码装置200的操作可以与上面参考图15所描述的使用参考编码单元的图像解码装置100的操作相反，并且因此，其详细描述被省略。
根据实施例，图像编码装置200的比特流生成器210可以关于各种数据单元中的每一个生成包括关于参考编码单元的形状的信息和关于参考编码单元的大小的信息中的至少一种的比特流。在上面经由参考图3的分割当前编码单元300的过程的描述描述了确定包括在正方形形状的参考编码单元1500中的至少一个编码单元的过程，并且在上面经由参考图4的分割当前编码单元400或450的过程的描述描述了确定包括在非正方形形状的参考编码单元1500中的至少一个编码单元的过程。因此，其详细描述被省略。
根据实施例，编码器220可以使用用于识别参考编码单元的大小和形状的索引来根据基于预先确定条件提前确定的数据单元中的一些确定参考编码单元的大小和形状。也就是说，比特流生成器210可以针对来自各种数据单元(例如，序列、图片、条带、条带分段、最大编码单元等)当中的满足预先确定条件的数据单元中的每一个(例如，具有小于或等于条带的大小的数据单元)来生成包括用于识别参考编码单元的大小和形状的索引的比特流。编码器220可以通过使用索引针对满足预先确定条件的每个数据单元来确定参考数据单元的大小和形状。根据实施例，可以提前确定与指示参考编码单元的大小和形状的索引有关的参考编码单元的大小和形状中的至少一个。也就是说，编码器220可以选择参考编码单元的大小和形状中的预先确定的至少一个，然后，可以确定包括在作为获得索引的参考的数据单元中的参考编码单元的大小和形状中的至少一个。使用用于识别参考编码单元的大小和形状的索引的编码器220的操作可以类似于上述的解码器130的操作，并且因此，其详细描述被省略。
图16是根据实施例的作为确定包括在图片1600中的参考编码单元的确定顺序的参考的处理块的图。
根据实施例，编码器220可以通过获得关于处理块的大小的信息来确定图像中包括的至少一个处理块的大小。编码器220可以确定图像中包括的至少一个处理块的大小，并且比特流生成器210可以生成包括关于处理块的大小的信息的比特流。处理块的大小可以是通过关于处理块的大小的信息所指示的数据单元的预先确定大小。
根据实施例，图像编码装置200的比特流生成器210可以关于某些数据单元中的每一个生成包括关于处理块的大小的信息的比特流。例如，可以关于诸如图像、序列、图片、条带、条带分段等的数据单元中的每一个生成包括关于处理块的大小的信息的比特流。也就是说，比特流生成器210可以针对各种数据单元中的每一个来生成包括关于处理块的大小的信息的比特流，编码器220可以通过使用关于处理块的大小的信息来确定从图片分割的处理块的大小，并且处理块的大小可以比参考编码单元大整数倍。
根据实施例，编码器220可以确定包括在图片1600中的处理块1602和1612的大小。例如，编码器220可以基于关于处理块的大小的信息确定处理块的大小。参考图16，编码器220可以将处理块1602和1612的宽度确定为是参考编码单元的宽度的4倍，并且将处理块1602和1612的高度确定为是参考编码单元的高度的4倍。编码器220可以确定在至少一个处理块中确定至少一个参考编码单元的顺序。与处理块有关的编码器220的操作可以类似于上面参考图16所描述的解码器130的操作，并且因此，其描述被省略。
根据实施例，图像编码装置200的比特流生成器210可以生成包括指示当前编码单元的形状的块类型信息或表示分割当前编码单元的方法的分割类型信息的比特流。块类型信息或分割类型信息可以被包括在与各种数据单元有关的比特流中。例如，图像编码装置200的比特流生成器210可以使用包括在序列参数集、图片参数集、视频参数集、条带头部或条带分段头部中的块类型信息或分割类型信息。此外，图像编码装置200的比特流生成器210可以针对最大编码单元、参考编码单元和处理块中的每一个来生成包括表示块类型信息或分割类型信息的语法的比特流。
根据实施例，编码器220可以将编码单元的分割类型的种类确定为根据预先确定数据单元不同。根据实施例，图像编码装置200的编码器220可以将编码单元的分割类型的组合确定为根据预先确定数据单元(例如，序列、图片、条带等)不同。
图17是示出了在图片具有编码单元的分割类型的彼此不同的组合的情况下可以为每张图片确定的编码单元的图。
参考图17，编码器220可以将编码单元的分割类型的组合确定为根据每张图片不同。例如，编码器220可以通过从图像中包括的一张或更多张图片当中使用可以被分割为四个编码单元的图片1700、可以被分割为两个或四个编码单元的图片1710和可以被分割为两个、三个或四个编码单元的图片1720来对图像进行编码。编码器220可以将图片1700分割为四个正方形编码单元。编码器220可以将图片1710分割为两个或四个编码单元。编码器220可以将图片1720分割为两个、三个或四个编码单元。分割类型的上述组合是用于描述图像编码装置200的操作的示例，并且因此，分割类型的组合不限于以上实施例，并且应解释的是，可以关于预先确定数据单元使用分割类型的各种组合。
根据实施例，图像编码装置200的编码器220可以通过使用指示分割类型信息的组合的索引来针对每个预先确定数据单元确定可以用来分割编码单元的分割类型的组合，并且因此，每个预先确定数据单元可以使用分割类型的与其他组合不同的组合。此外，图像编码装置200的比特流生成器210可以针对每个预先确定数据单元(例如，序列、图片、条带等)生成包括指示分割类型信息的组合的索引的比特流。例如，比特流生成器210可以生成包括指示分割类型信息的组合的索引的序列参数集合、图片参数集合或条带头部。
图18和图19示出了根据实施例的可以基于用二进制码表达的分割类型信息确定的编码单元的各种类型。
根据实施例，图像编码装置200的编码器220可以按照各种类型分割编码单元，并且可以经由比特流生成器210生成包括块类型信息和分割类型信息的比特流。编码单元的分割类型可以包括包括以上实施例中的上述类型的各种类型。参考图18，编码器220可以基于分割类型信息在水平方向和垂直方向中的一个上分割正方形类型的编码单元，并且可以在水平或垂直方向上分割非正方形形状的编码单元。可以由图像编码装置200使用的分割类型信息的二进制码的特性可以对应于上面参考图18和图19所描述的图像解码装置100的特性，并且因此，其详细描述被省略。
根据实施例，图像编码装置200可以通过对编码单元执行帧间预测或帧内预测来生成预测数据，可以通过对包括在当前编码单元中的转换单元执行逆转换来生成残差数据，并且可以通过使用预测数据和残差数据来对当前编码单元进行编码。
根据实施例，编码单元的预测模式可以是帧内模式、帧间模式和跳跃模式中的至少一种。根据实施例，可以对每个编码单元独立地执行预测，使得可以选择具有最小误差的预测模式。
例如，当2N×2N的编码单元被分割并且变成两个2N×N或两个N×2N编码单元时，可以对编码单元单独地执行帧间模式下的预测和帧内模式下的预测。另外，根据实施例，图像编码装置200的编码器220可以通过在编码单元具有非正方形形状以及正方形形状的情况下使用CU跳跃模式来对编码单元进行编码。因为即使在非正方形形状的编码单元以及正方形形状的编码单元确定了块类型信息和分割类型信息中的至少一种的情况下也可以在CU跳跃模式下对图像进行解码，所以可以使用相对更自适应的跳跃模式并且可以改进图像的编码/解码效率。在非正方形形状的编码单元中使用跳跃模式的图像编码装置200的特性可以类似于上述的使用跳跃模式的图像编码装置200的特性，并且因此，其详细描述被省略。
图22是例示了根据实施例的在根据预先确定编码方法确定的编码单元之间执行合并或分割的过程的图。
根据实施例，图像编码装置200可以通过使用上述预先确定编码方法来确定用于分割图片的编码单元。例如，图像编码装置200可以确定当前深度的编码单元或者可以基于编码单元的分割信息将编码单元分割成较低深度的四个编码单元。如上所述，图像编码装置200可以通过使用表示当前编码单元总是具有正方形形状的块类型信息和表示当前编码单元可以不被分割或者可以被分割为四个方形编码单元的分割类型信息来确定编码单元。参考图22，可以根据通过上述编码方法确定的正方形编码单元来分割图片2200和2220。
然而，根据上述预先确定解码单元，当前编码单元是否可以被分割是根据它是否适合于表达包括在当前编码单元中的相对较小的对象来确定的，并且因此，它也许不可能经由一个编码单元对图片中的较大对象和较小对象进行编码。这里，对象可以是图片中包括的一组样本，并且可以表示具有彼此类似的样本值的样本的区域，所述区域可以与其他区域区分开。参考图22，图像编码装置200可以将第一编码单元2222分割成较低深度的四个编码单元以重建较小对象2221，并且可以确定用于对较小对象2221进行解码的编码单元。然而，因为在当前编码单元2222中不包括较大对象2223，所以较大对象2223不适合于通过使用当前编码单元2222来解码。进一步，因为当前编码单元2222被分割来对较小对象2221进行解码，所以必需执行是对较大对象2223进行解码所不必要的编码单元的分割过程，并且该过程是不高效的。也就是说，当图像编码装置200可以使用一个编码单元来对较大对象2223的一部分进行编码时，可以有效地执行图像编码。
根据实施例，图像编码装置200的编码器220可以通过使用块类型信息和分割类型信息中的至少一种来分割当前编码单元，以及块类型信息可以被提前确定为仅使用正方形类型并且分割类型信息可以被提前确定为不分割或者表示编码单元可以被分割成四个正方形编码单元。这可以对应于确定在上面参考一个或更多个实施例所描述的预先确定编码方法中使用的编码单元的过程。在这种情况下，编码器220可以使用图片中包括的样本值来将编码单元彼此合并或者分割通过使用预先确定编码方法确定的编码单元。例如，编码器220可以通过检查具有彼此类似的样本值的部分来检测图片中包括的各种对象，并且可以基于包括所检测到的对象的部分执行编码单元的合并/分割过程。
参考图22，编码器220可以通过使用上述编码方法来确定用于分割图片2200的多个编码单元。然而，即使在图片中存在具有类似的样本值的部分2201，也可以执行将类似的区域分割为多个编码单元而不是一个编码单元的过程。在这种情况下，即使当通过预先确定编码方法来确定编码单元时，编码器220也可以将编码单元合并成用于作为一个编码单元执行编码的一个编码单元2202。参考图22，作为另一实施例，编码器220可以通过使用上述预先确定编码方法将用于对较小对象2221进行编码的编码单元2222分割成四个编码单元。因为如上分割的编码单元可以不包括所检测到的较大对象2223，所以编码器220可以将这些编码单元合并为包括具有彼此类似的样本值的部分的一个编码单元(2225)。
根据实施例，编码器220可以通过使用预先确定编码方法来确定编码单元，所述预先确定编码方法可以不分割编码单元或者可以通过使用编码单元的分割信息来将编码单元分割成四个编码单元，然后，可以考虑到图片中包括的样本的样本值来重新分割编码单元。也就是说，编码单元可以分割已经被确定的编码单元，以及合并编码单元，以便针对每个对象确定编码单元。参考图22，编码器可以针对对象2223合并编码单元，或者可以重新分割针对对象2223合并的编码单元(2226)以确定针对对象2223优化的编码单元。也就是说，编码器220可以通过分割过程(2226)来将不包括对象2223的部分确定为与对象2223分开的编码单元。
根据实施例的递归地分割编码单元以根据块类型信息和块分割信息来确定多个编码单元的过程像参考图13的以上描述一样。在根据实施例的滤波单元的环路滤波执行信息中，当标志值是1时，它表示对所对应的滤波单元执行环路滤波，而当标志值是0时，它表示不执行环路滤波。参考上表1，用于确定作为环路滤波单元2040和2070的滤波目标的滤波单元的数据单元的信息可以全部被编码为滤波信息并传送。
根据实施例配置的编码单元是为了使与原始图像的误差最小化，并且因此，预期在其之间具有高空间关系。因此，因为滤波单元是基于根据实施例的编码单元来确定的，所以可以省略与编码单元的确定分开地确定滤波单元的操作。因此，因为滤波单元是基于根据实施例的编码单元来确定的，所以可以省略用于确定滤波单元的分割类型的信息，并且因此，可以减小滤波信息的传输比特率。
在以上实施例中，描述了滤波单元是基于根据实施例的编码单元来确定的，基于编码单元执行滤波单元的分割，然后，不再在任意深度处分割滤波单元并且可以确定在对应深度处的滤波单元的类型。
上面参考以上实施例所描述的滤波单元的确定可以被应用于各种实施例，诸如去块滤波、自适应环路滤波等以及环路滤波。
根据实施例的图像解码装置100可以通过使用块类型信息和分割类型信息中的至少一种来分割当前编码单元，以及块类型信息可以被提前确定为仅使用正方形类型并且分割类型信息可以被提前确定为不分割或者表示编码单元可以被分割成四个正方形编码单元。也就是说，根据块类型信息，当前编码单元具有正方形形状，并且可以不被分割或者可以根据分割类型信息被分割成四个正方形编码单元。图像解码装置100可以通过比特流获得器来获得比特流，所述比特流是通过被提前确定要仅使用以上块类型和分割类型的预先确定编码方法来生成的，并且解码器130可以仅使用提前确定的块类型和分割类型。在这种情况下，图像解码装置100可以通过使用与上述编码方法类似的预先确定解码方法来解决与预先确定编码方法的兼容性问题。根据实施例，当图像解码装置100使用仅使用来自通过块类型信息和分割类型信息表示的各种类型当中的预先确定块类型和分割类型的上述预先确定解码方法时，块类型信息仅表示正方形形状，并且因此，图像解码装置100可以省略从比特流获得块类型信息的过程。可以使用表示是否使用上述预先确定解码方法的语法，并且可以针对包括多个编码单元的各种形状的数据单元中的每一个(例如，序列、图片、条带单元、最大编码单元等)从比特流获得语法。也就是说，比特流获得器120可以基于表示是否使用预先确定解码方法的语法来确定是否从比特流获得表示块类型信息的语法。
图23是示出了根据实施例的根据编码单元的Z扫描顺序的索引的图。
根据实施例的图像解码装置100可以以Z扫描顺序扫描包括在上部数据单元中的下部数据单元。另外，根据实施例的图像解码装置100可以根据包括在最大编码单元或处理块中的编码单元中的Z扫描索引来顺序地访问数据。
根据实施例的图像解码装置100可以像上面参考图3和图4所描述的那样将参考编码单元分割成至少一个编码单元。这里，在参考编码单元中，正方形形状的编码单元和非正方形的编码单元可以混合地存在。根据实施例的图像解码装置100可以根据包括在参考编码单元中的每个编码单元中的Z扫描索引来访问数据。这里，应用Z扫描索引的方式可以根据在参考编码单元中是否存在非正方形形状编码单元而变化。
根据实施例，当在参考编码单元中不存在非正方形形状的编码单元时，参考编码单元中的较低深度的编码单元可具有连续的Z扫描索引。例如，根据实施例，较高深度的编码单元可以包括较低深度的四个编码单元。这里，较低深度的四个编码单元可以在它们之间具有连续的边界，并且可以根据代表Z扫描顺序的索引来以Z扫描顺序扫描较低深度的编码单元。根据实施例的表示Z扫描顺序的索引可以根据关于编码单元的Z扫描顺序被设置为递增数。在这种情况下，可以根据Z扫描顺序来扫描相同深度的更深编码单元。
根据实施例，当在参考编码单元中存在非正方形形状的至少一个编码单元时，图像解码装置100将参考编码单元中的每个编码单元分割成子块并且以Z扫描顺序对已分割的子块执行扫描操作。例如，当在参考编码单元中在垂直或水平方向上存在非正方形形状的编码单元时，可以通过使用分割的子块来执行Z扫描。另外，例如，参考编码单元被分割成奇数编码单元，可以通过使用子块来执行Z扫描。子块是通过分割不再被分割的编码单元或任意编码单元来获得的，并且可以具有正方形形状。例如，可以将正方形形状的编码单元分割成四个方块子块。另外，例如，可以将非正方形形状的编码单元分割成两个正方形子块。
参考图23，例如，根据实施例的图像解码装置100可以在编码单元2300中以Z扫描顺序扫描较低深度的编码单元2302、2304、2306、2308和2310。编码单元2300以及编码单元2302、2304、2306、2308和2310关于彼此分别是上部编码单元和下部编码单元。编码单元2300包括在水平方向上的非正方形形状的编码单元2306和2310。非正方形形状的编码单元2306和2310与正方形形状的相邻编码单元2302和2304具有不连续的边界。另外，编码单元2308具有正方形形状，并且被***在从非正方形形状的编码单元分割的奇数编码单元之间。像非正方形形状的编码单元2306和2310一样，编码单元2308与正方形形状的相邻编码单元2302和2304具有不连续的边界。当在编码单元2300中包括非正方形编码单元2306和2310或者在编码单元2300中包括***在从非正方形编码单元分割的奇数编码单元之间的编码单元2308时，编码单元之间的相邻边界是不连续的，并且因此，可以不设置连续的Z扫描索引。因此，图像解码装置100可以将编码单元分割为子块并且连续地设置Z扫描索引。另外，图像解码装置100可以对非正方形形状的编码单元2306和2310或***在非正方形形状的奇数编码单元之间的编码单元2308执行连续的Z扫描操作。
图23中所示的编码单元2320是通过将编码单元2300中的编码单元2302、2304、2306、2308和2310分割成子块来获得的。可以关于每个子块设置Z扫描索引，并且子块之间的相邻边界是连续的。因此，可以以Z扫描顺序扫描子块。例如，根据实施例的编译装置可以将编码单元2308分割为子块2322、2324、2326和2328。这里，可以在处理子块2330上的数据之后扫描子块2322和2324，并且可以在处理子块2332上的数据之后扫描子块2326和2328。另外，可以以Z扫描顺序扫描子块。
在以上实施例中，可以根据用于存储数据、加载数据、访问数据等的Z扫描顺序来扫描数据单元。
另外，在以上实施例中，描述了可以根据Z扫描顺序来扫描数据单元，但是可以以各种扫描顺序扫描数据单元，所述各种扫描顺序例如为光栅扫描、N扫描、右上对角扫描、水平扫描、垂直扫描等，并且可以不限于Z扫描顺序。
另外，在以上实施例中，描述了参考编码单元中的编码单元被扫描，但是不限于此，而是它不限于以上示例，即，要扫描的目标可以是处理块中的最大编码单元或任意块。
另外，在以上实施例中，只有当存在至少一个非正方形块时，编码单元才被分割成要根据Z扫描顺序扫描的子块。然而，即使当不存在用于简化实施方式的非正方形块时，也可以将编码单元分割成要根据Z扫描顺序扫描的子块。
根据实施例的图像解码装置100可以通过对编码单元执行帧间预测或帧内预测来生成预测数据，可以通过对包括在当前编码单元中的转换单元执行逆转换来生成残差数据，并且可以通过使用预测数据和残差数据来重建当前编码单元。
根据实施例的编码单元的预测模式可以是帧内模式、帧间模式和跳跃模式中的至少一种。根据实施例，可以关于每个编码单元独立地选择预测模式。
例如，当2N×2N的编码单元被分割并且变成两个2N×N或两个N×2N编码单元时，可以对编码单元单独地执行帧间模式下的预测和帧内模式下的预测。另外，根据实施例，可以将跳跃模式应用于2N×N或N×2N的编码单元。
同时，根据实施例，在图像解码装置100中，可以在跳跃模式下在8×4或4×8的编码单元上允许双预测。在跳跃模式下，仅传送关于编码单元的跳跃模式信息，并且因此，可以省略在对应编码单元上使用残余数据。因此，可以减小逆量化和逆转换的开销。替代地，根据实施例的图像解码装置100在被应用跳跃模式的编码单元上允许双预测，以改进解码效率。另外，根据实施例的图像解码装置100在8×4或4×8的编码单元上允许双预测，但是在运动补偿过程中设置相对较小数量的内插抽头以高效地使用存储器带宽。作为示例，不是使用8抽头的内插滤波器，而是可以使用具有少于8的抽头的内插滤波器(例如，2抽头内插滤波器)。
另外，根据实施例的图像解码装置100可以按照预先确定类型(例如，基于倾斜的分割)分割包括在当前编码单元中的区域，并且可以执行关于每个分割区域的帧间预测或帧内预测信息的发信号通知。
根据实施例的图像解码装置100可以通过在帧内模式下使用当前编码单元的***样本来获得当前编码单元的预测样本。这里，在帧内预测中，通过使用已被重建的***样本来执行预测，并且这些样本被称为参考样本。
图24是根据实施例的用于编码单元的帧内预测的参考样本的图。参考图24，关于具有非正方形块形状(在水平方向上长度为w且在垂直方向上长度为h)的当前编码单元2300，在编码单元2300上方的w+h个参考样本、在编码单元2300的左侧处的w+h个参考样本以及在编码单元2300的左上侧处的一个参考样本即总共2(w+h)+1个参考样本是必需的。为了制备参考样本，对不存在参考样本的一部分执行填充的过程被执行，并且可以执行针对每种预测模式的参考样本滤波过程以减小重建参考样本中的量化误差。
在以上实施例中，在当前编码单元的块类型为非正方形形状的情况下的参考样本的数量可以被同样地应用于当前编码单元的块类型为正方形形状的情况。
上述实施例例示了与由图像解码装置100执行的图像解码方法有关的操作。在下文中，将在下面参考各种实施例描述图像编码装置200执行与图像解码方法的逆过程相对应的图像编码方法的操作。
图2示出了根据实施例的能够基于块形状信息和分割形状信息中的至少一种对图像进行编码的图像编码装置200的框图。
参考图2，根据实施例，图像编码装置200可以包括：数据单元确定器210，其从视频图片中确定用于帧内预测的数据单元；比特流获得器230，其使用预先确定预测信息来生成关于根据第一帧内预测类型的第一数据单元的第一预测值并且使用数据单元的相邻数据单元来生成关于根据第二帧内预测类型的第二数据单元的第二预测值，生成包括基于第一预测值和第二预测值中的至少一个而确定的编码信息的比特流，并且对视频图片进行编码；以及编码器220。在这点上，帧内预测类型信息是指示数据单元是否是根据第一帧内预测类型或第二帧内预测类型中的至少一种来预测的信息，其中第一帧内预测类型可以使用除邻近数据单元的样本值以外的信息来预测数据单元，并且第二帧内预测类型可以使用邻近数据单元的样本值来预测数据单元。
根据实施例，图像编码装置200的数据单元确定器210可以确定第一帧内预测类型和第二帧内预测类型中的哪一种类型用于预测数据单元。例如，数据单元可以是编码单元、预测单元和转换单元中的一个。
根据实施例，图像编码装置200的编码器220可以生成关于根据第一帧内预测类型的第一数据单元的第一预测值和关于根据第二帧内预测类型的第二数据单元的第二预测值。另外，编码器220可以使用第一预测值和第二预测值来生成编码信息。例如，根据第一帧内预测类型的预测可以使用除邻近数据单元以外的信息来执行帧内预测。例如，根据第二帧内预测类型的预测可以使用邻近数据单元来执行帧内预测。
根据实施例，图像编码装置200的比特流生成器230可以生成包括基于第一预测值和第二预测值中的至少一个而确定的编码信息的比特流。另外，比特流生成器230可以在比特流中包括指示是否根据比特流中的第一帧内预测类型或第二帧内预测类型来预测第一数据单元的帧内预测类型信息。
图3例示了根据实施例的确定根据第一帧内预测类型预测的第一数据单元和根据第二帧内预测类型预测的第二数据单元的过程。
根据实施例，数据单元确定器210可以确定根据第一帧内预测类型预测的第一数据单元310和根据第二帧内预测类型预测的第二数据单元320。例如，可以确定预测数据单元是使用邻近数据单元还是除关于邻近数据单元的信息以外的信息来预测的。
根据实施例，编码器220可以使用除关于邻近数据单元的信息以外的信息来生成数据单元的预测值。例如，编码器220可以使用预先存储的值来生成数据单元的预测值。例如，预先存储的值可以被确定为RDO结果。
参考图3所描述的图像编码装置200的操作可以与上述的图像解码装置100的操作相反，并且因此将省略其详细描述。
图4例示了根据实施例的基于预先确定预测信息根据第一帧内预测类型来预测第一数据单元的过程。
根据实施例，编码器220可以使用除关于邻近数据单元的信息以外的信息来预测根据第一帧内预测类型预测的第一数据单元420。例如，可以使用与包括第一数据单元420的上层的数据单元相邻的样本值410来预测第一数据单元420。与包括第一数据单元420的上层的数据单元相邻的样本值410可以包括关于CTU边界的邻近像素的信息或关于CU边界的邻近像素的信息。当使用关于CTU边界的邻近像素的信息来执行预测时，预测目标单元可以是CU、PU、TU或CTU。当使用关于CU边界的邻近像素的信息来执行预测时，预测目标单元可以是PU、TU或CU。
图5例示了根据实施例的根据使用相邻数据单元预测的第二帧内预测类型来预测第二数据单元的过程。
根据实施例，编码器220可以使用与数据单元相邻的数据单元来根据第二帧内预测类型执行预测。例如，当对数据单元510执行预测时，可以使用关于与数据单元510的底边相邻的根据第一帧内预测类型编码的数据单元530的信息511。例如，当对数据单元520执行预测时，可以使用关于与数据单元520的右边相邻的根据第一帧内预测类型编码的数据单元530的信息521。
根据实施例，当左边或顶边的距离根据在数据单元510中预测的样本位置接近时，编码器220可以使用左边和顶边的样本值来执行预测。或者，根据实施例，当右边或底边的距离根据在数据单元510中预测的样本位置接近时，编码器220可以使用右边和底边的样本值来执行预测。
参考图6所描述的图像编码装置200的操作可以与上述的图像解码装置100的操作相反，并且因此将省略其详细描述。
图7例示了根据实施例的关于数据单元确定第一帧内预测类型和第二帧内预测类型的过程。
根据实施例，比特流生成器230可以在比特流中包括关于CU、PU或TU中的每一个指示是否根据第一帧内预测类型生成预测值或者是否根据第二帧内预测类型生成预测值的帧内预测类型信息。
根据实施例，比特流生成器230可以在比特流中包括指示要在Intra_DC模式下根据第一帧内预测类型执行预测并且在除Intra_DC模式以外的模式下根据第二帧内预测类型执行预测的帧内预测类型信息。
根据实施例，比特流生成器230可以在比特流中包括指示第一数据单元和第二数据单元中的哪一个用于对数据单元进行分类的帧内预测类型信息。
图9示出了根据实施例的使用帧内预测类型信息的视频编码方法的流程图。
在操作S910中，图像编码装置200的数据单元确定器210可以确定根据第一帧内预测类型预测的第一数据单元或根据第二帧内预测类型预测的第二数据单元。例如，第一帧内预测类型可以使用除数据单元的相邻单元的样本值以外的信息来对数据单元执行预测。例如，第二帧内预测类型可以使用数据单元的相邻单元的样本值来对数据单元执行预测。
在操作S920中，图像编码装置200的编码器220可以生成关于根据第一帧内预测类型的第一数据单元的第一预测值。
在操作S930中，图像编码装置200的编码器220可以生成关于根据第二帧内预测类型的第二数据单元的第二预测值。
在操作S940中，图像编码装置200的比特流生成器230可以生成包括基于第一预测值和第二预测值中的至少一个而确定的编码信息的比特流。编码器220可以对在其中生成比特流的视频图片进行编码。
图10示出了根据实施例的图像编码装置200限制当通过分割第一编码单元1000而确定的非正方形第二编码单元满足预先确定条件时可以将非正方形第二编码单元分割成的形状。
根据实施例，编码器220可以确定要将正方形第一编码单元1000分割成非正方形第二编码单元1010a和1010b或1020a和1020b。可以独立地分割第二编码单元1010a和1010b或1020a和1020b。因此，编码器220可以确定是否要将第二编码单元1010a和1010b或1020a和1020b中的每一个分割成多个编码单元。与图10有关的由图像编码装置200执行的限制当非正方形第二编码单元满足预先确定条件时可以将非正方形第二编码单元分割成的形状的操作可以与上面参考图10所描述的图像解码装置100的操作相反，并且因此将省略其详细描述。
图11示出了根据实施例的由图像编码装置200在分割形状信息指示不将正方形编码单元分割成四个正方形编码单元时分割正方形编码单元的操作。图像编码装置200在这点上的操作可以与上面参考图11所描述的图像解码装置100的操作相反，并且因此将省略其详细描述。
图12示出了根据实施例的取决于编码单元的分割过程而变化的多个编码单元的处理顺序。
根据实施例，编码器220可以在水平方向和垂直方向中的至少一个上分割正方形形状的第一编码单元1200。根据实施例，比特流生成器210可以生成包括表示第一编码单元1200具有正方形形状的块类型信息以及表示第一编码单元1200在水平方向和垂直方向中的至少一个上被分割的分割类型信息的比特流。
根据实施例，编码器220可以分割第一编码单元1200以确定第二编码单元(例如，1210a、1210b、1220a、1220b、1230a、1230b、1230c、1230d等)。参考图12，可以独立地分割通过仅在水平方向或垂直方向上分割第一编码单元1200而确定的非正方形形状的第二编码单元1210a、1210b、1220a和1220b。例如，编码器220可以在水平方向上分别分割通过在垂直方向上分割第一编码单元1200而生成的第二编码单元1210a和1210b以确定第三编码单元1216a、1216b、1216c和1216d，并且可以在水平方向上分别分割通过在水平方向上分割第一编码单元1200而生成的第二编码单元1220a和1220b以确定第三编码单元1226a、1226b、1226c和1226d。有关图10的图像编码装置200的操作可以与上面参考图10所描述的图像解码装置100的操作相反，并且因此，其详细描述被省略。
图13例示了当编码单元被递归地分割以确定多个编码单元时，根据编码单元的形状和大小的变化来确定编码单元的深度的过程。用于图像编码装置200的编码器220确定深度的过程可以与上面参考图13所描述的用于图像解码装置100的解码器130确定编码单元的深度的过程相反，并且因此，其详细描述被省略。
根据实施例，图像编码装置200可以基于用于对多个编码单元进行分类的索引的值确定从当前编码单元分割的多个编码单元是否被按照某个分割类型分割。参考图14，图像编码装置200可以分割高度比宽度大的矩形形状的第一编码单元1410，以确定偶数编码单元1412a和1412b或奇数编码单元1414a、1414b和1414c。图像编码装置200可以使用指示每个编码单元的索引(PID)来将多个编码单元中的每一个与其他编码单元区分开。根据实施例，可以从每个编码单元中的预先确定位置处的样本(例如，左上部样本)获得PID。有关图14的图像编码装置200的操作可以与上面参考图14所描述的图像解码装置100的操作相反，并且因此，其详细描述被省略。
图15示出了根据实施例的根据图片中包括的多个预先确定数据单元来确定多个编码单元。根据实施例，编码器220可以使用参考编码单元作为编码单元的递归分割开始于的预先确定数据单元。关于图15，使用参考编码单元的图像编码装置200的操作可以与上面参考图15所描述的使用参考编码单元的图像解码装置100的操作相反，并且因此，其详细描述被省略。
根据实施例，图像编码装置200的比特流生成器210可以关于各种数据单元中的每一个生成包括关于参考编码单元的形状的信息和关于参考编码单元的大小的信息中的至少一种的比特流。在上面经由参考图3的分割当前编码单元300的过程的描述描述了确定包括在正方形形状的参考编码单元1500中的至少一个编码单元的过程，并且在上面经由参考图4的分割当前编码单元400或450的过程的描述描述了确定包括在非正方形形状的参考编码单元1500中的至少一个编码单元的过程。因此，其详细描述被省略。
根据实施例，编码器220可以使用用于识别参考编码单元的大小和形状的索引来根据基于预先确定条件提前确定的数据单元中的一些确定参考编码单元的大小和形状。也就是说，比特流生成器210可以针对来自各种数据单元(例如，序列、图片、条带、条带分段、最大编码单元等)当中的满足预先确定条件的数据单元中的每一个(例如，具有小于或等于条带的大小的数据单元)来生成包括用于识别参考编码单元的大小和形状的索引的比特流。编码器220可以通过使用索引针对满足预先确定条件的每个数据单元来确定参考数据单元的大小和形状。根据实施例，可以提前确定与指示参考编码单元的大小和形状的索引有关的参考编码单元的大小和形状中的至少一个。也就是说，编码器220可以选择参考编码单元的大小和形状中的预先确定的至少一个，然后，可以确定包括在作为获得索引的参考的数据单元中的参考编码单元的大小和形状中的至少一个。使用用于识别参考编码单元的大小和形状的索引的编码器220的操作可以类似于上述的解码器130的操作，并且因此，其详细描述被省略。
图16是根据实施例的作为确定包括在图片1600中的参考编码单元的确定顺序的参考的处理块的图。
根据实施例，编码器220可以通过获得关于处理块的大小的信息来确定图像中包括的至少一个处理块的大小。编码器220可以确定图像中包括的至少一个处理块的大小，并且比特流生成器210可以生成包括关于处理块的大小的信息的比特流。处理块的大小可以是通过关于处理块的大小的信息所指示的数据单元的预先确定大小。
根据实施例，图像编码装置200的比特流生成器210可以关于某些数据单元中的每一个生成包括关于处理块的大小的信息的比特流。例如，可以关于诸如图像、序列、图片、条带、条带分段等的数据单元中的每一个生成包括关于处理块的大小的信息的比特流。也就是说，比特流生成器210可以针对各种数据单元中的每一个来生成包括关于处理块的大小的信息的比特流，编码器220可以通过使用关于处理块的大小的信息来确定从图片分割的处理块的大小，并且处理块的大小可以比参考编码单元大整数倍。
根据实施例，编码器220可以确定包括在图片1600中的处理块1602和1612的大小。例如，编码器220可以基于关于处理块的大小的信息确定处理块的大小。参考图16，编码器220可以将处理块1602和1612的宽度确定为是参考编码单元的宽度的4倍，并且将处理块1602和1612的高度确定为是参考编码单元的高度的4倍。编码器220可以确定在至少一个处理块中确定至少一个参考编码单元的顺序。与处理块有关的编码器220的操作可以类似于上面参考图16所描述的解码器130的操作，并且因此，其描述被省略。
根据实施例，图像编码装置200的比特流生成器210可以生成包括指示当前编码单元的形状的块类型信息或表示分割当前编码单元的方法的分割类型信息的比特流。块类型信息或分割类型信息可以被包括在与各种数据单元有关的比特流中。例如，图像编码装置200的比特流生成器210可以使用包括在序列参数集、图片参数集、视频参数集、条带头部或条带分段头部中的块类型信息或分割类型信息。此外，图像编码装置200的比特流生成器210可以针对最大编码单元、参考编码单元和处理块中的每一个来生成包括表示块类型信息或分割类型信息的语法的比特流。
根据实施例，编码器220可以将编码单元的分割类型的种类确定为根据预先确定数据单元不同。根据实施例，图像编码装置200的编码器220可以将编码单元的分割类型的组合确定为根据预先确定数据单元(例如，序列、图片、条带等)不同。
图17是在图片具有编码单元的分割类型的彼此不同的组合的情况下可以针对每张图片确定的编码单元的图。
参考图17，编码器220可以将编码单元的分割类型的组合确定为根据每张图片不同。例如，编码器220可以通过从图像中包括的一张或更多张图片当中使用可以被分割为四个编码单元的图片1700、可以被分割为两个或四个编码单元的图片1710和可以被分割为两个、三个或四个编码单元的图片1720来对图像进行编码。编码器220可以将图片1700分割为四个正方形编码单元。编码器220可以将图片1710分割为两个或四个编码单元。编码器220可以将图片1720分割为两个、三个或四个编码单元。分割类型的上述组合是用于描述图像编码装置200的操作的示例，并且因此，分割类型的组合不限于以上实施例，并且应解释的是，可以关于预先确定数据单元使用分割类型的各种组合。
根据实施例，图像编码装置200的编码器220可以通过使用指示分割类型信息的组合的索引来针对每个预先确定数据单元确定可以用来分割编码单元的分割类型的组合，并且因此，每个预先确定数据单元可以使用分割类型的与其他组合不同的组合。此外，图像编码装置200的比特流生成器210可以针对每个预先确定数据单元(例如，序列、图片、条带等)生成包括指示分割类型信息的组合的索引的比特流。例如，比特流生成器210可以生成包括指示分割类型信息的组合的索引的序列参数集合、图片参数集合或条带头部。
图18和图19示出了根据实施例的可以基于用二进制码表达的分割类型信息确定的编码单元的各种类型。
根据实施例，图像编码装置200的编码器220可以按照各种类型分割编码单元，并且可以经由比特流生成器210生成包括块类型信息和分割类型信息的比特流。编码单元的分割类型可以包括包括以上实施例中的上述类型的各种类型。参考图18，编码器220可以基于分割类型信息在水平方向和垂直方向中的一个上分割正方形类型的编码单元，并且可以在水平或垂直方向上分割非正方形形状的编码单元。可以由图像编码装置200使用的分割类型信息的二进制码的特性可以对应于上面参考图18和图19所描述的图像解码装置100的特性，并且因此，其详细描述被省略。
根据实施例，图像编码装置200可以通过对编码单元执行帧间预测或帧内预测来生成预测数据，可以通过对包括在当前编码单元中的转换单元执行逆转换来生成残差数据，并且可以通过使用预测数据和残差数据来对当前编码单元进行编码。
根据实施例，编码单元的预测模式可以是帧内模式、帧间模式和跳跃模式中的至少一种。根据实施例，可以对每个编码单元独立地执行预测，使得可以选择具有最小误差的预测模式。
例如，当2N×2N的编码单元被分割并且变成两个2N×N或两个N×2N编码单元时，可以对编码单元单独地执行帧间模式下的预测和帧内模式下的预测。另外，根据实施例，图像编码装置200的编码器220可以通过在编码单元具有非正方形形状以及正方形形状的情况下使用CU跳跃模式来对编码单元进行编码。因为即使在非正方形形状的编码单元以及正方形形状的编码单元确定了块类型信息和分割类型信息中的至少一种的情况下也可以在CU跳跃模式下对图像进行解码，所以可以使用相对更自适应的跳跃模式并且可以改进图像的编码/解码效率。在非正方形形状的编码单元中使用跳跃模式的图像编码装置200的特性可以类似于上述的使用跳跃模式的图像编码装置200的特性，并且因此，其详细描述被省略。
图22是例示了根据实施例的在根据预先确定编码方法确定的编码单元之间执行合并或分割的过程的图。
根据实施例，图像编码装置200可以通过使用上述预先确定编码方法来确定用于分割图片的编码单元。例如，图像编码装置200可以确定当前深度的编码单元或者可以基于编码单元的分割信息将编码单元分割成较低深度的四个编码单元。如上所述，图像编码装置200可以通过使用表示当前编码单元总是具有正方形形状的块类型信息和表示当前编码单元可以不被分割或者可以被分割为四个方形编码单元的分割类型信息来确定编码单元。参考图22，可以根据通过上述编码方法确定的正方形编码单元来分割图片2200和2220。
然而，根据上述预先确定解码单元，当前编码单元是否可以被分割是根据它是否适合于表达包括在当前编码单元中的相对较小的对象来确定的，并且因此，它也许不可能经由一个编码单元对图片中的较大对象和较小对象进行编码。这里，对象可以是图片中包括的一组样本，并且可以表示具有彼此类似的样本值的样本的区域，所述区域可以与其他区域区分开。参考图22，图像编码装置200可以将第一编码单元2222分割成较低深度的四个编码单元以重建较小对象2221，并且可以确定用于对较小对象2221进行解码的编码单元。然而，因为在当前编码单元2222中不包括较大对象2223，所以较大对象2223不适合于通过使用当前编码单元2222来解码。进一步，因为当前编码单元2222被分割来对较小对象2221进行解码，所以必需执行是对较大对象2223进行解码所不必要的编码单元的分割过程，并且该过程是不高效的。也就是说，当图像编码装置200可以使用一个编码单元来对较大对象2223的一部分进行编码时，可以有效地执行图像编码。
根据实施例，图像编码装置200的编码器220可以通过使用块类型信息和分割类型信息中的至少一种来分割当前编码单元，以及块类型信息可以被提前确定为仅使用正方形类型并且分割类型信息可以被提前确定为不分割或者表示编码单元可以被分割成四个正方形编码单元。这可以对应于确定在上面参考一个或更多个实施例所描述的预先确定编码方法中使用的编码单元的过程。在这种情况下，编码器220可以使用图片中包括的样本值来将编码单元彼此合并或者分割通过使用预先确定编码方法确定的编码单元。例如，编码器220可以通过检查具有彼此类似的样本值的部分来检测图片中包括的各种对象，并且可以基于包括所检测到的对象的部分执行编码单元的合并/分割过程。
参考图22，编码器220可以通过使用上述编码方法来确定用于分割图片2200的多个编码单元。然而，即使在图片中存在具有类似的样本值的部分2201，也可以执行将类似的区域分割为多个编码单元而不是一个编码单元的过程。在这种情况下，即使当通过预先确定编码方法来确定编码单元时，编码器220也可以将编码单元合并成用于作为一个编码单元执行编码的一个编码单元2202。参考图22，作为另一实施例，编码器220可以通过使用上述预先确定编码方法将用于对较小对象2221进行编码的编码单元2222分割成四个编码单元。因为如上分割的编码单元可以不包括所检测到的较大对象2223，所以编码器220可以将这些编码单元合并为包括具有彼此类似的样本值的部分的一个编码单元(2225)。
根据实施例，编码器220可以通过使用预先确定编码方法来确定编码单元，所述预先确定编码方法可以不分割编码单元或者可以通过使用编码单元的分割信息来将编码单元分割成四个编码单元，然后，可以考虑到图片中包括的样本的样本值来重新分割编码单元。也就是说，编码单元可以分割已经被确定的编码单元，以及合并编码单元，以便针对每个对象确定编码单元。参考图22，编码器可以针对对象2223合并编码单元，或者可以重新分割针对对象2223合并的编码单元(2226)以确定针对对象2223优化的编码单元。也就是说，编码器220可以通过分割过程(2226)来将不包括对象2223的部分确定为与对象2223分开的编码单元。
当在通过图像编码装置200的操作来执行根据预先确定编码方法确定的编码单元的合并或分割之后生成图像的比特流时，图像解码装置100可以在获得该比特流之后通过执行为图像编码方法的相反顺序的图像解码方法来对图像进行解码。
图23是示出了根据实施例的根据编码单元的Z扫描顺序的索引的图。
根据实施例，图像编码装置200的编码器220可以以Z扫描顺序扫描包括在上部数据单元中的下部数据单元。另外，根据实施例，图像编码装置200可以根据包括在最大编码单元或处理块中的编码单元中的Z扫描索引来顺序地访问数据。根据实施例，图像编码装置200的编码器220可以像上面参考图3和图4所描述的那样将参考编码单元分割成至少一个编码单元。这里，在参考编码单元中，可以存在正方形形状的编码单元和非正方形形状的编码单元。根据由图像编码装置200以Z扫描顺序扫描编码单元的顺序的索引的特性可以类似于上面参考图23所描述的图像解码装置100的特性，并且其详细描述被省略。
虽然已经参考本公开的实施例特别示出并描述了本公开，但是本领域的普通技术人员应理解的是，在不脱离如由以下权利要求所限定的本公开的范围的情况下，可以在其中作出形式和细节上的各种变化。实施例可以仅在描述性意义上进行考虑，而不是为了限制的目的。因此，本公开的范围不由本公开的详细描述而由以下权利要求限定，并且该范围内的所有差异将被解释为被包括在本公开中。
同时，本公开的前述实施例可以被编写为计算机程序并且实现在使用计算机可读记录介质来执行程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。

Claims (15)

1.一种视频解码方法，所述视频解码方法包括：
从视频图片中确定用于帧内预测的数据单元；
从比特流获得帧内预测类型信息，所述帧内预测类型信息指示了是根据使用预先确定的预测信息进行预测的第一帧内预测类型还是根据使用与所述数据单元相邻的数据单元进行预测的第二帧内预测类型来预测所述数据单元；
基于从所述比特流获得的所述帧内预测类型信息，确定根据所述第一帧内预测类型所预测的第一数据单元和根据所述第二帧内预测类型所预测的第二数据单元；
通过使用所述预先确定的预测信息来生成关于根据所述第一帧内预测类型所预测的所述第一数据单元的第一预测值；以及
通过使用与所述数据单元相邻的数据单元来生成关于根据所述第二帧内预测类型所预测的所述第二数据单元的第二预测值。
2.根据权利要求1所述的视频解码方法，其中，所述预先确定的预测信息被包括在序列参数集(SPS)、图片参数集(PPS)和条带头部中的至少一个中。
3.根据权利要求1所述的视频解码方法，其中，所述预先确定的预测信息包括与包括根据所述第一帧内预测类型所预测的所述第一数据单元的上层的数据单元相邻的样本值。
4.根据权利要求1所述的视频解码方法，其中，生成关于根据所述第二帧内预测类型的所述第二数据单元的所述第二预测值包括：通过使用与根据所述第二帧内预测类型的所述第二数据单元相邻的左部数据单元和顶部数据单元中的至少一个来生成预测值。
5.根据权利要求1所述的视频解码方法，其中，生成关于根据所述第二帧内预测类型的所述第二数据单元的所述第二预测值包括：通过使用与根据所述第二帧内预测类型的所述第二数据单元相邻的右部数据单元和底部数据单元中的至少一个来生成预测值。
6.根据权利要求1所述的视频解码方法，进一步包括：对关于根据所述第二帧内预测类型所预测的所述第二数据单元的所述第二预测值进行滤波。
7.根据权利要求1所述的视频解码方法，其中，所述数据单元包括编码单元、预测单元和转换单元中的一个。
8.一种视频编码方法，所述视频编码方法包括：
根据使用预先确定的预测信息进行预测的第一帧内预测类型来确定第一数据单元并且根据使用与第二数据单元相邻的数据单元进行预测的第二帧内预测类型来确定所述第二数据单元；
通过使用所述预先确定的预测信息来生成关于根据所述第一帧内预测类型所预测的所述第一数据单元的第一预测值；
通过使用与所述第二数据单元相邻的数据单元来生成关于根据所述第二帧内预测类型所预测的所述第二数据单元的第二预测值；以及
生成比特流以对视频图片进行编码，所述比特流包括基于所述第一预测值和所述第二预测值中的至少一个而确定的编码信息，
其中，所述比特流包括所述预先确定的预测信息。
9.根据权利要求8所述的视频编码方法，其中，所述预先确定的预测信息被包括在序列参数集(SPS)、图片参数集(PPS)和条带头部中的至少一个中。
10.根据权利要求8所述的视频编码方法，其中，所述预先确定的预测信息包括与包括根据所述第一帧内预测类型所预测的所述第一数据单元的上层的数据单元相邻的样本值。
11.根据权利要求8所述的视频编码方法，其中，生成关于根据所述第二帧内预测类型所预测的所述第二数据单元的所述第二预测值包括：通过使用与根据所述第二帧内预测类型所预测的所述第二数据单元相邻的左部数据单元和顶部数据单元中的至少一个来生成预测值。
12.根据权利要求8所述的视频编码方法，生成关于根据所述第二帧内预测类型所预测的所述第二数据单元的所述第二预测值包括：通过使用与根据所述第二帧内预测类型所预测的所述第二数据单元相邻的右部数据单元和底部数据单元中的至少一个来生成预测值。
13.根据权利要求8所述的视频编码方法，进一步包括：对关于根据所述第二帧内预测类型所预测的所述第二数据单元的所述第二预测值进行滤波。
14.根据权利要求8所述的视频编码方法，其中，所述数据单元包括编码单元、预测单元和转换单元中的一个。
15.一种视频解码装置，所述视频解码装置包括：
数据单元确定器，所述数据单元确定器被配置为从视频图片中确定用于帧内预测的数据单元；
比特流获得器，所述比特流获得器被配置为从比特流获得帧内预测类型信息，所述帧内预测类型信息指示了是根据使用预先确定的预测信息进行预测的第一帧内预测类型还是根据使用与所述数据单元相邻的数据单元进行预测的第二帧内预测类型来预测所述数据单元；以及
解码器，所述解码器被配置为基于从所述比特流获得的所述帧内预测类型信息，确定根据所述第一帧内预测类型所预测的第一数据单元和根据所述第二帧内预测类型所预测的第二数据单元，使用所述预先确定的预测信息来生成关于根据所述第一帧内预测类型所预测的所述第一数据单元的第一预测值，并且使用与所述数据单元相邻的数据单元来生成关于根据所述第二帧内预测类型所预测的所述第二数据单元的第二预测值。
CN201680068871.4A 2015-11-24 2016-11-23 用于对图像进行编码/解码的方法及设备 Withdrawn CN108293115A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562259174P 2015-11-24 2015-11-24
US62/259,174 2015-11-24
PCT/KR2016/013529 WO2017090968A1 (ko) 2015-11-24 2016-11-23 영상을 부호화/복호화 하는 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN108293115A true CN108293115A (zh) 2018-07-17

Family

ID=58764392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680068871.4A Withdrawn CN108293115A (zh) 2015-11-24 2016-11-23 用于对图像进行编码/解码的方法及设备

Country Status (6)

Country Link
US (1) US20180324441A1 (zh)
EP (1) EP3355579A1 (zh)
JP (1) JP2018535607A (zh)
KR (1) KR20180075557A (zh)
CN (1) CN108293115A (zh)
WO (1) WO2017090968A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017222325A1 (ko) * 2016-06-24 2017-12-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN116634145A (zh) * 2016-08-08 2023-08-22 Lg电子株式会社 视频解码方法、视频信号编码方法及其介质
AU2017377490B2 (en) * 2016-12-16 2022-04-21 FG Innovation Company Limited Image decoding device and image coding device
WO2018174617A1 (ko) * 2017-03-22 2018-09-27 한국전자통신연구원 블록 형태에 기반한 예측 방법 및 장치
US10863175B2 (en) * 2018-03-01 2020-12-08 Panasonic Intellectual Property Corporation Of America Encoder, and decoder, encoding method, decoding method
SG11202011403WA (en) * 2018-05-22 2020-12-30 Panasonic Ip Corp America Encoder, decoder, encoding method, decoding method, and picture compression program
WO2020167097A1 (ko) * 2019-02-15 2020-08-20 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측을 위한 인터 예측 타입 도출
EP3989547A4 (en) * 2019-06-21 2023-04-19 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND DEVICE, AND VIDEO DECODER METHOD AND DEVICE

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110073263A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
US20150063440A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Constrained intra prediction in video coding
CN104869404A (zh) * 2010-07-09 2015-08-26 三星电子株式会社 对视频编码的方法和设备以及对视频解码的方法和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100878811B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
US9172968B2 (en) * 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
DK2924995T3 (en) * 2010-07-09 2018-10-01 Samsung Electronics Co Ltd PROCEDURE FOR VIDEO DECODING, BY USING BLOCK COLLECTION
PT2953356T (pt) * 2010-08-17 2018-12-17 Samsung Electronics Co Ltd Método e aparelho de codificação de vídeo usando a unidade de transformação de estrutura em árvore variavel, e método e aparelho de descodificação de vídeo
BR122020016581B1 (pt) * 2010-09-28 2022-03-03 Samsung Electronics Co., Ltd. Método de decodificação de vídeo, e método de codificação de vídeo
US9699457B2 (en) * 2011-10-11 2017-07-04 Qualcomm Incorporated Most probable transform for intra prediction coding
US20130107949A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using intra prediction mode
CA2877268C (en) * 2012-06-19 2020-07-21 Lg Electronics Inc. Method and device for processing video signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110073263A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
CN104869404A (zh) * 2010-07-09 2015-08-26 三星电子株式会社 对视频编码的方法和设备以及对视频解码的方法和设备
US20150063440A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Constrained intra prediction in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DO-KYOUNG KWON: ""Fast Intra Block Copy (IntraBC) search for HEVC screen content coding"", 《 2014 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS)》 *

Also Published As

Publication number Publication date
EP3355579A4 (en) 2018-08-01
JP2018535607A (ja) 2018-11-29
EP3355579A1 (en) 2018-08-01
WO2017090968A1 (ko) 2017-06-01
KR20180075557A (ko) 2018-07-04
US20180324441A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
CN108293115A (zh) 用于对图像进行编码/解码的方法及设备
KR102499383B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN108476319A (zh) 图像编码方法和设备以及图像解码方法和设备
CN108293132A (zh) 图像编码方法和装置以及图像解码方法和装置
JP7445042B2 (ja) 映像を符号化／復号する方法及びその装置
CN112655206A (zh) 视频解码方法和设备、以及视频编码方法和设备
CN114554222B (zh) 视频编码方法及装置、视频解码方法及装置
CN110892718A (zh) 视频编码方法和装置、视频解码方法和装置
CN110063058A (zh) 用于对图像进行编码/解码的方法和设备
KR102525031B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20210030890A (ko) 툴 세트를 이용하는 영상 복호화 장치 및 이에 의한 영상 복호화 방법, 및 영상 부호화 장치 및 이에 의한 영상 부호화 방법
CN118018725A (zh) 视频编码方法和设备以及视频解码方法和设备
KR20220151233A (ko) 크로마 성분을 예측하는 비디오 부호화 및 복호화 방법, 및 크로마 성분을 예측하는 비디오 부호화 및 복호화 장치
KR102555466B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20210025565A (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN113170211A (zh) 视频解码方法和装置以及视频编码方法和装置
KR102606290B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
EP3800884A1 (en) The method for encoding/ decoding a picture and apparatus thereof
KR20210042809A (ko) 툴 세트를 이용하는 영상 복호화 장치 및 이에 의한 영상 복호화 방법, 및 영상 부호화 장치 및 이에 의한 영상 부호화 방법
KR20210022761A (ko) 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
KR20210061360A (ko) 엔트로피 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180717

WW01 Invention patent application withdrawn after publication