CN106067973A - 视频解码设备 - Google Patents

视频解码设备 Download PDF

Info

Publication number
CN106067973A
CN106067973A CN201610644797.8A CN201610644797A CN106067973A CN 106067973 A CN106067973 A CN 106067973A CN 201610644797 A CN201610644797 A CN 201610644797A CN 106067973 A CN106067973 A CN 106067973A
Authority
CN
China
Prior art keywords
block
current block
quantization parameter
pixels
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610644797.8A
Other languages
English (en)
Other versions
CN106067973B (zh
Inventor
宋振翰
林晶娟
韩钟基
李英烈
文柱禧
金海光
全炳宇
徐钻源
朴亨美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Publication of CN106067973A publication Critical patent/CN106067973A/zh
Application granted granted Critical
Publication of CN106067973B publication Critical patent/CN106067973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频解码设备。该视频解码设备包括：解码器，其通过对编码后数据进行解码来重构附加信息和量化变换系数，并且重构被基于当前块的所述附加信息而自适应确定并编码的量化参数的差值，其中，所述当前块的所述附加信息包括指示所述当前块是否使用SKIP模式编码的SKIP模式信息；逆量化器/逆变换器；预测器以及加法器，其中，当所述当前块使用SKIP模式编码时，仅将与所述当前块相关的运动信息编码为所述编码后数据，不将包括所述量化变换系数和所述量化参数的与所述当前块相关的其他信息编码为所述编码后数据，利用所述当前块的先前解码的左侧块和所述当前块的先前解码的上侧块的量化参数来预测所述当前块的所述量化参数。

Description

视频解码设备
本申请是申请号为201180035106.X、国际申请号为PCT/KR2011/003292、申请日为2011年5月3日、发明名称为“图像编码/解码设备和方法”的发明专利申请的分案申请。
技术领域
本发明涉及视频编码/解码设备和方法。更具体地说，本发明涉及一种能够在以大于传统宏块的块为单位对高清晰视频进行编码和解码时根据所使用的扩展宏块的大小和所划分的子块的大小来自适应地对量化参数进行编码和解码的视频编码/解码设备和方法。
背景技术
本部分的说明仅提供与本发明有关的背景信息，并不构成现有技术。
针对压缩视频数据建立的技术标准当前包括H.261、H.263、H.264、MPEG-2和MPEG-4。根据现有的视频压缩技术，在将各个图像分割为由亮度分量的矩形16×16像素区域和色度分量的矩形8×8像素区域组成的固定大小宏块之后，对各个图像进行编码。各个宏块的所有亮度分量和色度分量是空间或时间预测的，并且结果预测残留在最终压缩之前经历变换、量化和熵编码。
H.264/AVC压缩标准的编码设备将各个宏块再次划分为更小大小的16x16,8x8和4x4块，以进入帧内预测编码，其中，按照四个预测模式中的一个对16x16像素块进行处理，按照九个预测模式中的一个对8x8像素块和4x4像素块进行处理。对于帧间预测编码，各个宏块可以在帧间预测编码之前首先被划分为像素大小16x16,16x8,8x16,8x8,8x4,4x8和4x4的块。以8x8或4x4像素块为单位执行变换，并且变换系数的量化采用标量量化。
H.264/AVC以片或宏块为单位发送量化参数(QP)。以利用式1计算出的差量量化参数来执行以片单位为单位发送QP的操作。
ΔQPslice＝QPcur-26-ΔQPPPS 式1
在式1中，QPcur是用于当前片的量化参数，ΔQPPPS是发送给图片参数集合(PPS)的差量量化参数。ΔQPPPS等于从用户在编码时输入的量化参数值中减去26，如式2所示。
ΔQPPPS＝QPuser-26 式2
以宏块为单位发送的量化参数对先前编码宏块的量化参数之与当前宏块的量化参数值之间的差量值进行编码，如式3所示。
以宏块为单位发送的量化参数根据块类型和编码块模式(CBP)自适应地进行编码。在帧内块的情况下，针对所有宏块，对通过式3计算出的量化参数的差量值进行编码。在帧间块的情况下，检查CPB值以确定是否对量化参数进行编码。如果当前宏块没有要解码的量化变换系数数据，则不发送量化参数。如果存在CBP，则利用式3来发送量化参数。
然而，仅利用被认为是基本编码单位的宏块来设计基于H.264/AVC的量化参数发送方法。近来，随着用于编码的视频的分辨率不断增大，基本编码单位不限于宏块，并且考虑使用扩展宏块。因此，存在对于适用于此的最优量化参数编码方法的需要。
发明内容
技术问题
因此，为了解决上述问题，本发明试图提供一种视频编码/解码设备和方法，该视频编码/解码设备和方法能够在以大于传统宏块的块为单位对高清晰视频进行编码和解码时根据所使用的扩展宏块的大小和所划分的子块的大小来自适应地对量化参数进行编码和解码。
问题解决方案
本发明的实施方式提供了一种视频编码/解码设备，该视频编码/解码设备包括：视频编码器，其基于与视频的扩展宏块和子块相关的附加信息对所述扩展宏块的量化参数值与所述扩展宏块中的子块的量化参数值之间的差量值进行编码；以及视频解码器，其对由所述视频编码器编码的量化参数的差量值进行重构，基于重构的量化参数的差量值重构残留块，并且基于重构的残留块重构所述视频。
本发明的另一实施方式提供了一种视频编码设备，该视频编码设备包括：预测器，其通过预测具有预定大小的扩展宏块被划分成的子块来生成预测子块；减法器，其通过从所述子块中减去所述预测子块来生成残留子块；变换器/量化器，其通过根据所述子块的大小对所述残留块进行变换/量化来生成量化变换系数，并且基于与所述扩展宏块和所述子块相关的附加信息来确定各个量化参数；以及编码器，其通过对所述量化变换系数进行熵编码来生成编码数据，并且对所确定的量化参数进行编码。
所述变换器/量化器可以利用包括与所述扩展宏块和所述子块相关的跳过模式信息、编码块模式(CBP)信息和与具有预定大小X的宏块相关的CBPX标记信息中的至少一个的附加信息来对所述量化参数进行编码。
如果当前块的编码块模式不是0，则所述变换器/量化器可以以所述当前块为单位来确定量化参数。
如果当前块的编码块模式不是0，则所述变换器/量化器可以按照各个子块为单位基于所述当前块中的所述各个子块的附加信息来确定量化参数。
如果当前块的编码块模式不是0，则所述编码器可以按照所述当前块为单位对所述量化参数进行编码。
在预测当前块的量化参数时，所述编码器可以利用先前编码的左侧块或上侧块的量化参数或者编码序列中的在前块的量化参数来执行差量化。
如果当前块是帧间预测编码模式，并且如果所述当前块是跳过模式，则可以跳过对所述量化参数的确定和编码。
如果当前块的编码块模式不是0并且所述当前块中的第i个子块的编码块模式不是0，则所述编码器可以按照所述第i个子块为单位对量化参数进行编码。
所述变换器/量化器可以针对所述当前块中的所述子块顺序地确定量化参数。
如果所述扩展宏块中的所述子块的编码模式彼此不同，则所述变换器/量化器可以针对所述各个编码模式确定至少一个量化参数。
如果所述扩展宏块被划分为所述子块，并且所述子块在编码之前被划分为下级子块，则所述变换器/量化器可以针对所述子块的所述下级子块确定量化参数的代表值，并且可以在序列头或片段头中发送用于对量化参数进行编码的最小块的大小或者可以利用所述编码器与解码器之间安排的块大小而不发送附加信息。
本发明的另一实施方式提供了一种视频解码设备，该视频解码设备包括：解码器，其通过对编码数据进行解码来重构附加信息和量化变换系数，并且重构基于当前块的所述附加信息自适应确定并编码的量化参数；逆量化器/逆变换器，其通过对所述量化变换系数进行逆量化和逆变换来重构残留块；预测器，其利用所述当前块的所述附加信息来生成预测块；以及加法器，其通过将所述预测块和所述残留块相加来重构所述当前块。
如果所述当前块的编码块模式不是0，则所述解码器可以按照所述当前块为单位对所述量化参数进行解码。
如果所述当前块是帧间预测编码模式，并且如果所述当前块是跳过模式，则可以跳过对所述量化参数的解码。
如果所述当前块的编码块模式不是0，并且所述当前块中的第i个子块的编码块模式不是0，则所述解码器可以按照所述第i个子块为单位对量化参数进行解码。
所述解码器可以对用于从序列头或片段头重构所述量化参数的最小子块的大小进行解码。
所述解码器可以利用所述当前块的在先解码的左侧块和上侧块的量化参数或者解码序列中的在先块的量化参数来预测所述当前块的量化参数。
本发明的另一实施方式提供了一种视频编码/解码方法，该视频编码/解码方法包括以下步骤：基于与视频的扩展宏块和所述扩展宏块中的子块相关的附加信息自适应地对量化参数进行编码；以及重构通过所述视频编码步骤自适应地编码的量化参数，基于重构的量化参数来重构残留块，并且基于重构的残留块来重构所述视频。
本发明的另一实施方式提供了一种视频编码方法，该视频编码方法包括以下步骤：通过预测扩展宏块被划分成的子块来生成残留子块；通过从所述子块中减去所预测的子块来生成残留子块；通过根据所述子块的大小对所述残留块进行变换/量化来生成量化变换系数，并且基于与所述扩展宏块和所述子块相关的附加信息对量化参数进行编码；以及通过对所述量化变换参数进行熵编码来生成编码数据。
量化参数编码的处理可以利用包括跳过模式信息、编码块模式(CBP)信息和关于所述扩展宏块和所述子块的CBPX标记信息中的至少一个的附加信息来对所述量化参数进行编码。
如果当前块的编码块模式不是0，则量化参数编码的处理可以按照所述当前块为单位对量化参数进行编码。
如果当前块的编码块模式不是0，则量化参数编码的处理可以按照所述当前块中的各个子块为单位基于所述各个子块的附加信息来对量化参数进行编码。
如果所述当前块是帧间预测编码模式，并且如果所述当前块是跳过模式，则可以跳过对所述量化参数的编码。
如果当前块的编码块模式不是0并且所述当前块中的第i个子块的编码块模式不是0，则量化参数编码的处理可以按照所述第i个子块为单位对量化参数进行编码。
所述量化参数编码的处理可以针对所述当前块中的所述子块顺序地对不同的量化参数的值进行编码。
如果所述扩展宏块中的所述子块的编码模式彼此不同，则所述量化参数编码的处理可以针对所述各个编码模式对至少一个量化参数进行编码。
如果所述扩展宏块被划分为所述子块并且所述子块在编码之前被划分为下级子块，则所述量化参数编码的处理可以针对所述子块的所述下级子块对量化参数的代表值进行编码，并且可以在序列头或片段头中发送用于对量化参数进行编码的最小块的大小或者可以不利用安排在编码器和解码器之间的块大小发送附加信息。
在预测当前块的量化参数中，所述量化参数编码的处理可以利用在先编码的左侧块或上侧块的量化参数或者编码序列中在先的块的量化参数来执行差别化。
本发明的另一实施方式提供了一种视频解码方法，该视频解码方法包括以下步骤：通过对编码数据进行解码来重构附加信息和量化变换系数，并且基于当前块的所述附加信息来重构自适应地确定和编码的量化参数；通过对所述量化变换系数进行逆量化和逆变换来重构残留块；利用所述当前块的所述附加信息生成预测块；以及通过将所述预测块与所述残留块相加来重构所述当前块。
如果所述当前块的编码块模式不是0，则所述量化参数可以按照所述当前块为单位来进行重构。
如果所述当前块是帧间预测编码模式，并且如果所述当前块是跳过模式，则可以跳过对所述量化参数的解码。
如果所述当前块的编码块模式不是0并且所述当前块中的第i个子块的编码块模式不是0，则所述量化参数按照所述第i个子块为单位进行重构。
所述量化参数重构步骤可以从序列头或片段头解码用于重构所述量化参数的最小子块的大小。
所述量化参数重构的步骤可以利用所述当前块的在先解码的左侧块或上侧块的量化参数或者解码序列中在先的块的量化参数来预测所述当前块的量化参数。
有益效果
根据上述的本发明的实施方式，可以针对要编码或要解码的扩展宏块自适应地使用一个或更多个量化参数，使得各个子块的编码/解码效率可以最大化。
此外，根据本发明的实施方式，针对作为视频编码的主要技术的比特分配和控制技术的开发，可以容易地实现更加有效和复杂的算法。
附图说明
图1是例示了根据本发明的实施方式的视频编码设备的示意性构造的框图；
图2是例示了本发明的实施方式中使用的扩展宏块的示例以及针对帧内预测编码和帧间预测编码划分扩展宏块的处理的示例的图；
图3是例示了根据本发明的实施方式的4x4和8x8块的亮度分量的帧内预测模式中的九个预测方向和预测模式编号的图；
图4是例示了根据本发明的另一实施方式的16x16块的亮度分量的帧内预测模式中的四个预测方向和预测模式编号的例示图；
图5是例示了根据本发明的另一实施方式的除4x4、8x8和16x16块以外的块的亮度分量的帧内预测模式中的三个预测方向和预测模式编号的图；
图6是例示了根据本发明的实施方式的N/2x N/2块的亮度分量的帧内预测模式中的四个预测方向和预测模式编号的图；
图7是例示了由根据本发明的实施方式的编码器进行的编码量化参数的方法的流程图；
图8是例示了32x32像素块的CBP和编码模式的示例的图；
图9是例示了由图1的视频编码设备进行的编码视频的方法的流程图；
图10是例示了根据本发明的实施方式的视频解码设备的示意性构造的框图；
图11是例示了由图10的视频解码设备进行的解码视频的方法的流程图。
具体实施方式
下文描述的根据实施方式的视频编码设备和视频解码设备可以是个人计算机(PC)、笔记本或膝上型计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、便携式游戏机(PSP)或无线通信终端、智能电话等，并且可以表示配备有例如诸如用于在各种装置或有线/无线通信网络之间进行通信的调制解调器的通信装置、用于存储用于对视频和相关数据进行编码或解码的各种程序的存储器以及用于执行这些程序以进行操作和控制的微处理器的各种设备。
此外，由视频编码设备编码为比特流的视频可以实时或非实时地发送给用于在经由有线/无线通信网络发送视频之后对该视频进行解码以将其重构和再现为视频的视频解码设备，其中，所述有线/无线通信网络包括互联网、短距离无线通信网络、无线LAN网络、也称为WiMax网络的WiBro(无线宽带)、移动通信网络以及陆地线电话网络或诸如电缆或USB(通用串行总线)的通信接口。
图1是例示了根据本发明的实施方式的视频编码设备的示意性构造的框图。
根据本发明的实施方式的视频编码设备100可以包括预测器110、减法器120、变换器/量化器130、编码器140、逆量化器/逆变换器150、加法器160、滤波器170和图片缓冲器180。
预测器110可以包括帧内预测器112和帧间预测器114。帧间预测器114可以包括运动估计器116和运动补偿器118。
输入视频可以按照帧或字段为单位输入到视频编码设备100，或者可以在被划分为具有NxN像素(N:大于或等于16的整数)的宏块之后输入到视频编码设备100。这里，具有NxN像素(N:大于16的整数)的宏块将被称作扩展宏块(EMB)。例如，扩展宏块可以包括诸如64x64和32x32的大小的方形像素块。如果输入视频是诸如4Kx2K视频的高分辨率视频，则输入视频可以在被划分为具有NxN像素(N:大于16的整数)的扩展宏块之后被编码，从而实现视频压缩效率的提高。以下描述的宏块是指NxM像素块(N和M是大于或等于16的整数，并且可以彼此不同)。如果N和M大于16，则NxM像素块是指扩展宏块。即，在以下描述中，术语“宏块”和术语“扩展宏块”是互换使用的，并且不限于16x16像素块。
如果高分辨率输入视频是4:2:0格式的，则宏块包括具有NxN像素的亮度块和具有两个N/2x N/2像素的色度块。通过扩展宏块对高分辨率视频的压缩效率的提高可以通过以下描述的特定实施方式来实现。
图2是例示了本发明的实施方式中使用的扩展宏块的示例以及针对帧内预测编码和帧间预测编码划分扩展宏块的示例性处理的图。
高分辨率输入视频可以按照扩展宏块为单位进行编码/解码，扩展宏块可以在帧内预测编码或帧间预测编码之前被划分为子块。例如，如图2所示，如果扩展宏块是32x32像素块，则扩展宏块可以在编码之前被划分为16x16子块，并且16x16子块可以在编码之前被划分为诸如16x8,8x16,8x8,8x4,4x8和4x4的更小子块。尽管图2例示了扩展宏块是32x32像素块的情况，但是扩展宏块的大小不限于此，还可以使用更大的像素块。此外，尽管图2例示了扩展宏块在编码之前被划分为诸如16x16像素块的正方形子块，但是扩展宏块还可以在编码之前被划分为矩形子块。例如，32x32像素的扩展宏块可以在编码之前被划分为两个16x8子块或两个8x16子块。
图1的视频编码设备中的预测器110的帧内预测器112利用当前要编码的块(下文称作“当前块”)的相邻像素生成基准块，并且通过将该当前块与基准块相比较来确定帧内预测模式。这里，相邻像素是指与当前块相邻的块中的像素，并且包含与当前块相邻的块中并且与当前块相邻的相邻像素。
假设扩展宏块针对亮度分量被划分为4x4像素单位的子块，以执行帧内预测。在该情况下，如图3所示，从根据亮度分量的帧内预测模式的九个预测方向(根据预测模式0至8的预测方向)当中选择针对各个4x4像素当前块而言最合适的预测方向，并且所选择的预测方向被用于对当前块进行帧内预测编码。包括当前块的左侧块的四个相邻像素和当前块的上侧块的四个相邻像素的八个相邻像素的平均值被计算为由预测模式2表示的平均值，以预测当前块的所有4x4像素。
在位于图片的左侧边界的块和位于图片的上侧边界的块的情况下，左侧块和上侧块位于图片的外部。在该情况下，由于不能指代偏离图片边界的块，所以预测方向的使用受到了限制。例如，指代上级块的像素的预测模式0、3、4、5、6和7的预测方向不能用在图片的最上级块中。尤其是，在DC模式的情况下，仅参照没有偏离图片边界的像素来预测当前块。如果与当前块相邻的左侧块和上侧块不可用，则将值128用作DC值。
在当前块的所选择的预测方向与当前块的左侧块和上侧块当中的具有较小预测模式的块的预测方向之间进行比较。如果两个预测方向相同，则对指示从相邻块估计的当前块的预测方向与当前块的所选择的预测方向是否相同的预测模式标记进行编码，以指示所选择的预测方向与所估计的预测方向相同。
如果从相邻块估计的当前块的预测方向与当前块的所选择的预测方向不同，则预测模式标记被编码，以指示该差异。指示九个预测模式中除与当前块的所估计的预测方向相对应的预测模式以外的剩余八个预测模式中的哪一个是当前块的所选择的预测方向的预测模式信息(其可以通过例如3比特来表示)被编码。
假设扩展宏块针对亮度分量被划分为8x8像素的子块，以执行帧内预测。在该情况下，与以4x4像素为单位的帧内预测类似，针对亮度分量以8x8像素为单位的帧内预测使用如图3所示的九个预测方向。除了块大小的差异(4x4像素和8x8像素)以外，计算预测像素的方法与以4x4像素为单位的帧内预测编码的情况相同。
假设扩展宏块针对亮度分量被划分为16x16像素的子块，以执行帧内预测。在该情况下，在图4所示的四个预测方向当中，选择了提供最高编码效率的预测方向。根据所选择的预测方向，从包括16x16像素当前块的上侧16x16像素块中的16个相邻像素和16x16像素当前块的左侧16x16像素块中的16个相邻像素在内的32个相邻像素对16x16像素块进行预测编码。
参照图4，在与预测模式3对应的平面预测的情况下，在预测之前按对角方向对当前块的上侧块中的相邻像素和当前块的左侧块中的相邻像素进行插值。在与预测模式2对应的平均值预测的情况下，通过当前块的所有16x16像素来预测当前块的上侧块中的16个相邻像素和当前块的左侧块中的16个相邻像素的平均值。这里，如果当前块位于图片的最上位置，则当前块的左侧块中的16个相邻像素的平均值被用作预测值。如果当前块位于图片中的最左位置，则当前块的上侧块中的16个相邻像素的平均值被用作预测值。如果当前块的左侧块和上侧块不可用，则值128被用作预测值。16x16像素块的预测模式不被预测编码，并且所选择的预测模式的编号被编码为预测模式信息(其通过例如2比特来表示)。
如果除上述4x4像素块、8x8像素块或16x16像素块以外，扩展宏块被划分为子块以执行帧内预测，则可以通过如图5所示的三个预测方向和预测模式编号来表示亮度分量的帧内预测模式。如果除上述4x4像素块、8x8像素块或16x16像素块以外，扩展宏块被划分为剩余子块以执行帧内预测，并且如果相关子块的大小是mxn(n和m是小于N的整数，并且N是大于或等于16的整数)，则根据从图5所示的三个预测方向当中选择的提供最高编码效率的预测方向，从当前块的上侧块中的m个相邻像素和当前块的左侧块中的n个相邻像素对mxn像素块进行帧内预测编码。
在与预测模式2对应的平均值预测的情况下，当前块的上侧块中的m个相邻像素和当前块的左侧块中的n个相邻像素的平均值被用来对当前块进行预测编码。这里，如果当前块位于图片中的最上位置，则当前块的左侧块中的n个相邻像素的平均值被用作当前块的预测值。如果当前块位于图片中的最左位置，则当前块的上侧块中的m个相邻像素的平均值被用作当前块的预测值。如果当前块的左侧块和上侧块是不可用的，则值128被用作当前块的预测值。
如果当前块的所选择的预测方向与当前块的左侧块和上侧块中的具有较小预测模式编号的块的预测方向相同，则指示从当前块的相邻块估计的当前块的预测方向与当前块的所选择的预测方向是否相同的预测模式标记(其通过例如1比特来表示)被编码为指示当前块的所选择的预测方向与当前块的所估计的预测方向相同的信息。由于mxn像素块的可用预测模式编号是0至2，如果利用当前块的左侧块和上侧块估计的当前块的预测模式编号大于或等于3，则当前块的预测方向可以使用预测模式编号2(DC模式)。例如，如果从相邻块估计的当前块的预测模式编号是4，则当前块的预测模式编号被设置为2，以对指示当前块的所估计的预测方向是否与当前块的所选择的预测方向相同的预测模式标记(其通过例如1比特来表示)进行编码。
这里，扩展宏块的帧内预测可以按照16x16或更小像素块为单位，即，按照4x4像素块、8x8像素块、16x16像素块或mxn像素块(这里，m≠n，并且m和n是小于16的数)。
可以按照N/2x N/2像素块为单位执行色度分量的帧内预测。如图6所示，可以使用诸如平均值预测、水平预测、垂直预测和平面预测的四个预测方向。可以按照8x8像素块为单位来执行色度分量的帧内预测。
图6例示了根据本发明的实施方式与色度分量的四个帧内预测模式相对应的预测方向和预测模式编号。参照图6，除了块大小(16x16像素和8x8像素)的差异以外，针对与预测模式3对应的平面预测的预测值计算方法和与预测模式0对应的平均值预测与按照16x16像素为单位的亮度分量的帧内预测编码方法的情况相同。可以独立于亮度信号的预测模式来选择色度信号的预测模式。存在两种类型的色度信号，即，U和V，但是预测方法是相同的。色度信号的预测模式是针对U和V各一个。各个色度信号的预测模式不经过预测编码，并且选择的预测模式编号仅仅通过2比特来表示。
根据如上所述确定的帧内预测模式，帧内预测器112通过预测当前块来生成预测块。减法器120通过从当前块中减去预测块来生成残留块。变换器/量化器130通过对残留块进行变换和量化来生成量化变换系数。编码器140通过对所述量化变换系数进行熵编码来生成编码后数据。
变换器/量化器130可以对选择了以8x8,8x16或16x8像素为单位的帧内预测的当前块的残留块进行4x4变换，并且对选择了以8x8,8x16或16x8像素为单位的帧内预测的当前块的残留块进行8x8变换。此外，变换器/量化器130可以对选择了以16x16或更多像素为单位的帧内预测的当前块的残留块进行16x16变换。在该情况下，由于帧内预测的单位和子块的大小相同，所以可以根据子块的块大小来确定变换类型。
这里，进行了16x16变换的具有16x16像素的残留块(下文称为“16x16像素残留块”)被再次划分为十六个具有4x4像素的残留块(下文称为“4x4像素残留块”)，并且可以对4x4像素残留块进行4x4变换。此后，具有4x4变换系数的变换块(下文称作“DC分量块”)仅由通过对各个4x4像素残留块进行4x4变换而生成的均具有4x4像素的变换块(下文称为“4x4像素变换块”)的十六个DC分量构成，并且再次对DC分量块进行4x4变换。这里，用于对DC分量块进行变换的变换类型可以不同于用于对残留块进行变换的变换类型。即，可以对4x4像素残留块进行4x4离散余弦变换(DCT)，并且可以对DC分量块进行4x4哈达玛变换。例如，选择了以16x32像素为单位的帧内预测的当前块的16x32像素残留块被划分为两个16x16像素残留块，并且各个16x16像素残留块以4x4像素为单位进行4x4变换。此后，DC分量块由16x16像素残留块中的各个4x4变换块的DC分量构成，并且对DC分量块再次进行4x4变换。
在色度信号的情况下，如同以16x16或更多像素为单位的帧内预测，进行4x4变换，接着再次对DC分量块进行4x4变换。然而，色度分量的宏块的残留块被划分为具有8x8像素的残留块(下文称为“8x8像素残留块”)，并且对各个8x8像素残留块中的四个4x4像素残留块进行4x4变换。具有2x2变换系数的DC分量块由8x8像素残留块中的四个4x4像素残留块的DC分量构成，并且可以对DC分量块进行2x2变换。在该情况下，类似地，对8x8像素残留块的4x4变换类型与对DC分量块的2x2变换类型可以不同。
取代针对扩展块确定最优块类型接着根据上述变换类型进行变换，可以根据以16x16像素块为单位的帧内预测中所使用的子块的大小来选择并使用高效率变换类型。即，变换器/量化器130可以按照16x16像素块为单位进行一个或更多个变换和量化，选择最高效率的变换类型，并且根据所选择的变换类型来生成变换/量化变换系数。在该情况下，编码器140可以通过生成用于识别针对各个块选择的变换的类型的变换类型并且对其进行编码来生成变换类型数据。变换类型数据被包括在编码后数据中。然而，不同的变换不能用在16x16像素块中。
更具体地说，如果16x16像素块被划分为8x8像素块，并且如果四个8x8像素块中的一个或更多个被划分为小于8x8像素块的子块，则对16x16像素块仅进行4x4变换。在该情况下，不对变换类型进行编码。此外，如果16x16像素块被划分为四个8x8像素块，则可以对16x16像素块进行4x4变换和8x8变换，以选择要求最低编码开销的变换类型，并且可以对指示所选择变换的类型的变换类型(其可以通过例如1比特来表示)进行编码。此外，如果16x16像素块被划分为两个8x16像素子块，则可以对16x16像素子块的残留块进行4x4变换、8x8变换和8x16变换，以选择要求最低编码开销的变换类型，并且如果16x16像素块被划分为两个16x8像素子块，则可以对16x16像素子块的残留块进行4x4变换、8x8变换和16x8变换，以选择要求最低编码开销的变换类型，并且可以对指示所选择变换的类型的变换类型(其可以通过例如1比特或2比特来表示)进行编码。可以对16x16或更多的像素块的残留块进行4x4变换、8x8变换和16x16变换，以选择要求最低编码开销的变换类型，并且可以对指示所选择变换的类型的变换类型(其可以通过例如1比特或2比特来表示)进行编码。
再次参照图1，预测器110的帧间预测器114的运动估计器116检测与作为当前图片中的当前编码目标的当前块最类似的块，即，基准图片中的基准块，并且输出代表基准块相对于当前块的相对位置的运动向量(MV)。这个处理被称为运动估计。运动估计通过将宏块中的子块与图片缓冲器180中的一个或更多个基准图片进行比较来生成运动向量。8x8像素块可以使用不同的基准图片，但是8x8像素块中的子块使用相同的基准图片。
运动向量由编码器140进行编码，并被包括在编码后数据中。编码器140使用当前块的相邻块的运动向量的平均值作为预测运动向量(PMV)。编码器140通过仅对作为预测运动向量与当前块的运动向量之间的差向量的差运动向量(DMV)进行编码来生成运动信息。这里，除了差运动向量以外，编码器140还可以对基准图片索引进行编码。即，运动信息可以包括差运动向量和基准图片索引。编码器140可以通过对运动信息进行编码来生成运动信息数据，并且将运动信息数据包括在编码后数据中。
在本发明的一个实施方式中，针对作为16x16或更多像素块的扩展宏块使用跳过模式。跳过模式是不对诸如块类型信息、运动信息或变换系数信息的特定信息进行编码的模式。如果当前要编码的块是跳过模式，则可以仅对指示当前块是跳过模式的信息进行编码，并且可以不对诸如块类型、运动信息和变换系数的其它信息进行编码。另选地，可以仅对当前块的运动信息进行编码，并且可以不对诸如类型信息和变换系数的信息进行编码。或者，可以仅对当前块的变换类型和变换系数进行编码，并且可以不对类型信息和运动信息进行编码。
如果作为16x16或更多像素块的扩展宏块是跳过宏块，则预测运动向量被用来进行运动估计和补偿。然而，如果用来确定预测运动向量的一个或更多个运动向量是0，则预测运动向量被确定为0。例如，如果相邻块A、B和C的运动向量分别为mvA(0,10),mvB(1,10)和mvC(2,10)，则当前块的预测运动向量是(0,10)。
减法器120通过从当前块中减去由当前向量的估计运动向量指示的基准块来生成残留块。变换器/量化器130对由减法器120生成的残留块进行变换和量化。编码器140通过对量化变换系数进行熵编码来生成编码后数据。这里，变换器/量化器130根据当前块的大小进行一个或更多个变换和量化，选择最高效率的变换类型，并且根据所选择的变换类型来生成量化变换系数。编码器140通过生成用于识别针对各个块选择的变换的类型的变换类型并对其进行编码来生成变换类型数据。变换类型数据可以被包括在编码后数据中。然而，不同的变换不能用于16x16像素块。
如同帧内预测快中描述的变换方法，如果16x16像素子块被划分为8x8像素子块，并且如果四个8x8像素子块中的一个或更多个被划分为小于8x8像素块的子块，则对16x16像素子块的残留块仅进行4x4变换。在该情况下，不对变换类型进行编码。如果16x16像素子块被划分为四个8x8像素子块，则对16x16像素子块的残留块进行4x4变换和8x8变换，以选择要求低编码开销的变换类型，并且对指示选择的变换的类型的变换类型(其可以通过例如1比特来表示)进行编码。
如果16x16像素子块被划分为两个8x16像素子块，则对16x16像素子块的残留块进行4x4变换、8x8变换和8x16变换，以选择要求最低编码开销的变换类型，并且如果16x16像素子块被划分为两个16x8像素子块，则对16x16像素子块的残留块进行4x4变换、8x8变换和16x8变换，以选择要求最低编码开销的变换类型，并且对指示所选择变换的类型的变换类型(其可以通过例如1比特或2比特来表示)进行编码。对16x16或更多像素子块进行4x4变换、8x8变换和16x16变换，以选择要求最低编码开销的变换类型，并且对指示所选择变换的类型的变换类型(其可以通过例如1比特或2比特来表示)进行编码。
由变换器/量化器130变换/量化过的残留块被逆变换器/逆量化器150逆变换/逆量化，以重构残留块。加法器160通过将所重构的残留块与由预测器110预测的预测块相加来重构当前块。编码器140通过对由变换器/量化器130量化的变换系数进行熵编码来生成编码后数据。
将正交变换分量除以量化步长并且将该结果近似为代表性整数值的处理被称为量化，并且该代表性整数值被称为量化值。相反，将量化值乘以量化步长以恢复正交变换分量的处理被称为逆量化。
当应用量化处理时，可以提高效率，因为正交变换分量可以表示为更小的整数值，并且相比对未量化分量进行编码的情况，可以利用更小数量的比特来进行编码。此外，可以通过改变量化步长的大小来调节压缩率。
除了减少了信息量以外，考虑到其它物理介质或数据传输信道提供的带宽，应当进行量化来在预定范围内提高最佳图片质量。原因在于通过相同信道带宽可获得的图片质量可以根据应用的量化参数值而改变。
如果扩展宏块是32x32像素块，则可以通过扩展宏块标记(extended_mb_flag)来指示是按照32x32像素块为单位还是按照16x16像素块为单位进行编码。例如，如果扩展宏块标记是1，则可以指示按照32x32像素块为单位进行编码；并且如果扩展宏块标记是0，则可以指示按照16x16像素块为单位进行编码。此外，如果扩展宏块标记是0，则可以对扩展宏块中的各个划分的16x16像素块进行帧内预测编码或帧间预测编码。此外，各个16x16像素块可以在编码之前被划分为更小的子块。
如果扩展宏块是帧间模式，则扩展宏块可以在帧内预测编码或帧间预测编码之前以16x16像素块为单位进行划分。即，如果扩展宏块是帧间预测编码的，则在帧内预测编码模式和帧间预测编码模式这两种模式下扩展宏块中的各个16x16像素块可以共存。此外，如果扩展宏块是帧内预测编码的，则扩展宏块中的所有各个16x16像素块可以按照帧内预测编码模式进行编码。
本发明的实施方式提出了一种从编码中应用的基本编码块单元到预定大小的最小块单元自适应地编码量化参数的方法。
图7是例示了由根据本发明的实施方式的变换器/量化器130进行的编码量化参数的方法的流程图。这里，假设扩展宏块的大小是32x32块，用于量化参数的传输的最小块单元是16x16块，并且相关块的编码块模式(CBP)和编码模式如图8所示进行确定。这里，CBP是指示相关块是否包括非零量化变换系数的信息，并且按照诸如32x32或16x16像素块的预定大小的块为单位对其进行编码。
图8所示的针对帧间预测编码模式的扩展宏块的量化参数的编码可以基于要编码的块的跳过模式和/或CBP信息来确定。跳过模式是不对诸如块类型信息、运动信息或变换系数信息的特定信息进行编码的模式。CBP可以按照16x16像素块为单位进行编码。在该情况下，可以每8x8像素块使用1比特，以指示16x16像素块中是否每8x8像素块存在非零变换系数。针对色度分量，1比特可以用来指示两个2x2色度分量DC块中是否存在非零变换系数，并且1比特可以用来指示两个8x8色度分量AC块中是否存在非零变换系数。
如果扩展宏块在编码之前被划分为大于16x16像素的块，例如，如果扩展宏块是64x64像素块，并且在编码之前被划分为四个32x32像素块，则CBPX标记可以用来指示要编码的块的子块中是否存在要编码的非零系数。这里，X是表示编码目标的大小的整数。64x64像素块可以用CBP64标记来表示，32x32像素块可以用CBP32标记来表示。此外，CBPX标记可以用诸如0或1的1比特来表示。例如，如果32x32像素块中存在非零变换系数，则可以在编码之前用1来表示CBP32标记。
如果子块的大小不是32x32,32x16和16x32中的一个，则CBP可以被编码。这里，如果子块的大小不是32x32,32x16和16x32像素中的一个，则可以确定子块的大小是否为16x16,16x8或8x16像素。如果子块是16x16,16x8或8x16像素块，并且如果相关块中存在非零编码系数，则CBP16标记(其用例如诸如“1”的1比特来表示)可以被编码。如果不是，则可以在不使用CBP标记的情况下按照16x16像素块为单位对CBP进行编码。
如果CBP标记被编码，并且如果CBP标记不是0，则变换类型可以被编码。尤其是，如果16x16像素块被划分为四个8x8像素块，并且如果编码后的CBP不是0，则可以对按照16x16像素块为单位应用的变换类型进行编码。
在变换类型被编码之后，根据变换类型对CBP进行编码。如果使用16x16变换，则色度分量的仅两个CBP比特被编码；并且如果使用8x16变换或16x8变换，则指示16x16像素块中的两个8x16或16x8像素块是否具有非零变换系数的两个CBP比特被编码。然而，例外是，如果两个分割块当中的第一分割块的CBP比特是0，则第二分割块的CBP比特不被编码。
如果32x32像素扩展宏块是帧内块(S701)，则如图8所示，帧间块和帧内块可以在扩展宏块中共存。如果帧间预测编码模式的扩展宏块的CBP不是0并且32x32像素块不是跳过模式(S703)，则编码器140以32x32像素块为单位对量化参数进行编码(S705)。如果扩展宏块是帧内块并且帧内预测编码模式的扩展宏块的CBP不是0(S707)，则编码器140以32x32像素块为单位对量化参数进行编码(S705)。这里，如式4所示，编码器140对先前编码的32x32块相对于量化参数值的差值进行编码。
在图7中，ext_mb_cbp表示以作为扩展宏块的32x32像素块为单位的CBP。ext_skip_flag是指示作为扩展宏块的32x32像素块是否为跳过模式的标记。如果32x32像素块不是跳过模式，则其可以用0来表示。
在对通过式4计算的ΔQP32值进行编码之后，编码器140将0分配给当前要编码的块的序列，即，32x32像素块中的第一16x16子块，并且开始针对32x32像素块中的划分的16x16子块的量化参数编码处理(S709)。在图7中，32x32像素扩展宏块中的第i个16x16子块的编码类型用mb_type[i]来表示。然而，子块的大小不限于16x16像素块。例如，如果扩展宏块是64x64像素块，则扩展宏块中的子块可以是32x32像素块。
如果扩展宏块中的第i个子块的编码模式是帧间预测模式(S711)，则编码器140确定32x32像素块中的第i个16x16像素块是否为跳过模式(S713)，并且确定不是跳过模式的第i个16x16像素块中是否存在非零量化变换系数(S715)。
skip_flag[i]是指示32x32像素块中的第i个16x16像素块是否为跳过模式的句法，并且mb_cbp[i]表示32x32像素块中的第i个16x16像素块的CBP。
如果32x32像素块中的第i个16x16像素块不是跳过模式并且不包括量化变换系数(步骤S713和步骤S715)，即，如果CBP大于0，则编码器140以第i个16x16像素块为单位对量化参数进行编码(S717)。即，要编码的16x16块是跳过模式或者如果CBP值为0，则相关块的量化参数不被编码。如果相关块不是跳过模式并且CBP值不为0，则在编码之前从32x32块的量化参数中减去16x16块的量化参数，如式5所示。在该情况下，如果扩展宏块中的子块是帧内块，并且如果第i个16x16子块的CBP值不是0，则在编码之前从32x32块的量化参数中减去相关子块的量化参数。
在式5中，是当前32x32块中的第i个16x16块的差量化参数值，并且表示当前32x32块中的第i个16x16块的量化参数值。
按照这种方式，32x32像素块中的各个16x16像素块的量化参数被顺序编码。在32x32像素块中的最后一个16x16像素块的量化参数被编码之后，扩展宏块的量化参数的编码结束(S719)。
尽管在图7中假设扩展宏块是32x32像素块，但是扩展宏块的大小不限于32x32像素块。例如，扩展宏块可以是64x64像素块、128x128像素块或更大的像素块。针对这种扩展宏块，可以通过从扩展宏块的量化参数中减去子块的量化参数来进行对量化参数的编码。例如，如果扩展宏块是64x64像素块，并且如果扩展宏块的CBP不是0并且64x64像素块不是跳过模式，则编码器140以64x64像素块为单位对量化参数进行编码。这里，针对扩展宏块，可以如式6所述对相对于先前编码的64x64块的量化参数值的差值进行编码。在该示例中，已经对扩展宏块的量化参数被编码的情况进行了描述。然而，可以利用先前编码的上侧子块或左侧子块的量化参数或者相对于扩展宏块的子块在编码序列中在先的子块的量化参数来预测当前子块的量化参数。
在对通过式6计算的ΔQP64值进行编码之后，编码器140开始针对64x64像素块中的划分的32x32子块的量化参数编码处理。这里，序列0被分配给第一32x32子块。在该情况下，如果在序列头或片段头中进行编码或者如果预定的最小量化编码块的大小是64x64，则不再对量化参数进行编码。
编码器140确定64x64像素块的第i个32x32像素块是否为跳过模式，并且确定不是跳过模式的第i个32x32像素块中是否存在非零量化变换系数。如果64x64像素块中的第i个32x32像素块不是跳过模式并且不包括量化变换系数，即，如果CBP大于0，则编码器140以第i个32x32像素块为单位对量化参数进行编码。即，要编码的32x32块是跳过模式或者如果CBP值为0，则不对相关块的量化参数进行编码。如果相关块不是跳过模式并且CBP值不是0，则在编码之前从64x64块的量化参数中减去32x32块的量化参数，如式7所示。这里，利用上级块的量化参数来预测当前量化参数的技术仅是一个示例。可以通过差分(differentiate)先前编码的上侧子块或左侧子块的量化参数或者编码序列中在先的子块的量化参数来对当前块的量化参数进行编码。
在式7中，是当前64x64块中的第i个32x32块的差量化参数值，并且表示当前64x64块中的第i个32x32块的量化参数值。这里，针对小于第i个32x32像素块的子块的量化参数编码处理与参照图7所述的相同。
按照该方式，对64x64像素块中的各个32x32像素块的量化参数进行顺序编码。如果特定的32x32子块被编码为更小子块，则图7的方法被应用于32x32块，以对量化参数进行编码。当特定子块在编码之前被划分为更小子块时，反复应用图7的处理。在对64x64像素块中的最后一个32x32像素块的量化参数进行编码之后，结束对相关扩展宏块的量化参数的编码。
这里，尽管已经将对量化参数的编码描述为对要编码的扩展宏块的量化参数值与初步划分的块的量化参数值之间的差值进行编码，即，如果扩展宏块的大小是64x64像素块，则对扩展宏块的量化参数值与初步划分的32x32像素块的量化参数值之间的差值进行编码，但是对量化参数的差值的编码不限于此。例如，可以对64x64像素块的量化参数值与32x32像素块中的16x16像素块的量化参数值之间的差值进行编码。此外，可以使用利用相邻子块的量化参数预测。
这样，本发明的实施方式可以应用于各种大小的宏块。例如，如果扩展宏块的大小是64x64块，并且如果64x64像素块不是跳过模式并且如上所述CBP不为0，则在对64x64像素块的量化参数进行编码之后，可以按照如上所述相同的方式对64x64像素块中的各个32x32像素块的量化参数进行编码。在该情况下，可以按照16x16像素块为单位进行基于CBP信息的量化参数编码。然而，用于量化参数编码的最小块单位不限于16x16块，而是在一些情况下可以是8x8像素块或4x4像素块。用于量化参数编码的最小块单位可以编码在序列头或片段头中，并且可以使用编码器与解码器之间安排的大小。此外，尽管图7例示了32x32像素块被划分为四个16x16像素块，以对量化参数进行编码，但是划分的块的数量不限于此。例如，32x32像素块可以被划分为两个32x16像素块或两个16x32像素块，以对量化参数进行编码，并且32x32像素块中的各个16x16像素块可以被划分为诸如16x8像素块、8x16像素块和8x8像素块的更小像素块，以对量化参数进行编码。
此外，尽管图7例示了32x32像素块被划分为四个16x16像素块，以对量化参数进行编码，但是可以根据扩展宏块的划分级别对与编码层或要编码的像素块对应的具有预定大小NxM(N可以等于或不同于M)的像素块的量化参数进行编码。
此外，尽管图7例示了基于CBP信息以及关于要编码的块是否为跳过模式的信息来确定是否对量化参数进行编码，但是是否对量化参数进行编码还可以通过其它句法或参数以及基于跳过模式信息和CBP信息来确定。
此外，尽管图7例示了通过与先前块的量化参数的差分来对最上块的量化参数进行编码，但是对量化参数的编码不限于此。例如，可以通过包括差分的其它操作来对量化参数进行编码，可以按照片为单位或者通过包括差分的任何其它操作和量化参数值来对最上块的量化参数进行编码。
滤波器170利用解块滤波器对通过积累由加法器160重构的当前块而生成的图片进行滤波。经滤波的图片被存储在图片缓冲器180中，并被用作下一图片的基准图片。
图9是例示了由图1的视频编码设备进行的视频编码的方法的流程图。
参照图9，预测器110通过预测扩展宏块划分的子块来生成预测子块(S901)。减法器120通过从由预测器110划分的子块中减去生成的预测子块来生成残留子块(S903)。变换器/量化器130通过根据子块的大小对残留子块进行变换/量化来生成量化变换系数，并且基于与子块和扩展宏块相关的附加信息来确定量化参数(S905)。
编码器140可以利用包括与子块和扩展宏块相关的跳过模式信息、CBP信息和CBPX标记信息中的至少一个的附加信息来对量化参数进行编码。此外，如果当前块的编码块模式不是0，则编码器140可以按照当前块为单位对量化参数进行编码。此外，如果当前块的编码块模式不是0，则编码器140可以基于当前块中的各个子块的附加信息以各个子块为单位对量化参数进行编码。此外，编码器140可以顺序地对当前块中的子块的量化参数进行编码。此外，如果扩展宏块中的子块的编码模式彼此不同，则编码器140可以对针对各个编码模式的至少一个量化参数进行编码。此外，如果扩展宏块被划分为子块，并且该子块在编码之前被划分为较低子块，则编码器140可以对在针对子块的较低子块的量化参数的代表性值进行编码。
编码器140通过对量化变换系数进行熵编码来生成编码后数据(S907)。此外，如果当前块的编码块模式不是0，则编码器140可以按照当前块为单位对量化参数进行编码。此外，如果当前块是帧间预测编码模式，并且如果当前块是跳过模式，则编码器140可以跳过对量化参数的确定或编码。
此外，如果当前块的编码块模式不是0，并且如果当前块中的第i个子块的编码块模式不是0，则编码器140可以按照第i个子块为单位对量化参数进行编码。
图10是例示了根据本发明的实施方式的视频解码设备的示意性构造的框图，并且图11是例示了由图10的视频解码设备进行的视频解码的方法的流程图。
根据本发明的实施方式的视频解码设备1000可以包括解码器1010、逆量化器/逆变换器1020、预测器1030和加法器1040。此外，视频解码设备1000还可以包括滤波器1050和图片缓冲器1060。
解码器1010通过对编码后数据进行解码来重构附加信息和量化变换系数，并且基于当前块的附加信息来重构自适应确定和编码的量化参数的差值(S1101)。量化参数的差值是指由视频编码设备100编码的扩展宏块的量化参数值与扩展宏块中的子块的量化参数值之间的差值。这里，如果当前块的编码块模式不是0，则解码器1010可以按照当前块为单位对量化参数的差值进行解码。此外，如果当前块是帧间预测编码模式，并且如果当前块是跳过模式，则解码器1010可以跳过对量化参数的解码。此外，如果当前块的编码块模式不是0，并且如果当前块中的第i个子块的编码块模式不是0，则解码器1010可以按照第i个子块为单位对量化参数的差值进行解码。
这里，解码器1010可以被构造为从序列头或片段头解码用于重构量化参数的最小子块的大小。
此外，解码器1010可以被构造为利用当前块的先前解码左侧块和上侧块的量化参数或者解码序列中在前的块的量化参数来预测当前块的量化参数。
逆量化器/逆变换器1020通过对量化变换系数进行逆量化和逆变换来重构残留块(S1103)。
预测器1030利用当前块的重构的附加信息来生成预测块(S1105)。预测器1030的预测块生成方法与视频编码设备100的预测器110的预测块生成方法相同。
加法器1040通过将预测块与残留块相加来重构当前块(S1107)。
尽管已经针对例示了性目的描述了本发明的示例性方面，但是本领域技术人员将理解，无需脱离本发明的实质特性，可以进行各种修改、添加和替换。因此，本发明的示例性方面不是针对限制目的而描述的。因此，本发明的范围不由以上方面而由权利要求及其等同物限定。
工业实用性
如上所述，本发明的实施方式对于在按照大于传统宏块的块为单位的高分辨率视频编码和解码时，根据使用的扩展宏块的大小和划分的子块的大小对量化参数自适应地编码和解码非常有用。
相关申请的交叉引用
如果适用，本申请在35U.S.C§119(a)要求2010年5月19日在韩国提交的专利申请No.10-2010-0046828以及2011年5月3日在韩国提交的专利申请No.10-2011-0041832的优先权，通过引用将其全部内容并入本文。此外，该非临时申请以基于韩国专利申请相同的原因要求在除美国以外的国家的优先权，并且通过引用将其全部内容并入本文。

Claims (6)

1.一种视频解码设备，该视频解码设备包括：
解码器，其通过对编码后数据进行解码来重构附加信息和量化变换系数，并且重构被基于当前块的所述附加信息而自适应确定并编码的量化参数的差值，其中，所述当前块的所述附加信息包括指示所述当前块是否使用SKIP模式编码的SKIP模式信息；
逆量化器/逆变换器，其基于所述量化参数的所述差值通过对所述量化变换系数进行逆量化和逆变换来重构残留块；
预测器，其利用基于所述当前块的所述附加信息来生成预测块；以及
加法器，其通过将所述预测块和所述残留块相加来重构所述当前块，
其中，当所述当前块使用SKIP模式编码时，仅将与所述当前块相关的运动信息编码为所述编码后数据，不将包括所述量化变换系数和所述量化参数的与所述当前块相关的其他信息编码为所述编码后数据，
利用所述当前块的先前解码的左侧块和所述当前块的先前解码的上侧块的量化参数来预测所述当前块的所述量化参数。
2.根据权利要求1所述的视频解码设备，其中，如果所述当前块的编码后的块模式不是0，则所述解码器按照所述当前块为单位对所述量化参数的差值进行解码。
3.根据权利要求1所述的视频解码设备，其中，如果所述当前块是帧间预测编码模式并且如果所述当前块是SKIP模式，则跳过对所述量化参数的解码。
4.根据权利要求1所述的视频解码设备，其中，如果所述当前块的编码后的块模式不是0并且所述当前块中的第i个子块的编码块模式不是0，则按照所述第i个子块为单位对所述量化参数的差值进行解码。
5.根据权利要求1所述的视频解码设备，其中，所述编码后数据包括与用于对所述量化参数进行编码的最小块单位相关的信息，并且当所述当前块的大小等于或大于所述最小块单位时，所述量化参数被编码为所述编码后数据。
6.根据权利要求5所述的视频解码设备，其中，与所述最小块单位相关的所述信息被包括在所述编码后数据的序列头或片段头中。
CN201610644797.8A 2010-05-19 2011-05-03 视频解码设备 Active CN106067973B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2010-0046828 2010-05-19
KR20100046828 2010-05-19
KR1020110041832A KR101939699B1 (ko) 2010-05-19 2011-05-03 영상 부호화/복호화 장치 및 방법
CN201180035106.XA CN103004194B (zh) 2010-05-19 2011-05-03 图像编码/解码设备和方法
KR10-2011-0041832 2011-05-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180035106.XA Division CN103004194B (zh) 2010-05-19 2011-05-03 图像编码/解码设备和方法

Publications (2)

Publication Number Publication Date
CN106067973A true CN106067973A (zh) 2016-11-02
CN106067973B CN106067973B (zh) 2019-06-18

Family

ID=45396206

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201180035106.XA Active CN103004194B (zh) 2010-05-19 2011-05-03 图像编码/解码设备和方法
CN201610644797.8A Active CN106067973B (zh) 2010-05-19 2011-05-03 视频解码设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201180035106.XA Active CN103004194B (zh) 2010-05-19 2011-05-03 图像编码/解码设备和方法

Country Status (5)

Country Link
US (3) US9706204B2 (zh)
EP (1) EP2574056A4 (zh)
KR (2) KR101939699B1 (zh)
CN (2) CN103004194B (zh)
WO (1) WO2011145819A2 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101675118B1 (ko) 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US9706204B2 (en) * 2010-05-19 2017-07-11 Sk Telecom Co., Ltd. Image encoding/decoding device and method
US20120114034A1 (en) * 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
KR101643528B1 (ko) * 2011-01-12 2016-07-27 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CA2863208C (en) * 2012-01-13 2021-03-09 Sharp Kabushiki Kaisha Image decoding device, image encoding device, and data structure of encoded data
KR102161741B1 (ko) * 2013-05-02 2020-10-06 삼성전자주식회사 ＨＥＶＣ(high efficiency video coding)에서 코딩 유닛에 대한 양자화 파라미터를 변화시키는 방법과 장치, 및 시스템
US9998739B2 (en) * 2015-03-06 2018-06-12 Qualcomm Incorporated Optimization for encoding video data using non-square partitions
US10123045B2 (en) * 2015-07-24 2018-11-06 Qualcomm Incorporated Modification to block size for transform mode in display stream compression
KR20180040515A (ko) * 2015-09-10 2018-04-20 삼성전자주식회사 부호화 장치, 복호화 장치, 그 부호화 및 복호화 방법
CN106534859B (zh) * 2015-09-11 2021-01-15 中兴通讯股份有限公司 基于spice协议的图像传输方法及装置
CN114598865A (zh) * 2016-03-28 2022-06-07 株式会社Kt 对视频进行解码和编码的方法以及解码的装置
WO2017222334A1 (ko) * 2016-06-24 2017-12-28 한국전자통신연구원 변환 기반의 영상 부호화/복호화 방법 및 장치
US10470149B2 (en) * 2016-07-27 2019-11-05 Lg Electronics Inc. Method and apparatus for performing MM attach and service request procedure for network slice based new radio access technology in wireless communication system
CN110178371A (zh) * 2017-01-16 2019-08-27 世宗大学校产学协力团 影像编码/解码方法及装置
CN106851274B (zh) * 2017-03-31 2019-08-06 北京奇艺世纪科技有限公司 差分量化参数的确定方法、确定***及视频编码器
KR102652812B1 (ko) 2017-09-28 2024-04-01 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2019194485A1 (ko) * 2018-04-01 2019-10-10 김기백 영상 부호화/복호화 방법 및 장치
CN117793346A (zh) * 2019-01-31 2024-03-29 北京字节跳动网络技术有限公司 视频编解码中的细化量化步骤
CN113574880B (zh) * 2019-03-13 2023-04-07 北京字节跳动网络技术有限公司 关于子块变换模式的分割
KR20220036948A (ko) * 2019-07-05 2022-03-23 브이-노바 인터내셔널 리미티드 비디오 코딩에서 잔차의 양자화
KR20220044278A (ko) 2019-08-15 2022-04-07 바이트댄스 아이엔씨 상이한 분할 구조들을 갖는 팔레트 모드
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
JP2022548737A (ja) * 2019-09-19 2022-11-21 バイトダンス インコーポレイテッド パレット・モードのための量子化パラメータ導出
CN110677647B (zh) * 2019-09-27 2024-02-09 腾讯科技（深圳）有限公司 视频解码、编码方法和装置、存储介质与解码器、编码器
KR20220082081A (ko) * 2019-11-27 2022-06-16 엘지전자 주식회사 픽처 분할 정보를 시그널링 하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190977A1 (en) * 2003-12-02 2005-09-01 Samsung Electronics Co., Ltd. Method and apparatus for video encoding
US20060104527A1 (en) * 2004-11-12 2006-05-18 Kabushiki Kaisha Toshiba Video image encoding method, video image encoder, and video image encoding program
AU2007351295A1 (en) * 2007-03-20 2008-10-23 Fujitsu Limited Time-varying image encoding method and device, and time-varying image decoding device
CN101631247A (zh) * 2002-04-18 2010-01-20 株式会社东芝 运动图像编码/解码方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021758A1 (en) * 2000-03-15 2002-02-21 Chui Charles K. System and method for efficient transmission and display of image details by re-usage of compressed data
KR100364748B1 (ko) * 2001-01-05 2002-12-16 엘지전자 주식회사 영상 변환 부호화 장치
EP1465432B1 (en) * 2001-11-30 2017-01-04 NTT DoCoMo, Inc. Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, program, and computer-readable recording medium containing the program
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
CN1589023A (zh) * 2004-08-06 2005-03-02 联合信源数字音视频技术（北京）有限公司 一种基于上下文的多码表变长编解码方法及编解码装置
KR20060016947A (ko) 2004-08-19 2006-02-23 엘지전자 주식회사 Ｍｐｅｇ 비디오 부호화 시스템 및 부호화 방법
DE602005018796D1 (de) * 2004-09-16 2010-02-25 Thomson Licensing Verfahren und vorrichtung zur schnelllaufentscheidung für interframes
KR100746011B1 (ko) 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
KR100750138B1 (ko) * 2005-11-16 2007-08-21 삼성전자주식회사 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
US8848789B2 (en) * 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
RU2549157C1 (ru) * 2010-04-23 2015-04-20 М энд К ХОЛДИНГС ИНК. Устройство для кодирования движущегося изображения
US9706204B2 (en) * 2010-05-19 2017-07-11 Sk Telecom Co., Ltd. Image encoding/decoding device and method
US20120114034A1 (en) 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
HUE062452T2 (hu) * 2012-04-12 2023-11-28 Jvckenwood Corp Mozgókép kódoló készülék, mozgókép kódoló eljárás, mozgókép kódoló program, adó, adási eljárás, adási program, és mozgókép dekódoló készülék, mozgókép dekódoló eljárás, mozgókép dekódoló program, vevõ, vételi eljárás, vételi program
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631247A (zh) * 2002-04-18 2010-01-20 株式会社东芝 运动图像编码/解码方法和装置
US20050190977A1 (en) * 2003-12-02 2005-09-01 Samsung Electronics Co., Ltd. Method and apparatus for video encoding
CN1830213A (zh) * 2003-12-02 2006-09-06 成均馆大学教 用于视频编码的方法和设备
US20060104527A1 (en) * 2004-11-12 2006-05-18 Kabushiki Kaisha Toshiba Video image encoding method, video image encoder, and video image encoding program
AU2007351295A1 (en) * 2007-03-20 2008-10-23 Fujitsu Limited Time-varying image encoding method and device, and time-varying image decoding device

Also Published As

Publication number Publication date
US9729881B2 (en) 2017-08-08
KR101984764B1 (ko) 2019-05-31
KR101939699B1 (ko) 2019-01-18
US20170118472A1 (en) 2017-04-27
WO2011145819A2 (ko) 2011-11-24
WO2011145819A3 (ko) 2012-03-01
KR20110127596A (ko) 2011-11-25
EP2574056A2 (en) 2013-03-27
US9445101B2 (en) 2016-09-13
CN106067973B (zh) 2019-06-18
US9706204B2 (en) 2017-07-11
KR20180101314A (ko) 2018-09-12
EP2574056A4 (en) 2016-03-30
US20150312570A1 (en) 2015-10-29
CN103004194A (zh) 2013-03-27
US20130064293A1 (en) 2013-03-14
CN103004194B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN103004194B (zh) 图像编码/解码设备和方法
JP6974516B2 (ja) 復元ブロック生成方法、予測情報符号化方法、ビットストリーム、コンピュータ可読媒体
CN102939756B (zh) 视频编码/解码设备和方法
CN102948149B (zh) 视频编码/解码设备和方法
CN104935943B (zh) 对帧内预测模式进行解码的方法
CN102986213B (zh) 视频编码/解码设备和方法
CN103329537B (zh) 一种视频解码的设备和方法
KR20110069740A (ko) 영상 부호화/복호화 방법 및 장치
CN104935929A (zh) 图像解码设备
KR20130003816A (ko) 영상 부호화 및 복호화 방법과 장치
TW201644272A (zh) 高級運動向量預測模式中所用的圖像編碼設備
CN105704490B (zh) 视频编码设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant