CN100586187C - 用于图像内部预测编码/解码的方法和设备 - Google Patents
用于图像内部预测编码/解码的方法和设备 Download PDFInfo
- Publication number
- CN100586187C CN100586187C CN200610144747A CN200610144747A CN100586187C CN 100586187 C CN100586187 C CN 100586187C CN 200610144747 A CN200610144747 A CN 200610144747A CN 200610144747 A CN200610144747 A CN 200610144747A CN 100586187 C CN100586187 C CN 100586187C
- Authority
- CN
- China
- Prior art keywords
- submodule
- intra
- prediction
- processing order
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种用于图像内部预测编码/解码的方法及设备。用于图像内部预测编码的方法包括一个内部预测单元,用于将输入模块分成具有预定尺寸的至少一个第一子模块,以及根据第一子模块处理次序,利用位于所述至少一个第一子模块的右边和/或下面的至少相邻子模块的像素值,在所述至少一个第一子模块上执行内部预测编码。
Description
技术领域
本发明涉及图像的内部预测,更具体地,涉及用于图像内部预测编码/解码的方法和设备,以便提高图像压缩效率。
背景技术
在图像压缩标准中,例如运动图像专家组(MPEG)-1、MPEG-2、MPEG-4视觉、H.261、H.263以及H.264标准,通常将图像分成宏模块用于视频编码。在每一个宏模块以所有中间预测及内部预测编码模式被编码之后,比较编码宏模块所需的位率和编码模式的速率失真(RD)开销。然后,根据比较结果来选择恰当的编码模式,且在选中的编码模式中编码宏模块。
在内部预测中,不涉及参考图像,而是利用与要编码的宏模块空间上邻近的像素的像素值来计算宏模块的预测值,且当编码当前图像的宏模块时编码预测值和像素值之间的差值。
图1示出了根据现有技术的用于当前宏模块内部预测的在前宏模块的使用。
参考图1,在前模块a1、a2、a3以及a4被用于当前宏模块a5的内部预测。根据光栅扫描方案,包括在图像中的宏模块从左到右以及从顶部到底部地被扫描。这样,在前宏模块a1、a2、a3以及a4先于当前宏模块a5被扫描和编码。标记为X的宏模块不能被用于当前宏模块a5的预测编码,因为它们没有被编码。所以标记为O的宏模块没有被用于当前宏模块a5的预测编码,因为它们和当前宏模块a5具有低相关性。在利用离散余弦变换(DCT)被转换和被量化之后,在前宏模块a1、a2、a3和a4被反量化和通过利用DCT被逆转换,并且接着被重组。
图2是一个参考图,示出根据现有技术的H.264标准的4×4内部模式中用到的相邻像素。
根据图2,小写字母a到p表示要被预测的4×4模块的像素,而位于4×4模块的上面和左面的大写字母A到M表示相邻样本或像素,其被请求用于4×4模块的内部预测并且已经被编码和重组。
图3示出了根据现有技术的H.264标准采用的4×4内部模式。
参照图3,有9种4×4内部模式,即,直流(DC)模式、垂直模式、水平模式、左向下对角线模式、右向下对角线模式、垂直向左模式、垂直向右模式、水平向上模式和水平向下模式。在4×4内部模式中,从相邻模块的像素A到M来预测像素a到p的像素值。如图3所示,在4×4内部模式中,包括要内部预测的模块的帧中的相邻像素常被用作参考像素。同样地,在根据现有技术的内部预测方法中,利用与要被编码的空间上邻近宏模块的像素的像素值来计算要被编码的宏模块的预测值。
图4A和4B示出了根据现有技术的包括在4×4内部模式的宏模块中的4×4模块的处理次序。
根据H.264标准中的4×4模块的处理次序,基于图4A的模块中表示的数字,以数字表示的次序来处理单个宏模块中包括的4×4模块,即,从左到右以及从顶部到底部。
由于只能利用图2中示出的位于当前4×4模块的上部以及左边的像素的像素值来内部预测当前4×4模块,由此需要一种提高编码效率的改进的编码方法。
发明内容
本发明的一方面提供了一种用于图像内部预测编码/解码的方法和设备,其中,内部预测通过根据除传统模块处理次序之外的改进的模块处理次序的各种模式执行。
本发明的另一方面提供了一用于图像内部预测编码/解码的种方法和设备,其中,图像压缩效率可以通过在各种模式中执行内部预测来提高。
根据本发明的一个方面,提供了一种图像内部预测编码方法。该方法包括将输入模块分成至少一个预定尺寸的第一子模块,以及利用位于所述至少一个第一子模块的右边和/或下面的至少相邻子模块的像素值,根据第一子模块处理次序,在该至少一个第一子模块上执行内部预测编码。
根据本发明的另一个方面,提供了一种用于图像内部编码的设备。该设备包括一个内部预测单元,将输入模块分成至少一个预定尺寸的第一子模块,以及利用位于所述至少一个第一子模块的右边和/或下面的至少相邻子模块的像素值,根据第一子模块处理次序,在该至少一个第一子模块上执行内部预测编码。
仍根据本发明的另一个方面,提供一种图像内部预测解码方法,其中,接收编码图像的比特流并解码内部预测。该方法包括从比特流中提取内部预测模式信息,基于提取的内部预测模式信息,选择至少一个子模块处理次序,其允许利用用于内部解码的位于当前子模块的右边和/或下面的相邻子模块的像素值,以及根据选中的子模块处理次序,在子模块上执行内部预测解码,从而形成一个预测模块。
还根据本发明的另一个方面,提供了一种用于图像内部预测解码的设备,其中接收一编码图像的比特流并解码内部预测。该设备包括一个提取单元和一个内部预测单元。该提取单元从比特流中提取内部预测模式信息。该内部预测单元基于提取的内部预测模式信息,选择至少一个子模块处理次序,其允许利用用于内部解码的位于当前子模块的右边和/或下面的相邻子模块的像素值,以及根据选中的子模块处理次序,在子模块上执行内部预测解码,从而形成一个预测模块。
具体讲,按照本发明的一个方面,提供了一种图像内部预测编码方法,该方法包括:将输入模块分成预定尺寸的至少一个第一子模块;利用位于所述至少一个第一子模块的上面、下面、左边、右边的相邻子模块中的至少一个相邻子模块的像素值,根据第一子模块处理次序,在该至少一个第一子模块上执行内部预测编码,其中,所述输入模块被分为16个第一子模块,且第一子模块处理次序被表示为矩阵
按照本发明的另一个方面,提供了一种用于图像内部预测编码的设备,该设备包括一个内部预测单元,将一个输入模块分成预定尺寸的至少一个第一子模块,并且利用位于所述至少一个第一子模块的上面、下面、左边、右边的相邻子模块中的至少一个相邻子模块的像素值,根据第一子模块处理次序,在该至少一个第一子模块上执行内部预测编码,其中,所述内部预测单元将输入模块分成16个第一子模块,且第一子模块处理次序被表示为矩阵
按照本发明的再一个方面,提供了一种图像内部预测解码方法,其中,接收编码的图像的比特流并解码内部预测,该方法包括:从比特流中提取内部预测模式信息;基于提取的内部预测模式信息,确定要被解码的当前宏模块的至少一个子模块的处理次序;以及根据所确定的子模块处理次序,在子模块上执行内部预测解码,从而形成预测的模块,其中,当所述当前宏块被分为16个子模块时,其允许使用位于用于内部预测解码的当前子模块的上面、下面、左边、右边的相邻子模块中的至少一个相邻子模块的像素值,所述确定的子模块处理次序被表示为矩阵
按照本发明的再一个方面,提供了一种用于图像内部预测解码的设备,其中,接收解码图像的比特流并解码内部预测,该设备包括:从比特流提取内部预测模式信息的提取单元;以及内部预测单元,基于提取的内部预测模式信息,确定至少一个子模块的处理次序,并且根据所确定的子模块处理次序,在子模块上执行内部预测解码,从而形成预测模块,其中,当所述当前宏块被分为16个子模块时,其允许使用用于内部预测解码的当前子模块的上面、下面、左边、右边的相邻子模块中的至少一个相邻子模块的像素值,所述确定的子模块处理次序被表示为矩阵
附图说明
通过结合附图详细描述示范性实施方式,本发明的上述方面会变得更清楚,图中:
图1示出了根据现有技术的用于当前宏模块内部预测的在前宏模块的使用;
图2是表示根据现有技术的H.264标准的4×4内部模式中用到的相邻像素的参考图;
图3示出了根据现有技术的H.264标准中使用的4×4内部模式;
图4A和4B示出了根据现有技术的4×4内部模式中的宏模块包括的4×4模块的处理次序;
图5是图像编码器的框图,其中应用了根据本发明的示范性实施方式的用于图像内部预测编码的设备;
图6是图5的内部预测单元的框图;
图7A到7J示出了图6的内部预测执行单元处理子模块的处理次序;
图8A到8J示出了图7A到7J中与处理次序对应的可能的内部预测方向;
图9示出了由根据本发明的示范性实施方式的用于图像内部预测编码的设备来编码的图像;
图10示出了包括在图9的宏模块中的子模块的内部预测方向;
图11是示出了根据本发明的示范性实施方式的图像内部预测编码的方法的流程图;
图12是图像解码器的框图,其中应用了根据本发明的示范性实施方式的用于图像内部预测解码的设备;以及
图13是示出了根据本发明的示范性实施方式的图像内部预测解码的方法的流程图。
具体实施方式
在一些图像中,可能希望采用位于将被内部预测的当前模块的下面或右边的模块的像素值根据压缩效率来执行内部预测。根据传统的模块处理次序,因为还没有处理位于当前模块下面或右边的模块,甚至当它们的使用提供了高压缩效率时也不能被利用。本发明的示范性实施方式提供了一个新的模块处理次序,其中除传统的模块处理次序之外,可以利用位于当前模块的下面或右边的模块的像素值来执行内部预测,以及提供了一种利用新的模块处理次序的用于图像内部预测编码/解码的方法和设备。
图5是图像编码器100的框图,其中应用了根据本发明的示范性实施方式的用于图像内部预测编码的设备。
参照图5,图像编码器100包括运动估计单元102、运动补偿单元104、内部预测单元106、变换单元108、量化单元110、重组单元112、熵编码单元114、反量化单元116、逆变换单元118、滤波器120以及帧存储器122。该内部预测单元106是根据本发明的示范性实施方式的用于图像内部预测编码的设备。
为了内部预测,运动估计单元102搜索当前图像的宏模块的预测值的参考图像。当参考模块在1/2像素单位或1/4像素单位中被发现时,运动补偿单元104计算参考模块的中间像素值来确定参考模块数据。中间预测以这种方式通过运动估计单元102和运动补偿单元104来执行。
内部预测单元106在当前图像中搜索用于内部预测的当前图像的宏模块的预测值。特别地,根据本发明的示范性实施方式,内部预测单元106将输入宏模块分成具有预定尺寸的子模块,并根据不同于传统模块处理次序的预定模块处理次序,在每个子模块上执行内部预测。更特别地,内部预测单元106根据预定的子模块处理次序来执行内部预测,该次序允许使用位于要被内部预测的当前子模块下面和/或右边的子模块的像素值,从而根据图像特征来提供高压缩效率。
一旦通过中间预测或内部预测发现了由当前帧的宏模块涉及的预测数据,该数据就从当前帧的宏模块中提取出来,由变换单元108变换,并且接着由量化单元110量化。在除去运动估计参考模块之后保留的当前帧的部分宏模块被称为残余(residue)。通常,残余被编码以减少图像编码内的数据量。量化的残余通过重组单元112被处理并在熵编码单元114中被编码。
为了获得用于中间预测的参考图像,由反量化单元116和逆变换单元118处理量化图像,且因此重组当前图像。该重组的当前图像由执行分块滤波(deblockingfiltering)的滤波器120来处理,并且接着被存储在帧存储器122中,供下一个图像的中间预测中使用。
图6是图5的内部预测单元106的框图。
参考图6,内部预测单元106包括内部预测执行单元106a和预测模式确定单元106b。
该内部预测执行单元106a通过在各种大小的子模块的单元中执行内部预测来形成预测的图像。更特别地,内部预测执行单元106a将输入模块分为具有预定尺寸的子模块,且在每个输入模块和每个子模块上执行内部预测。例如,如果输入一个16×16的宏模块,内部预测执行单元106a在16×16宏模块上执行内部预测,将16×16宏模块分成8×8或4×4子模块,并且接着在每个8×8或4×4子模块上执行内部预测。
特别地,内部预测执行单元106a除了根据从左到右且从顶部到底部的处理模块的传统光栅扫描方案的传统模块处理次序外,还根据在分离的宏模块的4个拐角位置由子模块垂直和水平地处理的新的子模块处理次序,在每个8×8或4×4子模块上执行内部预测。新的子模块处理次序能根据图像特征提供更高的压缩效率。这是因为当图像具有特殊的方向性时,根据将被内部预测的模块的处理次序,可以增强涉及用于内部预测的相邻模块之间的相关性,且因此减少将被压缩编码的残余的尺寸。
图7A到7J示出了内部预测执行单元106a处理子模块的处理次序。图8A到8J示出了对应于图7A到7J所示的处理次序的可能的内部预测方向。在图7A到7J中,假定最外面的正方形表示16×16宏模块,且包括在最外面的正方形中的16个正方形表示4×4子模块。另外,虚线示出的5号子模块表示要被内部预测的当前子模块,而和5号子模块相邻的标记的区域表示可以用于5号子模块的内部预测的相邻子模块的像素。图7A到7G中的参考数字10a到10g指示了可以适当使用图7A到7G所示的子模块处理次序的图像方向。
如上所述,内部预测执行单元106a根据预定的子模块处理次序,从宏模块的4个拐角上的一个的子模块,执行内部预测。当根据预定的子模块处理次序来执行内部预测时,采用了位于当前子模块的右边和/或下面的至少相邻子模块的像素值。
参考图7A,当根据以矩阵 表示的子模块处理次序而从0号子模块到15号子模块执行内部预测时,可以利用位于当前子模块的右边和上面的相邻子模块的像素值,在每个当前子模块上执行内部预测。
参照图7B,当根据以矩阵 表示的子模块处理次序而从0号子模块到15号子模块执行内部预测时,可以利用位于当前子模块的左边和下面的相邻子模块的像素值,在每个当前子模块上执行内部预测。
参照图7C,当根据以矩阵 表示的子模块处理次序而从0号子模块到15号子模块执行内部预测时,可以利用位于当前子模块的右边和下面的相邻子模块的像素值,在每个当前子模块上执行内部预测。
参照图7D,当根据以矩阵 表示的子模块处理次序而从0号子模块到15号子模块执行内部预测时,可以利用位于当前子模块的左边和上面的相邻子模块的像素值,在每个当前子模块上执行内部预测。
参照图7E,当根据以矩阵 表示的子模块处理次序而从0号子模块到15号子模块执行内部预测时,可以利用位于当前子模块的右边和上面的相邻子模块的像素值,在每个当前子模块上执行内部预测。
参照图7F,当根据以矩阵 表示的子模块处理次序而从0号子模块到15号子模块执行内部预测时,可以利用位于当前子模块的左边和下面的相邻子模块的像素值,在每个当前子模块上执行内部预测。
参照图7G,当根据以矩阵 表示的子模块处理次序而从0号子模块到15号子模块执行内部预测时,可以利用位于当前子模块的右边和下面的相邻子模块的像素值,在每个当前子模块上执行内部预测。
如图7H到7J中示出的,内部预测执行单元106a可以利用位于当前子模块的右边和/或下面的相邻子模块的像素值,通过改变根据图4A和4B中所示的H.264标准的4×4模块处理次序,来执行内部预测。
换句话说,当根据如矩阵 和 表示的子模块处理次序,从0号子模块到15号子模块执行内部处理的时候,可以利用位于当前子模块的右边和下面的相邻子模块的像素值,在每个当前子模块上执行内部预测。图7H到7J中的参考数字10h到10j表示可以适当使用图7H到7J所示的子模块处理次序的图像方向。
参照示出了对应于图7A到7J的内部预测方向的图8A到8J,像根据图3中示出的H.264标准的用于4×4内部预测模式的内部预测方向,内部预测执行单元106a可以利用根据各种子模块处理次序已经处理的相邻子模块的像素值,通过预测要被编码的当前子模块的像素值,来形成预测的模块。
在根据本发明的示范性实施方式的子模块处理次序的内部预测中,可以利用与传统索引一样的索引来表示内部预测方向(模式),且由索引表示的内部预测方向具有各种方向性来表示相邻模块的像素,其可以用于子模块的内部预测。换句话说,当根据图7A到7J示出的子模块处理次序来执行内部预测时,用一种表示传统的预测方向(或模式)的索引来代替设置一种表示了每个模块处理次序的内部预测方向(或模式)的单独索引。例如,当根据图7A示出的模块处理次序来执行内部预测时,内部预测执行单元106a根据图8A示出的预测方向之一,利用相邻模块的像素值来执行内部预测。在这个时候,当i是表示了内部预测的索引时,i=0表示传统的垂直模式,i=1表示修改的水平模式,其中与将被内部预测的当前模块右边相邻的样本被水平扩展,i=2表示传统的DC模式,i=3表示传统的左向下对角线模式,且i=4表示传统的右向下对角线模式。换句话说,当根据如图7A到7J所示的模块处理次序来执行内部预测时,采用了表示传统预测方向的索引,而不是如图8A到8J中所示的设置表示内部预测方向的单独索引。然而,索引表示的内部预测方向可以被适当地调整,使得可以采用根据本发明的示范性实施方式的模块处理次序的在前处理的相邻模块的像素。
重新参照图6,预测模式确定单元106b计算内部预测执行单元106a内部预测的图像的开销,并且利用各种尺寸的子模块单元以及预定的子模块处理次序,来确定最终的内部预测模式作为内部预测模式中开销最小的内部预测模式。换句话说,预测模式确定单元106b比较用原始图像与由16×16模块单位中的内部预测执行单元106a预测的图像,根据本发明的示范性实施方式的在预定子模块处理次序中的8×8子模块单位中的内部预测的图像,以及根据本发明的示范性实施方式的在预定子模块处理次序中的4×4子模块单位中的内部预测的图像之间的残余来计算的开销,由此确定用于当前图像的内部预测的最终内部预测模式。这里,开销计算可以利用各种方法来执行,例如绝对差值总和(SAD)开销函数、绝对变换差值总和(SATD)开销函数、平方差值总和(SSD)开销函数、绝对差值均值(MAD)开销函数以及拉格朗日开销函数。SAD是4×4模块的预测残余的绝对值的总和。SATD是通过应用Hadamard变换来获得系数的绝对值的总和,以预测4×4模块的残余。SSD是4×4模块预测样本的预测残余的平方和。MAD是4×4模块预测样本的预测残余的绝对值的平均值。拉格朗日开销函数是包括比特流长度信息的修改的开销函数。
预测模式确定单元106b给要被编码的比特流的报头增加有关确定的内部预测模式,即,有关用于内部预测的子模块的尺寸以及预定子模块处理次序的信息。
图9示出了通过根据本发明的示范性实施方式的用于图像内部预测编码的设备所编码的一种图像,图10示出了当宏模块A由根据本发明的示范性实施方式的用于图像内部预测编码的装置来内部预测时,包括在图9的宏模块A中的子模块的内部预测方向。
参照图9,将待编码的当前宏模块A包括从左下角到右上角延伸的边缘成分。在这种情况下,当它根据图7B中所示的矩阵 表示的子模块处理次序被内部预测时,与它根据传统的光栅扫描方案而被内部预测时相比,当前模块A以更少的开销被编码。这样,当如图9所示的具有特殊方向性的图像被内部预测时,通过根据各种子模块处理次序以各种尺寸的子模块的单位来执行内部预测,确定具有最小开销的内部预测模式,并且以确定的内部预测模式而不是利用传统的统一的子模块处理次序来执行内部预测,可以实现高压缩效率,尽管会增加编码的时间。参照图10,可以看到,通过允许在每个子模块的内部预测中使用的相邻子模块的像素的恰当选择,根据本发明的各种示范性实施方式的子模块处理次序可以很好的反映图像的方向性。
图11是示出了根据本发明的示范性实施方式的图像内部预测编码方法的流程图。
首先,在操作200中,执行对将在预定尺寸的模块单位内编码的图像的内部预测。更特别地,在操作201中,在16×16宏模块单位中内部预测输入图像,并且在操作203,16×16宏模块被分成8×8子模块,同时在8×8子模块单位中执行内部预测。在操作205中,16×16宏模块被分成4×4子模块且在4×4子模块单位中执行内部预测。特别地,当在4×4子模块单位中执行内部预测时,根据图7A到7J中示出的预定子模块处理次序来执行内部预测,从而允许使用用于内部预测的位于当前模块的右边和/或下面的相邻模块的像素值。
当在8×8子模块单位中执行内部预测时,可以根据除传统的子模块处理次序之外的以矩阵 以及 表示的子模块处理次序来执行内部预测。
接下来,比较各种尺寸的模块单位中的以及根据预定的模块处理次序的内部预测的图像的开销,且确定具有最小开销的内部预测模式作为最终的内部预测模式。在操作210中利用最终的内部预测模式在当前输入模块上执行内部预测。
在操作220中,通过向图像解码器提供有关子模块的尺寸以及用于内部预测的子模块处理次序的信息,向压缩编码的比特流的报头增加有关最终内部预测模式的信息,以便有效的图像解码。这里,有关确定的内部预测模式的信息可以通过增加表示子模块尺寸的模式位以及子模块处理次序到语法中来表示。
在8×8子模块的内部预测中,子模块处理次序可以改变,使得可以使用位于8×8子模块右边和/或下面的相邻模块的像素值。
图12是图像解码器的框图,其中应用了根据本发明的示范性实施方式的用于图像内部预测解码的设备。
参照图12,图像解码器包括熵解码单元302、重组单元304、反量化单元306、逆变换单元308、运动补偿单元310、内部预测单元312以及滤波器314。
熵解码单元302和重组单元304接收压缩的比特流并执行熵解码,从而生成一个量化系数X。反量化单元306和逆变换单元308执行反量化以及在量化系数X上执行逆变换,从而提取变换编码系数、运动向量信息以及报头信息。运动补偿单元310和内部预测单元312利用解码的报头信息根据编码的图像类型来生成预测的模块,同时预测模块被加入误差D’n以生成uF’n。由滤波器314处理uF’n,并且因此生成重组的图像F’n。
特别地,利用包括在比特流的报头中的内部预测模式信息,内部预测单元312确定子模块的尺寸以及用于内部预测的子模块处理次序。内部预测单元312根据确定的子模块处理次序来执行内部预测以生成预测的模块,并且增加残余到预测模块中,从而重组原始图像。
图13是示出了根据本发明的示范性实施方式的图像内部预测解码方法的流程图。
参照图13,在操作400中,通过分析包括在输入比特流中的宏模块的报头,提取内部预测模式信息。
在操作405中,利用提取的内部预测模式信息,确定要被解码的当前宏模块是内部预测宏模块还是中间预测宏模块。在当前宏模块是中间预测宏模块时,根据现有技术执行其中预测模块由参考图像生成的内部预测,从而在操作410中执行解码。
如果当前模块是内部预测宏模块,在操作415中确定用于当前宏模块的内部预测模式。
根据确定的内部预测模式通过执行内部预测来生成当前宏模块的预测模块,从而在操作420中执行解码。更特别地,在当前宏模块已经被内部预测为16×16内部模式时,在操作420b中执行传统的内部预测。在当前宏模块已经被内部预测为4×4内部模式或8×8内部模式时,从内部预测模式信息中提取有关子模块处理次序的信息,并且根据子模块处理次序来执行内部预测以生成预测模块,从而在操作420a或420c中执行解码。
如上所述,根据本发明的示范性实施方式,通过根据除传统模块处理次序之外的各种子模块处理次序执行内部预测,可以改进图像压缩效率。
本发明也可以被体现为计算机可读记录媒介上的计算机可读编码。计算机可读记录媒介是任意的数据存储设备,其能够存储其后被计算机***读取的数据。计算机可读记录媒介的例子包括只读存储器(ROM)、随机存储器(RAM)、CD-ROMs、磁带、软盘、光学数据存储设备以及载波。计算机可读记录媒介也可以是通过连接到计算机***的网络而分布,这样计算机可读编码可以以一种分布式的形式被存储及执行。
尽管参考其示范性实施方式来特别地示出和描述了本发明,但是本领域普通技术人员可以理解的是,如以下权利要求中定义的内容,在不背离本发明思想和范围的情况下,可以在形式和细节中进行各种修改。
本申请要求于2005年8月20日在韩国知识产权局提出的韩国专利申请No.10-2005-0076545的优先权,在此其公开的全部内容作为参考包含在本发明中。
Claims (12)
1、一种图像内部预测编码方法,该方法包括:
将输入模块分成预定尺寸的至少一个第一子模块;
利用位于所述至少一个第一子模块的上面、下面、左边、右边的相邻子模块中的至少一个相邻子模块的像素值,根据第一子模块处理次序,在该至少一个第一子模块上执行内部预测编码,
其中,所述输入模块被分为16个第一子模块,且第一子模块处理次序被表示为矩阵 以及 中的一个矩阵。
2、按照权利要求1的方法,其中,所述输入模块尺寸为16×16,且每个至少一个第一子模块尺寸为4×4。
3、按照权利要求1的方法,其中,根据所述第一子模块处理次序执行的内部预测中的内部预测方向具有不同的方向性,这些方向性用来指示用于当前第一子模块的内部预测的相邻模块的像素。
4、一种用于图像内部预测编码的设备,该设备包括一个内部预测单元,将一个输入模块分成预定尺寸的至少一个第一子模块,并且利用位于所述至少一个第一子模块的上面、下面、左边、右边的相邻子模块中的至少一个相邻子模块的像素值,根据第一子模块处理次序,在该至少一个第一子模块上执行内部预测编码,
其中,所述内部预测单元将输入模块分成16个第一子模块,且第一子模块处理次序被表示为矩阵 以及 中的一个矩阵。
5、按照权利要求4的设备,其中,所述输入模块尺寸为16×16,且每个所述至少一个第一子模块尺寸为4×4。
6、按照权利要求4的设备,其中,根据第一子模块处理次序执行的内部预测中的内部预测方向具有不同的方向性,这些方向性用来指示用于当前第一子模块的内部预测的相邻模块的像素。
7、一种图像内部预测解码方法,其中,接收编码的图像的比特流并解码内部预测,该方法包括:
从比特流中提取内部预测模式信息;
基于提取的内部预测模式信息,确定要被解码的当前宏模块的至少一个子模块的处理次序;以及
根据所确定的子模块处理次序,在子模块上执行内部预测解码,从而形成预测的模块,
其中,当所述当前宏块被分为16个子模块时,其允许使用位于用于内部预测解码的当前子模块的上面、下面、左边、右边的相邻子模块中的至少一个相邻子模块的像素值,所述确定的子模块处理次序被表示为矩阵 或
8、按照权利要求7的方法,其中,每个子模块的尺寸是4×4。
9、按照权利要求7的方法,其中,所述内部预测模式信息包括有关用于内部预测的预定模块的尺寸信息。
10、一种用于图像内部预测解码的设备,其中,接收解码图像的比特流并解码内部预测,该设备包括:
从比特流提取内部预测模式信息的提取单元;以及
内部预测单元,基于提取的内部预测模式信息,确定要被解码的当前宏模块的至少一个子模块的处理次序,并且根据所确定的子模块处理次序,在子模块上执行内部预测解码,从而形成预测模块,
其中,当所述当前宏块被分为16个子模块时,其允许使用用于内部预测解码的当前子模块的上面、下面、左边、右边的相邻子模块中的至少一个相邻子模块的像素值,所述确定的子模块处理次序被表示为矩阵 或
11、按照权利要求10的设备,其中,每个子模块的尺寸是4×4。
12、按照权利要求10的设备,其中,内部预测模式信息包括有关用于内部预测的预定模块的尺寸信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR76545/05 | 2005-08-20 | ||
KR1020050076545A KR100667808B1 (ko) | 2005-08-20 | 2005-08-20 | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1937775A CN1937775A (zh) | 2007-03-28 |
CN100586187C true CN100586187C (zh) | 2010-01-27 |
Family
ID=37767293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200610144747A Expired - Fee Related CN100586187C (zh) | 2005-08-20 | 2006-08-21 | 用于图像内部预测编码/解码的方法和设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8194749B2 (zh) |
KR (1) | KR100667808B1 (zh) |
CN (1) | CN100586187C (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108702504A (zh) * | 2016-02-17 | 2018-10-23 | 日本放送协会 | 编码装置、解码装置以及程序 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5082548B2 (ja) * | 2007-03-30 | 2012-11-28 | 富士通株式会社 | 画像処理方法、符号化器および復号化器 |
KR101496324B1 (ko) * | 2007-10-17 | 2015-02-26 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
KR101439847B1 (ko) | 2008-01-02 | 2014-09-16 | 삼성전자주식회사 | 부호화 정보의 압축률 향상을 이용한 영상 부호화, 복호화방법 및 장치 |
KR101356448B1 (ko) * | 2008-10-01 | 2014-02-06 | 한국전자통신연구원 | 예측 모드를 이용한 복호화 장치 |
US8867854B2 (en) | 2008-10-01 | 2014-10-21 | Electronics And Telecommunications Research Institute | Image encoder and decoder using undirectional prediction |
US8150195B2 (en) * | 2008-10-03 | 2012-04-03 | Sony Corporation | Adaptive prediction using a dimensionality reduction process |
EP2392141A1 (fr) * | 2009-01-28 | 2011-12-07 | France Telecom | Procede et dispositif de codage d'une image utilisant un masque de prediction, procede et dispositif de decodage, signal et programmes d'ordinateur correspondants |
WO2010086548A1 (fr) * | 2009-01-28 | 2010-08-05 | France Telecom | Procede et dispositif de codage d'une image, procede et dispositif de decodage, et programmes d'ordinateur correspondants |
KR20110061468A (ko) * | 2009-12-01 | 2011-06-09 | (주)휴맥스 | 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치 |
CN102098519B (zh) * | 2009-12-09 | 2013-04-17 | 浙江大学 | 视频编码方法、解码方法、编码及解码装置 |
CN106131557A (zh) * | 2010-06-07 | 2016-11-16 | 数码士有限公司 | 解码高分辨率图像的方法和装置 |
US8855188B2 (en) * | 2010-07-15 | 2014-10-07 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based on mapping |
US8837577B2 (en) * | 2010-07-15 | 2014-09-16 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based upon prediction type |
US8879619B2 (en) * | 2010-07-15 | 2014-11-04 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based on scan order |
US8873617B2 (en) * | 2010-07-15 | 2014-10-28 | Sharp Laboratories Of America, Inc. | Method of parallel video coding based on same sized blocks |
KR20120047081A (ko) * | 2010-11-03 | 2012-05-11 | 삼성전자주식회사 | 방향성에 따라 처리 순서를 조정하는 영상 처리 방법 및 장치 |
WO2012120908A1 (ja) | 2011-03-09 | 2012-09-13 | パナソニック株式会社 | 動画像符号化装置および動画像符号化方法 |
EP2685719B1 (en) | 2011-03-09 | 2019-10-30 | Panasonic Intellectual Property Corporation of America | Video image decoding device |
US8964849B2 (en) * | 2011-11-01 | 2015-02-24 | Blackberry Limited | Multi-level significance maps for encoding and decoding |
CA2773990C (en) * | 2011-11-19 | 2015-06-30 | Research In Motion Limited | Multi-level significance map scanning |
US10863184B2 (en) * | 2012-08-15 | 2020-12-08 | Texas Instruments Incorporated | Fast intra-prediction mode selection in video coding |
KR101499558B1 (ko) * | 2014-03-31 | 2015-03-09 | 삼성전자주식회사 | 영상의 복호화 방법 |
KR101608888B1 (ko) | 2014-11-13 | 2016-04-21 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 방법 및 장치 |
KR101608895B1 (ko) | 2014-11-13 | 2016-04-21 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 방법 및 장치 |
KR101608885B1 (ko) | 2014-11-13 | 2016-04-05 | 에스케이텔레콤 주식회사 | 영상 부호화/복호화 방법 및 장치 |
CN109417637B (zh) * | 2016-04-26 | 2021-12-07 | 英迪股份有限公司 | 用于编码/解码图像的方法和设备 |
WO2018174617A1 (ko) | 2017-03-22 | 2018-09-27 | 한국전자통신연구원 | 블록 형태에 기반한 예측 방법 및 장치 |
JP7379543B2 (ja) | 2019-06-03 | 2023-11-14 | エルジー エレクトロニクス インコーポレイティド | マトリックスに基づくイントラ予測装置及び方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001218210A (ja) * | 2000-02-02 | 2001-08-10 | Sony Corp | ノイズ検出方法、ノイズ検出装置、画像データ処理装置、記録媒体 |
US6724818B1 (en) * | 2000-07-17 | 2004-04-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Alternative block orders for better prediction |
FI114679B (fi) | 2002-04-29 | 2004-11-30 | Nokia Corp | Satunnaisaloituspisteet videokoodauksessa |
US7170937B2 (en) * | 2002-05-01 | 2007-01-30 | Texas Instruments Incorporated | Complexity-scalable intra-frame prediction technique |
WO2004030369A1 (en) * | 2002-09-27 | 2004-04-08 | Videosoft, Inc. | Real-time video coding/decoding |
MXPA05007449A (es) * | 2003-01-10 | 2005-09-12 | Thomson Licensing Sa | Definicion de filtros de interpolacion para ocultamiento de error en una imagen codificada. |
US20040179610A1 (en) * | 2003-02-21 | 2004-09-16 | Jiuhuai Lu | Apparatus and method employing a configurable reference and loop filter for efficient video coding |
JP4213646B2 (ja) * | 2003-12-26 | 2009-01-21 | 株式会社エヌ・ティ・ティ・ドコモ | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。 |
EP1605706A2 (en) * | 2004-06-09 | 2005-12-14 | Broadcom Corporation | Advanced video coding (AVC) intra prediction scheme |
-
2005
- 2005-08-20 KR KR1020050076545A patent/KR100667808B1/ko not_active IP Right Cessation
-
2006
- 2006-08-21 CN CN200610144747A patent/CN100586187C/zh not_active Expired - Fee Related
- 2006-08-21 US US11/506,893 patent/US8194749B2/en not_active Expired - Fee Related
Non-Patent Citations (2)
Title |
---|
The intra prediction based on sub block. Zhu Gang et.al.Signal Processing,2004. Proceedings. ICSP'04. 2004 7th International Conference on,Vol.1 . 2004 |
The intra prediction based on sub block. Zhu Gang et.al.Signal Processing,2004. Proceedings. ICSP'04. 2004 7th International Conference on,Vol.1 . 2004 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108702504A (zh) * | 2016-02-17 | 2018-10-23 | 日本放送协会 | 编码装置、解码装置以及程序 |
US11153572B2 (en) | 2016-02-17 | 2021-10-19 | Nippon Roso Kyokai | Encoding device, decoding device, and program |
US11750822B2 (en) | 2016-02-17 | 2023-09-05 | Nippon Hoso Kyokai | Encoding device, decoding device, and program |
Also Published As
Publication number | Publication date |
---|---|
KR100667808B1 (ko) | 2007-01-11 |
US20070041450A1 (en) | 2007-02-22 |
US8194749B2 (en) | 2012-06-05 |
CN1937775A (zh) | 2007-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100586187C (zh) | 用于图像内部预测编码/解码的方法和设备 | |
KR101365570B1 (ko) | 인트라 예측 부호화, 복호화 방법 및 장치 | |
US9787988B2 (en) | Image-filtering method and apparatus, and encoding/decoding method and apparatus using same | |
KR100739714B1 (ko) | 인트라 예측 모드 결정 방법 및 장치 | |
KR100750145B1 (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
KR101211665B1 (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
KR100727972B1 (ko) | 영상의 인트라 예측 부호화, 복호화 방법 및 장치 | |
CN100574446C (zh) | 视频编码/解码的装置和方法及其记录介质 | |
CN101715135B (zh) | 基于匹配模板的自适应帧内预测滤波编码方法 | |
CN1925619B (zh) | 视频编码和解码的装置和方法 | |
CN101345876B (zh) | 视频编码中的帧内预测编码设备及编码方法 | |
CN101325707B (zh) | 纹理自适应视频编解码*** | |
CN100539702C (zh) | 用于图像编码和解码的装置及方法 | |
CN104796714A (zh) | 使用平面表达的增强帧内预测编码 | |
CN102057680A (zh) | 运动图像编码/解码方法和装置 | |
KR20130098122A (ko) | 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법 | |
CN113965763A (zh) | 视频转码的跨编解码器编码优化 | |
CN101621689A (zh) | Mpeg到h.264/avc视频编码转换*** | |
KR101366088B1 (ko) | 인트라 예측 부호화, 복호화 방법 및 장치 | |
KR20060008527A (ko) | Dct 계수를 기초로 인트라 예측 모드를 결정하는트랜스코더 및 트랜스코딩 방법 | |
KR101390195B1 (ko) | 인트라 예측 부호화, 복호화 방법 및 장치 | |
WO2022164853A1 (en) | Dynamically biasing mode selection in video encoding | |
CN102413330A (zh) | 一种纹理自适应视频编解码*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100127 Termination date: 20190821 |
|
CF01 | Termination of patent right due to non-payment of annual fee |