WO2011071316A2 - 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법 - Google Patents

영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법 Download PDF

Info

Publication number
WO2011071316A2
WO2011071316A2 PCT/KR2010/008777 KR2010008777W WO2011071316A2 WO 2011071316 A2 WO2011071316 A2 WO 2011071316A2 KR 2010008777 W KR2010008777 W KR 2010008777W WO 2011071316 A2 WO2011071316 A2 WO 2011071316A2
Authority
WO
WIPO (PCT)
Prior art keywords
intra prediction
prediction error
prediction mode
unit
intra
Prior art date
Application number
PCT/KR2010/008777
Other languages
English (en)
French (fr)
Other versions
WO2011071316A3 (ko
Inventor
김수년
임정연
이규민
최재훈
김용구
최윤식
최영호
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/514,552 priority Critical patent/US9271000B2/en
Publication of WO2011071316A2 publication Critical patent/WO2011071316A2/ko
Publication of WO2011071316A3 publication Critical patent/WO2011071316A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • Embodiments of the present invention relate to an image encoding apparatus and method, a transform encoding apparatus and method used therein, a converter generating apparatus and method, and an image decoding apparatus and method. More specifically, by transform-coding the intra prediction error by adaptively generating the transformer according to the characteristic change of the image as well as the intra prediction mode for the specific coding unit, the performance of the intra prediction coding is greatly increased without adding any additional information.
  • a video encoding apparatus and method which can be improved, a transform encoding apparatus and method used therein, a converter generating apparatus and method, and a video decoding apparatus and method.
  • the basic principle of compressing data is to eliminate redundancy in the data. Spatial overlap, such as the same color or object repeating in an image, temporal overlap, such as when there is almost no change in adjacent frames in a movie frame, or the same note over and over in audio, or high frequency of human vision and perception Data can be compressed by removing the psychological duplication taking into account the insensitive to.
  • H.264 is a digital video codec standard with a very high data compression ratio, also called MPEG-4 Part 10 or Advanced Video Coding (AVC).
  • AVC Advanced Video Coding
  • This standard is based on the Video Coding Experts Group (VCEG) of the International Telecommunication Union Telecommunication Standardization Sector (ITU-T) and the International Standardization Organization / International Electrotechnical Commission (ISO / IEC). This is the result of MPEG jointly forming and standardizing a Joint Video Team.
  • VCEG Video Coding Experts Group
  • ITU-T International Telecommunication Union Telecommunication Standardization Sector
  • ISO / IEC International Electrotechnical Commission
  • the temporal prediction is performed by referring to a reference block 122 of another temporal frame 120 that is adjacent in time when predicting the current block 112 of the current frame 110. to be. That is, in inter-prediction of the current block 112 of the current frame 110, the adjacent reference frame 120 is searched for in time, and the reference block (the most similar to the current block 112 in the reference frame 120) 122).
  • the reference block 122 is a block that can best predict the current block 112, and the block having the smallest sum of absolute difference (SAD) with the current block 112 may be the reference block 122.
  • the reference block 122 becomes a prediction block of the current block 112, and generates a residual block by subtracting the reference block 122 from the current block 112.
  • the generated residual block is encoded and inserted into the bitstream.
  • the relative difference between the position of the current block 112 in the current frame 110 and the position of the reference block 122 in the reference frame 120 is called a motion vector 130, and the motion vector 130 is also a residual block.
  • Temporal prediction is also referred to as inter prediction or inter prediction.
  • Spatial prediction is to obtain the prediction pixel value of the target block by using the reconstructed pixel value of the reference block adjacent to the target block in one frame, and directional intra-prediction (hereinafter referred to simply as intra prediction) It is also called intra prediction.
  • intra prediction directional intra-prediction
  • H.264 specifies encoding / decoding using intra prediction.
  • Intra prediction is a method of predicting values of a current subblock by copying in a predetermined direction by using adjacent pixels in up and left directions for one sub-block, and encoding only the difference.
  • the prediction block for the current block is generated based on another block having the previous coding order.
  • a value obtained by subtracting the current block and the prediction block is coded.
  • the video encoder according to H.264 selects, for each block, a prediction mode in which the difference between the current block and the prediction block is minimal among the prediction modes.
  • Intra prediction according to the H.264 standard is illustrated in FIG. 2 in consideration of the position of adjacent pixels and the direction of the prediction used to generate predicted pixel values of 4 x 4 luma blocks and 8 x 8 luma blocks.
  • Nine prediction modes as defined. The nine prediction modes are vertical prediction mode (prediction mode 0), horizontal prediction mode (prediction mode 1), DC prediction mode (prediction mode 2), Diagonal_Down_Left prediction mode (prediction mode 3), Diagontal_Down_Right prediction mode (depending on the prediction direction).
  • Prediction mode 4 Vertical_Right prediction mode (prediction mode 5), Horizontal_Down prediction mode (prediction mode 6), Vertical_Left prediction mode (prediction mode 7), and Horizontal_Up prediction mode (prediction mode 8).
  • the DC prediction mode uses an average value of eight adjacent pixels.
  • prediction mode 3 is that.
  • the same four prediction modes are also used for intra prediction processing on 8 x 8 chroma blocks.
  • FIG. 3 shows an example of labeling for explaining the nine prediction modes of FIG. 2.
  • a prediction block (region including a to p) for the current block is generated using the samples A to M that are decoded in advance. If E, F, G, and H cannot be decoded in advance, E, F, G, and H can be virtually generated by copying D to their positions.
  • FIG. 4 is a diagram for describing nine prediction modes of FIG. 2 using FIG. 3.
  • the prediction block predicts the pixel value with the same pixel value for each vertical line. That is, the pixels of the prediction block predict the pixel value from the nearest pixels of the reference block located above the prediction block, and the reconstructed pixel values of the adjacent pixel A are converted into the first column pixels a, pixel e, pixel i and Set to the predicted pixel value for pixel m.
  • second column pixel b, pixel f, pixel j and pixel n are predicted from the reconstructed pixel values of adjacent pixel B
  • third column pixel c, pixel g, pixel k and pixel o are Predicted from the reconstructed pixel values
  • fourth column pixel d, pixel h, pixel l and pixel p predicts from the reconstructed pixel values of adjacent pixel D.
  • a prediction block is generated in which the prediction pixel values of each column are the pixel values of pixel A, pixel B, pixel C and pixel D.
  • the prediction block predicts the pixel value with the same pixel value for each horizontal line. That is, the pixels of the prediction block predict the pixel value from the nearest pixels of the reference block located to the left of the prediction block, and the reconstructed pixel value of the adjacent pixel I is determined by the first row of pixels a, pixel b, pixel c and Set to the predicted pixel value for pixel d.
  • the second row pixels e, pixel f, pixel g and pixel h are predicted from the reconstructed pixel values of adjacent pixel J
  • the third row pixel i, pixel j, pixel k and pixel l are Predicted from the reconstructed pixel values
  • the fourth row pixel m, pixel n, pixel o and pixel p predicts from the reconstructed pixel values of adjacent pixel D.
  • a prediction block is generated in which the prediction pixel values of each row are the pixel values of pixel I, pixel J, pixel K, and pixel L.
  • the pixels of the prediction block are equally replaced by the average of the pixel values of the upper pixels A, B, C and D and the left pixels I, J, K and L.
  • the pixels of the prediction block in the prediction mode 3 are interpolated in the lower left direction at a 45 ° angle between the lower-left and the upper-right, and the prediction in the prediction mode 4
  • the pixels of the block are extrapolated in the lower right direction at a 45 ° angle.
  • the pixels of the prediction block in the prediction mode 6 are extrapolated in the lower right direction at an angle of about 26.6 ° horizontally, and the pixels of the prediction block in the prediction mode 7 are in the lower left direction at about 26.6 ° angle from the vertical Extrapolated, the pixels of the predictive block in the case of the prediction mode 8 are interpolated in an upward direction of about 26.6 degrees from the horizontal.
  • the pixels of the prediction block may be generated from a weighted average of pixels A to M of the reference block to be decoded in advance.
  • the pixel d located at the top right of the prediction block may be estimated as in Equation 1.
  • round () is a function that rounds to integer places.
  • the 16 ⁇ 16 prediction model for the luminance component includes four modes of prediction mode 0, prediction mode 1, prediction mode 2, and prediction mode 3.
  • prediction mode 1 the pixels of the prediction block are extrapolated from the upper pixels, and in prediction mode 1, the pixels are extrapolated from the left pixels.
  • prediction mode 2 the pixels of the prediction block are calculated as an average of upper pixels and left pixels.
  • prediction mode 3 a linear "plane" function is used that fits the upper and left pixels. This mode is more suitable for areas where the luminance changes smoothly.
  • the pixel value of the prediction block is generated according to the direction corresponding to each mode based on the adjacent pixels of the prediction block to be currently encoded.
  • the prediction error between the prediction value predicted by each prediction mode and the current pixel value is transform-coded using a discrete cosine transform (DCT) based integer transform method, which is 4x4 and 16x16 intra prediction modes according to the block size.
  • DCT discrete cosine transform
  • an integer transformation of 4x4 unit is applied, and when using an 8x8 intra prediction mode, an integer transformation of 8x8 unit is applied.
  • ITU-T's Video Coding Expert Group has evolved to further improve the performance of intra prediction coding, including Shiodera Taichiro, Akiyuki Tanizawa, Takeshi Chujoh, and tomoo Yamakage (“Improvement of Bidirectional Intra Prediction”, ITU-T SG16 / Q.6 Doc.VCEG-AG08, Oct. 2007) further diversifies the orientation of pixel values used for intra prediction to increase the number of intra prediction modes, and introduces intra prediction techniques by weighted sum of the two intra prediction modes. Improved the performance of the encoding.
  • this technique has the disadvantage that as the number of intra prediction modes to be considered is increased by four times, the amount of computation for finding the optimal mode is greatly increased, and the amount of additional information for encoding the same is increased.
  • an embodiment of the present invention is to effectively remove spatial redundancy remaining in the prediction error to obtain a higher energy concentration effect, and to more efficiently transform-code the prediction error after intra prediction.
  • An object of the present invention is to provide a transform encoding apparatus and method, a converter generating apparatus and method, and a video decoding apparatus and method used therein.
  • an image encoding apparatus includes an intra prediction error that aggregates prediction errors of blocks having the same intra prediction mode among macroblocks of a predetermined unit encoded before a current macroblock. Confluence; A converter generator generating unit for generating a converter for each intra prediction mode based on the prediction error collected by the intra prediction error collector; An intra predictor for predicting a pixel value of a current pixel using neighboring pixels of a target block in a current frame according to a directional intra prediction mode, and generating a prediction error based on a difference from the current pixel; And a transform encoding unit for transform encoding the prediction error generated by the intra prediction unit by using the transformer generated by the transformer generation unit.
  • the transformer bottom generator includes a correlation matrix calculator that calculates an autocorrelation matrix for a set of prediction errors collected by the intra prediction error collector.
  • the transducer generation generator generates a Karhunen-Loeve Transform (KLT) based transducer based on the autocorrelation matrix calculated by the correlation matrix calculator.
  • KLT Karhunen-Loeve Transform
  • the transformer bottom generation unit may further include a correlation matrix calculation unit that calculates an autocorrelation matrix for a set of prediction errors collected by the intra prediction error aggregation unit; And an eigenvector calculator for calculating an eigenvector from the autocorrelation matrix calculated by the correlation matrix calculator.
  • the transform encoder preferably transform-codes the prediction error generated by the intra predictor using the calculated eigenvectors.
  • the transform encoding apparatus in the transform encoding apparatus for transforming and encoding the prediction error generated by the difference between the pixel predicted by the intra prediction apparatus and the current pixel, An intra prediction error aggregation unit that aggregates prediction errors of blocks having the same intra prediction mode among macroblocks encoded in a predetermined unit before the current macroblock; And a converter bottom generator for generating a converter for each intra prediction mode based on the prediction error collected by the intra prediction error collector.
  • the transform encoding apparatus preferably transform-codes the prediction error generated by the intra prediction apparatus by using the transformer generated by the transformer generation unit.
  • the intra prediction error aggregation unit aggregates the prediction errors into a set as in the following equation,
  • Is an intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock Indicates the number of blocks determined as Is an intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock.
  • the transform encoding apparatus may further include a correlation matrix calculation unit configured to calculate an autocorrelation matrix for a set of prediction errors collected by the intra prediction error aggregation unit based on the following equation.
  • the transducer generation generator generates the transducer using the calculated autocorrelation matrix.
  • Intra prediction mode Represents a 4x4 autocorrelation matrix for a column vector signal of 4x4 intra prediction error determined as Has a value from 0 to 8 as an index pointing to the number of 4x4 intra prediction modes, Is an intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock. Indicates the number of blocks determined as Is an intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock. Represents a set of 4x4 prediction error blocks of the blocks determined as of The fourth element represents one 4x4 prediction error block.
  • the transform encoding apparatus may further include a correlation matrix calculation unit configured to calculate an autocorrelation matrix for a set of prediction errors collected by the intra prediction error aggregation unit based on the following equation.
  • the transducer generation generator generates the transducer using the calculated autocorrelation matrix.
  • Intra prediction mode Represents a 4x4 autocorrelation matrix for a row vector signal of 4x4 intra prediction error determined as Has a value from 0 to 8 as an index pointing to the number of 4x4 intra prediction modes, Is an intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock. Indicates the number of blocks determined as Is an intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock. Represents a set of 4x4 prediction error blocks of the blocks determined as of The fourth element represents one 4x4 prediction error block.
  • a converter generator generating apparatus includes a converter block generating apparatus for generating a converter for an intra prediction mode, wherein macroblocks of a predetermined unit encoded before a current macroblock are encoded.
  • An intra prediction error aggregation unit that aggregates prediction errors of blocks having the same intra prediction mode among them;
  • a correlation matrix calculator for calculating an autocorrelation matrix for a set of prediction errors collected by an intra prediction error collector;
  • an eigenvector calculator for calculating an eigenvector from the autocorrelation matrix calculated by the correlation matrix calculator.
  • the converter generation device generates a converter for each intra prediction mode based on the eigenvectors calculated by the eigenvector calculator.
  • the transducer generation apparatus generates a KLT based transducer based on the autocorrelation matrix and the eigenvector.
  • an intra prediction apparatus predicts pixel values of a current pixel using neighboring pixels of a target block in a current frame according to a directional intra prediction mode.
  • An intra predictor which generates a prediction error through a difference of?
  • an intra prediction error aggregation unit that aggregates prediction errors of blocks having the same intra prediction mode among macroblocks encoded in a predetermined unit before the current macroblock.
  • the intra prediction apparatus may predict the prediction error for the macroblocks of a predetermined unit encoded before the current macroblock aggregated by the intra prediction error aggregation unit together with the prediction error for the current frame generated by the intra prediction unit. It is preferable to output.
  • an image decoding apparatus includes an intra prediction error that aggregates prediction errors of blocks having the same intra prediction mode among macroblocks of a predetermined unit decoded before the current macroblock.
  • Confluence A converter generator generating unit for generating a converter for each intra prediction mode based on the prediction error collected by the intra prediction error collector;
  • An intra prediction mode reading unit which reads an intra prediction mode of a target block to be decoded with respect to an input bitstream;
  • An inverse transformer for inversely transforming a prediction error for a target block by using a transformer corresponding to the intra prediction mode read by the intra prediction mode reading unit among the transformers generated by the transformer bottom generating unit; And predict the pixel value of the current pixel using the neighboring pixels of the target block in the current frame according to the intra prediction mode read by the intra prediction mode reading unit, and add a prediction error value inversely transformed by the inverse transform unit to add the current block.
  • It comprises a current block recovery unit for restoring the
  • the transformer bottom generation unit may include a correlation matrix calculation unit that calculates an autocorrelation matrix for aggregation of prediction errors aggregated by an intra prediction error aggregation unit; And an eigenvector calculator for calculating an eigenvector from the autocorrelation matrix calculated by the correlation matrix calculator. It is preferable to generate a KLT-based converter based on the autocorrelation matrix and the eigenvector.
  • an image encoding method aggregates prediction errors of blocks having the same intra prediction mode among macroblocks of a predetermined unit encoded before a current macroblock, and collects a current frame. Predicting the value of the current pixel using the neighboring pixels of the target block according to the directional intra prediction mode for and generating a prediction error through a difference between the predicted value and the value of the current pixel; Generating a transducer for each intra prediction mode based on the prediction error aggregated by the prediction error aggregation step; And transcoding the prediction error generated for the current frame using the converter generated by the converter generation step.
  • a transform encoding method is a transform encoding method for transforming and encoding a prediction error generated by a difference between a pixel predicted by an intra prediction apparatus and a current pixel. Aggregating prediction errors of blocks having the same intra prediction mode among macroblocks encoded in a predetermined unit before the macroblock; And generating a transducer for each intra prediction mode based on the prediction error aggregated by the prediction error aggregation step.
  • the transform encoding method preferably transform-codes the prediction error generated by the intra prediction apparatus by using the transformer generated by the transformer generation step.
  • the transform encoding method may further include calculating an autocorrelation matrix for a set of prediction errors aggregated by the prediction error aggregation step. In this case, it is preferable to generate the transducer bottom using the calculated autocorrelation matrix.
  • an image decoding method comprises the steps of: aggregating prediction errors of blocks having the same intra prediction mode among macroblocks of a predetermined unit decoded before the current macroblock; Generating a transformer for each intra prediction mode based on the prediction error aggregated by the intra prediction error step; Reading an intra prediction mode of a target block to be decoded with respect to an input bitstream; Inversely converting a prediction error for a target block by using a converter corresponding to the intra prediction mode read out by the intra prediction mode reading unit among the converters generated by the converter generation step; And predict the pixel value of the current pixel using the neighboring pixels of the target block in the current frame according to the intra prediction mode read by the intra prediction mode reading step, and add the prediction error value inversely transformed by the inverse transform step to add the current block. It characterized in that it comprises a step of restoring.
  • the transformer generation step may include calculating an autocorrelation matrix for aggregation of prediction errors aggregated by an intra prediction error aggregation step; And calculating an eigenvector from the autocorrelation matrix calculated by the correlation matrix calculation step.
  • transform information is encoded by adding an additional prediction information.
  • the performance of the intra prediction encoding is greatly improved, thereby greatly improving the compression efficiency of the video compression apparatus or the quality of the reconstructed image.
  • 1 is a diagram illustrating a general inter prediction.
  • FIG. 2 is a diagram illustrating directionality of the intra prediction mode.
  • FIG. 3 is a diagram illustrating an example of labeling for explaining an intra prediction mode of FIG. 2.
  • FIG. 4 is a diagram illustrating each of the intra prediction modes of FIG. 2.
  • FIG. 5A is a diagram illustrating the prediction mode 0 of the intra prediction modes of FIG. 2
  • FIG. 5B is a diagram illustrating the prediction mode 1 of the intra prediction modes of FIG. 2. to be.
  • FIG. 6 is a diagram schematically illustrating an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an image encoding method by the image encoding apparatus of FIG. 6.
  • FIG. 8 is a flowchart illustrating a transform encoding method according to another embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an example of a structure of a bitstream generated by the video encoding apparatus of FIG. 6.
  • FIG. 10 is a diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating an image decoding method by the image decoding apparatus of FIG. 10.
  • the image encoding apparatus 600 includes an intra prediction error converging unit 610, a transformer generator 620, an intra predictor 630, and a transform encoder 640.
  • the intra prediction error converging unit 610, the converter low generator 620, and the transform encoder 640 may also be referred to as a transform encoder.
  • the intra prediction error aggregation unit 610 aggregates prediction errors of blocks having the same intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock. That is, the intra prediction error aggregation unit 610 receives macroblocks encoded before a current macroblock in order to generate a transform basis for various intra prediction modes, and then selects the same intra prediction mode among the blocks for which the intra prediction mode is determined. Aggregate the prediction errors of blocks with In this case, since 9 types of intra prediction modes are defined in 4x4 intra mode and 8x8 intra mode, 9 types of 4x4 intra prediction error and 8x8 intra prediction error may be aggregated. In addition, since the 16x16 intra prediction mode is defined as four types of intra prediction modes, 16x16 intra prediction errors may be aggregated into four types. For example, the intra prediction errors for the 4x4 intra prediction mode may be aggregated into a set such as Equation 2.
  • the number of blocks determined as follows.
  • the converter generation unit 620 generates a converter for each intra prediction mode based on the size of the intra prediction block and the prediction error aggregated by the intra prediction error aggregation unit 610 according to the intra prediction mode.
  • the converter bottom is preferably generated based on the Karhunen-Loeve Transform (KLT), which is known to have the best energy concentration efficiency.
  • KLT Karhunen-Loeve Transform
  • the converter generation unit 620 may be implemented as an independent component, or may be configured to include a correlation matrix calculator 622 and an eigenvector calculator 624 as shown.
  • an intra prediction error converging unit 610, a correlation matrix calculating unit 622, and an eigenvector calculating unit 624 may be included to form a transformer generator.
  • the correlation matrix calculation unit 622 calculates an autocorrelation matrix for a set of prediction errors aggregated by the intra prediction error aggregation unit 610.
  • the intra prediction error block in Equation 2 Since is a two-dimensional signal, we need to create two transformation bases for the column vector signal and the row vector signal.
  • an autocorrelation matrix of intra prediction error In order to generate the KLT basis, an autocorrelation matrix of intra prediction error must be obtained, which can be obtained as in Equation 3 and Equation 4.
  • Intra prediction mode Represents a 4x4 autocorrelation matrix for a column vector signal of 4x4 intra prediction error determined as Is an index indicating the number of 4x4 intra prediction modes and has a value of 0 to 8. Also, Is an intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock. Indicates the number of blocks determined as Is an intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock. Represents a set of 4x4 prediction error blocks of the blocks determined as of The fourth element represents one 4x4 prediction error block. Also, in Equation 4 Intra prediction mode It represents a 4x4 autocorrelation matrix for the row vector signal of the 4x4 intra prediction error determined by.
  • the KLT basis for the 4x4 intra prediction error block can be obtained by using an eigenvector of an autocorrelation matrix.
  • the eigenvector calculator 624 calculates Equation 3 and equations calculated by the correlation matrix calculator 622. From the autocorrelation matrix such as 4, an eigenvector can be calculated as shown in Equations 5 and 6.
  • Equation (5) Is Means the eigenvector of Is Eigenvalue. Also, in Equation 6, Is Means the eigenvector of Is Eigenvalue. The eigenvectors satisfying the equations (5) and (6) are obtained and expressed as matrices, as in Equations 7 and 8.
  • Intra prediction mode KLT basis for the column vector signal of the prediction error block corresponding to Intra prediction mode The KLT basis for the row vector signal of the prediction error block corresponding to.
  • the intra predictor 630 predicts pixel values of the prediction block by using neighboring pixels of the target block in the current frame according to the directional intra prediction mode. In addition, the intra predictor 630 generates a prediction error through a difference between the pixel value of the target block and the pixel value of the prediction block. That is, the intra predictor 630 includes a difference unit (not shown) that calculates a difference between the target block and the prediction block.
  • the transform encoder 640 transform-codes the prediction error generated by the intra predictor 630 using the transformer generated by the transformer generator 620. Conversion of the two-dimensional signal using the above-described KLT basis is performed as in Equation (9).
  • Intra prediction mode Means a prediction error signal of silver Means the signal converted by KLT.
  • the method of generating the KLT basis for the intra prediction error of the 8x8 intra prediction mode is the same as that of the 4x4 intra prediction mode, and the KLT for the intra prediction error of the 16x16 intra prediction mode.
  • the basis generation method also reduces the number of intra prediction error sets and the number of KLT basis to four types, and the method is the same as that of the 4x4 intra prediction mode.
  • the KLT basis generated by the transformer generator 620 is not a transducer optimized for the prediction error generated by the intra predictor 630, there is a high correlation between the current frame and the previous frame due to the characteristics of a general video signal. Therefore, there is no big difference in performance with the translator optimized for the current frame and there is no need to transmit any additional information about the base for decoding by generating the translator among a predetermined number of macroblocks encoded before the current macroblock.
  • the intra prediction unit 630 is described as being configured independently of the intra prediction error aggregation unit 610, but the intra prediction unit 630 may be configured to include the intra prediction error aggregation unit 610. have. That is, the intra predictor 630 predicts pixel values of the prediction block by using the neighboring pixels of the target block in the current frame according to the directional intra prediction mode and generates a prediction error through a difference from the pixel values of the target block.
  • the intra prediction mode of the macroblocks of the predetermined unit encoded before the current macroblock may be implemented to aggregate the prediction errors of the blocks having the same intra prediction mode among the determined blocks and to output the prediction error with respect to the current frame. It may be.
  • FIG. 7 is a flowchart illustrating an image encoding method by the image encoding apparatus of FIG. 6.
  • the intra prediction error aggregation unit 610 aggregates the prediction errors of blocks having the same intra prediction mode among macroblocks of a predetermined unit encoded before the current macroblock (S701).
  • the prediction error for the macroblocks of a predetermined unit encoded before the current macroblocks aggregated as described above may be represented in the form of a set as in Equation 2.
  • the transformer generator 620 calculates an autocorrelation matrix for a set of intra prediction modes based on the prediction error aggregated by the intra prediction error aggregation unit 610 (S703). 4x4 intra prediction error block Since is a two-dimensional signal, the translator must generate two types of column vector signals and row vector signals.
  • the autocorrelation matrix may be calculated as shown in Equations 3 and 4 below.
  • the KLT basis may be calculated through the eigenvectors of the autocorrelation matrix as shown in Equations 5 and 6 (S705).
  • the calculated eigenvectors may be represented by matrices such as Equations 7 and 8.
  • the intra predictor 630 predicts a pixel value of the current pixel using neighboring pixels of the target block in the current frame according to the directional intra prediction mode, and estimates a prediction error through a difference between the predicted pixel and the current pixel. It generates (S707).
  • the transform encoder 640 transform-codes the prediction error generated by the intra predictor 630 as shown in Equation 9 by using the transformer generated by the transformer generator 620 (S709).
  • FIG. 8 is a flowchart illustrating a transform encoding method according to another embodiment of the present invention.
  • the intra predictor 630 is configured to be independent of the intra prediction error converging unit 610, the converter low generator 620, and the transform encoder 640, the intra predictive error converging unit 610 and the transform low
  • the generator 620 and the transform encoder 640 may be referred to as components of a transform encoding apparatus.
  • steps S801 to S805 of the transform encoding apparatus are performed in the same process as steps S701 to S705 of FIG. 7, and transforms the prediction error independently generated by the intra prediction unit 630 using the generated transformer.
  • Encode (S807) is performed in the same process as steps S701 to S705 of FIG. 7, and transforms the prediction error independently generated by the intra prediction unit 630 using the generated transformer.
  • bitstream 9 is a diagram illustrating an example of a structure of a bitstream generated by the video encoding apparatus of FIG. 6.
  • bitstreams are encoded in slice units.
  • the bitstream includes a slice header 910 and a slice date 920, and the slice data 920 includes a plurality of macroblock data (MBs) 921 to 924.
  • macroblock data 923 may be composed of an mb_type field 930, an mb_pred field 935, and a texture data field 939.
  • a value indicating the type of macroblock is recorded in the mb_type field 930. That is, it indicates whether the current macroblock is an intra macroblock or an inter macroblock.
  • a detailed prediction mode according to the type of the macroblock is recorded.
  • information of a prediction mode selected during intra prediction is recorded, and in case of an inter macroblock, information of a reference frame number and a motion vector is recorded for each macroblock partition.
  • the mb-pred field 935 is divided into a plurality of block information 941 to 944, and each block information 942 is a value of the main mode described above. It is divided into a main_mode field 945 for recording a sub-mode field 946 for recording a value of the above-described sub-mode.
  • the encoded residual image that is, the texture data
  • the texture data field 939 is recorded in the texture data field 939.
  • FIG. 10 is a diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention
  • FIG. 11 illustrates an image decoding method by the image decoding apparatus of FIG. 10.
  • the configuration and operation of the video decoding apparatus 600 will be described in detail with reference to the drawings.
  • the image decoding apparatus 1000 may include an intra prediction error converging unit 1010, a converter generation unit 1020, a prediction mode reading unit 1030, an inverse transform unit 1040, and a current block reconstruction unit 1050.
  • the transformer generator 1020 may include a correlation matrix calculator 1022 and an eigenvector calculator 1024.
  • the intra prediction error aggregation unit 910 aggregates prediction errors of blocks having the same intra prediction mode among predetermined macroblocks decoded before the current macroblock (S1101). That is, the intra prediction error converging unit 910, like the intra prediction error converging unit 610 of FIG. 6, processes a predetermined number of macroblocks decoded before the current macroblock to generate a transform basis for various intra prediction modes. Receives the prediction errors of the blocks having the same intra prediction mode among the blocks for which the intra prediction mode is determined. In this case, since 9 types of intra prediction modes are defined in 4x4 intra mode and 8x8 intra mode, 9 types of 4x4 intra prediction error and 8x8 intra prediction error may be aggregated. In addition, since the 16x16 intra prediction mode is defined as four types of intra prediction modes, 16x16 intra prediction errors may be aggregated into four types. For example, the intra prediction errors for the 4x4 intra prediction mode may be aggregated into a set such as Equation 2.
  • the converter generation unit 920 generates a converter for each intra prediction mode based on the prediction error aggregated by the intra prediction error aggregation unit 910.
  • the transducer may be generated based on KLT, which is known to have the best energy concentration efficiency in theory.
  • the converter generation unit 920 may be implemented as an independent component.
  • the converter generation unit may include an intra prediction error aggregation unit 910, a correlation matrix calculation unit 922, and an eigenvector calculation unit 924. It may be implemented as.
  • the correlation matrix calculation unit 922 calculates an autocorrelation matrix for a set of prediction errors aggregated by the intra prediction error aggregation unit 910 (S1103).
  • the intra prediction error block in Equation 2 Since is a two-dimensional signal, as in the case of the image encoding apparatus 600, two transformation bases for a column vector signal and a row vector signal must be generated.
  • an autocorrelation matrix of an intra prediction error in order to generate a KLT basis, an autocorrelation matrix of an intra prediction error must be obtained, which can be obtained as shown in Equations 3 and 4 below.
  • the KLT basis for the 4x4 intra prediction error block may be obtained through an eigenvector of an autocorrelation matrix.
  • the eigenvector calculator 924 may be calculated by Equation 3 calculated by the correlation matrix calculator 922 and From the autocorrelation matrix as shown in Equation 4, an eigenvector can be calculated as shown in Equations 5 and 6 (S1105).
  • the converter generation unit 1020 may obtain a eigenvector satisfying Equation 5 and Equation 6, and may generate a KLT-based converter low by expressing it as a matrix such as Equation 7 and Equation 8 (S1107). ).
  • the prediction mode reading unit 1030 reads the intra prediction mode of the target block to be decoded from the bitstream structure as shown in FIG. 9 (S1109). That is, the prediction mode reading unit 1030 receives the bitstream generated by the image encoding apparatus 600 and reads the intra prediction mode of the target block to be decoded of the current frame.
  • the inverse converter 1040 is received through the bitstream using a converter corresponding to the intra prediction mode read by the intra prediction mode reader 1030 of the converter generated by the converter generator 1020.
  • the prediction error is inversely transformed (S1111).
  • the intra prediction mode reader 1030 determines the intra prediction mode of the target block to be decoded of the current frame from the input bitstream, and the inverse transformer 1040 reads the intra prediction mode reader 1030.
  • An inverse transform is performed on the prediction error by applying a transformer corresponding to the intra prediction mode.
  • the inverse transformation of the 2D signal using the above-described KLT-based converter may be performed as shown in Equation 10.
  • Intra prediction mode Means that the prediction error of the transform-coded signal
  • KLT Means the inverted signal.
  • the inverse matrix of the KLT basis should be used for the inverse transformation, but since the KLT basis is an orthogonal matrix made of eigenvectors, the inverse matrix and the transpose matrix are the same. Therefore, the above-described inverse transformation of the 2D signal may be performed as shown in Equation 11 using the transpose matrix more simply without obtaining an inverse matrix.
  • the current block reconstruction unit 1050 estimates the pixel value of the current pixel by using the neighboring pixels of the target block in the current frame according to the intra prediction mode read by the intra prediction mode reading unit 1030, and the inverse transform unit 1040. In operation S1113, the current block is restored by adding the prediction error value inversely transformed by the "
  • the image decoding apparatus 600 Since image encoding and decoding are performed in this manner, the image decoding apparatus 600 generates a different adaptive converter according to an intra prediction mode by referring to a previous frame and performs transform encoding. In operation 1000, an exact same adaptive converter may be generated with reference to the previous frame where decoding is completed, thereby performing inverse transform and decoding.
  • embodiments of the present invention are applied to fields such as encoders, decoders, and image compression apparatuses that use intra prediction, so that prediction errors as well as intra prediction modes are used to more efficiently transform-code prediction errors after intra prediction. It is a very useful invention to generate an effect that can increase the compression efficiency of intra prediction coding by adaptively generating a converter low according to the local characteristic change of and using it for transform coding of prediction error.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법에 관한 것이다. 본 발명의 실시예에 따른 영상 부호화 장치는, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 인트라 예측오차 결집부에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부; 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 현재 픽셀과의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및 변환기저 생성부에 의해 생성된 변환기저를 이용하여 인트라 예측부에 의해 생성된 예측 오차를 변환 부호화하는 변환 부호화부를 포함하는 것을 특징으로 한다. 본 발명에 의하면, 영상의 특성 변화에 따라 적응적으로 변환기저를 생성하여 인트라 예측 오차를 변환 부호화함으로써, 어떠한 부가정보의 추가없이 인트라 예측 부호화의 성능을 크게 향상시켜 비디오 압축 장치의 압축 효율 또는 복원 영상의 화질을 크게 향상시킬 수 있게 된다.

Description

영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
본 발명의 실시예는 영상 부호화 장치 및 방법, 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법에 관한 것이다. 더욱 상세하게는, 특정 부호화 단위에 대해 인트라 예측모드뿐만 아니라 영상의 특성 변화에 따라 적응적으로 변환기저를 생성하여 인트라 예측 오차를 변환 부호화함으로써, 어떠한 부가정보의 추가없이 인트라 예측 부호화의 성능을 크게 향상시킬 수 있는 영상 부호화 장치 및 방법, 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송 시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다.
이러한 동영상 압축 방법으로서, 최근에 MPEG-4(Moving Picture Experts Group-4)에 비해 압축 효율을 한층 향상시킨 H.264/AVC에 대한 관심이 높아지고 있다.
H.264는 매우 높은 데이터 압축률을 가지는 디지털 비디오 코덱 표준으로 MPEG-4 파트 10 또는 AVC(Advanced Video Coding)라고 부르기도 한다. 이 표준은 ITU-T(International Telecommunication Union Telecommunication Standardization Sector: 국제전기통신연합 전기통신 표준화 부문)의 VCEG(Video Coding Experts Group: 비디오 코딩 전문가 그룹)와 ISO/IEC(International Standardization Organization/International Electrotechnical Commission)의 MPEG가 공동으로 합동 비디오 팀(Joint Video Team)을 구성하고 표준화를 진행하여 나온 결과물이다.
압축 부호화 시의 압축 효율을 향상시키기 위하여 여러 가지 방법이 제안되고 있는데, 대표적인 것으로 시간적 예측(temporal prediction)을 이용하는 방법과 공간적 예측(spatial prediction)을 이용하는 방법이 있다.
시간적 예측은 도 1에 도시한 바와 같이, 현재 프레임(110)의 현재 블록(112)을 예측할 때 시간적으로 인접하는 다른 프레임(120)의 참조 블록(reference block)(122)을 참조하여 예측하는 방식이다. 즉, 현재 프레임(110)의 현재 블록(112)을 인터 예측함에 있어서, 시간적으로 인접하는 참조 프레임(120)을 검색하고, 참조 프레임(120) 내에서 현재 블록(112)과 가장 유사한 참조 블록(122)을 검색한다. 여기서, 참조 블록(122)은 현재 블록(112)을 가장 잘 예측할 수 있는 블록으로서, 현재 블록(112)과의 SAD(Sum of Absolute Difference)가 가장 작은 블록이 참조 블록(122)이 될 수 있다. 참조 블록(122)은 현재 블록(112)의 예측 블록이 되며, 현재 블록(112)에서 참조 블록(122)을 감산하여 잔차 블록(residual block)을 생성한다. 생성된 잔차 블록이 부호화되어 비트스트림에 삽입된다. 이때, 현재 프레임(110)에서 현재 블록(112)의 위치와 참조 프레임(120)에서 참조 블록(122)의 위치 사이의 상대적인 차이는 움직임 벡터(130)라 하며, 움직임 벡터(130)도 잔차 블록과 같이 부호화된다. 시간적 예측은 인터 예측(inter prediction) 또는 화면간 예측이라고도 한다.
공간적 예측은 하나의 프레임 내에서 대상 블록에 인접한 참조 블록의 재구성 픽셀 값을 이용하여 대상 블록의 예측 픽셀 값을 구하는 것으로서, 방향적 인트라 예측(directional intra-prediction)(이하에서는 단순히 인트라 예측이라고 한다) 또는 화면내 예측이라고도 한다. H.264는 인트라 예측을 이용한 부호화/복호화를 규정하고 있다.
인트라 예측은 하나의 서브 블록(sub-block)에 대해 상방향, 좌방향의 인접 픽셀들을 이용하여 정해진 방향으로 복사함으로써 현재 서브 블록의 값들을 예측하고, 그 차분만을 부호화하는 방법이다. H.264 표준에 따른 인트라 예측 기법에 있어서, 현재 블록에 대한 예측 블록은 앞선 코딩 순서를 갖는 다른 블록을 기반으로 생성된다. 그리고, 현재 블록과 예측 블록을 뺀 값이 코딩된다. H.264에 따른 비디오 인코더는 각각의 블록에 대하여, 예측 모드들 중에서 현재 블록과 예측 블록과의 차이가 최소가 되는 예측 모드를 선택한다.
H.264 표준에 따른 인트라 예측은, 4 x 4 휘도 블록 및 8 x 8 휘도 블록의 예측 픽셀 값을 생성하는 데 이용되는 인접 픽셀(adjacent pixels)의 위치 및 예측의 방향성을 고려하여 도 2에 도시한 바와 같은 9가지 예측 모드를 규정한다. 9가지 예측 모드는 그 예측 방향에 따라 Vertical 예측 모드(예측 모드 0), Horizontal 예측 모드(예측 모드 1), DC 예측 모드(예측 모드 2), Diagonal_Down_Left 예측 모드(예측 모드 3), Diagontal_Down_Right 예측 모드(예측 모드 4), Vertical_Right 예측 모드(예측 모드 5), Horizontal_Down 예측 모드(예측 모드 6), Vertical_Left 예측 모드(예측 모드 7) 및 Horizontal_Up 예측 모드(예측 모드 8)로 구분된다. 여기서, DC 예측 모드는 인접 8개의 픽셀의 평균 값을 사용한다.
그리고 16 x 16 휘도 블록에 대한 인트라 예측 처리에는 4가지 예측 모드가 사용되는데, Vertical 예측 모드(예측 모드 0), Horizontal 예측 모드(예측 모드 1), DC 예측 모드(예측 모드 2) 및 Plane 예측 모드(예측 모드 3)이 그것이다. 그리고 8 x 8 색도 블록에 대한 인트라 예측 처리에도 이와 동일한 4가지 예측 모드가 사용된다.
도 3은 도 2의 9가지 예측 모드를 설명하기 위한 라벨링의 예를 나타낸 것이다. 이 경우, 미리 디코딩되는 샘플들(A 내지 M)을 이용하여 현재 블록에 대한 예측 블록(a 내지 p를 포함하는 영역)을 생성한다. 만약, 여기서 E, F, G, H가 미리 디코딩될 수 없는 경우라면 그들의 위치에 D를 복사함으로써 E, F, G, H를 가상으로 생성할 수 있다.
도 4는 도 3을 이용하여 도 2의 9가지 예측 모드를 설명하기 위한 도면이다. 도면을 참조하면, 예측 모드 0인 경우에 예측 블록은 수직 라인 별로 동일한 픽셀 값으로 픽셀 값을 예측한다. 즉, 예측 블록의 픽셀들은 예측 블록의 위쪽에 위치한 참조 블록의 가장 인접한 픽셀들로부터 픽셀 값을 예측하는데, 인접 픽셀 A의 재구성 픽셀 값을 예측 블록의 제1열 픽셀 a, 픽셀 e, 픽셀 i 및 픽셀 m에 대한 예측 픽셀 값으로 설정한다. 또한, 동일한 방법으로 제2열 픽셀 b, 픽셀 f, 픽셀 j 및 픽셀 n은 인접 픽셀 B의 재구성 픽셀 값으로부터 예측하고, 제3열 픽셀 c, 픽셀 g, 픽셀 k 및 픽셀 o는 인접 픽셀 C의 재구성 픽셀 값으로부터 예측하며, 제4열 픽셀 d, 픽셀 h, 픽셀 l 및 픽셀 p는 인접 픽셀 D의 재구성 픽셀 값으로부터 예측한다. 그 결과, 도 5의 (a)에 도시한 바와 같이 각 열의 예측 픽셀 값이 픽셀 A, 픽셀 B, 픽셀 C 및 픽셀 D의 각 픽셀 값으로 이루어진 예측 블록이 생성된다.
또한, 예측 모드 1인 경우에 예측 블록은 수평 라인 별로 동일한 픽셀 값으로 픽셀 값을 예측한다. 즉, 예측 블록의 픽셀들은 예측 블록의 왼쪽에 위치한 참조 블록의 가장 인접한 픽셀들로부터 픽셀 값을 예측하는데, 인접 픽셀 I의 재구성 픽셀 값을 예측 블록의 제1행 픽셀 a, 픽셀 b, 픽셀 c 및 픽셀 d에 대한 예측 픽셀 값으로 설정한다. 또한, 동일한 방법으로 제2행 픽셀 e, 픽셀 f, 픽셀 g 및 픽셀 h는 인접 픽셀 J의 재구성 픽셀 값으로부터 예측하고, 제3행 픽셀 i, 픽셀 j, 픽셀 k 및 픽셀 l은 인접 픽셀 K의 재구성 픽셀 값으로부터 예측하며, 제4행 픽셀 m, 픽셀 n, 픽셀 o 및 픽셀 p는 인접 픽셀 D의 재구성 픽셀 값으로부터 예측한다. 그 결과, 도 5의 (b)에 도시한 바와 같이 각 행의 예측 픽셀 값이 픽셀 I, 픽셀 J, 픽셀 K 및 픽셀 L의 각 픽셀 값으로 이루어진 예측 블록이 생성된다.
또한, 예측 모드 2인 경우에 예측 블록의 픽셀들은 상위 픽셀들 A, B, C 및 D와 좌측 픽셀들 I, J, K 및 L의 픽셀 값의 평균으로 동일하게 대치된다.
한편, 예측 모드 3인 경우의 예측 블록의 픽셀들은 좌하(lower-left) 및 우상(upper-right) 사이에서 45°각도의 왼쪽 아래방향으로 내삽추정(interpolation)되고, 예측 모드 4인 경우의 예측 블록의 픽셀들은 45°각도의 오른쪽 아래방향으로 외삽추정된다. 또한, 예측 모드 5인 경우의 예측 블록의 픽셀들은 수직에서 약 26.6°각도(너비/높이 = 1/2)의 오른쪽 아래방향으로 외삽추정된다. 또한, 예측 모드 6인 경우의 예측 블록의 픽셀들은 수평에서 약 26.6°각도의 오른쪽 아래쪽 방향으로 외삽추정되고, 예측 모드 7인 경우의 예측 블록의 픽셀들은 수직에서 약 26.6°각도의 왼쪽 아래방향으로 외삽추정되며, 예측 모드 8인 경우의 예측 블록의 픽셀들은 수평에서 약 26.6°각도의 위쪽방향으로 내삽추정된다.
예측 모드 3 내지 예측 모드 8에서 예측 블록의 픽셀들은 미리 디코딩 되는 참조 블록의 픽셀들 A 내지 M의 가중 평균으로부터 생성될 수 있다. 예를 들어, 예측 모드 4의 경우, 예측 블록의 우 상단에 위치한 픽셀 d는 수학식 1과 같이 추정될 수 있다. 여기서, round() 함수는 정수 자리로 반올림하는 함수이다.
[수학식 1]
Figure PCTKR2010008777-appb-I000001
한편, 휘도 성분에 대한 16 × 16 예측 모델에는 전술한 바와 같이 예측 모드 0, 예측 모드 1, 예측 모드 2 및 예측 모드 3의 네 가지 모드가 있다.
예측 모드 0의 경우, 예측 블록의 픽셀들은 상위 픽셀들로부터 외삽추정되고, 예측 모드 1의 경우에는 좌측 픽셀들로부터 외삽추정된다. 또한, 예측 모드 2의 경우에는, 예측 블록의 픽셀들은 상위 픽셀들 및 좌측 픽셀들의 평균으로 계산된다. 마지막으로, 예측 모드 3의 경우에는, 상위 픽셀들 및 좌측 픽셀들에 맞는 선형 "plane" 함수를 이용한다. 이 모드는 휘도가 부드럽게 변하는 영역에 보다 적합하다.
이와 같이, H.264 표준에서는 DC 모드를 제외한 각각의 예측 모드의 경우, 현재 부호화 하고자 하는 예측 블록의 인접 픽셀들에 기초하여 각 모드에 해당하는 방향에 따라 예측 블록의 픽셀 값을 생성하고 있다.
한편, 각각의 예측 모드에 의해 예측된 예측 값과 현재 픽셀 값 사이의 예측 오차는 DCT(Discrete Cosine Transform) 기반의 정수 변환 기법을 이용하여 변환 부호화되는데, 블록의 크기에 따라 4x4와 16x16 인트라 예측 모드를 사용한 경우에는 4x4 단위의 정수 변환을 적용하고, 8x8 인트라 예측 모드를 사용한 경우에는 8x8 단위의 정수 변환을 적용한다.
최근 ITU-T의 Video Coding Expert Group에서는 이를 더욱 발전시켜 인트라 예측 부호화의 성능을 더욱 높이게 되었는데, Shiodera Taichiro, Akiyuki Tanizawa, Takeshi Chujoh, and tomoo Yamakage(“Improvement of Bidirectional Intra Prediction”, ITU-T SG16/Q.6 Doc. VCEG-AG08, Oct. 2007)는 인트라 예측에 사용되는 픽셀 값의 방향성을 더욱 다양화하여 인트라 예측 모드의 수를 늘리고, 두 가지 인트라 예측 모드를 가중치 합하는 기법을 도입함으로써 인트라 예측 부호화의 성능을 향상시켰다. 하지만, 이 기법에서는 고려해야 할 인트라 예측 모드의 수가 4배 가량 늘어남에 따라 최적의 모드를 찾기 위한 연산량이 크게 증가하고, 이를 부호화하기 위한 부가 정보의 양이 늘어난다는 단점이 있다.
인트라 예측을 더욱 정교하게 수행함으로써 인트라 모드 부호화의 성능을 높이려는 이러한 기존 연구와 달리, Yan Ye and Marta Karczewicz(“Improved Intra Coding”, ITU-T SG16/Q.6 Doc. VCEG-AG11, Oct. 2007)는 인트라 예측 후 예측 오차에도 공간적인 중복성이 여전히 남아 있고 이러한 공간적 중복성이 인트라 예측 방향과 상관 관계가 크다는 사실에 착안하여, 인트라 예측 모드에 따라 서로 다른 KLT(Karhunen-Loeve Transform) 기반의 방향성 기저를 사용하는 변환 기법을 제안하였다. 이 기법은 다수의 실험 영상을 통해 훈련된 KLT 변환 기저들을 이용하여, 별도의 부가 정보 없이 인트라 예측 모드에 따른 적응적 예측 오차 부호화를 수행함으로써 인트라 모드 부호화의 성능을 크게 향상시켰다. 하지만, 이 기법은, 생성된 변환 기저가 각 인트라 예측 모드에 따라 고정됨으로써 특성이 다른 다양한 비디오 시퀀스 혹은 한 시퀀스 내의 특성이 다른 부분적 국부 영상들에 대해 최적의 에너지 집중 효율을 보여주지는 못한다는 단점을 가지고 있다.
전술한 문제점을 해결하기 위해 본 발명의 일 실시예는, 예측 오차에 남아있는 공간적인 중복성을 효과적으로 제거하여 더욱 높은 에너지 집중 효과를 얻기 위한 것으로서, 인트라 예측 후 예측 오차를 보다 효율적으로 변환 부호화하기 위해, 인트라 예측 모드뿐 아니라 예측 오차의 국부적 특성 변화에 따라 적응적으로 변환기저를 생성하고, 이를 예측 오차의 변환 부호화에 사용함으로써, 인트라 예측 부호화의 압축 효율을 높일 수 있는 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법을 제공하는 데 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 영상 부호화 장치는, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 인트라 예측오차 결집부에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부; 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 현재 픽셀과의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및 변환기저 생성부에 의해 생성된 변환기저를 이용하여 인트라 예측부에 의해 생성된 예측 오차를 변환 부호화하는 변환 부호화부를 포함하는 것을 특징으로 한다.
바람직하게는, 변환기저 생성부는 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬(autocorrelation matrix)을 계산하는 상관행렬 계산부를 포함한다. 이 경우, 변환기저 생성부는 상관행렬 계산부에 의해 계산된 자기 상관행렬에 기초하여 KLT(Karhunen-Loeve Transform) 기반의 변환기저를 생성한다.
또한, 변환기저 생성부는, 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및 상관행렬 계산부에 의해 계산된 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부를 포함할 수 있다. 이 경우, 변환 부호화부는 산출된 고유벡터를 이용하여 인트라 예측부에 의해 생성된 예측 오차를 변환 부호화하는 것이 바람직하다.
전술한 목적을 달성하기 위해, 본 발명의 실시예에 따른 변환 부호화 장치는, 인트라 예측 장치에 의해 예측된 픽셀과 현재 픽셀의 차이에 의해 생성된 예측 오차를 변환하여 부호화하는 변환 부호화 장치에 있어서, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 및 인트라 예측오차 결집부에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부를 포함한다. 이 경우, 변환 부호화 장치는 변환기저 생성부에 의해 생성된 변환기저를 이용하여 인트라 예측 장치에 의해 생성된 예측 오차를 변환 부호화하는 것이 바람직하다.
바람직하게는, 인트라 예측오차 결집부는 다음의 수학식과 같은 집합으로 예측오차를 결집하되,
Figure PCTKR2010008777-appb-I000002
여기서,
Figure PCTKR2010008777-appb-I000003
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고,
Figure PCTKR2010008777-appb-I000004
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000005
으로 결정된 블록들의 수를 나타내며,
Figure PCTKR2010008777-appb-I000006
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000007
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내고,
Figure PCTKR2010008777-appb-I000008
은
Figure PCTKR2010008777-appb-I000009
의
Figure PCTKR2010008777-appb-I000010
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다.
또한, 변환 부호화 장치는, 다음의 수학식에 기초하여 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부를 더 포함할 수 있다. 이 경우, 변환기저 생성부는 계산된 자기 상관행렬을 이용하여 변환기저를 생성한다.
Figure PCTKR2010008777-appb-I000011
여기서,
Figure PCTKR2010008777-appb-I000012
는 인트라 예측 모드
Figure PCTKR2010008777-appb-I000013
으로 결정된 4x4 인트라 예측 오차의 열 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며,
Figure PCTKR2010008777-appb-I000014
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고,
Figure PCTKR2010008777-appb-I000015
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000016
으로 결정된 블록들의 수를 나타내며,
Figure PCTKR2010008777-appb-I000017
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000018
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
Figure PCTKR2010008777-appb-I000019
의
Figure PCTKR2010008777-appb-I000020
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다.
또한, 변환 부호화 장치는, 다음의 수학식에 기초하여 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부를 더 포함할 수 있다. 이 경우, 변환기저 생성부는 계산된 자기 상관행렬을 이용하여 변환기저를 생성한다.
Figure PCTKR2010008777-appb-I000021
여기서,
Figure PCTKR2010008777-appb-I000022
는 인트라 예측 모드
Figure PCTKR2010008777-appb-I000023
으로 결정된 4x4 인트라 예측 오차의 행 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며,
Figure PCTKR2010008777-appb-I000024
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고,
Figure PCTKR2010008777-appb-I000025
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000026
으로 결정된 블록들의 수를 나타내며,
Figure PCTKR2010008777-appb-I000027
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000028
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
Figure PCTKR2010008777-appb-I000029
의
Figure PCTKR2010008777-appb-I000030
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 변환기저 생성장치는, 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성장치에 있어서, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 인트라 예측오차 결집부에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및 상관행렬 계산부에 의해 계산된 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부를 포함하는 것을 특징으로 한다. 이 경우, 변환기저 생성장치는 고유벡터 산출부에 의해 산출된 고유벡터에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성한다.
여기서, 변환기저 생성장치는, 자기 상관행렬 및 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것이 바람직하다.
전술한 목적을 달성하기 위해 본 발명의 다른 실시예에 따른 인트라 예측장치는, 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 현재 픽셀과의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부를 포함하는 것을 특징으로 한다. 이 경우, 인트라 예측장치는, 인트라 예측부에 의해 생성된 현재 프레임에 대한 예측 오차와 함께 인트라 예측오차 결집부에 의해 결집된 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들에 대한 예측 오차를 출력하는 것이 바람직하다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 영상 복호화 장치는, 현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 인트라 예측오차 결집부에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부; 입력되는 비트스트림에 대하여 복호화할 대상 블록의 인트라 예측 모드를 판독하는 인트라 예측 모드 판독부; 변환기저 생성부에 의해 생성된 변환기저 중 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 대응하는 변환기저를 이용하여 대상 블록에 대한 예측 오차를 역 변환하는 역 변환부; 및 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 역 변환부에 의해 역 변환된 예측 오차 값을 더하여 현재 블록을 복원하는 현재블록 복원부를 포함하는 것을 특징으로 한다.
여기서, 변환기저 생성부는, 인트라 예측오차 결집부에 의해 결집된 예측 오차의 결집에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및 상관행렬 계산부에 의해 계산된 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부를 포함하며, 자기 상관행렬 및 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것이 바람직하다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 영상 부호화 방법은, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하며, 현재 프레임에 대해 방향적 인트라 예측모드에 따라 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 값을 예측하고 예측되는 값과 현재 픽셀의 값의 차이를 통해 예측 오차를 생성하는 단계; 예측오차 결집단계에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계; 및 변환기저 생성단계에 의해 생성된 변환기저를 이용하여 현재 프레임에 대해 생성된 예측 오차를 변환 부호화하는 단계를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 변환 부호화 방법은, 인트라 예측 장치에 의해 예측된 픽셀과 현재 픽셀의 차이에 의해 생성된 예측 오차를 변환하여 부호화하는 변환 부호화 방법에 있어서, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 단계; 및 예측오차 결집단계에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계를 포함한다. 이 경우, 변환 부호화 방법은, 변환기저 생성단계에 의해 생성된 변환기저를 이용하여 인트라 예측 장치에 의해 생성된 예측 오차를 변환 부호화하는 것이 바람직하다.
또한, 변환 부호화 방법은, 예측오차 결집단계에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 단계를 더 포함할 수 있다. 이 경우, 변환기저 생성단계는 계산된 자기 상관행렬을 이용하여 변환기저를 생성하는 것이 바람직하다.
전술한 목적을 달성하기 위해 본 발명의 실시예에 따른 영상 복호화 방법은, 현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 단계; 인트라 예측오차 단계에 의해 결집된 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계; 입력되는 비트스트림에 대하여 복호화할 대상 블록의 인트라 예측 모드를 판독하는 단계; 변환기저 생성단계에 의해 생성된 변환기저 중 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 대응하는 변환기저를 이용하여 대상 블록에 대한 예측 오차를 역 변환하는 단계; 및 인트라 예측 모드 판독단계에 의해 판독된 인트라 예측 모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 역 변환단계에 의해 역 변환된 예측 오차 값을 더하여 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 한다.
여기서, 변환기저 생성단계는, 인트라 예측오차 결집단계에 의해 결집된 예측 오차의 결집에 대한 자기 상관행렬을 계산하는 단계; 및 상관행렬 계산단계에 의해 계산된 자기 상관행렬로부터 고유벡터를 산출하는 단계를 포함할 수 있다. 이 경우, 자기 상관행렬 및 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것이 바람직하다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 특정 부호화 단위에 대해 인트라 예측 모드뿐만 아니라 영상의 특성 변화에 따라 적응적으로 변환 기저를 생성하여 인트라 예측 오차를 변환 부호화함으로써, 어떠한 부가 정보의 추가없이 인트라 예측 부호화의 성능을 크게 향상시켜 비디오 압축 장치의 압축 효율 혹은 복원 영상의 화질을 크게 향상시킬 수 있도록 한다.
도 1은 일반적인 인터 예측을 설명하기 위해 도시한 도면이다.
도 2는 인트라 예측 모드의 방향성을 설명하기 위해 도시한 도면이다.
도 3은 도 2의 인트라 예측 모드를 설명하기 위한 라벨링의 예를 나타낸 도면이다.
도 4는 도 2의 인트라 예측 모드의 각각을 설명하기 위해 도시한 도면이다.
도 5의 (a)는 도 2의 인트라 예측 모드 중 예측 모드 0을 설명하기 위해 도시한 도면이며, 도 5의 (b)는 도 2의 인트라 예측 모드 중 예측 모드 1을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다.
도 7은 도 6의 영상 부호화 장치에 의한 영상 부호화 방법을 나타낸 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 변환 부호화 방법을 나타낸 흐름도이다.
도 9는 도 6의 영상 부호화 장치에 의해 생성되는 비트스트림의 구조의 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다.
도 11은 도 10의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다. 도면을 참조하면, 영상 부호화 장치(600)는 인트라 예측오차 결집부(610), 변환기저 생성부(620), 인트라 예측부(630) 및 변환 부호화부(640)를 구비한다. 여기서, 인트라 예측오차 결집부(610), 변환기저 생성부(620) 및 변환 부호화부(640)를 변환 부호화 장치라고 부리기도 한다.
인트라 예측오차 결집부(610)는 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집한다. 즉, 인트라 예측오차 결집부(610)는 다양한 인트라 예측 모드를 위한 변환 기저를 생성하기 위해 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들을 수신하여 인트라 예측 모드가 결정된 블록들 중에서 동일한 인트라 예측 모드를 가지고 있는 블록들의 예측 오차들을 결집한다. 이때, 4x4 인트라 모드와 8x8 인트라 모드에는 각각 9 종류의 인트라 예측 모드가 정의되어 있기 때문에, 4x4 인트라 예측 오차와 8x8 인트라 예측 오차는 각각 9 종류로 결집될 수 있다. 또한, 16x16 인트라 예측 모드는 4 종류의 인트라 예측 모드로 정의되어 있기 때문에, 16x16 인트라 예측 오차는 4 종류로 결집될 수 있다. 예를 들어, 4x4 인트라 예측 모드에 대한 인트라 예측 오차는 수학식 2와 같은 집합으로 결집될 수 있다.
[수학식 2]
Figure PCTKR2010008777-appb-I000031
여기서,
Figure PCTKR2010008777-appb-I000032
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지며,
Figure PCTKR2010008777-appb-I000033
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000034
으로 결정된 블록들의 수를 나타낸다. 또한,
Figure PCTKR2010008777-appb-I000035
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000036
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내고,
Figure PCTKR2010008777-appb-I000037
은
Figure PCTKR2010008777-appb-I000038
의
Figure PCTKR2010008777-appb-I000039
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다.
변환기저 생성부(620)는 인트라 예측 블록의 크기와 인트라 예측 모드에 따라 인트라 예측오차 결집부(610)에 의해 결집된 예측오차에 기초하여, 각각의 인트라 예측모드에 대한 변환기저를 생성한다. 여기서, 변환기저는, 이론적으로 에너지 집중 효율이 가장 좋은 것으로 알려진 KLT(Karhunen-Loeve Transform) 기반으로 생성되는 것이 바람직하다. 이러한 변환기저 생성부(620)는 독립적인 구성요소로 구현될 수도 있으며, 도시한 바와 같이 상관행렬 계산부(622) 및 고유벡터 산출부(624)를 포함하여 구성될 수도 있다. 또한, 인트라 예측오차 결집부(610), 상관행렬 계산부(622) 및 고유벡터 산출부(624)를 포함하여 변환기저 생성장치를 이룰 수도 있다.
상관행렬 계산부(622)는 인트라 예측오차 결집부(610)에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산한다. 전술한 4x4 인트라 예측 모드의 경우, 수학식 2에서 인트라 예측 오차 블록
Figure PCTKR2010008777-appb-I000040
는 2차원 신호이기 때문에, 열 벡터(column vector) 신호와 행 벡터(row vector) 신호를 위한 두 가지 변환 기저를 생성해야 한다. 그리고 KLT 기저를 생성하기 위해서는 인트라 예측 오차의 자기 상관 행렬(autocorrelation matrix)을 구해야 하는데, 이는 수학식 3 및 수학식 4와 같이 구할 수 있다.
[수학식 3]
Figure PCTKR2010008777-appb-I000041
[수학식 4]
Figure PCTKR2010008777-appb-I000042
수학식 3에서
Figure PCTKR2010008777-appb-I000043
는 인트라 예측 모드
Figure PCTKR2010008777-appb-I000044
으로 결정된 4x4 인트라 예측 오차의 열 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며,
Figure PCTKR2010008777-appb-I000045
은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 갖는다. 또한,
Figure PCTKR2010008777-appb-I000046
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000047
으로 결정된 블록들의 수를 나타내며,
Figure PCTKR2010008777-appb-I000048
은 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
Figure PCTKR2010008777-appb-I000049
으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
Figure PCTKR2010008777-appb-I000050
의
Figure PCTKR2010008777-appb-I000051
번째 원소로서 하나의 4x4 예측 오차 블록을 나타낸다. 또한, 수학식 4에서
Figure PCTKR2010008777-appb-I000052
는 인트라 예측 모드
Figure PCTKR2010008777-appb-I000053
으로 결정된 4x4 인트라 예측 오차의 행 벡터 신호에 대한 4x4 자기 상관 행렬을 나타낸다.
4x4 인트라 예측 오차 블록을 위한 KLT 기저는 자기 상관행렬의 고유 벡터(eigenvector)를 통해 구할 수 있는데, 고유벡터 산출부(624)는 상관행렬 계산부(622)에 의해 계산된 수학식 3 및 수학식 4와 같은 자기 상관행렬로부터, 수학식 5 및 수학식 6과 같이 고유 벡터를 산출할 수 있다.
[수학식 5]
Figure PCTKR2010008777-appb-I000054
[수학식 6]
Figure PCTKR2010008777-appb-I000055
수학식 5에서
Figure PCTKR2010008777-appb-I000056
는
Figure PCTKR2010008777-appb-I000057
의 고유 벡터를 의미하고
Figure PCTKR2010008777-appb-I000058
는
Figure PCTKR2010008777-appb-I000059
의 고유치(eigrnvalue)를 의미한다. 또한, 수학식 6에서,
Figure PCTKR2010008777-appb-I000060
는
Figure PCTKR2010008777-appb-I000061
의 고유 벡터를 의미하고
Figure PCTKR2010008777-appb-I000062
는
Figure PCTKR2010008777-appb-I000063
의 고유치를 의미한다. 수학식 5와 수학식 6을 만족하는 고유 벡터를 구하고, 이를 행렬로 표현하면 수학식 7 및 수학식 8과 같다.
[수학식 7]
Figure PCTKR2010008777-appb-I000064
[수학식 8]
Figure PCTKR2010008777-appb-I000065
수학식 7에서
Figure PCTKR2010008777-appb-I000066
는 인트라 예측 모드
Figure PCTKR2010008777-appb-I000067
에 대응하는 예측 오차 블록의 열 벡터 신호를 위한 KLT 기저이고, 수학식 8에서
Figure PCTKR2010008777-appb-I000068
는 인트라 예측 모드
Figure PCTKR2010008777-appb-I000069
에 대응하는 예측 오차 블록의 행 벡터 신호를 위한 KLT 기저가 된다.
한편, 인트라 예측부(630)는 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 예측 블록에 대한 픽셀 값을 예측한다. 또한, 인트라 예측부(630)는 대상 블록에 대한 픽셀 값과 예측 블록에 대한 픽셀 값의 차이를 통해 예측 오차를 생성한다. 즉, 인트라 예측부(630)는 대상 블록과 예측 블록의 차분을 계산하는 차분기(도시하지 않음)를 포함하여 구성된다.
변환 부호화부(640)는 변환기저 생성부(620)에 의해 생성된 변환기저를 이용하여 인트라 예측부(630)에 의해 생성된 예측 오차를 변환 부호화한다. 전술한 KLT 기저를 이용한 2차원 신호의 변환은 수학식 9와 같이 수행된다.
[수학식 9]
Figure PCTKR2010008777-appb-I000070
여기서,
Figure PCTKR2010008777-appb-I000071
는 인트라 예측 모드
Figure PCTKR2010008777-appb-I000072
의 예측 오차 신호를 의미하고,
Figure PCTKR2010008777-appb-I000073
은
Figure PCTKR2010008777-appb-I000074
의 KLT에 의해 변환된 신호를 의미한다.
여기서는 4x4 인트라 예측 모드의 경우를 예로서 설명하였지만, 8x8 인트라 예측 모드의 인트라 예측 오차를 위한 KLT 기저를 생성하는 방식은 4x4 인트라 예측 모드의 경우와 똑같고, 16x16 인트라 예측 모드의 인트라 예측 오차를 위한 KLT 기저를 생성하는 방식도 인트라 예측 오차 집합의 수와 KLT 기저의 수만 4 종류로 줄어들며 방식은 4x4 인트라 예측 모드의 경우와 동일하다.
변환기저 생성부(620)에 의해 생성된 KLT 기저는 인트라 예측부(630)에 의해 생성된 예측 오차에 최적화된 변환기저는 아니지만, 일반적인 비디오 신호의 특성상 현재 프레임과 이전 프레임 사이에는 높은 상관 관계가 존재하기 때문에 현재 프레임에 최적화된 변환기저와 성능상 큰 사이가 없으며, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 변환기저를 생성함으로써 복호화를 위해 기저에 대한 어떠한 부가정보의 전송이 필요없다는 특성을 가지고 있다.
한편, 도 6에서는 인트라 예측부(630)는 인트라 예측오차 결집부(610)와 독립적으로 구성되는 것으로 설명하였지만, 인트라 예측부(630)는 인트라 예측오차 결집부(610)를 포함하도록 구성될 수도 있다. 즉, 인트라 예측부(630)는 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 예측 블록의 픽셀 값을 예측하며 대상 블록의 픽셀 값과의 차이를 통해 예측 오차를 생성함과 동시에, 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중의 인트라 예측모드가 결정된 블록들 중에서 동일한 인트라 예측모드를 가지는 블록들의 예측 오차를 결집하여 현재 프레임에 대한 예측 오차와 함께 출력하도록 구현될 수도 있다.
전술한 바와 같은 방식으로 인트라 예측 부호화를 수행할 경우, 인트라 예측 모드에 따라 서로 다른 변환기저를 적용하여 성능을 개선할 수 있을 뿐만 아니라, 영상의 특성 변화에 즉각적으로 대응할 수 있는 적응적 변환기저를 특정 부호화 단위마다 제공함으로써 보다 우수한 인트라 예측 부호화 효율을 달성할 수 있게 된다.
도 7은 도 6의 영상 부호화 장치에 의한 영상 부호화 방법을 나타낸 흐름도이다.
도면을 참조하면, 인트라 예측오차 결집부(610)는 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지는 블록들의 예측 오차를 결집한다(S701). 이와 같이 결집된 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들에 대한 예측 오차는 수학식 2와 같이 집합의 형태로 나타낼 수 있다.
변환기저 생성부(620)는 인트라 예측오차 결집부(610)에 의해 결집된 예측 오차에 기초하여 인트라 예측모드의 집합에 대한 자기 상관행렬을 계산한다(S703). 이때, 4x4 인트라 예측 오차 블록
Figure PCTKR2010008777-appb-I000075
는 2차원 신호이기 때문에 변환기저는 열 벡터 신호와 행 벡터 신호의 두 종류를 생성하여야 한다. 또한, KLT 기저를 생성하기 위하여, 수학식 3 및 수학식 4에 나타낸 바와 같이 자기 상관행렬을 계산할 수 있다. 이때, KLT 기저는 수학식 5 및 수학식 6과 같이 자기 상관 행렬의 고유벡터를 통해 산출할 수 있다(S705). 산출된 고유벡터는 수학식 7 및 수학식 8과 같은 행렬로 표현될 수 있다.
한편, 인트라 예측부(630)는 방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 예측된 픽셀과 현재 픽셀과의 차이를 통해 예측 오차를 생성한다(S707).
변환 부호화부(640)는 변환기저 생성부(620)에 의해 생성된 변환기저를 이용하여 수학식 9와 같이, 인트라 예측부(630)에 의해 생성된 예측 오차를 변환 부호화한다(S709).
도 8은 본 발명의 다른 실시예에 따른 변환 부호화 방법을 나타낸 흐름도이다. 만일, 인트라 예측부(630)가 인트라 예측오차 결집부(610), 변환기저 생성부(620) 및 변환 부호화부(640)와 독립적으로 구성되는 경우, 인트라 예측오차 결집부(610), 변환기저 생성부(620) 및 변환 부호화부(640)는 변환 부호화 장치의 구성요소로 일컬어지기도 한다. 이 경우, 변환 부호화 장치의 단계 S801 내지 S805는 도 7의 단계 S701 내지 단계 S705와 동일한 과정으로 수행하며, 생성된 변환기저를 이용하여 인트라 예측부(630)에 의해 독립적으로 생성된 예측 오차를 변환 부호화한다(S807).
도 9는 도 6의 영상 부호화 장치에 의해 생성되는 비트스트림의 구조의 예를 나타낸 도면이다. H.264에서는 비트스트림은 슬라이스(slice) 단위로 부호화된다. 비트스트림은 슬라이스 헤더(slice header)(910)와, 슬라이스 데이터(slice date)(920)를 포함하며, 슬라이스 데이터(920)는 복수의 매크로블록 데이터들(MB)(921 내지 924)로 구성된다. 또한, 하나의 매크로블록 데이터(923)는 mb_type 필드(930)와, mb_pred 필드(935)와, 텍스쳐 데이터(texture data) 필드(939)로 구성될 수 있다.
여기서, mb_type 필드(930)에는 매크로블록의 종류를 나타내는 값이 기록된다. 즉, 현재 매크로블록이 인트라 매크로블록(intra macroblock)인지, 인터 매크로블록(inter macroblock)인지를 나타낸다.
그리고, mb_pred 필드(935)에는 상기 매크로블록의 종류에 따른 세부 예측 모드가 기록된다. 인트라 매크로블록의 경우에는 인트라 예측시 선택된 예측 모드의 정보가 기록되고, 인터 매크로블록의 경우에는 매크로블록 파티션 별로 참조 프레임 번호 및 모션 벡터의 정보가 기록된다.
mb-type 필드(930)가 인트라 매크로블록을 나타내는 경우, mb-pred 필드(935)는 복수의 블록 정보(941 내지 944)로 나뉘어지고, 각각의 블록 정보(942)는 전술한 메인 모드의 값을 기록하는 main_mode 필드(945)와 전술한 서브 모드의 값을 기록하는 sub-mode 필드(946)로 나뉘어진다.
마지막으로, 텍스쳐 데이터 필드(939)에는 부호화된 잔차 영상, 즉 텍스쳐 데이터가 기록된다.
도 10은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이며, 도 11은 도 10의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸다. 도면을 참조하여 영상 복호화 장치(600)의 구성 및 그 동작을 상세하게 설명한다.
도면을 참조하면, 영상 복호화 장치(1000)는 인트라 예측오차 결집부(1010), 변환기저 생성부(1020), 예측모드 판독부(1030), 역 변환부(1040) 및 현재블록 복원부(1050)를 구비한다. 여기서, 변환기저 생성부(1020)는 상관행렬 계산부(1022) 및 고유벡터 산출부(1024)를 구비할 수 있다.
인트라 예측오차 결집부(910)는 현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측오차를 결집한다(S1101). 즉, 인트라 예측오차 결집부(910)는 도 6의 인트라 예측오차 결집부(610)와 마찬가지로, 다양한 인트라 예측 모드를 위한 변환 기저를 생성하기 위해 현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들을 수신하여 인트라 예측 모드가 결정된 블록들 중에서 동일한 인트라 예측 모드를 가지고 있는 블록들의 예측 오차들을 결집한다. 이때, 4x4 인트라 모드와 8x8 인트라 모드에는 각각 9 종류의 인트라 예측 모드가 정의되어 있기 때문에, 4x4 인트라 예측 오차와 8x8 인트라 예측 오차는 각각 9 종류로 결집될 수 있다. 또한, 16x16 인트라 예측 모드는 4 종류의 인트라 예측 모드로 정의되어 있기 때문에, 16x16 인트라 예측 오차는 4 종류로 결집될 수 있다. 예를 들어, 4x4 인트라 예측 모드에 대한 인트라 예측오차는 수학식 2와 같은 집합으로 결집될 수 있다.
변환기저 생성부(920)는 인트라 예측오차 결집부(910)에 의해 결집된 예측오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성한다. 여기서, 변환기저는, 영상 부호화 장치(600)의 경우와 마찬가지로, 이론적으로 에너지 집중 효율이 가장 좋은 것으로 알려진 KLT 기반으로 생성되는 것이 바람직하다. 이러한 변환기저 생성부(920)는 독립적인 구성요소로 구현될 수도 있으며, 인트라 예측오차 결집부(910), 상관행렬 계산부(922) 및 고유벡터 산출부(924)를 포함하여 변환기저 생성장치로 구현될 수도 있다.
상관행렬 계산부(922)는 인트라 예측오차 결집부(910)에 의해 결집된 예측 오차의 집합에 대한 자기 상관행렬을 계산한다(S1103). 전술한 4x4 인트라 예측 모드의 경우, 수학식 2에서 인트라 예측 오차 블록
Figure PCTKR2010008777-appb-I000076
는 2차원 신호이기 때문에, 영상 부호화 장치(600)의 경우와 마찬가지로 열 벡터(column vector) 신호와 행 벡터(row vector) 신호를 위한 두 가지 변환 기저를 생성해야 한다. 그리고 KLT 기저를 생성하기 위해서는 인트라 예측 오차의 자기 상관 행렬을 구해야 하는데, 이는 수학식 3 및 수학식 4와 같이 구할 수 있다.
또한, 4x4 인트라 예측 오차 블록을 위한 KLT 기저는 자기 상관행렬의 고유 벡터(eigenvector)를 통해 구할 수 있는데, 고유벡터 산출부(924)는 상관행렬 계산부(922)에 의해 계산된 수학식 3 및 수학식 4와 같은 자기 상관행렬로부터, 수학식 5 및 수학식 6과 같이 고유 벡터를 산출할 수 있다(S1105). 이때, 변환기저 생성부(1020)는 수학식 5와 수학식 6을 만족하는 고유 벡터를 구하고, 수학식 7 및 수학식 8과 같은 행렬로 표현하여 KLT 기반의 변환기저를 생성할 수 있다(S1107).
예측모드 판독부(1030)는 도 9에 도시한 바와 같은 비트스트림 구조로부터 복호화할 대상 블록의 인트라 예측모드를 판독한다(S1109). 즉, 예측모드 판독부(1030)는 영상 부호화 장치(600)에서 생성된 비트스트림을 수신하여, 현재 프레임의 복호화할 대상 블록의 인트라 예측모드를 판독한다.
역 변환부(1040)는 변환기저 생성부(1020)에 의해 생성된 변환기저 중 인트라 예측모드 판독부(1030)에 의해 판독된 인트라 예측모드에 대응하는 변환기저를 이용하여 비트스트림을 통해 수신받은 예측 오차를 역 변환한다(S1111).
예측 오차의 변환 및 예측 오차의 역 변환 과정에서 인트라 예측 모드에 상관없이 고정된 DCT(Discrete Cosine Transform) 기반의 정수 변환 및 역 변환을 적용하던 H.264 표준과 달리, 영상 부호화 장치(600)에서 생성된 비트스트림을 통해 수신받은 대상블록의 예측오차는, 대상블록의 인트라 예측모드에 따라 서로 다른 변환기저를 사용하여 변환 부호화된다. 따라서, 인트라 예측모드 판독부(1030)는 입력되는 비트스트림으로부터 현재 프레임의 복호화할 대상 블록의 인트라 예측모드를 판단하며, 역 변환부(1040)는 인트라 예측모드 판독부(1030)에 의해 판독된 인트라 예측모드에 상응하는 변환기저를 적용하여 예측 오차에 대한 역 변환을 수행한다. 이때, 전술한 KLT 기반의 변환기저를 이용한 2차원 신호의 역 변환은 수학식 10과 같이 수행될 수 있다.
[수학식 10]
Figure PCTKR2010008777-appb-I000077
여기서,
Figure PCTKR2010008777-appb-I000078
은 인트라 예측 모드
Figure PCTKR2010008777-appb-I000079
의 예측 오차가 변환 부호화된 신호를 의미하고,
Figure PCTKR2010008777-appb-I000080
는 KLT에 의해
Figure PCTKR2010008777-appb-I000081
을 역 변환한 신호를 의미한다. 본래, 역 변환 시 KLT 기저의 역 행렬(inverse matrix)을 사용해야 하지만, KLT 기저는 고유 벡터를 통해 만들어진 직교 행렬(orthogonal matrix)이기 때문에 역 행렬과 전치 행렬(transpose matrix)이 같다. 따라서 전술한 2차원 신호의 역 변환은 역 행렬을 구하지 않고 보다 간단하게 전치 행렬을 이용하여 수학시 11과 같이 수행될 수 있다.
[수학식 11]
Figure PCTKR2010008777-appb-I000082
현재블록 복원부(1050)는 인트라 예측모드 판독부(1030)에 의해 판독된 인트라 예측모드에 따라 현재 프레임 내의 대상블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 역 변환부(1040)에 의해 역 변환된 예측 오차 값을 더하여 현재 블록을 복원한다(S1113).
이와 같은 방식으로 영상 부호화 및 복호화를 수행하기 때문에, 영상 부호화 장치(600)에서 이전 프레임을 참조하여 인트라 예측 모드에 따라 서로 다른 적응적 변환기저를 생성하여 변환 부호화를 수행한 것과 같이, 영상 복호화 장치(1000)에서 복호화가 종료된 이전 프레임을 참조하여 정확히 같은 적응적 변환기저를 생성하여 역 변환 및 복호화를 수행할 수 있게 된다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는 인트라 예측을 사용하는 인코더 및 디코더, 영상 압축장치 등의 분야에 적용되어, 인트라 예측 후 예측 오차를 보다 효율적으로 변환 부호화하기 위해 인트라 예측 모드뿐 아니라 예측 오차의 국부적 특성 변화에 따라 적응적으로 변환기저를 생성하고, 이를 예측 오차의 변환 부호화에 사용함으로써, 인트라 예측 부호화의 압축 효율을 높일 수 있는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2009년 12월 09일 한국에 출원한 특허출원번호 제 10-2009-0121980 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (17)

  1. 영상 부호화 장치에 있어서,
    현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부;
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부;
    방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 상기 현재 픽셀과의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및
    상기 변환기저 생성부에 의해 생성된 상기 변환기저를 이용하여 상기 인트라 예측부에 의해 생성된 상기 예측 오차를 변환 부호화하는 변환 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1항에 있어서,
    상기 변환기저 생성부는,
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬(autocorrelation matrix)을 계산하는 상관행렬 계산부;
    를 포함하며,
    상기 상관행렬 계산부에 의해 계산된 상기 자기 상관행렬에 기초하여 KLT(Karhunen-Loeve Transform) 기반의 상기 변환기저를 생성하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 1항에 있어서,
    상기 변환기저 생성부는,
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및
    상기 상관행렬 계산부에 의해 계산된 상기 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부;
    를 포함하며,
    상기 변환 부호화부는 산출된 상기 고유벡터를 이용하여 상기 인트라 예측부에 의해 생성된 상기 예측 오차를 변환 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  4. 인트라 예측 장치에 의해 예측된 픽셀과 현재 픽셀의 차이에 의해 생성된 예측 오차를 변환하여 부호화하는 변환 부호화 장치에 있어서,
    현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부; 및
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부
    를 포함하며,
    상기 변환기저 생성부에 의해 생성된 변환기저를 이용하여 상기 인트라 예측 장치에 의해 생성된 상기 예측 오차를 변환 부호화하는 것을 특징으로 하는 변환 부호화 장치.
  5. 제 4항에 있어서,
    상기 인트라 예측오차 결집부는 다음의 수학식과 같은 집합으로 상기 예측오차를 결집하되,
    Figure PCTKR2010008777-appb-I000083
    상기
    Figure PCTKR2010008777-appb-I000084
    은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고, 상기
    Figure PCTKR2010008777-appb-I000085
    은 상기 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
    Figure PCTKR2010008777-appb-I000086
    으로 결정된 블록들의 수를 나타내며, 상기
    Figure PCTKR2010008777-appb-I000087
    은 상기 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
    Figure PCTKR2010008777-appb-I000088
    으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내고, 상기
    Figure PCTKR2010008777-appb-I000089
    은 상기
    Figure PCTKR2010008777-appb-I000090
    의
    Figure PCTKR2010008777-appb-I000091
    번째 원소로서 하나의 4x4 예측 오차 블록을 나타내는 것을 특징으로 하는 변환 부호화 장치.
  6. 제 4항에 있어서,
    다음의 수학식에 기초하여 상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부
    를 더 포함하며,
    상기 변환기저 생성부는 계산된 상기 자기 상관행렬을 이용하여 변환기저를 생성하고,
    Figure PCTKR2010008777-appb-I000092
    여기서, 상기
    Figure PCTKR2010008777-appb-I000093
    는 인트라 예측 모드
    Figure PCTKR2010008777-appb-I000094
    으로 결정된 4x4 인트라 예측 오차의 열 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며, 상기
    Figure PCTKR2010008777-appb-I000095
    은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고, 상기
    Figure PCTKR2010008777-appb-I000096
    은 상기 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
    Figure PCTKR2010008777-appb-I000097
    으로 결정된 블록들의 수를 나타내며, 상기
    Figure PCTKR2010008777-appb-I000098
    은 상기 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
    Figure PCTKR2010008777-appb-I000099
    으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
    Figure PCTKR2010008777-appb-I000100
    의
    Figure PCTKR2010008777-appb-I000101
    번째 원소로서 하나의 4x4 예측 오차 블록을 나타내는 것을 특징으로 하는 변환 부호화 장치.
  7. 제 4항에 있어서,
    다음의 수학식에 기초하여 상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부
    를 더 포함하며,
    상기 변환기저 생성부는 계산된 상기 자기 상관행렬을 이용하여 변환기저를 생성하고,
    Figure PCTKR2010008777-appb-I000102
    여기서, 상기
    Figure PCTKR2010008777-appb-I000103
    는 인트라 예측 모드
    Figure PCTKR2010008777-appb-I000104
    으로 결정된 4x4 인트라 예측 오차의 행 벡터 신호에 대한 4x4 자기 상관 행렬을 나타내며, 상기
    Figure PCTKR2010008777-appb-I000105
    은 4x4 인트라 예측 모드의 번호를 가리키는 인덱스로 0 내지 8의 값을 가지고, 상기
    Figure PCTKR2010008777-appb-I000106
    은 상기 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
    Figure PCTKR2010008777-appb-I000107
    으로 결정된 블록들의 수를 나타내며, 상기
    Figure PCTKR2010008777-appb-I000108
    은 상기 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 인트라 예측 모드
    Figure PCTKR2010008777-appb-I000109
    으로 결정된 블록들의 4x4 예측 오차 블록의 집합을 나타내는
    Figure PCTKR2010008777-appb-I000110
    의
    Figure PCTKR2010008777-appb-I000111
    번째 원소로서 하나의 4x4 예측 오차 블록을 나타내는 것을 특징으로 하는 변환 부호화 장치.
  8. 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성장치에 있어서,
    현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부;
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및
    상기 상관행렬 계산부에 의해 계산된 상기 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부;
    를 포함하며,
    상기 고유벡터 산출부에 의해 산출된 상기 고유벡터에 기초하여 각각의 인트라 예측모드에 대한 상기 변환기저를 생성하는 것을 특징으로 하는 변환기저 생성장치.
  9. 제 8항에 있어서,
    상기 자기 상관행렬 및 상기 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것을 특징으로 하는 변환기저 생성장치.
  10. 인트라 예측장치에 있어서,
    방향적 인트라 예측모드에 따라 현재 프레임 내의 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 상기 현재 픽셀과의 차이를 통해 예측 오차를 생성하는 인트라 예측부; 및
    현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부;
    를 포함하며,
    상기 인트라 예측부에 의해 생성된 상기 현재 프레임에 대한 예측 오차와 함께 상기 인트라 예측오차 결집부에 의해 결집된 상기 현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들에 대한 예측 오차를 출력하는 것을 특징으로 하는 인트라 예측장치.
  11. 영상 복호화 장치에 있어서,
    현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 인트라 예측오차 결집부;
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 변환기저 생성부;
    입력되는 비트스트림에 대하여 복호화할 대상 블록의 인트라 예측 모드를 판독하는 인트라 예측 모드 판독부;
    상기 변환기저 생성부에 의해 생성된 변환기저 중 상기 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 대응하는 변환기저를 이용하여 상기 대상 블록에 대한 예측 오차를 역 변환하는 역 변환부; 및
    상기 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 따라 현재 프레임 내의 상기 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 상기 역 변환부에 의해 역 변환된 예측 오차 값을 더하여 현재 블록을 복원하는 현재블록 복원부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제 11항에 있어서,
    상기 변환기저 생성부는,
    상기 인트라 예측오차 결집부에 의해 결집된 상기 예측 오차의 결집에 대한 자기 상관행렬을 계산하는 상관행렬 계산부; 및
    상기 상관행렬 계산부에 의해 계산된 상기 자기 상관행렬로부터 고유벡터를 산출하는 고유벡터 산출부
    를 포함하며,
    상기 자기 상관행렬 및 상기 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것을 특징으로 하는 영상 복호화 장치.
  13. 영상 부호화 방법에 있어서,
    현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하며, 현재 프레임에 대해 방향적 인트라 예측모드에 따라 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 값을 예측하고 예측되는 값과 상기 현재 픽셀의 값의 차이를 통해 예측 오차를 생성하는 단계;
    상기 예측오차 결집단계에 의해 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계; 및
    상기 변환기저 생성단계에 의해 생성된 상기 변환기저를 이용하여 상기 현재 프레임에 대해 생성된 상기 예측 오차를 변환 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  14. 인트라 예측 장치에 의해 예측된 픽셀과 현재 픽셀의 차이에 의해 생성된 예측 오차를 변환하여 부호화하는 변환 부호화 방법에 있어서,
    현재 매크로블록 이전에 부호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 단계; 및
    상기 예측오차 결집단계에 의해 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계;
    를 포함하며,
    상기 변환기저 생성단계에 의해 생성된 변환기저를 이용하여 상기 인트라 예측 장치에 의해 생성된 상기 예측 오차를 변환 부호화하는 것을 특징으로 하는 변환 부호화 방법.
  15. 제 14항에 있어서,
    상기 예측오차 결집단계에 의해 결집된 상기 예측 오차의 집합에 대한 자기 상관행렬을 계산하는 단계;
    를 더 포함하며,
    상기 변환기저 생성단계는 계산된 상기 자기 상관행렬을 이용하여 변환기저를 생성하는 것을 특징으로 하는 변환 부호화 방법.
  16. 영상 복호화 방법에 있어서,
    현재 매크로블록 이전에 복호화된 일정 단위의 매크로블록들 중에서 동일한 인트라 예측모드를 가지고 있는 블록들의 예측 오차를 결집하는 단계;
    상기 인트라 예측오차 단계에 의해 결집된 상기 예측 오차에 기초하여 각각의 인트라 예측모드에 대한 변환기저를 생성하는 단계;
    입력되는 비트스트림에 대하여 복호화할 대상 블록의 인트라 예측 모드를 판독하는 단계;
    상기 변환기저 생성단계에 의해 생성된 변환기저 중 상기 인트라 예측 모드 판독부에 의해 판독된 인트라 예측 모드에 대응하는 변환기저를 이용하여 상기 대상 블록에 대한 예측 오차를 역 변환하는 단계; 및
    상기 인트라 예측 모드 판독단계에 의해 판독된 인트라 예측 모드에 따라 현재 프레임 내의 상기 대상 블록의 주변 픽셀을 이용하여 현재 픽셀의 픽셀 값을 예측하며, 상기 역 변환단계에 의해 역 변환된 예측 오차 값을 더하여 현재 블록을 복원하는 단계;
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  17. 제 16항에 있어서,
    상기 변환기저 생성단계는,
    상기 인트라 예측오차 결집단계에 의해 결집된 상기 예측 오차의 결집에 대한 자기 상관행렬을 계산하는 단계; 및
    상기 상관행렬 계산단계에 의해 계산된 상기 자기 상관행렬로부터 고유벡터를 산출하는 단계;
    를 포함하며,
    상기 자기 상관행렬 및 상기 고유벡터에 기초하여 KLT 기반의 변환기저를 생성하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2010/008777 2009-12-09 2010-12-09 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법 WO2011071316A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/514,552 US9271000B2 (en) 2009-12-09 2010-12-09 Image-encoding apparatus and method, transform-encoding apparatus and method, apparatus and method for generating a transform base, and image-decoding apparatus and method used in same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0121980 2009-12-09
KR1020090121980A KR101441879B1 (ko) 2009-12-09 2009-12-09 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2011071316A2 true WO2011071316A2 (ko) 2011-06-16
WO2011071316A3 WO2011071316A3 (ko) 2011-11-24

Family

ID=44146054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/008777 WO2011071316A2 (ko) 2009-12-09 2010-12-09 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법

Country Status (3)

Country Link
US (1) US9271000B2 (ko)
KR (1) KR101441879B1 (ko)
WO (1) WO2011071316A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
WO2013095460A1 (en) * 2011-12-21 2013-06-27 Intel Corporation Perceptual lossless compression of image data to reduce memory bandwidth and storage
WO2016167538A1 (ko) * 2015-04-12 2016-10-20 엘지전자(주) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
TWI777907B (zh) * 2017-07-13 2022-09-11 美商松下電器（美國）知識產權公司 編碼裝置、編碼方法、解碼裝置、解碼方法及電腦可讀取之非暫時性媒體
KR20190014194A (ko) 2017-07-28 2019-02-12 희성전자 주식회사 도광판 및 이를 구비하는 백라이트 장치
ES2950980T3 (es) * 2019-06-25 2023-10-17 Guangdong Oppo Mobile Telecommunications Corp Ltd Método de codificación de imágenes, método de decodificación de imágenes, codificador, decodificador y medio de almacenamiento

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050007607A (ko) * 2002-06-11 2005-01-19 노키아 코포레이션 인트라 코딩에 기반한 공간 예측
KR20050012762A (ko) * 2002-05-28 2005-02-02 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
KR20070037533A (ko) * 2005-10-01 2007-04-05 삼성전자주식회사 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099175A (ja) 2006-10-16 2008-04-24 Renesas Technology Corp 動画符号化装置および動画符号化方法
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
WO2011011074A1 (en) * 2009-07-23 2011-01-27 Thomson Licensing Methods and apparatus for adaptive transform selection for video encoding and decoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050012762A (ko) * 2002-05-28 2005-02-02 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
KR20050007607A (ko) * 2002-06-11 2005-01-19 노키아 코포레이션 인트라 코딩에 기반한 공간 예측
KR20070037533A (ko) * 2005-10-01 2007-04-05 삼성전자주식회사 영상의 인트라 예측 부호화 방법 및 그 방법을 사용하는부호화 장치

Also Published As

Publication number Publication date
US9271000B2 (en) 2016-02-23
US20120307895A1 (en) 2012-12-06
WO2011071316A3 (ko) 2011-11-24
KR20110065116A (ko) 2011-06-15
KR101441879B1 (ko) 2014-09-23

Similar Documents

Publication Publication Date Title
KR101943049B1 (ko) 영상 부호화/복호화 방법 및 장치
US8582904B2 (en) Method of second order prediction and video encoder and decoder using the same
WO2011068331A2 (ko) 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2013005941A2 (ko) 영상 부호화 및 복호화 방법과 장치
KR101484171B1 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2010038961A2 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010039015A2 (ko) 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
WO2009113791A2 (ko) 영상 부호화장치 및 영상 복호화장치
WO2011019246A2 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
WO2011071316A2 (ko) 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR101601813B1 (ko) 인터 예측을 이용한 영상 복호화 방법 및 장치
WO2011068332A2 (ko) 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2011052990A2 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
WO2015152504A1 (ko) 시점 간 움직임 병합 후보 유도 방법 및 장치
WO2011105849A2 (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
WO2010044566A2 (ko) 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
WO2013077660A1 (ko) 세밀한 예측 단위를 사용하는 효과적인 부호화/복호화 방법 및 장치
WO2011155779A2 (ko) 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10836211

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13514552

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 17-09-2012)

122 Ep: pct application non-entry in european phase

Ref document number: 10836211

Country of ref document: EP

Kind code of ref document: A2