WO2012021040A2 - 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치 - Google Patents

필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2012021040A2
WO2012021040A2 PCT/KR2011/005970 KR2011005970W WO2012021040A2 WO 2012021040 A2 WO2012021040 A2 WO 2012021040A2 KR 2011005970 W KR2011005970 W KR 2011005970W WO 2012021040 A2 WO2012021040 A2 WO 2012021040A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
intra prediction
pixels
correlation
filtering
Prior art date
Application number
PCT/KR2011/005970
Other languages
English (en)
French (fr)
Other versions
WO2012021040A3 (ko
Inventor
송진한
임정연
김용구
최윤식
최영호
정진우
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/811,995 priority Critical patent/US9532045B2/en
Publication of WO2012021040A2 publication Critical patent/WO2012021040A2/ko
Publication of WO2012021040A3 publication Critical patent/WO2012021040A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • An embodiment of the present invention relates to a method and an apparatus for encoding / decoding an image, which can be filtered. More specifically, when filtering an intra prediction image to obtain a natural intra prediction image, additional information for notifying filtering is omitted by allowing filtering to be determined using characteristics of an adjacent pixel or an intra prediction image. And a filtering mode skippable image encoding / decoding method and apparatus for improving compression performance.
  • H.264 / AVC is the latest video compression standard developed by the Joint Video Team (JVT), which consists of the Moving Picture Experts Group (MPEG) and the Video coding Experts Group (VCEG).
  • JVT Joint Video Team
  • MPEG Moving Picture Experts Group
  • VCEG Video coding Experts Group
  • H.264 / AVC provides intra prediction, variable block size motion estimation / compensation in quarters, context-adaptive variable-length coding (CAVLC) and context-adaptive binary arithmetic coding
  • CAVLC context-adaptive variable-length coding
  • MPEG-ASP Advanced Simple Profile
  • prediction / compensation is performed on a pixel value of a block to be currently encoded by using neighboring pixels already encoded as shown in FIG. 1. Do this. This method was developed based on the fact that adjacent pixel values in space have high similarity with each other.
  • an embodiment of the present invention is due to the waste of the bandwidth required for transmission of the filtering mode, such as when the accuracy of the prediction through the use of filtering is not large, or when there are a large number of prediction blocks that do not use the filtering.
  • the main purpose is to obtain better reconstruction image quality by adaptively omitting such filtering mode information when filtering can be detected automatically by reflecting the distribution characteristics of neighboring pixel values so as not to cause a problem that coding efficiency may be deteriorated. There is this.
  • an embodiment of the present invention provides an apparatus for encoding / decoding an image, wherein an intra prediction block is generated by predicting a pixel of a current block using neighboring block pixels, and the correlation between the neighboring block pixels is generated.
  • an image encoding / decoding apparatus comprising an image decoder.
  • an embodiment of the present invention in the apparatus for encoding an image, by using a neighboring block pixel to predict the pixel of the current block to generate an intra prediction block and the peripheral block pixel
  • An intra prediction unit configured to selectively filter the intra prediction blocks according to the correlation between the pixels of the intra prediction block or the pixels of the intra prediction block to generate a prediction block
  • a subtraction unit for generating a residual block by subtracting the prediction block from the current block
  • a transform and quantization unit for transforming and quantizing the residual block to generate a transformed and quantized residual block
  • an encoder configured to encode the transformed and quantized residual blocks.
  • an embodiment of the present invention to achieve another object of the present invention, an apparatus for decoding an image, the decoding unit for receiving the encoded data to restore the transformed and quantized residual block; An inverse quantization and inverse transform unit which inversely quantizes and inversely transforms the transformed and quantized residual block to restore the residual block; An intra prediction block is generated by predicting a pixel of the current block by using a neighboring block pixel, and the filtering is performed by selectively performing the intra prediction block according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block. An intra prediction unit generating a block; And an adder configured to reconstruct the current block by adding the reconstructed residual block and the prediction block.
  • an embodiment of the present invention in the method for encoding / decoding an image, generates an intra prediction block by predicting the pixel of the current block using the neighboring block pixels and the peripheral
  • the prediction block is generated by selectively filtering the intra prediction block according to the correlation between the pixel of the block or the pixel of the intra prediction block, and the residual block is generated by subtracting the prediction block from the current block.
  • Generate a block by selectively generating blocks and filtering intra prediction blocks according to correlations between pixels of neighboring blocks or correlations between pixels of intra prediction blocks, and generate a prediction block and add a residual block and a prediction block to be reconstructed to restore a current block. It provides a video encoding / decoding method comprising a video decoding step.
  • an embodiment of the present invention in the method of encoding an image, by using a neighboring block pixel to predict the pixel of the current block to generate an intra prediction block and the peripheral block pixel
  • an encoding step of encoding the transformed and quantized residual block in the method of encoding an image, by using a neighboring block pixel to predict the pixel of the current block to generate an intra prediction block and the peripheral block pixel
  • An intra prediction step of generating a prediction block by selectively filtering the intra prediction block according to the correlation between the pixels of the intra prediction block or the correlation between the pixels of the intra prediction block
  • an embodiment of the present invention a method for decoding an image, the decoding step of receiving the encoded data to restore the transformed and quantized residual block; Inverse quantization and inverse transformation for restoring the residual block by inverse quantization and inverse transformation of the transformed and quantized residual block;
  • An intra prediction block is generated by predicting a pixel of the current block by using a neighboring block pixel, and the filtering is performed by selectively performing the intra prediction block according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block.
  • An intra prediction step of generating a block And an adding step of reconstructing the current block by adding the reconstructed residual block and the prediction block.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG 2 is a diagram illustrating a configuration of the intra predictor 110.
  • FIG 3 is a diagram illustrating pixels a to p of a current block having a size of 4x4 and pixels A to M adjacent to the current block.
  • FIG. 4 is a diagram illustrating the directions of nine intra prediction modes of H.264 / AVC.
  • FIG. 5 is a diagram illustrating whether a prediction mode generation unit 114 generates a filtering mode according to a value of a standard deviation ⁇ predictor .
  • FIG. 6 is a diagram illustrating whether the prediction block generation unit 114 generates a filtering mode according to the value of the standard deviation ( ⁇ reference ).
  • FIG. 7 is a block diagram schematically illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a configuration of the intra predictor 730.
  • a video encoding apparatus (Video Encoding Apparatus), a video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), notebook computer, personal digital assistant (PDA), portable multimedia player (PMP) : User terminal such as Portable Multimedia Player (PSP), PlayStation Portable (PSP: PlayStation Portable), Wireless Communication Terminal, Smart Phone, or a server terminal such as an application server or a service server.
  • a communication device such as a communication modem for communicating with a wired / wireless communication network, a memory for storing various programs and data for encoding or decoding an image, inter or intra prediction for encoding or decoding, and executing and operating a program.
  • microprocessors It can mean one device.
  • the image encoded in the bitstream by the video encoding apparatus is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • USB universal serial bus
  • a video may be composed of a series of pictures, and each picture may be divided into a predetermined area such as a frame or a block.
  • the divided blocks may be classified into intra blocks and inter blocks according to an encoding method.
  • An intra block refers to a block that is encoded by using an intra prediction coding scheme. Intra prediction coding is performed by using pixels of blocks that have been previously encoded, decoded, and reconstructed in a current picture that performs current encoding. A prediction block is generated by predicting pixels of a block, and a difference value with pixels of the current block is encoded.
  • An inter block refers to a block that is encoded using inter prediction coding.
  • Inter prediction coding generates a prediction block by predicting a current block in a current picture by referring to one or more past pictures or future pictures, and then generates a current block. This is a method of encoding the difference value with.
  • a frame referred to for encoding or decoding the current picture is referred to as a reference frame.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • the image encoding apparatus 100 may include an intra prediction unit 110, an inter prediction unit 120, a subtractor 130, a transform and quantizer 140, and an encoding.
  • the encoder 150 may be configured to include an encoder 150, an inverse quantization and inverse transformer 160, an adder 170, and a frame memory 180.
  • the input image to be encoded is input in units of macro blocks.
  • the macro blocks may have an M ⁇ N shape and M and N may each have a size of 2 n , and M and N may be the same. can be different. Thus, it may be equal to or larger than the macro block of H.264.
  • the prediction unit (the intra side unit 110 or the inter prediction unit 120) generates a prediction block by predicting the current block. That is, the prediction unit (intra-side unit 110 or inter-prediction unit 120) predicts the pixel value of each pixel of the current block to be encoded in the image, and predicts the predicted pixel value of each pixel. Create a predicted block having a value).
  • the prediction unit (the intra side unit 110 or the inter prediction unit 120) may predict the current block by using the intra prediction by the intra side unit 110 or the inter prediction by the inter prediction unit 120.
  • the inter prediction unit 120 generates a prediction block by using another frame to predict the current macro block. That is, the inter predictor 120 generates a motion vector through motion estimation according to the mode of the inter predictor 120 in a previous frame that has already been encoded and reconstructed, and generates a predictive block in a motion compensation process using the motion vector. do.
  • the intra prediction unit 110 generates an intra prediction block by predicting the pixels of the current block using the neighboring block pixels, and selectively filters the intra prediction blocks according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block. To generate a prediction block. That is, the intra prediction unit 110 generates a prediction block according to the mode of the intra prediction unit 110 by using neighboring pixels of the current macro block, which have already been encoded and reconstructed.
  • the subtraction unit 130 subtracts the current block and the prediction block to generate a residual block. That is, the subtractor 130 calculates a difference between the pixel value of each pixel of the current block to be encoded and the pixel value of the prediction block generated by the intra predictor 110 or the inter predictor 120, thereby remaining in the block form. Generate a residual block with a residual signal.
  • the transform and quantization unit 140 converts the residual blocks generated by the subtractor 130 into frequency coefficients and quantizes the residual blocks to generate transformed and quantized residual blocks.
  • the transform method includes a spatial signal such as a Hadamard transform and a discrete cosine transform based integer transform (hereinafter, referred to as an integer transform) to the frequency domain. Transformation techniques may be used, and various quantization techniques such as Dead Zone Uniform Threshold Quantization (DZUTQ) or Quantization Weighted Matrix (DZUTQ) are used as quantization schemes. Can be.
  • DZUTQ Dead Zone Uniform Threshold Quantization
  • DZUTQ Quantization Weighted Matrix
  • the encoder 150 generates encoded data by encoding the residual block transformed and quantized by the transform and quantizer 140.
  • an entropy encoding technique may be used, but various encoding techniques may be used without being limited thereto.
  • the encoder 150 may include not only a bit string encoding the quantized frequency coefficients, but also various pieces of information necessary to decode the encoded bit string in the encoded data. That is, the encoded data may include a first field including a coded block pattern (CBP), a delta quantization parameter, and a bit string having a coded quantization frequency coefficient, and information necessary for prediction (eg, In the case of intra prediction, a second field including a bit for an intra prediction mode or a motion vector in the case of inter prediction may be included.
  • CBP coded block pattern
  • a delta quantization parameter e.g., a bit string having a coded quantization frequency coefficient
  • information necessary for prediction eg, In the case of intra prediction, a second field including a bit for an intra prediction mode or a motion vector in the case of inter prediction may be included.
  • the inverse quantization and inverse transform unit 160 inverse quantizes and inverse transforms the residual block transformed and quantized by the transform and quantization unit 140 to reconstruct the residual block.
  • Inverse quantization and inverse transformation may be performed by inversely performing a transform process and a quantization process performed by the transform and quantization unit 140. That is, the inverse quantization and inverse transform unit 160 may use the transform and quantization unit (for example, information on a transform and quantization type) generated and transmitted from the transform and quantization unit 140 (for example, information about a transform and quantization type).
  • the inverse quantization and inverse transformation may be performed by performing the transform and quantization inversely.
  • the adder 170 reconstructs the current block by adding the predicted block predicted by the predictor 110 or 120 and the residual block inversely quantized and inversely transformed by the inverse quantization and inverse transform unit 160.
  • the frame memory 180 is used as a reference block to store a block reconstructed by the adder 170 to generate a prediction block when performing intra or inter prediction.
  • FIG 2 is a diagram illustrating a configuration of the intra predictor 110.
  • the intra predictor 110 may include a pixel predictor 112 and a predictor block generator 114.
  • FIG. 3 is a diagram illustrating pixels a to p of a current block having a size of 4x4 and pixels A to M adjacent to the current block, and FIG. 4 illustrates directions of nine intra prediction modes of H.264 / AVC.
  • FIG. 4 illustrates directions of nine intra prediction modes of H.264 / AVC.
  • the pixel prediction unit 112 generates an intra prediction block by predicting the pixels of the current block by using the neighboring block pixels.
  • the pixel predictor 112 may use various methods, such as directional prediction, weighted prediction, and template based prediction, using adjacent pixels of the current block to predict the current block. For example, when a pixel of (a to p) of the current block is predicted using pixels A to M, which are adjacent pixels in the current block, as shown in FIG. 3, one of nine directional prediction methods as shown in FIG. 4. Using the predictive image can be generated.
  • the predicted image is an intra prediction block having predicted pixels from a ⁇ to p ⁇ (the prediction result of a pixel is a ⁇ and the prediction result of b pixel is b ⁇ , ..., p pixel prediction
  • the prediction result of a pixel is a ⁇
  • the prediction result of b pixel is b ⁇ , ..., p pixel prediction
  • the prediction block generator 114 selectively filters the intra prediction block according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block to generate the prediction block.
  • the prediction block generator 114 filters the intra prediction block when it is determined that filtering is required according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block. In this case, there is only one filtering mode. If multiple filtering modes are available, filtering mode information may be extracted and filtering may be performed according to the filtering mode. Details regarding the extraction of the filtering mode information will be described later.
  • the prediction block generator 114 may determine whether to filter the intra prediction block by using pixels a ⁇ to p ⁇ of the intra prediction block.
  • the encoder / decoder may know the pixel information (a ⁇ to p ⁇ ) of the intra prediction block before performing the filtering.
  • the pixels a ⁇ to p ⁇ of the intra prediction block are generated using the average value of the adjacent pixels AM.
  • the values of all the pixels in the intra prediction block are filled with the same values. Therefore, in this case, since the values of the predicted pixels a ⁇ to p ⁇ in the intra prediction block are the same, it can be seen that there is no need to perform filtering. That is, when the intra prediction mode is the DC mode, the filtering mode information on the intra prediction block may be omitted and the filtering may not be performed.
  • the intra-prediction block may be filtered using the pixels a ⁇ to p ⁇ of the intra-prediction block. If the pixels in the intra prediction block are flat images having similar values, there is no need to perform prediction filtering. Therefore, in the present invention, if the pixels a ⁇ to p ⁇ of the intra prediction block have similar values (that is, values having high correlation), the filtering may not be performed. Thus, the prediction block generator 114 may perform the filtering mode. The generation of information can be omitted.
  • the prediction block generator 114 may use the standard deviation or variance of the pixels a ⁇ to p ⁇ of the intra prediction block as a method for determining a correlation between the pixels a ⁇ to p ⁇ of the intra prediction block.
  • the present invention is not limited thereto, and various methods can be used.
  • the standard deviation ⁇ predictor of the pixels of the intra prediction block may be obtained from Equation 1.
  • Equation 1 S k is pixels a ⁇ to p ⁇ of an intra prediction block, m p means an average of prediction pixels, and N p is the number of intra prediction pixels, which is 16 in the same case as in FIG. 1.
  • Equation 1 the closer the value of the standard deviation ( ⁇ predictor ) is to 0, the higher the correlation between the pixels a ⁇ to p ⁇ of the intra prediction block.
  • FIG. 5 is a diagram illustrating whether a prediction mode generation unit 114 generates a filtering mode according to a value of a standard deviation ⁇ predictor .
  • the pixels in the intra prediction block may be determined to be similar to each other. You may not.
  • the TH predictor may be expressed as a function of a quantization step (Q step ) as shown in Equation 2.
  • the round (x) function is a function indicating rounding to an integer of x values.
  • the prediction block generator 114 determines whether to generate a filtering mode and whether to perform filtering according to whether Equation 3 holds.
  • the prediction block generator 114 performs the filtering and generates the prediction mode generated as a result of filtering and the filtering mode (generated when there are several possible filtering modes). have. If Equation 3 is satisfied, it is not necessary to apply filtering to the intra prediction block, and in this case, the prediction block generator 114 determines the intra prediction block as the prediction block.
  • filtering may be performed using a predetermined filter so that the prediction block is similar to the current block.
  • the intra prediction block may be repeatedly filtered using a plurality of filters (for example, n (n is an integer of 1 or more)). It is possible to use all n filters or to filter out k iterations using only a few filters (k (k ⁇ n)).
  • n n is an integer of 1 or more
  • k k ⁇ n
  • There is no restriction on a method of determining a filter used for filtering and for example, a filter determined from a natural image, such as a field of expert (FoE) model, may be used for filtering.
  • FoE field of expert
  • different filtering modes may occur according to the type of filter or the number of filters used for filtering, and the filtering mode may allow a different filtering mode to be selected according to the pixel information of the current intra prediction block. Therefore, when the prediction block generator 114 selects one of the plurality of filtering modes to filter the intra prediction block to generate the prediction block, the prediction mode may be transmitted to the encoder 150 and encoded.
  • the prediction block generator 114 may determine whether to perform filtering on the intra prediction block by using adjacent pixels A to M.
  • the reason for performing the filtering is to make the intra prediction block a natural image.
  • the generated intra prediction block will be a natural image without discontinuity with neighboring blocks. In this case, therefore, it would not be necessary to perform filtering on the intra prediction block.
  • the prediction block generator 114 determines the intra prediction block as the prediction block.
  • the predictive block generator 114 determines the intra prediction block as the predictive block.
  • the decoder can know whether the filtering mode information is generated by using the information of the adjacent pixels.
  • Equation 4 is an expression for calculating the correlation between the adjacent pixels (A ⁇ M).
  • u k means adjacent pixels located in the intra prediction block, such as A, B, C, D, E, F, G, and H in FIG. 3, and l k is I, K, J, L in FIG. As such, it means an adjacent pixel located to the left of the intra prediction block.
  • U is the number of pixels located above the intra prediction block and is 8 in the case of FIG. 3
  • L is the number of pixels located at the left side of the intra prediction block and is 4 in the case of FIG. 3.
  • m means an average from adjacent pixels A to M.
  • Similarity (correlation) of adjacent pixels may be obtained as a standard deviation of upper and left pixels of a block to be currently encoded. If the criterion indicating the similarity of the adjacent pixels is a standard deviation ( ⁇ reference ), the similarity of the adjacent pixels may be determined using Equation 4. The closer the value of the standard deviation ( ⁇ reference ) is to 0, the higher the similarity.
  • FIG. 6 is a diagram illustrating whether the prediction block generation unit 114 generates a filtering mode according to the value of the standard deviation ( ⁇ reference ).
  • the pixels in the intra prediction block may be determined to have high correlation with each other. May not be created.
  • the TH reference may be expressed as a function of a quantization step (Q step ) as shown in Equation 5.
  • the round (x) function is a function indicating rounding to an integer of x values.
  • the prediction block generator 114 determines whether to generate the filtering mode and whether to perform the filtering according to whether Equation 6 is satisfied.
  • the prediction block generator 114 may perform filtering and generate the prediction block generated as a result of filtering and mode information of the filtering.
  • the prediction block generator 114 determines the intra prediction block as the prediction block.
  • the prediction block generation unit 114 when the prediction block generation unit 114 generates the prediction block, when specific contour information is included in the reference pixel of the neighboring block of the current block on which intra prediction is to be performed, the information about the filtering mode is not performed without filtering. Coding can be omitted.
  • the upper peripheral reference pixels M, A, B, C, ..., H) is defined as U k
  • the left peripheral reference pixels (M, I, J, K, L) are defined as L k .
  • the filtered upper reference pixel is applied to the upper peripheral reference pixels (M, A, B, C, ..., H) by U F
  • the left peripheral reference pixels (M, I, J, K, L) defines the filtered left reference pixel is applied to low-pass filter to the L F.
  • the result of applying the low pass filter is similar to the average value of the pixels due to its characteristics. Therefore, if strong contour information exists in the upper peripheral reference pixel or the left peripheral reference pixel, the left and right pixel values are based on the presence of the contour. Can be expected to change from a small value to a larger value on the basis of the average value, or vice versa.
  • the sign of the difference value is defined by Equation 7 by subtracting the filtered pixel value and the pixel value before filtering for each pixel.
  • Equation 8 is an equation for calculating the maximum of L l in number of the number of consecutive 1 and -1 at a maximum of L u, s k l in number of the number of consecutive 1 and -1 at s k u.
  • c u 1 is the maximum number of consecutive 1s in s k u
  • c u -1 is the maximum number of consecutive -1s in s k u
  • c l 1 is the maximum number of consecutive 1s in s k l
  • c l -1 means the maximum number of consecutive -1 s k l .
  • U k is (100, 102, 98, 100, 120, 135, 150, 148, 154) and U F is (100, 100, 104, 111. 120, 131. 140, 146, 152)
  • S k u becomes (0, 1, -1, -1, 0, 1, 1, 1, 1).
  • c u 1 becomes 4
  • c u ⁇ 1 becomes 2
  • L u becomes 4 according to Equation 8.
  • L L can be obtained in a similar manner to L u .
  • L u is greater than the predetermined threshold TH u may not also encoded filtering mode without performing any filtering.
  • FIG. 7 is a block diagram schematically illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 700 includes a decoder 710, an inverse quantization and inverse transform unit 720, an intra prediction unit 730, an inter prediction unit 740, an adder 750, and the like. It may be configured to include a frame memory 760.
  • the decoder 710 may receive encoded data and restore the transformed and quantized residual block and information necessary for decoding.
  • the decoder 710 decodes the encoded data and extracts information necessary for block decoding.
  • the decoder 710 may extract and decode the residual block encoded from the first field included in the encoded data, extract information necessary for prediction from the second field included in the encoded data, The necessary information may be transmitted to the intra predictor 730 or the inter predictor 740.
  • the inverse quantization and inverse transform unit 720 inversely quantizes and inverse transforms the decoded transformed and quantized residual block to restore the residual block.
  • the prediction unit (intra prediction unit 730 or inter prediction unit 740) generates a prediction block by predicting the current block.
  • the prediction unit (intra prediction unit 730 or inter prediction unit 740) is currently present in the same manner as the prediction unit (intra prediction unit 110 or inter prediction unit 120) of the image encoding apparatus 100. Predict blocks.
  • the adder 750 reconstructs the current block by adding the residual block reconstructed by the inverse quantization and inverse transform unit 730 and the prediction block generated by the predictor 740.
  • the current block reconstructed by the adder 750 may be transferred to the frame memory 760, and may be used by the predictor (either the intra prediction unit 730 or the inter prediction unit 740) to predict another block.
  • the frame memory 760 stores the reconstructed image to enable generation of intra and inter prediction blocks.
  • the decoder 710 may decode or extract encoded data to decode or extract information necessary for decoding as well as the transformed and quantized residual block.
  • the information necessary for decoding refers to information necessary for decoding the coded bit string in the encoded data. For example, information about a block type, information about an intra prediction mode when the prediction mode is an intra prediction mode, and an inter prediction mode In the case of the prediction mode, the information may be information on a motion vector, information on a transform and quantization type, or the like.
  • the intra prediction unit 730 generates an intra prediction block by predicting the pixels of the current block using the neighboring block pixels, and selectively filters the intra prediction blocks according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block. It can be performed to generate a prediction block.
  • FIG. 8 is a diagram illustrating a configuration of the intra prediction unit 730.
  • the intra prediction unit 730 may include a pixel prediction unit 732 and a prediction block generator 734.
  • the pixel prediction unit 732 generates an intra prediction block by predicting the pixels of the current block by using the neighboring block pixels.
  • the prediction block generator 734 selectively generates the prediction block by filtering the intra prediction block according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block.
  • the operation of the pixel predictor 732 may be the same as the operation of the pixel predictor 112 in the image encoding apparatus 100, a detailed description thereof will be omitted. Also, a process of deriving a correlation between neighboring block pixels or a correlation between pixels of an intra prediction block among operations of the prediction block generator 734 may be the same as that of the prediction block generator 114 in the image encoding apparatus 100. Detailed descriptions are omitted here.
  • the prediction block generator 734 filters the intra prediction block when it is determined that filtering is required according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block (when the correlation is greater than or equal to the threshold). In this case, there is only one filtering mode. If multiple filtering modes are possible, filtering data is extracted from the encoded data and filtering is performed according to the filtering mode.
  • the decoding unit 710 extracts a filtering mode from the information reconstructed from the encoded data, and the prediction block generator 734 filters the intra prediction block according to the reconstructed filtering mode.
  • the prediction block generator 734 determines that the intra prediction block is a prediction block without performing the filtering operation if it is determined that the filtering is not necessary according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block.
  • the image encoding / decoding apparatus may be implemented by connecting the encoded data output terminal of the image encoding apparatus 100 of FIG. 1 to the encoded data input terminal of the image decoding apparatus 700 of FIG. 7.
  • An image encoding / decoding apparatus generates an intra prediction block by predicting pixels of a current block using neighboring block pixels, and generates an intra prediction block and a correlation between the neighboring block pixels or the pixels of the intra prediction block.
  • the intra prediction block is selectively filtered to generate a prediction block, the prediction block is subtracted from the current block to generate a residual block, and the residual block is transformed and quantized to generate a transformed and quantized residual block, and a transformed and quantized residual.
  • An image encoder for encoding a block And reconstructing the transformed and quantized residual block by receiving the encoded data, inverse quantizing and inverse transforming the reconstructed transform and quantized residual block, reconstructing the residual block, and predicting the pixel of the current block using the neighboring block pixels.
  • Generate a block by selectively generating blocks and filtering intra prediction blocks according to correlations between pixels of neighboring blocks or correlations between pixels of intra prediction blocks, and generate a prediction block and add a residual block and a prediction block to be reconstructed to restore a current block. It includes an image decoder.
  • the image encoder may be implemented by the image encoding apparatus 100 according to an embodiment of the present invention
  • the image decoder may be implemented by the image decoding apparatus 700 according to the embodiment of the present invention.
  • an intra prediction block is generated by predicting a pixel of a current block using neighboring block pixels, and an intra prediction block is generated according to a correlation between neighboring pixel pixels or a correlation between pixels of an intra prediction block.
  • Intra prediction step (S810) of selectively performing prediction filtering to generate a prediction block subtraction step (S820) of generating a residual block by subtracting the prediction block from the current block, and transforming and quantizing the residual block.
  • a transform and quantization step (S830) of generating the residual residual block and an encoding step (S840) of encoding the transformed and quantized residual block are included.
  • the intra prediction step S810 corresponds to the operation of the intra prediction unit 110
  • the subtraction step S820 corresponds to the operation of the subtraction unit 130
  • the transform and quantization step S830 is a transform and quantization unit.
  • the encoding step (S840) may correspond to the operation of the encoder 150, and thus a detailed description thereof will be omitted.
  • Inverse quantization and inverse transformation step (S920) the intra prediction block is generated by predicting the pixels of the current block using the neighboring block pixels, and the intra prediction block is determined according to the correlation between the neighboring block pixels or the correlation between the pixels of the intra prediction block.
  • the decoding step (S910) may correspond to the operation of the decoding unit 710
  • the inverse quantization and inverse transform step (S920) corresponds to the operation of the inverse quantization and inverse transform unit 720
  • the intra prediction step (S930) Corresponds to the operation of the intra prediction unit 730
  • the addition step S940 may correspond to the operation of the adder 750, and thus, detailed description thereof will be omitted.
  • An image encoding / decoding method may be realized by combining the image encoding method according to an embodiment of the present invention and the image decoding method according to an embodiment of the present invention.
  • an intra prediction block is generated by predicting a pixel of a current block using neighboring block pixels, and a correlation between neighboring block pixels or a correlation between pixels of an intra prediction block is performed.
  • filter intra prediction blocks according to the relation to generate prediction blocks subtract prediction blocks from current blocks to generate residual blocks, transform and quantize residual blocks to generate transformed and quantized residual blocks, and transform and quantize An image encoding step of encoding the residual block; And reconstructing the transformed and quantized residual block by receiving the encoded data, inverse quantizing and inverse transforming the reconstructed transform and quantized residual block, reconstructing the residual block, and predicting the pixel of the current block using the neighboring block pixels.
  • Generate a block by selectively generating blocks and filtering intra prediction blocks according to correlations between pixels of neighboring blocks or correlations between pixels of intra prediction blocks, and generate a prediction block and add a residual block and a prediction block to be reconstructed to restore a current block. And a video decoding step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 실시예는 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 본 발명의 실시예는, 자연스러운 인트라 예측 영상을 얻기 위해 인트라 예측 영상에 필터링을 수행하는 경우, 인접 화소나 인트라 예측 영상의 특성을 이용하여 필터링 여부를 판단할 수 있도록 함으로써 필터링 여부를 알리기 위한 부가 정보를 생략하고, 이를 통해 압축 성능을 개선고자 하는 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치에 관한 것이다.

Description

필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
본 발명의 실시예는 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 자연스러운 인트라 예측 영상을 얻기 위해 인트라 예측 영상에 필터링을 수행하는 경우, 인접 화소나 인트라 예측 영상의 특성을 이용하여 필터링 여부를 판단할 수 있도록 함으로써 필터링 여부를 알리기 위한 부가 정보를 생략하고, 이를 통해 압축 성능을 개선고자 하는 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치에 관한 것이다.
H.264/AVC는 최신의 비디오 압축 표준으로 MPEG(Moving Picture Experts Group)과 VCEG(Video coding Experts Group)으로 구성된 JVT(Joint Video Team)에 의해 개발되었다. H.264/AVC는 인트라 예측, 1/4 단위의 가변 블록사이즈 움직임 추정/보상(variable block size motion estimation/compensation), CAVLC(Context-adaptive variable-length coding)와 CABAC(Context-adaptive binary arithmetic coding) 등의 엔트로피 부호화 등의 기술을 이용하여 MPEG-2보다 약 2배, MPEG-ASP(Advanced Simple Profile)보다 약 1.5배의 압축률 향상을 보인다.
H.264/AVC의 기술 중 영상의 공간적 유사성을 제거하기 위한 인트라 예측 부호화에서는, 현재 부호화를 수행할 블록의 화소값에 대해, 도 1과 같이 이미 부호화를 마친 인접 화소를 이용하여, 예측/보상을 수행한다. 이 방법은 공간상으로 인접한 화소 값들이 서로 높은 유사성을 갖는 다는 점에 착안하여 개발되었다.
인트라 예측의 효율을 더욱 높이기 위한 방법으로, 인트라 예측을 수행한 예측 영상에 적응적 필터링을 수행하는 방법이 있다. 이는 인트라 예측 영상에 저대역(low pass) 필터링을 취함으로써 인트라 예측 영상을 더욱 자연스러운 영상으로 생성하고, 이를 통해 압축 효율을 높일 수 있게 한다. 그러나 방향성 윤곽선(edge)이 뚜렷한 인트라 예측 영상에 저대역 필터링을 취할 경우 인트라 예측 영상이 흐려지는 현상(blurring artifact)이 발생하여 오히려 예측 효율이 저하될 수 있는 문제가 발생할 수 있으며, 이를 해결하기 위한 방안으로 도 2와 같이 인트라 예측 영상에 대한 필터링 모드를 두어 매 인트라 예측 블록마다 적응적으로 저대역 필터의 사용 여부를 결정함으로써 이와 같은 문제를 해결하였다. 하지만, 이 경우에 매 인트라 예측 블록마다 필터링 모드를 전송해야 하기 때문에, 전반적으로 필터링이 필요 없는 예측 영상이 지배적인 영상과 같은 경우에는 부호화 효율이 저하되는 현상이 발생하게 되는 문제가 있다.
이러한 문제점을 해결하기 위해 본 발명의 실시예는, 필터링의 사용을 통한 예측의 정확도 향상이 크지 않거나, 필터링을 사용하지 않는 예측 블록이 상당수 존재하는 경우 등 필터링 모드의 전송에 필요한 대역의 낭비로 인해 부호화 효율이 저하될 수 있는 문제가 발생하지 않도록 주변 화소 값의 분포 특성을 반영하여, 필터링 여부를 자동으로 탐지할 수 있는 경우 적응적으로 이러한 필터링 모드 정보를 생략함으로써 더욱 우수한 복원 화질을 얻는데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 장치에 있어서, 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하고 상기 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하고 상기 변환 및 양자화된 잔여블록을 부호화하는 영상 부호화기; 및 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하고 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 복원되는 잔여 블록과 예측블록을 가산하여 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 장치에 있어서, 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측부; 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하는 감산부; 상기 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하는 변환 및 양자화부; 및 상기 변환 및 양자화된 잔여블록을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 장치에 있어서, 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화부; 상기 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하는 역양자화 및 역변환부; 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측부; 및 상기 복원되는 잔여 블록과 상기 예측블록을 가산하여 상기 현재 블록을 복원하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화/복호화하는 방법에 있어서, 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하고 상기 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하고 상기 변환 및 양자화된 잔여블록을 부호화하는 영상 부호화단계; 및 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하고 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 복원되는 잔여 블록과 예측블록을 가산하여 현재 블록을 복원하는 영상 복호화단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 부호화하는 방법에 있어서, 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측단계; 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하는 감산단계; 상기 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하는 변환 및 양자화단계; 및 상기 변환 및 양자화된 잔여블록을 부호화하는 부호화단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적을 달성하기 위해 본 발명의 일 실시예는, 영상을 복호화하는 방법에 있어서, 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화단계; 상기 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하는 역양자화 및 역변환단계; 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측단계; 및 상기 복원되는 잔여 블록과 상기 예측블록을 가산하여 상기 현재 블록을 복원하는 가산단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 인접 화소나 인트라 예측 영상의 특성을 이용하여 필터링 여부를 판단할 수 있도록 함으로써 필터링 여부를 알리기 위한 부가 정보를 생략하고, 이를 통해 압축 성능을 개선하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
도 2는 인트라 예측부(110)의 구성을 도시한 도면이다.
도 3은 4x4 크기의 현재블록의 화소(a ~ p)와 현재블록에 인접한 화소(A ~ M)를 도시한 도면이다.
도 4는 H.264/AVC의 9가지 인트라 예측 모드의 방향을 예시한 도면이다.
도 5는 예측블록 생성부(114)에서 표준편차(σpredictor)의 값에 따른 필터링 모드 생성여부를 나타내는 도면이다.
도 6은 예측블록 생성부(114)에서 표준편차(σreference)의 값에 따른 필터링 모드 생성여부를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
도 8은 인트라 예측부(730)의 구성을 예시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone) 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치(100)는 인트라예측부(110), 인터예측부(120), 감산부(Subtractor, 130), 변환 및 양자화부(Transformer and Quantizer, 140), 부호화부(Encoder, 150), 역양자화 및 역변환부(Inverse Quantizer and Inverse Transformer, 160), 가산부(Adder, 170) 및 프레임 메모리(180)를 포함하여 구성될 수 있다.
부호화하고자 하는 입력 영상은 매크로 블록(Macro Block) 단위로 입력이 되는데, 본 발명에서, 매크로 블록은 M×N 형태이며 M과 N은 각 2n의 크기를 가질 수 있으며, M과 N이 동일하거나 다를 수 있다. 따라서, H.264의 매크로 블록과 동일하거나 클 수도 있다.
예측부(인트라측부(110) 또는 인터예측부(120))는 현재 블록을 예측하여 예측 블록을 생성한다. 즉, 예측부(인트라측부(110) 또는 인터예측부(120))는 영상에서 부호화하고자 하는 현재 블록의 각 화소의 화소값(Pixel Value)을 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 여기서, 예측부(인트라측부(110) 또는 인터예측부(120))는 인트라측부(110)에 의한 인트라 예측 또는 인터예측부(120)에 의한 인터 예측을 이용하여 현재 블록을 예측할 수 있다.
인터 예측부(120)는 현재 매크로 블록을 예측하기 위하여 다른 프레임을 이용하여 예측 블록을 생성한다. 즉, 인터 예측부(120)는 이미 부호화 과정을 거치고 복원된 이전 프레임에서 인터 예측부(120)의 모드에 따라 움직임 추정을 통해 움직임 벡터를 생성하고 움직임 벡터를 이용한 움직임 보상 과정에서 예측 블록을 생성한다.
인트라 예측부(110)는 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성한다. 즉, 인트라 예측부(110)는 이미 부호화 과정을 거치고 복원된, 현재 매크로 블록의 인접 화소들을 이용하여 인트라 예측부 (110)의 모드에 따라 예측 블록을 생성한다.
감산부(130)는 현재 블록과 예측 블록을 감산하여 잔여 블록(Residual Block)을 생성한다. 즉, 감산부(130)는 부호화하고자 하는 현재 블록의 각 화소의 화소값과 인트라 예측부(110) 또는 인터 예측부(120)에서 생성된 예측 블록의 화소값의 차이를 계산하여 블록 형태의 잔여 신호(Residual Signal)를 갖는 잔여 블록을 생성한다.
변환 및 양자화부(140)가 감산부(130)에서 생성된 잔여 블록을 주파수 계수로 변환하고 양자화하여 변환 및 양자화된 잔여 블록을 생성한다. 여기서, 변환 방식으로는 하다마드 변환(Hadamard Transform), 이산 코사인 트랜스폼 기반의 정수 변환(Discrete Cosine Transform Based Integer Transform, 이하 '정수 변환'이라고 약칭함) 등과 같은 공간 영역의 영상 신호를 주파수 영역으로 변환하는 기법이 이용될 수 있으며, 양자화 방식으로는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
부호화부(150)는 변환 및 양자화부(140)에 의해 변환되고 양자화된 잔여 블록을 부호화하여 부호화 데이터를 생성한다.
이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술을 사용할 수 있을 것이다.
또한, 부호화부(150)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수계수가 부호화 된 비트열이 포함되는 제 1 필드와 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트가 포함되는 제 2 필드 등을 포함할 수 있다.
역양자화 및 역변환부(160)는 변환 및 양자화부(140)에 의해 변환 및 양자화된 잔여 블록을 역 양자화(Inverse Quantization)하고 역 변환(Inverse Transform)하여 잔여 블록을 복원(Reconstruction)한다. 역 양자화와 역 변환은 변환 및 양자화부(140)가 수행한 변환 과정과 양자화 과정을 역으로 수행함으로써 이루어질 수 있다. 즉, 역양자화 및 역변환부(160)는 변환 및 양자화부(140)로부터 발생되어 전달되는 변환 및 양자화에 관한 정보(예를 들어, 변환 및 양자화 타입에 대한 정보)를 이용하여 변환 및 양자화부(140)가 변환 및 양자화한 방식을 역으로 수행하여 역 양자화 및 역 변환을 수행할 수 있다.
가산부(170)는 예측부(110 또는 120)에 의해 예측된 예측 블록과 역양자화 및 역변환부(160)에 의해 역 양자화 및 역 변환된 잔여 블록을 가산하여 현재 블록을 복원한다.
프레임 메모리(180)는 가산부(170)에서 복원된 블록을 저장하여 인트라 혹은 인터 예측 수행 시 예측 블록을 생성하기 위해 참조블록으로 사용된다.
도 2는 인트라 예측부(110)의 구성을 도시한 도면이다.
도 2에 도시한 바와 같이, 인트라 예측부(110)는 화소예측부(112) 및 예측블록 생성부(114)를 포함하여 구성될 수 있다.
도 3은 4x4 크기의 현재블록의 화소(a ~ p)와 현재블록에 인접한 화소(A ~ M)를 도시한 도면이고, 도 4는 H.264/AVC의 9가지 인트라 예측 모드의 방향을 예시한 도면이다.
화소예측부(112)는 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성한다. 화소예측부(112)는 현재블록을 예측하기 위하여 현재 블록의 인접 화소들을 사용하여 방향성 예측, 가중 예측, 템플릿 기반 예측 등의 다양한 방식을 사용할 수 있다. 예를 들어, 도 3과 같이 현재 블록의 (a ~ p)의 화소를 현재블록에서 인접한 주변 화소인 A부터 M까지의 화소를 사용하여 예측하는 경우, 도 4와 같은 9가지 방향성 예측 방법 중 하나를 사용하여 예측 영상을 생성할 수 있다. 이러한 경우 예측된 영상은 a`부터 p`까지의 예측된 화소를 갖는 인트라예측 블록이 된다(a 화소의 예측결과는 a`, b 화소의 예측결과는 b`, ..., p 화소의 예측결과는 p`임).
예측블록 생성부(114)는 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성한다.
예측블록 생성부(114)는 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요한 것으로 판단되면 인트라예측 블록을 필터링한다. 이 경우는 필터링 모드가 하나뿐인 경우를 의미하며, 필터링 모드가 여러개 가능한 경우에는 필터링 모드 정보를 추출한 후 필터링 모드에 따라서 필터링을 수행할 수 있다. 필터링 모드 정보의 추출에 대한 사항은 후술한다.
예측블록 생성부(114)는 인트라예측 블록의 화소(a`~ p`)를 이용하여 인트라예측 블록에 필터링을 수행할지 여부를 결정할 수 있다.
인트라예측 블록이 생성된 후에 인트라예측 블록에 필터링이 수행되기 때문에 부호화기/복호화기에서는 필터링을 수행하기 전에 인트라예측 블록에 대한 화소정보(a`~ p`)를 알 수 있다.
예를 들어, 도 4와 같은 9가지 인트라 예측 모드 중에서 DC 모드(모드번호 2)와 같은 경우에는 인접 화소(A-M)의 평균 값으로 인트라예측 블록의 화소(a`~ p`)를 생성하게 되므로, 인트라예측 블록에 있는 모든 화소의 값은 동일한 값으로 채워진다. 따라서, 이와 같은 경우에는 인트라예측 블록에 있는 예측된 화소(a`~ p`)의 값이 모두 동일하므로 필터링을 수행할 필요가 없음을 알 수 있다. 즉, 인트라 예측 모드가 DC 모드인 경우 인트라예측 블록에 대한 필터링 모드 정보를 생략하고 필터링을 수행하지 않도록 결정할 수 있다.
DC 모드를 제외한 다른 모드에서는 인트라예측 블록의 화소(a`~ p`)를 사용하여 인트라예측 블록의 필터링 여부를 결정하도록 할 수 있다. 인트라예측 블록 내의 화소간에 서로 유사한 값을 가지는 평탄한 영상이면 예측 필터링을 수행할 필요가 없다. 따라서 본 발명에서는 인트라예측 블록의 화소(a`~ p`)가 서로 유사한 값(즉, 상관관계가 높은 값)을 갖는다면 필터링을 수행하지 않을 수 있으므로, 예측블록 생성부(114)는 필터링 모드 정보의 발생을 생략할 수 있다.
예측블록 생성부(114)는 인트라예측 블록의 화소(a`~ p`) 간의 상관관계를 판별하기 위한 방법으로 인트라예측 블록의 화소(a`~ p`)들의 표준편차 또는 분산을 사용할 수 있으나, 본 발명이 이에 한정되지는 않고 다양한 방법을 사용할 수 있다.
인트라예측 블록의 화소의 표준편차(σpredictor)는 수학식 1로 구할 수 있다.
수학식 1
Figure PCTKR2011005970-appb-M000001
수학식 1에서 Sk는 인트라예측 블록의 화소(a`~ p`)이고, mp는 예측화소의 평균을 의미하고, Np는 인트라예측 화소의 갯수로서 도 1과 같은 경우 16이 된다.
수학식 1에서 표준편차(σpredictor)의 값이 0에 가까울수록 인트라예측 블록의 화소(a`~ p`) 간에 상관관계가 높다고 해석할 수 있다.
도 5는 예측블록 생성부(114)에서 표준편차(σpredictor)의 값에 따른 필터링 모드 생성여부를 나타내는 도면이다.
수학식 1로 산출한 표준편차(σpredictor)의 값이 특정 임계치인 THpredictor의 크기보다 작으면 이 인트라예측 블록 내의 화소들은 서로 유사하다고 판단할 수 있으므로 필터링이 필요없다고 판단하여 필터링 모드를 생성하지 않을 수 있다.
한편, THpredictor는 수학식 2와 같은 양자화스텝(Qstep)의 함수로 나타낼 수 있다.
수학식 2
Figure PCTKR2011005970-appb-M000002
여기서, round(x) 함수는 x 값에 대한 정수로의 반올림을 나타내는 함수이다.
예측블록 생성부(114)는 수학식 3이 성립하는지 여부에 따라 필터링 모드를 생성할지 여부 및 필터링 수행 여부를 결정한다.
수학식 3
Figure PCTKR2011005970-appb-M000003
즉, 수학식 3을 만족하지 않는 경우에는 예측블록 생성부(114)는 필터링을 수행하고 수행한 필터링의 모드(가능한 필터링 모드가 여러개인 경우 생성)와 필터링의 결과 발생하는 예측블록을 생성할 수 있다. 만일, 수학식 3을 만족하는 경우에는 인트라예측 블록에 필터링을 적용할 필요가 없으며 이 경우 예측블록 생성부(114)는 인트라예측 블록을 예측 블록으로 결정한다.
필터링의 방법으로는 예측블록이 현재 블록과 유사해지도록 소정의 필터를 이용하여 필터링을 수행할 수 있다. 필터링 시에는 복수개의(예를 들어, n 개(n은 1 이상의 정수)) 필터를 사용하여 반복적으로 인트라예측 블록을 필터링할 수 있다. n 개의 필터를 모두 사용할 수도 있고 이 중에서 일부의 필터(k 개(k ≤ n))만 사용하여 k회 반복하여 필터링할 수도 있다. 필터링에 이용되는 필터를 결정하는 방법에는 제한이 없으며, 예를 들어, FoE(Field of Expert) 모델과 같이 자연 영상으로부터 결정된 필터가 필터링에 이용될 수도 있다. 따라서, 필터링에 사용된 필터의 종류 또는 필터의 갯수에 따라 다른 필터링 모드가 발생할 수 있으며, 이러한 필터링 모드는 현재의 인트라예측 블록의 화소정보에 따라 다른 필터링 모드를 선택하도록 할 수 있다. 따라서, 예측블록 생성부(114)는 복수의 필터링 모드 중에서 하나의 모드를 선택하여 인트라예측 블록을 필터링하여 예측블록을 생성하는 경우에는 필터링 모드도 부호화부(150)로 전송되어 부호화될 수 있다.
한편, 예측블록 생성부(114)는 인접화소(A ~ M)를 이용하여 인트라예측 블록에 필터링을 수행할지 여부를 결정할 수 있다.
필터링을 수행하는 이유는 인트라예측 블록이 자연스러운 영상이 되게 하기 위해서이다. 그러나 만약 인접 화소의 값이 유사할 경우, 생성된 인트라예측 블록은 주변블록과의 불연속성을 가지지 않는 자연스러운 영상이 될 것이다. 따라서 이런 경우에는 인트라예측 블록에 필터링을 수행할 필요가 없을 것이다. 예를 들어, 만일 도 3에서 인접 화소(A~M)의 값이 모두 'N'이라면, 인트라예측 블록의 화소(a`~ p`)도 모든 화소에서 인접 화소(A~M)의 값과 같은 'N'이 될 것이다. 따라서 이와 같은 경우에 있어서는 인트라예측 블록에 필터링을 적용할 필요가 없으며 이 경우 예측블록 생성부(114)는 인트라예측 블록을 예측 블록으로 결정한다.
따라서 본 발명에서는 인접 화소(A-M)가 서로 유사한 값(즉, 상관관계가 높은 값)을 갖는다면 인트라예측 블록의 필터링을 생략할 수 있도록 한다. 예측블록 생성부(114)는 인트라예측 블록을 예측 블록으로 결정한다.
인접화소는 기 부호화후에 복원된 화소이므로 복호화기에서도 인접 화소의 정보를 이용하여 필터링 모드 정보의 발생유무를 알 수 있다.
수학식 4는 인접화소(A ~ M) 간의 상관관계를 계산하는 식이다.
수학식 4
Figure PCTKR2011005970-appb-M000004
여기서, 여기서 uk는 도 3의 A,B,C,D,E,F,G,H와 같이 인트라예측 블록의 위치한 인접한 화소를 의미하며, ℓk는 도 3에서 I,K,J,L과 같이 인트라예측 블록의 왼쪽에 위치한 인접한 화소를 의미한다. U는 인트라예측 블록 위쪽에 위치한 화소의 개수로 도 3과 같은 경우에는 8이며, L은 인트라예측 블록 왼쪽에 위치한 화소의 개수로 도 3과 같은 경우에는 4이다. m은 인접 화소 A부터 M까지의 평균을 의미한다.
인접 화소의 유사성(상관관계)은 현재 부호화될 블록의 상단 및 좌측 화소들의 표준 편차로서 구할 수 있다. 인접 화소의 유사성을 나타내는 기준을 표준편차(σreference)로 하면 수학식 4를 이용하여 인접 화소의 유사성을 파악할 수 있다. 표준편차(σreference)의 값이 0에 가까울수록 유사성이 높다고 할 수 있다.
도 6은 예측블록 생성부(114)에서 표준편차(σreference)의 값에 따른 필터링 모드 생성여부를 나타내는 도면이다.
수학식 4로 산출한 표준편차(σreference)의 값이 특정 임계치인 THreference의 크기보다 작으면 이 인트라예측 블록 내의 화소들은 서로 상관관계가 높다고 판단할 수 있으므로 필터링이 필요없다고 판단하고 필터링 모드를 생성하지 않을 수 있다.
한편, THreference는 수학식 5와 같은 양자화스텝(Qstep)의 함수로 나타낼 수 있다.
수학식 5
Figure PCTKR2011005970-appb-M000005
여기서, round(x) 함수는 x 값에 대한 정수로의 반올림을 나타내는 함수이다.
예측블록 생성부(114)는 수학식 6을 만족하는지 여부에 따라 필터링 모드를 생성할지 여부 및 필터링 수행 여부를 결정한다.
수학식 6
Figure PCTKR2011005970-appb-M000006
즉, 수학식 6을 만족하지 않는 경우 예측블록 생성부(114)는 필터링을 수행하고 수행한 필터링의 모드 정보와 필터링의 결과 발생하는 예측블록을 생성할 수 있다.
만일 수학식 6을 만족하는 경우에는 인트라예측 블록에 필터링을 적용할 필요가 없으며 이 경우 예측블록 생성부(114)는 인트라예측 블록을 예측 블록으로 결정한다.
한편, 예측블록 생성부(114)가 예측블록을 생성함에 있어서, 인트라 예측을 수행할 현재블록의 주변 블록의 참조화소에 특정 윤곽성 정보가 포함되는 경우 필터링을 수행하지 않고 필터링 모드에 대한 정보의 부호화를 생략할 수 있다.
도 3과 같은 4x4 크기의 현재블록의 화소(a ~ p)와 현재블록에 인접한 화소(A ~ M)가 존재하는 상황에서, 위쪽 주변참조화소(M, A, B, C, ..., H)를 Uk, 왼쪽 주변참조화소(M, I, J, K, L)을 Lk로 정의한다.
또한, 위쪽 주변참조화소(M, A, B, C, ..., H)에 저대역 통과필터를 적용한 필터링된 위쪽 참조화소를 UF, 왼쪽 주변참조화소(M, I, J, K, L)에 저대역 통과필터를 적용한 필터링된 왼쪽 참조화소를 LF로 정의한다.
저대역 통과필터를 적용한 결과는 그 특성상 화소들의 평균값과 유사한 값을 가지게 되며, 따라서 만약 위쪽 주변참조화소 또는 왼쪽 주변참조화소에 강한 윤곽선 정보가 존재한다면 윤곽선이 존재하는 점을 기준으로 좌우의 화소값은 평균값을 기준으로 작은 값에서 점차 큰 값으로 변해가거나 혹은 반대로 큰 값에서 점차 작은 값으로 변해가는 것을 기대할 수 있다. 이와 같은 개념을 구현하기 위해 각 화소에 대하여 필터링된 화소값과 필터링되기 전의 화소값을 빼서 그 차이값의 부호를 수학식 7로 정의한다.
수학식 7
Figure PCTKR2011005970-appb-M000007
수학식 8은, sk u에서 연속된 1의 갯수와 -1의 갯수 중에서 최대인 Lu, sk ℓ에서 연속된 1의 갯수와 -1의 갯수 중에서 최대인 Lℓ를 계산하는 식이다.
수학식 8
Figure PCTKR2011005970-appb-M000008
여기서, cu 1은 sk u에서 연속된 1의 최대 갯수, cu -1은 sk u에서 연속된 -1의 최대 갯수, cℓ 1은 sk ℓ에서 연속된 1의 최대 갯수, cℓ -1은 sk ℓ에서 연속된 -1의 최대 갯수를 의미한다.
예를 들어, Uk가 (100, 102, 98, 100, 120, 135, 150, 148, 154)이고, UF가 (100, 100, 104, 111. 120, 131. 140, 146, 152)이라면, sk u는 (0, 1, -1, -1, 0, 1, 1, 1, 1)이 된다. 따라서, cu 1은 4가 되고 cu -1은 2가 되어 수학식 8에 의해 Lu는 4가 된다. 이와 같이 Lℓ에 대해서도 Lu의 경우와 유사한 방법으로 구할 수 있다.
따라서 수학식 9 또는 수학식 10을 만족하는 경우에는 필터링을 수행하지 않고 따라서 필터링 모드도 부호화하지 않는다.
수학식 9
Figure PCTKR2011005970-appb-M000009
수학식 9에서 Lu와 소정의 문턱치 THu를 비교란 결과 Lu가 소정의 문턱치 THu보다 큰 경우에는 필터링을 수행하지 않고 필터링 모드도 부호화하지 않을 수 있다.
수학식 10
Figure PCTKR2011005970-appb-M000010
수학식 10에서 Lℓ과 소정의 문턱치 THℓ을 비교란 결과 Lℓ이 소정의 문턱치 THℓ보다 큰 경우에는 필터링을 수행하지 않고 필터링 모드도 부호화하지 않을 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치의 구성을 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 복호화부(710), 역양자화 및 역변환부(720), 인트라예측부(730), 인터예측부(740), 가산부(750) 및 프래임 메모리(760)를 포함하여 구성될 수 있다.
복호화부(710)는 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록과 복호화에 필요한 정보를 복원할 수 있다.
복호화부(710)는 부호화 데이터를 복호화하여 블록 복호화에 필요한 정보를 추출한다. 복호화부(710)는 부호화 데이터에 포함된 제 1 필드에서 부호화된 잔여 블록을 추출하여 복호화할 수 있고, 부호화 데이터에 포함된 제 2 필드에서 예측에 필요한 정보를 추출할 수 있으며, 추출된 예측에 필요한 정보를 인트라 예측부(730) 또는 인터 예측부(740)로 전달할 수 있다.
역양자화 및 역변환부(720)는 복호되는 변환 및 양자화된 잔여 블록을 역 양자화 및 역 변환하여 잔여 블록을 복원한다.
예측부(인트라예측부(730) 또는 인터예측부(740))는 현재 블록을 예측하여 예측 블록을 생성한다. 이때, 해당 예측부(인트라예측부(730) 또는 인터예측부(740))는 영상 부호화 장치(100)의 예측부(인트라예측부(110) 또는 인터예측부(120))와 동일한 방식으로 현재 블록을 예측하도록 할 수 있다.
가산부(750)는 역양자화 및 역변환부(730)에 의해 복원되는 잔여 블록과 예측부(740)에 의해 생성되는 예측 블록을 가산하여 현재 블록을 복원한다. 가산부(750)에 의해 복원된 현재 블록은 프레임 메모리(760)로 전달되어, 예측부(인트라예측부(730) 또는 인터예측부(740))에서 다른 블록을 예측하는 데 활용될 수 있다.
프레임 메모리(760)는 복원된 영상을 저장하여 인트라 및 인터 예측 블록 생성을 가능하게 한다.
복호화부(710)는 부호화 데이터를 복호화하여 변환 및 양자화된 잔여 블록뿐만 아니라 복호화에 필요한 정보들을 복호화하거나 추출할 수 있다. 복호화에 필요한 정보들은 부호화 데이터 내의 부호화된 비트열을 복호화하는 데 필요한 정보들을 말하며, 예를 들어 블록 타입에 대한 정보, 예측 모드가 인트라 예측 모드인 경우에는 인트라 예측 모드에 대한 정보, 예측 모드가 인터 예측 모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등이 될 수 있지만, 이외의 다양한 정보들이 될 수도 있다.
인트라예측부(730)는 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성할 수 있다.
도 8은 인트라예측부(730)의 구성을 예시한 도면이다.
도 8에 예시하듯이, 인트라예측부(730)는 화소예측부(732)와 예측블록 생성부(734)를 포함하여 구성될 수 있다.
화소예측부(732)는 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성한다.
예측블록 생성부(734)는 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성한다.
여기서 화소예측부(732)의 동작은 영상 부호화 장치(100)에서 화소예측부(112)의 동작과 동일할 수 있으므로 상세한 설명은 생략한다. 또한 예측블록 생성부(734)의 동작 중에서 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계를 도출하는 과정은 영상 부호화 장치(100)에서 예측블록 생성부(114)의 동작과 동일할 수 있으므로 상세한 설명은 생략한다.
예측블록 생성부(734)는 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요한 것으로 판단되면(상관관계가 임계치 이상인 경우) 인트라예측 블록을 필터링한다. 이 경우는 필터링 모드가 하나뿐인 경우를 의미하며, 필터링 모드가 여러개 가능한 경우에는 부호화 데이터로부터 필터링 데이터를 추출한 후 필터링 모드에 따라서 필터링을 수행한다.
만일 필터링 모드가 여러개 가능한 경우에는 복호화부(710)에서 부호화 데이터로부터 복원한 정보 중에서 필터링 모드를 추출하고, 예측블록 생성부(734)는 복원된 필터링모드에 따라 인트라예측 블록을 필터링한다.
예측블록 생성부(734)는, 만일 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요없는 것으로 판단되면 필터링 동작 수행하지 않고 인트라예측 블록을 예측블록으로 결정한다.
한편, 본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 1의 영상 부호화 장치(100)의 부호화데이터 출력단을 도 7의 영상 복호화 장치(700)의 부호화 데이터 입력단에 연결함으로써 구현할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 현재 블록에서 예측블록을 감산하여 잔여블록을 생성하고 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하고 변환 및 양자화된 잔여블록을 부호화하는 영상 부호화기; 및 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하고 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 복원되는 잔여 블록과 예측블록을 가산하여 현재 블록을 복원하는 영상 복호화기를 포함한다.
여기서 영상 부호화기는 본 발명의 일 실시예에 따른 영상 부호화 장치(100)로 구현 가능하며, 영상 복호화기는 본 발명의 일 실시예에 따른 영상 복호화 장치(700)로 구현 가능하다.
본 발명의 일 실시예에 따른 영상 부호화 방법은, 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측단계(S810), 현재 블록에서 예측블록을 감산하여 잔여블록을 생성하는 감산단계(S820), 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하는 변환 및 양자화단계(S830) 및 변환 및 양자화된 잔여블록을 부호화하는 부호화단계(S840)를 포함한다.
여기서, 인트라예측단계(S810)는 인트라예측부(110)의 동작에 대응되며, 감산단계(S820)는 감산부(130)의 동작에 대응되며, 변환 및 양자화단계(S830)는 변환 및 양자화부(140)의 동작에 대응되며, 부호화단계(S840)는 부호화부(150)의 동작에 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 일실시예에 따른 영상 복호화 방법은, 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화단계(S910), 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하는 역양자화 및 역변환단계(S920), 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측단계(S930) 및 복원되는 잔여 블록과 예측블록을 가산하여 현재 블록을 복원하는 가산단계(S940)를 포함한다.
여기서, 복호화단계(S910)는 복호화부(710)의 동작에 대응될 수 있으며, 역양자화 및 역변환단계(S920)는 역양자화 및 역변환부(720)의 동작에 대응되며, 인트라예측단계(S930)는 인트라예측부(730)의 동작에 대응되며, 가산단계(S940)는 가산부(750)의 동작에 대응될 수 있으므로 상세한 설명은 생략한다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.
본 발명의 일 실시예에 따른 영상을 부호화/복호화하는 방법은, 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 현재 블록에서 예측블록을 감산하여 잔여블록을 생성하고 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하고 변환 및 양자화된 잔여블록을 부호화하는 영상 부호화단계; 및 부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하고 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 복원되는 잔여 블록과 예측블록을 가산하여 현재 블록을 복원하는 영상 복호화단계를 포함한다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 인접 화소나 인트라 예측 영상의 특성을 이용하여 필터링 여부를 판단할 수 있도록 함으로써 필터링 여부를 알리기 위한 부가 정보를 생략하고, 이를 통해 압축 성능을 개선하는 효과가 있어 산업상 이용가능성이 크다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2010년 08월 12일 한국에 출원한 특허출원번호 제 10-2010-0077637 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (30)

  1. 영상을 부호화/복호화하는 장치에 있어서,
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하고 상기 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하고 상기 변환 및 양자화된 잔여블록을 부호화하는 영상 부호화기; 및
    부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하고 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 상기 복원된 잔여 블록과 예측블록을 가산하여 현재 블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  2. 영상을 부호화하는 장치에 있어서,
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측부;
    상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하는 감산부;
    상기 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하는 변환 및 양자화부; 및
    상기 변환 및 양자화된 잔여블록을 부호화하는 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 2항에 있어서,
    상기 인트라예측부는,
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하는 화소예측부; 및
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 예측블록 생성부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 2항에 있어서,
    상기 인트라예측부는,
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요한 것으로 판단되면 상기 인트라예측 블록을 필터링하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 4항에 있어서,
    상기 인트라예측부는 상기 필터링 수행이 필요한 것으로 판단되면 필터링모드를 발생하여 상기 필터링모드에 따라 상기 인트라예측 블록을 필터링하고,
    상기 부호화부는 상기 필터링모드를 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 2항에 있어서,
    상기 인트라예측부는,
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요없는 것으로 판단되면 상기 인트라예측 블록을 상기 예측블록으로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 2항에 있어서,
    상기 상관관계는,
    상기 주변블록 화소 간의 표준편차 또는 분산이거나 상기 인트라예측 블록의 화소 간의 표준편차 또는 분산인 것을 특징으로 하는 영상 부호화 장치.
  8. 제 2항에 있어서,
    상기 인트라예측부는,
    상기 상관관계가 임계치 이상인 경우에 상기 필터링을 수행하는 것을 특징으로 하는 영상 부호화 장치.
  9. 영상을 복호화하는 장치에 있어서,
    부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화부;
    상기 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하는 역양자화 및 역변환부;
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측부; 및
    상기 복원되는 잔여 블록과 상기 예측블록을 가산하여 상기 현재 블록을 복원하는 가산부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  10. 제 9항에 있어서,
    상기 인트라예측부는,
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하는 화소예측부; 및
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 예측블록 생성부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  11. 제 9항에 있어서,
    상기 인트라예측부는,
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요한 것으로 판단되면 상기 인트라예측 블록을 필터링하는 것을 특징으로 하는 영상 복호화 장치.
  12. 제 11항에 있어서,
    상기 복호화부는 부호화 데이터로부터 필터링 모드를 복원하고,
    상기 인트라예측부는, 상기 필터링 수행이 필요한 것으로 판단되면 필터링모드를 상기 복원된 필터링모드에 따라 상기 인트라예측 블록을 필터링하는 것을 특징으로 하는 영상 복호화 장치.
  13. 제 9항에 있어서,
    상기 인트라예측부는,
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요없는 것으로 판단되면 상기 인트라예측 블록을 상기 예측블록으로 결정하는 것을 특징으로 하는 영상 복호화 장치.
  14. 제 9항에 있어서,
    상기 상관관계는,
    상기 주변블록 화소 간의 표준편차 또는 분산이거나 상기 인트라예측 블록의 화소 간의 표준편차 또는 분산인 것을 특징으로 하는 영상 복호화 장치.
  15. 제 9항에 있어서,
    상기 인트라예측부는,
    상기 상관관계가 임계치 이상인 경우에 상기 필터링을 수행하는 것을 특징으로 하는 영상 복호화 장치.
  16. 영상을 부호화/복호화하는 방법에 있어서,
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하고 상기 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하고 상기 변환 및 양자화된 잔여블록을 부호화하는 영상 부호화단계; 및
    부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하고 복원된 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하고 주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 주변블록 화소 간의 상관관계 또는 인트라예측 블록의 화소 간의 상관관계에 따라 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하고 상기 복원된 잔여 블록과 예측블록을 가산하여 현재 블록을 복원하는 영상 복호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법.
  17. 영상을 부호화하는 방법에 있어서,
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측단계;
    상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하는 감산단계;
    상기 잔여블록을 변환 및 양자화하여 변환 및 양자화된 잔여블록을 생성하는 변환 및 양자화단계; 및
    상기 변환 및 양자화된 잔여블록을 부호화하는 부호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  18. 제 17항에 있어서,
    상기 인트라예측단계는,
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하는 화소예측단계; 및
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 예측블록 생성단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  19. 제 17항에 있어서,
    상기 인트라예측단계에서는,
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요한 것으로 판단되면 상기 인트라예측 블록을 필터링하는 것을 특징으로 하는 영상 부호화 방법.
  20. 제 19항에 있어서,
    상기 인트라예측단계에서는 상기 필터링 수행이 필요한 것으로 판단되면 필터링모드를 발생하여 상기 필터링모드에 따라 상기 인트라예측 블록을 필터링하고,
    상기 부호화단계에서는 상기 필터링모드를 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  21. 제 17항에 있어서,
    상기 인트라예측단계에서는,
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요없는 것으로 판단되면 상기 인트라예측 블록을 상기 예측블록으로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  22. 제 17항에 있어서,
    상기 상관관계는,
    상기 주변블록 화소 간의 표준편차 또는 분산이거나 상기 인트라예측 블록의 화소 간의 표준편차 또는 분산인 것을 특징으로 하는 영상 부호화 방법.
  23. 제 17항에 있어서,
    상기 인트라예측단계에서는,
    상기 상관관계가 임계치 이상인 경우에 상기 필터링을 수행하는 것을 특징으로 하는 영상 부호화 방법.
  24. 영상을 복호화하는 방법에 있어서,
    부호화 데이터를 수신하여 변환 및 양자화된 잔여블록을 복원하는 복호화단계;
    상기 변환 및 양자화된 잔여블록을 역 양자화 및 역 변환하여 잔여블록을 복원하는 역양자화 및 역변환단계;
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하고 상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 인트라예측단계; 및
    상기 복원되는 잔여 블록과 상기 예측블록을 가산하여 상기 현재 블록을 복원하는 가산단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  25. 제 24항에 있어서,
    상기 인트라예측단계는,
    주변블록 화소를 이용하여 현재 블록의 화소를 예측하여 인트라예측 블록을 생성하는 화소예측단계; 및
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 상기 인트라예측 블록의 필터링을 선택적으로 수행하여 예측블록을 생성하는 예측블록 생성단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  26. 제 24항에 있어서,
    상기 인트라예측단계에서는,
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요한 것으로 판단되면 상기 인트라예측 블록을 필터링하는 것을 특징으로 하는 영상 복호화 방법.
  27. 제 26항에 있어서,
    상기 복호화단계에서는 부호화 데이터로부터 필터링 모드를 복원하고,
    상기 인트라예측단계에서는, 상기 필터링 수행이 필요한 것으로 판단되면 필터링모드를 상기 복원된 필터링모드에 따라 상기 인트라예측 블록을 필터링하는 것을 특징으로 하는 영상 복호화 방법.
  28. 제 24항에 있어서,
    상기 인트라예측단계에서는,
    상기 주변블록 화소 간의 상관관계 또는 상기 인트라예측 블록의 화소 간의 상관관계에 따라 필터링 수행이 필요없는 것으로 판단되면 상기 인트라예측 블록을 상기 예측블록으로 결정하는 것을 특징으로 하는 영상 복호화 방법.
  29. 제 24항에 있어서,
    상기 상관관계는,
    상기 주변블록 화소 간의 표준편차 또는 분산이거나 상기 인트라예측 블록의 화소 간의 표준편차 또는 분산인 것을 특징으로 하는 영상 복호화 방법.
  30. 제 24항에 있어서,
    상기 인트라예측단계에서는,
    상기 상관관계가 임계치 이상인 경우에 상기 필터링을 수행하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2011/005970 2010-08-12 2011-08-12 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치 WO2012021040A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/811,995 US9532045B2 (en) 2010-08-12 2011-08-12 Method and device for encoding/ decoding image having removable filtering mode

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0077637 2010-08-12
KR1020100077637A KR101681301B1 (ko) 2010-08-12 2010-08-12 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
WO2012021040A2 true WO2012021040A2 (ko) 2012-02-16
WO2012021040A3 WO2012021040A3 (ko) 2012-05-24

Family

ID=45568081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005970 WO2012021040A2 (ko) 2010-08-12 2011-08-12 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US9532045B2 (ko)
KR (1) KR101681301B1 (ko)
WO (1) WO2012021040A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101530758B1 (ko) * 2012-07-04 2015-07-20 한양대학교 산학협력단 적응적 필터링을 이용하는 인트라 예측 방법 및 장치
US20140079135A1 (en) * 2012-09-14 2014-03-20 Qualcomm Incoporated Performing quantization to facilitate deblocking filtering
WO2016091122A1 (en) * 2014-12-11 2016-06-16 Mediatek Inc. Method and apparatus of intra prediction in video coding
KR101780444B1 (ko) 2015-10-29 2017-09-21 삼성에스디에스 주식회사 영상 신호의 노이즈 제거 방법
US9910594B2 (en) 2015-11-05 2018-03-06 Micron Technology, Inc. Apparatuses and methods for concurrently accessing multiple memory planes of a memory during a memory access operation
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
CN114079791A (zh) * 2020-08-21 2022-02-22 Oppo广东移动通信有限公司 编码方法、解码方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060129096A (ko) * 2001-09-14 2006-12-14 샤프 가부시키가이샤 경계강도에 기초한 적응 필터링
KR20070076357A (ko) * 2006-01-18 2007-07-24 엘지전자 주식회사 비디오 영상의 부호화/복호화 방법 및 장치.
KR100871588B1 (ko) * 2007-06-25 2008-12-02 한국산업기술대학교산학협력단 인트라 부호화 장치 및 그 방법
KR20100045007A (ko) * 2008-10-23 2010-05-03 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7496141B2 (en) * 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
EP2266321B1 (en) * 2008-04-23 2017-12-13 Telefonaktiebolaget LM Ericsson (publ) Template-based pixel block processing
US8538177B2 (en) * 2010-07-30 2013-09-17 Microsoft Corporation Line and pixel based methods for intra frame coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060129096A (ko) * 2001-09-14 2006-12-14 샤프 가부시키가이샤 경계강도에 기초한 적응 필터링
KR20070076357A (ko) * 2006-01-18 2007-07-24 엘지전자 주식회사 비디오 영상의 부호화/복호화 방법 및 장치.
KR100871588B1 (ko) * 2007-06-25 2008-12-02 한국산업기술대학교산학협력단 인트라 부호화 장치 및 그 방법
KR20100045007A (ko) * 2008-10-23 2010-05-03 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체

Also Published As

Publication number Publication date
US20130230106A1 (en) 2013-09-05
KR101681301B1 (ko) 2016-12-01
KR20120015495A (ko) 2012-02-22
US9532045B2 (en) 2016-12-27
WO2012021040A3 (ko) 2012-05-24

Similar Documents

Publication Publication Date Title
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
KR20190009408A (ko) 영상 부호화/복호화 방법 및 장치
WO2010027182A2 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2012096550A2 (ko) 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2012077960A2 (ko) 임의의 형태의 블록을 이용한 인터예측에 의한 영상의 부호화/복호화 방법 및 장치
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2010038961A2 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013069996A1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2012077959A2 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012081917A2 (ko) 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011052990A2 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
WO2011025301A2 (ko) 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20160078318A (ko) 영상 부호화/복호화 방법 및 장치
WO2010093146A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2012011683A2 (ko) 주파수변환단위 분할부호화 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11816656

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13811995

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 27/06/2013)

122 Ep: pct application non-entry in european phase

Ref document number: 11816656

Country of ref document: EP

Kind code of ref document: A2