WO2012011744A2 - 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치 - Google Patents

디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치 Download PDF

Info

Publication number
WO2012011744A2
WO2012011744A2 PCT/KR2011/005359 KR2011005359W WO2012011744A2 WO 2012011744 A2 WO2012011744 A2 WO 2012011744A2 KR 2011005359 W KR2011005359 W KR 2011005359W WO 2012011744 A2 WO2012011744 A2 WO 2012011744A2
Authority
WO
WIPO (PCT)
Prior art keywords
filtering
block
intra prediction
deblocking
same
Prior art date
Application number
PCT/KR2011/005359
Other languages
English (en)
French (fr)
Other versions
WO2012011744A3 (ko
Inventor
송진한
임정연
전병우
문주희
이영렬
김해광
한종기
양정엽
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110022666A external-priority patent/KR20120010097A/ko
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/811,596 priority Critical patent/US9872019B2/en
Priority to CN201180045227.2A priority patent/CN103119937B/zh
Publication of WO2012011744A2 publication Critical patent/WO2012011744A2/ko
Publication of WO2012011744A3 publication Critical patent/WO2012011744A3/ko
Priority to US15/833,256 priority patent/US10327011B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to a deblocking filtering method and apparatus for reducing a blocking effect occurring in an image encoding and decoding process, and an encoding and decoding method and apparatus using the same.
  • conventional H.264 / AVC minimizes the blocking effect by applying a deblocking filter before storing the reconstructed picture in the picture memory, thereby increasing the subjective picture quality and encoding efficiency through more sophisticated signal prediction.
  • deblocking filtering is performed on an image that does not exhibit a blocking effect, unnecessary operations may increase and undesired deterioration of image quality may occur. Therefore, in order to perform more effective deblocking filtering, deblocking filtering of different strengths should be adaptively performed by classifying the degree of blocking phenomenon.
  • a detailed deblocking filtering method of the H.264 / AVC standard, which uses the deblocking filtering, is as follows.
  • FIG. 1 is a diagram illustrating a block unit and a sequence to which deblocking filtering used in a conventional H.264 / AVC standard is applied.
  • the H.264 / AVC standard determines the block unit to which deblocking filtering is applied according to the transform block. That is, if a 4x4 transform block is used, the block to which deblocking filtering is applied also becomes a 4x4 unit.
  • the H.264 / AVC standard can use 8 ⁇ 8 transform blocks in addition to 4 ⁇ 4 transform blocks. Therefore, if an 8x8 transform block is used, the block to which deblocking filtering is applied also becomes an 8x8 unit. For convenience of description, it is assumed in FIG. 1 that a 4 ⁇ 4 transform block is used.
  • the deblocking filtering is performed in a vertical direction (a, b, c, d) and a horizontal direction (e, f, g, h) of a 4 ⁇ 4 unit block with respect to a luminance signal block of 16 ⁇ 16 units.
  • the deblocking filtering is performed on the color difference signal block of 8x8 unit in the order of the vertical direction (i, j) and the horizontal direction (k, l) of the 4x4 unit block, similarly to the luminance signal block.
  • the block P or the block Q shown in FIG. 2 is an intra prediction block (S310).
  • p0 and q0 are located at a macroblock boundary. It is determined whether or not (S320). If p0 and q0 are located at the macroblock boundary, the boundary strength value is 4, and if p0 and q0 are not located at the macroblock boundary, the boundary strength value is 3.
  • step S310 if both the block P and the block Q are in the inter mode, it is determined whether the non-zero conversion coefficient of the surplus data is present in the block where p0 or q0 is located (S330), and the nonzero conversion coefficient exists
  • the boundary strength is 2.
  • the boundary strength is 1 when p0 and q0 use different reference pictures or have different motion vector values, and otherwise, the boundary strength is 0 (S340).
  • the H.264 / AVC standard uses a quantization parameter (QP), encoding mode, and motion information (reference picture, motion vector) to selectively remove distortion between blocks caused by block-based prediction and quantization. Consideration is given to selectively using deblocking filters of different intensities.
  • the present invention aims to improve subjective picture quality and encoding efficiency by adaptively performing deblocking filtering on intra prediction blocks according to intra prediction information.
  • the prediction unit for generating a prediction block for the current block by the intra prediction (Intra Prediction) or Inter prediction (Inter Prediction);
  • a redundant data encoder for transforming and quantizing a residual block generated using the current block and the prediction block;
  • a redundant data decoding unit for decoding the residual block by inverse quantization and inverse transformation of the transformed and quantized residual block;
  • a deblocking filter configured to perform deblocking filtering based on inter prediction information and intra prediction information of a reconstructed block reconstructed by using the decoded residual block and the prediction block and an adjacent block adjacent to the reconstructed block.
  • the reconstruction The filtering strength may be adaptively determined based on at least one of intra prediction information of a block and the neighboring block, macroblock mode information of the reconstructed block and the neighboring block, and information on a block boundary between the reconstructed block and the neighboring block. have.
  • the deblocking filter may adaptively determine a target pixel to which filtering is applied based on the intra prediction information.
  • a decoding apparatus for decoding a video signal, comprising: a redundant data decoder for decoding the transformed and quantized residual block by inverse quantization and inverse transformation of an input transform and quantized residual block; A prediction unit generating a prediction block based on the input inter prediction information or the intra prediction information; And a deblocking filter generating a reconstruction block using the decoded residual block and the prediction block and performing deblocking filtering based on the inter prediction information and the intra prediction information of the adjacent block adjacent to the reconstruction block and the reconstruction block. It provides a decoding device comprising a unit.
  • the deblocking filter unit may determine whether or not a non-zero transform coefficient exists in the reconstruction block, and whether the deblocking direction and the intra prediction direction for the reconstruction block are the same. The filtering strength may be determined accordingly.
  • the deblocking filter may adaptively determine a target pixel to which filtering is applied based on the intra prediction information.
  • the deblocking filter may determine the filtering direction for the target pixel based on the intra prediction mode included in the intra prediction information.
  • the present invention provides a deblocking filtering apparatus for adaptively determining a filtering strength based on at least one of macroblock mode information of the two neighboring blocks and information on the block boundary direction of the two neighboring blocks.
  • the deblocking filtering device can adaptively determine the number of the target pixels based on the intra prediction block size.
  • the deblocking filtering device may adaptively determine a position (ie, a filtering direction) of the target pixel based on the intra prediction mode.
  • the present invention provides an encoding method, a decoding method, and a deblocking filtering method performed by the above-described encoding device, decoding device, and deblocking filtering device.
  • the present invention it is possible to improve the subjective picture quality by reducing the blocking effect even for the intra prediction block, and further improve the coding efficiency.
  • FIG. 1 is a block diagram and a block unit to which deblocking filtering used in a conventional H.264 / AVC standard is applied;
  • FIG. 3 is a diagram illustrating a process of determining a filtering strength in the H.264 / AVC standard
  • FIG. 4 is a block diagram illustrating a configuration of an encoding apparatus to which a deblocking filtering apparatus according to an embodiment of the present invention is applied;
  • FIG. 5 is a block diagram showing a configuration of a deblocking filter unit according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a process of determining the filtering strength according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram for describing a process of determining a filtering strength according to whether a block boundary direction and an intra prediction direction are the same;
  • FIG. 9 is a flowchart illustrating a process of determining a filtering strength according to another embodiment of the present invention.
  • FIG. 10 is an exemplary diagram for explaining a process of determining a filtering strength according to another embodiment of the present invention.
  • FIG. 14 is a block diagram showing a configuration of a decoding apparatus to which a deblocking filtering apparatus according to an embodiment of the present invention is applied;
  • 15 is a diagram illustrating an intra prediction mode defined by the H.264 / AVC standard.
  • deblocking filter unit 510 filtering strength determination unit
  • FIG. 4 is a block diagram illustrating a configuration of an encoding apparatus to which a deblocking filtering apparatus according to an embodiment of the present invention is applied.
  • the video encoding apparatus to which the deblocking filtering device according to an embodiment of the present invention is applied includes a predictor 410, a redundant data encoder 420, a redundant data decoder 430, and an entropy encoder. 440, the encoded data generator 450, and the deblocking filter 460.
  • the video input to be encoded may be input in units of blocks, and may be a macroblock.
  • the macroblock is defined as 16 ⁇ 16 in the same manner as the H.264 / AVC standard, but more generally, the shape of the macroblock may be M ⁇ N, and in particular, M And N may each be greater than 16, and M and N may be different integers or the same integer. That is, it should be understood as a concept that encompasses a unit such as a coding unit (CU) or a large unit (LCU).
  • CU coding unit
  • LCU large unit
  • the prediction unit 410 receives one of the macroblock modes for predicting the current block, and a unit corresponding to the received macroblock mode (for example, 16 ⁇ 16, 16 ⁇ 8, 8 ⁇ ).
  • a prediction block is generated by predicting a current block to be encoded in units of 16, 8 ⁇ 8, 8 ⁇ 4, 4 ⁇ 8, and 4 ⁇ 4 pixels.
  • the prediction unit 410 predicts the current block by using intra prediction or inter prediction, thereby predicting the prediction block having a predicted pixel value as a pixel value of each pixel.
  • the prediction unit 410 In the case of intra prediction, the prediction unit 410 generates an intra prediction block of the current block by using the available neighboring pixel values spatially located around the current block. In this case, an error value between the current block and the intra prediction block is calculated for each of the available intra prediction modes, and the intra prediction block is generated by applying the intra prediction mode having the minimum error value. In addition, by encoding the intra prediction mode having the minimum error value, information about the intra prediction mode is provided to the encoded data generator 450.
  • nine intra prediction modes for 4 ⁇ 4 and 8 ⁇ 8 intra blocks
  • four intra predictions having directionality in the same manner as the H.264 / AVC standard.
  • the mode in case of 16 ⁇ 16 intra block
  • L intra prediction modes with directionality may be used in an M ⁇ N type intra prediction block.
  • M and N may each be greater than 16, and M and N may be different integers or the same integer.
  • the prediction unit 410 calculates an error value between the current block and the inter prediction block for each of the available reference pictures located in the temporal vicinity of the current picture, and calculates an error value of the reference picture having the minimum error value.
  • An inter prediction block is generated as an inter prediction block for the current block.
  • the motion vector is estimated based on the position of the inter prediction block having the minimum error value with the current block.
  • the encoded data generation unit 450 provides index information about the estimated motion vector and the reference picture.
  • a prediction block generated using intra or inter prediction is subtracted from the current block to generate a residual block. That is, a residual block is generated by calculating a difference value between an original pixel value of each pixel of the current block and a predicted pixel value of each pixel of the prediction block, and the residual block is generated and provided to the redundant data encoder 420.
  • the surplus data encoder 420 transforms and quantizes the residual block, and then generates an encoded residual block.
  • a variety of methods for transforming a spatial domain signal such as a Hadamard transform, a discrete cosine transform, and the like, may be used.
  • Various quantization techniques such as uniform quantization including a dead zone, a quantization matrix, and the like may be used.
  • the transform block may have a size that does not exceed the size of the prediction block. For example, if the size of the prediction block is 16 ⁇ 16, the conversion of 16 ⁇ 16, 16 ⁇ 8, 8 ⁇ 16, 8 ⁇ 8, 8 ⁇ 4, 4 ⁇ 8, 4 ⁇ 4, etc. does not exceed 16 ⁇ 16. Blocks can be used. If the size of the prediction block is 8 ⁇ 8, transform blocks such as 8 ⁇ 8, 8 ⁇ 4, 4 ⁇ 8, 4 ⁇ 4, etc., which do not exceed 8 ⁇ 8, may be used. If the size of the prediction block is 4 ⁇ 4, only 4 ⁇ 4 transform blocks may be used. In addition, the size of the transform block may be selected as a rate-distortion optimization criterion. When the size of the transform block does not exceed the size of the prediction block, the redundant data encoder 420 divides the residual block into subblocks equal to the size of the transform block, and then sequentially converts and quantizes the subblocks. do.
  • the transform block may have a size that exceeds the size of the prediction block.
  • a transform block such as 32 ⁇ 16, 16 ⁇ 32, 32 ⁇ 32, 64 ⁇ 32, 32 ⁇ 64, 64 ⁇ 64, etc. may be used.
  • the redundant data encoder 420 combines a plurality of residual blocks adjacent to each other to generate a combined residual block equal to the size of the transform block, and then transforms the transform block. And quantize.
  • the residual block output through the redundant data decoder 430 is added to the predicted block reconstructed by the predictor 410 to generate a reconstructed block.
  • the entropy encoder 440 entropy encodes and outputs a residual block output from the redundant data encoder 420.
  • the entropy encoder 440 may encode not only the residual block but also various pieces of information necessary for decoding the encoded bit string.
  • the various pieces of information necessary to decode the encoded bit string may include information about a block type, information about an intra prediction mode when the prediction mode is an intra prediction mode, information about a motion vector when the prediction mode is an inter prediction mode, Information about the transform and quantization type may be included.
  • the entropy encoder 440 may use various methods of entropy encoding such as Context Adaptive Variable Length Coding (CAVLC) and Context Adaptive Binary Arithmetic Coding (CABAC). .
  • CAVLC Context Adaptive Variable Length Coding
  • CABAC Context Adaptive Binary Arithmetic Coding
  • the encoded data generating unit 450 may include entropy-encoded residual blocks, macroblock modes, and encoded prediction information (for example, an intra prediction mode in the case of intra encoding, a reference picture index and a motion vector in the case of inter encoding, etc.). ) Is sorted and output as encoded data.
  • the deblocking filter 460 filters the reconstructed current block in order to reduce the blocking effect caused by block prediction and quantization.
  • the deblocking filter unit 460 may provide information on prediction in units of blocks transmitted with the reconstructed current block (for example, intra prediction mode and intra prediction block size in case of intra encoding). Information such as a reference picture index and a motion vector in the case of inter coding, or information on transform and quantization (for example, information on the size and shape of a transform block and information on a quantization parameter). Deblocking filtering may be performed.
  • the information about the prediction or the quantization may be transmitted to the deblocking filter 460 of the encoding apparatus, and may be generated as encoded data by the encoded data generator 450 and transmitted to the decoding apparatus.
  • the deblocking filter 460 deblocks and filters the pixels near the block boundary.
  • 4 ⁇ 4 units of transform blocks are used, and as illustrated in FIG. 1, a block unit and a filtering order to which deblocking filtering is applied are illustrated, but may be defined in various ways.
  • the deblocking filtering according to the conventional H.264 standard filters the boundary pixels of the 4x4 transform block or the 8x8 transform block
  • the present invention predicts not only the pixels of the boundary region between the transform blocks but also the pixels.
  • the pixels of the boundary region between the blocks may be adaptively deblocked filtered according to the prediction information of the prediction blocks.
  • deblocking filter unit 460 will be described in more detail with reference to FIGS. 5 to 13.
  • FIG. 5 is a block diagram illustrating a configuration of a deblocking filter unit according to an exemplary embodiment of the present invention.
  • the deblocking filter 460 may include a filtering strength determiner 510, a filtering pixel determiner 520, and a filter 530.
  • the filtering strength determiner 510 adaptively removes a blocking phenomenon caused by block-based prediction and quantization, and determines whether the boundary where filtering is performed corresponds to the boundary of the image or block-based prediction and quantization. A filtering strength determination process is performed to determine whether or not it corresponds to the boundary generated by. Depending on the filtering strength obtained through the filtering strength determiner 510, whether to perform filtering on a corresponding boundary, the filtering performance strength, etc. may be differently applied.
  • the adjustment of the filtering intensity can be realized in various forms.
  • the filtering strength can be adjusted by adjusting the cutoff frequency of the filter.
  • the filtering strength may be adjusted by setting the filter to have a lower cutoff frequency to increase the filtering strength, and setting the filter to have a higher cutoff frequency to lower the filtering strength.
  • the filtering strength determiner 510 may set 0 to 0 when a non-zero transform coefficient exists in at least one of the current block and the neighboring block. Higher filtering strength can be given than when no conversion factor exists.
  • the filtering strength determiner 510 adapts the filtering strength based on whether the macroblock mode information of the current block and the neighboring block is the same. For example, when the macroblock mode information of the current block and the neighboring block is not the same, a higher filtering strength may be given than the same case.
  • the filtering strength determiner 510 adapts the filtering strength according to whether the block boundary direction and the intra prediction mode (prediction direction) are the same when at least one of the current block and the adjacent block adjacent to the current block is intra predicted. You can also decide. For example, if the block boundary direction and the intra prediction direction are not the same, a higher filtering strength may be provided than the same case.
  • the filtering strength determiner 510 determines whether the non-zero transform coefficient exists in at least one of the current block and the neighboring block and the filtering strength based on the inter prediction information. Can be determined. For example, if a non-zero transform coefficient exists in at least one of the current block and the neighboring block, a higher filtering strength may be given than in the case in which the non-existent transform coefficient exists. In addition, by comparing the inter prediction information of the current block and the neighboring block, if not equal to each other, it is possible to give higher filtering strength than the same case. You may not.
  • the inter prediction information may include information such as a reference picture / reference frame and a motion vector.
  • the filtering strength determiner 510 may determine the filtering strength by considering only encoding information of the current block without considering encoding information of both the current block and the neighboring block. That is, when the current block is an intra prediction block, the filtering strength may be determined according to at least one of whether a non-zero transform coefficient exists in the current block and whether the deblocking direction and the intra prediction direction for the current block are the same. .
  • the deblocking direction means a direction in which deblocking filtering is performed. That is, as shown in FIG. 10, the direction is perpendicular to the block boundary to be deblocked. Alternatively, as shown in FIG. 12, the direction may have a predetermined angle with the block boundary. In addition, when determining whether the deblocking direction and the intra prediction direction of the current block are the same, the deblocking direction and the intra prediction direction are not exactly the same depending on the implementation. It is also possible.
  • FIG. 6 is a flowchart illustrating a process of determining the filtering strength according to an embodiment of the present invention.
  • step S610 it is determined whether at least one of the block P and the block Q adjacent to the boundary shown in FIG. 2 is predicted in the intra mode (S610).
  • steps S620 and S630 are sequentially performed. Otherwise, steps S640 and S650 are sequentially performed.
  • step S610 when it is determined that the block P or the block Q is an intra prediction block, it is determined whether a non-zero transform coefficient exists in the residual data of the block P and the block Q (S620). If there is no non-zero transform coefficient in the surplus data of blocks P and Q, step S630 is performed. Otherwise, the filtering strength value is 4. That is, when non-zero transform coefficients exist in the surplus data of blocks P and Q, since blocking occurs largely due to transform and quantization, strong filtering is performed.
  • the strength of the filtering is adaptively determined by, for example, whether the block boundary is a macroblock boundary or which block uses intra picture coding. In the case of block distortion, strong filtering is applied, and vice versa.
  • the blocking phenomenon is alleviated by performing filtering on more pixels in the block in consideration of the fact that the influence may be extended to the inside of the block.
  • Equation 1 when the blocking phenomenon is not severe, as shown in Equation 1, filtering is performed only on p1, p0, q0, q1, and in severe cases, Equation 2
  • filtering can be alleviated by performing filtering on p2, p1, p0, q0, q1, q2.
  • step S620 is defined under the assumption that the intra prediction method of the H.264 / AVC standard is used, but it may be defined by various methods according to the application and the object to which the present invention is applied.
  • step S620 when the intra prediction information of the block P and the block Q is the same as each other, the value of the filtering strength is zero, otherwise the value of the filtering strength is three.
  • the blocking phenomenon due to the prediction occurs because the block P and the block Q use different prediction methods.
  • Deblocking filtering is weaker than the case where non-zero transform coefficients exist, and when the intra prediction modes of the block P and the block Q are the same, the blocking phenomenon due to the prediction is because the block P and the block Q use the same prediction method. Since this does not occur, no deblocking filtering is performed.
  • step S610 when it is determined that neither one of the block P and the block Q is an intra prediction block, it is determined whether a non-zero transform coefficient exists in the surplus data of the block P or the block Q (S640). If the non-zero transform coefficient does not exist in the surplus data of the block P or the block Q, step S650 is performed. Otherwise, the value of the filtering strength is two.
  • step S640 If it is determined in step S640 that the non-zero transform coefficient does not exist in the surplus data of the block P or the block Q, it is determined whether the inter prediction information of the block P and the block Q is the same (S650).
  • the inter prediction information of the block P and the block Q is the same. Decide not to.
  • step S650 when the inter prediction information of the block P and the block Q are the same, the value of the filtering strength is 0, otherwise the value of the filtering strength is 1.
  • FIG. 7 is a flowchart illustrating a process of determining the filtering strength according to another embodiment of the present invention.
  • step S710 If it is determined in step S710 that at least one block of the P block or the Q block is intra predicted, it is determined whether the macroblock mode information of the P block and the Q block is the same (S720). 4 becomes
  • the macroblock mode information of the P block and the Q block is the same, it is determined whether a non-zero transform coefficient exists in at least one of the P block and the Q block (S730), and if there is a value of the filtering strength, It becomes 3.
  • the process proceeds to S740 to determine whether the intra prediction information of the P block and the Q block is the same. As a result of the determination, if the intra prediction modes of the P block and the Q block are not the same, the value of the filtering strength becomes 2.
  • the filtering intensity is given to 0, and as shown in (b) of FIG. 8, the block boundary is provided. If the direction of the edge (i.e., the edge) and the intra prediction direction are different, the filtering intensity 1 is given.
  • FIG. 9 is a flowchart illustrating a process of determining the filtering strength according to another embodiment of the present invention.
  • S940, S950, and S960 are the same as S610, S640, and S650 of FIG. 6, and thus S910, S920, and S930 will be described in more detail below.
  • the P block which is the current block is an intra predicted block
  • Strength can be given. For example, a filtering strength of 2 can be given.
  • the non-transformation coefficient does not exist in the P block which is the current block, it is determined whether or not the intra prediction direction of the P block determined according to the deblocking direction for the P block and the intra prediction mode is the same (S930). ). If the deblocking direction for the P block and the intra prediction direction for the P block are not the same, a lower filtering strength, for example, a filtering strength of 1, is given than when a non-zero transform coefficient exists. When the deblocking direction for the P block and the intra prediction direction for the P block are the same, a lower filtering strength, for example, a filtering strength of 0, is given than when the deblocking direction is the same.
  • the filtering strength is 1.
  • the current block when the current block is an intra prediction block, only the encoding information of the current block is referred to without determining the filtering strength in consideration of the encoding information of both the current block and the neighboring block. Filtering strength for deblocking filtering may be determined.
  • deblocking is performed by considering only encoding information on the current block, such as whether the current block is an intra prediction block, whether a non-zero transform coefficient exists in the current block, and whether the deblocking direction and the intra prediction direction of the current block match. It is possible to determine the filtering strength.
  • FIG. 9 describes that the filtering strengths determined by S920 and S930 are the same as the values of the filtering strengths determined by S940, S950, and S960, the filtering strengths of both sides are not necessarily the same. Some or all of these may be implemented to have different values.
  • the filtering strength is determined for at least one of the current block and the neighboring block is intra predicted or the current block is intra predicted.
  • this is only an example for implementing the present invention and it is obvious that it is not intended to limit the scope of the present invention.
  • intra prediction information of the current block and the neighboring block intra prediction information of the current block and the neighboring block, macroblock mode information of the current block and the neighboring block, any one of the block boundary direction and the deblocking direction You can use only the information from, or you can use more than one.
  • the filtering strength may be determined in an order other than the order shown in Figs.
  • the deblocking filter 460 may further include a filtering pixel determiner 520 that determines a target pixel to which deblocking filtering is to be applied to a block whose filtering strength is not zero.
  • the filtering pixel determiner 520 may determine the target pixel based on intra prediction information when at least one of the current block and the adjacent block is intra predicted. For example, the filtering pixel determiner 520 may determine the target pixel based on the size of the intra prediction block. The number can be determined. Further, the position of the target pixel, that is, the filtering direction may be determined based on the intra prediction mode. That is, the position of the target pixel, that is, the filtering direction may be set as the same concept as the aforementioned deblocking direction, but the filtering direction (the position of the target pixel) in the filtering pixel determiner 520 based on the intra prediction mode. You might decide a new one. Here, in order to avoid confusion with the above-described term for 'deblocking direction', the deblocking direction newly determined by the filtering pixel determiner 520 is newly defined as the filtering direction (the position of the target pixel).
  • the filtering pixel determiner 520 may determine the number of pixels that are subject to deblocking filtering at the boundary of an intra prediction block using different intra prediction sizes. That is, the filtering pixel determiner 520 may identify the size of the intra prediction block and determine the number of pixels to be subjected to deblocking filtering. For example, in the case of deblocking filtering a boundary between an intra 4x4 prediction block and an intra 4x4 prediction block, the number of pixels subjected to deblocking filtering is four blocks P and Q, respectively (p0, p1). , p2, p3 and q0, q1, q2, q3).
  • the number of pixels subjected to the deblocking filtering is 4 blocks P using intra 4 ⁇ 4 prediction (p0). , p1, p2, and p3, and 6 blocks (q0, q1, q2, q3, q4, q5) using intra 16x16 prediction.
  • p0 intra 4 ⁇ 4 prediction
  • p1, p2, and p3, and 6 blocks q0, q1, q2, q3, q4, q5
  • the filtering pixel determiner 520 may determine a position of a pixel, which is the object of deblocking filtering, on the boundary of intra prediction blocks using different intra prediction modes. That is, the filtering pixel determiner 520 may identify the mode of the intra prediction block, and thus determine the position of the pixel to be subjected to deblocking filtering.
  • the positions of pixels to be subjected to the deblocking filtering are determined by the block P and the block P.
  • Blocks Q are horizontal directions p0, p1, p2, p3 and q0, q1, q2, q3, respectively (FIG. 12A).
  • the positions of pixels to be subjected to deblocking filtering are block P and block Q.
  • the diagonal left direction (p0, p1, p2, p3 and q0, q1, q2, q3) (FIG. 12B), the intra 4x4 prediction block (mode 4) and the intra 4x4 prediction block (
  • the positions of the pixels to be subjected to the deblocking filtering are diagonally rightwards (p0, p1, p2, p3 and q0, q1, q2, q3) of blocks P and Q, respectively.
  • FIG. 12C That is, the position of the pixel to be subjected to deblocking filtering may be determined in consideration of the directionality according to the intra prediction mode.
  • the same idea may be applied even when the prediction modes of adjacent intra prediction blocks are different.
  • the position of the pixel to be subjected to the deblocking filtering may be determined by a block Q.
  • Diagonal right directions q0, q1, q2, q3 and block P are horizontal directions p0, p1, p2, p3 (Fig. 12 (D)).
  • the filtering pixel determiner 520 may determine the number and positions of pixels to be subjected to deblocking filtering at the boundary of the intra prediction blocks using different intra prediction block sizes and prediction modes. That is, the filtering pixel determiner 520 may identify the intra prediction block size and the prediction mode, and thus determine the number and positions of pixels to be subjected to deblocking filtering.
  • the pixels to be subjected to deblocking filtering are determined.
  • the number and positions are four blocks P in the diagonally right direction (p0, p1, p2, p3), and six blocks Q in the horizontal direction (q0, q1, q2, q3, q4, q5).
  • the redundant data decoder 1430 restores the residual block by performing the same process as the redundant data decoder 430 of the encoding apparatus according to the embodiment of the present invention.
  • the prediction unit 1440 generates the prediction block by performing the same process as the prediction unit 410 of the encoding apparatus according to the embodiment of the present invention.
  • the residual block reconstructed by the decoder 1430 and the predicted block predicted by the predictor 1440 are combined to generate a reconstructed current block.
  • the deblocking filter unit 1450 filters the reconstructed current block by performing the same process as the deblocking filter unit 460 of the encoding apparatus according to the embodiment of the present invention. Since the deblocking filter unit 1450 has the same configuration as the deblocking filter unit 460 of the encoding apparatus, a detailed description thereof will be omitted.
  • the deblocking method applied to the luminance signal and the deblocking method applied to the chrominance signal may be the same.
  • the deblocking method applied to the luminance signal and the deblocking method applied to the chrominance signal may be differently implemented.
  • the deblocking filtering is performed based on two adjacent blocks, but the scope of the present invention is not limited thereto. That is, two or more blocks may be involved in determining the filtering intensity and the target pixel for performing the deblocking filtering, and they should be interpreted as being included in the spirit of the present invention as long as they do not depart from the essence of the present invention. something to do.
  • the embodiment of the present invention is a very useful invention because it is possible to improve the subjective picture quality by reducing the blocking effect even for the intra prediction block and further improve the coding efficiency.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치에 관한 것으로, 인트라 예측(Intra Prediction) 또는 인터 예측(Inter Prediction)에 의해 현재블록에 대한 예측블록을 생성하는 예측부; 상기 현재블록과 상기 예측블록을 이용하여 생성한 잔여블록을 변환 및 양자화하는 잉여데이터 부호화부; 변환 및 양자화된 상기 잔여블록을 역양자화 및 역변환함으로써 상기 잔여블록을 복호화하는 잉여데이터 복호화부; 및 복호화된 상기 잔여블록과 상기 예측블록을 이용하여 복원한 복원블록 및 상기 복원블록에 인접한 인접블록의 인터 예측정보 및 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터부를 포함하며, 상기 인트라 예측정보는 인트라 예측블록의 크기 및 인트라 예측모드 중 적어도 하나를 포함하는 것을 특징으로 한다.

Description

디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
본 발명은 영상 부호화 및 복호화 과정에서 발생하는 블록킹 효과를 감소시키기 위한 디블록킹 필터링 방법 및 장치와 이를 이용한 부호화 및 복호화 방법과 장치에 관한 것이다.
비디오 부호화에서 영상을 블록 단위로 부호화한 후 복원하는 경우, 블록 단위의 예측 및 양자화로 인해 블록 경계에서 왜곡이 발생하는데, 이렇게 블록 경계에서 왜곡이 발생하는 현상을 블록킹 효과(Blocking Artifact)라 한다.
MPEG-1, MPEG-2, H.263 등 기존의 비디오 부호화 표준에서는 이러한 블록킹 효과에 대한 아무런 처리 없이 복원 영상을 참조픽처 메모리에 저장한다. 따라서, 영상의 주관적 화질을 열화시키고, 더 나아가 움직임 보상 과정 중 블록킹 효과가 포함된 영상을 참조하기 때문에 부호화 된 영상에 화질 열화가 누적되고, 화질 열화가 누적된 영상을 참조함으로써 부호화 효율이 감소하는 문제점이 있다.
종래의 H.264/AVC는 이러한 문제를 해결하기 위해, 복원된 영상을 픽처 메모리에 저장하기 전에 디블록킹 필터를 적용하여 블록킹 효과를 최소화함으로써, 주관적 화질을 증가시키고 보다 정교한 신호 예측을 통해 부호화 효율을 향상시킨다. 그러나 블록킹 효과가 나타나지 않는 영상에 대해 디블록킹 필터링을 수행하게 되면, 불필요한 연산이 증가하게 되고, 의도하지 않은 불필요한 화질 열화가 발생할 수 있다. 따라서 보다 효과적인 디블록킹 필터링을 수행하기 위해서는 블록킹 현상의 정도를 구분하여 서로 다른 강도의 디블록킹 필터링을 적응적으로 수행해야 한다.
따라서, H.264/AVC 표준은 블록킹 효과의 정도에 따라 디블록킹 필터링을 적응적으로 수행하고 있다. 즉, 블록 경계마다 필터 처리 강도를 결정하는 경계세기(Bs: Boundary Strength) 값을 결정하고, 결정된 경계세기 값에 따라 서로 다른 강도의 디블록킹 필터링을 수행하는 것이다. 경계세기는 0부터 4까지의 값을 가지며, 값이 클수록 더 강한 디블록킹 필터링이 수행되어야 함을 의미한다. 즉, 경계세기의 값이 0이면 디블록킹 필터링이 수행되지 않고, 필터링 강도의 값이 4이면 가장 강한 디블록킹 필터링이 수행된다.
디블록킹 필터링을 사용하는 종래 기술인 H.264/AVC 표준의 상세한 디블록킹 필터링 방법은 다음과 같다.
도 1은 종래의 H.264/AVC 표준에서 사용하는 디블록킹 필터링이 적용되는 블록 단위 및 순서를 도시한 도면이다.
H.264/AVC 표준은 변환블록에 따라 디블록킹 필터링이 적용되는 블록 단위를 결정한다. 즉, 4×4 단위의 변환블록이 사용되면, 디블록킹 필터링이 적용되는 블록도 4×4 단위가 된다. H.264/AVC 표준은 4×4 단위의 변환블록 외에 8×8 단위의 변환블록을 사용할 수 있다. 따라서 8×8 단위의 변환블록이 사용되면, 디블록킹 필터링이 적용되는 블록도 8×8 단위가 된다. 설명의 편의를 위해, 도 1에서는 4×4 단위의 변환블록이 사용되는 경우를 가정한다.
도 1을 참조하면, 16×16 단위의 휘도신호 블록에 대해서 4×4 단위 블록의 수직 방향(a, b, c, d)과 수평 방향(e, f, g, h) 순서로 디블록킹 필터링이 수행되고, 8×8 단위의 색차신호 블록에 대해서도 휘도신호 블록과 동일하게 4×4 단위 블록의 수직 방향(i, j)과 수평 방향(k, l) 순서로 디블록킹 필터링이 수행된다.
도 2는 경계세기를 결정하기 위한 인접하는 블록 P 및 블록 Q의 픽셀 p0, p1, p2, p3 및 q0, q1, q2, q3를 도시한 도면이고, 도 3은 H.264/AVC 표준에서 경계세기를 결정하는 과정을 도시한 도면이다.
도 3을 참조하면, 도 2에 도시한 블록 P 또는 블록 Q가 인트라 예측블록인지 여부를 판단하고(S310), 블록 P 또는 블록 Q가 인트라 예측블록인 경우, p0 및 q0가 매크로블록 경계에 위치하는지 여부를 판단한다(S320). p0 및 q0가 매크로블록 경계에 위치하면 경계세기의 값이 4이고, p0 및 q0가 매크로블록 경계에 위치하지 않으면 경계세기의 값이 3이 된다.
S310 단계의 판단결과, 블록 P 및 블록 Q가 모두 인터 모드일 경우, p0 또는 q0가 위치한 블록에 잉여 데이터의 0이 아닌 변환계수가 있는지 여부를 판단하고(S330), 0이 아닌 변환계수가 존재하면 경계세기의 값이 2가 된다.
그러나 0이 아닌 변환계수가 존재하지 않으면 p0 와 q0가 서로 다른 참조 픽처를 사용하거나 서로 다른 움직임 벡터 값을 가지는 경우 경계세기가 1이 되고, 그렇지 않으면 경계세기가 0이 된다(S340).
즉, H.264/AVC 표준은 블록 단위의 예측 및 양자화에 의해 발생하는 블록 간의 왜곡을 선택적으로 제거하기 위해 양자화 파라미터(QP: Quantization Parameter), 부호화 모드, 움직임 정보(참조픽처, 움직임 벡터)를 고려하여 서로 다른 강도의 디블록킹 필터를 선택적으로 사용하고 있다.
그러나, H.264/AVC 표준은 인터 예측블록에 대해서는 상기와 같이 움직임 정보등을 추가적으로 고려하여 선택적인 디블록킹 필터링을 수행하지만, 인트라 예측블록에 대해서는 매크로블록의 경계인지만을 참조할 뿐 인트라 예측정보를 고려한 선택적인 디블록킹 필터링을 수행하지 않는다. 따라서 인트라 예측블록에 대해 보다 향상된 디블록킹 필터링을 수행하기 위해서는 인트라 예측정보에 따라 적응적으로 디블록킹 필터링을 수행하는 방법이 요구된다.
이러한 요구에 부응하기 위해, 본 발명은 인트라 예측블록에 대해 인트라 예측정보에 따라 적응적으로 디블록킹 필터링을 수행함으로써, 주관적 화질 및 부호화 효율을 향상시키는 것을 목적으로 한다.
이러한 목적을 달성하기 위해 본 발명은, 인트라 예측(Intra Prediction) 또는 인터 예측(Inter Prediction)에 의해 현재블록에 대한 예측블록을 생성하는 예측부; 상기 현재블록과 상기 예측블록을 이용하여 생성한 잔여블록을 변환 및 양자화하는 잉여데이터 부호화부; 변환 및 양자화된 상기 잔여블록을 역양자화 및 역변환함으로써 상기 잔여블록을 복호화하는 잉여데이터 복호화부; 및 복호화된 상기 잔여블록과 상기 예측블록을 이용하여 복원한 복원블록 및 상기 복원블록에 인접한 인접블록의 인터 예측정보 및 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터부를 포함하는 것을 특징으로 하는 부호화 장치를 제공한다.
여기서, 상기 디블록킹 필터부는 상기 복원블록과 상기 복원블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 상기 복원블록과 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부, 상기 복원블록과 상기 인접블록의 인트라 예측정보, 상기 복원블록과 상기 인접블록의 매크로블록 모드 정보 및 상기 복원블록과 상기 인접블록의 블록 경계 방향 중 적어도 하나 이상의 정보에 근거하여 필터링 강도를 적응적으로 결정할 수 있다.
또한, 상기 디블록킹 필터부는 상기 복원블록이 인트라 예측된 경우, 상기 복원블록에 0이 아닌 변환계수가 존재하는지 여부 및 상기 복원블록에 대한 디블록킹 방향과 인트라 예측방향이 동일한지 여부 중 적어도 하나에 따라 필터링 강도를 결정할 수도 있다.
또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 근거하여 필터링이 적용되는 대상 화소를 적응적으로 결정할 수 있다.
또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 포함된 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 결정할 수 있다.
또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 포함된 인트라 예측모드에 근거하여 상기 대상 화소에 대한 필터링 방향을 결정할 수 있다.
또 다른 목적을 위해 본 발명은, 영상신호를 복호화하는 복호화 장치에 있어서, 입력된 변환 및 양자화된 잔여블록을 역양자화 및 역변환함으로써 상기 변환 및 양자화된 잔여블록을 복호화하는 잉여데이터 복호화부; 입력된 인터 예측정보 또는 인트라 예측정보에 근거하여 예측블록을 생성하는 예측부; 및 복호화된 잔여블록과 상기 예측블록을 이용하여 복원블록을 생성하고 상기 복원블록과 상기 복원블록에 인접한 인접블록의 상기 인터 예측정보 및 상기 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터부를 포함하는 것을 특징으로 하는 복호화 장치를 제공한다.
여기서, 상기 디블록킹 필터부는 상기 복원블록과 상기 복원블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 상기 복원블록과 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부, 상기 복원블록과 상기 인접블록의 인트라 예측정보, 상기 복원블록과 상기 인접블록의 매크로블록 모드 정보 및 상기 복원블록과 상기 인접블록의 블록 경계 방향 중 적어도 하나 이상의 정보에 근거하여 필터링 강도를 적응적으로 결정할 수 있다.
또한, 상기 디블록킹 필터부는 상기 복원블록이 인트라 예측된 경우, 상기 복원블록에 0이 아닌 변환계수가 존재하는지 여부 및 상기 복원블록에 대한 디블록킹 방향과 인트라 예측방향이 동일한지 여부 중 적어도 하나에 따라 필터링 강도를 결정할 수도 있다.
또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 근거하여 필터링이 적용되는 대상 화소를 적응적으로 결정할 수 있다.
또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 포함된 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 결정할 수 있다.
또한, 상기 디블록킹 필터부는 상기 인트라 예측정보에 포함된 인트라 예측모드에 근거하여 상기 대상 화소에 대한 필터링 방향을 결정할 수 있다.
또 다른 목적을 위해 본 발명은, 두 개의 인접블록 중 어느 하나가 인트라 예측된 경우, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부, 상기 두 개의 인접블록의 인트라 예측정보, 상기 두 개의 인접블록의 매크로블록 모드 정보 및 상기 두 개의 인접블록의 블록 경계 방향 중 적어도 하나 이상의 정보에 근거하여 필터링 강도를 적응적으로 결정하는 디블록킹 필터링 장치를 제공한다.
또 다른 목적을 위해 본 발명은, 현재블록이 인트라 예측된 경우, 상기 현재블록에 0이 아닌 변환계수가 존재하는지 여부 및 상기 현재블록의 디블록킹 방향과 상기 현재블록의 인트라 예측방향이 동일한지 여부 중 적어도 하나에 의해 필터링 강도를 적응적으로 결정하는 디블록킹 필터링 장치를 제공한다.
또 다른 목적을 위해 본 발명은, 두 개의 인접블록 중 어느 하나 이상이 인트라 예측된 경우, 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 인트라 예측정보에 근거하여 필터링에 이용할 대상 화소를 적응적으로 결정하는 것을 특징으로 하는 디블록킹 필터링 장치를 제공한다.
여기서, 상기 디블록킹 필터링 장치는 상기 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 적응적으로 결정할 수 있다.
또한, 상기 디블록킹 필터링 장치는 상기 인트라 예측모드에 근거하여 상기 대상 화소의 위치(즉, 필터링 방향)를 적응적으로 결정할 수 있다.
또 다른 목적을 위해 본 발명은 전술한 부호화 장치, 복호화 장치 및 디블록킹 필터링 장치에서 수행하는 부호화 방법, 복호화 방법 및 디블록킹 필터링 방법을 제공한다.
본 발명에 의하면, 인트라 예측블록에 대해서도 블록킹 효과를 감소시켜 주관적 화질을 향상시킬 수 있으며, 나아가 부호화 효율을 향상시킬 수 있다.
도 1은 종래의 H.264/AVC 표준에서 사용하는 디블록킹 필터링이 적용되는 블록 단위 및 순서를 도시한 도면,
도 2는 필터링 강도를 결정하기 위한 인접하는 블록 P 및 블록 Q의 픽셀 p0, p1, p2, p3 및 q0, q1, q2, q3를 도시한 도면,
도 3은 H.264/AVC 표준에서 필터링 강도를 결정하는 과정을 도시한 도면,
도 4는 본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용되는 부호화 장치의 구성을 나타내는 블록도,
도 5는 본 발명의 실시예에 따른 디블록킹 필터부의 구성을 나타내는 블록도,
도 6은 본 발명의 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도,
도 7은 본 발명의 다른 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도,
도 8은 블록 경계 방향과 인트라 예측방향의 동일 여부에 따라 필터링 강도를 결정하는 과정을 설명하기 위한 예시 도면,
도 9는 본 발명의 또 다른 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도,
도 10은 본 발명의 또 다른 실시예에 따른 필터링 강도를 결정하는 과정을 설명하기 위한 예시 도면,
도 11 내지 도 13은 본 발명의 실시예에 따른 필터링 화소 결정부가 필터링을 적용할 대상 화소를 결정하는 과정을 설명하기 위한 도면,
도 14는 본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용된 복호화 장치의 구성을 나타내는 블록도,
도 15는 H.264/AVC 표준이 규정한 인트라 예측모드를 나타내는 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
460, 1040: 디블록킹 필터부 510: 필터링 강도 결정부
520: 필터링 화소 결정부 530: 필터부
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 4는 본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용되는 부호화 장치의 구성을 나타내는 블록도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 디블록킹 필터링 장치가 적용되는 동영상 부호화 장치는 예측부(410), 잉여데이터 부호화부(420), 잉여데이터 복호화부(430), 엔트로피 부호화부(440), 부호화 데이터 생성부(450), 디블록킹 필터부(460)를 포함할 수 있다.
부호화하고자 하는 비디오 입력은 블록 단위로 입력될 수 있는데, 매크로블록이 될 수 있다. 본 발명의 실시예에서는, 설명의 편의를 위해 H.264/AVC 표준과 동일한 방법으로 매크로블록을 16×16 형태로 정의하였으나, 보다 일반적으로 매크로블록의 형태는 M×N 일 수 있으며, 특히 M과 N은 각각 16보다 클 수 있고, M과 N은 서로 다른 정수 혹은 동일한 정수일 수 있다. 즉, 코딩 유닛(Coding Unit, CU) 또는 LCU (Largest CU) 와 같은 단위도 포괄하는 개념으로 이해되어야 한다.
예측부(410)는 현재블록을 예측하기 위한 매크로블록 모드 중, 어느 하나의 모드를 입력받고, 입력받은 상기 매크로블록 모드에 대응하는 단위(예를 들어, 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 화소 단위)로 부호화하고자 하는 현재블록을 예측하여 예측블록을 생성한다.
즉, 예측부(410)는 인트라 예측(Intra Prediction) 또는 인터 예측(Inter Prediction) 등을 이용하여 현재블록을 예측함으로써, 예측 화소값(Predicted Pixel Value)을 각 화소의 화소값으로 가지는 예측블록을 생성한다.
인트라 예측인 경우, 예측부(410)는 현재블록과 공간적으로 주변에 위치하는 사용 가능한 주변 화소값을 이용해 현재블록의 인트라 예측블록을 생성한다. 이 경우, 사용 가능한 인트라 예측모드에 대해 각각 현재블록과 인트라 예측블록간의 에러값을 연산하고, 최소의 에러값을 갖는 인트라 예측모드를 적용하여 인트라 예측블록을 생성한다. 또한, 최소의 에러값을 갖는 인트라 예측모드를 부호화함으로써 인트라 예측모드에 대한 정보를 부호화 데이터 생성부(450)에 제공한다.
본 발명의 실시예에서는, 도 15에서 보는 바와 같이, H.264/AVC 표준과 동일한 방법으로 방향성을 가진 9 개의 인트라 예측모드(4×4, 8×8 인트라 블록인 경우) 및 4 개의 인트라 예측모드(16×16 인트라 블록인 경우)를 예시하였으나, 보다 다양한 방법으로 정의될 수 있다. 예를 들어, M×N 형태의 인트라 예측블록에서 방향성을 가진 L 개의 인트라 예측모드를 사용할 수 있다. 특히, M과 N은 각각 16보다 클 수 있으며, M과 N은 서로 다른 정수 혹은 동일한 정수일 수 있다.
인터 예측인 경우, 예측부(410)는 현재픽처와 시간적으로 주변에 위치하는 사용 가능한 모든 참조픽처에 대해 각각 현재블록과 인터 예측블록간의 에러값을 연산하고, 최소의 에러값을 갖는 참조픽처의 인터 예측블록을 현재블록에 대한 인터 예측블록으로 생성한다. 이 경우, 현재블록과 최소의 에러값을 갖는 인터 예측블록의 위치를 기준으로 움직임 벡터를 추정한다. 또한, 추정된 움직임 벡터와 참조픽처에 대한 인덱스 정보를 부호화 데이터 생성부(450)에 제공한다.
인트라 또는 인터 예측 등을 이용하여 생성된 예측블록은 현재블록과 감산하여 잔여블록(Residual Block)을 생성한다. 즉, 현재블록의 각 화소의 원 화소값 (Original Pixel Value)과 예측블록의 각 화소의 예측 화소값의 차이값을 계산함으로써 잔여블록을 생성하고, 이를 잉여데이터 부호화부(420)에 제공한다.
잉여데이터 부호화부(420)는 잔여블록을 변환 및 양자화 연산한 후, 부호화 된 잔여블록을 생성한다. 이 경우, 변환 방식은 하다마드 변환(Hadamard Transform), 이산 코사인 변환 (Discrete Cosine Transform) 등과 같은 공간 영역의 신호를 주파수 영역의 신호로 변환하는 다양한 방법이 이용될 수 있으며, 양자화 방식은 데드존(Dead Zone)을 포함하는 균일 양자화(Uniform Quantization), 양자화 매트릭스(Quantization Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
본 발명의 일 실시예에 따르면, 변환블록은 예측블록의 크기를 초과하지 않는 크기를 가질 수 있다. 예를 들어, 예측블록의 크기가 16×16 이라면 16×16을 초과하지 않는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 등의 변환블록이 사용될 수 있다. 만약, 예측블록의 크기가 8×8 이라면 8×8을 초과하지 않는 8×8, 8×4, 4×8, 4×4 등의 변환블록이 사용될 수 있다. 예측블록의 크기가 4×4 라면, 4×4 변환블록만이 사용될 수 있다. 또한, 상기 변환블록의 크기는 율-왜곡(Rate-Distortion) 최적화 기준으로 선택될 수 있다. 이처럼 변환블록의 크기가 예측블록의 크기를 초과하지 않는 경우에는 잉여데이터 부호화부(420)는 상기 변환블록의 크기와 동일한 서브블록들로 잔여블록을 분할한 후 순차적으로 상기 서브블록들을 변환 및 양자화한다.
본 발명의 다른 실시예에 따르면, 변환블록은 예측블록의 크기를 초과하는 크기를 가질 수도 있다. 예를 들어, 예측블록의 크기가 16×16 인 경우, 32×16, 16×32, 32×32, 64×32, 32×64, 64×64 등의 변환블록이 사용될 수 있다. 이와 같이 변환블록의 크기가 예측블록의 크기보다 큰 경우, 잉여데이터 부호화부(420)는 공간적으로 서로 인접한 복수의 잔여블록들을 결합하여 변환블록의 크기와 동일한, 결합된 잔여블록을 생성한 후 변환 및 양자화한다.
잉여데이터 복호화부(430)는 잉여데이터 부호화부(420)에 의해 변환 및 양자화 된 잔여블록을 역양자화 및 역변환하여 잔여블록을 복원한다. 역양자화와 역변환은 잉여데이터 부호화기(420)가 수행한 변환 과정과 양자화 과정을 역으로 수행하며 다양한 방법으로 구현될 수 있다. 예를 들어, 잉여데이터 부호화부(420)와 잉여데이터 복호화부(430)가 사전에 공유하는 동일한 과정의 변환 및 역변환 또는 양자화 및 역양자화를 사용할 수 있고, 또는 잉여데이터 복호화부(430)는 잉여데이터 부호화부(420)의 변환 및 양자화 과정에 의해 발생되어 전달되는 변환 및 양자화 과정에 관한 정보(예를 들어, 변환 크기, 변환 모양, 양자화 타입 등의 정보)를 이용하여 잉여데이터 부호화부(420)의 변환 및 양자화 과정을 역으로 수행함으로써, 역양자화 및 역변환을 수행할 수 있다.
잉여데이터 복호화부(430)를 통해 출력된 잔여블록은 예측부(410)를 통해 복원된 예측블록과 가산되어 복원블록으로 생성된다.
엔트로피 부호화부(440)는 잉여데이터 부호화부(420)로부터 출력되는 잔여블록을 엔트로피 부호화하여 출력한다. 본 발명의 실시예에는 도시하지 않았으나, 필요에 따라 엔트로피 부호화부(440)는 잔여블록뿐만 아니라, 부호화된 비트열을 복호화하는데 필요한 다양한 정보들을 부호화 할 수 있다. 여기서 부호화된 비트열을 복호화하는데 필요한 다양한 정보들은, 블록 타입에 대한 정보, 예측모드가 인트라 예측모드인 경우에는 인트라 예측모드에 대한 정보, 예측모드가 인터 예측모드인 경우에는 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등을 포함할 수 있다.
엔트로피 부호화부(440)는 문맥 적응형 가변장 길이 부호화(CAVLC: Context Adaptive Variable Length Coding), 문맥 적응형 이진 산술 부호화 (CABAC: Context Adaptive Binary Arithmetic Coding) 등 다양한 방법의 엔트로피 부호화 방법을 사용할 수 있다.
부호화 데이터 생성부(450)는 엔트로피 부호화된 잔여블록, 매크로블록 모드 및 부호화된 예측정보(예를 들어, 인트라 부호화의 경우에는 인트라 예측모드, 인터 부호화의 경우에는 참조픽처 인덱스 및 움직임 벡터 등의 정보)를 정렬하여 부호화 데이터로 출력한다.
디블록킹 필터부(460)는 블록 단위의 예측 및 양자화에 의해 발생하는 블록킹 효과를 감소시키기 위해 복원된 현재블록을 필터링한다. 본 발명의 일실시 예에 따르면, 디블록킹 필터부(460)는 복원된 현재블록과 함께 전송되는 블록 단위의 예측에 관한 정보(예를 들어, 인트라 부호화의 경우에는 인트라 예측모드, 인트라 예측블록 크기 등의 정보, 인터 부호화의 경우에는 참조픽처 인덱스 및 움직임 벡터 등의 정보) 또는 변환 및 양자화에 관한 정보(예를 들어, 변환블록의 크기 및 형태, 양자화 파라미터 등의 정보) 등을 이용하여 적응적인 디블록킹 필터링을 수행할 수 있다. 이 경우, 상기 예측 또는 양자화 등에 관한 정보는 부호화 장치의 디블록킹 필터부(460)에 전달될 수 있고, 부호화 데이터 생성부(450)에 의해 부호화 데이터로 생성되어 복호화 장치로 전달될 수 있다.
디블록킹 필터부(460)는 블록 경계 부근의 화소들을 디블록킹 필터링한다. 본 발명의 실시예에서는, 4×4 단위의 변환블록을 사용하는 것으로 가정하여, 도 1과 같이 디블록킹 필터링이 적용되는 블록 단위 및 필터링 순서를 예시하나, 보다 다양한 방법으로 정의될 수 있다. 또한 종래 H.264 표준에 따른 디블록킹 필터링은 4x4 변환 블록 또는 8x8 변환 블록의 경계 화소들을 필터링하였으나, 본 발명은 후술된 실시예에서 설명한 바와 같이, 변환 블록들 간의 경계 영역의 화소들 뿐만 아니라 예측 블록들 간의 경계 영역의 화소들을 상기 예측블록들의 예측 정보에 따라 적응적으로 디블록킹 필터링할 수도 있다.
이하에서는, 도 5 내지 도 13을 참조하여 디블록킹 필터부(460)를 더욱 상세히 설명한다.
도 5는 본 발명의 실시예에 따른 디블록킹 필터부의 구성을 나타내는 블록도이다.
도 5를 참조하면, 상기 디블록킹 필터부(460)는 필터링 강도 결정부(510), 필터링 화소 결정부(520) 및 필터부(530)를 포함할 수 있다.
필터링 강도 결정부(510)는 블록 단위의 예측 및 양자화에 의해 발생하는 블록킹 현상을 적응적으로 제거하기 위해, 필터링이 수행되는 경계가 영상이 실제 가지고 있는 경계에 해당하는지 또는 블록 단위의 예측 및 양자화에 의해 발생하는 경계에 해당하는지 여부를 판단하기 위해 필터링 강도 결정 과정을 수행한다. 필터링 강도 결정부(510)를 통해 얻어진 필터링 강도에 따라 해당 경계에 대한 필터링 수행 여부, 필터링 수행 강도 등이 서로 다르게 적용될 수 있다.
필터링 강도의 조절은 여러 형태로 실현될 수 있다.
가장 간단하게는 필터의 차단 주파수를 조절하여 필터링 강도를 조절할 수 있다. 예를 들어, 차단 주파수가 더 낮도록 필터를 설정하여 필터링 강도를 높히고, 차단 주파수가 더 높도록 필터를 설정하여 필터링 강도를 낮추는 식으로 필터링 강도를 조절할 수 있다.
또 다른 방법은 필터특성을 조절하여 평활화(Smoothing)가 더 많이 되거나 적게 되도록 함으로써 필터링 강도를 높히거나 낮추는 식으로 필터링 강도를 조절할 수 있다.
또 다른 방법은 필터링이 되어 변경되는 화소값의 최대 변경 가능범위가 제한 되도록 조절하는 것이다. 즉, 필터링이 된 화소값과 필터링 되기 의전 화소값과의 차이가 소정의 경계치(tc 라고 하자) 이상이 되지 않도록 하는 것이다. 더욱 구체적으로 필터링 전의 값(이를 A라고 하자)기준으로 필터링 후의 값이 +/- tc 범위 내(즉, A-tc ~ A+tc)에 있도록 제한(이런 과정을 일반적으로 클리핑(Clipping) 이라고 한다)할 수 있다. 예를 들어 tc 가 3인 경우와 4인 경우를 살펴보면, tc 가 3인 경우가 4의 경우보다 필터링 강도가 약하다고 할 수 있다. 필터링으로 변경될 수 있는 값의 변화가 그 만큼 제한되기 때문이다. 즉, Cliiping 이 되는 경계범위(tc)(Clipping threshold)를 조정함으로써 필터링 강도를 조절할 수 있다.
또 다른 방법은 경계세기를 다르게 설정함으로써 필터링 강도를 조절할 수 있다. 이 방법은 필터링 강도를 조정하는 하나의 변수를 경계세기로 설정한 후, 각 경계세기 값에 위에서 설명한 필터링 강도를 조절하는 하나의 방법 또는 하나 이상의 방법들을 조합한 형태가 각각 대응하도록 하는 것이다. 예를 들어, 경계세기가 강한 경우에는 상대적으로 강한 필터링이 되도록 상기의 방법을 구성하여 조합하고, 경계세기가 약한 경우 상대적으로 필터링이 덜 되도록 상기의 방법을 적절히 조합할 수 있을 것이다.
필터링 강도 결정부(510)는 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 현재블록과 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부, 현재블록과 인접블록의 인트라 예측정보, 현재블록과 인접블록의 매크로블록 모드 정보 및 블록 경계 방향 중 적어도 하나 이상의 정보에 근거하여 필터링 강도를 적응적으로 결정할 수 있다.
예를 들어, 필터링 강도 결정부(510)는, 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 현재블록과 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면 0이 아닌 변환계수가 존재하지 않는 경우보다 높은 필터링 강도를 부여할 수 있다.
또한, 필터링 강도 결정부(510)는, 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 현재블록과 인접블록 간의 인트라 예측정보가 동일한지 여부에 따라 적응적으로 필터링 강도를 결정할 수 있다. 예컨대, 현재블록과 인접블록의 인트라 예측정보가 서로 동일하지 않으면 동일한 경우보다 높은 필터링 강도를 부여할 수 있다. 나아가, 현재블록과 인접블록의 인트라 예측정보가 동일하면 디블록킹 필터링을 수행하지 않을 수 있다. 여기서 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함할 수 있다.
또한, 필터링 강도 결정부(510)는, 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 현재블록과 인접블록의 매크로블록 모드 정보가 동일한지 여부를 근거로 필터링 강도를 적응적으로 결정할 수도 있다, 예컨대, 현재블록과 인접블록의 매크로블록 모드 정보가 동일하지 않은 경우, 동일한 경우보다 높은 필터링 강도를 부여할 수 있다.
또한, 필터링 강도 결정부(510)는, 현재블록과 현재블록에 인접한 인접블록 중 적어도 하나가 인트라 예측된 경우, 블록 경계 방향과 인트라 예측모드(예측방향)가 동일한지 여부에 따라 필터링 강도를 적응적으로 결정할 수도 있다. 예컨대, 블록 경계 방향과 인트라 예측방향이 동일하지 않으면 동일한 경우보다 높은 필터링 강도를 부여할 수 있다.
한편, 필터링 강도 결정부(510)는 현재블록과 인접블록 둘 다 인트라 예측되지 않은 경우, 현재블록과 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부 및 인터 예측정보에 근거하여 필터링 강도를 결정할 수 있다. 예컨대, 현재블록과 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면 존재하지 않는 경우보다 높은 필터링 강도를 부여할 수 있다. 또한, 현재블록과 인접블록의 인터 예측정보를 비교하여, 서로 동일하지 않으면 동일한 경우보다 높은 필터링 강도를 부여할 수 있고, 나아가 현재블록과 인접블록의 인터 예측정보가 동일하면 디블록킹 필터링을 수행하지 않을 수 있다. 여기서, 인터 예측정보는 참조픽처/참조프레임, 움직임 벡터 등의 정보를 포함할 수 있다.
한편, 필터링 강도 결정부(510)는 현재블록이 인트라 예측블록인 경우에는, 현재블록과 인접블록 모두의 부호화 정보를 고려하지 않고, 현재블록의 부호화 정보만을 고려하여 필터링 강도를 결정할 수도 있다. 즉, 현재블록이 인트라 예측블록인 경우, 현재블록에 0이 아닌 변환계수가 존재하는지 여부 및 현재블록에 대한 디블록킹 방향과 인트라 예측방향이 동일한지 여부 중 적어도 하나에 따라 필터링 강도를 결정할 수도 있다.
예컨대, 현재블록에 0이 아닌 변환계수가 존재하면 0이 아닌 변환계수가 존재하지 않는 경우보다 높은 필터링 강도를 부여할 수도 있다. 또한, 현재블록의 디블록킹 방향과 인트라 예측방향이 동일하지 않은 경우에는 동일한 경우보다 높은 필터링 강도를 부여할 수 있다. 이에 대해서는, 도 9 및 10을 참조하여 후술하기로 한다. 여기서, 디블록킹 방향이라 함은 디블록킹 필터링이 수행되는 방향을 의미하다. 즉, 도 10에 도시되어 있는 것처럼, 디블록킹할 블록경계와 직각을 이루는 방향이다. 또는 도 12에 도시되어 있는 것처럼 블록경계와 일정각도를 지닌 방향일 수도 있다. 또한 상기에서 현재블록의 디블록킹 방향과 인트라 예측방향이 동일한지 여부를 결정할 때, 구현에 따라서 디블록킹 방향과 인트라 예측방향이 정확히 일치하지 않으나 소정의 차이 이내의 방향 차이라면 동일한 방향으로 간주하도록 구현하는 것도 가능하다.
이하에서는, 필터링 강도 결정부(510)가 필터링 강도를 결정하는 과정을 다양한 실시예를 통해 보다 상세히 설명한다.
도 6은 본 발명의 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도이다.
도 6을 참조하면, 도 2에 도시한 필터링의 대상이 되는 경계에 인접한 블록 P 및 블록 Q 중 적어도 하나가 인트라 모드로 예측되었는지 여부를 판단한다(S610). 블록 P 또는 블록 Q가 인트라 모드인 경우에는 S620, S630 단계가 순차적으로 수행되고, 그렇지 않은 경우에는 S640, S650 단계가 순차적으로 수행된다.
S610 단계를 통해, 블록 P 또는 블록 Q가 인트라 예측블록으로 판단된 경우, 블록 P와 블록 Q의 잉여데이터(Residual Data)에 0이 아닌 변환계수가 존재하는지 여부를 판단한다(S620). 블록 P와 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하지 않는 경우에는 S630 단계가 수행되고, 그렇지 않은 경우에는 필터링 강도의 값이 4가 된다. 즉, 블록 P와 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하는 경우에는 변환 및 양자화에 의해 블록킹 현상이 크게 발생하므로 강한 필터링이 수행된다. 필터링의 강도는 예컨대 블록 경계가 매크로블록 경계인지 아닌지 또는 어느 블록이 화면 내 부호화를 사용하는지에 따라 적응적으로 결정되는데, 블록 왜곡 현상이 생기기 쉬운 부분은 강한 필터링을 적용하고，반대의 경우는 필터링을 최소화함으로써 불필요한 필터링 때문에 발생하는 화질 열화 현상을 막을 수 있다. 즉, 블록킹 현상이 심하게 발생하는 경우, 블록의 내부에 까지 그 영향이 미칠 수 있다는 점 등을 고려하여, 보다 많은 블록 내의 화소에 대해 필터링을 수행함으로써 블록킹 현상을 완화시킨다. 예컨대, 후술하게 될 수학식 1 및 2를 참조하면, 블록킹 현상이 심하지 않은 경우에는, 수학식 1에서 보는 바와 같이, p1, p0, q0, q1에 대해서만 필터링을 수행하고, 심한 경우에는 수학식 2에서 보는 바와 같이, p2, p1, p0, q0, q1, q2에 대해서 필터링을 수행하여 블록킹 현상을 완화시킬 수 있다.
S620 단계를 통해, 블록 P와 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하지 않는 것으로 판단된 경우, 블록 P와 블록 Q의 인트라 예측정보가 서로 동일한지 여부를 판단한다(S630). 본 발명의 일 실시예에서는, 블록 P와 블록 Q의 인트라 예측블록 크기 및 인트라 예측모드가 모두 동일한 경우에 블록 P와 블록 Q의 인트라 예측정보가 서로 동일하다고 판단한다. 예를 들어, 블록 P가 인트라 예측모드이고 블록 Q가 인터 예측모드인 경우, 또는 블록 P가 인트라 16×16 예측모드이고 블록 Q가 인트라 4×4 예측모드인 경우, 또는 블록 P가 인트라 4×4 0번 예측모드이고 블록 Q가 인트라 4×4 1번 예측모드인 경우 등은 블록 P와 블록 Q의 인트라 예측정보가 서로 동일하지 않다고 판단한다. 본 발명의 실시예에서는, 상기 S620 단계의 판단 과정을 H.264/AVC 표준의 인트라 예측 방법을 사용한다는 가정하에서 정의하였으나, 본 발명을 적용할 응용 및 목적에 따라 다양한 방법으로 정의될 수 있다.
S620 단계의 판단 결과, 블록 P와 블록 Q의 인트라 예측정보가 서로 동일한 경우에는 필터링 강도의 값이 0이 되고, 그렇지 않은 경우에는 필터링 강도의 값이 3이 된다. 즉, 블록 P와 블록 Q의 인트라 예측정보가 서로 동일하지 않은 경우에는 블록 P와 블록 Q가 서로 다른 예측 방법을 사용하기 때문에 예측에 의한 블록킹 현상이 발생하므로, 블록 P 또는 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하는 경우보다 약한 디블록킹 필터링을 수행하고, 블록 P와 블록 Q의 인트라 예측 모드가 동일한 경우에는 블록 P와 블록 Q가 서로 동일한 예측 방법을 사용하기 때문에 예측에 의한 블록킹 현상이 발생하지 않으므로, 디블록킹 필터링을 수행하지 않는다.
S610 단계를 통해, 블록 P과 블록 Q 중 하나도 인트라 예측블록이 아닌 것으로 판단된 경우, 블록 P 또는 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하는지 여부를 판단한다(S640). 블록 P 또는 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하지 않는 경우에는 S650 단계가 수행되고, 그렇지 않은 경우에는 필터링 강도의 값이 2가 된다.
S640 단계를 통해, 블록 P 또는 블록 Q의 잉여데이터에 0이 아닌 변환계수가 존재하지 않는 것으로 판단된 경우, 블록 P와 블록 Q의 인터 예측정보가 서로 동일한지 여부를 판단한다(S650). 여기서, 블록 P와 블록 Q가 서로 다른 참조 픽처를 사용하거나 같은 참조 픽처를 사용하면서 다른 블록을 참조 하는 경우, 또는 서로 다른 움직임 벡터 값을 가지게 되는 경우, 블록 P와 블록 Q의 인터 예측정보가 동일하지 않다고 결정한다.
S650 단계의 판단 결과, 블록 P와 블록 Q의 인터 예측정보가 서로 동일한 경우에는 필터링 강도의 값이 0이 되고, 그렇지 않은 경우에는 필터링 강도의 값이 1이 된다.
도 7은 본 발명의 다른 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도이다.
도 7의 S710, S760 및 S770은 도 6의 S610, S640 및 S650과 동일하므로, 이하에서는 S720 내지 S750에 대해서 더욱 상세히 설명한다.
S710 단계에서 P블록 또는 Q블록 중 적어도 한 블록이 인트라 예측된 것으로 판단한 경우, P블록과 Q블록의 매크로블록 모드 정보가 동일한지 여부를 판단하여(S720), 동일하지 않은 경우 필터링 강도의 값이 4가 된다.
그러나, P블록과 Q블록의 매크로블록 모드 정보가 동일하면, P블록과 Q블록 중 적어도 한 블록에 0이 아닌 변환계수가 존재하는지 여부를 판단하여(S730), 존재하는 경우 필터링 강도의 값이 3이 된다.
S730의 판단결과, P블록과 Q블록 모두에 변환계수가 존재하지 않으면, S740으로 진행하여 P블록과 Q블록의 인트라 예측정보가 동일한지 여부를 판단한다. 판단결과, P블록과 Q블록의 인트라 예측모드가 동일하지 않으면 필터링 강도의 값이 2가 된다.
그러나, 동일한 경우, 블록 경계 방향과 인트라 예측방향이 서로 동일한지 여부를 체크한다(S750). 두 개의 블록이 수평방향으로 서로 인접해 있는 경우에는 블록 경계(즉, 에지)가 수직으로 형성되어 있다. 한편, 두 개의 블록이 수직방향으로 인접해 있는 경우에는 블록 경계(즉, 에지)가 수평으로 형성되어 있다. 따라서, S750에서는 인트라 예측방향과 블록 경계 방향(즉, 블록 에지가 수직인지 수평인지 여부)을 서로 비교하여 일치하지 않으면 일치하는 경우보다 필터링 강도를 높게 부여한다. 즉, 도 8의 (a)에서 보는 바와 같이, 블록 경계(즉, 에지)의 방향과 인트라 예측방향이 같은 경우에는 필터링 강도 0을 부여하고, 도 8의 (b)에서 보는 바와 같이, 블록 경계(즉, 에지)의 방향과 인트라 예측방향이 다른 경우에는 필터링 강도 1을 부여한다.
도 7 내지 8에서 설명한 본 발명의 실시예에서는,현재블록과 인접블록 모두의 부호화 정보를 참조하여 디블록킹 필터링을 위한 필터링 강도를 부여하는 것으로 하여 설명하였다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니며, 이하에서 설명하는 바와 같이, 현재블록의 부호화 정보만을 참조하여 디블록킹 필터링을 위한 필터링 강도를 부여할 수도 있을 것이다. 예컨대, 현재블록에 0이 아닌 변환계수가 존재하는지 여부 및 현재블록의 인트라 예측 방향과 디블록킹 방향의 동일 여부 중 적어도 하나 이상에 근거하여 필터링 강도를 적응적으로 부여할 수 있을 것이며, 이에 대한 구체적인 실시예는 도 9와 같다.
도 9는 본 발명의 또 다른 실시예에 따른 필터링 강도를 결정하는 과정을 도시한 순서도이다.
본 발명의 또 다른 실시예에 관한 도 9에서, S940, S950 및 S960은, 도 6의 S610, S640 및 S650과 동일하므로, 이하에서는 S910, S920 및 S930에 대해서, 보다 상세히 설명한다.
먼저, 현재블록인 P블록이 인트라 예측된 블록인지 여부를 판단한다(S910). 판단결과, P블록이 인트라 예측된 블록이 아닌 경우, S940 내지 S960 단계로 진행하며, 이는 도 6의 S610, S640 및 S650와 동일하다.
한편, S910에서의 판단결과, 현재블록인 P블록이 인트라 예측된 블록인 경우, 현재블록의 인접블록에 대한 정보를 고려하지 않고, 현재블록의 부호화 정보만을 참조하여, 예컨대, 현재블록에 0이 아닌 변환계수가 존재하는지 여부, 현재블록에 대한 디블록킹 방향과 인트라 예측방향(예측모드)가 동일한지 여부 등에 따라, 디블록킹 필터링을 위한 필터링 강도를 결정한다.
예컨대, 현재블록인 P블록이 인트라 예측된 블록인 경우, P블록에 0이 아닌 변환계수가 존재하는지 여부를 판단하고(S920), 0이 아닌 변환계수가 존재하는 경우에는 그렇지 않은 경우보다 높은 필터링 강도를 부여할 수 있다. 예컨대, 2의 필터링 강도를 부여할 수 있다.
한편, 현재블록인 P블록에 0이 아닌 변환계수가 존재하지 않는 경우에는, P블록에 대한 디블록킹 방향과 인트라 예측모드에 따라 결정되는 P블록의 인트라 예측방향이 동일한지 여부를 판단한다(S930). 만약 P블록에 대한 디블록킹 방향과 P블록의 인트라 예측방향이 동일하지 않은 경우에는 0이 아닌 변환계수가 존재하는 경우보다 낮은 필터링 강도, 예컨대, 필터링 강도 1을 부여한다. 그리고 P블록에 대한 디블록킹 방향과 P블록의 인트라 예측방향이 동일한 경우에는 동일하지 않은 경우보다 낮은 필터링 강도, 예컨대, 필터링 강도 0을 부여한다.
도 10을 예로 들면, 도 10(a)에서 보는 바와 같이, 현재블록인 P블록에 대한 디블록킹 방향과 P블록의 인트라 예측방향이 서로 동일하지 않은 경우에는 필터링 강도가 1이 된다.
그러나, 도 10(b)에서 보는 바와 같이, P블록에 대한 디블록킹 방향과 P블록의 인트라 예측방향이 동일한 경우에는, 동일하지 않은 경우에 부여되는 필터링 강도보다 낮은 필터링 강도, 예컨대, 필터링 강도 0을 부여한다.
이상에서 설명한 본 발명의 또 다른 실시예에서와 같이, 현재블록이 인트라 예측블록인 경우, 현재블록과 인접블록의 부호화 정보를 모두 고려하여 필터링 강도를 결정하지 않고, 현재블록의 부호화 정보만을 참조하여 디블록킹 필터링을 위한 필터링 강도를 결정할 수 있다.
예를 들어, 도 10(a)를 참조하면, 현재블록인 P블록이 인트라 예측된 경우, P블록에 0이 아닌 변환계수가 존재하지 않고 디블록킹 방향과 인트라 예측방향이 일치한다면, 이는 P블록의 경계에 예측 및 양자화에 의한 블록킹 현상이 발생하지 않음을 의미한다. 즉, P블록의 예측값이 인접한 임의의 블록으로부터 그대로 예측되었으므로 예측에 의한 블록킹 현상은 발생하지 않고, P블록에 0이 아닌 변환계수가 존재하지 않으므로 양자화에 의한 블록킹 현상 또한 발생하지 않는 것이다. 따라서, 현재블록이 인트라 예측블록인지 여부, 현재블록에 0이 아닌 변환계수가 존재하는지 여부, 현재블록의 디블록킹 방향과 인트라 예측방향의 일치 여부 등 현재블록에 대한 부호화 정보만을 고려하여 디블록킹을 위한 필터링 강도를 결정할 수 있는 것이다.
한편, 도9에서는 S920, S930에 의하여 결정되는 필터링 강도가 S940, S950, S960에 의하여 결정되는 필터링 강도의 값과 동일한 것으로 기술되어 있으나, 반드시 양쪽의 필터링 강도가 동일할 필요는 없다. 이 중 일부 또는 전부는 다른 값을 갖도록 구현하는 것도 가능하다.
이상에서는 도 6 내지 도 10을 참조하여, 현재블록과 인접블록 중 적어도 하나가 인트라 예측된 경우 또는 현재블록이 인트라 예측된 경우에 대해, 필터링 강도를 결정하는 구체적인 실시예를 설명하였다. 그러나, 이는 본 발명을 구현하기 위한 예시에 지나지 않으며 본 발명의 범위를 한정하려는 것이 아님은 자명하다. 예컨대, 필터링 강도를 결정하기 위해, 0이 아닌 변환계수가 존재하는지 여부, 현재블록과 인접블록의 인트라 예측정보, 현재블록과 인접블록의 매크로블록 모드 정보, 블록 경계 방향 및 디블록킹 방향 중 어느 하나의 정보만을 사용할 수도 있으며, 두 개 이상을 사용할 수도 있을 것이다. 또한, 두 개 이상을 사용하는 경우에도, 도 6, 7 및 9에 도시한 순서가 아닌 다른 순서에 의해 필터링 강도를 결정할 수도 있을 것이다.
다시 도 5를 참조하면, 디블록킹 필터부(460)는 필터링 강도가 0이 아닌 블록에 대해 디블록킹 필터링이 적용될 대상 화소를 결정하는 필터링 화소 결정부(520)를 더 포함할 수 있다.
특히, 필터링 화소 결정부(520)는 현재블록과 인접블록 중 적어도 하나가 인트라 예측된 경우, 인트라 예측정보에 근거하여 상기 대상 화소를 결정할 수 있는데, 예컨대, 인트라 예측블록 크기에 근거하여 대상 화소의 개수를 결정할 수 있다. 나아가, 인트라 예측모드에 근거하여 대상 화소의 위치, 즉, 필터링 방향을 결정할 수도 있을 것이다. 즉, 대상 화소의 위치, 즉, 필터링 방향이 앞서 언급한 디블록킹 방향과 동일한 개념으로서 설정되어 있을 수도 있으나, 필터링 화소 결정부(520)에서 인트라 예측모드에 근거하여 필터링 방향(대상 화소의 위치)을 새로이 결정할 수도 있을 것이다. 여기서, 전술한 '디블록킹 방향'에 대한 용어와의 혼동을 피하기 위해, 필터링 화소 결정부(520)에서 새로이 결정하는 디블록킹 방향을 필터링 방향(대상 화소의 위치)으로서 새로이 정의한다.
도 11 내지 도 13을 참조하여, 필터링 화소 결정부(520)가 대상 화소를 결정하는 실시예를 이하에서 설명한다.
도 11을 참조하면, 필터링 화소 결정부(520)는 서로 다른 인트라 예측 크기를 사용하는 인트라 예측블록의 경계에서 디블록킹 필터링의 대상이 되는 화소의 개수를 결정할 수 있다. 즉, 상기 필터링 화소 결정부(520)는 인트라 예측블록의 크기를 식별하고, 이에 따라 디블록킹 필터링의 대상이 되는 화소의 개수를 결정할 수 있다. 예를 들어, 인트라 4×4 예측블록과 인트라 4×4 예측블록의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 개수는 블록 P와 블록 Q가 각각 4 개(p0, p1, p2, p3 및 q0, q1, q2, q3)이다. 그러나, 인트라 16×16 예측블록과 인트라 4×4 예측블록의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 개수는 인트라 4×4 예측을 사용하는 블록 P는 4 개 (p0, p1, p2, p3)이고, 인트라 16×16 예측을 사용하는 블록 Q는 6 개(q0, q1, q2, q3, q4, q5)로 할 수 있다. 즉, 인트라 예측블록의 크기가 클수록 더 많은 화소가 디블록킹 필터링의 대상이 될 수 있음을 의미한다.
도 12를 참조하면, 필터링 화소 결정부(520)는 서로 다른 인트라 예측모드를 사용하는 인트라 예측블록의 경계에서 디블록킹 필터링의 대상이 되는 화소의 위치를 결정할 수 있다. 즉, 상기 필터링 화소 결정부(520)는 인트라 예측블록의 모드를 식별하고, 이에 따라 디블록킹 필터링의 대상이 되는 화소의 위치를 결정할 수 있다.
예를 들어, 인트라 4×4 예측블록(1번 모드)과 인트라 4×4 예측블록(1번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 위치는 블록 P와 블록 Q 각각 수평 방향(p0, p1, p2, p3 및 q0, q1, q2, q3)이다(도 12의 (A)). 그러나, 인트라 4×4 예측블록(3번 모드)과 인트라 4×4 예측블록(3번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 위치는 블록 P와 블록 Q 각각 대각선 왼쪽 방향(p0, p1, p2, p3 및 q0, q1, q2, q3)이고(도 12의 (B)), 인트라 4×4 예측블록(4번 모드)과 인트라 4×4 예측블록(4번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 위치는 블록 P와 블록 Q 각각 대각선 오른쪽 방향(p0, p1, p2, p3 및 q0, q1, q2, q3)이다(도 12의 (C)). 즉, 인트라 예측모드에 따라 방향성을 고려하여 디블록킹 필터링의 대상이 되는 화소의 위치가 결정될 수 있음을 의미한다.
또한 인접한 인트라 예측블록의 예측모드가 서로 다른 경우에도 동일한 사상이 적용될 수 있다. 예를 들어, 인트라 4×4 예측블록(4번 모드)과 인트라 4×4 예측블록(1번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 위치는 블록 Q가 대각선 오른쪽 방향(q0, q1, q2, q3)이고, 블록 P가 수평 방향(p0, p1, p2, p3)이다(도 12의 (D)).
한편, 필터링 화소 결정부(520)는 서로 다른 인트라 예측블록 크기 및 예측모드를 사용하는 인트라 예측블록의 경계에서 디블록킹 필터링의 대상이 되는 화소의 개수 및 위치를 결정할 수 있다. 즉, 필터링 화소 결정부(520)는 인트라 예측블록 크기 및 예측모드를 식별하고, 이에 따라 디블록킹 필터링의 대상이 되는 화소의 개수 및 위치를 결정할 수 있다.
예를 들어, 도 13을 참조하면, 인트라 16×16 예측블록(Horizontal 모드)과 인트라 4×4 예측블록(4번 모드)의 경계를 디블록킹 필터링하는 경우, 디블록킹 필터링의 대상이 되는 화소의 개수 및 위치는 블록 P가 대각선 오른쪽 방향으로 4개(p0, p1, p2, p3)이고, 블록 Q가 수평 방향으로 6개(q0, q1, q2, q3, q4, q5)이다.
다시 도 5를 참조하면, 필터링 강도 결정부(510) 및 필터링 화소 결정부(520)에 의해 해당 블록의 필터링 강도 및 필터링의 대상이 되는 화소가 결정되면, 필터부(530)에 의해 디블록킹 필터링이 수행된다.
필터부(530)는 필터링 강도 결정부(510)에 의해 결정된 해당 블록의 필터링 강도에 따라 상기 필터링 화소 결정부(520)에 의해 결정된 필터링의 대상이 되는 화소의 개수 및 위치를 참조하여 필터링을 수행한다.
이하에서는, 본 발명의 실시예에 따른 구체적인 필터링 방법을 설명한다.
필터링 강도의 크기가 4 미만이고, 필터링의 대상이 되는 화소의 개수가 4 이하일 경우는 수학식 1에 의해 필터링이 수행된다.
수학식 1
Figure PCTKR2011005359-appb-M000001
수학식 1에서, tc의 값은 디블록킹 필터링의 대상이 되는 화소값의 절대차 |p2 - p0|, |q2 - q0| 및 양자화 계수에 의해 결정되는 β값에 의해 결정된다. 수학식 1의 Clip은 {(q0 - p0) << 2 + (p1 - q1) + 4} / 8 의 값을 취하되, 그 값이 -tc 와 tc 의 값을 넘지 않도록 클리핑 처리한다.
수학식 1과 같이, q1, q0, p0, p1을 이용한 4탭 FIR 필터(4-Tap Finite Impulse Response Filter)를 통해 p0 및 q0 의 디블록킹 필터링이 수행된 화소값 p'0 및 q'0 가 결정될 수 있다. 또한 유사한 방법을 통해 p'1 과 q'1 화소의 값에 대한 필터링이 수행될 수 있다. 필터링의 대상이 되는 화소의 개수는 블록 P와 블록 Q가 각각 4 개이고, 필터링이 수행되는 화소의 개수는 블록 P와 블록 Q가 각각 2 개이다.
필터링 강도의 크기가 4 이고, 필터링의 대상이 되는 화소의 개수가 4 이하일 경우는 수학식 2에 의해 필터링이 수행된다.
수학식 2
Figure PCTKR2011005359-appb-M000002
수학식 2는 필터링 강도가 4 일 경우, q'0을 구하는 식의 예시이다. 수학식 2와 같이, q2, q1, q0, p0, p1을 이용한 5탭 필터링이 적용된다. 또한, 유사한 방법을 사용하여 p'2, p'1, p'0, q'0, q'1, q'2 화소값에 대한 필터링이 수행된다. 필터링의 대상이 되는 화소의 개수는 블록 P와 블록 Q가 각각 4 개이고, 필터링이 수행되는 화소의 개수는 블록 P와 블록 Q가 각각 3 개이다.
본 발명의 실시예에서는 인트라 예측블록 크기 및 인트라 예측모드에 따라, 서로 다른 개수 및 위치의 디블록킹 필터링을 제공한다. 즉, 도 7 및 도 9와 같이, 디블록킹 필터링이 보다 내부의 화소에 영향을 미칠 수 있도록 할 수 있다.
따라서, 본 발명의 실시예에서는 수학식 3과 같이 필터링의 대상이 되는 화소의 개수가 6 개일 경우의 필터링 방법을 예시한다.
수학식 3
Figure PCTKR2011005359-appb-M000003
수학식 3은 필터링 강도가 4 일 경우, q'0을 구하는 식의 예시이다. 수학식 3에서 보는 바와 같이, q3, q2, q1, q0, p0, p1, p2을 이용한 7탭 필터링이 적용된다. 또한, 유사한 방법을 사용하여 p'3, p'2, p'1, p'0, q'0, q'1, q'2, q'3 화소값에 대한 필터링이 수행된다. 필터링의 대상이 되는 화소의 개수는 블록 P와 블록 Q가 각각 6 개이고, 필터링이 수행되는 화소의 개수는 블록 P와 블록 Q가 각각 4 개이다.
도 13의 예시와 같이, 필터링의 대상이 되는 화소의 개수가 블록 P와 블록 Q가 서로 다를 경우, 블록 P에는 수학식 2가 적용되고, 블록 Q에는 수학식 3이 적용될 수 있다. 즉, 필터링의 대상이 되는 화소의 개수는 블록 P가 4개, 블록 Q가 6 개이고, 필터링이 수행되는 화소의 개수는 블록 P가 2개, 블록 Q가 4 개이다.
도 14는 본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용된 복호화 장치의 구성을 나타내는 블록도이다.
본 발명의 실시예에 따른 디블록킹 필터링 장치가 적용된 복호화 장치는, 부호화 데이터 추출부(1410), 엔트로피 복호화부(1420), 잉여데이터 복호화부(1430), 예측부(1440) 및 디블록킹 필터부(1450)를 포함할 수 있다.
부호화 데이터 추출부(1410)는 입력받은 부호화된 데이터를 추출 및 분석하여, 잔여블록에 대한 데이터를 엔트로피 복호화부(1420)으로 전달하고, 매크로블록 모드 및 부호화된 예측정보(예를 들어, 인트라 부호화의 경우에는 인트라 예측모드, 인터 부호화의 경우에는 참조픽처 인덱스 및 움직임 벡터 등의 정보)는 예측부(1440)로 전달한다.
엔트로피 복호화부(1420)는 부호화 데이터 추출부(1410)으로부터 입력받은 잔여블록에 대해 엔트로피 복호화를 수행해 양자화된 잔여블록을 생성한다. 본 발명의 실시예에는 도시하지 않았으나, 필요에 따라 엔트로피 복호화부(1420)는 잔여블록뿐만 아니라, 부호화된 데이터를 복호화하는데 필요한 다양한 정보들을 복호화할 수 있다. 여기서, 부호화된 데이터를 복호화하는데 필요한 다양한 정보들은 블록 타입에 대한 정보, 예측모드가 인트라 예측모드인 경우 인트라 예측모드에 대한 정보, 예측모드가 인터 예측모드인 경우 움직임 벡터에 대한 정보, 변환 및 양자화 타입에 대한 정보 등의 다양한 정보들을 포함할 수 있다. 엔트로피 복호화부(1420)은 본 발명의 실시예가 적용된 부호화 장치의 엔트로피 부호화부(440)에 사용되는 엔트로피 부호화 방법에 따라 다양한 방법으로 정의될 수 있다.
잉여데이터 복호화부(1430)는 본 발명의 실시예에 따른 부호화 장치의 잉여데이터 복호화부(430)과 동일한 과정을 수행하여 잔여블록을 복원한다.
예측부(1440)은 본 발명의 실시예에 따른 부호화 장치의 예측부(410)와 동일한 과정을 수행하여 예측블록을 생성한다.
복호화부(1430)를 통해 복원된 잔여블록과 상기 예측부(1440)를 통해 예측된 예측블록을 결합하여 복원된 현재블록을 생성한다.
디블록킹 필터부(1450)은 본 발명의 실시예에 따른 부호화 장치의 디블록킹 필터부(460)와 동일한 과정을 수행하여 복원된 현재블록을 필터링한다. 디블록킹 필터부(1450)는 부호화 장치의 디블록킹 필터부(460)과 그 구성이 동일하므로, 이에 대한 보다 상세한 설명을 생략한다.
이상의 본 발명의 실시예를 적용할 경우, 휘도 신호에 대하여 적용하는 디블록킹 방법과 색차 신호에 대하여 적용하는 디블록킹 방법을 동일하게 할 수 있다. 또 다른 실시예에서는 그 적용에 있어서 휘도 신호에 대하여 적용하는 디블록킹 방법과 색차 신호에 대하여 적용하는 디블록킹 방법을 서로 다르게 구현하는 것도 가능할 것이다.
이상의 본 발명의 실시예에서는 인접한 두 개의 블록을 기준으로 디블록킹 필터링을 수행하는 것으로 설명하였으나, 본 발명의 범위가 이에 한정되지는 않는다. 즉, 디블록킹 필터링을 수행하기 위한 필터링 강도 및 대상 화소 등을 정함에 있어서, 두 개 이상의 블록이 관여할 수도 있고, 본 발명의 본질에서 벗어나지 않는 한, 이도 본 발명의 사상에 포함되는 것으로 해석하여야 할 것이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, 인트라 예측블록에 대해서도 블록킹 효과를 감소시켜 주관적 화질을 향상시킬 수 있으며, 나아가 부호화 효율을 향상시킬 수 있으므로, 매우 유용한 발명이다.
본 특허출원은 2010년 07월 20일 한국에 출원한 특허출원번호 제 10-2010-0070180 호와 2011년 03월 15일 한국에 출원한 특허출원번호 제 10-2011-0022666호와 2011년 07월 20일에 한국에 출원한 제 10-2011-0072071호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (73)

  1. 영상신호를 부호화하는 부호화 장치에 있어서,
    인트라 예측(Intra Prediction) 또는 인터 예측(Inter Prediction)을 이용하여 현재블록에 대한 예측블록을 생성하는 예측부;
    상기 현재블록과 상기 예측블록을 이용하여 잔여블록을 생성하고 상기 잔여블록을 변환 및 양자화하는 잉여데이터 부호화부;
    변환 및 양자화된 잔여블록을 역양자화 및 역변환함으로써 상기 변환 및 양자화된 잔여블록을 복호화하는 잉여데이터 복호화부; 및
    복호화된 잔여블록과 상기 예측블록을 이용하여 복원블록을 복원하고 상기 복원블록 및 상기 복원블록에 인접한 인접블록의 인터 예측정보 및 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터부
    를 포함하는 것을 특징으로 하는 부호화 장치.
  2. 제 1 항에 있어서,
    상기 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 부호화 장치.
  3. 제 1 항에 있어서,
    상기 디블록킹 필터부는 상기 복원블록과 상기 인접블록 간의 상기 인트라 예측정보에 근거하여 필터링 강도를 결정하는 것을 특징으로 하는 부호화 장치.
  4. 제 3 항에 있어서,
    상기 디블록킹 필터부는, 상기 복원블록과 상기 인접블록 중 적어도 하나가 인트라 예측블록인 경우, 상기 복원블록와 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지를 판단하여 그 판단결과에 따라 적응적으로 상기 필터링 강도를 결정하는 것을 특징으로 하는 부호화 장치.
  5. 제 4 항에 있어서,
    상기 디블록킹 필터부는, 상기 복원블록과 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는 경우 0이 아닌 변환계수가 존재하지 않는 경우보다 상기 필터링 강도를 높게 결정하는 것을 특징으로 하는 부호화 장치.
  6. 제 5 항에 있어서,
    상기 디블록킹 필터부는, 상기 복원블록와 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않는 경우, 상기 복원블록과 상기 인접블록의 상기 인트라 예측정보가 동일한지를 판단하여 그 판단결과에 따라 적응적으로 상기 필터링 강도를 결정하는 것을 특징으로 하는 부호화 장치.
  7. 제 6 항에 있어서,
    상기 디블록킹 필터부는, 상기 복원블록과 상기 인접블록의 상기 인트라 예측정보가 동일하지 않은 경우 동일한 경우보다 상기 필터링 강도를 높게 결정하는 것을 특징으로 하는 부호화 장치.
  8. 제 7 항에 있어서,
    상기 디블록킹 필터부는, 상기 복원블록과 상기 인접블록의 상기 인트라 예측정보가 동일한 경우, 필터링을 수행하지 않는 것을 특징으로 하는 부호화 장치.
  9. 제 6 항에 있어서,
    상기 디블록킹 필터부는, 상기 복원블록과 상기 인접블록의 인트라 예측모드와 인트라 예측블록 크기가 모두 같은 경우에 상기 인트라 예측정보가 동일하다고 판단하는 것을 특징으로 하는 부호화 장치.
  10. 제 1 항에 있어서,
    상기 디블록킹 필터부는, 상기 인트라 예측정보에 근거하여 필터링에 이용할 대상 화소를 적응적으로 결정하는 것을 특징으로 하는 부호화 장치.
  11. 제 10 항에 있어서,
    상기 디블록킹 필터부는, 상기 인트라 예측정보에 포함된 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 결정하는 것을 특징으로 하는 부호화 장치.
  12. 제 10 항에 있어서,
    상기 디블록킹 필터부는, 상기 인트라 예측정보에 포함된 인트라 예측모드에 근거하여 상기 대상 화소의 위치(즉, 필터링 방향)을 결정하는 것을 특징으로 하는 부호화 장치.
  13. 영상신호를 복호화하는 복호화 장치에 있어서,
    입력된 변환 및 양자화된 잔여블록을 역양자화 및 역변환함으로써 상기 변환 및 양자화된 잔여블록을 복호화하는 잉여데이터 복호화부;
    입력된 인터 예측정보 또는 인트라 예측정보에 근거하여 예측블록을 생성하는 예측부; 및
    복호화된 잔여블록과 상기 예측블록을 이용하여 복원블록을 생성하고 상기 복원블록과 상기 복원블록에 인접한 인접블록의 상기 인터 예측정보 및 상기 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터부
    를 포함하는 것을 특징으로 하는 복호화 장치.
  14. 제 13 항에 있어서,
    상기 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 복호화 장치.
  15. 두 개의 인접블록 중 어느 하나 이상이 인트라 예측된 경우, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부를 판단하여, 그 판단결과에 따라 적응적으로 필터링 강도를 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  16. 제 15 항에 있어서,
    상기 두 개의 인접블록 중 적어도 하나에 상기 0이 아닌 변환계수가 존재하는 경우 상기 두 개의 인접블록 모두에 상기 0이 아닌 변환계수가 존재하지 않는 경우보다 상기 필터링 강도를 높게 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  17. 제 16 항에 있어서,
    상기 두 개의 인접블록 중 적어도 하나에 상기 0이 아닌 변환계수가 존재하지 않는 경우, 상기 두 개의 인접블록의 인트라 예측정보가 동일한지 여부를 판단하여 그 판단결과에 따라 적응적으로 상기 필터링 강도를 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  18. 제 17 항에 있어서,
    상기 두 개의 인접블록의 상기 인트라 예측정보가 동일하지 않은 경우, 동일한 경우보다 상기 필터링 강도를 높게 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  19. 제 18 항에 있어서,
    상기 두 개의 인접블록의 상기 인트라 예측정보가 동일한 경우 필터링을 수행하지 않는 것을 특징으로 하는 디블록킹 필터링 장치.
  20. 제 17 항에 있어서,
    상기 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 디블록킹 필터링 장치.
  21. 두 개의 인접블록 중 어느 하나 이상이 인트라 예측된 경우, 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 인트라 예측정보에 근거하여 필터링에 이용할 대상 화소를 적응적으로 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  22. 제 21 항에 있어서,
    상기 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 적응적으로 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  23. 제 21 항에 있어서,
    상기 인트라 예측모드에 근거하여 상기 대상 화소의 위치(즉, 필터링 방향)를 적응적으로 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  24. 두 개의 인접블록 중 어느 하나 이상이 인트라 예측된 경우에 디블록킹 필터링을 수행하는 디블록킹 필터링 장치에 있어서,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부 및 인트라 예측정보에 근거하여 필터링 강도(BS: Boundary Strength)를 결정하는 필터링 강도 결정부;
    상기 인트라 예측정보에 근거하여 필터링에 이용한 대상 화소를 결정하는 필터링 화소 결정부; 및
    상기 필터링 강도 결정부 및 상기 필터링 화소 결정부의 결정에 근거하여 디블록킹 필터링을 수행하는 필터부
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 장치.
  25. 제 24 항에 있어서,
    상기 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 디블록킹 필터링 장치.
  26. 제 24 항에 있어서,
    상기 필터링 강도 결정부는,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는 경우 제1 필터링 강도를 부여하고,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않는 경우, 상기 두 개의 인접블록의 인트라 예측정보가 동일한지 여부를 판단하여 동일하지 않으면 상기 제1 필터링 강도보다 작은 제2 필터링 강도를 부여하고, 동일하면 상기 제2 필터링 강도 보다 작은 제3 필터링 강도를 부여하는 것을 특징으로 하는 디블록킹 필터링 장치.
  27. 제 26 항에 있어서,
    상기 제3 필터링 강도가 부여된 경우 필터링을 수행하지 않는 것을 특징으로 하는 디블록킹 필터링 장치.
  28. 제 25 항에 있어서,
    상기 필터링 화소 결정부는 상기 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 적응적으로 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  29. 제 25 항에 있어서,
    상기 필터링 화소 결정부는 상기 인트라 예측모드에 근거하여 상기 대상 화소의 위치(즉, 필터링 방향)를 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  30. 두 개의 인접블록 중 적어도 하나가 인트라 예측된 경우, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부 및 인트라 예측정보에 근거하여 필터링 강도(BS: Boundary Strength)를 결정하고,
    상기 두 개의 인접블록 중 적어도 하나가 인트라 예측되지 않은 경우, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부 및 인터 예측정보에 근거하여 상기 필터링 강도를 결정하는 디블록킹 필터링 장치.
  31. 제 30 항에 있어서,
    상기 두 개의 인접블록 중 적어도 하나가 인트라 예측된 경우,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면 제1 필터링 강도를 부여하고,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않으면 상기 두 개의 인접블록의 인트라 예측정보가 동일한지 여부를 판단하여 동일하지 않으면 상기 제1 필터링 강도보다 작은 제2 필터링 강도를 부여하고, 동일하면 상기 제2 필터링 강도 보다 작은 제3 필터링 강도를 부여하는 것을 특징으로 하는 디블록킹 필터링 장치.
  32. 제 31 항에 있어서,
    상기 두 개의 인접블록 중 적어도 하나가 인트라 예측되지 않은 경우,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면, 상기 제2 필터링 강도보다 작고 상기 제3 필터링 강도보다 큰 제4 필터링 강도를 부여하고,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않으면, 상기 인터 예측정보가 동일한지 여부를 판단하여 동일하지 않으면 상기 제4 필터링 강도보다 작고 제3 필터링 강도보다 큰 제5 필터링 강도를 부여하고, 동일하면 제3 필터링 강도를 부여하는 것을 특징으로 하는 디블록킹 필터링 장치.
  33. 제 31 항 또는 제 32 항에 있어서,
    상기 제3 필터링 강도가 부여된 경우 필터링을 수행하지 않는 것을 특징으로 하는 디블록킹 필터링 장치.
  34. 두 개의 인접블록 중 적어도 하나가 인트라 예측된 경우, 필터링 강도를 결정하는 디블록킹 필터링 장치에 있어서,
    상기 두 개의 인접블록의 매크로블록 모드 정보가 동일한지 여부, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부, 상기 두 개의 인접블록의 인트라 예측정보가 동일한지 여부 및 블록 경계 방향과 인트라 예측방향이 동일한지 여부 중 적어도 하나의 판단결과에 근거하여 적응적으로 상기 필터링 강도를 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  35. 제 34 항에 있어서,
    상기 두 개의 인접블록의 매크로블록 모드 정보가 동일한지 여부를 판단하여 동일하지 않은 경우 제1 필터링 강도를 부여하고,
    상기 두 개의 인접블록의 매크로블록 모드 정보가 동일하면, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부를 판단하여, 존재하면 상기 제1 필터링 강도보다 낮은 제2 필터링 강도를 부여하며,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않으면, 상기 두 개의 인접블록의 인트라 예측정보가 동일한지 여부를 판단하여, 동일하지 않으면 상기 제2 필터링 강도보다 낮은 제3 필터링 강도를 부여하고,
    상기 두 개의 인접블록의 인트라 예측정보가 동일하면, 블록 경계 방향과 인트라 예측방향이 동일한지 여부를 판단하여, 동일하지 않으면 상기 제3 필터링 강도보다 낮은 제4 필터링 강도를 부여하고, 동일하면 상기 제4 필터링 강도보다 낮은 제5 필터링 강도를 부여하는 것을 특징으로 하는 디블록킹 필터링 장치.
  36. 영상 신호를 부호화 하는 부호화 방법에 있어서,
    인트라 예측 또는 인터 예측을 이용하여 현재블록에 대한 예측블록을 생성하는 예측 단계;
    상기 현재블록과 상기 예측블록을 이용하여 잔여블록을 생성하고 상기 잔여블록을 변환 및 양자화하는 잉여데이터 부호화 단계;
    변환 및 양자화된 잔여블록을 역양자화 및 역변환함으로써 상기 변환 및 양자화된 잔여블록을 복호화하는 잉여데이터 복호화 단계; 및
    복호화된 잔여블록과 상기 예측블록을 이용하여 복원블록을 복원하고, 상기 복원블록 및 상기 복원블록에 인접한 인접블록의 인터 예측정보 및 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터링 단계
    를 포함하는 것을 특징으로 하는 부호화 방법.
  37. 제 36 항에 있어서,
    상기 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 부호화 방법.
  38. 제 36 항에 있어서,
    상기 디블록킹 필터링 단계는, 상기 복원블록과 상기 인접블록 중 적어도 하나가 인트라 예측블록인 경우, 상기 복원블록와 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지를 판단하여 그 판단결과에 따라 적응적으로 상기 필터링 강도를 결정하는 것을 특징으로 하는 부호화 방법.
  39. 제 38 항에 있어서,
    상기 디블록킹 필터링 단계는, 상기 복원블록과 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는 경우 0이 아닌 변환계수가 존재하지 않는 경우보다 상기 필터링 강도를 높게 결정하는 것을 특징으로 하는 부호화 방법.
  40. 제 39 항에 있어서,
    상기 디블록킹 필터링 단계는, 상기 복원블록와 상기 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않는 경우, 상기 복원블록과 상기 인접블록의 상기 인트라 예측정보가 동일한지를 판단하여 그 판단결과에 따라 적응적으로 상기 필터링 강도를 결정하는 것을 특징으로 하는 부호화 방법.
  41. 제 40 항에 있어서,
    상기 디블록킹 필터링 단계는, 상기 복원블록과 상기 인접블록의 상기 인트라 예측정보가 동일하지 않은 경우 동일한 경우보다 상기 필터링 강도를 높게 결정하는 것을 특징으로 하는 부호화 방법.
  42. 제 41 항에 있어서,
    상기 디블록킹 필터링 단계는, 상기 복원블록과 상기 인접블록의 상기 인트라 예측정보가 동일한 경우, 필터링을 수행하지 않는 것을 특징으로 하는 부호화 방법.
  43. 제 36 항에 있어서,
    상기 디블록킹 필터링 단계는, 상기 인트라 예측정보에 근거하여 필터링에 이용할 대상 화소를 적응적으로 결정하는 것을 특징으로 하는 부호화 방법.
  44. 제 43 항에 있어서,
    상기 디블록킹 필터링 단계는, 상기 인트라 예측정보에 포함된 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 결정하는 것을 특징으로 하는 부호화 방법.
  45. 제 43 항에 있어서,
    상기 디블록킹 필터링 단계는, 상기 인트라 예측정보에 포함된 인트라 예측모드에 근거하여 상기 대상 화소의 위치(즉, 필터링 방향)을 결정하는 것을 특징으로 하는 부호화 방법.
  46. 영상신호를 복호화하는 복호화 방법에 있어서,
    입력된 변환 및 양자화된 잔여블록을 역양자화 및 역변환함으로써 상기 변환 및 양자화된 잔여블록을 복호화하는 잉여데이터 복호화 단계;
    입력된 인터 예측정보 또는 인트라 예측정보에 근거하여 예측블록을 생성하는 예측 단계; 및
    복호화된 잔여블록과 상기 예측블록을 이용하여 복원블록을 복원하고, 상기 복원블록 및 상기 복원블록에 인접한 인접블록의 상기 인터 예측정보 및 상기 인트라 예측정보에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터링 단계
    를 포함하는 것을 특징으로 하는 복호화 방법.
  47. 제 46 항에 있어서,
    상기 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 복호화 방법.
  48. 두 개의 인접블록 중 적어도 하나가 인트라 예측된 경우, 필터링 강도(BS: Boundary Strength)를 결정하는 디블록킹 필터링 방법에 있어서,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 판단하는 판단 단계; 및
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않는 경우보다 높은 필터링 강도를 부여하는 필터링 강도 결정 단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  49. 제 48 항에 있어서,
    상기 필터링 강도 결정단계는,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면 제1 필터링 강도를 부여하는 단계;
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않으면, 상기 두 개의 인접블록의 인트라 예측정보가 동일한지 여부를 판단하는 단계;
    상기 두 개의 인접블록의 상기 인트라 예측정보가 동일하지 않으면, 제1 필터링 강도보다 작은 제2 필터링 강도를 부여하는 단계; 및
    상기 두 개의 인접블록의 상기 인트라 예측정보가 동일하면, 상기 제2 필터링 강도보다 작은 제3 필터링 강도를 부여하는 단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  50. 제 49 항에 있어서,
    상기 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  51. 제 49 항에 있어서,
    상기 제3 필터링 강도가 부여된 경우 필터링을 수행하지 않는 것을 특징으로 하는 디블록킹 필터링 방법.
  52. 두 개의 인접블록 중 적어도 하나가 인트라 예측된 경우, 필터링 강도(BS: Boundary Strength)를 결정하는 디블록킹 필터링 방법에 있어서,
    상기 두 개의 인접블록의 인트라 예측정보를 비교하는 단계;
    비교 결과 상기 두 개의 인접블록의 인트라 예측정보가 동일하지 않으면, 제1 필터링 강도를 부여하는 단계; 및
    비교 결과 상기 두 개의 인접블록의 상기 인트라 예측정보가 동일하면, 상기 제1 필터링 강도보다 작은 제2 필터링 강도를 부여하는 단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  53. 제 52 항에 있어서,
    상기 제2 필터링 강도가 부여된 경우 필터링을 수행하지 않는 것을 특징으로 하는 디블록킹 필터링 방법.
  54. 두 개의 인접블록 중 적어도 하나가 인트라 예측된 경우, 필터링에 이용할 대상 화소를 결정하는 방법에 있어서,
    인트라 예측블록의 크기에 근거하여 상기 대상 화소의 개수를 결정하는 단계; 및
    인트라 예측모드에 근거하여 상기 대상화소의 위치(즉, 필터링 방향)를 결정하는 단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  55. 두 개의 인접블록 중 적어도 하나가 인트라 예측된 경우 디블록킹 필터링을 수행하는 방법에 있어서,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부 및 인트라 예측정보에 근거하여 필터링 강도(BS: Boundary Strength)를 결정하는 필터링 강도 결정단계;
    상기 인트라 예측정보에 근거하여 필터링에 이용할 대상 화소를 결정하는 필터링 화소 결정단계; 및
    상기 필터링 강도 결정단계 및 상기 필터링 화소 결정단계의 결정에 근거하여 디블록킹 필터링을 수행하는 디블록킹 필터링단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  56. 제 55 항에 있어서,
    상기 인트라 예측정보는 인트라 예측모드 및 인트라 예측블록 크기 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  57. 제 55 항에 있어서,
    상기 필터링 강도 결정단계는,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는 경우 제1 필터링 강도를 부여하는 단계;
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않으면, 상기 두 개의 인접블록의 인트라 예측정보가 동일한지 여부를 판단하는 단계;
    상기 두 개의 인접블록의 인트라 예측정보가 동일하지 않은 것으로 판단한 경우, 상기 제1 필터링 강도보다 작은 제2 필터링 강도를 부여하는 단계; 및
    상기 두 개의 인접블록의 인트라 예측정보가 동일한 것으로 판단한 경우, 상기 제2 필터링 강도보다 작은 제3 필터링 강도를 부여하는 단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  58. 제 57 항에 있어서,
    상기 제3 필터링 강도가 부여된 경우 필터링을 수행하지 않는 것을 특징으로 하는 디블록킹 필터링 방법.
  59. 제 56 항에 있어서,
    상기 필터링 화소 결정단계는, 상기 인트라 예측블록 크기에 근거하여 상기 대상 화소의 개수를 결정하는 것을 특징으로 하는 디블록킹 필터링 방법.
  60. 제 56 항에 있어서,
    상기 필터링 화소 결정단계는, 상기 인트라 예측모드에 근거하여 상기 대상 화소의 위치(즉, 필터링 방향)를 결정하는 것을 특징으로 하는 디블록킹 필터링 방법.
  61. 필터링 강도(BS: Boundary Strength)를 결정하는 디블록킹 필터링 방법에 있어서,
    두 개의 인접블록 중 적어도 하나가 인트라 예측된 경우, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부 및 인트라 예측정보에 근거하여 상기 필터링 강도를 결정하는 단계; 및
    상기 두 개의 인접블록 중 적어도 하나가 인트라 예측되지 않은 경우, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부 및 인터 예측정보에 근거하여 상기 필터링 강도를 결정하는 단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  62. 제 61 항에 있어서,
    상기 두 개의 인접블록 중 적어도 하나가 인트라 예측된 경우,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면 제1 필터링 강도를 부여하는 단계;
    상기 두개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않으면, 상기 두 개의 인접블록의 인트라 예측정보가 동일한지 여부를 판단하는 단계;
    상기 두 개의 인접블록의 인트라 예측정보가 동일하지 않으면, 상기 제1 필터링 강도보다 작은 제2 필터링 강도를 부여하는 단계; 및
    상기 두 개의 인접블록의 인트라 예측정보가 동일하면, 상기 제2 필터링 강도보다 작은 제3 필터링 강도를 부여하는 단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  63. 제 62 항에 있어서,
    상기 두 개의 인접블록 중 적어도 하나가 인트라 예측되지 않은 경우,
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하면, 상기 제2 필터링 강도보다 작고 상기 제3 필터링 강도보다 큰 제4 필터링 강도를 부여하는 단계;
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않으면, 상기 두 개의 인접블록의 인터 예측정보를 비교하는 단계;
    상기 두 개의 인접블록의 인터 예측정보가 동일하지 않으면, 상기 제4 필터링 강도보다 작고 상기 제3 필터링 강도보다 큰 제5 필터링 강도를 부여하는 단계; 및
    상기 두 개의 인접블록의 인터 예측정보가 동일하면, 상기 제3 필터링 강도를 부여하는 단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  64. 제 62 항 또는제 63 항에 있어서,
    상기 제3 필터링 강도가 부여되는 경우 필터링을 수행하지 않는 것을 특징으로 하는 디블록킹 필터링 방법.
  65. 두 개의 인접블록 중 적어도 하나 이상이 인트라 예측된 경우에 디블록킹 필터링을 수행하는 방법에 있어서,
    상기 두 개의 인접블록의 매크로블록 모드 정보가 동일한지 여부를 판단하여 동일하지 않은 경우 제1 필터링 강도를 부여하는 단계;
    상기 두 개의 인접블록의 매크로블록 모드 정보가 동일하면, 상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하는지 여부를 판단하여, 존재하면 상기 제1 필터링 강도보다 낮은 제2 필터링 강도를 부여하는 단계;
    상기 두 개의 인접블록 중 적어도 하나에 0이 아닌 변환계수가 존재하지 않으면, 상기 두 개의 인접블록의 인트라 예측정보가 동일한지 여부를 판단하여, 동일하지 않으면 상기 제2 필터링 강도보다 낮은 제3 필터링 강도를 부여하는 단계; 및
    상기 두 개의 인접블록의 인트라 예측정보가 동일하면, 블록 경계 방향과 인트라 예측방향이 동일한지 여부를 판단하여, 동일하지 않으면 상기 제3 필터링 강도보다 낮은 제4 필터링 강도를 부여하고, 동일하면 상기 제4 필터링 강도보다 낮은 제5 필터링 강도를 부여하는 단계
    를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  66. 제 36 항 내지 제 45 항 중 어느 한 항의 부호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록매체.
  67. 제 46 항 내지 제 47 항 중 어느 한 항의 복호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록매체.
  68. 제 48 항 내지 제 65 항 중 어느 한 항의 디블록킹 필터링 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록매체.
  69. 현재블록이 인트라 예측된 경우, 상기 현재블록에 0이 아닌 변환계수가 존재하는지 여부 및 상기 현재블록의 디블록킹 방향과 상기 현재블록의 인트라 예측방향이 동일한지 여부 중 적어도 하나에 의해 필터링 강도를 적응적으로 결정하는 디블록킹 필터링 장치.
  70. 제 69 항에 있어서,
    인트라 예측된 상기 현재블록에 0이 아닌 변환계수가 존재하면 0이 아닌 변환계수가 존재하지 않는 경우보다 상기 필터링 강도를 높게 결정하는 것을 특징하는 디블록킹 필터링 장치.
  71. 제 69 항에 있어서,
    상기 현재블록의 디블록킹 방향과 상기 현재블록의 인트라 예측방향이 동일하지 않으면 동일한 경우보다 상기 필터링 강도를 높게 결정하는 것을 특징으로 하는 디블록킹 필터링 장치.
  72. 제 71 항에 있어서,
    상기 현재블록의 디블록킹 방향과 상기 현재블록의 인트라 예측방향이 동일한 경우, 디블록킹 필터링을 수행하지 않는 것을 특징으로 디블록킹 필터링 장치.
  73. 현재블록이 인트라 예측된 경우, 상기 현재블록에 0이 아닌 변환계수가 존재하는지 여부 및 상기 현재블록의 디블록킹 방향과 상기 현재블록의 인트라 예측방향이 동일한지 여부 중 적어도 하나에 의해 필터링 강도를 적응적으로 결정하는 디블록킹 필터링 방법.
PCT/KR2011/005359 2010-07-20 2011-07-20 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치 WO2012011744A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/811,596 US9872019B2 (en) 2010-07-20 2011-07-20 Method and device for deblocking-filtering, and method and device for encoding and decoding using same
CN201180045227.2A CN103119937B (zh) 2010-07-20 2011-07-20 用于解块滤波的方法和装置以及利用该方法和装置进行编码和解码的方法和装置
US15/833,256 US10327011B2 (en) 2010-07-20 2017-12-06 Method and device for deblocking-filtering, and method and device for encoding and decoding using same

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2010-0070180 2010-07-20
KR20100070180 2010-07-20
KR10-2011-0022666 2011-03-15
KR1020110022666A KR20120010097A (ko) 2010-07-20 2011-03-15 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
KR1020110072071A KR101826353B1 (ko) 2010-07-20 2011-07-20 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
KR10-2011-0072071 2011-07-20

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/811,596 A-371-Of-International US9872019B2 (en) 2010-07-20 2011-07-20 Method and device for deblocking-filtering, and method and device for encoding and decoding using same
US15/833,256 Continuation US10327011B2 (en) 2010-07-20 2017-12-06 Method and device for deblocking-filtering, and method and device for encoding and decoding using same

Publications (2)

Publication Number Publication Date
WO2012011744A2 true WO2012011744A2 (ko) 2012-01-26
WO2012011744A3 WO2012011744A3 (ko) 2012-05-18

Family

ID=45497302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005359 WO2012011744A2 (ko) 2010-07-20 2011-07-20 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치

Country Status (2)

Country Link
KR (1) KR101826353B1 (ko)
WO (1) WO2012011744A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073969A1 (en) * 2018-10-10 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140053448A (ko) * 2012-10-25 2014-05-08 에스케이텔레콤 주식회사 스테레오스코픽 비디오에서 제1영상에 대한 부호화정보로부터 제2영상을 디블록킹 필터링하는 방법 및 장치
US10448015B2 (en) 2015-06-16 2019-10-15 Lg Electronics Inc. Method and device for performing adaptive filtering according to block boundary
WO2017069591A1 (ko) * 2015-10-23 2017-04-27 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
CN117956191A (zh) * 2018-01-08 2024-04-30 三星电子株式会社 编码方法及其设备以及解码方法及其设备
KR20240018689A (ko) * 2018-07-30 2024-02-13 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US11470329B2 (en) * 2018-12-26 2022-10-11 Tencent America LLC Method and apparatus for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080056083A (ko) * 2006-12-15 2008-06-20 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
KR20090095014A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR20100045007A (ko) * 2008-10-23 2010-05-03 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008516556A (ja) 2004-10-13 2008-05-15 トムソン ライセンシング コンプレクシティスケーラブル映像符号化復号化方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080056083A (ko) * 2006-12-15 2008-06-20 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
KR20090095014A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR20100045007A (ko) * 2008-10-23 2010-05-03 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073969A1 (en) * 2018-10-10 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking

Also Published As

Publication number Publication date
WO2012011744A3 (ko) 2012-05-18
KR101826353B1 (ko) 2018-02-09
KR20120010177A (ko) 2012-02-02

Similar Documents

Publication Publication Date Title
WO2011142603A2 (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
WO2015009039A1 (ko) 비디오 코딩에서 사선 모드의 인트라 예측 향상을 위한 방법
WO2012011744A2 (ko) 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
WO2016204531A1 (ko) 블록 경계에 따라 적응적으로 필터링을 수행하는 방법 및 장치
WO2018236028A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018236031A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018070713A1 (ko) 크로마 성분에 대한 인트라 예측 모드를 유도하는 방법 및 장치
WO2020218793A1 (ko) Bdpcm에 기반한 영상 코딩 방법 및 그 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2012144876A2 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2018062880A1 (ko) 영상 처리 방법 및 이를 위한 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2017065592A1 (ko) 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
WO2018066809A1 (ko) 크로마 성분 코딩 유닛 분할 방법 및 장치
WO2016064242A1 (ko) 그래프 템플릿으로부터 유도된 변환을 이용하여 비디오 신호를 디코딩/인코딩하는 방법 및 장치
WO2018212430A1 (ko) 영상 코딩 시스템에서 주파수 도메인 필터링 방법 및 그 장치
WO2021201515A1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2018070723A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2021034161A1 (ko) 인트라 예측 장치 및 방법
WO2011053054A9 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2020122573A1 (ko) 필터링 방법 및 영상 복호화 장치
WO2016204479A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2021118296A1 (ko) 루프 필터링을 제어하는 영상 코딩 장치 및 방법
WO2021246791A1 (ko) 영상/비디오 코딩 시스템에서 상위 레벨 신택스를 처리하는 방법 및 장치
WO2021118297A1 (ko) 필터링을 위한 정보의 시그널링 기반 영상 코딩 장치 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180045227.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11809871

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13811596

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/05/13 )

122 Ep: pct application non-entry in european phase

Ref document number: 11809871

Country of ref document: EP

Kind code of ref document: A2