WO2009133844A1 - エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置 - Google Patents

エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置 Download PDF

Info

Publication number
WO2009133844A1
WO2009133844A1 PCT/JP2009/058265 JP2009058265W WO2009133844A1 WO 2009133844 A1 WO2009133844 A1 WO 2009133844A1 JP 2009058265 W JP2009058265 W JP 2009058265W WO 2009133844 A1 WO2009133844 A1 WO 2009133844A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
edge
information
image
pixel
Prior art date
Application number
PCT/JP2009/058265
Other languages
English (en)
French (fr)
Inventor
隆志 渡辺
豪毅 安田
直史 和田
中條　健
昭行 谷沢
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to JP2010510113A priority Critical patent/JPWO2009133844A1/ja
Publication of WO2009133844A1 publication Critical patent/WO2009133844A1/ja
Priority to US12/887,549 priority patent/US20110069752A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention particularly relates to a moving image encoding / decoding method and apparatus for setting filter coefficients of a filter on the encoding side, transmitting the filter coefficient information, and receiving and using it on the decoding side.
  • a moving image encoding / decoding device that performs orthogonal transform in units of pixel blocks on a prediction error image that is a difference between an input moving image and a predicted image, and quantizes a transform coefficient obtained thereby to perform encoding Then, image quality deterioration called block distortion occurs in the decoded image.
  • G. ⁇ ⁇ ⁇ ⁇ Bjontegaard “Deblocking filter for 4x4 based coding”, ITU-T Q.15 / SG16 VCEG document, Q15-J-27, May 2000.
  • a deblocking filter that makes block distortion visually inconspicuous and obtains a subjectively good image is disclosed.
  • the deblocking filter is also called a loop filter because it is used in the loop of the encoding device and the decoding device.
  • a deblocking filter By using such a deblocking filter, block distortion of a reference image used for prediction can be reduced. In particular, the effect of improving the coding efficiency is expected in a high compression bit rate band in which block distortion is likely to occur.
  • a filter that acts only on an output image on the decoding side is called a post filter.
  • S. Wittmann and T.Wedi “Post-filter SEI message for 4: 4: 4 coding”, JVT of ISO / IEC MPEG & ITU-T VCEG, JVT-S030,030April 2006.
  • a video encoding / decoding device using such a post filter is disclosed.
  • the filter coefficient of the post filter is set on the encoding side, and the filter coefficient information is encoded and transmitted.
  • the received encoded data is decoded to generate filter coefficient information, and a post filter process is performed on the decoded image with a filter in which the filter coefficient is set according to the filter coefficient information to obtain an output image.
  • the image quality of the output image to which the post filter is applied on the decoding side can be improved by setting the filter coefficient so that the error between the decoded image and the input moving image is reduced on the encoding side. Is possible.
  • the deblocking filter disclosed in Document 1 performs processing for reducing visually noticeable deterioration by blurring block boundaries. For this reason, if a deblocking filter is used, the error of the decoded image with respect to an input image cannot necessarily be made small, and depending on the case, a fine texture etc. are lost and image quality is reduced. Further, since the deblocking filter is a low-pass filter, the image quality is remarkably deteriorated when an edge exists within the filter application range. Therefore, in Document 1, only the filter strength is adjusted in accordance with the block distortion strength, and the filter processing considering the edge is not performed. For this reason, when a filter is applied to a region including an edge, the image quality improvement effect is reduced by filter processing using a pixel having a pixel value significantly different from that of the target pixel.
  • An object of the present invention is to provide a moving image encoding / decoding method and apparatus capable of suppressing a reduction in image quality improvement effect due to the influence of an edge of an image.
  • a prediction error image is generated by taking a difference between an input moving image and a prediction image, and a quantization transform coefficient is obtained by performing transformation and quantization on the prediction error image.
  • Generating edge information indicating an attribute of an edge in a locally decoded image corresponding to an encoded image of the moving image, and decoding a decoded image on the decoding side based on the edge information Generating control information related to application of a filter; setting filter coefficients of the filter based on the control information; encoding the quantized transform coefficients and filter coefficient information indicating the filter coefficients; Outputting data, and providing a moving picture encoding method.
  • the input encoded data is decoded to generate quantized transform coefficients and filter coefficient information indicating the filter coefficients, and the quantized transform coefficients are dequantized and Generating a prediction error image by performing inverse transformation; generating a decoded image using the prediction error image and the prediction image; generating edge information indicating an attribute of an edge in the decoded image; Generating control information related to applying a filter to the decoded image based on the edge information; and applying the filter in which a filter coefficient is set according to the filter coefficient information to the decoded image based on the control information. And generating a restored image.
  • FIG. 1 is a block diagram showing a moving picture encoding apparatus according to a first embodiment.
  • Block diagram showing the filter generation unit 107 A flowchart showing the operation of the filter generation unit 107
  • Example of filter applied pixels The figure which shows the filter coefficient in the filter rotation angle 0 degree set to the filter application pixel of FIG. 4A.
  • Example of filter applied pixels The figure which shows the filter coefficient in the filter rotation angle 90 degrees set to the filter application pixel of FIG. 5A.
  • Example of filter applied pixels The figure which shows the filter application pixel after rotating the 45 degree filter about the filter application pixel of FIG. 6A
  • Example of filtered pixels before pixel replacement The figure which shows the example of the filter application pixel after replacing a pixel about the filter application pixel of FIG.
  • FIG. 7A Example of filtered pixels before pixel replacement Another example of filter applied pixel after pixel replacement for the filter applied pixel of FIG. 8A
  • the figure which shows the other example of the loop filter data syntax in FIG. 1 is a block diagram showing a moving picture decoding apparatus corresponding to the encoding apparatus of FIG.
  • FIG. 15 is a block diagram showing a video decoding apparatus corresponding to the encoding apparatus of FIG.
  • FIG. 15 is a block diagram showing a video decoding apparatus corresponding to the encoding apparatus of FIG.
  • a moving image encoding apparatus 100 includes a predicted image generation unit 101, a subtracter (prediction error generation unit) 102, a transform / quantization unit 103, an entropy code.
  • the encoding unit 104, the inverse quantization / inverse conversion unit 105, the adder 106, the filter generation unit 107, and the reference image buffer 108 are controlled by the encoding control unit 109.
  • the predicted image generation unit 101 acquires the reference image signal 18 stored in the reference image buffer 108, performs a predetermined prediction process, and outputs the predicted image signal 11.
  • a predetermined prediction process for example, motion prediction, prediction in the temporal direction by motion compensation, prediction in the spatial direction from the encoded pixels in the screen, or the like can be used.
  • the prediction error generation unit 102 calculates a difference between the input image signal 10 and the prediction image signal 11 of the moving image, and generates a prediction error image signal 12.
  • the prediction error image signal 12 is input to the transform / quantization unit 103.
  • the transform / quantization unit 103 first performs a transform process on the prediction error image signal 12.
  • orthogonal transform such as discrete cosine transform (DCT) is performed to generate transform coefficients.
  • transform coefficients may be generated using a method such as wavelet transform or independent component analysis.
  • the transform / quantization unit 103 quantizes the generated transform coefficient based on a quantization parameter set in an encoding control unit 109 described later, and outputs a quantized transform coefficient 13.
  • the quantized transform coefficient 13 is input to the entropy encoding unit 104 (to be described later) and also input to the inverse quantization / inverse transform unit 105.
  • the inverse quantization / inverse transform unit 105 inversely quantizes the quantized transform coefficient 13 according to the quantization parameter set in the encoding control unit 109.
  • the transform coefficient obtained by the inverse quantization is subjected to transform inverse to the transform in the transform / quantization unit 103, for example, inverse orthogonal transform such as inverse discrete cosine transform (IDCT), and the prediction error image signal 15 Is generated.
  • IDCT inverse discrete cosine transform
  • the adder 106 adds the prediction error image signal 15 generated by the inverse quantization / inverse transform unit 105 and the prediction image signal 11 generated by the prediction image generation unit 101, thereby adding the input image signal 10.
  • a locally decoded image signal 16 corresponding to the encoded image is generated.
  • the filter generation unit 107 outputs filter coefficient information 17 based on the local decoded image signal 16 and the input image signal 10. Details of the filter generation unit 107 will be described later.
  • the reference image buffer 108 temporarily stores the locally decoded image signal 16 as a reference image signal.
  • the reference image signal 18 stored in the reference image buffer 108 is referred to when the predicted image signal 11 is generated by the predicted image generation unit 101.
  • the entropy encoding unit 104 performs entropy encoding (for example, for various encoding parameters such as quantization transform coefficient 13, filter coefficient information 17, prediction mode information, block size switching information, motion vector, and quantization parameter). , Huffman coding or arithmetic coding, etc.), and the encoded data 14 is output.
  • entropy encoding for example, for various encoding parameters such as quantization transform coefficient 13, filter coefficient information 17, prediction mode information, block size switching information, motion vector, and quantization parameter.
  • Huffman coding or arithmetic coding etc.
  • the encoding control unit 109 performs feedback control of generated code amount, quantization control, mode control, and the like, thereby controlling the entire encoding process.
  • a series of encoding processes shown below is a general encoding process in moving picture encoding called so-called hybrid encoding that performs a prediction process and a conversion process.
  • the prediction error generation unit (subtracter) 102 subtracts the prediction image signal 11 generated by the prediction image generation unit 101 from the input image signal 10.
  • a prediction error image signal 12 is generated.
  • the prediction error image signal 12 is transformed and quantized by the transform / quantization unit 103 to generate a quantized transform coefficient 13.
  • the quantized transform coefficient 13 is encoded by the entropy encoding unit 104.
  • the quantized transform coefficient 13 is also input to the inverse quantization / inverse transform unit 105, and the prediction error image signal 15 is generated by performing inverse transform and inverse quantization here.
  • the prediction error image signal 15 is added to the prediction image signal 11 output from the prediction image generation unit 101 and the adder 106 to generate a local decoded image signal 16.
  • the filter generation unit 107 includes an edge information generation unit 110, a filter application control information generation unit 111, and a filter setting unit 112.
  • the edge information generation unit 110 generates edge information 19 from the locally decoded image signal 16. A method for generating the edge information 19 will be described later.
  • the filter application control information generation unit 111 generates filter application control information 20 based on the edge information 19.
  • the filter application control information 20 is control information related to the application of a filter to a decoded image on the decoding side, and specific contents will be described later.
  • the generated filter application control information 20 is input to the filter setting unit 112.
  • the filter setting unit 112 sets the filter coefficient information 17 based on the local decoded image signal 16, the input image signal 10, and the filter application control information 20. Details of the setting method of the filter coefficient information 17 will be described later.
  • the set filter coefficient information 17 is input to the entropy encoding unit 104.
  • FIG. 3 shows a processing procedure of the filter generation unit 107.
  • the edge information generation unit 110 generates edge information 19 from the locally decoded image signal 16 (step S101).
  • the edge information 19 is information indicating attributes of edges in the image such as edge strength, edge direction, edge shape, and difference value from neighboring pixels.
  • edge strength and edge direction are used.
  • a general edge detection method such as a Sobel operator or a Prewitt operator can be used to generate the edge strength and the edge direction.
  • the filter application control information generation unit 111 generates filter application control information 20 based on the edge information 19 (step S102).
  • the filter application control information 20 represents control parameter information in a predetermined filter application method.
  • the filter application method here is a method of applying a filter to a decoded image (including a local decoded image) to be filtered, that is, a method of processing applied to the filter itself or the filter application pixel when actually applying the filter. is there. Examples of the filter application method include filter rotation and replacement of filter application pixels in an image.
  • the filter application control information 20 at this time is information for performing filter rotation and pixel replacement. Specific examples are shown below.
  • Filter rotation part 1 An example of using “filter rotation” as a filter application method will be described. Filter rotation is to rotate the filter along the edge of the image. In this case, the filter application control information generation unit 111 outputs information indicating the filter rotation angle as the filter application control information 20. Hereinafter, an example of filter rotation will be described with reference to FIGS. 4A, 4B, 5A, and 5B.
  • the filter application control information 10 may be information indicating a correspondence relationship between the filter coefficient and the pixel by a table or the like.
  • threshold processing is performed on the edge intensity indicated by the edge information 19 (step S103).
  • the angle indicated by the edge direction indicated by the edge information 19 is set as the filter rotation angle (step S104).
  • the edge direction is a direction along the edge (edge length direction), in other words, a direction in which the pixel value change is small.
  • the filter application pixel is regarded as a pixel in the flat portion of the image, and the filter is not rotated (that is, the rotation angle of the filter is set to 0 ° (step S105)).
  • the filter application control information generation unit 111 outputs the filter rotation angle determined in step S104 or S105 as the filter application control information 20.
  • the edge direction is the horizontal direction
  • the pixel value variation tends to be small for pixels arranged in the horizontal direction
  • the pixel value variation tends to be large for pixels arranged in the vertical direction. Therefore, a filter having a low-pass characteristic in the horizontal direction that is the edge direction and a high-pass characteristic in the vertical direction orthogonal to the horizontal direction is suitable.
  • the filter that realizes such a characteristic is the filter coefficient shown in FIG. 4B.
  • the edge direction is the vertical direction
  • the pixel value variation is large for pixels arranged in the horizontal direction contrary to FIG. 4A, and the pixel value variation tends to be small for pixels arranged in the vertical direction. Therefore, a filter having a high-pass characteristic in the horizontal direction and a low-pass characteristic in the vertical direction that is the edge direction is considered suitable. Therefore, for the image in FIG. 5A, the filter is rotated by 90 ° as shown in FIG. 5B with respect to FIG. 4B. Thus, by rotating the filter in accordance with the edge direction, it is possible to design and apply an appropriate filter.
  • Filter rotation part 2 When the filter is rotated, if the pixel to be filtered is not in the integer pixel position on the target image, for example, a method using a pixel at the nearest integer pixel position or a fractional pixel corresponding to the filter pixel on the target image A method of generating and using a pixel at a position by interpolation can be used. For example, when the filter rotation angle is 0 ° as shown in FIG. 6A, filtering is performed using pixels at all integer pixel positions indicated by P1 to P25. On the other hand, when the rotation angle of the filter is 45 ° as shown in FIG. 6B, it is necessary to apply the filter using the pixels indicated by P1 ′ to P25 ′.
  • the filter is applied by replacing the pixel P2 ′ with the nearest integer pixel P6, or a neighboring pixel is used. Then, a pixel P2 ′ is generated by interpolation and a filter is applied.
  • FIG. 7A when the vertical edges indicated by the edge pixels P4, P5, P9, P10, P14, P15, P19, and P20 exist within the filter application range including the target pixel, FIG. After the pixels are folded back in the horizontal direction as described above, the filter for the target pixel P13 is applied.
  • the edge pixels P4, P5, P9, P10, P14, P15, P19, and P20 are non-edge pixels P3, P2, which exist at positions symmetrical with respect to a line in the edge direction (boundary line between the edge portion and the flat portion).
  • the target pixel P13 is filtered.
  • a pixel (referred to as a specific pixel) that is within the filter application range including the target pixel and has a pixel value that is significantly different from the target pixel is detected based on a difference between adjacent pixels, a difference from the target pixel, or edge strength.
  • Apply the filter after replacing with neighboring pixels For example, when the threshold for the difference from the target pixel is set to “100”, the target pixel having the pixel value “120” has pixel values “240” and “232” as shown in FIG. 8A. Filtering is performed after the singular pixel (the difference exceeds “100”) is replaced with the pixel of interest or a pixel near the pixel of interest as shown in FIG. 8B.
  • position information (pixel position) of a specific pixel to be replaced is output as filter application control information 20.
  • the filter setting unit 112 determines the pixel to which the filter is applied according to the filter application control information 20, and then sets the filter coefficient information 17 (step S106).
  • the input image signal 10 and the locally decoded image signal 16 are also input to the filter setting unit 112.
  • the filter setting unit 112 uses, for example, a two-dimensional Wiener filter generally used in image restoration, and an average of an input image signal 10 and an image signal obtained by performing filter processing on the locally decoded image signal 16 according to the filter application control information 20
  • the filter coefficient is set so that the square error is minimized, and filter coefficient information 17 indicating the set filter coefficient is output.
  • the filter coefficient information 17 may include a value representing the filter size.
  • the filter coefficient information 17 is encoded by the entropy encoding unit 104 and is multiplexed into a bit stream together with the quantized transform coefficient 13, prediction mode information, block size switching information, motion vector, quantization parameter, and the like, which will be described later. Is transmitted to the conversion apparatus 200 (step S107).
  • the syntax mainly consists of three parts: a high level syntax 1900, a slice level syntax 1903, and a macro block level syntax 1907.
  • the high level syntax 1900 is packed with syntax information of an upper layer higher than a slice.
  • the slice level syntax 1903 necessary information is specified for each slice.
  • the macro block level syntax 1907 transform coefficient data, prediction mode information, a motion vector, and the like required for each macro block are specified.
  • the high level syntax 1900, the slice level syntax 1903, and the macro block level syntax 1907 are each configured with more detailed syntax.
  • the high level syntax 1900 includes sequence and picture level syntaxes such as a sequence parameter set syntax 1901 and a picture parameter set syntax 1902.
  • the slice level syntax 1903 includes a slice header syntax 1904, a slice data syntax 1905, a loop filter data syntax 1906, and the like.
  • the macroblock level syntax 1907 includes a macroblock layer syntax 1908, a macroblock prediction syntax 1909, and the like.
  • filter coefficient information 17 which is a parameter relating to a filter in the present embodiment is described.
  • filter_coeff [cy] [cx] which is filter coefficient information 17
  • filter_size_y and sizefilter_size_x are values that determine the filter size.
  • a one-dimensional filter may be used as a filter, and in that case, the filter coefficient information 17 is changed to FIG.
  • the value indicating the filter size is described in the syntax, but a predetermined fixed value may be used without describing the filter size in the syntax.
  • the filter size is a fixed value, it should be noted that the same value must be used in the moving picture encoding apparatus 100 and a moving picture decoding apparatus 200 described later.
  • the moving picture decoding apparatus 200 includes an entropy decoding unit 201, an inverse quantization / inverse transform unit 202, a predicted image generation unit 203, and an adder 204. , A filter processing unit 205 and a reference image buffer 206, which are controlled by a decoding control unit 207.
  • the entropy decoding unit 201 sequentially decodes the code string of each syntax of the encoded data 14 for each of the high level syntax 1900, the slice level syntax 1903, and the macroblock level syntax 1907 according to the syntax structure shown in FIG. , Quantized transform coefficient 13, filter coefficient information 17 and the like are restored.
  • the inverse quantization / inverse transform unit 202 performs inverse quantization on the quantized transform coefficient 13 to generate a transform coefficient, and further transforms the transform coefficient opposite to the transform in the transform / quantization unit 103.
  • inverse orthogonal transform such as inverse discrete cosine transform is performed to generate a prediction error image signal 15.
  • the inverse quantization / inverse transform unit 202 performs corresponding inverse wavelet transform and inverse quantization. .
  • the predicted image generation unit 203 acquires the decoded reference image signal 18 stored in the reference image buffer 206, performs a predetermined prediction process, and outputs the predicted image signal 11.
  • a predetermined prediction process for example, prediction in the time direction by motion compensation, prediction in the spatial direction from decoded pixels in the screen, and the like are used, but the same prediction process as that of the video encoding device 100 is executed. Be careful.
  • the adder 204 adds the prediction error image signal 15 and the prediction image signal 11 to generate a decoded image signal 21.
  • the decoded image signal 21 is input to the filter processing unit 204.
  • the filter processing unit 205 performs a filtering process on the decoded image signal 21 according to the filter coefficient information 17 and outputs a restored image signal 22. Details of the filter processing unit 205 will be described later.
  • the reference image buffer 206 temporarily stores the restored image signal 22 acquired from the filter processing unit 205 as a reference image signal.
  • the reference image signal 18 stored in the reference image buffer 206 is referred to when the predicted image signal 11 is generated by the predicted image generation unit 203.
  • the decoding control unit 207 controls the decoding timing and the like, thereby controlling the entire decoding process.
  • a series of decoding processes shown below is a general decoding process corresponding to moving picture encoding called so-called hybrid encoding that performs prediction processing and conversion processing.
  • the encoded data 14 is input to the moving picture decoding apparatus 200, the encoded data 14 is decoded by the entropy decoding unit 201, and in addition to the transform coefficient 13 and the filter coefficient information 17, the prediction mode information, the block Size switching information, motion vectors, quantization parameters, etc. are reproduced according to the syntax structure of FIG.
  • the transform coefficient 13 output from the entropy decoding unit 201 is inversely quantized by the inverse quantization / inverse transform unit 202 according to the quantization parameter set in the decoding control unit 207, and the transform coefficient obtained is obtained.
  • inverse orthogonal transform for example, discrete cosine transform
  • the prediction error image signal 15 is added by the adder 204 and the prediction image signal 11 generated by the prediction image generation unit 203, and the decoded image signal 21 is generated.
  • the filter processing unit 205 includes an edge information generation unit 110, a filter application control information generation unit 111, and a filter application unit 208.
  • the edge information generation unit 110 generates edge information 19 from the decoded image signal 21.
  • the filter application control information generation unit 111 generates filter application control information 20 based on the edge information 19.
  • the filter application control information 20 is input to the filter application unit 208.
  • the edge information generation unit 110 and the filter application control information generation unit 111 perform the same processing as that of the moving image encoding apparatus 100. As a result, in the video decoding device 200, the same filter application control information 20 as that in the video encoding device 100 is generated.
  • the filter application unit 208 acquires the decoded image signal 21 and the filter coefficient information 17 decoded by the entropy decoding unit 201, and applies the filter to the decoded image signal 21 according to the filter application control information 20 to generate the restored image signal 22. To do.
  • the generated restored image signal 22 is output as an output image signal at a timing managed by the decoding control unit 207.
  • FIG. 14 shows a processing procedure of the filter processing unit 205.
  • the entropy decoding unit 201 performs entropy decoding on the filter coefficient information 17 in accordance with the syntax structure of FIG. 9 (step S201).
  • filter coefficient information 17 which is a parameter relating to the filter in this embodiment is described as shown in FIG.
  • filter_coeff [cy] [cx] of FIG. 10 that is the filter coefficient information 17 is a coefficient of the two-dimensional filter
  • filter_size_y and filter_size_x are values that determine the filter size.
  • a one-dimensional filter may be used as a filter, and in that case, the filter coefficient information 17 is changed to FIG.
  • the value indicating the filter size is described in the syntax, but a predetermined fixed value may be used without describing the filter size in the syntax.
  • a predetermined fixed value may be used without describing the filter size in the syntax.
  • the filter size is a fixed value, it should be noted that the same value must be used in the moving picture coding apparatus 100 and the moving picture decoding apparatus 200.
  • the edge information generator 110 generates edge information 19 from the decoded image signal 21 (step S202).
  • a method for generating the edge information 19 from the decoded image signal 21 it is necessary to use a method similar to that of the moving image encoding device 100.
  • the filter application control information generation unit 111 generates filter application control information 20 based on the edge information 19 (steps S203 to S206).
  • the generation of the filter application control information needs to be performed by the same processing as that of the moving image encoding apparatus 100.
  • the edge information generation unit 110 and the filter application control information generation unit 111 in the video decoding device 200 perform the same processing as that of the video encoding device 100, so that the filter application on the encoding and decoding side is performed.
  • the control method matches.
  • the filter applying unit 208 applies the filter in which the filter coefficient is set according to the filter coefficient information 17 to the decoded image signal 21 according to the filter application control information 20 to generate the restored image signal 22 (step S207).
  • the restored image signal 22 is output as an output image signal.
  • the filter coefficient information is set so as to minimize the error between the input image and the decoded image, and the filter is applied, so that the output image The image quality is improved.
  • the filter application method that considers edges, it is possible to suppress a decrease in image quality improvement effect.
  • the local decoding image signal 16 is subjected to the filter setting unit filtering process, but the local decoding image signal 16 is not subjected to conventional deblocking. You may use the image after performing a filter process.
  • FIG. 15 shows a video encoding device 300 according to the present embodiment.
  • the filter generation unit 107 in FIG. 2 in the video encoding device 100 in FIG. 1 is replaced with a filter generation / processing unit 301 in FIG. ing.
  • FIG. 18 shows the moving picture decoding apparatus 400 according to the present embodiment, and the moving picture shown in FIG. 12 is that the restored picture signal 22 outputted from the filter processing unit 205 is inputted to the reference picture buffer 206. This is different from the decoding device 200.
  • the filter generation unit 107 of the moving image encoding device 100 is replaced with a filter generation / processing unit 301, and the input of the reference image buffer 108 is added by an adder 106.
  • the local decoded image signal 16 output is changed to the restored image signal 22 output by the filter generation / processing unit 301.
  • the filter generation / processing unit 301 is realized by adding a filter application unit 208 to the inside of the filter generation unit 107 of FIG.
  • FIG. 17 is a flowchart illustrating an operation related to the filter generation / processing unit 301 in the video encoding device 300.
  • the local decoded image signal 16 is generated by the same processing as that of the moving image encoding apparatus 100 and input to the filter generation / processing unit 301.
  • the edge information generation unit 110 first generates the edge information 19 from the local decoded image signal 16 (step S301).
  • the filter application control information generation unit 111 generates filter application control information 20 based on the edge information 19 (steps S302 to S305).
  • the filter setting unit 112 acquires the local decoded image signal 16, the input image signal 10, and the filter application control information 20, determines the pixel to which the filter is applied according to the acquired filter application control information 20, and then sets the filter coefficient information 17 is set (step S306).
  • step S301 to S306 is the same as that of the filter generation unit 107 in the video encoding device 100 according to the first embodiment.
  • the filter application unit 208 applies the filter in which the filter coefficient is set according to the filter coefficient information 17 to the local decoded image signal 16 based on the filter application control information 20 to generate the restored image signal 22 (step S307).
  • the generated restored image signal 22 is stored in the reference image buffer 108 of FIG. 15 as a reference image signal (step S308).
  • the filter coefficient information 17 is encoded by the entropy encoding unit 104, multiplexed with the quantization transform coefficient 13, prediction mode information, block size switching information, motion vector, quantization parameter, and the like into a bit stream, which will be described later. It is transmitted toward the moving picture decoding apparatus 400 (step S309).
  • FIG. 19 shows a moving picture decoding apparatus 400 that is a modification of the moving picture decoding apparatus 300 of FIG. 18, wherein the decoded picture signal 22 is used only as a reference picture signal, and the normal decoded picture signal 21 is used as an output picture signal. This is different from the moving picture decoding apparatus 300 in FIG.
  • the above-described video encoding device (100, 300) and video decoding device (200, 400, 500) according to each embodiment of the present invention are also realized by using, for example, a general-purpose computer device as basic hardware. Is possible. That is, the prediction image generation unit 101, the prediction error generation unit 102, the transform / quantization unit 103, the entropy encoding unit 104, the inverse quantization / inverse conversion unit 105, the adder 106, the filter generation unit 107, and the reference image buffer 108 , Encoding control unit 109, edge information generation unit 110, filter application control information generation unit 111, filter setting unit 112, entropy decoding unit 201, inverse quantization / inverse transformation unit 202, predicted image generation unit 203, adder 204
  • the filter processing unit 205, the reference image buffer 206, the decoding control unit 207, the filter application unit 208, and the filter generation / processing unit 301 are realized by causing a processor installed in the computer device to execute a
  • the moving picture coding apparatus and the moving picture decoding apparatus may be realized by installing the above program in a computer device in advance, or may be stored in a storage medium such as a CD-ROM or via a network.
  • the above program may be distributed, and this program may be installed in a computer device as appropriate.
  • the reference image buffer 108 and the reference image buffer 206 are a memory, a hard disk or a storage medium such as a CD-R, a CD-RW, a DVD-RAM, a DVD-R, etc. incorporated in or externally attached to the computer device. Can be realized by appropriately using.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components from all the components shown by embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　動画像符号化装置は、入力される動画像と予測画像との差分をとって予測誤差画像を生成する予測誤差生成部、予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成する変換／量子化部、動画像のうちの符号化済み画像に対応する局所復号画像中のエッジの属性を示すエッジ情報を生成するエッジ情報生成部、エッジ情報に基づいて復号化側における復号画像に対するフィルタの適用に関する制御情報を生成する制御情報生成部、制御情報に基づいて前記フィルタのフィルタ係数を設定する設定部、量子化変換係数及びフィルタ係数を示すフィルタ係数情報を符号化して符号化データを出力する符号化部を有する。

Description

エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
　本発明は、特に符号化側でフィルタのフィルタ係数を設定してフィルタ係数情報を伝送し、復号化側でそれを受信して用いる動画像符号化／復号化方法及び装置に関する。
　入力される動画像と予測画像との差分である予測誤差画像に対して画素ブロック単位で直交変換を行い、それによって得られる変換係数を量子化して符号化を行う動画像符号化／復号化装置では、復号画像にブロック歪と呼ばれる画質劣化が生じる。これに対し、G. Bjontegaard, “Deblocking filter for 4x4 based coding”, ITU-T Q.15/SG16 VCEG document, Q15-J-27, May 2000.（文献１）にはブロック境界にローパスフィルタを適用することによってブロック歪を視覚的に目立たないようにし、主観的に良好な画像を得るデブロッキングフィルタが開示されている。
　デブロッキングフィルタは、符号化装置及び復号化装置のループ内で用いられることから、ループフィルタとも呼ばれる。このようなデブロッキングフィルタを用いることによって、予測に用いられる参照画像のブロック歪を低減することができる。特に、ブロック歪の発生しやすい高圧縮なビットレート帯で符号化効率を向上させる効果が期待される。
　一方、ループフィルタとは異なり、復号化側において出力画像にのみ作用するフィルタをポストフィルタと呼ぶ。S. Wittmann and T.Wedi, “Post-filter SEI message for 4:4:4 coding”, JVT of ISO/IEC MPEG & ITU-T VCEG, JVT-S030, April 2006.（文献２）には、このようなポストフィルタを用いる動画像符号化／復号化装置が開示されている。文献２では、符号化側でポストフィルタのフィルタ係数を設定し、フィルタ係数情報を符号化して送信する。一方、復号化側では受信した符号化データを復号してフィルタ係数情報を生成し、このフィルタ係数情報に従ってフィルタ係数を設定したフィルタにより、復号画像に対しポストフィルタ処理を行って出力画像を得る。
　文献２によると、符号化側で復号画像と入力の動画像との誤差が小さくなるようにフィルタ係数を設定することによって、復号化側でポストフィルタを適用した出力画像の画質を向上させることが可能である。
　文献１に開示されたデブロッキングフィルタは、ブロック境界をぼかすことによって視覚的に目立つ劣化を低減する処理を行う。このため、デブロッキングフィルタを用いると必ずしも入力画像に対する復号画像の誤差を小さくすることはできず、場合によっては細かいテクスチャなどを失って画質を低下させる。さらに、デブロッキングフィルタはローパスフィルタであるため、フィルタ適用範囲内にエッジが存在する場合には著しく画質を低下させる。そこで、文献１ではブロック歪みの強度に合わせたフィルタ強度の調整のみを行っており、エッジを考慮したフィルタ処理を行っていない。このため、エッジを含む領域に対してフィルタを適用する際、注目画素と著しく画素値の異なる画素を用いてフィルタ処理により画質改善効果が低下する。
　一方、文献２においても、エッジを考慮したフィルタは適用されておらず、エッジを含む領域に対してフィルタを適用する際に画質が低下する場合がある。また文献２の方法では、復号画像と入力画像との誤差が小さくなるよう符号化側でフィルタを設定し、フィルタを示す情報を送信する。このため、フィルタ適用範囲内に存在する多様なエッジ形状に対して、それぞれに適した多数のフィルタを設計することが可能である。しかしながら、多数のフィルタを示す情報を送信すると符号量が増加し、符号化効率の低下を招く。
　本発明は、画像のエッジの影響による画質改善効果の低減を抑制することを可能とする動画像符号化／復号化方法及び装置を提供することを目的とする。
　本発明の第１の観点によると、入力される動画像と予測画像との差分をとって予測誤差画像を生成することと、前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成することと、前記動画像のうちの符号化済み画像に対応する局所復号画像中のエッジの属性を示すエッジ情報を生成することと、前記エッジ情報に基づいて復号化側における復号画像に対するフィルタの適用に関する制御情報を生成することと、前記制御情報に基づいて前記フィルタのフィルタ係数を設定することと、前記量子化変換係数、及び前記フィルタ係数を示すフィルタ係数情報を符号化して符号化データを出力することと、を備える動画像符号化方法が提供される。
　本発明の第２の観点によると、入力される符号化データを復号化して量子化変換係数、及びフィルタ係数を示すフィルタ係数情報を生成することと、前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成することと、前記予測誤差画像と予測画像を用いて復号画像を生成することと、前記復号画像中のエッジの属性を示すエッジ情報を生成することと、前記エッジ情報に基づいて前記復号画像に対するフィルタの適用に関する制御情報を生成することと、前記復号画像に対し前記制御情報に基づいて、前記フィルタ係数情報に従ってフィルタ係数が設定された前記フィルタを適用して復元画像を生成することと、を備える動画像復号化方法が提供される。
第１の実施形態の動画像符号化装置を示すブロック図 フィルタ生成部１０７を示すブロック図 フィルタ生成部１０７の動作を示すフローチャート フィルタ適用画素の例 図４Ａのフィルタ適用画素に設定されるフィルタ回転角度０°でのフィルタ係数を示す図 フィルタ適用画素の例 図５Ａのフィルタ適用画素に設定されるフィルタ回転角度９０°でのフィルタ係数を示す図 フィルタ適用画素の例 図６Ａのフィルタ適用画素について４５°フィルタを回転させた後のフィルタ適用画素を示す図 画素の置換前のフィルタ適用画素の例 図７Ａのフィルタ適用画素について画素を置換した後のフィルタ適用画素の例を示す図 画素の置換前のフィルタ適用画素の例 図８Ａのフィルタ適用画素について画素を置換した後のフィルタ適用画素の他の例 第１の実施形態の符号化データのシンタクス構造を示す図 図９中のループフィルタデータシンタクスを示す図 図９中のループフィルタデータシンタクスの他の例を示す図 図１の符号化装置に対応する動画像復号化装置を示すブロック図 フィルタ処理部２０５を示すブロック図 フィルタ処理部２０５の動作を示すフローチャート 第２の実施形態の動画像符号化装置を示すブロック図 フィルタ生成／処理部３０１を示すブロック図 フィルタ生成／処理部３０１の動作を示すフローチャート 図１５の符号化装置に対応する動画像復号化装置を示すブロック図 図１５の符号化装置に対応する動画像復号化装置を示すブロック図
　以下、本発明の実施形態について図面を参照して説明する。　
　［第１の実施形態］　
　（動画像符号化装置）　
　図１に示されるように、本発明の第１の実施形態に係る動画像符号化装置１００は予測画像生成部１０１、減算器（予測誤差生成部）１０２、変換／量子化部１０３、エントロピー符号化部１０４、逆量子化／逆変換部１０５、加算器１０６、フィルタ生成部１０７及び参照画像用バッファ１０８を有し、符号化制御部１０９によって制御される。
　予測画像生成部１０１は、参照画像用バッファ１０８に格納されている参照画像信号１８を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理には、例えば、動き予測、動き補償による時間方向の予測、または画面内の符号化済み画素からの空間方向の予測などを用いることができる。
　予測誤差生成部１０２は、動画像の入力画像信号１０と予測画像信号１１との差分を計算し、予測誤差画像信号１２を生成する。予測誤差画像信号１２は、変換／量子化部１０３に入力される。
　変換／量子化部１０３は、予測誤差画像信号１２に対してまず変換処理を行う。ここでは、例えば離散コサイン変換（ＤＣＴ）のような直交変換を行い、変換係数を生成する。直交変換とは別に、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を生成しても良い。次に、変換／量子化部１０３は生成した変換係数を後述する符号化制御部１０９に設定されている量子化パラメータに基づいて量子化し、量子化変換係数１３を出力する。量子化変換係数１３は、後述するエントロピー符号化部１０４へ入力されると同時に、逆量子化／逆変換部１０５へも入力される。
　逆量子化／逆変換部１０５は、量子化後の変換係数１３を符号化制御部１０９に設定されている量子化パラメータに従って逆量子化する。次に、逆量子化により得られた変換係数に対して変換／量子化部１０３における変換と逆の変換、例えば逆離散コサイン変換（ＩＤＣＴ）のような逆直交変換を行い、予測誤差画像信号１５を生成する。
　加算器１０６は、逆量子化／逆変換部１０５により生成された予測誤差画像信号１５と、予測画像生成部１０１により生成された予測画像信号１１とを加算することによって、入力画像信号１０のうちの符号化済み画像に対応する局所復号画像信号１６を生成する。
　フィルタ生成部１０７は、局所復号画像信号１６及び入力画像信号１０に基づいてフィルタ係数情報１７を出力する。フィルタ生成部１０７の詳細は後述する。
　参照画像用バッファ１０８は、局所復号画像信号１６を参照画像信号として一時保存する。参照画像用バッファ１０８に保存した参照画像信号１８は、予測画像生成部１０１によって予測画像信号１１を生成する際に参照される。
　一方、エントロピー符号化部１０４は、量子化変換係数１３、フィルタ係数情報１７、予測モード情報、ブロックサイズ切替情報、動きベクトル及び量子化パラメータなどの種々の符号化パラメータに対してエントロピー符号化（例えば、ハフマン符号化または算術符号化など）を行い、符号化データ１４を出力する。
　符号化制御部１０９は、発生符号量のフィードバック制御及び量子化制御、モード制御などを行い、もって符号化処理全体の制御を行う。
　次に、本実施形態に係る動画像符号化装置１００の概略的な処理について説明する。以下に示す一連の符号化処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な符号化処理である。
　まず、動画像符号化装置１００に入力画像信号１０が入力されると、予測誤差生成部（減算器）１０２において入力画像信号１０から予測画像生成部１０１により生成された予測画像信号１１を差し引いて予測誤差画像信号１２が生成される。予測誤差画像信号１２に対し変換／量子化部１０３において変換及び量子化がなされ、量子化変換係数１３が生成される。量子化変換係数１３は、エントロピー符号化部１０４において符号化される。
　一方、量子化変換係数１３は逆量子化／逆変換部１０５にも入力され、ここで逆変換及び逆量子化が行われることにより予測誤差画像信号１５が生成される。予測誤差画像信号１５は、予測画像生成部１０１で出力される予測画像信号１１と加算器１０６で加算され、局所復号画像信号１６が生成される。
　（フィルタ生成部）　
　次に、フィルタ生成部１０７について図２を用いて詳しく述べる。図２に示すフィルタ生成部１０７は、エッジ情報生成部１１０、フィルタ適用制御情報生成部１１１及びフィルタ設定部１１２を有する。
　エッジ情報生成部１１０は、局所復号画像信号１６からエッジ情報１９を生成する。エッジ情報１９の生成方法については、後述する。フィルタ適用制御情報生成部１１１は、エッジ情報１９に基づいてフィルタ適用制御情報２０を生成する。フィルタ適用制御情報２０は、復号化側における復号画像に対するフィルタの適用に関する制御情報であり、具体的な内容については後述する。生成されたフィルタ適用制御情報２０は、フィルタ設定部１１２へ入力される。フィルタ設定部１１２は、局所復号画像信号１６、入力画像信号１０及びフィルタ適用制御情報２０に基づいてフィルタ係数情報１７を設定する。フィルタ係数情報１７の設定方法の詳細については、後述する。設定されたフィルタ係数情報１７は、エントロピー符号化部１０４へ入力される。
　次に、フィルタ生成部１０７について図２及び図３を用いてさらに詳しく説明する。図３は、フィルタ生成部１０７の処理手順を示している。
　フィルタ生成部１０７では、まずエッジ情報生成部１１０において局所復号画像信号１６からエッジ情報１９を生成する（ステップＳ１０１）。エッジ情報１９とは、例えばエッジ強度、エッジ方向、エッジ形状、及び近傍画素との差分値、といった画像中のエッジの属性を示す情報であり、ここではエッジ強度及びエッジ方向を用いることとする。エッジ強度及びエッジ方向の生成には、SobelオペレータやPrewittオペレータといった一般的なエッジ検出方法を用いることができる。
　次に、フィルタ適用制御情報生成部１１１においてエッジ情報１９に基づきフィルタ適用制御情報２０を生成する（ステップＳ１０２）。フィルタ適用制御情報２０は、予め定められたフィルタ適用方法における制御パラメータの情報を表す。ここでいうフィルタ適用方法とは、フィルタ対象の復号画像（局部復号画像も含む）に対してフィルタを適用する方法、すなわち実際にフィルタをかける際にフィルタ自体またはフィルタ適用画素に施す処理の方法である。フィルタ適用方法としては、例えばフィルタ回転、画像中のフィルタ適用画素の置換などが挙げられ、このときのフィルタ適用制御情報２０はフィルタの回転、画素の置換を行うための情報となる。具体例を以下に示す。
　（フィルタ回転その１）　
　フィルタ適用方法として、「フィルタ回転」を用いる場合の例について説明する。フィルタ回転とは、フィルタを画像のエッジに沿って回転させることである。この場合、フィルタ適用制御情報生成部１１１では、フィルタ回転角度を示す情報をフィルタ適用制御情報２０として出力する。以下、図４Ａ，図４Ｂ，図５Ａ及び図５Ｂを用いてフィルタ回転の例を説明する。
　フィルタ回転角度が０°、すなわちフィルタ回転を行わない場合、図４Ａのフィルタ適用画素に対して図４Ｂのようにフィルタ係数を設定すると、フィルタ係数Ｃ１，Ｃ２，…に対応する画素はＰ１，Ｐ２，…となる。一方、フィルタ回転角度が９０°である場合には、図５Ａのフィルタ適用画素に対して図５Ｂのようにフィルタ係数を設定すると、フィルタ係数Ｃ１，Ｃ２，…に対応する画素はＰ２１，Ｐ１６，…となる。このようにフィルタ適用制御情報１０を生成することは、フィルタ係数と対応する画素を決定すること、言い換えればフィルタ係数と画素との対応関係を定めることと等価である。従って、フィルタ適用制御情報１０はフィルタ係数と画素との対応関係をテーブル等によって示す情報でもよい。
　図３に説明を戻すと、フィルタ回転角度を決定するため、まずエッジ情報１９によって示されるエッジ強度に対して閾値処理を行う（ステップＳ１０３）。このとき、エッジ強度が閾値よりも大きな値をとる場合には、エッジ情報１９によって示されるエッジ方向の示す角度をフィルタ回転角度とする（ステップＳ１０４）。エッジ方向とは、エッジに沿う方向（エッジの長さ方向）、言い換えれば画素値変化の小さな方向である。一方、エッジ強度が閾値以下である場合には、フィルタ適用画素は画像の平坦部の画素であるとみなしてフィルタの回転は行わない（すなわち、フィルタの回転角度を０°とする（ステップＳ１０５））。フィルタ適用制御情報生成部１１１は、ステップＳ１０４またはＳ１０５で決定されるフィルタ回転角度をフィルタ適用制御情報２０として出力する。
　このようにフィルタを回転させることの技術的意義は、フィルタ適用範囲の画像特徴を類似させるということである。例えば、図４Ａの画像ではエッジ方向が水平方向であり、水平方向に並ぶ画素については画素値の変動が小さく、垂直方向に並ぶ画素については画素値の変動が大きくなる傾向を持つ。このためエッジ方向である水平方向に対してローパス特性を持ち、これと直交する垂直方向に対してハイパス特性を持つフィルタが適しており、このような特性を実現するフィルタは図４Ｂに示すフィルタ係数を持つとする。
　一方、図５Ａの画像ではエッジ方向が垂直方向であり、図４Ａと逆に水平方向に並ぶ画素については画素値の変動が大きく、垂直方向に並ぶ画素については画素値の変動が小さくなる傾向を持つため、水平方向に対してハイパス特性を持ち、エッジ方向である垂直方向に対してローパス特性を持つフィルタが適していると考えられる。そこで、図５Ａの画像については図４Ｂに対して図５Ｂのようにフィルタを９０°回転させる。このようにエッジ方向に応じてフィルタを回転させることにより、適切なフィルタの設計及び適用が可能となる。
　（フィルタ回転その２）　
　フィルタを回転させる際、対象画像上でフィルタ適用画素が整数画素位置にない場合には、例えば最も距離の近い整数画素位置の画素を用いる方法や、対象画像上でフィルタの画素に対応する小数画素位置の画素を補間により生成して用いる方法を用いることができる。例えば、図６Ａのようにフィルタ回転角度が０°である場合には、Ｐ１～Ｐ２５で示される全て整数画素位置の画素を用いてフィルタをかける。一方、図６Ｂのようにフィルタの回転角度が４５°である場合には、Ｐ１’～Ｐ２５’で示される画素を用いてフィルタをかける必要がある。ここで、画素Ｐ１’～Ｐ２５’のうちＰ２’で示されるような小数画素位置の画素については、画素Ｐ２’を最近隣の整数画素Ｐ６で置き換えてフィルタを適用するか、または近傍画素を用いて補間により画素Ｐ２’を生成してフィルタを適用する。
　（画素の置換その１）　
　フィルタ適用方法として、「画素の置換」を用いる場合の例を説明する。ここでは、画像のエッジに対して画素の折り返しを行った後にフィルタを適用する方法を挙げる。例えば、図７Ａに示すように注目画素を含むフィルタ適用範囲内にエッジ画素Ｐ４，Ｐ５，Ｐ９，Ｐ１０，Ｐ１４，Ｐ１５，Ｐ１９，Ｐ２０で示される垂直方向のエッジが存在する場合には、図７Ｂのように水平方向に画素を折り返した後に、注目画素Ｐ１３に対するフィルタを適用する。
　すなわち、エッジ画素Ｐ４，Ｐ５，Ｐ９，Ｐ１０，Ｐ１４，Ｐ１５，Ｐ１９，Ｐ２０をエッジ方向の線（エッジ部と平坦部との境界線）についてそれぞれ対称の位置に存在する非エッジ画素Ｐ３，Ｐ２，Ｐ８，Ｐ７，Ｐ１３，Ｐ１２，Ｐ１８，Ｐ１７，Ｐ２３，Ｐ２２で置換した後に、注目画素Ｐ１３に対してフィルタをかける。
　この場合、エッジ画素とエッジ方向の線を挟んで対称の位置に存在する非エッジ画素との対応関係を示す情報をフィルタ適用制御情報２０として出力する。
　このようにある注目画素に対してフィルタをかける場合、注目画素と著しく画素値の異なるエッジ画素を用いず、非エッジ画素を用いることにより、エッジ画素を用いることによる画質改善効果の低減を抑制することができる。
　（画素の置換その２）　
　フィルタ適用方法として、「画素の置換」を用いる場合のもう一つの例を説明する。ここでは、注目画素を含むフィルタ適用範囲内に存在する、注目画素と著しく画素値が異なる画素（特異画素という）を隣接画素間の差分や注目画素との差分あるいはエッジ強度によって検出し、注目画素や近隣の画素などで置き換えた後にフィルタを適用する。例えば、注目画素との差分に対する閾値を「１００」に設定した場合、図８Ａに示すように「１２０」という画素値を持つ注目画素に対して、「２４０」、「２３２」という画素値を持つ特異画素（差分はいずれも「１００」を超える）を図８Ｂのように注目画素あるいは注目画素の近傍画素で置き換えた後にフィルタをかける。
　この場合には、例えば置換対象の特異画素の位置情報（画素位置）をフィルタ適用制御情報２０として出力する。
　このようにある注目画素に対してフィルタをかける場合、（画素の置換その２）と同様の考えに基づいて、注目画素と著しく画素値の異なる特異画素を用いないようにすることにより、このような特異画素を用いることによる画質改善効果の低減を抑制することができる。
　次に、フィルタ設定部１１２においてフィルタ適用制御情報２０に従ってフィルタを適用する画素を決定した上で、フィルタ係数情報１７の設定を行う（ステップＳ１０６）。フィルタ設定部１１２には、フィルタ適用制御情報２０に加えて入力画像信号１０及び局所復号画像信号１６も入力されている。フィルタ設定部１１２は、例えば画像復元で一般的に用いられる２次元のWiener filterを用い、局所復号画像信号１６にフィルタ適用制御情報２０に従ってフィルタ処理を施した画像信号と入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設定し、設定したフィルタ係数を示すフィルタ係数情報１７を出力する。後述するようにフィルタサイズが可変の場合、フィルタ係数情報１７はフィルタサイズを表す値を含む場合もある。
　フィルタ係数情報１７はエントロピー符号化部１０４において符号化され、量子化変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置２００へ向けて送信される（ステップＳ１０７）。
　（シンタクス構造について）　
　次に、フィルタ係数情報１７の符号化方法に関して本実施形態で用いるシンタクス構造の一例を説明する。以下の例では、フィルタ係数情報１７をスライス単位で送信するものとする。
　シンタクスは主にハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７という３つのパートからなる。ハイレベルシンタクス１９００は、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス１９０３では、スライス毎に必要な情報が明記されている。マクロブロックレベルシンタクス１９０７では、マクロブロック毎に必要とされる変換係数データや予測モード情報、動きベクトルなどが明記されている。
　ハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７は、それぞれ更に詳細なシンタクスで構成される。ハイレベルシンタクス１９００では、シーケンスパラメータセットシンタクス１９０１とピクチャパラメータセットシンタクス１９０２などのシーケンス、ピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス１９０３では、スライスヘッダーシンタクス１９０４、スライスデータシンタクス１９０５、ループフィルタデータシンタクス１９０６などから成る。更に、マクロブロックレベルシンタクス１９０７は、マクロブロックレイヤーシンタクス１９０８、マクロブロックプレディクションシンタクス１９０９などから構成されている。
　ループフィルタデータシンタクス１９０６では、図１０に示すように本実施形態におけるフィルタに関するパラメータであるフィルタ係数情報１７が記述されている。ここで、フィルタ係数情報１７であるfilter_coeff[cy][cx]は、２次元フィルタの係数であり、filter_size_y 及び filter_size_xはフィルタサイズを決める値である。ただし、フィルタとして１次元フィルタを用いても良く、その際にはフィルタ係数情報１７は図１１に変更される。また、ここではフィルタサイズを示す値をシンタクスに記述しているが、フィルタサイズをシンタクスに記述せずに予め定めた固定の値を用いても良い。ただし、フィルタサイズを固定値とした場合、当該動画像符号化装置１００及び後述する動画像復号化装置２００において同様の値を用いなければならないことに注意する。
　（動画像復号化装置）　
　次に、図１２を用いて上述した動画像符号化装置１００に対応する動画像復号化装置２００について説明する。図１２に示されるように、本発明の第１の実施形態に係る動画像復号化装置２００は、エントロピー復号化部２０１、逆量子化／逆変換部２０２、予測画像生成部２０３、加算器２０４、フィルタ処理部２０５及び参照画像用バッファ２０６を有し、復号化制御部２０７によって制御される。
　エントロピー復号化部２０１では、図９に示されるシンタクス構造に従ってハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７のそれぞれに対して、順次符号化データ１４の各シンタクスの符号列が復号され、量子化変換係数１３、フィルタ係数情報１７などが復元される。
　逆量子化／逆変換部２０２では、動画像符号化装置１００で行われた直交変換及び量子化に対応する逆変換及び逆量子化が行われる。すなわち、逆量子化／逆変換部２０２は量子化変換係数１３に対して逆量子化を行って変換係数を生成し、さらに変換係数に対して変換／量子化部１０３における変換と逆の変換、例えば逆離散コサイン変換のような逆直交変換を行い、予測誤差画像信号１５を生成する。また、動画像符号化装置１００において変換／量子化部１０３でウェーブレット変換及び量子化が行われている場合、逆量子化／逆変換部２０２では対応する逆ウェーブレット変換及び逆量子化が実行される。
　予測画像生成部２０３は、参照画像用バッファ２０６に格納されている復号化済みの参照画像信号１８を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理には、例えば、動き補償による時間方向の予測や、画面内の復号化済みの画素からの空間方向の予測などを用いるが、動画像符号化装置１００と同様の予測処理を実行することに注意する。
　加算器２０４は、予測誤差画像信号１５と予測画像信号１１を加算し、復号画像信号２１を生成する。復号画像信号２１はフィルタ処理部２０４に入力される。
　フィルタ処理部２０５は、フィルタ係数情報１７に従って復号画像信号２１に対しフィルタ処理を行い、復元画像信号２２を出力する。フィルタ処理部２０５の詳細については、後述する。
　参照画像用バッファ２０６は、フィルタ処理部２０５から取得した復元画像信号２２を参照画像信号として一時保存する。参照画像用バッファ２０６に保存された参照画像信号１８は、予測画像生成部２０３によって予測画像信号１１を生成する際に参照される。
　復号化制御部２０７は、復号化タイミングの制御などを行い、もって復号化処理全体の制御を行う。
　次に、本実施形態に係る動画像復号化装置２００の概略的な処理について説明する。以下に示す一連の復号化処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化に対応する一般的な復号化処理である。
　まず、動画像復号化装置２００に符号化データ１４が入力されると、エントロピー復号化部２０１によって符号化データ１４が復号化され、変換係数１３及びフィルタ係数情報１７に加え、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどが図９のシンタクス構造に従って再生される。
　次に、エントロピー復号化部２０１から出力される変換係数１３は、逆量子化／逆変換部２０２によって復号化制御部２０７で設定されている量子化パラメータに従って逆量子化され、得られた変換係数に対して逆直交変換、例えば離散コサイン変換などが行われ、予測誤差画像信号１５が復元される。予測誤差画像信号１５は、予測画像生成部２０３によって生成された予測画像信号１１と加算器２０４にて加算され、復号画像信号２１が生成される。
　（フィルタ処理部）　
　次に、フィルタ処理部２０５について図１３を用いて詳しく述べる。図１３に示すフィルタ処理部２０５は、エッジ情報生成部１１０、フィルタ適用制御情報生成部１１１及びフィルタ適用部２０８を有する。
　エッジ情報生成部１１０は、復号画像信号２１からエッジ情報１９を生成する。
　フィルタ適用制御情報生成部１１１は、エッジ情報１９に基づいてフィルタ適用制御情報２０を生成する。フィルタ適用制御情報２０は、フィルタ適用部２０８へ入力される。
　ここで、エッジ情報生成部１１０及びフィルタ適用制御情報生成部１１１では、動画像符号化装置１００と同様の処理を行うことに注意する。これにより動画像復号化装置２００において、動画像符号化装置１００と同一のフィルタ適用制御情報２０が生成される。
　フィルタ適用部２０８は、復号画像信号２１及びエントロピー復号化部２０１で復号したフィルタ係数情報１７を取得し、フィルタ適用制御情報２０に従って復号画像信号２１に対しフィルタを適用して復元画像信号２２を生成する。生成された復元画像信号２２は、出力画像信号として復号化制御部２０７が管理するタイミングで出力される。
　次に、フィルタ処理部２０５について図１３及び図１４を用いてさらに詳しく説明する。図１４は、フィルタ処理部２０５の処理手順を示している。
　フィルタ処理部２０５では、まずエントロピー復号化部２０１において図９のシンタクス構造に従ってフィルタ係数情報１７に対しエントロピー復号化を行う（ステップＳ２０１）。図９のシンタクス構造におけるスライスレベルシンタクス１１９０３に属するループフィルタデータシンタクス１９０６内には、図１０に示すように本実施形態におけるフ１ィルタに関するパラメータであるフィルタ係数情報１７が記述されている。ここで、フィルタ係数情報１７である図１０のfilter_coeff[cy][cx]は２次元フィルタの係数であり、filter_size_y及びfilter_size_xはフィルタサイズを決める値である。ただし、フィルタとして１次元フィルタを用いても良く、その際にはフィルタ係数情報１７は図１１に変更される。また、ここではフィルタサイズを示す値をシンタクスに記述しているが、フィルタサイズをシンタクスに記述せずに予め定めた固定の値を用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置１００と動画像復号化装置２００において同様の値を用いなければならないことに注意する。
　次に、エッジ情報生成部１１０において復号画像信号２１からエッジ情報１９を生成する（ステップＳ２０２）。復号画像信号２１からのエッジ情報１９の生成方法には、動画像符号化装置１００と同様の方法を用いる必要がある。
　次に、フィルタ適用制御情報生成部１１１においてエッジ情報１９に基づいてフィルタ適用制御情報２０を生成する（ステップＳ２０３～Ｓ２０６）。ここで、フィルタ適用制御情報の生成は、動画像符号化装置１００と同様の処理により行われる必要がある。上記のように、動画像復号化装置２００におけるエッジ情報生成部１１０とフィルタ適用制御情報生成部１１１において動画像符号化装置１００と同様の処理を行うことにより、符号化及び復号化側におけるフィルタ適用制御の方法が一致する。
　最後に、フィルタ適用部２０８においてフィルタ適用制御情報２０に従って復号画像信号２１に対しフィルタ係数情報１７に従ってフィルタ係数が設定されたフィルタを適用し、復元画像信号２２を生成する（ステップＳ２０７）。復元画像信号２２は、出力画像信号として出力される。
　このように本実施形態に係る動画像符号化装置によれば、入力画像と復号画像との間の誤差が最小となるようにフィルタ係数情報を設定してフィルタを適用することにより、出力画像の画質が向上する。また、エッジを考慮したフィルタ適用方法を用いることにより、画質改善効果の低下を抑制することが可能となる。
　なお、本実施形態に係る動画像符号化装置１００及び動画像復号化装置２００では、局所復号画像信号１６をフィルタ設定部
フィルタ処理を行っているが、局所復号画像信号１６は、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。
　［第２の実施形態］　
　第１の実施形態では、動画像復号化装置２００のフィルタ処理部２０５がポストフィルタである場合について説明した。これに対し、本発明の第２の実施形態としてループフィルタとして用い、フィルタ適用後の復元画像２２を参照画像として用いる例について説明する。
　図１５は、本実施形態に係る動画像符号化装置３００を示しており、図１の動画像符号化装置１００における図２のフィルタ生成部１０７が図１６のフィルタ生成／処理部３０１に置き換えられている。一方、図１８は本実施形態に係る動画像復号化装置４００を示しており、フィルタ処理部２０５から出力される復元画像信号２２が参照画像用バッファ２０６に入力される点が図１２の動画像復号化装置２００と異なっている。
　動画像符号化装置３００では、第１の実施形態に係る動画像符号化装置１００のフィルタ生成部１０７がフィルタ生成／処理部３０１で置き換えられ、さらに参照画像用バッファ１０８の入力が加算器１０６により出力される局所復号画像信号１６からフィルタ生成／処理部３０１により出力される復元画像信号２２に変更されている。また、フィルタ生成／処理部３０１は図１６に示されるように、図２のフィルタ生成部１０７の内部にフィルタ適用部２０８を追加することにより実現される。
　次に、動画像符号化装置３００及びフィルタ生成／処理部３０１の動作について、図１５、図１６及び図１７を用いて説明する。図１７は、動画像符号化装置３００におけるフィルタ生成／処理部３０１に関する動作を示すフローチャートである。まず、動画像符号化装置１００と同様の処理により局所復号画像信号１６を生成し、フィルタ生成／処理部３０１に入力する。
　フィルタ生成／処理部３０１では、まずエッジ情報生成部１１０において局所復号画像信号１６からエッジ情報１９を生成する（ステップＳ３０１）。
　次に、フィルタ適用制御情報生成部１１１においてエッジ情報１９に基づいてフィルタ適用制御情報２０を生成する（ステップＳ３０２～３０５）。
　次に、フィルタ設定部１１２において局所復号画像信号１６、入力画像信号１０及びフィルタ適用制御情報２０を取得し、取得したフィルタ適用制御情報２０に従ってフィルタを適用する画素を決定した上で、フィルタ係数情報１７の設定を行う（ステップＳ３０６）。
　ステップＳ３０１からＳ３０６までの処理は、第１の実施形態に係る動画像符号化装置１００におけるフィルタ生成部１０７と同様である。
　次に、フィルタ適用部２０８において、フィルタ係数情報１７に従ってフィルタ係数が設定されたフィルタをフィルタ適用制御情報２０に基づき、局所復号画像信号１６に適用し、復元画像信号２２を生成する（ステップＳ３０７）。生成された復元画像信号２２は、参照画像信号として図１５の参照画像用バッファ１０８に格納される（ステップＳ３０８）。
　最後に、フィルタ係数情報１７はエントロピー符号化部１０４において符号化され、量子化変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置４００へ向けて送信される（ステップＳ３０９）。
　図１９は、図１８の動画像復号化装置３００を変形した動画像復号化装置４００であり、復号画像信号２２を参照画像信号としてのみ用い、出力画像信号には通常の復号画像信号２１を用いている点が図１８の動画像復号化装置３００と異なる。
　上述した本発明の各実施形態に係る動画像符号化装置（１００，３００）及び動画像復号化装置（２００，４００，５００）は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、予測画像生成部１０１、予測誤差生成部１０２、変換／量子化部１０３、エントロピー符号化部１０４、逆量子化／逆変換部１０５、加算器１０６、フィルタ生成部１０７、参照画像用バッファ１０８、符号化制御部１０９、エッジ情報生成部１１０、フィルタ適用制御情報生成部１１１、フィルタ設定部１１２、エントロピー復号化部２０１、逆量子化／逆変換部２０２、予測画像生成部２０３、加算器２０４、フィルタ処理部２０５、参照画像用バッファ２０６、復号化制御部２０７、フィルタ適用部２０８及びフィルタ生成／処理部３０１は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。
　このとき、動画像符号化装置及び動画像復号化装置を上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現しても良いし、ＣＤ－ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現しても良い。また、参照画像用バッファ１０８及び参照画像用バッファ２０６は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒなどの記憶媒体などを適宜利用して実現することができる。
　なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、別の実施形態にわたる構成要素を適宜組み合わせても良い。

Claims (18)

  1. 　入力される動画像と予測画像との差分をとって予測誤差画像を生成することと、
    　前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成することと、
    　前記動画像のうちの符号化済み画像に対応する局所復号画像中のエッジの属性を示すエッジ情報を生成することと、
    　前記エッジ情報に基づいて復号化側における復号画像に対するフィルタの適用に関する制御情報を生成することと、
    　前記制御情報に基づいて前記フィルタのフィルタ係数を設定することと、
    　前記量子化変換係数、及び前記フィルタ係数を示すフィルタ係数情報を符号化して符号化データを出力することと、
    を備える動画像符号化方法。
  2. 　前記局所復号画像に対し前記制御情報に基づいて、前記フィルタ係数情報に従ってフィルタ係数が設定されたフィルタを適用して復元画像を生成することと、
    　前記復元画像を参照画像として用いて前記予測画像を生成することと、
    を更に備える請求項１記載の方法。
  3. 　前記エッジ情報は、エッジ方向の情報を含み、
    　前記制御情報は、前記エッジ方向の情報に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項２記載の方法。
  4. 　前記エッジ情報は、さらにエッジ強度の情報を含み、
    　前記制御情報は、前記エッジ強度が閾値より大きい領域について前記エッジ方向の情報に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項３記載の方法。
  5. 　前記エッジ方向の情報に基づく前記フィルタの回転は、前記フィルタがエッジの長さ方向に対してローパス特性を持ち、かつ、前記エッジの長さ方向と直交する方向に対してハイパス特性を持つようになされる請求項３記載の方法。
  6. 　前記エッジ情報は、エッジ方向の情報を含み、
    　前記制御情報は、注目画素の近傍のエッジ画素をエッジの長さ方向の線を挟んで前記エッジ画素と対称の位置に存在する非エッジ画素で置換してから前記注目画素に対して前記フィルタを適用する場合における、前記エッジ画素と前記非エッジ画素との対応関係を示す情報を含む請求項２記載の方法。
  7. 　前記エッジ情報は、エッジ強度の情報を含み、
    　前記制御情報は、前記エッジ強度の情報に基づいて注目画素の画素値との差分が閾値より大きい画素値を持つ特異画素を前記注目画素またはその近傍画素で置換した後に前記注目画素に対して前記フィルタを適用する場合における、前記特異画素の位置情報を含む請求項２記載の方法。
  8. 　前記エッジ情報は、エッジ方向の情報を含み、
    　前記制御情報は、前記エッジ方向の情報に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項１記載の方法。
  9. 　入力される動画像と予測画像との差分をとって予測誤差画像を生成する予測誤差生成部と、
    　前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成する変換／量子化部と、
    　前記動画像のうちの符号化済み画像に対応する局所復号画像中のエッジの属性を示すエッジ情報を生成するエッジ情報生成部と、
    　前記エッジ情報に基づいて復号化側における復号画像に対するフィルタの適用に関する制御情報を生成する制御情報生成部と、
    　前記制御情報に基づいて前記フィルタのフィルタ係数を設定する設定部と、
    　前記量子化変換係数及び前記フィルタ係数を示すフィルタ係数情報を符号化して符号化データを出力する符号化部と、
    を備える動画像符号化装置。
  10. 　入力される符号化データを復号化して量子化変換係数、及びフィルタ係数を示すフィルタ係数情報を生成することと、
    　前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成することと、
    　前記予測誤差画像と予測画像を用いて復号画像を生成することと、
    　前記復号画像中のエッジの属性を示すエッジ情報を生成することと、
    　前記エッジ情報に基づいて前記復号画像に対するフィルタの適用に関する制御情報を生成することと、
    　前記復号画像に対し前記制御情報に基づいて、前記フィルタ係数情報に従ってフィルタ係数が設定された前記フィルタを適用して復元画像を生成することと、
    を備える動画像復号化方法。
  11. 　前記復元画像を参照画像として用いて前記予測画像を生成する予測画像生成部、
    を更に備える請求項１０記載の方法。
  12. 　前記エッジ情報は、エッジ方向の情報を含み、
    　前記制御情報は、前記エッジ方向に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項１１記載の方法。
  13. 　前記エッジ情報は、さらにエッジ強度の情報を含み、
    　前記制御情報は、前記エッジ強度が閾値より大きい領域について前記エッジ方向に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項１２記載の方法。
  14. 　前記エッジ方向に基づく前記フィルタの回転は、前記フィルタが前記エッジ方向に対してローパス特性、前記エッジ方向と直交する方向に対してハイパス特性を持つようになされる請求項１２記載の方法。
  15. 　前記エッジ情報は、エッジ方向の情報を含み、
    　前記制御情報は、注目画素の近傍のエッジ画素を前記エッジ方向の線を挟んで前記エッジ画素と対称の位置に存在する非エッジ画素で置換してから前記注目画素に対して前記フィルタをかける場合における、前記エッジ画素と前記非エッジ画素との対応関係を示す情報を含む請求項１１記載の方法。
  16. 　前記エッジ情報は、エッジ強度の情報を含み、
    　前記制御情報は、前記エッジ強度の情報に基づいて注目画素の画素値との差分が閾値より大きい画素値を持つ特異画素を前記注目画素またはその近傍画素で置換した後に前記注目画素に対して前記フィルタをかける場合における、前記特異画素の位置情報を含む請求項１１記載の方法。
  17. 　前記復元画像を出力画像として出力することを更に備え、
    　前記エッジ情報はエッジ方向の情報を含み、
    　前記制御情報は、前記エッジ方向に基づいて前記フィルタを回転させて適用する場合における、前記フィルタの回転角度の情報を含む請求項１０記載の方法。
  18. 　入力される符号化データを復号化して量子化変換係数、及びフィルタ係数を示すフィルタ係数情報を生成する復号化部と、
    　前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成する逆量子化／逆変換部と、
    　前記予測誤差画像と予測画像を用いて復号画像を生成する復号画像生成部と、
    　前記復号画像中のエッジの属性を示すエッジ情報を生成するエッジ情報生成部と、
    　前記エッジ情報に基づいて前記復号画像に対するフィルタの適用に関する制御情報を生成する制御情報生成部と、
    　前記復号画像に対し前記制御情報に基づいて、前記フィルタ係数情報に従って前記フィルタ係数が設定された前記フィルタを適用して復元画像を生成するフィルタ適用部と、
    を備える動画像復号化装置。
PCT/JP2009/058265 2008-04-30 2009-04-27 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置 WO2009133844A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010510113A JPWO2009133844A1 (ja) 2008-04-30 2009-04-27 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
US12/887,549 US20110069752A1 (en) 2008-04-30 2010-09-22 Moving image encoding/decoding method and apparatus with filtering function considering edges

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008118884 2008-04-30
JP2008-118884 2008-04-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/887,549 Continuation US20110069752A1 (en) 2008-04-30 2010-09-22 Moving image encoding/decoding method and apparatus with filtering function considering edges

Publications (1)

Publication Number Publication Date
WO2009133844A1 true WO2009133844A1 (ja) 2009-11-05

Family

ID=41255060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058265 WO2009133844A1 (ja) 2008-04-30 2009-04-27 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置

Country Status (3)

Country Link
US (1) US20110069752A1 (ja)
JP (1) JPWO2009133844A1 (ja)
WO (1) WO2009133844A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012161063A (ja) * 2011-01-12 2012-08-23 Kddi Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP2013522956A (ja) * 2010-03-09 2013-06-13 トムソン ライセンシング 分類ベースのループ・フィルタのための方法と装置
JP2013534388A (ja) * 2010-10-05 2013-09-02 メディアテック インコーポレイテッド 適応ループフィルタリングの方法及び装置
JP2013229768A (ja) * 2012-04-25 2013-11-07 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法及び装置
JP2014513898A (ja) * 2011-04-19 2014-06-05 サムスン エレクトロニクス カンパニー リミテッド 適応的フィルタリングを用いる映像の符号化方法及び装置、その復号化方法及び装置
KR101546894B1 (ko) 2011-03-09 2015-08-24 니폰덴신뎅와 가부시키가이샤 화상 처리 방법, 화상 처리 장치, 영상 부호화／복호 방법, 영상 부호화／복호 장치 및 그 프로그램
US9438912B2 (en) 2011-03-09 2016-09-06 Nippon Telegraph And Telephone Corporation Video encoding/decoding methods, video encoding/decoding apparatuses, and programs therefor
JP2016538740A (ja) * 2013-09-24 2016-12-08 ヴィド スケール インコーポレイテッド スケーラブルビデオ符号化のためのレイヤ間予測
JP2017085674A (ja) * 2010-06-17 2017-05-18 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
JP2019505143A (ja) * 2016-02-15 2019-02-21 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
AU2010331511B2 (en) 2009-12-18 2015-01-15 Sharp Kabushiki Kaisha Image filter, encoding device, decoding device, and data structure
AU2011253779A1 (en) * 2011-12-01 2013-06-20 Canon Kabushiki Kaisha Estimation of shift and small image distortion
CN104025587B (zh) * 2011-12-28 2017-08-29 Jvc建伍株式会社 动图像解码装置及动图像解码方法
EP4178204A1 (en) * 2015-08-20 2023-05-10 Nippon Hoso Kyokai Image decoding device, and image decoding method
US20170302965A1 (en) * 2016-04-15 2017-10-19 Google Inc. Adaptive directional loop filter
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
US10491923B2 (en) 2017-08-14 2019-11-26 Google Llc Directional deblocking filter
US10638130B1 (en) 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding
US11394967B2 (en) * 2020-04-26 2022-07-19 Tencent America LLC Geometric cross-component filtering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292309A (ja) * 2000-04-06 2001-10-19 Fuji Photo Film Co Ltd 画像変換方法および装置並びに記録媒体
JP2003046781A (ja) * 2001-07-31 2003-02-14 Canon Inc 画像処理方法及び装置
JP2006148878A (ja) * 2004-10-14 2006-06-08 Mitsubishi Electric Research Laboratories Inc 画像中の画素を分類する方法
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
JP2007128328A (ja) * 2005-11-04 2007-05-24 Canon Inc 画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292309A (ja) * 2000-04-06 2001-10-19 Fuji Photo Film Co Ltd 画像変換方法および装置並びに記録媒体
JP2003046781A (ja) * 2001-07-31 2003-02-14 Canon Inc 画像処理方法及び装置
JP2006148878A (ja) * 2004-10-14 2006-06-08 Mitsubishi Electric Research Laboratories Inc 画像中の画素を分類する方法
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
JP2007128328A (ja) * 2005-11-04 2007-05-24 Canon Inc 画像処理装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013522956A (ja) * 2010-03-09 2013-06-13 トムソン ライセンシング 分類ベースのループ・フィルタのための方法と装置
JP2020191690A (ja) * 2010-06-17 2020-11-26 シャープ株式会社 復号装置、符号化装置、復号方法および符号化方法
JP2018157596A (ja) * 2010-06-17 2018-10-04 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
JP2019198114A (ja) * 2010-06-17 2019-11-14 シャープ株式会社 復号装置、符号化装置、復号方法および符号化方法
JP2017085674A (ja) * 2010-06-17 2017-05-18 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
JP2013534388A (ja) * 2010-10-05 2013-09-02 メディアテック インコーポレイテッド 適応ループフィルタリングの方法及び装置
US9813738B2 (en) 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
JP2012161063A (ja) * 2011-01-12 2012-08-23 Kddi Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US9363515B2 (en) 2011-03-09 2016-06-07 Nippon Telegraph And Telephone Corporation Image processing method, image processing apparatus, video encoding/decoding methods, video encoding/decoding apparatuses, and non-transitory computer-readable media therefor that perform denoising by means of template matching using search shape that is set in accordance with edge direction of image
US9438912B2 (en) 2011-03-09 2016-09-06 Nippon Telegraph And Telephone Corporation Video encoding/decoding methods, video encoding/decoding apparatuses, and programs therefor
KR101546894B1 (ko) 2011-03-09 2015-08-24 니폰덴신뎅와 가부시키가이샤 화상 처리 방법, 화상 처리 장치, 영상 부호화／복호 방법, 영상 부호화／복호 장치 및 그 프로그램
JP2014513898A (ja) * 2011-04-19 2014-06-05 サムスン エレクトロニクス カンパニー リミテッド 適応的フィルタリングを用いる映像の符号化方法及び装置、その復号化方法及び装置
JP2013229768A (ja) * 2012-04-25 2013-11-07 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法及び装置
US10148971B2 (en) 2013-09-24 2018-12-04 Vid Scale, Inc. Inter-layer prediction for scalable video coding
JP2016538740A (ja) * 2013-09-24 2016-12-08 ヴィド スケール インコーポレイテッド スケーラブルビデオ符号化のためのレイヤ間予測
JP2019505144A (ja) * 2016-02-15 2019-02-21 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングのためのフィルタのための幾何学的変換
JP2019508971A (ja) * 2016-02-15 2019-03-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングのための固定フィルタからのフィルタ係数を予測すること
JP2019505143A (ja) * 2016-02-15 2019-02-21 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること
US11064195B2 (en) 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
JP7055745B2 (ja) 2016-02-15 2022-04-18 クゥアルコム・インコーポレイテッド ビデオコーディングのためのフィルタのための幾何学的変換
JP7071603B1 (ja) 2016-02-15 2022-05-27 クゥアルコム・インコーポレイテッド ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること
JP2022084028A (ja) * 2016-02-15 2022-06-06 クゥアルコム・インコーポレイテッド ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること
US11405611B2 (en) 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
US11563938B2 (en) 2016-02-15 2023-01-24 Qualcomm Incorporated Geometric transforms for filters for video coding
JP7233218B2 (ja) 2016-02-15 2023-03-06 クゥアルコム・インコーポレイテッド ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること

Also Published As

Publication number Publication date
US20110069752A1 (en) 2011-03-24
JPWO2009133844A1 (ja) 2011-09-01

Similar Documents

Publication Publication Date Title
WO2009133844A1 (ja) エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
RU2694012C1 (ru) Усовершенствованное кодирование с внутрикадровым предсказанием с использованием планарных представлений
KR101749269B1 (ko) 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법
WO2010001999A1 (ja) 動画像符号化／復号化方法及び装置
WO2010001614A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
CN107347157B (zh) 视频解码装置
TWI709333B (zh) 一種解塊濾波的方法
US20100322303A1 (en) Video encoding/decoding method and apparatus
WO2011125729A1 (ja) 画像処理装置と画像処理方法
WO2009123033A1 (ja) デブロッキングフィルタ処理装置、デブロッキングフィルタ処理方法
WO2010041534A1 (ja) 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP2024024080A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
JP5362723B2 (ja) 圧縮画像ノイズ除去装置と再生装置
US20220094937A1 (en) Image decoding device, method, and non-transitory computer-readable storage medium
RU2765428C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способы управления ими и программа
WO2013145174A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置
JP7505869B2 (ja) 符号化装置、復号装置、及びプログラム
JP7357481B2 (ja) デブロッキングフィルタ制御装置及びプログラム
KR20160131991A (ko) 비디오 신호의 디코딩 방법 및 장치
JP5256095B2 (ja) 圧縮画像ノイズ除去装置と再生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09738781

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010510113

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09738781

Country of ref document: EP

Kind code of ref document: A1