WO2012042720A1 - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 Download PDF

Info

Publication number
WO2012042720A1
WO2012042720A1 PCT/JP2011/004122 JP2011004122W WO2012042720A1 WO 2012042720 A1 WO2012042720 A1 WO 2012042720A1 JP 2011004122 W JP2011004122 W JP 2011004122W WO 2012042720 A1 WO2012042720 A1 WO 2012042720A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
image
encoding
filter
block
Prior art date
Application number
PCT/JP2011/004122
Other languages
English (en)
French (fr)
Inventor
彰 峯澤
関口　俊一
杉本　和夫
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45892218&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2012042720(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to JP2012536150A priority Critical patent/JP5503747B2/ja
Priority to US13/822,887 priority patent/US10291939B2/en
Priority to RU2013119934/08A priority patent/RU2544799C2/ru
Priority to KR1020137010924A priority patent/KR101580021B1/ko
Priority to BR112013006501-0A priority patent/BR112013006501B1/pt
Priority to CN201180047243.5A priority patent/CN103141106B/zh
Priority to MX2013003696A priority patent/MX2013003696A/es
Priority to KR1020147020866A priority patent/KR101578318B1/ko
Priority to MX2014009677A priority patent/MX338462B/es
Priority to EP11828289.6A priority patent/EP2624563A4/en
Priority to KR1020147020862A priority patent/KR101563834B1/ko
Priority to SG2013021928A priority patent/SG189076A1/en
Priority to CA2812201A priority patent/CA2812201C/en
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to KR1020157035466A priority patent/KR101669388B1/ko
Priority to KR1020147020850A priority patent/KR101563833B1/ko
Priority to EP20150124.4A priority patent/EP3661213A1/en
Priority to KR1020147020864A priority patent/KR101563835B1/ko
Priority to TW105123731A priority patent/TWI606720B/zh
Priority to TW105123734A priority patent/TWI606721B/zh
Priority to TW105123725A priority patent/TWI603612B/zh
Priority to TW103145688A priority patent/TWI566588B/zh
Priority to TW100132970A priority patent/TWI472229B/zh
Publication of WO2012042720A1 publication Critical patent/WO2012042720A1/ja
Priority to HK13109293.0A priority patent/HK1182244A1/zh
Priority to US14/634,453 priority patent/US10237550B2/en
Priority to US14/634,561 priority patent/US10244264B2/en
Priority to US14/634,485 priority patent/US10237551B2/en
Priority to US14/634,550 priority patent/US10244233B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving image encoding apparatus and moving image encoding method for encoding a moving image with high efficiency, a moving image decoding apparatus and a moving image decoding method for decoding a moving image encoded with high efficiency, and It is about.
  • an input video frame is divided into rectangular blocks (encoding target blocks), and the encoding target block is divided.
  • a prediction image is generated by performing a prediction process using an encoded image signal, and a prediction error signal, which is a difference between the encoding target block and the prediction image, is orthogonally transformed or quantized on a block basis. By doing this, information compression is performed.
  • AVC / H. H.264 (ISO / IEC 14496-10
  • FIG. 10 is an explanatory diagram illustrating an intra prediction mode when the luminance block size is 4 ⁇ 4 pixels.
  • white circles are pixels in the block to be encoded.
  • a black circle is a pixel used for prediction, and is a pixel in an encoded adjacent block.
  • mode 2 is a mode in which average value prediction is performed, and is an average value of adjacent pixels in the upper and left blocks. Predict the pixels in the target block.
  • Modes other than mode 2 are modes in which directionality prediction is performed.
  • Mode 0 is prediction in the vertical direction, and a prediction image is generated by repeating adjacent pixels in the upper block in the vertical direction. For example, mode 0 is selected for a vertical stripe pattern.
  • Mode 1 is horizontal prediction, and a predicted image is generated by repeating adjacent pixels in the left block in the horizontal direction. For example, mode 1 is selected for a horizontal stripe pattern.
  • mode 3 to mode 8 an interpolated pixel is generated in a predetermined direction (the direction indicated by the arrow) using adjacent pixels in the upper or left block to generate a predicted image.
  • the luminance block size to which intra prediction is applied can be selected from 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, and 16 ⁇ 16 pixels. In the case of 8 ⁇ 8 pixels, the case of 4 ⁇ 4 pixels and Similarly, nine intra prediction modes are defined. In the case of 16 ⁇ 16 pixels, four intra prediction modes (average value prediction, vertical direction prediction, horizontal direction prediction, plane prediction) are defined. Planar prediction is a mode in which a pixel generated by interpolating an adjacent pixel of the upper block and an adjacent pixel of the left block in an oblique direction is used as a predicted value.
  • the prediction efficiency increases and the amount of codes can be reduced.
  • the prediction efficiency increases and the amount of codes can be reduced.
  • a large prediction error may occur locally, and the prediction efficiency may be extremely reduced.
  • smoothing is performed by applying a smoothing filter to a coded adjacent pixel as a reference image used when generating a predicted image.
  • a predicted image is generated, and a prediction error that occurs when a slight shift in the prediction direction or a slight distortion occurs in the edge is reduced.
  • Non-Patent Document 1 Since the conventional image coding apparatus is configured as described above, if a smoothed prediction image is generated by performing filter processing, a slight shift in the prediction direction and a slight distortion in the edge occur. However, the generated prediction error can be reduced. However, in Non-Patent Document 1, no filter processing is performed other than the 8 ⁇ 8 pixel block, and there is only one filter used for the 8 ⁇ 8 pixel block. Actually, even in a block having a size other than 8 ⁇ 8 pixels, even if the pattern of the predicted image and the image to be encoded are similar, a large prediction error occurs locally due to a slight mismatch of edges, There has been a problem that the prediction efficiency may be significantly reduced.
  • the present invention has been made to solve the above-described problems, and is a moving image encoding device, a moving image decoding device, and a moving image capable of reducing locally generated prediction errors and improving image quality. It is an object to obtain an encoding method and a moving image decoding method.
  • the moving image encoding apparatus is prepared in advance when the intra prediction means generates a predicted image by performing an intra-frame prediction process using an encoded image signal in a frame. From the above filters, a filter is selected according to the state of various parameters related to the encoding of the block to be filtered, and the filter process is performed on the predicted image using the filter, and the predicted image after the filter process is performed. Are output to the difference image generation means.
  • the intra prediction unit when the intra prediction unit generates a predicted image by performing the intra-frame prediction process using the encoded image signal in the frame, the intra prediction unit includes one or more filters prepared in advance. Then, a filter is selected according to the state of various parameters related to the encoding of the filter processing target block, and the filter process is performed on the prediction image using the filter, and the prediction image after the filter processing is converted into a difference image generation unit. Therefore, it is possible to reduce the prediction error that occurs locally and to improve the image quality.
  • (A) shows the distribution of the partitions after the division
  • (b) is an explanatory diagram showing a situation in which the encoding mode m (B n ) is assigned to the partition after the hierarchy division as a quadtree graph. It is an explanatory view showing an example of a selectable intra prediction parameters in each partition P i n the coded block B n (intra prediction mode).
  • positioning in case of N 5. It is explanatory drawing which shows intra prediction mode in case the block size of a brightness
  • luminance is 4x4 pixel.
  • each frame image of a video is input, a prediction image is generated by performing intra prediction processing from an encoded neighboring pixel or motion compensation prediction processing between adjacent frames, and the prediction image
  • a video encoding device that generates a bitstream by performing variable-length coding after compression processing by orthogonal transform / quantization is performed on a prediction error signal that is a difference image between a video and a frame image, and the video
  • a moving picture decoding apparatus for decoding a bitstream output from an encoding apparatus will be described.
  • the moving picture coding apparatus adapts to local changes in the spatial and temporal directions of a video signal, divides the video signal into regions of various sizes, and performs intraframe / interframe adaptive coding. It is characterized by performing.
  • a video signal has a characteristic that the complexity of the signal changes locally in space and time.
  • there are patterns with uniform signal characteristics in a relatively large image area such as the sky and walls, and small images such as people and paintings with fine textures.
  • a pattern having a complicated texture pattern may be mixed in the region.
  • the sky and the wall have small changes in the pattern in the time direction locally, but the moving person or object has a rigid or non-rigid motion in time, so the temporal change does not occur. large.
  • the encoding process reduces the overall code amount by generating a prediction error signal with low signal power and entropy through temporal and spatial prediction, but the prediction parameters are made uniform in the image signal area as large as possible. If applicable, the code amount of the parameter can be reduced. On the other hand, if the same prediction parameter is applied to an image signal pattern having a large temporal and spatial change, the number of prediction error signals cannot be reduced because the prediction error increases. Therefore, for image signal patterns with large temporal and spatial changes, the prediction error signal power and entropy are reduced even if the prediction target area is reduced and the amount of parameter data for prediction is increased. Is preferable.
  • the moving picture coding apparatus of the first embodiment divides the video signal area hierarchically from a predetermined maximum block size, Prediction processing and prediction error encoding processing are performed for each divided region.
  • the video signal to be processed by the moving image coding apparatus is a color in an arbitrary color space such as a YUV signal composed of a luminance signal and two color difference signals, or an RGB signal output from a digital image sensor.
  • the video frame is an arbitrary video signal such as a monochrome image signal or an infrared image signal, in which the video frame is composed of a horizontal and vertical two-dimensional digital sample (pixel) sequence.
  • the gradation of each pixel may be 8 bits, or may be gradation such as 10 bits or 12 bits.
  • the input video signal is a YUV signal unless otherwise specified.
  • picture The processing data unit corresponding to each frame of the video is referred to as “picture”.
  • “picture” is described as a signal of a video frame that has been sequentially scanned (progressive scan).
  • the “picture” may be a field image signal which is a unit constituting a video frame.
  • an encoding control unit 1 determines the maximum size of an encoding block that is a processing unit when intra prediction processing (intraframe prediction processing) or motion compensation prediction processing (interframe prediction processing) is performed. Then, a process of determining the upper limit number of layers when the encoding block of the maximum size is hierarchically divided is performed. In addition, the encoding control unit 1 assigns each encoding block divided hierarchically from one or more available encoding modes (one or more intra encoding modes and one or more inter encoding modes). A process of selecting a suitable encoding mode is performed.
  • the encoding control unit 1 determines the quantization parameter and transform block size used when the difference image is compressed for each encoding block, and intra prediction used when the prediction process is performed. A process of determining a parameter or an inter prediction parameter is performed.
  • the quantization parameter and the transform block size are included in the prediction error coding parameter and output to the transform / quantization unit 7, the inverse quantization / inverse transform unit 8, the variable length coding unit 13, and the like.
  • the encoding control unit 1 constitutes an encoding control unit.
  • the block dividing unit 2 divides the input image indicated by the video signal into encoded blocks of the maximum size determined by the encoding control unit 1 and determined by the encoding control unit 1. The process of dividing the encoded block hierarchically is performed until the upper limit number of hierarchies is reached.
  • the block dividing unit 2 constitutes block dividing means. If the coding mode selected by the coding control unit 1 is the intra coding mode, the changeover switch 3 outputs the coding block divided by the block dividing unit 2 to the intra prediction unit 4, and the coding control unit 1 If the coding mode selected by (2) is the inter coding mode, a process of outputting the coding block divided by the block dividing unit 2 to the motion compensation prediction unit 5 is performed.
  • the intra prediction unit 4 When the intra prediction unit 4 receives the encoded block divided by the block dividing unit 2 from the changeover switch 3, the intra prediction unit 4 converts the intra prediction parameter output from the encoding control unit 1 using the encoded image signal in the frame. Based on this, a process for generating a predicted image is performed by performing an intra-frame prediction process for the encoded block. However, after the intra prediction unit 4 generates the predicted image, the intra prediction unit 4 selects a filter from one or more filters prepared in advance according to the state of various parameters related to the encoding of the filter processing target block, Using the filter, filter processing is performed on the prediction image, and the prediction image after the filter processing is output to the subtraction unit 6 and the addition unit 9. The filter is selected in consideration of at least one of the following four parameters.
  • the intra prediction means is composed of the changeover switch 3 and the intra prediction unit 4.
  • the motion compensated prediction unit 5 is stored by the motion compensated prediction frame memory 12. Based on the inter prediction parameter output from the encoding control unit 1, using a reference image of one or more frames, a process for generating a predicted image is performed by performing a motion compensation prediction process for the encoded block .
  • the changeover switch 3 and the motion compensation prediction unit 5 constitute a motion compensation prediction means.
  • the process to generate is performed.
  • the subtracting unit 6 constitutes a difference image generating unit.
  • the transform / quantization unit 7 transforms the difference image generated by the subtraction unit 6 (for example, DCT (discrete) in units of transform block size included in the prediction error coding parameter output from the coding control unit 1.
  • the transform / quantization unit 7 constitutes an image compression unit.
  • the inverse quantization / inverse transform unit 8 performs inverse quantization on the compressed data output from the transform / quantization unit 7 using the quantization parameter included in the prediction error encoding parameter output from the encoding control unit 1.
  • Inverse transform processing for example, inverse DCT (Inverse Discrete Cosine Transform), inverse KL transform, etc.
  • the process of outputting the compressed data after the inverse transform process as a local decoded prediction error signal is performed.
  • the adding unit 9 adds the local decoded prediction error signal output from the inverse quantization / inverse transform unit 8 and the prediction signal indicating the prediction image generated by the intra prediction unit 4 or the motion compensated prediction unit 5, thereby performing local decoding. A process of generating a locally decoded image signal indicating an image is performed.
  • the intra prediction memory 10 is a recording medium such as a RAM that stores a local decoded image indicated by the local decoded image signal generated by the adding unit 9 as an image used in the next intra prediction process by the intra prediction unit 4.
  • the loop filter unit 11 compensates for the coding distortion included in the locally decoded image signal generated by the adder 9, and performs motion compensation prediction using the locally decoded image indicated by the locally decoded image signal after the coding distortion compensation as a reference image.
  • a process of outputting to the frame memory 12 is performed.
  • the motion compensated prediction frame memory 12 is a recording medium such as a RAM that stores a locally decoded image after the filtering process by the loop filter unit 11 as a reference image used in the next motion compensated prediction process by the motion compensated prediction unit 5.
  • the variable length encoding unit 13 includes the compressed data output from the transform / quantization unit 7, the encoding mode and prediction error encoding parameter output from the encoding control unit 1, and the intra output from the intra prediction unit 4.
  • the prediction parameter or the inter prediction parameter output from the motion compensation prediction unit 5 is variable-length encoded, and the compressed data, the encoding mode, the prediction error encoding parameter, and the intra prediction parameter / inter prediction parameter encoded data are multiplexed. A process for generating a converted bitstream is performed.
  • the variable length encoding unit 13 constitutes variable length encoding means.
  • a variable-length decoding unit 51 includes compressed data, encoding mode, prediction error encoding parameter, intra, and the like related to each encoding block hierarchically divided from encoded data multiplexed in a bitstream.
  • the prediction parameter / inter prediction parameter is variable-length decoded, and the compressed data and the prediction error coding parameter are output to the inverse quantization / inverse transform unit 55, and the coding mode and the intra prediction parameter / inter prediction parameter are switched. Processing to output to the switch 52 is performed.
  • the variable length decoding unit 51 constitutes variable length decoding means.
  • the changeover switch 52 outputs the intra prediction parameter output from the variable length decoding unit 51 to the intra prediction unit 53 when the coding mode related to the coding block output from the variable length decoding unit 51 is the intra coding mode.
  • the coding mode is the inter coding mode
  • a process of outputting the inter prediction parameter output from the variable length decoding unit 51 to the motion compensation prediction unit 54 is performed.
  • the intra prediction unit 53 uses the decoded image signal in the frame to generate a prediction image by performing the intra-frame prediction process on the encoded block based on the intra prediction parameter output from the changeover switch 52. To implement. However, the intra prediction unit 53 selects the filter according to the state of various parameters related to the decoding of the filter processing target block from the one or more filters prepared in advance after generating the predicted image, The filter process is performed on the predicted image using a filter, and the predicted image after the filter process is output to the adding unit 56. The filter is selected in consideration of at least one of the following four parameters.
  • Block size parameter of the predicted image (2) Quantization parameter / parameter (3) variable length decoded by the variable length decoding unit 51 Distance / parameter (4) between the decoded image signal in the frame used for generating the prediction image and the pixel to be filtered
  • Intra Prediction Parameters Variable Length Decoded by Variable Length Decoding Unit 51
  • the intra prediction means is composed of the changeover switch 52 and the intra prediction unit 53.
  • the motion compensation prediction unit 54 performs motion compensation prediction processing for the encoded block based on the inter prediction parameter output from the changeover switch 52 using one or more reference images stored in the motion compensation prediction frame memory 59.
  • generates an estimated image is implemented by implementing.
  • the changeover switch 52 and the motion compensation prediction unit 54 constitute a motion compensation prediction unit.
  • the inverse quantization / inverse transform unit 55 uses the quantization parameter included in the prediction error coding parameter output from the variable length decoding unit 51 to compress the coding block output from the variable length decoding unit 51.
  • Data is inversely quantized, and inverse transform processing (for example, inverse DCT (Inverse Discrete Cosine Transform) or inverse KL transform) is performed on the transform block size unit included in the prediction error coding parameter. (Inverse transform process) is performed to output the compressed data after the inverse transform process as a decoded prediction error signal (a signal indicating a difference image before compression).
  • the inverse quantization / inverse conversion unit 55 constitutes a difference image generation unit.
  • the addition unit 56 adds the decoded prediction error signal output from the inverse quantization / inverse conversion unit 55 and the prediction signal indicating the prediction image generated by the intra prediction unit 53 or the motion compensated prediction unit 54, thereby obtaining a decoded image.
  • generates the decoded image signal shown is implemented.
  • the adding unit 56 constitutes a decoded image generating unit.
  • the intra prediction memory 57 is a recording medium such as a RAM that stores a decoded image indicated by the decoded image signal generated by the adding unit 56 as an image used by the intra prediction unit 53 in the next intra prediction process.
  • the loop filter unit 58 compensates for the coding distortion included in the decoded picture signal generated by the adder 56, and uses the decoded picture indicated by the decoded picture signal after the coding distortion compensation as a reference picture as a motion compensated prediction frame memory 59. Execute the process to output to.
  • the motion compensated prediction frame memory 59 is a recording medium such as a RAM that stores a decoded image after the filtering process by the loop filter unit 58 as a reference image to be used by the motion compensation prediction unit 54 in the next motion compensation prediction process.
  • FIG. 1 a coding control unit 1, a block division unit 2, a changeover switch 3, an intra prediction unit 4, a motion compensation prediction unit 5, a subtraction unit 6, and a transform / quantization unit 7, which are components of the moving image coding apparatus.
  • the inverse quantization / inverse transform unit 8, the adder unit 9, the loop filter unit 11 and the variable length coding unit 13 each have dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer)
  • a program describing the processing contents of the prediction unit 5, subtraction unit 6, transformation / quantization unit 7, inverse quantization / inverse transformation unit 8, addition unit 9, loop filter unit 11, and variable length coding unit 13 Computer Stored in the memory, CPU of the computer may execute a program stored in the memory.
  • FIG. 3 is a flowchart showing the processing contents of the moving picture coding apparatus
  • a variable length decoding unit 51, a changeover switch 52, an intra prediction unit 53, a motion compensation prediction unit 54, an inverse quantization / inverse transformation unit 55, an addition unit 56, and a loop filter unit which are components of the moving image decoding apparatus.
  • 58 is assumed to be configured by dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer), but the moving image decoding apparatus is configured by a computer.
  • a program describing the processing contents of the variable length decoding unit 51, the changeover switch 52, the intra prediction unit 53, the motion compensation prediction unit 54, the inverse quantization / inverse transformation unit 55, the addition unit 56, and the loop filter unit 58. May be stored in the memory of the computer, and the CPU of the computer may execute the program stored in the memory.
  • FIG. 4 is a flowchart showing the processing contents of the video decoding apparatus according to Embodiment 1 of the present invention.
  • the encoding control unit 1 determines the maximum size of an encoding block that is a processing unit when intra prediction processing (intraframe prediction processing) or motion compensation prediction processing (interframe prediction processing) is performed, The upper limit number of layers when the coding block of the maximum size is divided hierarchically is determined (step ST1 in FIG. 3).
  • a method of determining the maximum size of the encoded block for example, a method of determining a size corresponding to the resolution of the input image for all the pictures can be considered.
  • the difference in complexity of local motion of the input image is quantified as a parameter, and the maximum size is determined to be a small value for pictures with intense motion, and the maximum size is determined to be a large value for pictures with little motion. Etc. are considered.
  • the upper limit of the number of hierarchies is set so that, for example, the more the input image moves, the deeper the number of hierarchies, so that finer motion can be detected, and the less the input image moves, the lower the number of hierarchies. A way to do this is conceivable.
  • the encoding control unit 1 includes each encoding block divided hierarchically from one or more available encoding modes (M types of intra encoding modes and N types of inter encoding modes). Is selected (step ST2). Since the encoding mode selection method by the encoding control unit 1 is a known technique, detailed description thereof is omitted. For example, encoding processing is performed on the encoding block using any available encoding mode. Then, there is a method of verifying the encoding efficiency and selecting an encoding mode having the highest encoding efficiency among a plurality of available encoding modes.
  • the encoding control unit 1 determines a quantization parameter and a transform block size that are used when the difference image is compressed for each encoding block, and an intra that is used when the prediction process is performed. A prediction parameter or an inter prediction parameter is determined.
  • the encoding control unit 1 outputs the prediction error encoding parameter including the quantization parameter and the transform block size to the transform / quantization unit 7, the inverse quantization / inverse transform unit 8, and the variable length coding unit 13. Further, the prediction error coding parameter is output to the intra prediction unit 4 as necessary.
  • FIG. 5 is an explanatory diagram showing a state in which a coding block of the maximum size is hierarchically divided into a plurality of coding blocks.
  • the coding block of the maximum size is the coding block B 0 of the 0th layer, and has a size of (L 0 , M 0 ) as a luminance component.
  • the encoding block B n is obtained by performing hierarchical division to a predetermined depth determined separately in a quadtree structure with the encoding block B 0 having the maximum size as a starting point. Yes.
  • the coding block B n is an image area of size (L n , M n ).
  • the size of the encoded block B n is defined as the size of the luminance component of the encoded block B n (L n, M n ).
  • the encoding mode m (B n ) may be configured to use an individual mode for each color component, but hereinafter, unless otherwise specified, YUV The description will be made on the assumption that it indicates the coding mode for the luminance component of the coding block of the signal 4: 2: 0 format.
  • the coding mode m (B n ) includes one or more intra coding modes (collectively “INTRA”), one or more inter coding modes (collectively “INTER”), As described above, the encoding control unit 1 selects an encoding mode having the highest encoding efficiency for the encoding block B n from all the encoding modes available for the picture or a subset thereof. .
  • the coding block B n is further divided into one or more prediction processing units (partitions).
  • the partition belonging to the coding block B n is denoted as P i n (i: the partition number in the nth layer). How the partition P i n belonging to the coding block B n is divided is included as information in the coding mode m (B n ). All partitions P i n are subjected to prediction processing according to the coding mode m (B n ), but individual prediction parameters can be selected for each partition P i n .
  • the encoding control unit 1 generates a block division state as shown in FIG. 6 for the encoding block of the maximum size, and specifies the encoding block Bn .
  • 6A shows the distribution of the partitions after the division
  • FIG. 6B shows a situation where the encoding mode m (B n ) is assigned to the partition after the hierarchy division in the quadtree graph. Is shown.
  • nodes surrounded by squares indicate nodes (encoded blocks B n ) to which the encoding mode m (B n ) is assigned.
  • the encoding control unit 1 selects the optimal coding mode m (B n) for the partition P i n in each of the coding blocks B n, the encoding mode m (B n) is If it is the intra coding mode (step ST3), the partition P i n of the coding block B n divided by the block dividing unit 2 is output to the intra prediction unit 4. On the other hand, if the coding mode m (B n ) is the inter coding mode (step ST 3), the partition P i n of the coding block B n divided by the block dividing unit 2 is output to the motion compensation prediction unit 5. To do.
  • the intra prediction unit 4 When the intra prediction unit 4 receives the partition P i n of the coding block B n from the changeover switch 3, the intra prediction unit 4 uses the coded image signal in the frame as the intra prediction parameter output from the coding control unit 1. Based on this, intra-prediction processing for the partition P i n of the coding block B n is performed to generate an intra prediction image P i n (step ST4). However, the intra prediction unit 4, after generating the intra prediction image P i n in the above, from among one or more filters prepared in advance, depending on the state of various parameters relating to the encoding of the filter processing target block select a filter, using the filter, carrying out the filtering processing for the intra prediction image P i n.
  • Intra prediction unit 4 when carrying out filter processing of the intra prediction image P i n, but outputs the intra prediction image P i n after filtering the subtraction unit 6 and the addition section 9, even in the video decoding apparatus of FIG. 2 to be able to generate the same intra prediction image P i n, and outputs the intra prediction parameters in variable length coding unit 13.
  • the outline of the processing content of the intra prediction unit 4 is as described above, but the detailed processing content will be described later.
  • the motion compensation prediction unit 5 When the motion compensation prediction unit 5 receives the partition P i n of the coding block B n from the changeover switch 3, the motion compensation prediction unit 5 uses the reference image of one or more frames stored in the motion compensation prediction frame memory 12 to use the coding control unit. based on the inter prediction parameter output from the 1, it generates an inter prediction image P i n by performing motion compensation prediction processing on partition P i n in the coded blocks B n (step ST5).
  • generates a prediction image by implementing a motion compensation prediction process is a well-known technique, detailed description is abbreviate
  • the subtraction unit 6 encodes the encoded block B n divided by the block division unit 2.
  • a difference image is generated by subtracting a prediction image (intra prediction image P i n , inter prediction image P i n ) generated by the intra prediction unit 4 or the motion compensated prediction unit 5 from the partition P i n of a prediction error signal e i n representing a difference image is output to the transform and quantization unit 7 (step ST6).
  • the transform / quantization unit 7 When the transform / quantization unit 7 receives the prediction error signal e i n indicating the difference image from the subtraction unit 6, the transform / quantization unit 7 performs the transform block size unit included in the prediction error coding parameter output from the coding control unit 1.
  • the difference image conversion process for example, DCT (Discrete Cosine Transform) or orthogonal conversion process such as KL conversion in which a base design is made in advance for a specific learning sequence
  • the prediction error encoding is performed.
  • the quantization coefficient included in the parameter is used to quantize the transform coefficient of the difference image, so that the quantized transform coefficient is converted into the compressed data of the difference image and the inverse quantization / inverse transform unit 8 and the variable length It outputs to the encoding part 13 (step ST7).
  • the inverse quantization / inverse transform unit 8 uses the quantization parameter included in the prediction error coding parameter output from the coding control unit 1. Then, the compressed data of the difference image is inversely quantized, and inverse transform processing of the compressed data of inverse quantization (for example, inverse DCT (inverse discrete cosine transform) is performed in the unit of transform block size included in the prediction error encoding parameter.
  • inverse transform processing of the compressed data of inverse quantization for example, inverse DCT (inverse discrete cosine transform) is performed in the unit of transform block size included in the prediction error encoding parameter.
  • the adder 9 Upon receiving the local decoded prediction error signal e i n hat from the inverse quantization / inverse transform unit 8, the adder 9 receives the local decoded prediction error signal e i n hat and the intra prediction unit 4 or the motion compensation prediction unit 5. By adding a prediction signal indicating the generated prediction image (intra prediction image P i n , inter prediction image P i n ), a local decoded partition image P i n hat or a local decoded encoded block image as a collection thereof is used. A local decoded image is generated (step ST9). When generating the locally decoded image, the adding unit 9 stores the locally decoded image signal indicating the locally decoded image in the intra prediction memory 10 and outputs the locally decoded image signal to the loop filter unit 11.
  • steps ST3 to ST9 are repeatedly performed until the processes for all the encoded blocks Bn divided hierarchically are completed, and when the processes for all the encoded blocks Bn are completed, the process proceeds to the process of step ST12. (Steps ST10 and ST11).
  • the variable length encoding unit 13 includes the compressed data output from the transform / quantization unit 7, the encoding mode output from the encoding control unit 1 (including information indicating the division state of the encoded block), and a prediction error.
  • the encoding parameter and the intra prediction parameter output from the intra prediction unit 4 or the inter prediction parameter output from the motion compensation prediction unit 5 are entropy encoded.
  • the variable length encoding unit 13 multiplexes the compressed data, the encoding mode, the prediction error encoding parameter, and the intra prediction parameter / inter prediction parameter encoded data, which are the encoding results of entropy encoding, to generate a bitstream. (Step ST12).
  • the loop filter unit 11 compensates for the encoding distortion included in the locally decoded image signal, and the locally decoded image indicated by the locally decoded image signal after the encoding distortion compensation Is stored in the motion compensated prediction frame memory 12 as a reference image (step ST13).
  • the filtering process by the loop filter unit 11 may be performed on the maximum encoded block of the locally decoded image signal output from the adder 9 or on an individual encoded block basis, or on a unit of a plurality of maximum encoded blocks. Or after one local decoded image signal for one picture has been output.
  • FIG. 7 is an explanatory diagram showing an example of intra prediction parameters (intra prediction modes) that can be selected in each partition P i n in the coding block B n .
  • intra prediction modes intra prediction parameters
  • the intra prediction mode and the prediction direction vector indicated by the intra prediction mode are represented, and the relative angle between the prediction direction vectors decreases as the number of selectable intra prediction modes increases. is doing.
  • the intra prediction unit 4 performs an intra prediction process for the partition P i n based on an intra prediction parameter for the partition P i n and a selection parameter of a filter used for generating the intra predicted image P i n .
  • intra prediction parameters intra prediction mode
  • P i n described intra process of generating an intra prediction signal of the luminance signal.
  • the number of pixels used for prediction may be more or less than the pixels shown in FIG.
  • pixels for one adjacent row or one column are used for prediction, but two or two or more pixels may be used for prediction.
  • the index value of the intra prediction mode for the partition P i n 2 (average value prediction)
  • the average value of the adjacent pixels of the upper partition and the adjacent pixels of the left partition is used as the predicted value of the pixels in the partition P i n .
  • a prediction image is generated.
  • the position of the reference pixel used for prediction is the intersection of A and the adjacent pixel shown below.
  • the integer pixel When the reference pixel is at the integer pixel position, the integer pixel is set as the prediction value of the prediction target pixel. On the other hand, when the reference pixel is not located at the integer pixel position, an interpolation pixel generated from the integer pixel adjacent to the reference pixel is set as the predicted value. In the example of FIG. 8, since the reference pixel is not located at the integer pixel position, the prediction value is calculated by interpolating from two pixels adjacent to the reference pixel. However, the predicted value is not limited to two adjacent pixels, and an interpolation pixel may be generated from two or more adjacent pixels as the predicted value.
  • a filter to be used is selected from at least one or more filters prepared in advance by a method described later, and filter processing is performed on each pixel of the intermediate predicted image according to the following equation (1).
  • s (p n ) represents the luminance value of each reference pixel, and s hat (p 0 ) represents the luminance value after filtering in the pixel to be filtered p 0 .
  • the filter coefficients may be configured that there is no offset coefficient a N.
  • N is an arbitrary number of reference pixels.
  • the filtering process When performing the filtering process, as the size of the partition P i n (l i n ⁇ m i n) is large, non-straight edges such as is likely to exist in the input image, the predicted direction of the intermediate prediction image Since the deviation is likely to occur, it is preferable to smooth the intermediate predicted image. Furthermore, the larger the quantized value of the prediction error, quantization distortion generated in the decoded image is increased, because the prediction accuracy of the intermediate predicted image generated from encoded pixels adjacent to the partition P i n is lower it is preferable to prepare a predicted image such smoothed to roughly represent the partition P i n.
  • the misalignment of the edge or the like between the intermediate predicted image and the input image Since it is likely to occur, it is better to smooth the prediction image so as to suppress a sudden increase in prediction error when a deviation occurs.
  • the reference pixels are appropriately arranged according to the prediction direction of the intermediate prediction image, and the pattern such as the edge of the intermediate prediction image is unnaturally distorted. It is necessary not to.
  • the filter selection process is configured to select a filter in consideration of the following four parameters (1) to (4).
  • the filter strength and the reference pixel arrangement in consideration of the prediction direction of the intra prediction mode so that the filter with stronger smoothing strength is used as the distance from the encoded pixel group used when generating an intermediate prediction image increases.
  • adaptive selection of a filter according to the above parameters is realized by associating an appropriate filter from a group of filters prepared in advance with each of the above parameter combinations.
  • the number of types of filter strengths is not limited as long as it is two or more, and the weakest filter may be defined as processing equivalent to no filter processing as an expression of filter strength. Therefore, the filter process may be configured such that only a specific pixel in the intermediate prediction image is filtered and the other pixels are the weakest filter process, that is, no filter process is performed. In the above description, it is assumed that a necessary number of filters are prepared in advance. However, the filter is selected so that the filter is calculated according to the value of the filter selection parameter. It may be defined and used as a function.
  • the configuration is shown in which the filter is selected in consideration of the four parameters (1) to (4), but at least the four parameters (1) to (4) are selected.
  • the filter may be selected in consideration of one or more parameters.
  • the distance from the pixel used for prediction of each pixel to be filtered according to the prediction direction of the intra prediction mode (example in FIG. 8).
  • a configuration in which a stronger filter is selected as a distance from a “reference pixel” adjacent to the upper end of the block increases.
  • the four parameters (1) to (4) are parameters already known on the moving image decoding apparatus side, no additional information to be encoded is generated by performing the above filter processing.
  • Intra prediction parameters used to generate the intra prediction image P i n outputs to the variable length coding unit 13 for multiplexing the bitstream.
  • the intra-prediction of the color difference signal may be configured so that the filtering process described above is performed in the same manner as the luminance signal, or may not be performed.
  • variable length decoding unit 51 receives the bit stream output from the image encoding device in FIG. 1, the variable length decoding unit 51 performs a variable length decoding process on the bit stream and performs a sequence unit or a picture composed of one or more frames.
  • the frame size information is decoded in units (step ST21 in FIG. 4).
  • the variable length decoding unit 51 is a unit of processing when intra prediction processing (intraframe prediction processing) or motion compensation prediction processing (interframe prediction processing) is performed in the same procedure as the coding control unit 1 in FIG. Is determined, and the upper limit number of layers when the maximum size encoded block is hierarchically divided is determined (step ST22).
  • the maximum size of the encoded block is determined according to the resolution of the input image, the maximum size of the encoded block is determined based on the previously decoded frame size information. .
  • the information decoded from the bit stream is referred to.
  • variable The long decoding unit 51 decodes the encoding mode m (B 0 ) of the maximum size encoding block B 0 multiplexed in the bitstream, and each encoding block B n divided hierarchically. Is specified (step ST23).
  • the variable length decoding unit 51 identifies each coding block B n
  • the variable length decoding unit 51 decodes the coding mode m (B n ) of the coding block B n and belongs to the coding mode m (B n ).
  • variable length decoding unit 51 based on the information of the partition P i n, identifies the partition P i n that belong to coded blocks B n.
  • the variable length decoding unit 51 compresses the compressed data, the coding mode, the prediction error coding parameter, the intra prediction parameter / inter prediction for each partition P i n.
  • the parameter is decoded (step ST24).
  • the intra prediction parameter is decoded for each partition P i n belonging to the coding block.
  • the coding mode m (B n ) assigned to the coding block B n is the inter coding mode
  • the inter prediction parameter is decoded for each partition P i n belonging to the coding block.
  • the partition serving as the prediction processing unit is further divided into one or a plurality of partitions serving as the transform processing unit based on the transform block size information included in the prediction error encoding parameter, and compressed data (for each partition serving as the transform processing unit ( (Transform coefficient after transform / quantization) is decoded.
  • the changeover switch 52 is the variable length decoding unit (step ST25).
  • the intra prediction parameter output from 51 is output to the intra prediction unit 53.
  • the coding mode m (B n ) of the partition P i n is the inter coding mode (step ST25)
  • the inter prediction parameter output from the variable length decoding unit 51 is output to the motion compensation prediction unit 54.
  • the intra prediction unit 53 When receiving the intra prediction parameter from the changeover switch 52, the intra prediction unit 53 uses the decoded image signal in the frame and encodes it based on the intra prediction parameter, as in the case of the intra prediction unit 4 in FIG.
  • An intra-prediction image P i n is generated by performing intra-frame prediction processing on the partition P i n of the block B n (step ST26).
  • the intra prediction unit 53 when generating an intra prediction image P i n, from among one or more filters prepared in advance by the intra prediction unit 4 and the same procedure of FIG.
  • the decoding of the filter processing target block select a filter according to the state of various parameters relating to, using the filter, and out the filter processing for the intra prediction image P i n, final intra intra prediction image P i n after filtering It is a predicted image.
  • the filters are calculated according to the parameter states used by the intra prediction unit 4 in FIG. 1 for filter selection.
  • the intra prediction unit 53 similarly sets the filter so that the filter is calculated according to the state of various parameters related to the decoding of the filter processing target block. You may comprise so that it may define as a function of.
  • the motion compensation prediction unit 54 uses one or more reference images stored in the motion compensation prediction frame memory 59, and based on the inter prediction parameter, encodes a coding block.
  • An inter-predicted image P i n is generated by performing motion compensation prediction processing for the partition P i n of B n (step ST27).
  • the inverse quantization / inverse transform unit 55 uses the quantization parameter included in the prediction error coding parameter output from the variable length decoding unit 51, and relates to the coding block output from the variable length decoding unit 51.
  • the compressed data is inversely quantized, and the inverse quantization processing (for example, inverse DCT (inverse discrete cosine transform) or inverse KL transform) is performed on the basis of the transform block size included in the prediction error coding parameter.
  • the inverse quantization processing for example, inverse DCT (inverse discrete cosine transform) or inverse KL transform
  • the compressed data after the inverse transformation process is output to the adding unit 56 as a decoded prediction error signal (a signal indicating a difference image before compression) (step ST28).
  • the adding unit 56 Upon receiving the decoded prediction error signal from the inverse quantization / inverse transform unit 55, the adding unit 56 adds the decoded prediction error signal and a prediction signal indicating the prediction image generated by the intra prediction unit 53 or the motion compensated prediction unit 54 Thus, a decoded image is generated, and a decoded image signal indicating the decoded image is stored in the intra prediction memory 57, and the decoded image signal is output to the loop filter unit 58 (step ST29).
  • steps ST23 to ST29 are repeatedly performed until the processes for all the hierarchically divided coding blocks Bn are completed (step ST30).
  • the loop filter unit 58 compensates for the encoding distortion included in the decoded image signal, and uses the decoded image indicated by the decoded image signal after the encoding distortion compensation as a reference image. It stores in the motion compensation prediction frame memory 59 (step ST31).
  • the filtering process by the loop filter unit 58 may be performed in units of maximum encoded blocks or individual encoded blocks of the decoded image signal output from the adder 56, or a decoded image signal corresponding to a macroblock for one screen. May be performed for one screen at a time after is output.
  • the intra prediction unit 4 of the video encoding device performs intra-frame prediction processing using an intra-frame encoded image signal, thereby allowing intra-frame prediction processing.
  • a filter is selected from one or more filters prepared in advance according to the state of various parameters related to the encoding of the filter processing target block, and the filter is used to generate the prediction image. Since the configuration is such that the filtering process is performed, an effect of reducing the prediction error that occurs locally and improving the image quality is achieved.
  • a quantum intra prediction unit 4 is included (1) the size of the partition P i n (l i n ⁇ m i n), (2) the prediction error encoding parameters (3) the distance between the encoded pixel group used when generating the intermediate prediction image and the pixel to be filtered, and (4) the index value of the intra prediction mode when generating the intermediate prediction image, at least Since the filter is selected in consideration of one or more parameters, the intermediate prediction image having a high correlation with the encoding target image is between the edge direction and the prediction direction of the encoding target image. An effect of suppressing a local prediction error that occurs when there is a slight shift or a slight distortion at the edge is obtained, and the effect of improving the prediction efficiency is achieved.
  • the intra prediction unit 53 of the video decoding device prepares in advance when generating an intra predicted image by performing an intra frame prediction process using a decoded image signal in a frame. Since the filter is selected according to the state of various parameters related to the decoding of the filter processing target block from the one or more filters that are being processed, and the filter process is performed on the prediction image using the filter. In addition, it is possible to reduce the locally generated prediction error and to generate the same intra-predicted image as the intra-predicted image generated on the video encoding device side on the video decoding device side.
  • a quantum intra prediction unit 53 is included (1) the size of the partition P i n (l i n ⁇ m i n), (2) the prediction error encoding parameters (3) the distance between the encoded pixel group used when generating the intermediate prediction image and the pixel to be filtered, and (4) the index value of the intra prediction mode when generating the intermediate prediction image, at least Since the filter is selected in consideration of one or more parameters, the intermediate prediction image having a high correlation with the encoding target image is between the edge direction and the prediction direction of the encoding target image.
  • Embodiment 2 when the intra prediction unit 4 generates an intra predicted image by performing an intra frame prediction process using an encoded image signal in a frame, one or more prepared in advance.
  • the filter is selected according to the state of various parameters related to the encoding of the block to be filtered, and the filter processing is performed on the prediction image using the filter. Designing a Wiener filter that minimizes the sum of square errors between a block and a predicted image, and using the Wiener filter rather than using a filter selected from one or more filters prepared in advance However, if the degree of reduction of the prediction error is high, the Wiener filter is used instead of the selected filter to Filtering of the may be performed.
  • the processing contents will be specifically described below.
  • the intra prediction units 4 and 53 select a filter from one or more prepared filters according to the state of various parameters related to the encoding of the filter processing target block. ing.
  • a filter in consideration of the four parameters (1) to (4), it is possible to select an appropriate filter from the selection candidates, but there is an optimum filter other than the selection candidates. In this case, “optimal filter processing” cannot be performed.
  • an optimal filter is designed and filtered on the moving picture encoding device side for each picture, and the filter coefficients of the filter are encoded. The filter processing using the filter is performed by decoding the filter coefficient or the like.
  • the intra prediction unit 4 of the video encoding device generates an intra predicted image P i n by performing intra-frame prediction processing on the partition P i n of the encoded block B n as in the first embodiment. .
  • the intra prediction unit 4 uses the same method as in the first embodiment to filter out one or more filters prepared in advance according to the state of various parameters related to the encoding of the filter processing target block. selected, it performs a filtering process to the intra prediction image P i n using this filter.
  • the intra prediction unit 4 After the intra prediction parameters have been determined for all the coding blocks Bn in the picture, the intra prediction unit 4 performs an intra-region for each region (region having the same filter index) in which the same filter is used in the picture. Design a Wiener filter that minimizes the sum of square errors between the input image and the intra-predicted image (mean square error in the target region).
  • the Wiener filter uses the autocorrelation matrix R s ′ s ′ of the intermediate predicted image signal s ′ and the cross-correlation matrix R ss ′ of the input image signal s and the intermediate predicted image signal s ′ to filter coefficients from the following equation (4). w can be obtained.
  • the sizes of the matrices R s ′s ′ and R ss ′ correspond to the number of filter taps to be obtained.
  • the intra prediction unit 4 sets the square error sum in the filter design target area when the filter process is performed using the Wiener filter to D1, and information related to the Wiener filter (for example, filter The code amount when the coefficient is encoded is R1, and the square error sum in the filter design target area when the filter processing is performed using the filter selected by the same method as in the first embodiment is D2. Then, it is confirmed whether or not the following formula (5) is established. D1 + ⁇ ⁇ R1 ⁇ D2 (5) Where ⁇ is a constant.
  • the intra prediction unit 4 performs the filter process using the Wiener filter instead of the filter selected by the same method as in the first embodiment.
  • the filter process is performed using the filter selected by the same method as in the first embodiment.
  • the evaluation is performed using the square error sums D1 and D2, but the present invention is not limited to this. Instead of the square error sums D1 and D2, other prediction distortions such as the sum of absolute values of errors are used. You may make it evaluate using the scale to represent.
  • the filter coefficient of the Wiener filter and filter update information indicating which index filter is replaced with the Wiener filter are required. Specifically, when the number of filters that can be selected by the filter processing using the filter selection parameter is L and an index of 0 to L-1 is assigned to each filter, the Wiener filter designed for each index is used. It is necessary to encode a value of “1” when using the filter update information and a value of “0” when using a filter prepared in advance as filter update information.
  • the variable length encoding unit 13 performs variable length encoding on the filter update information output from the intra prediction unit 4, and multiplexes the encoded data of the filter update information into a bit stream.
  • a Wiener filter that minimizes the mean square error between the input image and the predicted image in the area has been shown.
  • a Wiener filter that minimizes the mean square error between the input image and the predicted image in the area may be designed for each area where the same filter is used. The filter design is performed only when a specific picture is designed or when a specific condition is met (for example, a scene change detection function is added and a scene change is detected). You may do it.
  • the variable length decoding unit 51 of the video decoding device performs variable length decoding of the filter update information from the encoded data multiplexed in the bit stream.
  • the intra prediction unit 53 generates an intra-predicted image P i n by performing intra-frame prediction processing on the partition P i n of the encoded block B n as in the first embodiment.
  • the intra prediction unit 53 receives the filter update information from the variable length decoding unit 51, the intra prediction unit 53 refers to the filter update information and confirms whether there is an update in the filter of the corresponding index.
  • the intra prediction unit 53 reads the filter coefficient of the Wiener filter included in the filter update information when the filter of a certain region is replaced with the Wiener filter, and the Wiener filter identify, using the Wiener filter performs a filtering of the intra prediction image P i n.
  • the intra prediction unit 53 reads the filter coefficient of the Wiener filter included in the filter update information when the filter of a certain region is replaced with the Wiener filter, and the Wiener filter identify, using the Wiener filter performs a filtering of the intra prediction image P i n.
  • the areas not replaced by Wiener filter select the filter in the same manner as in the first embodiment, by using the filter, carrying out the filtering of the intra prediction image P i n.
  • a Wiener filter that minimizes the sum of square errors between a block to be encoded and a predicted image is designed, and one or more filters prepared in advance are used. If the degree of reduction in prediction error is higher when using the Wiener filter than using the filter selected from among them, using the Wiener filter instead of the selected filter, the predicted image Since the filter processing is performed, the prediction error occurring locally can be reduced more than in the first embodiment.
  • the intra prediction unit uses the encoded image signal in the frame
  • a filter is selected from among one or more filters prepared in advance according to the state of various parameters related to the encoding of the filter processing target block, Since the filter is used to perform the filtering process on the predicted image and the predicted image after the filter process is output to the difference image generating unit, the moving image encoding apparatus that encodes the moving image with high efficiency And a moving picture coding method, a moving picture decoding apparatus that decodes a moving picture coded with high efficiency, a moving picture decoding method, and the like.
  • Encoding control unit encoding control unit
  • Block division unit block division unit
  • Changeover switch Intra prediction unit, motion compensation prediction unit
  • Intra prediction unit Intra prediction unit
  • Motion compensation prediction. Part motion compensation prediction means
  • 6 subtraction part difference image generation means
  • 7 transformation / quantization part image compression means
  • 8 inverse quantization / inverse transformation part 9 addition part, 10 intra prediction memory, 11 Loop filter unit, 12 motion compensated prediction frame memory, 13 variable length coding unit (variable length coding unit), 51 variable length decoding unit (variable length decoding unit), 52 changeover switch (intra prediction unit, motion compensation prediction unit)
  • Intra prediction unit Intra prediction unit
  • Motion compensation prediction unit motion compensation prediction unit
  • Inverse quantization / inverse transform unit difference image generator
  • 56 adder unit decoded image generating means
  • 57 intra prediction memory 58 a loop filter unit
  • 59 motion-compensated prediction frame memory motion-compensated prediction frame memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　イントラ予測部４がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施する。これにより、局所的に発生する予測誤差を低減して、画像品質を高めることができる。

Description

動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
　この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
　例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）や「ＩＴＵ－Ｔ　Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック（符号化対象ブロック）に分割し、その符号化対象ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化対象ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。
　例えば、国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ　１４４９６－１０｜ＩＴＵ－Ｔ　Ｈ．２６４）では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている（例えば、非特許文献１を参照）。
　ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から１つの予測モードを選択することができる。
　図１０は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
　図１０において、白丸が符号化対象のブロック内の画素である。黒丸は予測に用いる画素であり、符号化済みの隣接ブロック内の画素である。
　図１０では、イントラ予測モードとして、９個のモード０～モード８が用意されているが、モード２は平均値予測を行うモードであり、上と左のブロックの隣接画素の平均値で、符号化対象ブロック内の画素を予測する。
　モード２以外のモードは方向性予測を行うモードである。モード０は垂直方向予測であり、上のブロックの隣接画素を垂直方向に繰り返すことで予測画像を生成する。例えば、縦縞模様のときにはモード０が選択される。
　モード１は水平方向予測であり、左のブロックの隣接画素を水平方向に繰り返すことで予測画像を生成する。例えば、横縞模様のときにはモード１が選択される。
　モード３～モード８は、上または左のブロックの隣接画素を用いて、所定の方向（矢印が示す方向）に補間画素を生成して予測画像を生成する。
　イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、８×８画素の場合には、４×４画素の場合と同様に９個のイントラ予測モードが規定されている。
　１６×１６画素の場合には、４個のイントラ予測モード（平均値予測、垂直方向予測、水平方向予測、平面予測）が規定されている。
　平面予測は、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。
　ブロックサイズが４×４画素または８×８画素の場合の方向性予測モードは、例えば、４５度など、モードによって予め定められた方向で予測値を生成するため、ブロック内のオブジェクトの境界（エッジ）の方向が、予測モードが示す方向と一致する場合、予測効率が高くなって符号量を削減することができる。
　しかし、エッジの方向と予測モードが示す方向との間に僅かにずれが生じていたり、方向が一致していても符号化対象ブロック内のエッジが僅かに歪んで（揺らぐ、曲がる等）いたりするだけで、局所的に大きな予測誤差が発生してしまって、予測効率が極端に低下することがある。
　このような予測効率の低下を防ぐために、８×８画素の方向性予測では、符号化済みの隣接画素に平滑化フィルタを施したものを予測画像の生成時に用いる参照画像とすることで、平滑化された予測画像を生成し、予測方向の僅かなずれや、エッジに僅かな歪みが生じている場合に発生する予測誤差を低減させている。
ＭＰＥＧ－４　ＡＶＣ（ＩＳＯ／ＩＥＣ　１４４９６－１０）／ＩＴＵ－Ｔ　Ｈ．２６４規格
　従来の画像符号化装置は以上のように構成されているので、フィルタ処理を実施して、平滑化された予測画像を生成すれば、予測方向の僅かなずれや、エッジに僅かな歪みが生じても、発生する予測誤差を低減することができる。しかし、非特許文献１では、８×８画素のブロック以外にはフィルタ処理を実施しておらず、８×８画素のブロックに用いるフィルタも一通りしかない。実際には、８×８画素以外のサイズのブロックでも同様に、予測画像と符号化対象画像の絵柄が似ていても、エッジの僅かなミスマッチによって、局所的に大きな予測誤差が発生して、予測効率の大幅な低下が生じることがある課題があった。
　また、同一サイズのブロックにおいても、予測誤差信号を量子化する際に用いる量子化パラメータや、ブロック内の画素の位置などが異なると、局所的な予測誤差を低減するのに適しているフィルタが異なるが、一通りのフィルタしか用意されておらず、予測誤差を十分に低減することができない課題があった。
　この発明は上記のような課題を解決するためになされたもので、局所的に発生する予測誤差を低減して、画像品質を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。
　この発明に係る動画像符号化装置は、イントラ予測手段がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を差分画像生成手段に出力するようにしたものである。
　この発明によれば、イントラ予測手段がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を差分画像生成手段に出力するように構成したので、局所的に発生する予測誤差を低減して、画像品質を高めることができる効果がある。
この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 （ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化ブロックＢｎ内の各パーティションＰｉ ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌｉ ｎ＝ｍｉ ｎ＝４のとき、パーティションＰｉ ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 Ｎ＝５の場合の参照画素配置の一例を示す説明図である。 輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　この実施の形態１では、映像の各フレーム画像を入力し、符号化済みの近傍画素からのイントラ予測処理または近接フレーム間で動き補償予測処理を実施することで予測画像を生成し、その予測画像とフレーム画像の差分画像である予測誤差信号に対して、直交変換・量子化による圧縮処理を施した後に、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
　この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
　一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
　時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
　符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測誤差信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
　一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測誤差信号の符号量を削減することができない。
　そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測誤差信号の電力・エントロピーを低減するほうが望ましい。
　このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測誤差の符号化処理を実施するようにしている。
　この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
　各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
　ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
　なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
　図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
　図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
　また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
　また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズは、予測誤差符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
　なお、符号化制御部１は符号化制御手段を構成している。
　ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
　切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
　イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、フレーム内の符号化済みの画像信号を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づいて、その符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
　ただし、イントラ予測部４は上記の予測画像を生成した後、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、上記の予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を減算部６及び加算部９に出力する。
　上記のフィルタは、次の４個のパラメータのうちの少なくとも１つ以上のパラメータを考慮して選択する。
・パラメータ（１）
　上記の予測画像のブロックサイズ
・パラメータ（２）
　符号化制御部１により決定された量子化パラメータ
・パラメータ（３）
　予測画像を生成する際に用いているフレーム内の符号化済みの画像信号とフィルタ処理対象画素の距離
・パラメータ（４）
　符号化制御部１により決定されたイントラ予測パラメータ
　なお、切替スイッチ３及びイントラ予測部４からイントラ予測手段が構成されている。
　動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
　なお、切替スイッチ３及び動き補償予測部５から動き補償予測手段が構成されている。
　減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック－予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
　変換・量子化部７は符号化制御部１から出力された予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。
　逆量子化・逆変換部８は符号化制御部１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測誤差信号として出力する処理を実施する。
　加算部９は逆量子化・逆変換部８から出力された局所復号予測誤差信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
　イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
　ループフィルタ部１１は加算器９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
　動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
　可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測誤差符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
　図２はこの発明の実施の形態１による動画像復号装置を示す構成図である。
　図２において、可変長復号部５１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測誤差符号化パラメータを逆量子化・逆変換部５５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ５２に出力する処理を実施する。なお、可変長復号部５１は可変長復号手段を構成している。
　切替スイッチ５２は可変長復号部５１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する処理を実施する。
　イントラ予測部５３はフレーム内の復号済みの画像信号を用いて、切替スイッチ５２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
　ただし、イントラ予測部５３は上記の予測画像を生成した後、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、上記の予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を加算部５６に出力する。
　上記のフィルタは、次の４個のパラメータのうちの少なくとも１つ以上のパラメータを考慮して選択する。
・パラメータ（１）
　上記の予測画像のブロックサイズ
・パラメータ（２）
　可変長復号部５１により可変長復号された量子化パラメータ
・パラメータ（３）
　予測画像を生成する際に用いているフレーム内の復号済みの画像信号とフィルタ処理対象画素の距離
・パラメータ（４）
　可変長復号部５１により可変長復号されたイントラ予測パラメータ
　なお、切替スイッチ５２及びイントラ予測部５３からイントラ予測手段が構成されている。
　動き補償予測部５４は動き補償予測フレームメモリ５９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ５２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
　なお、切替スイッチ５２及び動き補償予測部５４から動き補償予測手段が構成されている。
　逆量子化・逆変換部５５は可変長復号部５１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測誤差信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部５５は差分画像生成手段を構成している。
　加算部５６は逆量子化・逆変換部５５から出力された復号予測誤差信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部５６は復号画像生成手段を構成している。
　イントラ予測用メモリ５７はイントラ予測部５３により次回のイントラ予測処理で用いられる画像として、加算部５６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
　ループフィルタ部５８は加算器５６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に出力する処理を実施する。
　動き補償予測フレームメモリ５９は動き補償予測部５４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部５８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
　図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図３はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
　図２では、動画像復号装置の構成要素である可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図４はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
　次に動作について説明する。
　最初に、図１の動画像符号化装置の処理内容を説明する。
　まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図３のステップＳＴ１）。
　符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
　また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
　上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
　また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
　符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
　また、符号化制御部１は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
　符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測誤差符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測誤差符号化パラメータを必要に応じてイントラ予測部４に出力する。
　ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
　ここで、図５は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
　図５の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
　また、図５の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
　深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
　ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図５の例ではＬｎ＝Ｍｎのケースを示している。
　以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
　ブロック分割部２は、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
　ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
　以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と記する。
　複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
　符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
　符号化ブロックＢｎは、図５に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
　以降、符号化ブロックＢｎに属するパーティションをＰｉ ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
　符号化ブロックＢｎに属するパーティションＰｉ ｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
　パーティションＰｉ ｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉ ｎ毎に、個別の予測パラメータを選択することができる。
　符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
　図６（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図６（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
　図６（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
　切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢｎのパーティションＰｉ ｎに対して最適な符号化モードｍ（Ｂｎ）を選択すると、その符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉ ｎをイントラ予測部４に出力する。
　一方、その符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉ ｎを動き補償予測部５に出力する。
　イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉ ｎを受けると、フレーム内の符号化済みの画像信号を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づいて、その符号化ブロックＢｎのパーティションＰｉ ｎに対するフレーム内予測処理を実施することで、イントラ予測画像Ｐｉ ｎを生成する（ステップＳＴ４）。
　ただし、イントラ予測部４は、上記のイントラ予測画像Ｐｉ ｎを生成した後、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像Ｐｉ ｎに対するフィルタ処理を実施する。
　イントラ予測部４は、イントラ予測画像Ｐｉ ｎに対するフィルタ処理を実施すると、フィルタ処理後のイントラ予測画像Ｐｉ ｎを減算部６及び加算部９に出力するが、図２の動画像復号装置でも同じイントラ予測画像Ｐｉ ｎを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
　イントラ予測部４の処理内容の概略は上記の通りであるが、詳細な処理内容は後述する。
　動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉ ｎを受けると、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックＢｎのパーティションＰｉ ｎに対する動き補償予測処理を実施することでインター予測画像Ｐｉ ｎを生成する（ステップＳＴ５）。
　なお、動き補償予測処理を実施することで予測画像を生成する技術は公知の技術であるため詳細な説明を省略する。
　減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐｉ ｎ、インター予測画像Ｐｉ ｎ）を生成すると、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉ ｎから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉ ｎ、インター予測画像Ｐｉ ｎ）を減算することで差分画像を生成し、その差分画像を示す予測誤差信号ｅｉ ｎを変換・量子化部７に出力する（ステップＳＴ６）。
　変換・量子化部７は、減算部６から差分画像を示す予測誤差信号ｅｉ ｎを受けると、符号化制御部１から出力された予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
　逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測誤差信号ｅｉ ｎハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）として加算部９に出力する（ステップＳＴ８）。
　加算部９は、逆量子化・逆変換部８から局所復号予測誤差信号ｅｉ ｎハットを受けると、その局所復号予測誤差信号ｅｉ ｎハットと、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉ ｎ、インター予測画像Ｐｉ ｎ）を示す予測信号を加算することで、局所復号パーティション画像Ｐｉ ｎハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
　加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。
　ステップＳＴ３～ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。
　可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測誤差符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとをエントロピー符号化する。
　可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。
　ループフィルタ部１１は、加算器９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
　ループフィルタ部１１によるフィルタリング処理は、加算器９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、複数の最大符号化ブロックをまとめた単位で行ったり、１ピクチャ分の局所復号画像信号が出力された後に１ピクチャ分まとめて行ったりしてもよい。
　次に、イントラ予測部４の処理内容を詳細に説明する。
　図７は符号化ブロックＢｎ内の各パーティションＰｉ ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
　図７の例では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを表しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計している。
　イントラ予測部４は、パーティションＰｉ ｎに対するイントラ予測パラメータや、イントラ予測画像Ｐｉ ｎの生成に使用するフィルタの選択パラメータに基づいて、パーティションＰｉ ｎに対するイントラ予測処理を実施する。
　以下、パーティションＰｉ ｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
　ここでは、パーティションＰｉ ｎのサイズをｌｉ ｎ×ｍｉ ｎ画素とする。
　図８はｌｉ ｎ＝ｍｉ ｎ＝４のとき、パーティションＰｉ ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
　図８では、パーティションＰｉ ｎに隣接する符号化済みの上パーティションの画素（２×ｌｉ ｎ＋１）個と左パーティションの画素（２×ｍｉ ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素よりも、多くても少なくてもよい。
　また、図８では、隣接する１行または１列分の画素を予測に用いているが、２行または２列、あるいはそれ以上の画素を予測に用いてもよい。
　パーティションＰｉ ｎに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉ ｎ内の画素の予測値として中間予測画像を生成する。
　イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉ ｎ内の画素の予測値を生成する。
　ただし、予測値を生成する画素（予測対象画素）のパーティションＰｉ ｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とする。
　予測に用いる参照画素の位置は、下記に示すＡと隣接画素の交点となる。
Figure JPOXMLDOC01-appb-I000001
　参照画素が整数画素位置にある場合は、その整数画素を予測対象画素の予測値とする。
　一方、参照画素が整数画素位置にない場合は、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
　図８の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素から内挿して予測値を算出する。ただし、予測値は隣接する２画素に限るものではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
　次に、上記の手順によって生成された中間予測画像（予測値）に対してフィルタ処理を行うことで最終的な予測画像を取得する。
　以下、具体的なフィルタ処理について説明する。
　予め用意されている少なくとも一つ以上のフィルタの中から、使用するフィルタを後述する手法で選択し、中間予測画像の各画素に対して、下記の式（１）に従ってフィルタ処理を行う。
Figure JPOXMLDOC01-appb-I000002
　式（１）において、ａｎ（ｎ＝０，１，・・・，Ｎ）は、参照画素にかかる係数（ａ０，ａ１，・・・，ａＮ－１）とオフセット係数ａＮから構成されるフィルタ係数である。
　ｐｎ（ｎ＝０，１，・・・，Ｎ－１）は、フィルタ処理対象画素ｐ０を含むフィルタの参照画素を表している。
　ｓ（ｐn）は各参照画素の輝度値、ｓハット（ｐ０）はフィルタ処理対象画素ｐ０におけるフィルタ処理後の輝度値を示している。
　ただし、フィルタ係数はオフセット係数ａＮがないものとして構成してもよい。また、Ｎは任意の参照画素数である。
　図９はＮ＝５の場合の参照画素配置の一例を示す説明図である。
　上記のフィルタ処理を行う際、パーティションＰｉ ｎのサイズ（ｌｉ ｎ×ｍｉ ｎ）が大きい程、入力画像に非直線的なエッジ等が存在し易くなり、中間予測画像の予測方向とのずれが生じ易いため、中間予測画像を平滑化する方が好ましい。
　さらに、予測誤差の量子化値が大きい程、復号画像に生じる量子化歪みが大きくなり、パーティションＰｉ ｎに隣接している符号化済み画素から生成された中間予測画像の予測精度が低くなるため、パーティションＰｉ ｎを大まかに表現するような平滑化した予測画像を用意する方が好ましい。
　さらに、同じパーティションＰｉ ｎ内の画素でも、中間予測画像の生成に用いるパーティションＰｉ ｎに隣接する符号化済み画素から遠い画素程、中間予測画像と入力画像との間にエッジ等のずれが生じ易いため、予測画像を平滑化して、ずれが生じたときの急激な予測誤差の増加を抑制するようにした方がよい。
　また、フィルタの強度だけではなく、フィルタの参照画素配置についても、中間予測画像の予測方向に応じて参照画素を適切に配置して、中間予測画像のエッジ等の絵柄が不自然に歪んでしまわないようにする必要がある。
　したがって、フィルタ選択処理では、下記の４つのパラメータ（１）～（４）を考慮して、フィルタを選択するように構成する。
（１）パーティションＰｉ ｎのサイズ（ｌｉ ｎ×ｍｉ ｎ）
（２）予測誤差符号化パラメータに含まれている量子化パラメータ
（３）中間予測画像の生成時に使用する符号化済み画素（図８に示す“予測に用いる画素”）群とフィルタ処理対象画素との距離
（４）中間予測画像を生成した際のイントラ予測モードのインデックス値
　具体的には、パーティションＰｉ ｎのサイズ（ｌｉ ｎ×ｍｉ ｎ）が大きい程、量子化パラメータによって決まる量子化値が大きい程、フィルタ処理対象画素がパーティションＰｉ ｎの左及び上にある中間予測画像の生成時に使用する符号化済み画素群との距離が離れる程、平滑化の強度の強いフィルタを用いるように、また、イントラ予測モードの予測方向を考慮したフィルタ強度及び参照画素配置となるように構成する。即ち、上記のパラメータの組み合わせのそれぞれに対して、予め用意したフィルタ群の中から適切なフィルタの対応付けをしておくことで、上記のパラメータに応じたフィルタの適応選択を実現する。
　ただし、フィルタ強度の種類は2種類以上であればいくつでも良く、フィルタの強度の表現として、最も弱いフィルタをフィルタ処理なしと等価な処理として定義してもよい。したがって、中間予測画像内の特定の画素のみフィルタ処理が行われ、それ以外の画素は最も弱いフィルタ処理即ちフィルタ処理なしとするようなフィルタ処理を構成してもよい。
　なお、上記の説明では、必要な数のフィルタを予め用意しておくことを前提に説明しているが、上記フィルタ選択パラメータの値に応じてフィルタが算出されるようにフィルタを上記フィルタ選択パラメータの関数として定義して用いてもよい。
　さらに、上記の説明では、４つのパラメータ（１）～（４）を考慮して、フィルタを選択するように構成するものを示したが、４つのパラメータ（１）～（４）のうち、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成してもよい。一例としては、上記４つのパラメータの内（３）と（４）を考慮する場合、イントラ予測モードの予測方向に応じて各フィルタ処理対象画素の予測に用いた画素からの距離（図８の例では、ブロックの上端に隣接する“参照画素”との距離）が離れる程、強度の強いフィルタが選択されるような構成が挙げられる。
　また、４つのパラメータ（１）～（４）は動画像復号装置側でも既知のパラメータであるため、上記のフィルタ処理を行うことによる符号化すべき付加情報は一切発生しない。
　同様の手順で、パーティションＰｉ ｎ内の輝度信号のすべての画素に対する予測画素を生成し、生成したイントラ予測画像Ｐｉ ｎを出力する。
　イントラ予測画像Ｐｉ ｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力する。
　パーティションＰｉ ｎ内の色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
　ただし、色差信号のイントラ予測については上記で説明したフィルタ処理を、輝度信号と同様に行うものとして構成してもよいし、行わないものとして構成してもよい。
　次に、図２の動画像復号装置の処理内容を説明する。
　可変長復号部５１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズの情報を復号する（図４のステップＳＴ２１）。
　可変長復号部５１は、図１の符号化制御部１と同様の手順で、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
　例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズ情報に基づいて符号化ブロックの最大サイズを決定する。
　なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
　ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）には、最大サイズの符号化ブロックＢ０の分割状態を示す情報が含まれているので、可変長復号部５１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）を復号して、階層的に分割されている各々の符号化ブロックＢｎを特定する（ステップＳＴ２３）。
　可変長復号部５１は、各々の符号化ブロックＢｎを特定すると、その符号化ブロックＢｎの符号化モードｍ（Ｂｎ）を復号し、その符号化モードｍ（Ｂｎ）に属しているパーティションＰｉ ｎの情報に基づいて、符号化ブロックＢｎに属しているパーティションＰｉ ｎを特定する。
　可変長復号部５１は、符号化ブロックＢｎに属しているパーティションＰｉ ｎを特定すると、パーティションＰｉ ｎ毎に、圧縮データ、符号化モード、予測誤差符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを復号する（ステップＳＴ２４）。
　即ち、符号化ブロックＢｎに割り当てられた符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合、符号化ブロックに属しているパーティションＰｉ ｎ毎にイントラ予測パラメータを復号する。
　符号化ブロックＢｎに割り当てられた符号化モードｍ（Ｂｎ）がインター符号化モードである場合、符号化ブロックに属しているパーティションＰｉ ｎ毎にインター予測パラメータを復号する。
　予測処理単位となるパーティションは、さらに予測誤差符号化パラメータに含まれる変換ブロックサイズ情報に基づき、変換処理単位となる１つないし複数のパーティションに分割され、変換処理単位となるパーティション毎に圧縮データ（変換・量子化後の変換係数）を復号する。
　切替スイッチ５２は、可変長復号部５１から符号化ブロックＢｎに属しているパーティションＰｉ ｎの符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力する。
　一方、パーティションＰｉ ｎの符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する。
　イントラ予測部５３は、切替スイッチ５２からイントラ予測パラメータを受けると、図１のイントラ予測部４と同様に、フレーム内の復号済みの画像信号を用いて、そのイントラ予測パラメータに基づいて、符号化ブロックＢｎのパーティションＰｉ ｎに対するフレーム内予測処理を実施することでイントラ予測画像Ｐｉ ｎを生成する（ステップＳＴ２６）。
　ただし、イントラ予測部５３は、イントラ予測画像Ｐｉ ｎを生成する際、図１のイントラ予測部４と同一の手法で予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像Ｐｉ ｎに対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像Ｐｉ ｎを最終的なイントラ予測画像としている。
　なお、上記の説明では、必要な数のフィルタを予め用意しておくことを前提に説明しているが、図１のイントラ予測部４がフィルタ選択に用いるパラメータの状態に応じてフィルタが算出されるようにフィルタを上記パラメータの関数として定義している場合、イントラ予測部５３も同様に上記フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタが算出されるようにフィルタを上記パラメータの関数として定義するように構成してもよい。
　動き補償予測部５４は、切替スイッチ５２からインター予測パラメータを受けると、動き補償予測フレームメモリ５９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づいて、符号化ブロックＢｎのパーティションＰｉ ｎに対する動き補償予測処理を実施することでインター予測画像Ｐｉ ｎを生成する（ステップＳＴ２７）。
　逆量子化・逆変換部５５は、可変長復号部５１から出力された予測誤差符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測誤差符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測誤差信号（圧縮前の差分画像を示す信号）として加算部５６に出力する（ステップＳＴ２８）。
　加算部５６は、逆量子化・逆変換部５５から復号予測誤差信号を受けると、その復号予測誤差信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ５７に格納するとともに、その復号画像信号をループフィルタ部５８に出力する（ステップＳＴ２９）。
　ステップＳＴ２３～ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
　ループフィルタ部５８は、加算器５６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に格納する（ステップＳＴ３１）。
　ループフィルタ部５８によるフィルタリング処理は、加算器５６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。
　以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、局所的に発生する予測誤差を低減して、画像品質を高めることができる効果を奏する。
　また、この実施の形態１によれば、イントラ予測部４が、（１）パーティションＰｉ ｎのサイズ（ｌｉ ｎ×ｍｉ ｎ）、（２）予測誤差符号化パラメータに含まれている量子化パラメータ、（３）中間予測画像の生成時に使用する符号化済み画素群とフィルタ処理対象画素との距離、（４）中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成したので、符号化対象画像と相関の高い中間予測画像に対して、符号化対象画像のエッジの方向と予測方向との間に僅かにずれが生じたり、エッジに僅かな歪みが存在したりしている場合に生じる局所的な予測誤差を抑制する効果が得られ、予測効率を改善することができる効果を奏する。
　この実施の形態１によれば、動画像復号装置のイントラ予測部５３がフレーム内の復号済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、局所的に発生する予測誤差を低減して、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。
　また、この実施の形態１によれば、イントラ予測部５３が、（１）パーティションＰｉ ｎのサイズ（ｌｉ ｎ×ｍｉ ｎ）、（２）予測誤差符号化パラメータに含まれている量子化パラメータ、（３）中間予測画像の生成時に使用する符号化済み画素群とフィルタ処理対象画素との距離、（４）中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成したので、符号化対象画像と相関の高い中間予測画像に対して、符号化対象画像のエッジの方向と予測方向との間に僅かにずれが生じたり、エッジに僅かな歪みが存在したりしている場合に生じる局所的な予測誤差を抑制する効果が得られ、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。
実施の形態２．
　上記実施の形態１では、イントラ予測部４が、フレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するものについて示したが、符号化対象のブロックと予測画像間の二乗誤差和が最小になるウィーナ・フィルタを設計し、予め用意されている１以上のフィルタの中から選択しているフィルタを用いるよりも、上記ウィーナ・フィルタを用いる方が予測誤差の低減度合が高くなる場合、その選択しているフィルタの代わりに、上記ウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施するようにしてもよい。
　以下、具体的に処理内容を説明する。
　上記実施の形態１では、イントラ予測部４，５３が、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択するようにしている。しかし、４つのパラメータ（１）～（４）を考慮して、フィルタを選択する場合、選択候補の中から適切なフィルタを選択することは可能であるが、選択候補以外に最適なフィルタが存在する場合には“最適なフィルタ処理”を行うことができない。
　この実施の形態２では、ピクチャ単位に動画像符号化装置側で、最適なフィルタを設計してフィルタ処理を実施するとともに、そのフィルタのフィルタ係数等を符号化し、動画像復号装置側で、そのフィルタ係数等を復号することで、当該フィルタを用いたフィルタ処理を実施するようにしていることを特徴とする。
　動画像符号化装置のイントラ予測部４は、上記実施の形態１と同様に、符号化ブロックＢｎのパーティションＰｉ ｎに対するフレーム内予測処理を実施することでイントラ予測画像Ｐｉ ｎを生成する。
　また、イントラ予測部４は、上記実施の形態１と同様の方法で、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、このフィルタを用いてイントラ予測画像Ｐｉ ｎにフィルタ処理を行う。
　イントラ予測部４は、ピクチャ内の全ての符号化ブロックＢｎでイントラ予測パラメータが決定した後、ピクチャ内で同じフィルタが用いられた領域（同一のフィルタインデックスを持つ領域）毎に、その領域内の入力画像とイントラ予測画像の二乗誤差和（対象領域内の平均二乗誤差）が最小となるウィーナ・フィルタを設計する。
　ウィーナ・フィルタは、中間予測画像信号ｓ’の自己相関行列Ｒs's'と、入力画像信号ｓと中間予測画像信号ｓ’の相互相関行列Ｒss'とによって、下記の式（４）からフィルタ係数ｗを求めることができる。行列Ｒs's'，Ｒss'の大きさは、求められるフィルタタップ数に対応する。
Figure JPOXMLDOC01-appb-I000003
　イントラ予測部４は、ウィーナ・フィルタを設計すると、そのウィーナ・フィルタを用いてフィルタ処理を実施した場合のフィルタ設計対象領域内の二乗誤差和をＤ１、そのウィーナ・フィルタに係る情報（例えば、フィルタ係数）を符号化した際の符号量をＲ１、上記実施の形態１と同様の方法で選択しているフィルタを用いてフィルタ処理を実施した場合のフィルタ設計対象領域内の二乗誤差和をＤ２として、下記の式（５）が成立するか否かを確認する。
　　　　Ｄ１＋λ・Ｒ１　＜　Ｄ２　　　　　　　　　　　　　　（５）
　ただし、λは定数である。
　イントラ予測部４は、式（５）が成立する場合、上記実施の形態１と同様の方法で選択しているフィルタの代わりに、そのウィーナ・フィルタを用いてフィルタ処理を実施する。
　一方、式（５）が成立しない場合、上記実施の形態１と同様の方法で選択しているフィルタを用いてフィルタ処理を実施する。
　ここでは、２乗誤差和Ｄ１，Ｄ２を用いて評価しているが、これに限るものではなく、２乗誤差和Ｄ１，Ｄ２の代わりに、誤差の絶対値和等の他の予測の歪みを表す尺度を用いて評価するようにしてもよい。
　イントラ予測部４は、ウィーナ・フィルタを用いてフィルタ処理を実施する場合、そのウィーナ・フィルタのフィルタ係数や、どのインデックスのフィルタを、ウィーナ・フィルタに置き換えているかを示すフィルタ更新情報が必要になる。
　具体的には、フィルタ選択パラメータを用いたフィルタ処理によって選択可能なフィルタの数をＬとし、各フィルタに０～Ｌ－１のインデックスを割り振る場合、それぞれのインデックスに対して、設計したウィーナ・フィルタを用いる場合には“１”、予め用意されているフィルタを用いる場合には“０”の値を、フィルタ更新情報として符号化する必要がある。
　可変長符号化部１３は、イントラ予測部４から出力されたフィルタ更新情報を可変長符号化して、そのフィルタ更新情報の符号化データをビットストリームに多重化する。
　ここでは、ピクチャ内で同じフィルタが用いられた領域毎に、その領域内の入力画像と予測画像の平均二乗誤差が最小となるウィーナ・フィルタを設計するものを示したが、ピクチャ単位ではない他の特定の領域単位に、同じフィルタが用いられた領域毎に、その領域内の入力画像と予測画像の平均二乗誤差が最小となるウィーナ・フィルタを設計するように構成してもよいし、ある特定のピクチャのみ、フィルタ設計を行うようにしたり、特定の条件に該当する場合（例えば、シーンチェンジ検出機能を付加し、シーンチェンジが検出されたピクチャの場合）に限り、上記のフィルタ設計を行うようにしたりしてもよい。
　動画像復号装置の可変長復号部５１は、ビットストリームに多重化されている符号化データからフィルタ更新情報を可変長復号する。
　イントラ予測部５３は、上記実施の形態１と同様に、符号化ブロックＢｎのパーティションＰｉ ｎに対するフレーム内予測処理を実施することでイントラ予測画像Ｐｉ ｎを生成する。
　イントラ予測部５３は、可変長復号部５１からフィルタ更新情報を受けると、そのフィルタ更新情報を参照して、該当するインデックスのフィルタでの更新の有無を確認する。
　イントラ予測部５３は、その確認の結果、ある領域のフィルタが、ウィーナ・フィルタに置き換えられている場合、そのフィルタ更新情報に含まれているウィーナ・フィルタのフィルタ係数を読み出して、そのウィーナ・フィルタを特定し、そのウィーナ・フィルタを用いて、イントラ予測画像Ｐｉ ｎのフィルタ処理を実施する。
　一方、ウィーナ・フィルタに置き換えられていない領域では、上記実施の形態１と同様の方法でフィルタを選択し、そのフィルタを用いて、イントラ予測画像Ｐｉ ｎのフィルタ処理を実施する。
　以上で明らかなように、この実施の形態２によれば、符号化対象のブロックと予測画像間の二乗誤差和が最小になるウィーナ・フィルタを設計し、予め用意されている１以上のフィルタの中から選択しているフィルタを用いるよりも、そのウィーナ・フィルタを用いる方が予測誤差の低減度合が高くなる場合、その選択しているフィルタの代わりに、そのウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、上記実施の形態１よりも更に局所的に発生する予測誤差を低減することができる効果を奏する。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　以上のように、この発明に係る動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法は、イントラ予測手段がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を差分画像生成手段に出力するように構成したので、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法等に用いるのに適している。
　１　符号化制御部（符号化制御手段）、２　ブロック分割部（ブロック分割手段）、３　切替スイッチ（イントラ予測手段、動き補償予測手段）、４　イントラ予測部（イントラ予測手段）、５　動き補償予測部（動き補償予測手段）、６　減算部（差分画像生成手段）、７　変換・量子化部（画像圧縮手段）、８　逆量子化・逆変換部、９　加算部、１０　イントラ予測用メモリ、１１　ループフィルタ部、１２　動き補償予測フレームメモリ、１３　可変長符号化部（可変長符号化手段）、５１　可変長復号部（可変長復号手段）、５２　切替スイッチ（イントラ予測手段、動き補償予測手段）、５３　イントラ予測部（イントラ予測手段）、５４　動き補償予測部（動き補償予測手段）、５５　逆量子化・逆変換部（差分画像生成手段）、５６　加算部（復号画像生成手段）、５７　イントラ予測用メモリ、５８　ループフィルタ部、５９　動き補償予測フレームメモリ。

Claims (12)

  1. 　予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりイントラ符号化モードが選択された場合、フレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成するイントラ予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、
    　上記イントラ予測手段は、予測画像を生成する際、予め用意されている１以上のフィルタの中から、所定のフィルタを選択し、上記フィルタを用いて、上記予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を上記差分画像生成手段に出力することを特徴とする動画像符号化装置。
  2. 　ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、参照画像を用いて、上記符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する動き補償予測手段を設け、
    　差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックとイントラ予測手段又は上記動き補償予測手段により生成された予測画像との差分画像を生成する
    　ことを特徴とする請求項１記載の動画像符号化装置。
  3. 　符号化制御手段は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定し、
    　画像圧縮手段は、上記符号化制御手段により決定された変換ブロックサイズ単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化することで、量子化後の変換係数を上記差分画像の圧縮データとして出力し、
    　可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化する際、上記符号化制御手段により決定されたイントラ予測パラメータ又はインター予測パラメータと、量子化パラメータ及び変換ブロックサイズとを可変長符号化して、上記圧縮データ、上記符号化モード、上記イントラ予測パラメータ又は上記インター予測パラメータ、上記量子化パラメータ及び上記変換ブロックサイズの符号化データが多重化されているビットストリームを生成する
    　ことを特徴とする請求項２記載の動画像符号化装置。
  4. 　イントラ予測手段は、イントラ予測を行うブロックのサイズ、上記符号化制御手段により決定された量子化パラメータ、予測画像を生成する際に用いているフレーム内の符号化済みの画像信号とフィルタ処理対象画素の距離、及び上記符号化制御手段により決定されたイントラ予測パラメータの中で、少なくとも１つ以上を考慮して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項３記載の動画像符号化装置。
  5. 　イントラ予測手段は、ブロック分割手段により分割された符号化ブロックと予測画像間の二乗誤差和が最小になるウィーナ・フィルタを設計し、予め用意されている１以上のフィルタの中から選択しているフィルタを用いるよりも、上記ウィーナ・フィルタを用いる方が予測誤差の低減度合が高くなる場合、その選択しているフィルタの代わりに、上記ウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を差分画像生成手段に出力し、
    　可変長符号化手段は、上記イントラ予測手段により設計されたウィーナ・フィルタのフィルタ係数を可変長符号化して、上記フィルタ係数の符号化データをビットストリームに多重化する
    　ことを特徴とする請求項１記載の動画像符号化装置。
  6. 　ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、フレーム内の復号済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成するイントラ予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記イントラ予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
    　上記イントラ予測手段は、予測画像を生成する際、予め用意されている１以上のフィルタの中から、所定のフィルタを選択し、上記フィルタを用いて、上記予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を上記復号画像生成手段に出力することを特徴とする動画像復号装置。
  7. 　可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、参照画像を用いて、上記符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する動き補償予測手段を設け、
    　復号画像生成手段は、差分画像生成手段により生成された差分画像とイントラ予測手段又は上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項６記載の動画像復号装置。
  8. 　可変長復号手段は、ビットストリームに多重化されている符号化データから各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ又はインター予測パラメータ、量子化パラメータ及び変換ブロックサイズを可変長復号し、
    　差分画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る量子化パラメータを用いて、当該符号化ブロックに係る圧縮データを逆量子化し、上記変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理を実施することで、圧縮前の差分画像を生成することを特徴とする請求項７記載の動画像復号装置。
  9. 　イントラ予測手段は、イントラ予測を行うブロックのサイズ、上記可変長復号手段により可変長復号された量子化パラメータ、予測画像を生成する際に用いているフレーム内の復号済みの画像信号とフィルタ処理対象画素の距離、及び上記可変長復号手段により可変長復号されたイントラ予測パラメータの中で、少なくとも１つ以上を考慮して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項８記載の動画像復号装置。
  10. 　イントラ予測手段は、可変長復号手段によりビットストリームに多重化されている符号化データからウィーナ・フィルタのフィルタ係数が可変長復号されている場合、予め用意されている１以上のフィルタの中から選択しているフィルタの代わりに、上記ウィーナ・フィルタを用いて、予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を復号画像生成手段に出力することを特徴とする請求項６記載の動画像復号装置。
  11. 　符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでイントラ符号化モードが選択された場合、イントラ予測手段が、フレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成するイントラ予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記イントラ予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する可変長符号化処理ステップとを備え、
    　上記イントラ予測処理ステップでは、予測画像を生成する際、予め用意されている１以上のフィルタの中から、所定のフィルタを選択し、上記フィルタを用いて、上記予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を上記差分画像生成手段に出力することを特徴とする動画像符号化方法。
  12. 　可変長復号手段が、ビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、イントラ予測手段が、フレーム内の復号済みの画像信号を用いて、フレーム内予測処理を実施することで予測画像を生成するイントラ予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記イントラ予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
    　上記イントラ予測処理ステップでは、予測画像を生成する際、予め用意されている１以上のフィルタの中から、所定のフィルタを選択し、上記フィルタを用いて、上記予測画像に対するフィルタ処理を実施して、フィルタ処理後の予測画像を上記復号画像生成手段に出力することを特徴とする動画像復号方法。
PCT/JP2011/004122 2010-09-30 2011-07-21 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 WO2012042720A1 (ja)

Priority Applications (27)

Application Number Priority Date Filing Date Title
KR1020147020864A KR101563835B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR1020147020850A KR101563833B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
KR1020157035466A KR101669388B1 (ko) 2010-09-30 2011-07-21 부호화 데이터가 기록된 기록 매체
KR1020137010924A KR101580021B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 부호화 장치, 화상 부호화 방법 및 화상 복호 방법
US13/822,887 US10291939B2 (en) 2010-09-30 2011-07-21 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
CN201180047243.5A CN103141106B (zh) 2010-09-30 2011-07-21 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
MX2013003696A MX2013003696A (es) 2010-09-30 2011-07-21 Dispositivo de codificacion de imagen en movimiento, dispositivo de decodificacion de imagen en movimiento, metodo de codificacion de imagen en movimiento y metodo de decodificacion de imagen en movimiento.
KR1020147020866A KR101578318B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
MX2014009677A MX338462B (es) 2010-09-30 2011-07-21 Dispositivo de codificacion de imagen en movimiento, dispositivo de decodificacion de imagen en movimiento, metodo de codificacion de imagen en movimiento y metodo de decodificacion de imagen en movimiento.
EP11828289.6A EP2624563A4 (en) 2010-09-30 2011-07-21 MOTION VIDEO-CODING DEVICE, MOTION VIDEO-CODING DEVICE, MOTION VIDEO-CODING METHOD AND MOTION VIDEO-CODING METHOD
KR1020147020862A KR101563834B1 (ko) 2010-09-30 2011-07-21 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
EP20150124.4A EP3661213A1 (en) 2010-09-30 2011-07-21 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
CA2812201A CA2812201C (en) 2010-09-30 2011-07-21 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
JP2012536150A JP5503747B2 (ja) 2010-09-30 2011-07-21 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
RU2013119934/08A RU2544799C2 (ru) 2010-09-30 2011-07-21 Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
BR112013006501-0A BR112013006501B1 (pt) 2010-09-30 2011-07-21 Dispositivo de decodificação de imagem, e, dispositivo de codificação de imagem
SG2013021928A SG189076A1 (en) 2010-09-30 2011-07-21 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
TW100132970A TWI472229B (zh) 2010-09-30 2011-09-14 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法
TW105123731A TWI606720B (zh) 2010-09-30 2011-09-14 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及記錄媒體
TW105123734A TWI606721B (zh) 2010-09-30 2011-09-14 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及記錄媒體
TW105123725A TWI603612B (zh) 2010-09-30 2011-09-14 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及資料結構
TW103145688A TWI566588B (zh) 2010-09-30 2011-09-14 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及資料結構
HK13109293.0A HK1182244A1 (zh) 2010-09-30 2013-08-08 運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法
US14/634,453 US10237550B2 (en) 2010-09-30 2015-02-27 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US14/634,561 US10244264B2 (en) 2010-09-30 2015-02-27 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US14/634,485 US10237551B2 (en) 2010-09-30 2015-02-27 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US14/634,550 US10244233B2 (en) 2010-09-30 2015-02-27 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-221471 2010-09-30
JP2010221471 2010-09-30

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US13/822,887 A-371-Of-International US10291939B2 (en) 2010-09-30 2011-07-21 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US14/634,453 Division US10237550B2 (en) 2010-09-30 2015-02-27 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US14/634,561 Division US10244264B2 (en) 2010-09-30 2015-02-27 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US14/634,550 Division US10244233B2 (en) 2010-09-30 2015-02-27 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US14/634,485 Division US10237551B2 (en) 2010-09-30 2015-02-27 Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method

Publications (1)

Publication Number Publication Date
WO2012042720A1 true WO2012042720A1 (ja) 2012-04-05

Family

ID=45892218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004122 WO2012042720A1 (ja) 2010-09-30 2011-07-21 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Country Status (13)

Country Link
US (5) US10291939B2 (ja)
EP (2) EP3661213A1 (ja)
JP (5) JP5503747B2 (ja)
KR (6) KR101669388B1 (ja)
CN (5) CN103141106B (ja)
BR (1) BR112013006501B1 (ja)
CA (5) CA3000366C (ja)
HK (3) HK1219593A1 (ja)
MX (2) MX2013003696A (ja)
RU (5) RU2608674C2 (ja)
SG (5) SG189076A1 (ja)
TW (5) TWI606720B (ja)
WO (1) WO2012042720A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013012895A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
US9299133B2 (en) 2011-01-12 2016-03-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
WO2016129185A1 (ja) * 2015-02-09 2016-08-18 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2017005506A (ja) * 2015-06-10 2017-01-05 日本電信電話株式会社 イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置
US9723316B2 (en) 2011-06-24 2017-08-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG189076A1 (en) * 2010-09-30 2013-05-31 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
HUE043274T2 (hu) * 2011-09-14 2019-08-28 Samsung Electronics Co Ltd Eljárás predikcióegység (PU) dekódolására ennek méretén alapulva
WO2013081085A1 (en) * 2011-11-28 2013-06-06 Canon Kabushiki Kaisha Moving image encoding apparatus, control method thereof and computer program
EP3104614A4 (en) * 2014-02-03 2017-09-13 Mitsubishi Electric Corporation Image encoding device, image decoding device, encoded stream conversion device, image encoding method, and image decoding method
JP6221820B2 (ja) * 2014-02-25 2017-11-01 株式会社Ｊｖｃケンウッド 符号化装置、符号化方法および符号化プログラム
CN111885380B (zh) * 2015-03-23 2024-04-12 Lg电子株式会社 在内预测模式的基础上处理图像的方法及其装置
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备
JP6464272B2 (ja) * 2015-08-20 2019-02-06 日本放送協会 画像符号化装置、画像復号化装置、及びこれらのプログラム
CN105872538B (zh) * 2016-04-18 2020-12-29 广东中星微电子有限公司 时域滤波方法和时域滤波装置
CN114866774A (zh) * 2016-05-27 2022-08-05 松下电器（美国）知识产权公司 编码装置及解码装置
EP3509299B1 (en) * 2016-09-05 2024-05-01 Rosedale Dynamics LLC Image encoding/decoding method and device therefor
CN116634181A (zh) 2016-10-04 2023-08-22 株式会社Kt 对图像进行解码和编码的方法、图像数据的发送方法
US10681354B2 (en) * 2016-12-05 2020-06-09 Lg Electronics Inc. Image encoding/decoding method and apparatus therefor
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
CN110650349B (zh) 2018-06-26 2024-02-13 中兴通讯股份有限公司 一种图像编码方法、解码方法、编码器、解码器及存储介质
WO2020249124A1 (en) * 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
CN118138754A (zh) 2019-06-14 2024-06-04 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
CN114097225B (zh) 2019-07-09 2024-04-19 北京字节跳动网络技术有限公司 用于自适应环路滤波的样点确定
CN114128278B (zh) 2019-07-11 2023-12-05 北京字节跳动网络技术有限公司 自适应环路滤波中的样点填充
BR112022000794A2 (pt) 2019-07-15 2022-03-15 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meios de armazenamento e gravação não transitórios legíveis por computador
WO2021052509A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Selective application of sample padding in adaptive loop filtering
EP4022910A4 (en) 2019-09-27 2022-11-16 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING BETWEEN DIFFERENT VIDEO UNITS
CN117956146A (zh) 2019-10-10 2024-04-30 北京字节跳动网络技术有限公司 自适应环路滤波中不可用样点位置处的填充处理
CN114424549B (zh) * 2019-10-31 2024-06-11 株式会社索思未来 运动图像编码方法、编码处理方法、运动图像编码装置及编码处理装置
US20220060702A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229411A (ja) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号化装置及び画像復号化方法
WO2009120040A2 (en) * 2008-03-27 2009-10-01 Lg Electronics Inc. A method and an apparatus for encoding or decoding a video signal
WO2010064675A1 (ja) * 2008-12-03 2010-06-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2010183162A (ja) * 2009-02-03 2010-08-19 Mitsubishi Electric Corp 動画像符号化装置

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US103475A (en) * 1870-05-24 Improvement in water-wheels
DE10158658A1 (de) * 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
BRPI0409338A (pt) 2003-04-14 2006-04-25 Gencell Corp método e aparelho para adição de eletrólito para células de combustìvel
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
JP4699685B2 (ja) * 2003-08-21 2011-06-15 パナソニック株式会社 信号処理装置及びそれを用いた電子機器
ES2310341T5 (es) * 2004-02-27 2015-07-07 Yamaha Hatsudoki Kabushiki Kaisha Componente de motor y método para producirlo
KR100616164B1 (ko) 2004-05-12 2006-08-25 주식회사 대우일렉트로닉스 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치및 그 방법
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
CN1957616A (zh) * 2004-06-14 2007-05-02 株式会社莫诺利斯 动图像编码方法和动图像解码方法
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
US7283634B2 (en) 2004-08-31 2007-10-16 Dts, Inc. Method of mixing audio channels using correlated outputs
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
JP2006254232A (ja) 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置およびプログラム
JP5122448B2 (ja) * 2005-06-30 2013-01-16 フランス・テレコム ビデオ符号化方法及び装置
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
WO2007055445A1 (en) 2005-11-11 2007-05-18 Daegu Gyeongbuk Institute Of Science And Technology A pre-viewing method of multiple movies or movie-clips in multimedia apparatus
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
EP2056606A1 (en) * 2006-07-28 2009-05-06 Kabushiki Kaisha Toshiba Image encoding and decoding method and apparatus
TW200808067A (en) * 2006-07-31 2008-02-01 Univ Nat Cheng Kung Prediction module
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
WO2008048489A2 (en) 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
JP4571955B2 (ja) * 2007-02-07 2010-10-27 日本電信電話株式会社 適応デブロッキング処理方法，装置および適応デブロッキング処理プログラム並びにコンピュータ読み取り可能な記録媒体
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2009035149A1 (ja) * 2007-09-12 2009-03-19 Sony Corporation 画像処理装置及び画像処理方法
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
KR101460608B1 (ko) 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
EP2924994B1 (en) * 2008-05-07 2016-09-21 LG Electronics, Inc. Method and apparatus for decoding video signal
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
JP2009284298A (ja) * 2008-05-23 2009-12-03 Hitachi Ltd 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US20100008603A1 (en) * 2008-07-09 2010-01-14 Julie Rossing Smith Sealable repulpable valve bag and method of assembling
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
WO2010041857A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
KR101590500B1 (ko) 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
WO2010095916A1 (ru) 2009-02-20 2010-08-26 Bogamedov Gazimagomed Abulovich Изоляционный материал «pизoлин»
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
US8940072B2 (en) 2009-02-27 2015-01-27 Inventys Thermal Technologies Inc. Parallel passage fluid contactor structure
JP5326828B2 (ja) * 2009-06-03 2013-10-30 富士通株式会社 動画像符号化装置及び動画像符号化方法
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN101715135B (zh) * 2009-09-30 2013-01-09 武汉大学 基于匹配模板的自适应帧内预测滤波编码方法
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP4983908B2 (ja) 2009-12-28 2012-07-25 ソニー株式会社 復号装置及び方法
JP2011166326A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置および方法
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
BR112012027438B1 (pt) * 2010-04-26 2022-02-22 Sun Patent Trust Método para decodificar, meio legível por computador e aparelho para decodificar
CN101848394B (zh) * 2010-05-25 2012-01-18 宁波中科集成电路设计中心有限公司 一种无线视频传感器的avs编码功耗模型优化方法
KR20120012385A (ko) 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
SG189076A1 (en) * 2010-09-30 2013-05-31 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
WO2013013078A1 (en) * 2011-07-19 2013-01-24 Edison Pharmeceuticals, Inc. Methods for selective oxidation of alpha tocotrienol in the presence of non-alpha tocotrienols

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229411A (ja) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号化装置及び画像復号化方法
WO2009120040A2 (en) * 2008-03-27 2009-10-01 Lg Electronics Inc. A method and an apparatus for encoding or decoding a video signal
WO2010064675A1 (ja) * 2008-12-03 2010-06-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2010183162A (ja) * 2009-02-03 2010-08-19 Mitsubishi Electric Corp 動画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2624563A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931946B2 (en) 2011-01-12 2021-02-23 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US9628797B2 (en) 2011-01-12 2017-04-18 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US9414073B2 (en) 2011-01-12 2016-08-09 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US10205944B2 (en) 2011-01-12 2019-02-12 Mistubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US9736478B2 (en) 2011-01-12 2017-08-15 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US9609326B2 (en) 2011-01-12 2017-03-28 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US9299133B2 (en) 2011-01-12 2016-03-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
US9723316B2 (en) 2011-06-24 2017-08-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US10237560B2 (en) 2011-06-24 2019-03-19 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US10511840B2 (en) 2011-06-24 2019-12-17 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US11006125B2 (en) 2011-06-24 2021-05-11 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US11632556B2 (en) 2011-06-24 2023-04-18 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
US11876979B2 (en) 2011-06-24 2024-01-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device
JP2013012895A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
WO2016129185A1 (ja) * 2015-02-09 2016-08-18 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2017005506A (ja) * 2015-06-10 2017-01-05 日本電信電話株式会社 イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置

Also Published As

Publication number Publication date
TW201515447A (zh) 2015-04-16
JP6851429B2 (ja) 2021-03-31
KR101669388B1 (ko) 2016-10-25
KR101580021B1 (ko) 2015-12-23
RU2608674C2 (ru) 2017-01-23
KR20140102324A (ko) 2014-08-21
CA3105771A1 (en) 2012-04-05
KR20160003876A (ko) 2016-01-11
US10244264B2 (en) 2019-03-26
RU2013119934A (ru) 2014-11-10
CN105516722B (zh) 2018-12-07
CN103141106B (zh) 2016-03-16
HK1219594A1 (zh) 2017-04-07
SG10201912001PA (en) 2020-02-27
CN105657423B (zh) 2019-02-01
US20150245023A1 (en) 2015-08-27
JP6005087B2 (ja) 2016-10-12
JP6775539B2 (ja) 2020-10-28
TW201640900A (zh) 2016-11-16
TW201639372A (zh) 2016-11-01
TWI603612B (zh) 2017-10-21
CN105657423A (zh) 2016-06-08
JP6675289B2 (ja) 2020-04-01
JPWO2012042720A1 (ja) 2014-02-03
CN105516722A (zh) 2016-04-20
US20150237379A1 (en) 2015-08-20
US10291939B2 (en) 2019-05-14
US20150172724A1 (en) 2015-06-18
US20150245022A1 (en) 2015-08-27
KR20130101070A (ko) 2013-09-12
SG189076A1 (en) 2013-05-31
JP5503747B2 (ja) 2014-05-28
HK1182244A1 (zh) 2013-11-22
US10237550B2 (en) 2019-03-19
US10244233B2 (en) 2019-03-26
JP2017017736A (ja) 2017-01-19
KR101563834B1 (ko) 2015-10-27
KR20140106742A (ko) 2014-09-03
CA3052614A1 (en) 2012-04-05
EP3661213A1 (en) 2020-06-03
US10237551B2 (en) 2019-03-19
CA3105771C (en) 2023-04-25
JP2014123988A (ja) 2014-07-03
TW201640899A (zh) 2016-11-16
RU2674306C1 (ru) 2018-12-06
TWI606720B (zh) 2017-11-21
CA3188026A1 (en) 2012-04-05
KR101563835B1 (ko) 2015-10-27
TWI566588B (zh) 2017-01-11
EP2624563A1 (en) 2013-08-07
BR112013006501B1 (pt) 2022-10-18
BR112013006501A2 (pt) 2016-07-12
CN105516723B (zh) 2018-07-27
SG10201911999WA (en) 2020-02-27
SG10201507816SA (en) 2015-10-29
TWI606721B (zh) 2017-11-21
HK1219593A1 (zh) 2017-04-07
RU2544799C2 (ru) 2015-03-20
CN103141106A (zh) 2013-06-05
RU2693910C1 (ru) 2019-07-05
CA2812201A1 (en) 2012-04-05
KR20140102323A (ko) 2014-08-21
CA2812201C (en) 2020-06-23
JP2018117379A (ja) 2018-07-26
RU2642356C1 (ru) 2018-01-24
KR101578318B1 (ko) 2015-12-16
CN105744274A (zh) 2016-07-06
MX2013003696A (es) 2013-05-20
US20130188706A1 (en) 2013-07-25
TWI472229B (zh) 2015-02-01
CA3000366C (en) 2019-11-19
CA3052614C (en) 2021-03-09
CN105516723A (zh) 2016-04-20
JP2019149847A (ja) 2019-09-05
SG10201912003RA (en) 2020-02-27
MX338462B (es) 2016-04-15
KR101563833B1 (ko) 2015-10-27
CA3000366A1 (en) 2012-04-05
KR20140102325A (ko) 2014-08-21
RU2015102755A (ru) 2015-06-10
TW201223288A (en) 2012-06-01
EP2624563A4 (en) 2016-03-16
CN105744274B (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
JP6851429B2 (ja) 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
JP6091584B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法および符号化データ
JP6667609B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
JP6469048B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、動画像符号化データ及び記録媒体
WO2013108684A1 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法
WO2014163200A1 (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JP2013098713A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180047243.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11828289

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012536150

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13822887

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2812201

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: MX/A/2013/003696

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011828289

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137010924

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2013119934

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013006501

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013006501

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130322