WO2007111292A1 - 画像符号化装置および画像復号化装置 - Google Patents

画像符号化装置および画像復号化装置 Download PDF

Info

Publication number
WO2007111292A1
WO2007111292A1 PCT/JP2007/056180 JP2007056180W WO2007111292A1 WO 2007111292 A1 WO2007111292 A1 WO 2007111292A1 JP 2007056180 W JP2007056180 W JP 2007056180W WO 2007111292 A1 WO2007111292 A1 WO 2007111292A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cross
decoding
encoded
correlation data
Prior art date
Application number
PCT/JP2007/056180
Other languages
English (en)
French (fr)
Inventor
Steffen Wittmann
Thomas Wedi
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP06006302A external-priority patent/EP1841230A1/en
Priority claimed from EP06007740A external-priority patent/EP1845729A1/en
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP07739618.2A priority Critical patent/EP2001239B1/en
Priority to KR1020087023579A priority patent/KR101353689B1/ko
Priority to JP2008506873A priority patent/JP5513740B2/ja
Priority to CN200780011050.8A priority patent/CN101411201B/zh
Priority to US12/294,103 priority patent/US8189934B2/en
Publication of WO2007111292A1 publication Critical patent/WO2007111292A1/ja
Priority to US13/437,315 priority patent/US8712171B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to an image encoding device and an image decoding device that encode and decode an image, and more particularly to an image encoding device and an image decoding device that apply a filter to a decoded image.
  • Moving images are used in many applications ranging from videophones and video conferences to digital television and DVD (Digital Versatile Disc).
  • digital television and DVD Digital Versatile Disc
  • a large amount of data must be transmitted through a transmission channel of a limited frequency band, and a large amount of data is stored in a storage medium with a limited capacity. Must be stored. Therefore, when transmitting or recording digital data indicating a moving image, it is necessary to compress the digital data to reduce the data amount.
  • one frame (picture) of a moving image is divided into blocks (macroblocks) in order to compress data at a block level.
  • transform coefficients are generated by transforming the spatial domain of the block into the frequency domain, and the spatial redundancy of the frame is reduced.
  • Sarako quantize the conversion coefficient.
  • the moving image data amount is reduced by such a moving image code.
  • the quantized transform coefficient is subjected to ENT PG coding.
  • the moving picture compression technique (picture coding method) as described above is called a hybrid coding technique, and is the most effective among various moving picture compression techniques.
  • the hybrid coding technique is a combination of temporal and spatial compression techniques and statistical coding techniques.
  • the hybrid coding technology includes motion compensation DPCM (Differential Pulse Code Modulation), two-dimensional DCT (Discrete Cosine Transform), DCT coefficient quantization, and VLC (Variable Length Coding).
  • Motion compensation DPCM detects image motion between a processing target frame and a processed frame, predicts the processing target frame according to the detected motion, and calculates a difference between the processing target frame and the prediction result. Generate.
  • FIG. 1 is a block diagram showing a configuration of a conventional image encoding device.
  • the image coding apparatus 1000 includes a subtractor 1100, an orthogonal transform quantization unit 1200, an inverse quantization inverse orthogonal transform unit 1300, a calorie calculator 1350, a deblocking filter 1400, a memory 1500, an in-plane prediction unit 1600, a motion A compensation unit 1650, a motion detection unit 1700, a switching unit 1800, and an entropy encoding unit 1900 are provided.
  • the subtractor 1100 calculates a difference between the input image indicated by the input image signal In and the predicted image Pre output from the in-plane prediction unit 1600 or the motion compensation unit 1650 as a prediction error Res.
  • the adder 1350 generates the local decoded image Rc by adding the prediction image Pre and the prediction error Dr described above, and outputs the local decoded image Rc to the deblocking filter 1400.
  • the deblocking filter 1400 filters the local decoded image Rc so as to remove block distortion from the local decoded image Rc output from the adder 1350. That is, since the above-described processing until the local decoded image Rc is generated is performed in units of blocks constituting the picture, the local decoded image Rc includes block distortion. Therefore, the deblocking filter 1400 removes the block distortion from the local decoded image Rc.
  • the deblocking filter 1400 smoothes the edge of each block by applying a linear filter to the boundary of each block of the locally decoded image Rc, for example. Then, the deblocking filter 1400 stores the filtered local decoded image Rc in the memory 1500 as the local decoded image R df.
  • the in-plane prediction unit 1600 obtains one or more locally decoded images Rdf corresponding to the input image to be encoded from the memory 1500.
  • a reference image Ref is extracted, and a prediction image Pre for the input image to be encoded is generated using the reference image Ref.
  • the motion detection unit 1700 refers to the picture encoded before the encoding target picture of the input picture, that is, the local decoded picture Rc stored in the memory 1500 as the reference picture Ref, for example, The motion vector MV is detected for each macro block included in the target pixel.
  • the motion compensation unit 1650 detects the motion vector detected by the motion detection unit 1700 from the reference image Ref stored in the memory 1500. Extract the image of the area indicated by MV and set it as the predicted image Pre. Output.
  • the entropy coding unit 1900 performs entropy coding (variable length coding) on the quantum coefficient Qc generated by the orthogonal transform quantization unit 1200 and the motion vector MV detected by the motion detection unit 1700. By doing so, an encoded stream Str is generated.
  • FIG. 2 is a block diagram showing a configuration of a conventional image decoding apparatus.
  • the image decoding apparatus 2000 includes an entropy decoding unit 2100, an inverse quantization inverse orthogonal transform unit 2 200, a calorie calculator 2300, a deblocking filter 2400, a memory 2500, an in-plane prediction unit 2600, a motion compensation unit 2650, And a switching unit 2700.
  • the entropy decoding unit 2100 acquires the encoded stream Str, and performs entropy decoding (variable length decoding) on the encoded stream Str. Then, the entropy decoding unit 2100 extracts the quantization coefficient Qc and the motion vector MV from the entropy-decoded encoded stream Str.
  • the deblocking filter 2400 filters the decoded image Rc so as to remove block distortion from the decoded image Rc output from the adder 2300. That is, the above-described processing until the decoded image Rc is generated is performed in units of blocks constituting the picture. Therefore, the decoded image Rc includes block distortion.
  • the deblocking filter 2400 smoothes the edge of each block, for example, by applying linear filtering to the boundary of each block of the decoded image Rc.
  • the deblocking filter 2400 outputs the filtered decoded image Rc as the output image Ds, and stores the decoded image Rc in the memory 2500 as the reference image Ref.
  • the in-plane prediction unit 2600 reads from the memory 2500 one or more corresponding to the prediction error Dr.
  • the reference image Ref is extracted, and the prediction image Pre is generated using the reference image Ref.
  • the motion compensation unit 2650 performs entropy decoding from the reference image Ref stored in the memory 2500.
  • the image in the region indicated by the motion vector MV extracted by the heel part 2100 is taken out and output as the predicted image Pre.
  • the switching unit 2700 uses the prediction image Pre output from the in-plane prediction unit 2600 for processing in the adder 2300.
  • the adder 2300 is connected to the in-plane prediction unit 2600.
  • the switching unit 2700 uses the prediction image Pre output from the motion compensation unit 2650 for processing in the adder 2 300 when the decoding mode power S of the decoding target macroblock is in the S inter mode.
  • the adder 2300 is connected to the motion compensation unit 2650.
  • the image quality of the locally decoded image Rc in the image coding apparatus 1000 and the decoded image Rc in the image decoding apparatus 2000 is the same as that of the input image corresponding to those images. Is inferior to. That is, the local decoded image Rc and the decoded image Rc are distorted as compared with the input image, and include noise associated with the code and decoding. Noise includes quantization noise and block distortion.
  • the deblocking filters 1400 and 2400 are provided to improve the image quality of the local decoded image Rc and the decoded image Rc.
  • the image quality of the local decoded image Rc and the decoded image Rc cannot be sufficiently improved. That is, the deblocking filters 1400 and 2400 only try to remove the block distortion by smoothing the block boundary, and do not remove other noises or improve the image quality of the region other than the boundary. . Furthermore, the deblocking filters 1400 and 2400 apply a linear filter with a predetermined filter coefficient regardless of the contents (clearness, smoothness, etc.) of the local decoded image Rc and the decoded image Rc. N Filtering suitable for the decoded image Rc cannot be performed.
  • a so-called adaptive filter performs filtering suitable for the image by analyzing the content of the image. For example, an encoded and further decoded image is analyzed, and filter parameters (filter coefficients) corresponding to the analysis result are used for filtering the image.
  • Patent Document 1 describes an adaptive filter for moving images.
  • motion and noise of a decoded image are detected, a filter parameter corresponding to the detection result is calculated, and a filter according to the filter parameter is applied to the decoded image.
  • the filter parameter is calculated iteratively by the above detection.
  • Patent Document 1 US Patent Application Publication No. 2005Z0105627
  • the adaptive filter of Patent Document 1 determines the filter parameters based on a distorted decoded image including distortion and noise, so there is a limit to improving the image quality.
  • the bit rate of the encoded stream Str including the encoded input image is increased, the image quality of the decoded image can be improved.
  • a recording medium having a large capacity is required to store the encoded stream Str, and a wide bandwidth communication medium is required to transmit the encoded stream Str. Become.
  • the present invention has been made in view of the problem, and an image encoding device and an image decoding device that reliably prevent deterioration in image quality of an image that has been encoded and decoded are provided.
  • the purpose is to provide.
  • an image decoding apparatus is an image decoding device that decodes an encoded image, and decodes an encoded image included in an encoded stream.
  • decoding means for generating a decoded image, and extraction for extracting the cross-correlation data indicating the correlation between the unencoded image corresponding to the decoded image and the decoded image to extract the encoded stream force Means, parameter calculation means for calculating a filter parameter based on the cross-correlation data extracted by the extraction means, and filtering means for performing a filtering operation on the decoded image according to the filter parameter. It is characterized by providing.
  • the parameter calculation means generates autocorrelation data indicating correlation in the decoded image, and calculates the filter parameter by calculating using the autocorrelation data and the cross correlation data.
  • the parameter calculation means calculates the filter parameter as a filter coefficient of the Wiener filter.
  • the image decoding apparatus shows, for example, a correlation between a disturbed decoded image including noise and a non-encoded, unencoded, original image of the decoded image!
  • the extraction means also extracts the cross-correlation data from the header power of an encoded block, slice, picture, or region in which a plurality of pictures are grouped included in the encoded stream. Also good. Further, the extracting means may extract the cross-correlation data from auxiliary extension information of a coded picture included in the coding stream!
  • the image decoding apparatus can apply a Wiener filter to the decoded image using the cross-correlation data, and the cross-correlation. You can skip the data and not apply the winner filter.
  • the parameter calculation unit may generate the autocorrelation data for each region of the decoded image and calculate the filter parameter for each region.
  • the parameter calculating means sets a block, a slice, a picture, or a plurality of pictures as one area, and calculates the autocorrelation data and the filter parameter for each area.
  • a filter parameter suitable for the region can be calculated.
  • filter parameters suitable for that block can be calculated for each block, and image quality can be more reliably reduced. Can be prevented.
  • an image encoding device is an image encoding device that encodes an input image, and generates an encoded image by encoding the input image.
  • insertion means for inserting the cross-correlation data into an encoded stream including the encoded image generated by the encoding means.
  • the image encoding device further generates autocorrelation data indicating a correlation in the decoded image, and calculates a filter parameter by calculating using the autocorrelation data and the crosscorrelation data.
  • filtering means for performing a filtering operation on the decoded image according to the filter parameter.
  • the parameter calculation means sets the filter parameter to a winner. Calculated as a filter coefficient of one filter.
  • an image decoding apparatus that obtains an encoded stream, for example, has a disturbed decoded image including noise, and is undistorted without being encoded as a source of the decoded image.
  • Cross-correlation data indicating the correlation with the image can be acquired, and by applying a Wiener filter to the decoded image, the decoded image is disturbed as described above! /, Close to the original input image. be able to.
  • the inserting means inserts the cross-correlation data into a header of an encoded block, slice, picture, or a region in which a plurality of pictures are grouped, included in the encoded stream. It may be a feature. Further, the inserting means may insert the cross-correlation data into auxiliary extension information of a coded picture included in the coding stream.
  • the image decoding apparatus that obtains the encoded stream applies a winner filter to the decoded image using the cross-correlation data. In addition, you can skip the cross-correlation data and do not try to win!
  • the cross-correlation data generation means may generate the cross-correlation data for each region of the image.
  • the cross-correlation data generating means sets a block, a slice, a picture, or a plurality of pictures as one area, and generates the cross-correlation data for each area.
  • the image decoding apparatus that obtains the encoded stream can calculate filter parameters suitable for each area such as a block and a slice, and more reliably reduce the image quality. Can be prevented. Also, as the cross-correlation data is generated for each small area such as a block, the smaller the area, the lower the image quality can be prevented, and the cross-correlation data can be obtained for each large area such as multiple pictures. As generated, the larger the area, the smaller the amount of cross-correlation data included in the encoded stream, and the smaller the amount of encoded stream data.
  • the present invention is realized as such an image encoding device and image decoding device. It can be realized as a method and program, a storage medium storing the program, and an integrated circuit.
  • the image encoding device and the image decoding device according to the present invention have the effect of reliably preventing the deterioration of the image quality of the encoded and decoded image.
  • FIG. 1 is a block diagram showing a configuration of a conventional image encoding device.
  • FIG. 2 is a block diagram showing a configuration of a conventional image decoding apparatus.
  • FIG. 3 is a block diagram showing a configuration of an image encoding device according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing the structure of the encoded stream of the above.
  • FIG. 5 is a diagram showing an example of the SEI syntax same as above.
  • FIG. 6 is a diagram showing an example of syntax in the cross-correlation data described above.
  • FIG. 7 is a flowchart showing the operation of the above-described image coding apparatus.
  • FIG. 8A is a block diagram showing a configuration of the above-described image decoding apparatus.
  • FIG. 8B is a block diagram showing the configuration of the adaptive filter of the above.
  • FIG. 9 is a flowchart showing the operation of the above-described image decoding apparatus.
  • FIG. 10 is a block diagram showing a configuration of an image encoding device according to Modification 1 of the above.
  • FIG. 11 is a block diagram showing a configuration of an adaptive filter according to Modification 1 of the above.
  • FIG. 12 is a block diagram showing a configuration of an image decoding apparatus according to Modification 1 of the above.
  • FIG. 13 is a block diagram showing a configuration of an image encoding device according to Modification 2 of the above.
  • FIG. 14 is a block diagram showing a configuration of an image decoding apparatus according to Modification 2 of the above.
  • FIG. 15 is a block diagram showing a configuration of an image encoding device according to Modification 3 of the above.
  • FIG. 16 is a block diagram showing a configuration of an image decoding apparatus according to Modification 3 of the above.
  • FIG. 17 is a block diagram showing a configuration of an image encoding device according to Modification 4 of the above.
  • FIG. 18 is a block diagram showing a configuration of an image decoding apparatus according to Modification 4 of the above.
  • FIG. 19 is a block diagram showing a configuration of an image encoding device according to Modification 5 of the above.
  • FIG. 20 is a block diagram showing a configuration of an image decoding apparatus according to Modification 5 of the above.
  • FIG. 21 is a diagram showing an example of syntax in SEI filter parameters according to Modification 6 of the above.
  • FIG. 3 is a block diagram showing a configuration of the image encoding device according to the embodiment of the present invention.
  • the image decoding apparatus appropriately filters the image decoded by the image decoding apparatus to prevent deterioration in image quality.
  • the cross-correlation data is output to the image decoding apparatus so that it can be performed.
  • the image coding apparatus 100 has an input indicated by the input image signal In.
  • the encoded stream Str is generated by acquiring the force image and encoding it, and the cross-correlation data is generated and the cross-correlation data is inserted into the encoded stream Str.
  • the image encoding device 100 includes a subtractor 110, an orthogonal transform quantization unit 120, an inverse quantization inverse orthogonal transform unit 130, an adder 135, a cross correlation data generation unit 140, a memory 150, an in-plane A prediction unit 160, a motion compensation unit 165, a motion detection unit 170, a switching unit 180, and an entropy code input unit 190 are provided.
  • subtractor 110 and orthogonal transform quantization section 120 are configured as encoding means
  • inverse quantization inverse orthogonal transform section 130 and adder 135 are configured as decoding means.
  • the entropy code key unit 190 is configured as an insertion unit
  • the in-plane prediction unit 160, the motion compensation unit 165, and the motion detection unit 170 are configured as a prediction unit.
  • the subtractor 110 calculates a difference between the input image indicated by the input image signal In and the predicted image Pre output from the in-plane prediction unit 160 or the motion compensation unit 165 as a prediction error Res.
  • the orthogonal transform quantization unit 120 converts the prediction error Res calculated by the subtractor 110 into a frequency component (for example, discrete cosine transform), and performs quantization on the frequency component to thereby obtain the frequency.
  • the component is compression encoded to the quantized coefficient Qc.
  • the inverse quantization inverse orthogonal transform unit 130 performs inverse quantization on the quantization coefficient Qc output from the orthogonal transform quantization unit 120, thereby transforming the quantization coefficient Qc into a frequency component. . Further, the inverse quantization inverse orthogonal transform unit 130 performs inverse orthogonal transform (for example, inverse discrete cosine transform) on the frequency component, thereby transforming the frequency component into a prediction error Dr.
  • inverse orthogonal transform for example, inverse discrete cosine transform
  • the adder 135 generates the local decoded image Rc by adding the prediction image Pre and the prediction error Dr, and stores the local decoded image Rc in the memory 150.
  • the in-plane prediction unit 160 obtains one or more locally decoded images Rc corresponding to the input image to be encoded from the memory 150. Extracted as a reference image Ref, the prediction image Pre of the input image to be encoded is generated using the reference image Ref.
  • the motion detection unit 170 is a picture encoded before the encoding target picture of the input image. For example, the motion vector MV is detected for each macroblock included in the picture to be encoded, referring to the local decoded image Rc stored in the memory 150 as the reference image Ref.
  • the motion compensation unit 165 detects the motion vector detected by the motion detection unit 170 from the reference image Ref stored in the memory 150.
  • the image of the area (macroblock) indicated by MV is taken out and output as the predicted image Pre.
  • the switching unit 180 uses the prediction image Pre output from the in-plane prediction unit 160 for processing in the subtractor 110 when the code key mode intra mode of the code key target macroblock is used. As shown, the subtractor 110 is connected to the in-plane prediction unit 160. Further, the switching unit 180 is configured so that the prediction image Pre output from the motion compensation unit 165 is used for the processing in the subtracter 110 when the code mode of the target macroblock is in inter mode. The subtractor 110 is connected to the motion compensation unit 165.
  • the cross-correlation data generation unit 140 based on the input image indicated by the input image signal In and the local decoded image Rc corresponding to the input image, the correlation (difference, difference between the input image and the local decoded image Rc). ) To generate cross correlation data (cross correlation matrix or cross correlation vector) p
  • the cross-correlation data generation unit 140 creates a picture for each block or macroblock constituting the picture (hereinafter, the block and the macroblock are collectively referred to simply as a block) and for each slice having a plurality of block powers.
  • One cross-correlation data p is generated for each scene or for each scene or GOP (Group Of Picture) in which a plurality of picture powers are also configured. Therefore, when the cross-correlation data p is generated for each picture, the common cross-correlation data p is used for filtering of all the blocks included in the picture. Similarly, when cross-correlation data p is generated for each slice, common cross-correlation data p is used for filtering of all blocks included in the slice.
  • the cross-correlation data generator 140 uses the color Cross-correlation data P may be generated for each component. This makes it possible to perform appropriate filtering for each color component.
  • the entropy coding unit 190 detects the quantization coefficient Qc generated by the orthogonal transform quantization unit 120, the cross-correlation data p generated by the cross-correlation data generation unit 140, and the motion detection unit 170.
  • Encoded stream Str is generated by entropy coding (variable length coding) with the motion vector MV.
  • the entropy code unit 190 in the present embodiment entropy codes the cross-correlation data p, and includes the encoded input image of the cross-correlation data p encoded by the entropy. Insert into encoded stream Str.
  • the cross-correlation data generation unit 140 when the cross-correlation data generation unit 140 generates the cross-correlation data P in units of scenes, that is, in units of pictures, that is, in units of a large spatial region of the image, the data amount of all the cross-correlation data P Since the amount is small, the data amount of the encoded stream Str can be suppressed.
  • the cross-correlation data generation unit 140 when the cross-correlation data generation unit 140 generates the cross-correlation data p in units of blocks or sequences, that is, in units of small spatial regions of the image, optimal filtering can be performed for each block or sequence. Therefore, the image quality can be further improved.
  • the cross-correlation data P is inserted into the encoded stream Str as described above, so that the encoded stream Str is acquired and decoded.
  • cross-correlation data p can be acquired.
  • the image decoding apparatus can calculate the filter parameter of the Wiener filter based on the cross-correlation data p, perform filtering by the Wiener filter on the decoded image, and improve the image quality of the decoded image. .
  • the filter parameter w of the Wiener filter is expressed as (Equation 1) using the autocorrelation matrix R and the cross-correlation vector (cross-correlation data) P. If the autocorrelation matrix R is a matrix consisting of MXM elements (M is a natural number) and the cross-correlation vector p is a vector consisting of 1 element of MX, the filter parameter w is M filters It is shown as a matrix with coefficient power. R- 1 is the inverse of the autocorrelation matrix R.
  • the filter parameter w of the Wiener filter performs filtering by performing convolution processing on the image to be filtered. For example, as shown in (Expression 2), a two-dimensional 3 X 3 tap filter If so, it has 9 filter coefficients.
  • the cross-correlation vector p is estimated using the input image and the local decoded image Rc, and the autocorrelation matrix R is estimated using only the local decoded image Rc. Then, by performing the matrix operation of (Equation 1), for example, 3 ⁇ 3 filter parameters w as shown in (Equation 5) are obtained.
  • the matrix operation shown in (Expression 6) is performed.
  • a matrix is generated that has the power of the pixel value (229) of the pixel to be filtered in the image and the pixel values (192, 225, 225, etc.) of the pixels around the pixel.
  • the product of the matrix composed of the plurality of pixel values and the above-described filter parameter w is calculated.
  • the pixel value (229) of the above-mentioned pixel is 227.47.
  • the pixel value 227.47 indicating the result of the filtering operation is set to 227 by truncating the decimal part.
  • An image decoding apparatus that obtains the coded stream Str as described above extracts the coded stream Str force cross-correlation data (cross-correlation vector) p, and thereby performs the above-described Wiener filter. Can be used. That is, the image decoding apparatus generates a decoded image by decoding the encoded stream Str, and generates an autocorrelation matrix R from the decoded image. Then, as shown in (Equation 1), the image decoding apparatus can calculate the filter parameter w of the Wiener filter using the autocorrelation matrix R and the cross correlation vector p.
  • the image decoding apparatus performs a filtering operation on each pixel of the decoded image using the filter parameter w, thereby reducing the block distortion or the like included in the decoded image. Noise such as quantization noise can be removed, and the image quality of the decoded image can be brought close to that of the input image.
  • the decoded image when the input image is encoded and further decoded, the decoded image includes block distortion, quantization noise, and the like, and the decoded image has a higher image quality than the input image. Is inferior.
  • the Wiener filter is designed so that the difference between the image obtained by filtering the decoded image and the input image (the mean square value of the pixel value difference) is minimized. Therefore, by applying a Wiener filter to the decoded image, the decoded image can be reliably brought close to the original input image.
  • Fig. 4 is a diagram showing a configuration of the encoded stream Str.
  • the coded stream Str is a GOP in which multiple coded pictures are grouped together.
  • the GOP includes an SPS (Sequence Parameter Set) that also has a plurality of parameter powers used for decoding all the pictures included in the GOP, and a plurality of pictures.
  • SPS Sequence Parameter Set
  • a picture uses a PPS (picture parameter set) that also has a plurality of parameter powers used for decoding the picture, SEI that is auxiliary extension information, and the SEI in order from the top.
  • PPS picture parameter set
  • SEI that is auxiliary extension information
  • SEI the SEI in order from the top.
  • a picture also contains one or more sets of SEI, one or more slices, and a set of forces.
  • the cross-correlation data generation unit 140 when the cross-correlation data generation unit 140 generates the cross-correlation data p for each slice, the entropy code key unit 190 is in front of the slice and performs decoding of the slice.
  • the cross-correlation data p generated for the slice is inserted into the SEI used.
  • the common cross-correlation data p is used for filtering of all blocks included in the slice.
  • the entropy coding unit 190 uses the common cross-correlation data p generated for the plurality of slices as the SEI. insert. In this case, common cross-correlation data p is used for filtering of all blocks included in a plurality of slices.
  • the cross-correlation data p is inserted into the SEI that is the header of the encoded picture.
  • FIG. 5 is a diagram illustrating an example of the SEI syntax.
  • Information required according to the payload type is inserted into the SEI.
  • the pay type is 22
  • cross-correlation data p is inserted into the additional data field of SEI. That is, the cross-correlation data p is inserted into the SEI as an optional post filter hint.
  • the image decoding apparatus extracts the cross-correlation data P included in the SEI of the encoded stream Str, thereby performing the filter using the Wiener filter. Ring can be done. Further, even if the conventional image decoding apparatus acquires the coding stream Str of the present embodiment, the conventional image decoding apparatus reads the cross-correlation data p included in the SEI of the encoded stream Str. It can be skipped and decryption can be performed in a conventional manner. That is, the encoded stream Str in the present embodiment is compatible with the conventional encoded stream Str.
  • Fig. 6 is a diagram illustrating an example of syntax in the cross-correlation data p.
  • the number of elements included in the matrix p (number_of_elements), the weight for the elements (scaling_factor), and the value of each element (filter_hint [ele ment]) are SEI. Inserted into. In the image decoding apparatus, the value of each element of the cross-correlation data p is used after being divided by the weight indicated by scaling_factor.
  • FIG. 7 is a flowchart showing the operation of the image coding apparatus 100 according to the present embodiment.
  • the image coding apparatus 100 acquires an input image indicated by the input image signal In (step SIOO), and generates the quantization coefficient Qc by encoding the input image (step S102). . Further, the image encoding device 100 generates a locally decoded image Rc by decoding the quantized coefficient Qc (step S104).
  • the image coding apparatus 100 generates cross-correlation data p from the input image and the locally decoded image Rc corresponding to the input image (step S106).
  • the image encoding apparatus 100 generates an encoded stream Str including the cross-correlation data p by entropy encoding the generated cross-correlation data P and the quantization coefficient Qc (step S108). That is, the image encoding device 100 inserts the cross-correlation data p into the encoded stream S tr including the encoded input image. Then, the image encoding device 100 outputs the encoded stream Str (step S110).
  • the entropy coding unit 190 of the image coding apparatus 100 should filter which image area of the coded image or the like. May be inserted in the encoded stream Str together with the cross-correlation data p.
  • the image decoding apparatus can apply the Wiener filter only to the image region indicated by the identification information (eg, I picture, P picture, and B picture).
  • FIG. 8A is a block diagram showing a configuration of the image decoding apparatus according to the present embodiment.
  • the image decoding apparatus 200 uses the cross-correlation data p transmitted from the image encoding apparatus 100 to appropriately filter the decoded image to reduce the image quality. Can be prevented.
  • the image decoding apparatus 200 in the present embodiment generates a decoded image by acquiring and decoding the encoded stream Str output from the image encoding apparatus 100, and performs cross-correlation. Data p is extracted from the encoded stream Str. Then, the image decoding device 200 calculates the filter parameter w of the Wiener filter using the cross-correlation data p, and filters the decoded image with the filter parameter w.
  • the image decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization inverse orthogonal transform unit 220, an adder 230, an adaptive filter 240, a memory 250, an in-plane prediction unit 260, a motion compensation.
  • a unit 265 and a switching unit 270 are provided.
  • the inverse quantization inverse orthogonal transform unit 220 and the adder 230 are configured as decoding means
  • the entropy decoding unit 210 is configured as extraction means.
  • the adaptive filter 240 is configured as parameter calculation means and filtering means
  • the in-plane prediction unit 260 and the motion compensation unit 265 are configured as prediction means.
  • the entropy decoding unit 210 obtains the encoded stream Str, and performs entropy decoding (variable length decoding) on the encoded stream Str. Then, the entropy decoding unit 210 extracts the quantized coefficient Qc, the cross-correlation data p, and the motion vector MV from the entropy-decoded encoded stream Str.
  • the inverse quantization inverse orthogonal transform unit 220 acquires the quantization coefficient Qc extracted by the entropy decoding unit 210, performs inverse quantization on the quantization coefficient Qc, and thereby performs the quantization. Convert the conversion factor Qc into frequency components. Further, the inverse quantization inverse orthogonal transform unit 220 performs inverse orthogonal transform (for example, inverse discrete cosine transform) on the frequency component, thereby transforming the frequency component into a prediction error Dr.
  • inverse orthogonal transform for example, inverse discrete cosine transform
  • the adder 230 adds the prediction image Pre output from the in-plane prediction unit 260 or the motion compensation unit 265 to the prediction error Dr output from the inverse quantization inverse orthogonal transform unit 220. Generate decoded image Rc. Further, the adder 230 outputs the generated decoded image Rc by 240 adaptive filters, and stores the decoded image Rc in the memory 250.
  • the in-plane prediction unit 260 reads from the memory 250 one or more local areas corresponding to the prediction error Dr.
  • the decoded image Rc is extracted as a reference image Ref, and a predicted image Pre is generated using the reference image Ref.
  • the motion compensation unit 265 uses the entropy decoding code from the reference image Ref stored in the memory 250.
  • the image of the region indicated by the motion vector MV extracted by the unit 210 is extracted and output as the predicted image Pre.
  • the switching unit 270 uses the prediction image Pre output from the in-plane prediction unit 260 for the processing in the adder 230 when the decoding key mode intra mode of the decoding target macroblock is used.
  • the adder 230 is connected to the in-plane prediction unit 260.
  • the switching unit 270 is configured so that when the decoding mode of the decoding target macroblock is the inter mode, the prediction image Pre output from the motion compensation unit 265 is used for the processing in the adder 230.
  • the adder 230 is connected to the motion compensation unit 265.
  • Adaptive filter 240 acquires cross-correlation data P extracted by entropy decoding unit 210 and decoded image Rc output from adder 230. Then, adaptive filter 240 calculates the filter parameter w of the Wiener filter from the cross-correlation data p, and uses the filter parameter w to apply a filter corresponding to decoded image Rc to the decoded image Rc. As a result, the adaptive filter 240 outputs the filtered decoded image Rc as the output image Ds.
  • FIG. 8B is a block diagram showing the configuration of adaptive filter 240.
  • the adaptive filter 240 includes an autocorrelation data generation unit 241, a filter parameter calculation unit 242, and a filter processing unit 243.
  • the autocorrelation data generation unit 241 acquires the decoded image Rc, analyzes the decoded image Rc, and generates and outputs an autocorrelation matrix (autocorrelation data) R.
  • the filter parameter calculation unit 242 performs autocorrelation data R and cross-
  • the filter parameter w of the Wiener filter is calculated by performing an operation using the relational data p.
  • the filter processing unit 243 performs filter processing (filtering) on the decoded image Rc using the filter parameter w. That is, the filter processing unit 243 applies a filter based on the filter parameter w to the decoded image Rc as shown in (Equation 6). The output image Ds is generated and output by such filtering.
  • noise such as block distortion and quantization noise included in the decoded image Rc can be removed, and the image quality of the filtered decoded image Rc, that is, the output image Ds can be brought close to the image quality of the input image. .
  • the adaptive filter 240 may filter only the I picture, or may filter all of the I picture, the P picture, and the B picture. That is, the adaptive filter 240 acquires the above-described identification information from which the encoded stream Str force is also extracted by the entropy decoding unit 210, and filters only the image area indicated by the identification information.
  • FIG. 9 is a flowchart showing the operation of the image decoding apparatus 200 according to the present embodiment.
  • the image decoding apparatus 200 acquires the encoded stream Str (step S200), entropy-decodes the encoded stream Str, and the entropy-decoded encoded stream Str force is also cross-correlated. Data p is extracted (step S202).
  • the image decoding apparatus 200 further generates a decoded image Rc by further decoding the encoded stream Str subjected to entropy decoding (step S204). That is, the image decoding apparatus 200 performs inverse quantization and inverse orthogonal transform on the quantized coefficient Qc included in the encoded stream Str, and further adds the predicted image Pre to obtain the decoded image Rc. Generate.
  • the image decoding apparatus 200 calculates the autocorrelation data R based on the decoded image Rc.
  • the filter parameter w of the Wiener filter corresponding to the cross-correlation data and the autocorrelation data R generated (step S206) and extracted in step S202 is calculated (step S208).
  • the image decoding apparatus 200 performs a filtering process (filtering) on the decoded image Rc using the calculated filter parameter w (step S210), and outputs the filtered decoded image Rc to the output image Ds. (Step S212).
  • the encoded stream Str force also extracts the cross-correlation data p, calculates the filter parameter w of the Wiener filter, and follows the filter parameter w.
  • a filter is applied to the decoded image Rc.
  • the image decoding apparatus 200 extracts the cross-correlation data p without extracting the encoded stream Str force from the filter parameter w of the Wiener filter, so that the situation (resource status) of the image decoding apparatus 200 is determined.
  • the corresponding filter parameter w can be calculated and used.
  • the image decoding apparatus 200 when the image decoding apparatus 200 is provided in a mobile terminal, and the mobile terminal includes a slow processor and a small display, the image decoding apparatus 200 has a small number of filter coefficients. Calculate the filter parameter w. Then, the image decoding apparatus 200 simply performs filtering using the filter parameter w. On the other hand, when the image decoding apparatus 200 is provided in a high-function terminal and the terminal has a fast processor and a large display, the image decoding apparatus 200 has a filter parameter with a large number of filter coefficients. Calculate w. The image decoding apparatus 200 performs complicated filtering using the filter parameter w.
  • filter parameters w may be calculated for the same cross-correlation data p.
  • the image decoding apparatus 200 calculates a filter parameter w having a small number of filter coefficients in the power save mode, and calculates a filter parameter w having a large number of filter coefficients in the high image quality mode. To do.
  • the autocorrelation data generation unit 241 of the image decoding apparatus 200 forms, for example, a picture for each arbitrary image region regardless of the image region to which the cross-correlation data is applied.
  • One self-correlation data R is generated for each block, for each slice with multiple block power, for each picture, or for each scene or GOP (Group Of Picture) composed of multiple pictures.
  • the filter parameter calculation unit 242 can calculate an appropriate filter parameter w for each image region, and the image quality of the output image Ds that is the decoded image Rc that has been filtered is calculated using the filter parameter w. The image quality of the input image can be assuredly close.
  • the degree of freedom of the filter parameter w can be increased.
  • the image coding apparatus applies a filter corresponding to the local decoded image Rc to the local decoded image Rc, and stores the filtered local decoded image Rc in the memory 150 as a reference image Ref. There is a feature to keep.
  • FIG. 10 is a block diagram showing a configuration of an image encoding device according to this modification.
  • the image coding apparatus 300 according to the present modification includes an adaptive filter 340 instead of the cross-correlation data generation unit 140 included in the image coding apparatus 100 according to the above embodiment.
  • Adaptive filter 340 generates cross-correlation data p and autocorrelation data R based on local decoded image Rc and the input image. Furthermore, the adaptive filter 340 calculates the generated cross-correlation data p and the autocorrelation data R-force Wiener filter filter parameter w. The adaptive filter 340 outputs the cross-correlation data p to the entropy code key unit 190 and filters the local decoded image Rc using the calculated filter parameter w. As a result, the adaptive filter 340 stores the filtered local decoded image Rc in the memory 150 as the filtered decoded image Rcf.
  • the adaptive filter 340 is configured as a parameter calculation unit and a filtering unit.
  • the prediction error Res can be reduced, and as a result, the data amount of the encoded stream Str can be suppressed.
  • FIG. 11 is a block diagram showing a configuration of adaptive filter 340 according to the present modification.
  • the adaptive filter 340 includes a cross-correlation data generation unit 341 and an autocorrelation data generation unit 34.
  • the cross-correlation data generation unit 341 generates cross-correlation data (cross-correlation vector) p based on the input image indicated by the input image signal In and the local decoded image Rc corresponding to the input image. For example, the cross-correlation data generation unit 341 generates the cross-correlation data p for each picture, or for each block, macroblock, or slice constituting the picture.
  • the autocorrelation data generation unit 342 acquires the local decoded image Rc, analyzes the local decoded image Rc, and generates and outputs the autocorrelation data R that is an autocorrelation matrix.
  • the filter parameter calculation unit 343 calculates the filter parameter w of the Wiener filter by performing an operation using the autocorrelation data R and the cross correlation data p.
  • the filter processing unit 344 generates a filtered decoded image Rcf and stores it in the memory 150 by performing filtering on the local decoded image Rc using the filter parameter w.
  • FIG. 12 is a block diagram showing a configuration of an image decoding apparatus according to this modification.
  • the image decoding apparatus 400 according to the present modification is an apparatus that decodes the encoded stream Str generated by the image encoding apparatus 300 according to the present modification.
  • the image decoding apparatus 400 is an output output from the adaptive filter 240 that does not store the decoded image Rc in the memory 250 like the image decoding apparatus 200 of the above embodiment.
  • the image Ds is stored in the memory 250 as a reference image Ref. That is, the adaptive filter 240 outputs the output image Ds and stores the output image Ds used as the reference image Ref in the memory 250.
  • the image decoding apparatus 400 can generate the same predicted image Pre as the predicted image Pre generated by the image encoding apparatus 300, and the image encoding apparatus The encoded stream Str generated by 300 can be appropriately decoded.
  • the image coding apparatus according to the present modification is characterized in that it includes each component of the image coding apparatus 300 of the first modification and a deblocking filter.
  • FIG. 13 is a block diagram showing a configuration of an image encoding device according to this modification.
  • the image coding apparatus 500 according to the present modification includes each component of the image coding apparatus 300 according to the first modification, and also includes a deblocking filter 510.
  • the deblocking filter 510 filters the local decoded image Rc output from the adder 135 so as to remove the local decoded image Rc force block distortion. Then, the deblocking filter 510 outputs the filtered local decoded image Rc to the adaptive filter 340 as the local decoded image Red. Such processing of the deblocking filter 510 is the same as the processing of the conventional deblocking filter.
  • Adaptive filter 340 generates cross-correlation data p and autocorrelation data R based on local decoded image Red and the input image, as in the case of modification 1 described above. Further, the adaptive filter 340 calculates the filter parameter w of the Wiener filter from the generated cross-correlation data p and the autocorrelation data scale. The adaptive filter 340 outputs the cross-correlation data p to the entropy code key unit 190 and filters the local decoded image Red using the calculated filter parameter w. As a result, the adaptive filter 340 stores the filtered local decoded image Red in the memory 150 as the filtered decoded image Rcf.
  • FIG. 14 is a block diagram showing a configuration of an image decoding apparatus according to this modification.
  • the image decoding apparatus 600 according to this modification is an apparatus that decodes the encoded stream Str generated by the image encoding apparatus 500 according to this modification, and is a decoded image Rc.
  • a characteristic is that a deblocking filter is applied to.
  • the image decoding device 600 includes the components of the image decoding device 400 of the first modification and includes a deblocking filter 610.
  • the deblocking filter 610 filters the decoded image Rc so as to remove block distortion from the decoded image Rc output from the adder 230. Then, the deblocking filter 610 outputs the filtered decoded image Rc to the adaptive filter 240 as the decoded image Red.
  • the processing of such a deblocking filter 610 is the same as the processing of the conventional deblocking filter.
  • the adaptive filter 240 acquires the cross-correlation data p extracted by the entropy decoding unit 210 and the decoded image Red output from the deblocking filter 610.
  • the adaptive filter 240 calculates a Wiener filter filter parameter w from the cross-correlation data p, and applies a filter corresponding to the decoded image Red to the decoded image Red using the filter parameter w.
  • the adaptive filter 240 outputs the filtered decoded image Red as the output image Ds.
  • the adaptive filter 240 stores the output image Ds used as the reference image Ref in the memory 250.
  • the present modification includes the deblocking filters 510 and 516 and the adaptive filters 340 and 240, the image quality of the decoded image (output image) can be further improved. Furthermore, this modification can be easily realized by providing adaptive filters 340 and 240 with respect to the conventional image encoding device and image decoding device.
  • the image coding apparatus generates cross-correlation data p based on the force-predicted image Pre provided with the adaptive filter 340 in the same manner as the image coding apparatus 300 of the first modification, and performs prediction.
  • the feature is that the image Pre is filtered.
  • FIG. 15 is a block diagram showing a configuration of an image encoding device according to the present modification.
  • Adaptive filter 340 of image coding apparatus 700 generates cross-correlation data p and autocorrelation data R based on predicted image Pre and the input image. Further, the adaptive filter 340 also calculates the filter parameter w of the Wiener filter with the generated cross-correlation data p and autocorrelation data R force. The adaptive filter 340 outputs the cross-correlation data p to the entropy code key unit 190 and is calculated. The predicted image Pre is filtered using the filtered parameter w. As a result, the adaptive filter 340 outputs the filtered predicted image Pre to the subtractor 110 and the adder 135 as the filtered predicted image Prf.
  • the subtractor 110 and the adder 135 handle the filtered predicted image Prf output from the adaptive filter 340 in the same manner as the predicted image Pre, and perform the same processing as in the above embodiment.
  • FIG. 16 is a block diagram showing a configuration of an image decoding apparatus according to this modification.
  • the adaptive filter 240 of the image decoding apparatus 800 includes the cross-correlation data p extracted by the entropy decoding unit 210 and the prediction output from the in-plane prediction unit 260 or the motion compensation unit 265. Acquire Image Pre. Then, the adaptive filter 240 calculates the filter parameter w of the Wiener filter from the cross-correlation data p, and applies the filter corresponding to the predicted image Pre to the predicted image Pre using the filter parameter w. As a result, the adaptive filter 240 outputs the filtered predicted image Pre as the filtered predicted image Prf.
  • the adder 230 handles the filtered prediction image Prf output from the adaptive filter 240 in the same manner as the prediction image Pre, and performs the same processing as in the above embodiment.
  • the image quality of the predicted image Pre (filtered predicted image Prf) can be improved and brought closer to the input image, and as a result, the data amount of the prediction error Res can be reduced. . Therefore, the data amount of the encoded stream Str can be suppressed.
  • the image coding apparatus is characterized in that orthogonal transformation and quantization are performed on the input image indicated by the input image signal In without calculating the prediction error Res.
  • FIG. 17 is a block diagram showing a configuration of an image encoding device according to this modification.
  • An image coding apparatus 900 includes an orthogonal transform quantization unit 120, an inverse quantization inverse orthogonal transform unit 130, a cross-correlation data generation unit 140, and an entropy coding unit 190.
  • the orthogonal transform quantization unit 120 converts the input image indicated by the input image signal In into a frequency component. By quantizing the frequency component, the frequency component is quantized.
  • the inverse quantization inverse orthogonal transform unit 130 performs inverse quantization on the quantization coefficient Qc output from the orthogonal transform quantization unit 120, thereby transforming the quantization coefficient Qc into a frequency component. . Further, the inverse quantization inverse orthogonal transform unit 130 performs inverse orthogonal transform on the frequency component, thereby transforming the frequency component into a locally decoded image Dec.
  • Cross-correlation data generation section 140 generates cross-correlation data (cross-correlation vector) P based on the input image indicated by input image signal In and local decoded image Dec corresponding to the input image. For example, the cross-correlation data generation unit 140 generates cross-correlation data p for each picture, block constituting the picture, or slice.
  • the entropy coding unit 190 performs entropy coding (variable length coding) on the quantized coefficient Qc generated by the orthogonal transform quantization unit 120 and the cross-correlation data p, thereby generating a coded stream Str. Generate.
  • FIG. 18 is a block diagram showing a configuration of an image decoding apparatus according to this modification.
  • the image decoding apparatus 910 is an apparatus that decodes the encoded stream Str generated by the image encoding apparatus 900 according to the present modification, and includes an entropy decoding unit. 210, an inverse quantization inverse orthogonal transform unit 220, and an adaptive filter 240.
  • the entropy decoding unit 210 acquires the encoded stream Str, and performs entropy decoding (variable length decoding) on the encoded stream Str. Then, the entropy decoding unit 210 extracts the quantization coefficient Qc and the cross-correlation data p from the entropy-decoded encoded stream Str.
  • the inverse quantization inverse orthogonal transform unit 220 acquires the quantization coefficient Qc extracted by the entropy decoding unit 210, performs inverse quantization on the quantization coefficient Qc, and thereby performs the quantization. Convert the conversion factor Qc into frequency components. Further, the inverse quantization inverse orthogonal transform unit 220 performs inverse orthogonal transform on the frequency component to convert the frequency component into a decoded image Dec.
  • the adaptive filter 240 acquires the cross-correlation data p extracted by the entropy decoding unit 210 and the decoded image Dec output from the inverse quantization inverse orthogonal transform unit 220. So Then, the adaptive filter 240 calculates a filter parameter w of the Wiener filter from the cross-correlation data p, and applies a filter corresponding to the decoded image Dec to the decoded image Dec using the filter parameter w. As a result, the adaptive filter 240 outputs the filtered decoded image Dec as the output image Ds.
  • the image coding apparatus 100 in the above embodiment generates the cross-correlation data p necessary for calculating the filter parameter w of the Wiener filter and inserts it into the coded stream Str.
  • cross-correlation data p need not be included in the encoded stream Str. That is, if an appropriate filter parameter is calculated in the image decoding device so that the generated decoded image approximates the input image, not only the above-described cross-correlation data but also other data is inserted into the encoded stream Str. May be.
  • the image coding apparatus According to the present modification, the image coding apparatus according to the present modification generates original data necessary for calculating the filter parameters based on the input image, and encodes the original data into the encoded stream Str. Insert into.
  • FIG. 19 is a block diagram showing a configuration of an image encoding device according to this modification.
  • the orthogonal transform quantization unit 120 converts the input image indicated by the input image signal In into a frequency component, performs quantization on the frequency component, and thereby converts the frequency component into a quantization coefficient.
  • the original data generation unit 921 generates and outputs the above-described original data Kc based on the input image indicated by the input image signal In.
  • the original data Kc may indicate, for example, the contrast, brightness, color characteristics of the input image, or the ratio of the high-frequency component to the low-frequency component of the input image.
  • the original data Kc may indicate statistical characteristics such as standard deviation of pixel values and whether the input image is a fine image.
  • the original data Kc is subject to changes in the frequency and extent of the input image and scene changes. A position may be indicated.
  • the original data Kc may directly indicate the characteristics of the input image.
  • the original data Kc may indicate a genre of the input image, such as sports, news, documentary, music, and the like.
  • the entropy code key unit 190 is a quantization coefficient output from the orthogonal transform quantization unit 120.
  • Encoded stream Str is generated by entropy encoding Qc and original data Kc output from original data generation unit 921.
  • FIG. 20 is a block diagram showing a configuration of an image decoding apparatus according to the present modification.
  • An image decoding device 930 includes an entropy decoding unit 210, an inverse quantization inverse orthogonal transform unit 220, a filter parameter specifying unit 931, and a filter processing unit 932.
  • the entropy decoding unit 210 acquires the encoded stream Str, and performs entropy decoding (variable length decoding) on the encoded stream Str. Then, the entropy decoding unit 210 extracts the quantized coefficient Qc and the original data Kc from the encoded stream Str subjected to the entropy decoding.
  • the inverse quantization inverse orthogonal transform unit 220 acquires the quantization coefficient Qc extracted by the entropy decoding unit 210, performs inverse quantization on the quantization coefficient Qc, and performs the quantization. Convert coefficient Qc to frequency component. Further, the inverse quantization inverse orthogonal transform unit 220 performs inverse orthogonal transform on the frequency component to convert the frequency component into a decoded image Dec.
  • the filter parameter specifying unit 931 holds a plurality of filter parameters in advance, and selects a filter parameter that matches the content indicated by the extracted original data Kc. Specifically, the filter parameter specifying unit 931 selects a filter parameter that performs smoothing when the original data Kc indicates a flat image, and when the original data Kc indicates a fine image. Select filter parameters that make the contours stand out.
  • the filter parameter specifying unit 931 uses the numerical value indicated by the original data Kc, for example, the contrast, luminance, color characteristics, the ratio between the high frequency component and the low frequency component, and the like. Calculate the parameters.
  • the filter processing unit 932 generates an output image Ds by performing a filling operation on the decoded image Dec according to the filter parameter specified as described above.
  • the image coding apparatus 100 may insert the filter parameter w instead of the force cross-correlation data p obtained by inserting the cross-correlation data p into the coding stream Str.
  • FIG. 21 is a diagram illustrating an example of syntax in the filter parameter w of SEI.
  • filter_dimension As information indicating the filter parameter w, the dimension (filter_dimension) of the filter parameter w (matrix), the number of filter coefficients (filterjength) in each dimension of the filter parameter w, the weight (scaling_factor) for the filter coefficient, Filter coefficients (filter_coeffs [color_component] [cy] or 7 are filter-coeffs [color-component] [cy] [cx]) and force SEI are used.
  • filter_dimension When filter_dimension is 0, the filter_dimension indicates one dimension, and when filter_dimension force S i, the filter_dimension indicates two dimensions.
  • filterjength indicates the length of the filter, that is, the number of filter taps.
  • scaling_factor indicates the weight of the filter coefficient, and each filter coefficient is divided by the weight. In other words, scaling_factor defines the accuracy of the filter coefficient.
  • niter—coeffs [color—component] [cy] 3: 7 filter filter—coeffs [color—component] i_cy ”[cx] represents one filter coefficient, and color_component represents the color component to be filtered.
  • cy represents the vertical position (counter) of the filter coefficient included in the matrix.
  • cx represents the horizontal position of the filter coefficient included in the matrix.
  • filter_dimension indicates 2D
  • multiple filter coefficients of filter parameter w are applied as 2D FIR (Finite Impulse Response) filters
  • filter_dimension force S iD indicates multiple filter coefficients of filter parameter w
  • it is applied as a one-dimensional FIR filter for the horizontal direction, and then applied as a one-dimensional FIR filter for the vertical direction.
  • cross-correlation data p is encoded stream.
  • the cross-correlation data p may be transmitted separately from the force-coded stream Str inserted in Str.
  • each functional block in the block diagrams is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. (For example, function blocks other than memory may be integrated into one chip.)
  • IC integrated circuit
  • system LSI system LSI
  • super LSI monolithic LSI
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general-purpose processors is also possible. It is also possible to use a field programmable gate array (FPGA) that can be programmed after LSI manufacturing, or a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI.
  • FPGA field programmable gate array
  • the image encoding device and the image decoding device of the present invention have the effect of being able to reliably prevent deterioration of the image quality of the encoded and decoded image, for example, a digital video camera, It can be applied to mobile phones and personal computers that handle moving images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　符号化されて復号化された画像の画質の低下を確実に防ぐ画像復号化装置を提供する。画像復号化装置（２００）は、符号化ストリーム（Ｓｔｒ）に含まれる符号化画像を復号化することにより復号画像（Ｒｃ）を生成する逆量子化逆直交変換部（２２０）および加算器（２３０）と、復号画像（Ｒｃ）に対応する符号化されていない画像と復号画像（Ｒｃ）との間の相関を示す相互相関データ（ｐ）を符号化ストリーム（Ｓｔｒ）から抽出するエントロピー復号化部（２１０）と、抽出された相互相関データ（ｐ）に基づいてフィルタパラメータ（ｗ）を算出し、そのフィルタパラメータ（ｗ）に従ったフィルタリング演算をその復号画像（Ｒｃ）に対して行う適応的フィルタ（２４０）とを備える。

Description

明 細 書
画像符号化装置および画像復号化装置
技術分野
[0001] 本発明は、画像を符号化して復号化する画像符号化装置および画像復号化装置 に関し、特に復号化された画像に対してフィルタをかける画像符号化装置および画 像復号化装置に関する。
背景技術
[0002] 動画像は、テレビ電話やテレビ会議からデジタルテレビや DVD (Digital Versatile Disc)に至るまで多くのアプリケーションに採用されている。動画像をデジタルデータ として送信するときや記録するときには、限られた周波数帯域の伝送チャンネルを通 して大量のデータを送信しなければならず、限られた容量の記憶媒体に大量のデー タを格納しなければならない。したがって、動画像を示すデジタルデータを送信する ときや記録するときには、そのデジタルデータを圧縮してデータ量を抑える必要があ る。
[0003] そこで、動画像符号ィ匕の多くの規格が開発された。例えば、 H. 26xで示される IT U— Tの規格と、 MPEG— Xで示される ISOZIECの規格とがある。最新の動画像符 号化の規格は、 H. 264ZAVCまたは MPEG—4ZAVCとして示される規格である
[0004] この規格では基本的に、まず、ブロックレベルでデータを圧縮するために動画像の 1枚のフレーム（ピクチャ）をブロック（マクロブロック）に分割する。そして、ブロックの 空間領域を周波数領域に変換することにより変換係数を生成し、フレームの空間的 冗長性を低減する。さら〖こ、その変換係数を量子化する。このような動画像の符号ィ匕 により、動画像のデータ量が低減される。そして、その量子化された変換係数をェント 口ピー符号化する。
[0005] ここで、上述の量子化によってデータが失われるため、量子化された変換係数から 元の変換係数を復元することはできない。つまり、動画像を符号化すると、量子化ノィ ズによって画質が低下する。 [0006] また、上述の規格では、符号ィ匕された動画像のデータ量をさらに抑えるために、フ レーム間のブロックの時間的な依存性を利用して、フレーム間の差分のみを送信す ることができる。このことは、動き検出および動き補償の技術によってなされる。
[0007] 上述のような動画像圧縮技術 (画像符号化方法)はハイブリッド符号ィ匕技術と呼ば れ、さまざまな動画像圧縮技術の中でも最も効果的である。ノ、イブリツド符号ィ匕技術 は、時間的および空間的圧縮技術と統計的符号化技術とを結合したものである。そ して、ハイブリッド符号化技術は、動き補償 DPCM (Differential Pulse Code Modulati on)と、 2次元 DCT (Discrete Cosine Transform)と、 DCT係数の量子化と、 VLC (Va riable Length Coding)とを有する。
[0008] 動き補償 DPCMは、処理対象フレームと処理後のフレームとの間の画像の動きを 検出し、その検出された動きに従って処理対象フレームを予測し、処理対象フレーム と予測結果との差分を生成する。
[0009] このように画像を符号ィ匕してさらに復号ィ匕すると、画像に乱れが生じる。例えば、 D CT係数を量子化するときには、量子化ノイズが発生する。さらに、画像をブロックごと に符号ィ匕することによってブロック歪が発生する。
[0010] 以下、ハイブリッド符号化技術を用いた従来の画像符号化装置および画像復号ィ匕 装置について図面を用いて説明する。
[0011] 図 1は、従来の画像符号化装置の構成を示すブロック図である。
[0012] 画像符号化装置 1000は、減算器 1100、直交変換量子化部 1200、逆量子化逆 直交変換部 1300、カロ算器 1350、デブロッキングフィルタ 1400、メモリ 1500、面内 予測部 1600、動き補償部 1650、動き検出部 1700、切換部 1800、およびェントロ ピー符号化部 1900を備えて 、る。
[0013] 減算器 1100は、入力画像信号 Inの示す入力画像と、面内予測部 1600または動 き補償部 1650から出力される予測画像 Preとの差分を予測誤差 Resとして算出する
[0014] 直交変換量子化部 1200は、減算器 1100によって算出された予測誤差 Resを周 波数成分に変換 (例えば離散コサイン変換)し、その周波数成分に対して量子化を 行うことにより、その周波数成分を量子化係数 Qcに圧縮符号化する。 [0015] 逆量子化逆直交変換部 1300は、直交変換量子化部 1200から出力される量子化 係数 Qcに対して逆量子化を行うことにより、その量子化係数 Qcを周波数成分に変 換する。さらに、逆量子化逆直交変換部 1300は、その周数成分に対して逆直交変 換 (例えば逆離散コサイン変換)を行うことにより、その周波数成分を予測誤差 Drに 変換する。
[0016] 加算器 1350は、上述の予測画像 Preと予測誤差 Drとを加算することにより、局所 復号画像 Rcを生成して、その局所復号画像 Rcをデブロッキングフィルタ 1400に出 力する。
[0017] デブロッキングフィルタ 1400は、加算器 1350から出力された局所復号画像 Rcから ブロック歪を取り除くように、その局所復号画像 Rcに対してフィルタをかける。つまり、 局所復号画像 Rcが生成されるまでの上述の処理は、ピクチャを構成するブロック単 位で行われているため、その局所復号画像 Rcにはブロック歪が含まれている。そこ で、デブロッキングフィルタ 1400はそのブロック歪を局所復号画像 Rcから取り除く。
[0018] デブロッキングフィルタ 1400は、例えば、局所復号画像 Rcの各ブロックの境界に 対してリニアフィルタをかけることで、各ブロックのエッジを滑らかにする。そして、デブ ロッキングフィルタ 1400は、フィルタリングされた局所復号画像 Rcを局所復号画像 R dfとしてメモリ 1500に格納する。
[0019] 面内予測部 1600は、入力画像のマクロブロックがイントラモードで符号ィ匕されるとき には、メモリ 1500から、符号化対象の入力画像に対応する 1または複数の局所復号 画像 Rdfを参照画像 Refとして取り出し、それらの参照画像 Refを用いて符号ィ匕対象 の入力画像に対する予測画像 Preを生成する。
[0020] 動き検出部 1700は、入力画像の符号化対象ピクチヤよりも前に符号化されたピク チヤ、つまりメモリ 1500に格納されている局所復号画像 Rcを参照画像 Refとして参 照し、例えば、符号ィ匕対象ピクチヤに含まれるマクロブロックごとに動きベクトル MVを 検出する。
[0021] 動き補償部 1650は、入力画像のマクロブロックがインターモードで符号ィ匕されると きには、メモリ 1500に格納されている参照画像 Refから、動き検出部 1700によって 検出された動きベクトル MVにより示される領域の画像を取り出し、予測画像 Preとし て出力する。
[0022] 切換部 1800は、符号ィ匕対象マクロブロックの符号ィ匕モードがイントラモードのとき には、減算器 1100での処理に、面内予測部 1600から出力された予測画像 Preが 利用されるように、減算器 1100を面内予測部 1600に接続する。また、切換部 1800 は、符号ィ匕対象マクロブロックの符号ィ匕モード力 Sインターモードのときには、減算器 1 100での処理に、動き補償部 1650から出力された予測画像 Preが利用されるように 、減算器 1100を動き補償部 1650に接続する。
[0023] エントロピー符号ィ匕部 1900は、直交変換量子化部 1200によって生成された量子 ィ匕係数 Qcと、動き検出部 1700によって検出された動きベクトル MVとをエントロピー 符号化 (可変長符号化)することにより、符号化ストリーム Strを生成する。
[0024] このような画像符号ィ匕装置 1000では、入力画像の符号化として、予測画像 Preの 生成や直交変換、量子化、入力画像力もの予測画像 Preの減算などを行い、さらに、 符号化された入力画像の復号化として、量子化係数 Qcに対する逆量子化や、逆直 交変換、予測誤差 Drと予測画像 Preとの加算などを行う。
[0025] 図 2は、従来の画像復号化装置の構成を示すブロック図である。
[0026] 画像復号化装置 2000は、エントロピー復号化部 2100、逆量子化逆直交変換部 2 200、カロ算器 2300、デブロッキングフィルタ 2400、メモリ 2500、面内予測部 2600、 動き補償部 2650、および切換部 2700を備えて 、る。
[0027] エントロピー復号ィ匕部 2100は、符号化ストリーム Strを取得し、その符号化ストリー ム Strに対してエントロピー復号化（可変長復号化）を行う。そして、エントロピー復号 化部 2100は、そのエントロピー復号ィ匕された符号化ストリーム Strから、量子化係数 Qcと動きベクトル MVとを抽出する。
[0028] 逆量子化逆直交変換部 2200は、エントロピー復号ィ匕部 2100で抽出された量子化 係数 Qcを取得し、その量子化係数 Qcに対して逆量子化を行うことにより、その量子 ィ匕係数 Qcを周波数成分に変換する。さらに、逆量子化逆直交変換部 2200は、その 周数成分に対して逆直交変換 (例えば離散コサイン変換)を行うことにより、その周波 数成分を予測誤差 Drに変換する。
[0029] 加算器 2300は、逆量子化逆直交変換部 2200から出力された予測誤差 Drに、面 内予測部 2600または動き補償部 2650から出力された予測画像 Preを加算すること により復号画像 Rcを生成する。また、加算器 2300は、その生成された復号画像 Rc をデブロッキングフィルタ 2400に出力する。
[0030] デブロッキングフィルタ 2400は、加算器 2300から出力された復号画像 Rcからブロ ック歪を取り除くように、その復号画像 Rcに対してフィルタをかける。つまり、復号画 像 Rcが生成されるまでの上述の処理は、ピクチャを構成するブロック単位で行われ て 、るため、その復号画像 Rcにはブロック歪が含まれて 、る。
[0031] デブロッキングフィルタ 2400は、例えば、復号画像 Rcの各ブロックの境界に対して リニアフィルタリングをカゝけることで、各ブロックのエッジを滑らかにする。そして、デブ ロッキングフィルタ 2400は、フィルタリングされた復号画像 Rcを出力画像 Dsとして出 力するとともに、その復号画像 Rcを参照画像 Refとしてメモリ 2500に格納する。
[0032] 面内予測部 2600は、符号化ストリーム Strに含まれる復号ィ匕対象マクロブロックを イントラモードで復号ィ匕すべきときには、メモリ 2500から、予測誤差 Drに対応する 1ま たは複数の参照画像 Refを取り出し、それらの参照画像 Refを用いて予測画像 Preを 生成する。
[0033] 動き補償部 2650は、符号化ストリーム Strに含まれる復号ィ匕対象マクロブロックをィ ンターモードで復号ィ匕すべきときには、メモリ 2500に格納されている参照画像 Refか ら、エントロピー復号ィ匕部 2100によって抽出された動きベクトル MVにより示される領 域の画像を取り出し、予測画像 Preとして出力する。
[0034] 切換部 2700は、復号ィ匕対象マクロブロックの符号ィ匕モードがイントラモードのとき には、加算器 2300での処理に、面内予測部 2600から出力された予測画像 Preが 利用されるように、加算器 2300を面内予測部 2600に接続する。また、切換部 2700 は、復号ィ匕対象マクロブロックの復号ィ匕モード力 Sインターモードのときには、加算器 2 300での処理に、動き補償部 2650から出力された予測画像 Preが利用されるように 、加算器 2300を動き補償部 2650に接続する。
[0035] このような画像復号ィ匕装置 2000では、復号化として、量子化係数 Qcに対する逆量 子化や、逆直交変換、予測誤差 Drと予測画像 Preとの加算などを行う。
[0036] このように、従来の画像符号化装置 1000および画像復号化装置 2000では、画像 の符号ィ匕および復号ィ匕を行うことによって、画像符号ィ匕装置 1000における局所復号 画像 Rcや、画像復号ィ匕装置 2000における復号画像 Rcの画質は、それらの画像に 対応する入力画像の画質よりも劣っている。即ち、局所復号画像 Rcおよび復号画像 Rcは入力画像と比べて乱れ、符号ィ匕および復号ィ匕に伴うノイズを含んでいる。ノイズ には、量子化ノイズやブロック歪などがある。
[0037] そこで、デブロッキングフィルタ 1400, 2400は、局所復号画像 Rcゃ復号画像 Rc の画質を向上させるために備えられて 、る。
[0038] し力し、このようなデブロッキングフィルタ 1400, 2400では、局所復号画像 Rcゃ復 号画像 Rcの画質を十分に高めることはできない。つまり、デブロッキングフィルタ 140 0, 2400は、ブロックの境界を滑らかにしてブロック歪を取り除こうとするのみであって 、その他のノイズを取り除くことも、境界以外の領域の画質を向上することも行わない 。さらに、デブロッキングフィルタ 1400, 2400は、局所復号画像 Rcゃ復号画像 Rcの 内容 (鮮明さや平滑さなど）に関わらず、予め定められたフィルタ係数でリニアフィル タをかけるため、その局所復号画像 Rcゃ復号画像 Rcに適したフィルタリングを行うこ とができない。
[0039] そこで、画質の向上を図るため、画像の内容を解析することにより、その画像に適し たフィルタリングを行うこと、いわゆる適応的フィルタが提案されている。例えば、符号 ィ匕されてさらに復号化された画像が解析され、その解析結果に応じたフィルタパラメ ータ（フィルタ係数）がその画像に対するフィルタリングに用いられる。
[0040] 特許文献 1では、動画像に対する適応的フィルタにつ!/、て記載されて 、る。この特 許文献 1の適応的フィルタでは、復号画像の動きやノイズを検出して、その検出結果 に応じたフィルタパラメータを算出し、そのフィルタパラメータに従ったフィルタをその 復号画像にかける。フィルタパラメータは、上述の検出によって、反復的に算出される 特許文献 1 :米国特許出願公開番号第 2005Z0105627号明細書
発明の開示
発明が解決しょうとする課題
[0041] しカゝしながら、上記特許文献 1の適応的フィルタでも、復号画像の画質を入力画像 の画質に十分近づけることができな 、と 、う問題がある。
[0042] つまり、上記特許文献 1の適応的フィルタでは、歪やノイズが含まれる乱れた復号 画像に基づいてフィルタパラメータを決定しているため、画質の向上には限界がある 。ところで、符号化された入力画像を含む符号化ストリーム Strのビットレートを上げれ ば、復号画像の画質を向上することができる。しかし、この場合には、符号化ストリー ム Strを格納するために、多くの容量を有する記録媒体が必要になり、符号化ストリー ム Strを送信するために、広いバンド幅の通信媒体が必要になる。
[0043] そこで、本発明は、カゝかる問題に鑑みてなされたものであって、符号化されて復号 化された画像の画質の低下を確実に防ぐ画像符号化装置および画像復号化装置を 提供することを目的とする。
課題を解決するための手段
[0044] 上記目的を達成するために、本発明に係る画像復号ィ匕装置は、符号化画像を復 号化する画像復号化装置であって、符号化ストリームに含まれる符号化画像を復号 化することにより復号画像を生成する復号化手段と、前記復号画像に対応する符号 ィ匕されていない画像と前記復号画像との間の相関を示す相互相関データを前記符 号化ストリーム力 抽出する抽出手段と、前記抽出手段によって抽出された前記相互 相関データに基づいてフィルタパラメータを算出するパラメータ算出手段と、前記フィ ルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフィルタリン グ手段とを備えることを特徴とする。例えば、前記パラメータ算出手段は、前記復号 画像内の相関を示す自己相関データを生成し、前記自己相関データと前記相互相 関データとを用いて演算することにより前記フィルタパラメータを算出する。また、前 記パラメータ算出手段は、前記フィルタパラメータをウィナーフィルタのフィルタ係数と して算出する。
[0045] これにより、画像復号化装置は、例えば、ノイズを含む乱れた復号画像と、その復 号画像の元となる符号化されず乱れて!/ヽな 、画像との間の相関を示す相互相関デ ータを取得し、その復号画像に対してウィナーフィルタをかけることによって、復号画 像を上述の乱れていない元の画像に近づけることができる。その結果、符号化されて 復号ィ匕された画像の画質の低下を確実に防ぐことができる。 [0046] また、前記抽出手段は、前記符号化ストリームに含まれる、符号化されたブロック、 スライス、ピクチャ、または複数のピクチャをまとめた領域のヘッダ力も前記相互相関 データを抽出することを特徴としてもよい。また、前記抽出手段は、前記符号化ストリ ームに含まれる、符号化されたピクチャの補助拡張情報から前記相互相関データを 抽出することを特徴としてもよ!、。
[0047] これにより、相互相関データは補助拡張情報にあるため、画像復号化装置は、その 相互相関データを用いて復号画像に対してウィナーフィルタをかけることができるとと もに、その相互相関データを読み飛ばして、ウィナーフィルタをかけないこともできる。
[0048] また、前記パラメータ算出手段は、前記復号画像の領域ごとに前記自己相関デー タを生成し、前記領域ごとに前記フィルタパラメータを算出することを特徴としてもよい 。例えば、前記パラメータ算出手段は、ブロック、スライス、ピクチャ、または複数のピ クチャを 1つの前記領域とし、前記領域ごとに前記自己相関データおよび前記フィル タパラメータを算出する。
[0049] これにより、ブロックやスライスなどの領域ごとに、その領域に適したフィルタパラメ一 タを算出することができる。つまり、相互相関データが例えば 1つのスライス内の各ブ ロックで共用される場合であっても、ブロックごとにそのブロックに適したフィルタパラメ ータを算出することができ、画質の低下をより確実に防ぐことができる。
[0050] 上記目的を達成するために、本発明に係る画像符号化装置は、入力画像を符号 化する画像符号化装置であって、入力画像を符号化することにより符号化画像を生 成する符号化手段と、符号化画像を復号化することにより復号画像を生成する復号 化手段と、前記入力画像と前記復号化画像との間の相関を示す相互相関データを 生成する相互相関データ生成手段と、前記符号化手段によって生成された符号ィ匕 画像を含む符号化ストリームに前記相互相関データを挿入する挿入手段とを備える ことを特徴とする。例えば、前記画像符号化装置は、さらに、前記復号画像内の相関 を示す自己相関データを生成し、前記自己相関データと前記相互相関データとを用 いて演算することによりフィルタパラメータを算出するパラメータ算出手段と、前記フィ ルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフィルタリン グ手段とを備える。また、前記パラメータ算出手段は、前記フィルタパラメータをゥイナ 一フィルタのフィルタ係数として算出する。
[0051] これにより、符号化ストリームを取得する画像復号ィ匕装置は、例えば、ノイズを含む 乱れた復号画像と、その復号画像の元となる符号化されず乱れて!/ヽな!ヽ入力画像と の間の相関を示す相互相関データを取得することができ、その復号画像に対してウイ ナーフィルタをかけることによって、復号画像を上述の乱れて!/、な 、元の入力画像に 近づけることができる。その結果、符号化されて復号化された画像の画質の低下を確 実に防ぐことができる。
[0052] また、前記挿入手段は、前記符号化ストリームに含まれる、符号化されたブロック、 スライス、ピクチャ、または複数のピクチャをまとめた領域のヘッダに前記相互相関デ ータを挿入することを特徴としてもよい。また、前記挿入手段は、前記符号化ストリー ムに含まれる、符号化されたピクチャの補助拡張情報に前記相互相関データを挿入 することを特徴としてもよい。
[0053] これにより、相互相関データが補助拡張情報に挿入されるため、符号化ストリームを 取得する画像復号ィ匕装置は、その相互相関データを用いて復号画像に対してゥイナ 一フィルタをかけることができるとともに、その相互相関データを読み飛ばして、ゥイナ ーフイノレタを力ゝけな!/ヽこともできる。
[0054] また、前記相互相関データ生成手段は、画像の領域ごとに前記相互相関データを 生成することを特徴としてもよい。例えば、前記相互相関データ生成手段は、ブロック 、スライス、ピクチャ、または複数のピクチャを 1つの前記領域とし、前記領域ごとに前 記相互相関データを生成する。
[0055] これにより、符号化ストリームを取得する画像復号ィ匕装置は、ブロックやスライスなど の領域ごとに、その領域に適したフィルタパラメータを算出することができ、画質の低 下をより確実に防ぐことができる。また、ブロックなどの小さな領域ごとに相互相関デ ータを生成するように、その領域が小さければ小さいほど、画質の低下を防ぐことが でき、複数のピクチャなどの大きな領域ごとに相互相関データを生成するように、その 領域が大きければ大きいほど、符号化ストリームに含まれる相互相関データのデータ 量を小さくし、符号化ストリームのデータ量を抑えることができる。
[0056] なお、本発明は、このような画像符号化装置および画像復号化装置として実現する ことができるだけでなぐその方法やプログラム、そのプログラムを格納する記憶媒体 、集積回路としても実現することができる。
発明の効果
[0057] 本発明の画像符号化装置および画像復号化装置は、符号化されて復号化された 画像の画質の低下を確実に防ぐことができるという作用効果を奏する。
図面の簡単な説明
[0058] [図 1]図 1は、従来の画像符号化装置の構成を示すブロック図である。
[図 2]図 2は、従来の画像復号化装置の構成を示すブロック図である。
[図 3]図 3は、本発明の実施の形態における画像符号ィ匕装置の構成を示すブロック 図である。
[図 4]図 4は、同上の符号化ストリームの構成を示す図である。
[図 5]図 5は、同上の SEIのシンタックスの一例を示す図である。
[図 6]図 6は、同上の相互相関データにおけるシンタックスの一例を示す図である。
[図 7]図 7は、同上の画像符号ィ匕装置の動作を示すフローチャートである。
[図 8A]図 8Aは、同上の画像復号ィ匕装置の構成を示すブロック図である。
[図 8B]図 8Bは、同上の適応的フィルタの構成を示すブロック図である。
[図 9]図 9は、同上の画像復号ィ匕装置の動作を示すフローチャートである。
[図 10]図 10は、同上の変形例 1に係る画像符号ィ匕装置の構成を示すブロック図であ る。
[図 11]図 11は、同上の変形例 1に係る適応的フィルタの構成を示すブロック図である
[図 12]図 12は、同上の変形例 1に係る画像復号ィ匕装置の構成を示す構成図である。
[図 13]図 13は、同上の変形例 2に係る画像符号ィ匕装置の構成を示すブロック図であ る。
[図 14]図 14は、同上の変形例 2に係る画像復号ィ匕装置の構成を示すブロック図であ る。
[図 15]図 15は、同上の変形例 3に係る画像符号ィ匕装置の構成を示すブロック図であ る。 [図 16]図 16は、同上の変形例 3に係る画像復号ィ匕装置の構成を示すブロック図であ る。
[図 17]図 17は、同上の変形例 4に係る画像符号ィ匕装置の構成を示すブロック図であ る。
[図 18]図 18は、同上の変形例 4に係る画像復号ィ匕装置の構成を示すブロック図であ る。
[図 19]図 19は、同上の変形例 5に係る画像符号ィ匕装置の構成を示すブロック図であ る。
[図 20]図 20は、同上の変形例 5に係る画像復号ィ匕装置の構成を示すブロック図であ る。
[図 21]図 21は、同上の変形例 6に係る SEIのフィルタパラメータにおけるシンタックス の一例を示す図である。
符号の説明
100 画像符号化装置
110 減算器
120 直交変換量子化部
130 逆量子化逆直交変換部
135 加算器
140 相互相関データ生成部
150 メモリ
160 面内予測部
165 動き補償部
170 動き検出部
180 切換部
190 エントロピー符号ィ匕部
200 画像復号化装置
210 エントロピー復号ィ匕部
220 逆量子化逆直交変換部 230 加算器
240 適応的フィルタ
250 メモリ
260 面内予測部
265 動き補償部
270 切換部
Dr 予測誤差
Ds 出力画像
In 入力画像信号
MV 動きベクトル
p 相互相関データ
Pre 予測画像
Qc 量子化係数
R 自己相関データ
Rc 局所復号画像，復号画像
Ref 参照画像
Res 予測誤差
Str 符号化ストリーム
w フィルタパラメータ
発明を実施するための最良の形態
[0060] 以下、本発明の実施の形態における画像符号化装置および画像復号化装置につ いて図面を参照しながら説明する。
[0061] 図 3は、本発明の実施の形態における画像符号ィ匕装置の構成を示すブロック図で ある。
[0062] 本実施の形態における画像符号ィ匕装置 100は、画像復号化装置によって復号ィ匕 された画像に対して画像復号ィ匕装置が適切にフィルタをかけて画質の低下を防ぐこ とができるように、相互相関データを画像復号ィ匕装置に出力する。
[0063] つまり、本実施の形態における画像符号ィ匕装置 100は、入力画像信号 Inの示す入 力画像を取得して符号ィ匕することによって符号化ストリーム Strを生成するとともに、 相互相関データを生成して、その相互相関データを符号化ストリーム Strに挿入する
[0064] 具体的に、画像符号化装置 100は、減算器 110、直交変換量子化部 120、逆量子 化逆直交変換部 130、加算器 135、相互相関データ生成部 140、メモリ 150、面内 予測部 160、動き補償部 165、動き検出部 170、切換部 180、およびエントロピー符 号ィ匕部 190を備えている。なお、本実施の形態では、減算器 110および直交変換量 子化部 120が符号化手段として構成され、逆量子化逆直交変換部 130および加算 器 135が復号ィ匕手段として構成されている。そして、エントロピー符号ィ匕部 190が挿 入手段として構成され、面内予測部 160、動き補償部 165および動き検出部 170が 予測手段として構成されて ヽる。
[0065] 減算器 110は、入力画像信号 Inの示す入力画像と、面内予測部 160または動き補 償部 165から出力される予測画像 Preとの差分を予測誤差 Resとして算出する。
[0066] 直交変換量子化部 120は、減算器 110によって算出された予測誤差 Resを周波数 成分に変換 (例えば離散コサイン変換)し、その周波数成分に対して量子化を行うこ とにより、その周波数成分を量子化係数 Qcに圧縮符号化する。
[0067] 逆量子化逆直交変換部 130は、直交変換量子化部 120から出力される量子化係 数 Qcに対して逆量子化を行うことにより、その量子化係数 Qcを周波数成分に変換 する。さらに、逆量子化逆直交変換部 130は、その周数成分に対して逆直交変換（ 例えば逆離散コサイン変換)を行うことにより、その周波数成分を予測誤差 Drに変換 する。
[0068] 加算器 135は、上述の予測画像 Preと予測誤差 Drとを加算することにより、局所復 号画像 Rcを生成して、その局所復号画像 Rcをメモリ 150に格納する。
[0069] 面内予測部 160は、入力画像のマクロブロックがイントラモードで符号ィ匕されるとき には、メモリ 150から、符号化対象の入力画像に対応する 1または複数の局所復号 画像 Rcを参照画像 Refとして取り出し、それらの参照画像 Refを用いて符号ィ匕対象 の入力画像の予測画像 Preを生成する。
[0070] 動き検出部 170は、入力画像の符号化対象ピクチヤよりも前に符号化されたピクチ ャ、つまりメモリ 150に格納されている局所復号画像 Rcを参照画像 Refとして参照し、 例えば、符号化対象ピクチャ〖こ含まれるマクロブロックごとに動きベクトル MVを検出 する。
[0071] 動き補償部 165は、入力画像のマクロブロックがインターモードで符号ィ匕されるとき には、メモリ 150に格納されている参照画像 Refから、動き検出部 170によって検出さ れた動きベクトル MVにより示される領域 (マクロブロック）の画像を取り出し、予測画 像 Preとして出力する。
[0072] 切換部 180は、符号ィ匕対象マクロブロックの符号ィ匕モード力イントラモードのときに は、減算器 110での処理に、面内予測部 160から出力された予測画像 Preが利用さ れるように、減算器 110を面内予測部 160に接続する。また、切換部 180は、符号ィ匕 対象マクロブロックの符号ィ匕モードがインターモードのときには、減算器 110での処 理に、動き補償部 165から出力された予測画像 Preが利用されるように、減算器 110 を動き補償部 165に接続する。
[0073] 相互相関データ生成部 140は、入力画像信号 Inの示す入力画像と、その入力画 像に対応する局所復号画像 Rcとに基づいて、入力画像と局所復号画像 Rcとの相関 (違 、）を示す相互相関データ (相互相関行列または相互相関ベクトル) pを生成する
[0074] 例えば、相互相関データ生成部 140は、ピクチャを構成するブロックやマクロブロッ ク（以下、ブロックおよびマクロブロックを総称して単にブロックという）ごとに、複数の ブロック力もなるスライスごとに、ピクチャごとに、または、複数のピクチャ力も構成され るシーンや GOP (Group Of Picture)ごとに、 1つの相互相関データ pを生成する。し たがって、ピクチャごとに相互相関データ pが生成される場合には、そのピクチャに含 まれる全てのブロックのフィルタリングに対して共通の相互相関データ pが利用される 。同様に、スライスごとに相互相関データ pが生成される場合には、そのスライスに含 まれる全てのブロックのフィルタリングに対して共通の相互相関データ pが利用される
[0075] また、赤 (R)、緑 (G)および青 (B)や、輝度 (Y)および色差 (Cr, Cb)のような色成 分ごとに入力画像が符号ィ匕される場合には、相互相関データ生成部 140は、その色 成分ごとに相互相関データ Pを生成してもよい。これにより、各色成分ごとに対して適 切なフィルタリングを行うことができる。
[0076] エントロピー符号ィ匕部 190は、直交変換量子化部 120によって生成された量子化 係数 Qcと、相互相関データ生成部 140によって生成された相互相関データ pと、動 き検出部 170によって検出された動きベクトル MVとをエントロピー符号化（可変長符 号化)することにより、符号化ストリーム Strを生成する。
[0077] つまり、本実施の形態におけるエントロピー符号ィ匕部 190は、相互相関データ pを エントロピー符号ィ匕し、そのエントロピー符号化された相互相関データ pを、符号化さ れた入力画像を含む符号化ストリーム Strに挿入する。
[0078] したがって、相互相関データ生成部 140がシーン単位ゃピクチャ単位で、つまり画 像の大きな空間領域の単位で相互相関データ Pを生成する場合には、全ての相互 相関データ Pのデータ量が少ないため、符号化ストリーム Strのデータ量を抑えること ができる。一方、相互相関データ生成部 140がブロック単位やシーケンス単位で、つ まり画像の小さな空間領域の単位で相互相関データ pを生成する場合には、ブロック やシーケンスごとに最適なフィルタリングを行うことができ、画質のさらなる向上を図る ことができる。
[0079] このような画像符号ィ匕装置 100では、入力画像の符号化として、予測画像 Preの生 成や直交変換、量子化、入力画像力 の予測画像 Preの減算などをブロック単位で 行い、さらに、符号化された入力画像の復号化として、量子化係数 Qcに対する逆量 子化や、逆直交変換、予測誤差 Drと予測画像 Preとの加算などブロック単位でを行う
[0080] また、本実施の形態における画像符号ィ匕装置 100では、上述のように相互相関デ ータ Pを符号化ストリーム Strに挿入することにより、その符号化ストリーム Strを取得し て復号化する画像復号化装置では、相互相関データ pを取得することができる。その 結果、画像復号化装置は、その相互相関データ pに基づいてウィナーフィルタのフィ ルタパラメータを算出し、復号画像に対してウィナーフィルタによるフィルタリングを行 い、復号画像の画質を向上することができる。
[0081] ここで、ウィナーフィルタについて詳細に説明する。 [0082] ウィナーフィルタのフィルタパラメータ wは、自己相関行列 Rと相互相関ベクトル (相 互相関データ) Pとを用いて (数 1)のように示される。なお、自己相関行列 Rが M X M 個（Mは自然数）の要素からなる行列であって、相互相関ベクトル pが M X 1個の要 素からなるベクトルである場合、フィルタパラメータ wは、 M個のフィルタ係数力 なる 行列として示される。また、 R— 1は自己相関行列 Rの逆行列である。
[0083] [数 1] w = R一] χρ
[0084] ウィナーフィルタのフィルタパラメータ wは、フィルタリング対象の画像に対して畳み 込み処理を行うことによってフィルタリングを行なうものであり、例えば (数 2)に示すよ うに、 2次元の 3 X 3タップフィルタであれば 9つのフィルタ係数を有する。
[0085] [数 2]
Figure imgf000018_0001
[0086] (数 2)に示すような 3 X 3個のフィルタ係数を有するフィルタパラメータ wを算出する 場合には、（数 3)に示すように、自己相関行列 Rは 9 X 9個の要素を有する。
[0087] [数 3]
19ヽ
Figure imgf000018_0002
99ノ また、（数 2)に示すような 3 X 3個のフィルタ係数を有するフィルタパラメータ wを算 出する場合には、（数 4)に示すように、相互相関ベクトル pは 9 X 1個の要素を有する [0089] [数 4]
,P
[0090] 相互相関ベクトル pは入力画像と局所復号画像 Rcとを用いて推定され、自己相関 行列 Rは局所復号画像 Rcのみを用いて推定される。そして、（数 1)の行列演算を行 なうことによって、例えば (数 5)にあるような 3 X 3個からなるフィルタパラメータ wが得 られる。
[0091] [数 5]
- 0.03495 0.05748 - 0.02351
Figure imgf000019_0001
0.05896 0.88896 0.05978
V - 0.02719 0.06011 —0.03945ノ
[0092] 例えば、画像に対して得られたフィルタパラメータ wを用いてフィルタリング処理を行 う場合には、（数 6)に示す行列演算が行われる。つまり、その画像においてフィルタリ ングの対象となる画素の画素値（229)と、その画素の周辺にある複数の画素の画素 値（192, 225, 225など）と力もなる行列が生成される。そして、その複数の画素値か らなる行列と上述のフィルタパラメータ wとの積が算出される。このようなフィルタリング 演算 (行列演算）の結果、上述の画素の画素値（229)は、 227. 47となる。
[0093] [数 6] '192 225 255、
146 229 255 •w = 227.47
、132 198 252ノ
[0094] なお、フィルタイリング演算の結果を示す画素値の 227. 47は、小数点以下が切り 捨てられることにより、 227とされる。
[0095] 上述のような符号化ストリーム Strを取得する画像復号ィ匕装置は、その符号化ストリ ーム Str力 相互相関データ（相互相関ベクトル) pを抽出することにより、上述のウイ ナーフィルタを利用することができる。即ち、画像復号化装置は、符号化ストリーム St rを復号化することにより復号画像を生成し、その復号画像から自己相関行列 Rを生 成する。そして、画像復号化装置は、（数 1)に示すように、 自己相関行列 Rと相互相 関ベクトル pとを用いてウィナーフィルタのフィルタパラメータ wを算出することができる
[0096] その結果、画像復号化装置は、（数 6)に示すように、フィルタパラメータ wを用いて 復号画像の各画素に対してフィルタリング演算を行うことによって、復号画像に含ま れるブロック歪や量子化ノイズなどのノイズを取り除くことができ、復号画像の画質を 入力画像の画質に近づけることができる。
[0097] つまり、入力画像が符号化されてさらに復号化されると、その符号化および復号ィ匕 によってブロック歪や量子化ノイズなどが復号画像に含まれ、復号画像は入力画像よ りも画質が劣る。ウィナーフィルタは、この復号画像に対してフィルタをかけて得られる 画像と入力画像との差分 (画素値の差分の二乗平均値)が最小となるように設計され ている。したがって、復号画像に対してウィナーフィルタによるフィルタをかけることに よって、その復号画像を元の入力画像に確実に近づけることができるのである。
[0098] なお、上述の例では、フィルタパラメータ wを構成するフィルタ係数の数（タップ数） を 3 X 3個とした力 フィルタ係数の数は任意であって、 7 X 7個であってもよい。また、 フィルタパラメータ wを 2次元の行列としたが、 1次元の行列としてもよい。また、フィル タ係数の数が多ければ多いほどフィルタリングの精度を向上することができる。 [0099] 図 4は、符号化ストリーム Strの構成を示す図である。
[0100] 符号化ストリーム Strは、符号ィ匕された複数のピクチャを 1つのグループとする GOP
(Group Of Picture)を複数含んで構成されている。また、 GOPは、その GOPに含ま れる全てのピクチャの復号化に利用される複数のパラメータ力もなる SPS (シーケン スパラメータセット）と、複数のピクチャとを含んで構成されている。
[0101] さらに、ピクチャは、先頭から順に、そのピクチャの復号化に利用される複数のパラ メータ力もなる PPS (ピクチャパラメータセット）と、補助拡張情報である SEIと、その S EIを利用して復号ィ匕される 1つまたは複数のスライスとを含んでいる。また、ピクチャ は、上述の SEIと 1つまたは複数のスライスと力もなる組を、 1組または複数組含んで いる。
[0102] 例えば、相互相関データ生成部 140がスライスごとに相互相関データ pを生成して いる場合には、エントロピー符号ィ匕部 190は、スライスの前にあってそのスライスの復 号ィ匕に利用される SEIに、そのスライスに対して生成された相互相関データ pを挿入 する。この場合、スライスに含まれる全てのブロックのフィルタリングに対して共通の相 互相関データ pが利用される。
[0103] また、複数のスライスに対して 1つの SEIが割り当てられる場合には、エントロピー符 号化部 190は、その複数のスライスに対して生成された共通の相互相関データ pをそ の SEIに挿入する。この場合、複数のスライスに含まれる全てのブロックのフィルタリン グに対して共通の相互相関データ pが利用される。
[0104] このように、相互相関データ pは、符号ィ匕されたピクチャのヘッダである SEIに挿入 される。
[0105] 図 5は、 SEIのシンタックスの一例を示す図である。
[0106] SEIには、ペイロードタイプに応じて必要とされる情報が挿入される。例えば、ペイ口 ードタイプが 22のときには、相互相関データ pが SEIの付加データフィールドに挿入 される。つまり、相互相関データ pは、オプショナルなポストフィルタヒントとして SEIに 挿入される。
[0107] その結果、本実施の形態の画像復号化装置では、その符号化ストリーム Strの SEI に含まれる相互相関データ Pを抽出することによって、ウィナーフィルタによるフィルタ リングを行うことができる。また、従来の画像復号化装置が本実施の形態の符号化ス トリーム Strを取得しても、従来の画像復号化装置は、その符号化ストリーム Strの SE Iに含まれる相互相関データ pを読み飛ばすことができ、従来通りの方法で復号ィ匕を 行うことができる。つまり、本実施の形態における符号化ストリーム Strは、従来の符号 ィ匕ストリーム Strとの互換性を有する。
[0108] 図 6は、相互相関データ pにおけるシンタックスの一例を示す図である。
[0109] 相互相関データ pを示す情報として、その行列 pに含まれる要素の数 (number_of_ele ments)と、要素に対する重み（scaling_factor)と、それぞれの要素の値（filter_hint[ele ment])とが SEIに挿入される。なお、画像復号化装置では、相互相関データ pの各要 素の値は、 scaling_factorの示す重みで除算されて利用される。
[0110] 図 7は、本実施の形態における画像符号ィ匕装置 100の動作を示すフローチャート である。
[0111] まず、画像符号ィ匕装置 100は、入力画像信号 Inの示す入力画像を取得し (ステツ プ SIOO)、その入力画像を符号化することにより量子化係数 Qcを生成する (ステップ S102)。さらに、画像符号ィ匕装置 100は、その量子化係数 Qcを復号ィ匕することによ り局所復号画像 Rcを生成する (ステップ S104)。
[0112] そして、画像符号ィ匕装置 100は、入力画像と、その入力画像に対応する局所復号 画像 Rcとから相互相関データ pを生成する (ステップ S106)。画像符号化装置 100 は、その生成した相互相関データ Pと量子化係数 Qcとをエントロピー符号ィ匕すること により、その相互相関データ pを含む符号化ストリーム Strを生成する (ステップ S108 )。つまり、画像符号ィ匕装置 100は、符号化された入力画像を含む符号化ストリーム S trに相互相関データ pを挿入する。そして、画像符号ィ匕装置 100は、その符号化スト リーム Strを出力する（ステップ S110)。
[0113] なお、本実施の形態における画像符号ィ匕装置 100のエントロピー符号ィ匕部 190は 、符号ィ匕されたピクチャなどの画像領域のうち何れの画像領域に対してフィルタをか けるべきかを示す識別情報を符号化ストリーム Strに相互相関データ pとともに挿入し てもよい。これにより、画像復号化装置は、その識別情報の示す画像領域 (例 Iピクチ ャ、 Pピクチャおよび Bピクチャなど）に対してのみウィナーフィルタをかけることができ る。
[0114] 図 8Aは、本実施の形態における画像復号ィ匕装置の構成を示すブロック図である。
[0115] 本実施の形態における画像復号ィ匕装置 200は、画像符号化装置 100から送信さ れた相互相関データ pを用いることにより、復号画像に対して適切にフィルタをかけて 画質の低下を防ぐことができる。
[0116] つまり、本実施の形態における画像復号ィ匕装置 200は、画像符号ィ匕装置 100から 出力された符号化ストリーム Strを取得して復号化することにより復号画像を生成する とともに、相互相関データ pを符号化ストリーム Strから抽出する。そして、画像復号化 装置 200は、その相互相関データ pを用いてウィナーフィルタのフィルタパラメータ w を算出し、そのフィルタパラメータ wで復号画像にフィルタをかける。
[0117] 具体的に、画像復号化装置 200は、エントロピー復号化部 210、逆量子化逆直交 変換部 220、加算器 230、適応的フィルタ 240、メモリ 250、面内予測部 260、動き補 償部 265、および切換部 270を備えている。なお、本実施の形態では、逆量子化逆 直交変換部 220および加算器 230が復号ィ匕手段として構成され、エントロピー復号 化部 210が抽出手段として構成されている。そして、適応的フィルタ 240がパラメータ 算出手段およびフィルタリング手段として構成され、面内予測部 260および動き補償 部 265が予測手段として構成されている。
[0118] エントロピー復号ィ匕部 210は、符号化ストリーム Strを取得し、その符号化ストリーム Strに対してエントロピー復号化（可変長復号化）を行う。そして、エントロピー復号ィ匕 部 210は、そのエントロピー復号ィ匕された符号化ストリーム Strから、量子化係数 Qcと 相互相関データ pと動きベクトル MVとを抽出する。
[0119] 逆量子化逆直交変換部 220は、エントロピー復号ィ匕部 210で抽出された量子化係 数 Qcを取得し、その量子化係数 Qcに対して逆量子化を行うことにより、その量子化 係数 Qcを周波数成分に変換する。さらに、逆量子化逆直交変換部 220は、その周 数成分に対して逆直交変換 (例えば逆離散コサイン変換)を行うことにより、その周波 数成分を予測誤差 Drに変換する。
[0120] 加算器 230は、逆量子化逆直交変換部 220から出力された予測誤差 Drに、面内 予測部 260または動き補償部 265から出力された予測画像 Preを加算することにより 復号画像 Rcを生成する。また、加算器 230は、その生成された復号画像 Rcを適応 的フィルタ 240〖こ出力するととも〖こ、その復号画像 Rcをメモリ 250に格納する。
[0121] 面内予測部 260は、符号化ストリーム Strに含まれる復号ィ匕対象マクロブロックをィ ントラモードで復号ィ匕すべきときには、メモリ 250から、予測誤差 Drに対応する 1また は複数の局所復号画像 Rcを参照画像 Refとして取り出し、それらの参照画像 Refを 用いて予測画像 Preを生成する。
[0122] 動き補償部 265は、符号化ストリーム Strに含まれる復号ィ匕対象マクロブロックをィ ンターモードで復号ィ匕すべきときには、メモリ 250に格納されている参照画像 Refから 、エントロピー復号ィ匕部 210によって抽出された動きベクトル MVにより示される領域 の画像を取り出し、予測画像 Preとして出力する。
[0123] 切換部 270は、復号ィ匕対象マクロブロックの復号ィ匕モード力イントラモードのときに は、加算器 230での処理に、面内予測部 260から出力された予測画像 Preが利用さ れるように、加算器 230を面内予測部 260に接続する。また、切換部 270は、復号ィ匕 対象マクロブロックの復号化モードがインターモードのときには、加算器 230での処 理に、動き補償部 265から出力された予測画像 Preが利用されるように、加算器 230 を動き補償部 265に接続する。
[0124] 適応的フィルタ 240は、エントロピー復号ィ匕部 210によって抽出された相互相関デ ータ Pと、加算器 230から出力された復号画像 Rcとを取得する。そして、適応的フィ ルタ 240は、その相互相関データ pからウィナーフィルタのフィルタパラメータ wを算 出し、そのフィルタパラメータ wを用いて、復号画像 Rcに応じたフィルタをその復号画 像 Rcにかける。その結果、適応的フィルタ 240は、フィルタをかけられた復号画像 Rc を出力画像 Dsとして出力する。
[0125] 図 8Bは、適応的フィルタ 240の構成を示すブロック図である。
[0126] 適応的フィルタ 240は、自己相関データ生成部 241と、フィルタパラメータ算出部 2 42と、フィルタ処理部 243とを備えている。
[0127] 自己相関データ生成部 241は、復号画像 Rcを取得して、その復号画像 Rcを解析 することにより、自己相関行列（自己相関データ) Rを生成して出力する。
[0128] フィルタパラメータ算出部 242は、（数 1)に示すように、自己相関データ Rと相互相 関データ pとを用いた演算を行うことにより、ウィナーフィルタのフィルタパラメータ wを 算出する。
[0129] フィルタ処理部 243は、フィルタパラメータ wを用いて復号画像 Rcに対するフィルタ 処理 (フィルタリング）を行う。つまり、フィルタ処理部 243は、（数 6)に示すように、フィ ルタパラメータ wによるフィルタを復号画像 Rcにかける。このようなフィルタリングによ つて出力画像 Dsが生成されて出力される。
[0130] その結果、復号画像 Rcに含まれるブロック歪や量子化ノイズなどのノイズを取り除く ことができ、フィルタリングされた復号画像 Rc、つまり出力画像 Dsの画質を入力画像 の画質に近づけることができる。
[0131] なお、適応的フィルタ 240は、 Iピクチャに対してのみフィルタをかけたり、 Iピクチャ、 Pピクチャおよび Bピクチャの全てにフィルタをかけたりしてもよい。つまり、適応的フィ ルタ 240は、エントロピー復号ィ匕部 210によって符号化ストリーム Str力も抽出された 上述の識別情報を取得し、その識別情報の示す画像領域に対してのみフィルタをか ける。
[0132] このような画像復号ィ匕装置 200では、復号化として、量子化係数 Qcに対する逆量 子化や、逆直交変換、予測誤差 Drと予測画像 Preとの加算などをブロック単位で行う
[0133] 図 9は、本実施の形態における画像復号ィ匕装置 200の動作を示すフローチャート である。
[0134] 画像復号ィ匕装置 200は、符号化ストリーム Strを取得し (ステップ S200)、その符号 ィ匕ストリーム Strをエントロピー復号ィ匕して、エントロピー復号化された符号化ストリー ム Str力も相互相関データ pを抽出する（ステップ S202)。
[0135] さらに、画像復号ィ匕装置 200は、エントロピー復号ィ匕された符号化ストリーム Strを さらに復号ィ匕することにより復号画像 Rcを生成する (ステップ S204)。つまり、画像復 号化装置 200は、その符号化ストリーム Strに含まれる量子化係数 Qcに対して逆量 子化および逆直交変換を行い、さらに予測画像 Preを加算することにより復号画像 R cを生成する。
[0136] そして、画像復号ィ匕装置 200は、その復号画像 Rcに基づいて自己相関データ Rを 生成し (ステップ S206)、ステップ S202で抽出された相互相関データ と自己相関 データ Rとに応じたウィナーフィルタのフィルタパラメータ wを算出する（ステップ S208
) o
[0137] 画像復号ィ匕装置 200は、算出されたフィルタパラメータ wを用いて復号画像 Rcに 対するフィルタ処理 (フィルタリング）を実行し (ステップ S210)、フィルタをかけられた 復号画像 Rcを出力画像 Dsとして出力する (ステップ S212)。
[0138] このように本実施の形態における画像復号ィ匕装置 200では、符号化ストリーム Str 力も相互相関データ pを抽出してウィナーフィルタのフィルタパラメータ wを算出し、そ のフィルタパラメータ wに従ったフィルタを復号画像 Rcにかける。これにより、フィルタ をかけられた復号画像 Rcである出力画像 Dsの画質を、入力画像の画質に近づける ことができる。また、画像復号ィ匕装置 200は、ウィナーフィルタのフィルタパラメータ w を符号化ストリーム Str力も抽出することなぐ相互相関データ pを抽出するため、その 画像復号ィ匕装置 200の状況 (リソースの状況）に応じたフィルタパラメータ wを算出し て利用することができる。
[0139] 例えば、画像復号化装置 200が携帯端末に備えられており、その携帯端末が遅い プロセッサと小さなディスプレイを備えているよう場合、画像復号ィ匕装置 200は、フィ ルタ係数の数が少ないフィルタパラメータ wを算出する。そして、画像復号化装置 20 0は、そのフィルタパラメータ wを用いたフィルタリングを簡単に行う。一方、画像復号 化装置 200が高機能な端末に備えられており、その端末が速いプロセッサと大きな ディスプレイを備えているよう場合、画像復号ィ匕装置 200は、フィルタ係数の数が多 いフィルタパラメータ wを算出する。そして、画像復号ィ匕装置 200は、そのフィルタパ ラメータ wを用いたフィルタリングを複雑に行う。
[0140] また、同一の画像復号ィ匕装置 200であっても、同一の相互相関データ pに対して異 なるフィルタパラメータ wを算出してもよい。例えば、画像復号ィ匕装置 200は、パワー セーブモードの場合には、フィルタ係数の数が少ないフィルタパラメータ wを算出し、 高画質モードの場合には、フィルタ係数の数が多いフィルタパラメータ wを算出する。
[0141] また、画像復号ィ匕装置 200の自己相関データ生成部 241は、相互相関データ が 適用される画像領域に関わらず、任意の画像領域ごとに、例えば、ピクチャを構成す るブロックごとに、複数のブロック力 なるスライスごとに、ピクチャごとに、または、複 数のピクチヤから構成されるシーンや GOP (Group Of Picture)ごとに、 1つの自己相 関データ Rを生成してもよい。この場合、フィルタパラメータ算出部 242は各画像領域 ごとに適切なフィルタパラメータ wを算出することができ、そのフィルタパラメータ wを 用いて、フィルタをかけられた復号画像 Rcである出力画像 Dsの画質を、入力画像の 画質に確実に近づけることができる。
[0142] つまり、画像復号ィ匕装置 200では、フィルタパラメータ wの自由度を高めることがで きる。
[0143] (変形例 1)
ここで上記実施の形態における画像符号化装置および画像復号化装置の第 1の 変形例について説明する。
[0144] 本変形例に係る画像符号ィ匕装置は、局所復号画像 Rcに応じたフィルタをその局所 復号画像 Rcにかけて、フィルタをかけられた局所復号画像 Rcを参照画像 Refとして メモリ 150に格納しておく点に特徴がある。
[0145] 図 10は、本変形例に係る画像符号ィ匕装置の構成を示すブロック図である。
[0146] 本変形例に係る画像符号ィ匕装置 300は、上記実施の形態の画像符号化装置 100 が有する相互相関データ生成部 140の代わりに、適応的フィルタ 340を備えている。
[0147] 適応的フィルタ 340は、局所復号画像 Rcと入力画像とに基づいて、相互相関デー タ pおよび自己相関データ Rを生成する。さらに、適応的フィルタ 340は、その生成さ れた相互相関データ pおよび自己相関データ R力 ウィナーフィルタのフィルタパラメ ータ wを算出する。そして、適応的フィルタ 340は、その相互相関データ pをェントロ ピー符号ィ匕部 190に出力するとともに、算出されたフィルタパラメータ wを用いて局所 復号画像 Rcにフィルタをかける。その結果、適応的フィルタ 340は、フィルタをかけら れた局所復号画像 Rcをフィルタリング復号画像 Rcfとしてメモリ 150に格納する。
[0148] つまり、本変形例では、適応的フィルタ 340がパラメータ算出手段およびフィルタリ ング手段として構成されて 、る。
[0149] これにより、面内予測部 160、動き補償部 165および動き検出部 170に利用される 参照画像 Refや予測画像 Preの画質を向上して入力画像に近づけることができる。さ らに、予測画像 Preが入力画像に近づくため、予測誤差 Resのデータ量を小さくする ことができ、その結果、符号化ストリーム Strのデータ量を抑えることができる。
[0150] 図 11は、本変形例に係る適応的フィルタ 340の構成を示すブロック図である。
[0151] 適応的フィルタ 340は、相互相関データ生成部 341と、自己相関データ生成部 34
2と、フィルタパラメータ算出部 343と、フィルタ処理部 344とを備えている。
[0152] 相互相関データ生成部 341は、入力画像信号 Inの示す入力画像と、その入力画 像に対応する局所復号画像 Rcとに基づいて、相互相関データ (相互相関ベクトル) p を生成する。例えば、相互相関データ生成部 341は、ピクチャごとに、または、ピクチ ャを構成するブロックやマクロブロック、スライスごとに、相互相関データ pを生成する
[0153] 自己相関データ生成部 342は、局所復号画像 Rcを取得して、その局所復号画像 Rcを解析することにより、自己相関行列である自己相関データ Rを生成して出力する
[0154] フィルタパラメータ算出部 343は、自己相関データ Rと相互相関データ pとを用いた 演算を行うことにより、ウィナーフィルタのフィルタパラメータ wを算出する。
[0155] フィルタ処理部 344は、フィルタパラメータ wを用いて局所復号画像 Rcに対するフィ ルタリングを行うことにより、フィルタリング復号画像 Rcfを生成してメモリ 150に格納す る。
[0156] 図 12は、本変形例に係る画像復号ィ匕装置の構成を示すブロック図である。
[0157] 本変形例に係る画像復号ィ匕装置 400は、本変形例に係る画像符号ィ匕装置 300〖こ よって生成された符号化ストリーム Strを復号ィ匕する装置である。
[0158] 即ち、本変形例に係る画像復号化装置 400は、上記実施の形態の画像復号化装 置 200のように復号画像 Rcをメモリ 250に格納することなぐ適応的フィルタ 240から 出力された出力画像 Dsを参照画像 Refとしてメモリ 250に格納する。つまり、適応的 フィルタ 240は、出力画像 Dsを出力するとともに、参照画像 Refとして用いられる出 力画像 Dsをメモリ 250に格納する。
[0159] これにより、本変形例に係る画像復号ィ匕装置 400では、画像符号化装置 300で生 成される予測画像 Preと同一の予測画像 Preを生成することができ、画像符号ィ匕装置 300によって生成された符号化ストリーム Strを適切に復号ィ匕することができる。
[0160] (変形例 2)
ここで上記実施の形態における画像符号化装置および画像復号化装置の第 2の 変形例について説明する。
[0161] 本変形例に係る画像符号化装置は、上記変形例 1の画像符号化装置 300の各構 成要素を備えるとともに、デブロッキングフィルタを備えている点に特徴がある。
[0162] 図 13は、本変形例に係る画像符号ィ匕装置の構成を示すブロック図である。
[0163] 本変形例に係る画像符号化装置 500は、上記変形例 1の画像符号化装置 300の 各構成要素を備えるとともに、デブロッキングフィルタ 510を備えている。
[0164] デブロッキングフィルタ 510は、加算器 135から出力された局所復号画像 Rc力 ブ ロック歪を取り除くように、その局所復号画像 Rcに対してフィルタをかける。そして、デ ブロッキングフィルタ 510は、フィルタリングされた局所復号画像 Rcを局所復号画像 Redとして適応的フィルタ 340に出力する。このようなデブロッキングフィルタ 510の処 理は、従来のデブロッキングフィルタの処理と同様である。
[0165] 適応的フィルタ 340は、上述の変形例 1の場合と同様、局所復号画像 Redと入力画 像とに基づいて、相互相関データ pおよび自己相関データ Rを生成する。さらに、適 応的フィルタ 340は、その生成された相互相関データ pおよび自己相関データ尺から ウィナーフィルタのフィルタパラメータ wを算出する。そして、適応的フィルタ 340は、 その相互相関データ pをエントロピー符号ィ匕部 190に出力するとともに、算出された フィルタパラメータ wを用いて、局所復号画像 Redにフィルタをかける。その結果、適 応的フィルタ 340は、フィルタリングされた局所復号画像 Redをフィルタリング復号画 像 Rcfとしてメモリ 150に格納する。
[0166] 図 14は、本変形例に係る画像復号ィ匕装置の構成を示すブロック図である。
[0167] 本変形例に係る画像復号ィ匕装置 600は、本変形例に係る画像符号ィ匕装置 500〖こ よって生成された符号化ストリーム Strを復号ィ匕する装置であって、復号画像 Rcに対 してデブロッキングフィルタをかける点に特徴がある。
[0168] 画像復号化装置 600は、上記変形例 1の画像復号化装置 400の各構成要素を有 するとともに、デブロッキングフィルタ 610を備えている。 [0169] デブロッキングフィルタ 610は、加算器 230から出力された復号画像 Rcからブロック 歪を取り除くように、その復号画像 Rcにフィルタをかける。そして、デブロッキングフィ ルタ 610は、フィルタリングされた復号画像 Rcを復号画像 Redとして適応的フィルタ 2 40に出力する。このようなデブロッキングフィルタ 610の処理は、従来のデブロッキン グフィルタの処理と同様である。
[0170] 適応的フィルタ 240は、エントロピー復号ィ匕部 210によって抽出された相互相関デ ータ pと、デブロッキングフィルタ 610から出力された復号画像 Redとを取得する。そし て、適応的フィルタ 240は、その相互相関データ pからウィナーフィルタのフィルタパラ メータ wを算出し、そのフィルタパラメータ wを用いて、復号画像 Redに応じたフィルタ をその復号画像 Redにかける。その結果、適応的フィルタ 240は、フィルタリングされ た復号画像 Redを出力画像 Dsとして出力する。さらに、適応的フィルタ 240は、参照 画像 Refとして用いられる出力画像 Dsをメモリ 250に格納する。
[0171] このように本変形例では、デブロッキングフィルタ 510, 516と適応的フィルタ 340, 240を備えているため、復号画像（出力画像)の画質のさらなる向上を図ることができ る。さら〖こ、従来の画像符号化装置および画像復号化装置に対して、適応的フィルタ 340, 240を備えることによって、簡単に本変形例を実現することができる。
[0172] (変形例 3)
ここで上記実施の形態における画像符号化装置および画像復号化装置の第 3の 変形例について説明する。
[0173] 本変形例に係る画像符号化装置は、上記変形例 1の画像符号化装置 300と同様 に適応的フィルタ 340を備える力 予測画像 Preに基づいて相互相関データ pを生成 するとともに、予測画像 Preに対してフィルタをかける点に特徴がある。
[0174] 図 15は、本変形例に係る画像符号ィ匕装置の構成を示すブロック図である。
[0175] 本変形例に係る画像符号化装置 700の適応的フィルタ 340は、予測画像 Preと入 力画像とに基づいて、相互相関データ pおよび自己相関データ Rを生成する。さらに 、適応的フィルタ 340は、その生成された相互相関データ pおよび自己相関データ R 力もウィナーフィルタのフィルタパラメータ wを算出する。そして、適応的フィルタ 340 は、その相互相関データ pをエントロピー符号ィ匕部 190に出力するとともに、算出され たフィルタパラメータ wを用いて、予測画像 Preに対してフィルタをかける。その結果、 適応的フィルタ 340は、フィルタをかけられた予測画像 Preをフィルタリング予測画像 Prfとして減算器 110および加算器 135に対して出力する。
[0176] 減算器 110および加算器 135は、適応的フィルタ 340から出力されたフィルタリング 予測画像 Prfを予測画像 Preと同様に扱 ヽ、上記実施の形態と同様の処理を行う。
[0177] 図 16は、本変形例に係る画像復号ィ匕装置の構成を示すブロック図である。
[0178] 本変形例に係る画像復号化装置 800の適応的フィルタ 240は、エントロピー復号 化部 210によって抽出された相互相関データ pと、面内予測部 260または動き補償 部 265から出力された予測画像 Preとを取得する。そして、適応的フィルタ 240は、そ の相互相関データ pからウィナーフィルタのフィルタパラメータ wを算出し、そのフィル タパラメータ wを用いて、予測画像 Preに応じたフィルタをその予測画像 Preにかける 。その結果、適応的フィルタ 240は、フィルタをかけられた予測画像 Preをフィルタリン グ予測画像 Prfとして出力する。
[0179] 加算器 230は、適応的フィルタ 240から出力されたフィルタリング予測画像 Prfを予 測画像 Preと同様に扱い、上記実施の形態と同様の処理を行う。
[0180] これにより、本変形例では、予測画像 Pre (フィルタリング予測画像 Prf)の画質を向 上して入力画像に近づけることができ、その結果、予測誤差 Resのデータ量を小さく することができる。したがって、符号化ストリーム Strのデータ量を抑えることができる。
[0181] (変形例 4)
ここで上記実施の形態における画像符号化装置および画像復号化装置の第 4の 変形例について説明する。
[0182] 本変形例に係る画像符号ィ匕装置は、予測誤差 Resを算出することなぐ入力画像 信号 Inの示す入力画像に対して直交変換および量子化を行う点に特徴がある。
[0183] 図 17は、本変形例に係る画像符号ィ匕装置の構成を示すブロック図である。
[0184] 本変形例に係る画像符号化装置 900は、直交変換量子化部 120、逆量子化逆直 交変換部 130、相互相関データ生成部 140、およびエントロピー符号化部 190を備 えている。
[0185] 直交変換量子化部 120は、入力画像信号 Inの示す入力画像を周波数成分に変換 し、その周波数成分に対して量子化を行うことにより、その周波数成分を量子化係数
Qcに圧縮符号化する。
[0186] 逆量子化逆直交変換部 130は、直交変換量子化部 120から出力される量子化係 数 Qcに対して逆量子化を行うことにより、その量子化係数 Qcを周波数成分に変換 する。さらに、逆量子化逆直交変換部 130は、その周数成分に対して逆直交変換を 行うことにより、その周波数成分を局所復号画像 Decに変換する。
[0187] 相互相関データ生成部 140は、入力画像信号 Inの示す入力画像と、その入力画 像に対応する局所復号画像 Decとに基づいて、相互相関データ (相互相関ベクトル) Pを生成する。例えば、相互相関データ生成部 140は、ピクチャ、ピクチャを構成する ブロック、またはスライスごとに、相互相関データ pを生成する。
[0188] エントロピー符号ィ匕部 190は、直交変換量子化部 120によって生成された量子化 係数 Qcと相互相関データ pとをエントロピー符号化 (可変長符号化)することにより、 符号化ストリーム Strを生成する。
[0189] 図 18は、本変形例に係る画像復号ィ匕装置の構成を示すブロック図である。
[0190] 本変形例に係る画像復号ィ匕装置 910は、本変形例に係る画像符号ィ匕装置 900に よって生成された符号化ストリーム Strを復号ィ匕する装置であって、エントロピー復号 化部 210、逆量子化逆直交変換部 220と、適応的フィルタ 240とを備えている。
[0191] エントロピー復号ィ匕部 210は、符号化ストリーム Strを取得し、その符号化ストリーム Strに対してエントロピー復号化（可変長復号化）を行う。そして、エントロピー復号ィ匕 部 210は、そのエントロピー復号ィ匕された符号化ストリーム Strから、量子化係数 Qcと 相互相関データ pとを抽出する。
[0192] 逆量子化逆直交変換部 220は、エントロピー復号ィ匕部 210で抽出された量子化係 数 Qcを取得し、その量子化係数 Qcに対して逆量子化を行うことにより、その量子化 係数 Qcを周波数成分に変換する。さらに、逆量子化逆直交変換部 220は、その周 数成分に対して逆直交変換を行うことにより、その周波数成分を復号画像 Decに変 換する。
[0193] 適応的フィルタ 240は、エントロピー復号ィ匕部 210によって抽出された相互相関デ ータ pと、逆量子化逆直交変換部 220から出力された復号画像 Decとを取得する。そ して、適応的フィルタ 240は、その相互相関データ pからウィナーフィルタのフィルタ ノ ラメータ wを算出し、そのフィルタパラメータ wを用いて、復号画像 Decに応じたフィ ルタをその復号画像 Decにかける。その結果、適応的フィルタ 240は、フィルタをかけ られた復号画像 Decを出力画像 Dsとして出力する。
[0194] (変形例 5)
ここで上記実施の形態における画像符号化装置および画像復号化装置の第 5の 変形例について説明する。
[0195] 上記実施の形態における画像符号ィ匕装置 100は、ウィナーフィルタのフィルタパラ メータ wを算出するために必要な相互相関データ pを生成して符号化ストリーム Strに 挿入した。しかし、このような相互相関データ pを符号化ストリーム Strに含めなくても よい。つまり、画像復号化装置において、生成された復号画像が入力画像に近づく ような適切なフィルタパラメータが算出されるのであれば、上述の相互相関データ に 限らず他のデータを符号化ストリーム Strに挿入してもよい。
[0196] したがって、本変形例に係る画像符号ィ匕装置は、入力画像に基づ 、てフィルタパラ メータを算出するために必要な元データを生成して、その元データを符号化ストリー ム Strに挿入する。
[0197] 図 19は、本変形例に係る画像符号ィ匕装置の構成を示すブロック図である。
[0198] 本変形例に係る画像符号化装置 920は、直交変換量子化部 120、元データ生成 部 921およびエントロピー符号化部 190を備えて 、る。
[0199] 直交変換量子化部 120は、入力画像信号 Inの示す入力画像を周波数成分に変換 し、その周波数成分に対して量子化を行うことにより、その周波数成分を量子化係数
Qcに圧縮符号化する。
[0200] 元データ生成部 921は、入力画像信号 Inの示す入力画像に基づいて上述の元デ ータ Kcを生成して出力する。
[0201] 元データ Kcは、例えば、入力画像のコントラスト、輝度、カラー特性、または入力画 像の高周波成分と低周波成分との比を示してもよい。また、元データ Kcは、画素値 の標準偏差などの統計的な特性や、入力画像が精細な画像カゝ否かを示してもょ 、。 また、元データ Kcは、入力画像の周波数の変化や程度、シーンチェンジが発生する 位置を示してもよい。また、元データ Kcは、入力画像の特性を直接的に示してもよく
、パラメータを使って間接的に示してもよい。さらに、元データ Kcは、入力画像のジャ ンル、例えば、スポーツや、ニュース、ドキュメンタリー、音楽などを示してもよい。
[0202] エントロピー符号ィ匕部 190は、直交変換量子化部 120から出力された量子化係数
Qcと、元データ生成部 921から出力された元データ Kcとをエントロピー符号ィ匕する ことにより、符号化ストリーム Strを生成する。
[0203] 図 20は、本変形例に係る画像復号ィ匕装置の構成を示すブロック図である。
[0204] 本変形例に係る画像復号ィ匕装置 930は、エントロピー復号ィ匕部 210、逆量子化逆 直交変換部 220、フィルタパラメータ特定部 931、およびフィルタ処理部 932を備え ている。
[0205] エントロピー復号ィ匕部 210は、符号化ストリーム Strを取得し、その符号化ストリーム Strに対してエントロピー復号化（可変長復号化）を行う。そして、エントロピー復号ィ匕 部 210は、そのエントロピー復号ィ匕された符号化ストリーム Strから、量子化係数 Qcと 元データ Kcとを抽出する。
[0206] 逆量子化逆直交変換部 220は、エントロピー復号化部 210で抽出された量子化係 数 Qcを取得し、その量子化係数 Qcに対して逆量子化を行うことにより、その量子化 係数 Qcを周波数成分に変換する。さらに、逆量子化逆直交変換部 220は、その周 数成分に対して逆直交変換を行うことにより、その周波数成分を復号画像 Decに変 換する。
[0207] フィルタパラメータ特定部 931は、エントロピー復号ィ匕部 210で抽出された元データ Kcに基づいて、フィルタパラメータ wを特定する。
[0208] 例えば、フィルタパラメータ特定部 931は、予め複数のフィルタパラメータを保持し ており、抽出された元データ Kcの示す内容に適合するフィルタパラメータを選択する 。具体的に、フィルタパラメータ特定部 931は、元データ Kcがフラットな画像を示す 場合には、平滑ィ匕を行うようなフィルタパラメータを選択し、元データ Kcが精細な画 像を示す場合には、輪郭などを際立たせるようなフィルタパラメータを選択する。
[0209] また、フィルタパラメータ特定部 931は、元データ Kcの示す数値、例えば、コントラ スト、輝度、カラー特性、高周波成分と低周波成分との比などに基づいて、フィルタパ ラメータを算出してちょい。
[0210] フィルタ処理部 932は、復号画像 Decに対して、上述のように特定されたフィルタパ ラメータに従ったフィルリング演算を行うことにより出力画像 Dsを生成する。
[0211] (変形例 6)
上記実施の形態では、画像符号ィ匕装置 100が相互相関データ pを符号化ストリー ム Strに挿入した力 相互相関データ pの代わりにフィルタパラメータ wを挿入してもよ い。
[0212] 図 21は、 SEIのフィルタパラメータ wにおけるシンタックスの一例を示す図である。
[0213] フィルタパラメータ wを示す情報として、フィルタパラメータ w (行列）の次元 (filter_di mension)と、フィルタパラメータ wの各次元におけるフィルタ係数の数（filterjength)と 、フィルタ係数に対する重み（scaling_factor)と、フィルタ係数（filter_coeffs[color_comp onent][cy]ま 7こは filter— coeffs [color— component] [cy][cx])と力 SEIに揷入される。
[0214] filter_dimensionが 0のときには、その filter_dimensionは 1次元を示し、 filter_dimension 力 S iのときには、その filter_dimensionは 2次元を示す。 filterjengthは、フィルタの長さ、 つまりフィルタタップ数を示す。 scaling_factorは、フィルタ係数の重みを示し、各フィル タ係数はその重みで除算される。つまり scaling_factorは、フィルタ係数の精度を規定 して 、る。 niter— coeffs [color— component] [cy」 3:7こ ίま filter— coeffs[color— component]i_cy」[ cx]は 1つのフィルタ係数を示し、 color_componentはフィルタリングされる色成分を示 す。 cyは、行列に含まれるフィルタ係数の垂直方向の位置 (カウンター）を表し、 2次 元の行列の場合には、 cxは、その行列に含まれるフィルタ係数の水平方向の位置を 表す。 filter_dimensionが 2次元を示す場合、フィルタパラメータ wの複数のフィルタ係 数は、 2次元 FIR (Finite Impulse Response)フィルタとして適用され、 filter_dimension 力 S i次元を示す場合、フィルタパラメータ wの複数のフィルタ係数は、最初に水平方 向に対する 1次元 FIRフィルタとして適用され、次に垂直方向に対する 1次元 FIRフィ ルタとして適用される。
[0215] 以上、本発明に係る画像符号化装置および画像復号化装置について、実施の形 態およびその変形例を用いて説明したが、本発明は、これらに限定されるものではな い。 [0216] 例えば、実施の形態およびその変形例では、相互相関データ pを符号化ストリーム
Strに挿入した力 符号化ストリーム Strとは別に相互相関データ pを送信してもよい。
[0217] また、ブロック図（図 1〜図 3、図 8A、図 8B、図 10〜図 20)の各機能ブロックは典型 的には集積回路である LSIとして実現される。これらは個別に 1チップ化されても良い し、一部又は全てを含むように 1チップ化されても良い。（例えばメモリ以外の機能ブ ロックが 1チップ化されていても良い。 )
ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI、ゥ ノレ卜ラ LSIと呼称されることちある。
[0218] また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセサで 実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programma ble Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギ ュラブノレ ·プロセッサーを利用しても良 、。
[0219] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行って もよい。バイオ技術の適応等が可能性としてありえる。
[0220] また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手 段だけ 1チップィ匕せずに別構成としても良い。
産業上の利用可能性
[0221] 本発明の画像符号化装置および画像復号化装置は、符号化されて復号化された 画像の画質の低下を確実に防ぐことができると 、う効果を奏し、例えばデジタルビデ ォカメラや、動画像を扱う携帯電話、パーソナルコンピュータなどに適用することがで きる。

Claims

請求の範囲
[1] 符号ィ匕画像を復号ィ匕する画像復号ィ匕装置であって、
符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成す る復号化手段と、
前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関 を示す相互相関データを前記符号化ストリーム力 抽出する抽出手段と、
前記抽出手段によって抽出された前記相互相関データに基づいてフィルタパラメ ータを算出するパラメータ算出手段と、
前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフ ィルタリング手段と
を備えることを特徴とする画像復号化装置。
[2] 前記パラメータ算出手段は、前記復号画像内の相関を示す自己相関データを生成 し、前記自己相関データと前記相互相関データとを用いて演算することにより前記フ ィルタパラメータを算出する
ことを特徴とする請求項 1記載の画像復号ィ匕装置。
[3] 前記パラメータ算出手段は、前記フィルタパラメータをウィナーフィルタのフィルタ係 数として算出する
ことを特徴とする請求項 2記載の画像復号ィ匕装置。
[4] 前記フィルタリング手段は、前記フィルタリング演算が行われた前記復号画像をフィ ルタリング復号画像として出力し、
前記復号化手段は、前記フィルタリング復号画像を用いて前記符号化画像の後の 符号化画像を復号化する
ことを特徴とする請求項 3記載の画像復号ィ匕装置。
[5] 前記画像復号化装置は、さらに、
参照画像を記憶するための領域を有する記憶手段と、
前記記憶手段に記憶されている複数の参照画像から、前記符号化画像の後の符 号化画像に対応する参照画像を選択することにより、前記後の符号化画像に対する 予測画像を生成する予測手段とを備え、 前記フィルタリング手段は、前記フィルタリング復号画像を前記参照画像として前記 記憶手段に格納し、
前記復号化手段は、前記後の符号化画像と前記予測画像とを加算することにより 前記後の符号化画像を復号化する
ことを特徴とする請求項 4記載の画像復号ィ匕装置。
[6] 前記画像復号化装置は、さらに、
参照画像を記憶するための領域を有する記憶手段と、
前記記憶手段に記憶されている複数の参照画像から、前記符号化画像の後の符 号化画像に対応する参照画像を選択することにより、前記後の符号化画像に対する 予測画像を生成する予測手段とを備え、
前記フィルタリング手段は、前記フィルタパラメータに従ったフィルタリング演算を前 記予測画像に対して行うことにより、前記フィルタリング復号画像を生成し、
前記復号化手段は、生成された前記復号画像を前記参照画像として前記記憶媒 体に格納するとともに、前記後の符号化画像と前記フィルタリング復号画像とを加算 することにより前記後の符号化画像を復号化する
ことを特徴とする請求項 4記載の画像復号ィ匕装置。
[7] 前記パラメータ算出手段は、前記復号画像の領域ごとに前記自己相関データを生 成し、前記領域ごとに前記フィルタパラメータを算出する
ことを特徴とする請求項 2記載の画像復号ィ匕装置。
[8] 前記パラメータ算出手段は、ブロック、スライス、ピクチャ、または複数のピクチャを 1 つの前記領域とし、前記領域ごとに前記自己相関データおよび前記フィルタパラメ一 タを算出する
ことを特徴とする請求項 7記載の画像復号ィ匕装置。
[9] 前記抽出手段は、前記符号化ストリームに含まれる、符号化されたブロック、スライ ス、ピクチャ、または複数のピクチャをまとめた領域のヘッダ力も前記相互相関データ を抽出する
ことを特徴とする請求項 1記載の画像復号ィ匕装置。
[10] 前記抽出手段は、前記符号化ストリームに含まれる、符号化されたピクチャの補助 拡張情報力 前記相互相関データを抽出する
ことを特徴とする請求項 1記載の画像復号ィ匕装置。
[11] 入力画像を符号ィ匕する画像符号ィ匕装置であって、
入力画像を符号化することにより符号化画像を生成する符号化手段と、 符号化画像を復号化することにより復号画像を生成する復号化手段と、 前記入力画像と前記復号化画像との間の相関を示す相互相関データを生成する 相互相関データ生成手段と、
前記符号ィ匕手段によって生成された符号ィ匕画像を含む符号化ストリームに前記相 互相関データを挿入する挿入手段と
を備えることを特徴とする画像符号化装置。
[12] 前記画像符号化装置は、さらに、
前記復号画像内の相関を示す自己相関データを生成し、前記自己相関データと 前記相互相関データとを用いて演算することによりフィルタパラメータを算出するパラ メータ算出手段と、
前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフ ィルタリング手段とを備える
ことを特徴とする請求項 11記載の画像符号化装置。
[13] 前記パラメータ算出手段は、前記フィルタパラメータをウィナーフィルタのフィルタ係 数として算出する
ことを特徴とする請求項 12記載の画像符号ィ匕装置。
[14] 前記フィルタリング手段は、前記フィルタリング演算が行われた前記復号画像をフィ ルタリング復号画像として出力し、
前記符号化手段は、前記フィルタリング復号画像を用いて前記入力画像の後の入 力画像を符号化する
ことを特徴とする請求項 13記載の画像符号ィ匕装置。
[15] 前記画像符号化装置は、さらに、
参照画像を記憶するための領域を有する記憶手段と、
前記記憶手段に記憶されている複数の参照画像から、前記入力画像の後の入力 画像に類似する参照画像を選択することにより、前記後の入力画像に対する予測画 像を生成する予測手段とを備え、
前記復号化手段は、前記入力画像に対応する前記符号化画像を復号化すること により前記復号画像を生成し、
前記フィルタリング手段は、生成された前記フィルタリング復号画像を前記参照画 像として前記記録媒体に格納し、
前記符号化手段は、前記後の入力画像から前記予測画像を減算することにより前 記後の入力画像を符号化する
ことを特徴とする請求項 14記載の画像符号ィ匕装置。
[16] 前記画像符号化装置は、さらに、
参照画像を記憶するための領域を有する記憶手段と、
前記記憶手段に記憶されている複数の参照画像から、前記入力画像の後の入力 画像に類似する参照画像を選択することにより、前記後の入力画像に対する予測画 像を生成する予測手段とを備え、
前記復号化手段は、生成された前記復号画像を前記参照画像として前記記憶媒 体に格納し、
前記相互相関データ生成手段は、前記後の入力画像と前記予測画像との間の相 関を示す前記相互相関データを生成し、
前記フィルタリング手段は、前記フィルタパラメータに従ったフィルタリング演算を前 記予測画像に対して行うことにより、前記フィルタリング復号画像を生成し、
前記符号化手段は、前記後の入力画像から前記フィルタリング復号画像を減算す ることにより前記後の入力画像を符号ィ匕する
ことを特徴とする請求項 14記載の画像符号ィ匕装置。
[17] 前記挿入手段は、前記符号化ストリームに含まれる、符号化されたブロック、スライ ス、ピクチャ、または複数のピクチャをまとめた領域のヘッダに前記相互相関データを 挿入する
ことを特徴とする請求項 11記載の画像符号化装置。
[18] 前記挿入手段は、前記符号化ストリームに含まれる、符号化されたピクチャの補助 拡張情報に前記相互相関データを挿入する
ことを特徴とする請求項 11記載の画像符号化装置。
[19] 前記相互相関データ生成手段は、画像の領域ごとに前記相互相関データを生成 する
ことを特徴とする請求項 11記載の画像符号化装置。
[20] 前記相互相関データ生成手段は、ブロック、スライス、ピクチャ、または複数のピク チヤを 1つの前記領域とし、前記領域ごとに前記相互相関データを生成する ことを特徴とする請求項 19記載の画像符号ィ匕装置。
[21] 符号化画像を復号化する画像復号化方法であって、
符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成す る復号化ステップと、
前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関 を示す相互相関データを前記符号化ストリーム力 抽出する抽出ステップと、 前記抽出ステップで抽出された前記相互相関データに基づいてフィルタパラメータ を算出するパラメータ算出ステップと、
前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフ ィルタリングステップと
を含むことを特徴とする画像復号化方法。
[22] 入力画像を符号化する画像符号化方法であって、
入力画像を符号化することにより符号化画像を生成する符号化ステップと、 符号化画像を復号化することにより復号画像を生成する復号化ステップと、 前記入力画像と前記復号化画像との間の相関を示す相互相関データを生成する 相互相関データ生成ステップと、
前記符号化ステップで生成された符号ィ匕画像を含む符号化ストリームに前記相互 相関データを挿入する挿入ステップと
を含むことを特徴とする画像符号化方法。
[23] 符号ィ匕画像を復号ィ匕するためのプログラムであって、
符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成す る復号化ステップと、
前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関 を示す相互相関データを前記符号化ストリーム力 抽出する抽出ステップと、 前記抽出ステップで抽出された前記相互相関データに基づいてフィルタパラメータ を算出するパラメータ算出ステップと、
前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフ ィルタリングステップと
をコンピュータに実行させることを特徴とするプログラム。
[24] 入力画像を符号ィ匕するためのプログラムであって、
入力画像を符号化することにより符号化画像を生成する符号化ステップと、 符号化画像を復号化することにより復号画像を生成する復号化ステップと、 前記入力画像と前記復号化画像との間の相関を示す相互相関データを生成する 相互相関データ生成ステップと、
前記符号化ステップで生成された符号ィ匕画像を含む符号化ストリームに前記相互 相関データを挿入する挿入ステップと
をコンピュータに実行させることを特徴とするプログラム。
[25] 符号ィ匕画像を復号ィ匕する集積回路であって、
符号化ストリームに含まれる符号化画像を復号化することにより復号画像を生成す る復号化手段と、
前記復号画像に対応する符号化されていない画像と前記復号画像との間の相関 を示す相互相関データを前記符号化ストリーム力 抽出する抽出手段と、
前記抽出手段によって抽出された前記相互相関データに基づいてフィルタパラメ ータを算出するパラメータ算出手段と、
前記フィルタパラメータに従ったフィルタリング演算を前記復号画像に対して行うフ ィルタリング手段と
を備えることを特徴とする集積回路。
[26] 入力画像を符号ィ匕する集積回路であって、
入力画像を符号化することにより符号化画像を生成する符号化手段と、 符号化画像を復号化することにより復号画像を生成する復号化手段と、 前記入力画像と前記復号化画像との間の相関を示す相互相関データを生成する 相互相関データ生成手段と、
前記符号ィ匕手段によって生成された符号ィ匕画像を含む符号化ストリームに前記相 互相関データを挿入する挿入手段と
を備えることを特徴とする集積回路。
PCT/JP2007/056180 2006-03-27 2007-03-26 画像符号化装置および画像復号化装置 WO2007111292A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP07739618.2A EP2001239B1 (en) 2006-03-27 2007-03-26 Picture coding apparatus and picture decoding apparatus
KR1020087023579A KR101353689B1 (ko) 2006-03-27 2007-03-26 화상 부호화 장치 및 화상 복호화 장치
JP2008506873A JP5513740B2 (ja) 2006-03-27 2007-03-26 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
CN200780011050.8A CN101411201B (zh) 2006-03-27 2007-03-26 图像编码装置以及图像解码装置
US12/294,103 US8189934B2 (en) 2006-03-27 2007-03-26 Image coding apparatus and image decoding apparatus
US13/437,315 US8712171B2 (en) 2006-03-27 2012-04-02 Image coding apparatus and image decoding apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP06006302A EP1841230A1 (en) 2006-03-27 2006-03-27 Adaptive wiener filter for video coding
EP06006302.1 2006-03-27
EP06007740.1 2006-04-12
EP06007740A EP1845729A1 (en) 2006-04-12 2006-04-12 Transmission of post-filter hints

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US12/294,103 A-371-Of-International US8189934B2 (en) 2006-03-27 2007-03-26 Image coding apparatus and image decoding apparatus
US13/437,315 Division US8712171B2 (en) 2006-03-27 2012-04-02 Image coding apparatus and image decoding apparatus

Publications (1)

Publication Number Publication Date
WO2007111292A1 true WO2007111292A1 (ja) 2007-10-04

Family

ID=38541209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/056180 WO2007111292A1 (ja) 2006-03-27 2007-03-26 画像符号化装置および画像復号化装置

Country Status (5)

Country Link
US (2) US8189934B2 (ja)
EP (1) EP2001239B1 (ja)
JP (1) JP5513740B2 (ja)
KR (1) KR101353689B1 (ja)
WO (1) WO2007111292A1 (ja)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009074117A1 (en) 2007-12-13 2009-06-18 Mediatek Inc. In-loop fidelity enhancement for video compression
KR20090103776A (ko) * 2008-03-27 2009-10-01 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
WO2009130942A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像符号化装置および画像復号装置
WO2010001999A1 (ja) * 2008-07-04 2010-01-07 株式会社 東芝 動画像符号化／復号化方法及び装置
WO2010001614A1 (ja) * 2008-07-03 2010-01-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
JP2010507335A (ja) * 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
WO2010061607A1 (ja) * 2008-11-27 2010-06-03 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、動画像符号化方法、プログラム、及び集積回路
WO2010064675A1 (ja) * 2008-12-03 2010-06-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2010525760A (ja) * 2007-04-26 2010-07-22 ポリコム，インク． デブロッキング・フィルタ配列
WO2010113524A1 (ja) * 2009-04-03 2010-10-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置
WO2010137322A1 (ja) * 2009-05-29 2010-12-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
WO2011001865A1 (ja) * 2009-07-01 2011-01-06 ソニー株式会社 画像処理装置および方法
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
WO2011039931A1 (ja) * 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011086672A1 (ja) * 2010-01-13 2011-07-21 株式会社 東芝 動画像符号化装置および復号装置
JP2011527874A (ja) * 2008-07-11 2011-11-04 クゥアルコム・インコーポレイテッド 複数のフィルタを使用してビデオ・データをフィルタすること
KR101106856B1 (ko) * 2008-07-09 2012-01-19 인텔 코포레이션 비디오 인코딩 방법 및 비디오 인코딩 시스템
JP2012034036A (ja) * 2010-07-28 2012-02-16 Toshiba Corp 情報処理装置および画像処理方法
WO2012050021A1 (ja) * 2010-10-14 2012-04-19 ソニー株式会社 画像処理装置および方法
WO2012093491A1 (ja) * 2011-01-07 2012-07-12 株式会社 東芝 動画像符号化方法及び装置、動画像復号化方法及び装置
JP2012520607A (ja) * 2009-03-12 2012-09-06 トムソン ライセンシング アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置
JP2013009418A (ja) * 2009-07-01 2013-01-10 Sony Corp 画像処理装置および方法
JP2013509024A (ja) * 2009-10-15 2013-03-07 トムソン ライセンシング 映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置
JPWO2011074357A1 (ja) * 2009-12-18 2013-04-25 シャープ株式会社 画像フィルタ、符号化装置、復号装置、および、データ構造
JP2013517724A (ja) * 2010-01-20 2013-05-16 シーメンス アクチエンゲゼルシヤフト ノイズを含む画像または画像シーケンスの符号化のためのノイズ低減方法
JP2013522956A (ja) * 2010-03-09 2013-06-13 トムソン ライセンシング 分類ベースのループ・フィルタのための方法と装置
JP5323252B2 (ja) * 2010-03-30 2013-10-23 株式会社東芝 動画像符号化方法、復号化方法、符号化装置および復号化装置
JP5323211B2 (ja) * 2010-01-13 2013-10-23 株式会社東芝 動画像符号化装置および復号装置
WO2013161690A1 (ja) * 2012-04-24 2013-10-31 シャープ株式会社 画像復号装置および画像符号化装置
JP5340415B2 (ja) * 2009-12-07 2013-11-13 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2013232974A (ja) * 2010-01-13 2013-11-14 Toshiba Corp 動画像符号化装置および復号装置
JP2014060744A (ja) * 2010-01-13 2014-04-03 Toshiba Corp 動画像符号化装置および復号装置
CN104113755A (zh) * 2008-07-02 2014-10-22 三星电子株式会社 图像编码方法及装置以及其解码方法及装置
US8964852B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
CN104639948A (zh) * 2008-04-09 2015-05-20 英特尔公司 用于视频编码及解码的环内自适应维纳滤波器
US9143803B2 (en) 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US9319688B2 (en) 2013-01-29 2016-04-19 Fujitsu Limited Moving image encoding apparatus

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
EP2003896A1 (en) * 2007-06-12 2008-12-17 Panasonic Corporation Statistical image enhancement
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
CN102037732B (zh) * 2009-07-06 2013-03-27 联发科技（新加坡）私人有限公司 一种执行单循环自适应内插滤波的方法、编码器和译码器
EP2299716B1 (en) 2009-09-09 2016-11-23 Canon Kabushiki Kaisha Method and device for coding a multidimensional digital signal
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
USRE47243E1 (en) 2009-12-09 2019-02-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
JP5707412B2 (ja) 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
EP3944624A1 (en) 2010-09-30 2022-01-26 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
CA3052608C (en) 2010-12-17 2021-09-21 Mitsubishi Electric Corporation Image coding device, image decoding device, image coding method, and image decoding method
JP6392572B2 (ja) * 2014-07-22 2018-09-19 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
KR101627193B1 (ko) * 2014-10-29 2016-06-03 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101626449B1 (ko) * 2015-03-12 2016-06-01 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101626450B1 (ko) * 2015-03-12 2016-06-01 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101603693B1 (ko) * 2015-03-12 2016-03-15 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101603695B1 (ko) * 2015-03-12 2016-03-15 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101974138B1 (ko) * 2018-03-12 2019-04-30 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150663A (ja) * 1996-08-13 1998-06-02 Sony Electron Inc ブロッキング効果の最小化方法及び最小化装置
US20050105627A1 (en) 2003-11-17 2005-05-19 Zhaohui Sun Method and system for video filtering with joint motion and noise estimation
JP2005514872A (ja) * 2002-01-14 2005-05-19 ノキア コーポレイション 動的フィルタのコーディング

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9321372D0 (en) * 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
US5802481A (en) * 1997-03-20 1998-09-01 Motorola, Inc. Adaptive filtering for use with data compression and signal reconstruction
EP2458865A3 (en) * 2001-06-29 2014-10-01 NTT DoCoMo, Inc. Apparatuses for image coding and decoding
DK2938071T3 (en) 2001-11-29 2018-01-22 Godo Kaisha Ip Bridge 1 METHOD OF REMOVING CODING PREVENTION
CA2435757C (en) 2001-11-29 2013-03-19 Matsushita Electric Industrial Co., Ltd. Video coding distortion removal method and apparatus using a filter
KR100497398B1 (ko) * 2003-07-16 2005-06-23 삼성전자주식회사 영상 잡음 제거방법 및 장치
KR100664929B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150663A (ja) * 1996-08-13 1998-06-02 Sony Electron Inc ブロッキング効果の最小化方法及び最小化装置
JP2005514872A (ja) * 2002-01-14 2005-05-19 ノキア コーポレイション 動的フィルタのコーディング
US20050105627A1 (en) 2003-11-17 2005-05-19 Zhaohui Sun Method and system for video filtering with joint motion and noise estimation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2001239A4

Cited By (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013258771A (ja) * 2006-10-18 2013-12-26 Thomson Licensing 予測データ精緻化を使用してビデオを符号化する方法及び装置
US8542736B2 (en) 2006-10-18 2013-09-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
JP2010507335A (ja) * 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
JP2010525760A (ja) * 2007-04-26 2010-07-22 ポリコム，インク． デブロッキング・フィルタ配列
WO2009074117A1 (en) 2007-12-13 2009-06-18 Mediatek Inc. In-loop fidelity enhancement for video compression
EP3383048A1 (en) * 2007-12-13 2018-10-03 HFI Innovation Inc. In-loop fidelity enhancement for video compression
JP2011503979A (ja) * 2007-12-13 2011-01-27 メディアテック インコーポレイテッド ビデオ圧縮のためのループ内忠実度の向上
US10327010B2 (en) 2007-12-13 2019-06-18 Hfi Innovation Inc. In-loop fidelity enhancement for video compression
KR101591825B1 (ko) 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
JP2011515981A (ja) * 2008-03-27 2011-05-19 エルジー エレクトロニクス インコーポレイティド ビデオ信号のエンコーディングまたはデコーディング方法及び装置
KR20090103776A (ko) * 2008-03-27 2009-10-01 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
US8385411B2 (en) 2008-03-27 2013-02-26 Lg Electronics Inc. Method and an apparatus for encoding or decoding a video signal
US8634479B2 (en) 2008-03-27 2014-01-21 Lg Electronics Inc. Decoding a video signal using in-loop filter
CN104639948A (zh) * 2008-04-09 2015-05-20 英特尔公司 用于视频编码及解码的环内自适应维纳滤波器
US10171808B2 (en) 2008-04-09 2019-01-01 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US10165273B2 (en) 2008-04-09 2018-12-25 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US20160088296A1 (en) * 2008-04-09 2016-03-24 Intel Corporation In-Loop Adaptive Wiener Filter for Video Coding and Decoding
JPWO2009130942A1 (ja) * 2008-04-21 2011-08-11 シャープ株式会社 画像符号化装置および画像復号装置
WO2009130942A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像符号化装置および画像復号装置
CN104113755B (zh) * 2008-07-02 2018-04-13 三星电子株式会社 图像编码方法及装置以及其解码方法及装置
CN104113755A (zh) * 2008-07-02 2014-10-22 三星电子株式会社 图像编码方法及装置以及其解码方法及装置
WO2010001614A1 (ja) * 2008-07-03 2010-01-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
WO2010001999A1 (ja) * 2008-07-04 2010-01-07 株式会社 東芝 動画像符号化／復号化方法及び装置
JPWO2010001999A1 (ja) * 2008-07-04 2011-12-22 株式会社東芝 動画像符号化／復号化方法及び装置
US8625681B2 (en) 2008-07-09 2014-01-07 Intel Corporation Rate-distortion cost reducing video encoding techniques
KR101106856B1 (ko) * 2008-07-09 2012-01-19 인텔 코포레이션 비디오 인코딩 방법 및 비디오 인코딩 시스템
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
JP2011527874A (ja) * 2008-07-11 2011-11-04 クゥアルコム・インコーポレイテッド 複数のフィルタを使用してビデオ・データをフィルタすること
US11711548B2 (en) 2008-07-11 2023-07-25 Qualcomm Incorporated Filtering video data using a plurality of filters
JP2013081210A (ja) * 2008-07-11 2013-05-02 Qualcomm Inc 複数のフィルタを使用してビデオ・データをフィルタすること
EP2161936A1 (en) * 2008-09-04 2010-03-10 Panasonic Corporation Locally adaptive filters for video coding controlled by local correlation data
WO2010026770A1 (ja) * 2008-09-04 2010-03-11 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路
CN102227910A (zh) * 2008-11-27 2011-10-26 松下电器产业株式会社 运动图像解码方法、运动图像编码方法、运动图像解码装置、运动图像编码装置、程序以及集成电路
WO2010061607A1 (ja) * 2008-11-27 2010-06-03 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、動画像符号化方法、プログラム、及び集積回路
JPWO2010064675A1 (ja) * 2008-12-03 2012-05-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
WO2010064675A1 (ja) * 2008-12-03 2010-06-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9143803B2 (en) 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US9294784B2 (en) 2009-03-12 2016-03-22 Thomson Licensing Method and apparatus for region-based filter parameter selection for de-artifact filtering
JP2012520607A (ja) * 2009-03-12 2012-09-06 トムソン ライセンシング アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置
WO2010113524A1 (ja) * 2009-04-03 2010-10-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置
US9232236B2 (en) 2009-04-03 2016-01-05 Panasonic Intellectual Property Corporation Of America Video coding method, video decoding method, video coding apparatus, and video decoding apparatus that use filters for filtering signals
JP5361998B2 (ja) * 2009-05-29 2013-12-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
WO2010137322A1 (ja) * 2009-05-29 2010-12-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US8917778B2 (en) 2009-06-11 2014-12-23 Sony Corporation Image processing apparatus and image processing method
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
WO2011001865A1 (ja) * 2009-07-01 2011-01-06 ソニー株式会社 画像処理装置および方法
JP2013009418A (ja) * 2009-07-01 2013-01-10 Sony Corp 画像処理装置および方法
US9710930B2 (en) 2009-07-01 2017-07-18 Sony Corporation Image processing device and method
US11328452B2 (en) 2009-07-01 2022-05-10 Velos Media, Llc Image processing device and method
US9830716B2 (en) 2009-07-01 2017-11-28 Sony Corporation Image processing device and method
US8675978B2 (en) 2009-07-01 2014-03-18 Sony Corporation Image processing device and method
US10614593B2 (en) 2009-07-01 2020-04-07 Velos Media, Llc Image processing device and method
US8885956B2 (en) 2009-07-01 2014-11-11 Sony Corporation Image processing device and method
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
US9992516B2 (en) 2009-08-26 2018-06-05 Sony Corporation Image processing device and method
US11051044B2 (en) 2009-08-26 2021-06-29 Sony Corporation Image processing device and method
US10250911B2 (en) 2009-08-26 2019-04-02 Sony Corporation Image processing device and method
WO2011039931A1 (ja) * 2009-09-30 2011-04-07 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2011039931A1 (ja) * 2009-09-30 2013-02-21 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US9167270B2 (en) 2009-10-15 2015-10-20 Thomson Licensing Methods and apparatus for efficient adaptive filtering for video encoders and decoders
JP2013509024A (ja) * 2009-10-15 2013-03-07 トムソン ライセンシング 映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置
JP5340415B2 (ja) * 2009-12-07 2013-11-13 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2018142978A (ja) * 2009-12-18 2018-09-13 シャープ株式会社 復号装置
US9514519B2 (en) 2009-12-18 2016-12-06 Sharp Kabushiki Kaisha Image filter
JP2017200198A (ja) * 2009-12-18 2017-11-02 シャープ株式会社 復号装置
JPWO2011074357A1 (ja) * 2009-12-18 2013-04-25 シャープ株式会社 画像フィルタ、符号化装置、復号装置、および、データ構造
US9641865B2 (en) 2009-12-18 2017-05-02 Sharp Kabushiki Kaisha Method for decoding moving images
JP2014060744A (ja) * 2010-01-13 2014-04-03 Toshiba Corp 動画像符号化装置および復号装置
WO2011086777A1 (ja) * 2010-01-13 2011-07-21 株式会社 東芝 動画像符号化装置および復号装置
JP5323211B2 (ja) * 2010-01-13 2013-10-23 株式会社東芝 動画像符号化装置および復号装置
JP2013232974A (ja) * 2010-01-13 2013-11-14 Toshiba Corp 動画像符号化装置および復号装置
WO2011086672A1 (ja) * 2010-01-13 2011-07-21 株式会社 東芝 動画像符号化装置および復号装置
US8837850B2 (en) 2010-01-20 2014-09-16 Siemens Aktiengesellschaft Method for reducing noise for coding of noisy images or image sequences
JP2013517724A (ja) * 2010-01-20 2013-05-16 シーメンス アクチエンゲゼルシヤフト ノイズを含む画像または画像シーケンスの符号化のためのノイズ低減方法
JP2013522956A (ja) * 2010-03-09 2013-06-13 トムソン ライセンシング 分類ベースのループ・フィルタのための方法と装置
JP5323252B2 (ja) * 2010-03-30 2013-10-23 株式会社東芝 動画像符号化方法、復号化方法、符号化装置および復号化装置
US9100650B2 (en) 2010-03-30 2015-08-04 Kabushiki Kaisha Toshiba Video encoding method, decoding method, and apparatus
JP2012034036A (ja) * 2010-07-28 2012-02-16 Toshiba Corp 情報処理装置および画像処理方法
WO2012050021A1 (ja) * 2010-10-14 2012-04-19 ソニー株式会社 画像処理装置および方法
WO2012093491A1 (ja) * 2011-01-07 2012-07-12 株式会社 東芝 動画像符号化方法及び装置、動画像復号化方法及び装置
US8964853B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
US8964852B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
US8982960B2 (en) 2011-02-23 2015-03-17 Qualcomm Incorporated Multi-metric filtering
US8989261B2 (en) 2011-02-23 2015-03-24 Qualcomm Incorporated Multi-metric filtering
US9877023B2 (en) 2011-02-23 2018-01-23 Qualcomm Incorporated Multi-metric filtering
US9819936B2 (en) 2011-02-23 2017-11-14 Qualcomm Incorporated Multi-metric filtering
US9258563B2 (en) 2011-02-23 2016-02-09 Qualcomm Incorporated Multi-metric filtering
JP2013243636A (ja) * 2012-04-24 2013-12-05 Sharp Corp 画像復号装置および画像符号化装置
WO2013161690A1 (ja) * 2012-04-24 2013-10-31 シャープ株式会社 画像復号装置および画像符号化装置
US9319688B2 (en) 2013-01-29 2016-04-19 Fujitsu Limited Moving image encoding apparatus

Also Published As

Publication number Publication date
JP5513740B2 (ja) 2014-06-04
EP2001239A4 (en) 2012-12-12
US20120189217A1 (en) 2012-07-26
KR20090003272A (ko) 2009-01-09
EP2001239A2 (en) 2008-12-10
JPWO2007111292A1 (ja) 2009-08-13
US20100014763A1 (en) 2010-01-21
US8712171B2 (en) 2014-04-29
US8189934B2 (en) 2012-05-29
EP2001239A9 (en) 2009-03-25
EP2001239B1 (en) 2017-09-13
KR101353689B1 (ko) 2014-01-21

Similar Documents

Publication Publication Date Title
JP5513740B2 (ja) 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
US10250911B2 (en) Image processing device and method
JP4847890B2 (ja) 符号化方式変換装置
CN101411201B (zh) 图像编码装置以及图像解码装置
JP5590133B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
JPWO2008084745A1 (ja) 画像符号化装置および画像復号化装置
Westwater et al. Real-time video compression: techniques and algorithms
US20120128064A1 (en) Image processing device and method
US20100254450A1 (en) Video coding method, video decoding method, video coding apparatus, video decoding apparatus, and corresponding program and integrated circuit
US20150312575A1 (en) Advanced video coding method, system, apparatus, and storage medium
US8472734B2 (en) Method and apparatus for encoding and decoding image
US20130083852A1 (en) Two-dimensional motion compensation filter operation and processing
US11064211B2 (en) Advanced video coding method, system, apparatus, and storage medium
EP2523457A1 (en) Device and method for processing image
US20120263225A1 (en) Apparatus and method for encoding moving picture
EP1845729A1 (en) Transmission of post-filter hints
Juurlink et al. Understanding the application: An overview of the h. 264 standard
EP2519007A1 (en) Image processing device and method thereof
Jadhav et al. JPEG XR an image coding standard
Patel et al. VHDL Implementation of H. 264 Video Coding Standard
Nguyen et al. Reducing temporal redundancy in MJPEG using Zipfian estimation techniques
kumar Nartu et al. ENCRYPTION AND DATA HIDING IN H. 264 VIDEO STREAM
Milicevic et al. Multimedia H. 264/AVC standard as a tool for video coding performance improvement
KR20240089011A (ko) 선택 가능한 뉴럴 네트워크 기반 코딩 도구를 사용하는 비디오 코딩
Koumaras et al. Principles of Digital Video Coding

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07739618

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008506873

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12294103

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2007739618

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200780011050.8

Country of ref document: CN

Ref document number: 1020087023579

Country of ref document: KR

Ref document number: 2007739618

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE