WO2010146771A1 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Download PDF

Info

Publication number
WO2010146771A1
WO2010146771A1 PCT/JP2010/003492 JP2010003492W WO2010146771A1 WO 2010146771 A1 WO2010146771 A1 WO 2010146771A1 JP 2010003492 W JP2010003492 W JP 2010003492W WO 2010146771 A1 WO2010146771 A1 WO 2010146771A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
filter
prediction
unit
decoded
Prior art date
Application number
PCT/JP2010/003492
Other languages
English (en)
French (fr)
Inventor
峯澤彰
関口俊一
杉本和夫
伊谷裕介
守屋芳美
日和佐憲道
山岸秀一
山田悦久
加藤嘉明
浅井光太郎
村上篤道
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43356106&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2010146771(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to BRPI1015984A priority Critical patent/BRPI1015984A2/pt
Priority to EP10789156A priority patent/EP2445216A4/en
Priority to US13/378,974 priority patent/US20120087595A1/en
Priority to CA2764868A priority patent/CA2764868A1/en
Priority to SG2011092228A priority patent/SG176827A1/en
Priority to KR1020127001478A priority patent/KR101351709B1/ko
Priority to RU2012101781/08A priority patent/RU2510592C2/ru
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201080027052.8A priority patent/CN102804781B/zh
Priority to MX2011013861A priority patent/MX2011013861A/es
Priority to JP2011519507A priority patent/JP5528445B2/ja
Publication of WO2010146771A1 publication Critical patent/WO2010146771A1/ja
Priority to ZA2011/09488A priority patent/ZA201109488B/en
Priority to HK13105879.0A priority patent/HK1178355A1/zh
Priority to US14/515,136 priority patent/US20150043630A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to an image encoding device and an image encoding method for compressing and transmitting an image, and an image decoding device and an image decoding method for decoding an image from encoded data transmitted by the image encoding device. is there.
  • MPEG and ITU-T H.264 In an international standard video coding scheme such as 26x, an input video frame is divided into macroblock units each consisting of 16 ⁇ 16 pixel blocks, and after motion compensation prediction is performed, a prediction error signal is orthogonally transformed into block units. Information compression is performed by quantization. However, when the compression rate becomes high, there is a problem that the compression efficiency is hindered due to the deterioration of the quality of the prediction reference image used when the motion compensation prediction is performed. Therefore, MPEG-4 AVC / H. In the H.264 encoding method (see Non-Patent Document 1), the block distortion of the prediction reference image that occurs due to the quantization of the orthogonal transform coefficient is removed by performing the processing of the in-loop blocking filter. Yes.
  • FIG. 17 is a block diagram showing an image encoding device disclosed in Non-Patent Document 1.
  • the block division unit 101 when the block division unit 101 receives an image signal to be encoded, the block division unit 101 divides the image signal into macroblock units, and outputs the macroblock unit image signal to the prediction unit 102 as a divided image signal.
  • the prediction unit 102 predicts the image signal of each color component in the macroblock within a frame or between frames, and calculates a prediction error signal.
  • a motion vector is searched in units of a macroblock itself or a subblock obtained by further dividing a macroblock. Then, using the motion vector, a motion compensation prediction image is generated by performing motion compensation prediction on the reference image signal stored in the memory 107, and a prediction signal indicating the motion compensation prediction image and the divided image signal are generated. A prediction error signal is calculated by obtaining the difference. Further, the prediction unit 102 outputs the prediction signal generation parameter determined when obtaining the prediction signal to the variable length coding unit 108.
  • the prediction signal generation parameter includes, for example, information such as an intra prediction mode indicating how to perform spatial prediction within a frame and a motion vector indicating the amount of motion between frames.
  • the compression unit 103 When receiving the prediction error signal from the prediction unit 102, the compression unit 103 performs DCT (Discrete Cosine Transform) processing on the prediction error signal to remove the signal correlation, and obtains compressed data by quantization.
  • DCT Discrete Cosine Transform
  • the local decoding unit 104 receives the compressed data from the compression unit 103, the local decoding unit 104 inversely quantizes the compressed data and performs an inverse DCT process, so that a prediction error signal corresponding to the prediction error signal output from the prediction unit 102 is obtained. Is calculated.
  • the adder 105 When the adder 105 receives the prediction error signal from the local decoding unit 104, the adder 105 adds the prediction error signal and the prediction signal output from the prediction unit 102 to generate a local decoded image.
  • the loop filter 106 removes block distortion superimposed on the locally decoded image signal indicating the locally decoded image generated by the adder 105, and stores the locally decoded image signal after distortion removal in the memory 107 as a reference image signal. .
  • variable length coding unit 108 When the variable length coding unit 108 receives the compressed data from the compression unit 103, the variable length coding unit 108 performs entropy coding on the compressed data and outputs a bit stream that is a result of the coding. Note that the variable length coding unit 108 multiplexes the prediction signal generation parameter output from the prediction unit 102 into the bit stream and outputs the bit stream.
  • the loop filter 106 uses information such as the roughness of quantization, the encoding mode, and the degree of variation of motion vectors for pixels around the DCT block boundary.
  • the smoothing strength is determined based on this to reduce the distortion generated at the block boundary. As a result, the quality of the reference image signal is improved, and the efficiency of motion compensation prediction in subsequent encoding can be increased.
  • Non-Patent Document 1 has a problem in that the higher the compression rate, the more high-frequency components of the signal are lost, the entire screen is excessively smoothed, and the video is blurred. is there.
  • a Wiener filter is applied as the loop filter 106, an image signal to be encoded that is an original image signal, and a reference image signal corresponding thereto
  • a technique for configuring the loop filter 106 has been proposed.
  • FIG. 18 is an explanatory diagram showing the principle of quality improvement of the reference image signal by the Wiener filter in the image encoding device disclosed in Non-Patent Document 2.
  • a signal s is a signal corresponding to an image signal to be encoded input to the block dividing unit 101 in FIG. 17, and a signal s ′ is a locally decoded image output from the adder 105 in FIG. 17. It is a signal or a signal corresponding to a locally decoded image signal in which distortion generated at a block boundary by the loop filter 106 in Non-Patent Document 1 is reduced. That is, the signal s ′ is a signal obtained by superimposing the encoding distortion (noise) e on the signal s.
  • a Wiener filter is defined as a filter that is applied to the signal s ′ so as to minimize this coding distortion (noise) e with a square error distortion criterion, and is generally an autocorrelation matrix of the signal s ′. 'and the signal s, s' R s's by the cross-correlation matrix R ss' and can be obtained filter coefficients w from the following equation (1).
  • the sizes of the matrices R s ′s ′ and R ss ′ correspond to the number of filter taps to be obtained.
  • the signal s hat whose quality has been improved by applying the Wiener filter of the filter coefficient w (in the relation of the electronic application, “ ⁇ ” attached to the alphabetical character is expressed as a hat) is a signal corresponding to the reference image signal. can get.
  • MPEG-4 AVC ISO / IEC 14496-10) / ITU-T H.264 standard T.Chujoh, G.Yasuda, N.Wada, T.Watanabe, T.Yamakage,-“Block-based Adaptive Loop Filter”, VCEG-AI18, ITU-T SG16 / Q.6 meeting, July 2008
  • the conventional image encoding apparatus is configured as described above, one Wiener filter is designed for the entire frame of the image to be encoded, and each Wiener filter is configured for a plurality of blocks constituting the frame. Whether or not to apply filter processing is applied. However, since the same Wiener filter is applied to any block, the Wiener filter is not necessarily the optimal filter for the block, and there is a problem that the image quality cannot be sufficiently improved. there were.
  • the present invention has been made to solve the above-described problems, and an object thereof is to obtain an image encoding device, an image decoding device, an image encoding method, and an image decoding method that can improve the improvement accuracy of image quality.
  • the image encoding apparatus extracts feature amounts of a plurality of regions constituting a locally decoded image obtained by a local decoding unit, and classifies a class to which each region belongs according to the feature amounts. For each class to which one or more regions belong to the region classification unit and a plurality of regions constituting the local decoded image, an input image and local decoding in one or more regions belonging to the class Filtering means is configured by a filter design / processing unit that generates a filter that minimizes an error between the image and compensates for distortion superimposed on the region.
  • the region classification unit that extracts the feature amounts of a plurality of regions constituting the locally decoded image obtained by the local decoding unit and classifies the class to which each region belongs according to the feature amount;
  • the filter is composed of a filter design / processing unit that generates a filter that minimizes the error of the image and uses the filter to compensate for distortion superimposed on the region, the accuracy of improving the image quality is improved. There is an effect that can be enhanced.
  • FIG. 1 It is a block diagram which shows the image coding apparatus by Embodiment 1 of this invention. It is a block diagram which shows the loop filter 6 of the image coding apparatus by Embodiment 1 of this invention. It is a flowchart which shows the processing content of the loop filter 6 of the image coding apparatus by Embodiment 1 of this invention. It is explanatory drawing which shows an example of the class to which four area
  • FIG. 1 is a configuration diagram illustrating an image encoding device disclosed in Non-Patent Document 1.
  • FIG. It is explanatory drawing which shows the principle of the quality improvement of the reference image signal by a Wiener filter.
  • FIG. 1 is a block diagram showing an image coding apparatus according to Embodiment 1 of the present invention.
  • a block division unit 1 divides an encoding target image signal, which is an input image, into macroblock units, and outputs a macroblock unit image signal as a divided image signal to the prediction unit 2.
  • the prediction unit 2 receives the divided image signal from the block division unit 1, the prediction unit 2 predicts the divided image signal within a frame or between frames to generate a prediction signal.
  • a motion vector is detected, and a prediction signal indicating a prediction image is generated from the motion vector and the reference image signal.
  • segmentation image signal and a prediction signal is implemented.
  • the prediction unit 2 determines a prediction signal generation parameter when generating the prediction signal, and outputs the prediction signal generation parameter to the variable length encoding unit 8.
  • the prediction signal generation parameter includes, for example, information such as an intra prediction mode indicating how to perform spatial prediction within a frame and a motion vector indicating a motion amount between frames.
  • the block dividing unit 1 and the prediction unit 2 constitute a prediction processing unit.
  • the compression unit 3 performs DCT (discrete cosine transform) processing on the prediction error signal calculated by the prediction unit 2 to calculate a DCT coefficient, quantizes the DCT coefficient, and compresses the compressed DCT coefficient. A process of outputting data to the local decoding unit 4 and the variable length coding unit 8 is performed.
  • the compression unit 3 constitutes a differential image compression unit.
  • the local decoding unit 4 performs a process of calculating a prediction error signal corresponding to the prediction error signal output from the prediction unit 2 by dequantizing the compressed data output from the compression unit 3 and performing an inverse DCT process. carry out.
  • the adder 5 adds the prediction error signal calculated by the local decoding unit 4 and the prediction signal generated by the prediction unit 2 to perform a process of generating a local decoded image signal indicating a local decoded image.
  • the local decoding unit 4 and the adder 5 constitute local decoding means.
  • the loop filter 6 performs a filter process that compensates for distortion superimposed on the locally decoded image signal generated by the adder 5, and outputs the locally decoded image signal after the filter process to the memory 7 as a reference image signal.
  • a process of outputting filter information used when performing the filter process to the variable length encoding unit 8 is performed.
  • the loop filter 6 constitutes filtering means.
  • the memory 7 is a recording medium that stores the reference image signal output from the loop filter 6.
  • variable length encoding unit 8 entropy-encodes the compressed data output from the compression unit 3, the filter information output from the loop filter 6, and the prediction signal generation parameter output from the prediction unit 2, and the encoding results thereof To generate a bitstream indicating
  • the variable length coding unit 8 constitutes variable length coding means.
  • FIG. 2 is a block diagram showing the loop filter 6 of the image coding apparatus according to Embodiment 1 of the present invention.
  • a frame memory 11 is a recording medium for storing the local decoded image signal generated by the adder 5 for one frame.
  • the region classification unit 12 extracts feature amounts of a plurality of regions constituting a local decoded image indicated by the local decoded image signal for one frame stored in the frame memory 11, and each region according to the feature amount The process of classifying the class to which the belongs.
  • the filter design / processing unit 13 For each class to which one or more areas belong, among the plurality of areas constituting the local decoded image, the filter design / processing unit 13 selects the encoding target in one or more areas belonging to the class. A Wiener filter that minimizes an error between the image signal and the locally decoded image signal is generated, and processing for compensating for distortion superimposed on the region is performed using the Wiener filter. Further, the filter design / processing unit 13 performs a process of outputting filter information regarding the Wiener filter to the variable length coding unit 8.
  • the block dividing unit 1 divides the image signal into macroblock units, and outputs the macroblock unit image signal to the prediction unit 2 as a divided image signal.
  • the prediction unit 2 detects a prediction signal generation parameter for predicting the divided image signal within a frame or between frames. Thereafter, a prediction signal indicating a prediction image is generated using the prediction signal generation parameter.
  • a motion vector which is a prediction signal generation parameter for prediction between frames, is detected from the divided image signal and the reference image signal stored in the memory 7. Then, when the prediction unit 2 detects the motion vector, the prediction unit 2 generates a prediction signal by performing motion compensation prediction on the reference image signal using the motion vector.
  • the prediction unit 2 When the prediction unit 2 generates a prediction signal indicating a prediction image, the prediction unit 2 calculates a prediction error signal that is a difference between the prediction signal and the divided image signal, and outputs the prediction error signal to the compression unit 3.
  • the prediction unit 2 determines a prediction signal generation parameter when generating the prediction signal, and outputs the prediction signal generation parameter to the variable length encoding unit 8.
  • the prediction signal generation parameter includes, for example, information such as an intra prediction mode indicating how to perform spatial prediction within a frame and a motion vector indicating the amount of motion between frames.
  • the compression unit 3 When the compression unit 3 receives the prediction error signal from the prediction unit 2, the compression unit 3 performs DCT (discrete cosine transform) processing on the prediction error signal to calculate a DCT coefficient, and quantizes the DCT coefficient. The compression unit 3 then outputs the compressed data that is the DCT coefficient after quantization to the local decoding unit 4 and the variable length coding unit 8.
  • DCT discrete cosine transform
  • the local decoding unit 4 When the local decoding unit 4 receives the compressed data from the compressing unit 3, the local decoding unit 4 inversely quantizes the compressed data and performs an inverse DCT process, so that a prediction error signal corresponding to the prediction error signal output from the prediction unit 2 is obtained. Is calculated. When the local decoding unit 4 calculates the prediction error signal, the adder 5 adds the prediction error signal and the prediction signal generated by the prediction unit 2 to generate a local decoded image signal indicating a local decoded image.
  • the loop filter 6 When the adder 5 generates a local decoded image signal, the loop filter 6 performs a filter process for compensating for distortion superimposed on the local decoded image signal, and uses the filtered local decoded image signal as a reference image signal. Store in the memory 7. Further, the loop filter 6 outputs filter information used when performing the filter processing to the variable length coding unit 8.
  • the variable length encoding unit 8 entropy-encodes the compressed data output from the compression unit 3, the filter information output from the loop filter 6, and the prediction signal generation parameter output from the prediction unit 2, and encodes them. A process for generating a bitstream indicating the result is performed.
  • the prediction signal generation parameter is also entropy encoded. However, the prediction signal generation parameter is not entropy encoded, but the prediction signal generation parameter is multiplexed and output to the generated bitstream. Good.
  • FIG. 3 is a flowchart showing the processing contents of the loop filter 6 of the image coding apparatus according to Embodiment 1 of the present invention.
  • the frame memory 11 of the loop filter 6 stores the local decoded image signal generated by the adder 5 for one frame.
  • the region classification unit 12 extracts feature amounts of a plurality of regions constituting the local decoded image indicated by the local decoded image signal for one frame stored in the frame memory 11, and The class to which the region belongs is classified (step ST1). For example, for each region (block of arbitrary size (M ⁇ M pixels)), the variance value, DCT coefficient, motion vector, DCT coefficient quantization parameter, etc. of the local decoded image signal in the region are extracted as feature quantities. Then, classification is performed based on this information. M is an integer of 1 or more.
  • N is an integer equal to or greater than 1.
  • N ⁇ 1 threshold value is prepared, and the variance value of the locally decoded image signal is compared with N ⁇ 1 threshold values (th 1 ⁇ th 2 ⁇ ... ⁇ Th N ⁇ 1 ), and the class to which the region belongs Classify.
  • the region is assigned to class N-2
  • the variance value of the local decoded image signal is greater than or equal to th 2 and smaller than th 3
  • the area is assigned to class 3.
  • N-1 threshold values are prepared in advance. However, the threshold values may be dynamically changed for each sequence or each frame.
  • the average vector is a vector component obtained by taking an average value for each motion vector component (x component, y component).
  • the intermediate vector is a vector component obtained by taking an intermediate value for each motion vector component (x component, y component).
  • the filter design / processing unit 13 includes one or more regions among the plurality of regions constituting the locally decoded image. For each class, a Wiener filter that minimizes an error between an image signal to be encoded and a locally decoded image signal in one or more regions belonging to the class is generated (steps ST2 to ST8).
  • region A and region C are assigned to class 3
  • Generate a Wiener filter that Further, a Wiener filter that minimizes an error between the image signal to be encoded in the region B belonging to the class 5 and the locally decoded image signal is generated, and the object to be encoded in the region D belonging to the class 6 is generated.
  • a Wiener filter that minimizes the error between the image signal and the locally decoded image signal is generated.
  • the cost shown below is calculated for each, and the cost is calculated. Determine the number of filter taps and the coefficient value that minimizes.
  • Cost D + ⁇ ⁇ R (2)
  • D is the sum of square errors between the image signal to be encoded in the region to which the target filter is applied and the locally decoded image signal after the filter processing
  • ⁇ is a constant
  • R is the amount of code generated by the loop filter 6 It is.
  • the cost is expressed by the equation (2), but this is only an example, and for example, only the square error sum D may be used as the cost. Further, instead of the square error sum D, another evaluation value such as the sum of absolute values of errors may be used.
  • each block is a block on which filter processing is performed for each of the local areas smaller than A to D (steps ST9 to ST16). That is, the filter design / processing unit 13 performs a filtering process on an error between an image signal to be encoded and a local decoded image signal in each block for a plurality of blocks constituting the local decoded image. Compare before and after.
  • each block has a corresponding block (K).
  • the square error sum between the image signal to be encoded and the locally decoded image signal is compared before and after the filter processing.
  • block 1, block 2, block 5, and block 6 in FIG. 5 are in area A in FIG. 4, block 3, block 4, block 7, and block 8 are in area B, block 9, block 10, block 13, and block Reference numeral 14 corresponds to the area C, and block 11, block 12, block 15, and block 16 correspond to the area D.
  • the square error sum is compared before and after the filter processing, but the cost (D + ⁇ ⁇ R) shown in the equation (2) may be compared before and after the filter processing, or the absolute value sum of the errors is filtered. You may compare before and after a process. If the square error sum after the filter processing is smaller than the square error sum before the filter processing, the filter design / processing unit 13 determines that the block (K) is a block for performing the filter processing. On the other hand, if the square error sum after the filtering process is larger than the square error sum before the filtering process, the block (K) is determined to be a block that does not perform the filtering process.
  • the filtering process in the block (K) is performed using the class 5 Wiener filter. And the local decoded image signal after the filter processing is output to the memory 7 as a reference image signal.
  • the local decoded image signal before the filter process is output to the memory 7 as it is as the reference image signal without performing the filter process in the block (K).
  • the frame Filter processing is performed on all local decoded image signals using a Wiener filter of the class to which the region to which each signal belongs, and the locally decoded image signal after the filter processing is used as a reference image signal in the memory 7. Output to.
  • the flag (frame_filter_on_off_flag) 0 (OFF)
  • the local decoded image signal before the filter process is directly output to the memory 7 as the reference image signal (step ST21).
  • min_cost is a variable for storing a minimum cost value
  • i is an index of the number of filter taps tap [i] and a loop counter
  • j is an index of a block size bl_size [j].
  • Min_tap_idx is an index (i) of the number of filter taps when the cost is minimum
  • min_bl_size_idx is an index (j) of the block size when the cost is minimum
  • MAX is an initial value (a sufficiently large value) of the minimum cost value.
  • Block_filter_on_off_flag A flag indicating whether or not to perform processing for selecting whether or not to perform filter processing for each block in the frame.
  • Frame_filter_on_off_flag A flag indicating whether or not to perform filter processing in the frame.
  • Step ST2 is a step for setting an initial value
  • steps ST3 to ST8 are loops for performing a filter tap number selection process.
  • Step ST9 is a step for setting initial values
  • steps ST10 to ST16 are loops for performing block size selection processing and processing for determining whether or not to perform filter processing for each block of the selected block size.
  • steps ST17 to ST18 are steps for determining whether or not to perform the filtering process for the entire frame
  • the filter design / processing unit 13 When the filter design / processing unit 13 generates the Wiener filter as described above and performs the filter processing, the filter design / processing unit 13 outputs the filter information regarding the Wiener filter to the variable length encoding unit 8.
  • the filter information includes a flag (frame_filter_on_off_flag) indicating whether or not to perform a filter process on the frame. When this flag is ON (filter processing is performed), the following information is included as filter information.
  • Number of Wiener filters (number of classes to which one or more regions belong) -The number of Wiener filters may be different for each frame.
  • Information on the number of taps of the Wiener filter (index) -A common tap number is included when all filters in a frame are common. If the number of taps differs for each filter, the number of taps for each filter is included.
  • Information on the coefficients of the Wiener filter actually used (the Wiener filter of the class to which one or more regions belong) The information on the Wiener filter that is generated but not actually used is not included.
  • Block_filter_on_off_flag indicating whether to perform ON / OFF (presence or absence of filter processing) for each block in the frame. Only when block_filter_on_off_flag is ON, block size information (index) and ON / OFF information of filter processing for each block are included.
  • the information of (1) to (4) is shown as being included as filter information.
  • the number of Wiener filters, the number of Wiener filter taps, and the ON / OFF block size are encoded and not transmitted.
  • Each piece of information may be held as information commonly defined by the image encoding device and the image decoding device.
  • FIG. 3 has been described as the specific processing contents of the loop filter 6. However, steps ST9 to ST16 are omitted and the filtering process is not turned ON / OFF for each block (as filter information). It is good also as a processing content of the loop filter 6 that there is no (4).
  • FIG. 6 is an explanatory diagram showing an example of a bitstream generated by the variable length encoding unit 8.
  • FIG. 7 is a block diagram showing an image decoding apparatus according to Embodiment 1 of the present invention.
  • the variable length decoding unit 21 when the variable length decoding unit 21 receives a bit stream from the image coding apparatus, the variable length decoding unit 21 performs a process of variable length decoding compressed data, filter information, and a prediction signal generation parameter from the bit stream.
  • the variable length decoding unit 21 constitutes variable length decoding means.
  • the prediction unit 22 performs a process of generating a prediction signal indicating a prediction image using the prediction signal generation parameter subjected to variable length decoding by the variable length decoding unit 21.
  • a motion vector is used as a prediction signal generation parameter
  • a process of generating a prediction signal from the motion vector and the reference image signal stored in the memory 26 is performed.
  • the prediction unit 22 constitutes a predicted image generation unit.
  • the prediction error decoding unit 23 corresponds to the prediction error signal output from the prediction unit 2 in FIG. 1 by dequantizing the compressed data that has been variable length decoded by the variable length decoding unit 21 and performing inverse DCT processing. A process of calculating a prediction error signal is performed.
  • the adder 24 adds the prediction error signal calculated by the prediction error decoding unit 23 and the prediction signal generated by the prediction unit 22, so that a decoded image corresponding to the decoded image signal output from the adder 5 of FIG. A process of calculating a signal is performed.
  • the prediction error decoding unit 23 and the adder 24 constitute decoding means.
  • the loop filter 25 performs a filter process that compensates for distortion superimposed on the decoded image signal output from the adder 24, and the decoded image signal after the filter process is transmitted to the outside and the memory 26 as a filtered decoded image signal. Perform the output process.
  • the loop filter 25 constitutes filtering means.
  • the memory 26 is a recording medium for storing the filtered processed decoded image signal output from the loop filter 25 as a reference image signal.
  • FIG. 8 is a block diagram showing the loop filter 25 of the image decoding apparatus according to Embodiment 1 of the present invention.
  • a frame memory 31 is a recording medium for storing the decoded image signal output from the adder 24 for one frame.
  • the region classification unit 32 extracts feature amounts of a plurality of regions constituting the decoded image indicated by the decoded image signal for one frame stored in the frame memory 31. Then, the process of classifying the class to which each region belongs is performed according to the feature amount.
  • the filter processing unit 33 refers to the filter information subjected to variable length decoding by the variable length decoding unit 21, generates a Wiener filter to be applied to the class to which each region classified by the region classification unit 32 belongs, and uses the Wiener filter. Thus, a process for compensating for the distortion superimposed on the area is performed.
  • the loop filter 25 in which the frame memory 31 is mounted in the previous stage is shown.
  • the frame memory 31 is placed in the previous stage as shown in FIG.
  • the region classification unit 32 may extract the feature amounts of a plurality of regions constituting the decoded image of the macroblock.
  • variable length decoding unit 21 receives a bit stream from the image encoding device, the variable length decoding unit 21 performs variable length decoding on the compressed data, the filter information, and the prediction signal generation parameter from the bit stream.
  • the prediction unit 22 Upon receiving the prediction signal generation parameter from the variable length decoding unit 21, the prediction unit 22 generates a prediction signal from the prediction signal generation parameter.
  • a prediction signal is generated from the motion vector and the reference image signal stored in the memory 26.
  • the prediction error decoding unit 23 receives the compressed data from the variable length decoding unit 21, the prediction error signal output from the prediction unit 2 in FIG. 1 is obtained by dequantizing the compressed data and performing an inverse DCT process. A prediction error signal corresponding to is calculated.
  • the adder 24 adds the prediction error signal and the prediction signal generated by the prediction unit 22, thereby local decoding output from the adder 5 of FIG. 1. A decoded image signal corresponding to the image signal is calculated.
  • FIG. 10 is a flowchart showing the processing contents of the loop filter 25 of the image decoding apparatus according to Embodiment 1 of the present invention.
  • the frame memory 31 of the loop filter 25 stores the decoded image signal output from the adder 24 for one frame.
  • the flag (frame_filter_on_off_flag) included in the filter information is ON (filter processing is performed) (step ST31)
  • the area classification unit 32 stores the frame classification in the same manner as the area classification unit 12 of FIG.
  • the feature quantities of a plurality of areas constituting the decoded image indicated by the decoded image signal for one frame are extracted, and the class to which each area belongs is classified according to the feature quantities (step ST32).
  • the filter processing unit 33 Upon receiving the filter information from the variable-length decoding unit 21, the filter processing unit 33 refers to the filter information and generates a Wiener filter to be applied to the class to which each region classified by the region classification unit 32 belongs (step ST33). ).
  • the number of Wiener filters (the number of classes to which one or more regions belong) is N
  • the number of taps of the Wiener filter is L ⁇ L
  • the decoded image signal after compensation filtering is output to the outside and the memory 26 (step ST34).
  • the decoded image signal s hat after the filter processing is represented by the following equation (4).
  • the matrix S is a reference signal group of L ⁇ L pixels including the decoded image signal s to be filtered, and id (s) is the number of the class to which the region including the signal s obtained by the region classification unit 32 belongs (filter Number).
  • the filter processing unit 33 selects the block (K) for performing the filter processing from among a plurality of blocks constituting the decoded image (K ), The decoded image signal in the block (K) is filtered using the Wiener filter of the class to which the region including The signal is directly output to the outside and the memory 26 as a filtered decoded image signal.
  • the flag (block_filter_on_off_flag) 0 (OFF)
  • filter processing is performed on all decoded image signals in the frame using a filter corresponding to the class assigned to each region by the region classification unit 32.
  • step ST31 When the flag (frame_filter_on_off_flag) included in the filter information is OFF (no filter processing is performed) (step ST31), the filter processing unit 33 does not perform the filter processing on the frame, and adds the adder 24.
  • the decoded image signal output from is directly output to the outside and the memory 26 as a filtered decoded image signal (step ST35).
  • feature amounts of a plurality of regions constituting a local decoded image indicated by the local decoded image signal output from the adder 5 are extracted, and the features are extracted.
  • An area classifying unit 12 that classifies a class to which each area belongs according to the amount, and a class to which one or more areas belong to the class among a plurality of areas constituting the local decoded image.
  • the Wiener filter is superimposed on the area Since the loop filter 6 is composed of the filter design / processing unit 13 that compensates for distortion, filter processing according to the local nature of the image can be realized. As a result, the image quality can be improved.
  • the effect of the image coding apparatus capable of enhancing the accuracy.
  • the first embodiment feature amounts of a plurality of regions constituting the decoded image indicated by the decoded image signal output from the adder 24 are extracted, and each region is extracted according to the feature amount.
  • a Wiener filter that is applied to the class to which each area classified by the area classifying unit 32 belongs is generated with reference to the area classifying unit 32 that classifies the class to which the filter belongs and the variable-length decoding unit 21 variable-length decoded. Since the loop filter 25 is configured by using the Wiener filter and the filter processing unit 33 that compensates for distortion superimposed on the region, filter processing according to the local properties of the image is realized. As a result, there is an effect that an image decoding device capable of improving the accuracy of improving the image quality can be obtained.
  • the filter design / processing unit 13 generates a Wiener filter for each class to which one or more regions belong, and performs a plurality of blocks (K) constituting the locally decoded image.
  • Each block has been described as performing a filtering process in the block (K) using the Wiener filter of the class to which the area including the block (K) belongs.
  • Wiener filter that minimizes the sum of square errors between the image signal to be encoded and the locally decoded image signal in each block (K) from among the Wiener filters generated for each class to which And the Wiener filter may be used to compensate for distortion superimposed on the block (K).
  • FIG. 11 is a flowchart showing the processing contents of the loop filter 6 of the image coding apparatus according to the second embodiment of the present invention.
  • the filter design / processing unit 13 generates a Wiener filter for each class to which one or more regions belong (steps ST2 to ST8).
  • the flag (block_filter_on_off_flag) indicating whether or not the process for selecting whether or not to perform the filtering process for each block is performed in the frame is not used, and the block is used for the block in the frame.
  • step ST40 the flag (block_filter_selection_flag) is initially set to OFF in step ST40, and the flag (block_filter_selection_flag) is ON only when step ST46 is performed.
  • the filter information includes the block size and the filter selection information for each block only when the flag (block_filter_selection_flag) is ON.
  • the filter design / processing unit 13 When the filter design / processing unit 13 generates a Wiener filter for each class to which one or more regions belong, the filter design / processing unit 13 applies each block to a plurality of blocks (K) constituting the locally decoded image. Select one of the Wiener filters generated for each class to which more than one region belongs, and select the optimal processing (for example, the relevant block) (Process for minimizing the sum of square errors between the image signal to be encoded and the locally decoded image signal) in (K) is selected (steps ST9, ST41 to ST47).
  • FIG. 12 is an explanatory diagram showing an example of selection Wiener filter in a plurality of constituting the local decoded image block (K), for example, the block (1), the Wiener filter W 2 is selected, the block in (2), a Wiener filter W 3 is selected.
  • the filter design / processing unit 13 When the filter design / processing unit 13 generates the Wiener filter as described above and performs the filter processing, the filter design / processing unit 13 outputs the filter information regarding the Wiener filter to the variable length encoding unit 8.
  • the filter information includes a flag (frame_filter_on_off_flag) indicating whether or not to perform a filter process on the frame. When this flag is ON (filter processing is performed), the following information is included as filter information.
  • the information of (1) to (4) is shown as being included as filter information.
  • the number of Wiener filters, the number of Wiener filter taps, and the block size are encoded and transmitted without encoding.
  • Each of the information and the image decoding apparatus may be held as information commonly defined.
  • FIG. 13 is a flowchart showing the processing contents of the loop filter 25 of the image decoding apparatus according to Embodiment 2 of the present invention.
  • the frame memory 31 of the loop filter 25 stores the decoded image signal output from the adder 24 for one frame.
  • the flag (frame_filter_on_off_flag) included in the filter information is ON (filter processing is performed) (step ST31), and the flag (block_filter_selection_flag) included in the filter information is OFF.
  • step ST51 feature amounts of a plurality of regions constituting the decoded image indicated by the decoded image signal for one frame stored in the frame memory 31 are respectively extracted.
  • the class to which each region belongs is classified according to the feature amount (step ST32).
  • step ST31 when the flag (frame_filter_on_off_flag) included in the filter information is ON (filter processing is performed) (step ST31), and the flag (block_filter_selection_flag) included in the filter information is ON (step ST51). ) Classifying is performed for each block with reference to block size information as a filter selection unit and filter selection information for each block included in the filter information (step ST52).
  • the filter processing unit 33 refers to the filter information output from the variable length decoding unit 21, as in the first embodiment, A Wiener filter to be applied to the class to which each region (each block) classified by the region classification unit 32 belongs is generated (step ST33).
  • the filter processing unit 33 generates the Wiener filter to be applied in each class, when the (block_filter_selection_flag) is OFF, the generated Wiener filter is generated in the same manner as in the case where the flag (block_filter_on_off_flag) is OFF in the first embodiment. Then, the filtering process is performed on all the decoded image signals in the frame, and the decoded image signal after the filtering process is output to the outside and the memory 26 as a filtered decoded image signal (step ST53).
  • (block_filter_selection_flag) when the filter processing unit 33 generates a Wiener filter to be applied in each class, it is superimposed on the decoded image signal in the block using the selected Wiener filter for each block. Distortion is compensated, and the decoded image signal after filtering is output to the outside and the memory 26 as a filtered decoded image signal (step ST53).
  • the decoded image signal s hat after the filter processing at this time is expressed by the following equation (5).
  • the matrix S is a reference signal group of L ⁇ L pixels including the decoded image signal s to be filtered.
  • id_2 (bl) is filter selection information in the block bl including the decoded image signal s, that is, the class number (filter number) of the block bl.
  • id_2 (bl) 0, it is assumed that the block is not subjected to filter processing, and the filter processing for that block is not performed.
  • each block is generated for each class to which one or more regions belong.
  • a Wiener filter that minimizes the sum of square errors between the image signal to be encoded and the decoded image signal in the block (K) is selected from the Wiener filters that are used, and the Wiener filter is used to Since the distortion superimposed on the block (K) is compensated, the image quality can be improved more accurately than in the first embodiment.
  • each of the blocks is a Wiener filter generated for each class to which one or more blocks in the frame belong.
  • the case where the square error sum between the image signal to be encoded and the locally decoded image signal in the block (K) is minimized is selected from the case where any of the above is used and the case where the filter processing is not performed.
  • FIG. 14 is a flowchart showing the processing contents of the loop filter 6 of the image coding apparatus according to Embodiment 3 of the present invention.
  • the probability that the optimum Wiener filter is selected is improved as compared with the second embodiment.
  • the Wiener filter selection method is the same as that in the second embodiment, and thus the description thereof is omitted.
  • the processing contents of the image decoding apparatus are the same as those in the second embodiment, and the description thereof is omitted.
  • each of the blocks is a Wiener filter generated for each class to which one or more blocks in the frame belong.
  • the case where the square error sum between the image signal to be encoded and the locally decoded image signal in the block (K) is minimized is selected from the case where any of the above is used and the case where the filter processing is not performed.
  • the case where one of the Wiener filters generated for each class to which one or more blocks belong in the frame is used, and the Wiener filter used in the already encoded frame are used.
  • the image signal to be encoded and the locally decoded image signal in the block (K) from the case where any of the above is used and the case where the filter processing is not performed May be squared error sum to select a case where a minimum between.
  • FIG. 15 is a flowchart showing the processing contents of the loop filter 6 in the first frame, which is the same as the flowchart of FIG. 11 in the second embodiment.
  • FIG. 16 is a flowchart showing the processing contents of the loop filter 6 in the second and subsequent frames.
  • Wiener filter used in an already encoded frame for example, the following reference method is conceivable.
  • a Wiener filter used in a block at a position indicated by a typical motion vector calculated from the block to be filtered (2) Used in a block at the same position in the temporally closest frame to the block to be filtered
  • the Wiener filter (3) used in the block having the highest cross-correlation coefficient among the blocks in the encoded frame it is the same in the image encoding device and the image decoding device. Block search processing is required.
  • the probability that the optimum Wiener filter is selected is improved as compared with the second embodiment.
  • the Wiener filter selection method is the same as that in the second embodiment, and thus the description thereof is omitted.
  • the processing contents of the image decoding apparatus are the same as those in the second embodiment, and the description thereof is omitted.
  • the image encoding device, the image decoding device, the image encoding method, and the image decoding method according to the present invention can improve the accuracy of the image quality and compress and encode the image for transmission.
  • This method is suitable for use in a method, an image decoding apparatus that decodes an image from encoded data transmitted by an image encoding apparatus, an image decoding method, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部１２と、その局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における符号化対象の画像信号と復号画像信号との間の二乗誤差和を最小化するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部１３とからループフィルタ６が構成されている。

Description

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
　この発明は、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法と、画像符号化装置により伝送された符号化データから画像を復号する画像復号装置及び画像復号方法とに関するものである。
　従来、ＭＰＥＧやＩＴＵ－Ｔ　Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を実施した後、予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行うようにしている。
　ただし、圧縮率が高くなると、動き補償予測を実施する際に用いる予測参照画像の品質が低下することに起因して、圧縮効率が妨げられる問題がある。
　そのため、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、ループ内ブロッキングフィルタの処理を実施することで、直交変換係数の量子化に伴って発生する予測参照画像のブロック歪みを除去するようにしている。
　ここで、図１７は非特許文献１に開示されている画像符号化装置を示す構成図である。
　この画像符号化装置では、ブロック分割部１０１が符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部１０２に出力する。
　予測部１０２は、ブロック分割部１０１から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測誤差信号を算出する。
　特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
　そして、その動きベクトルを用いて、メモリ１０７により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測誤差信号を算出する。
　また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
　なお、予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
　圧縮部１０３は、予測部１０２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、量子化することで圧縮データを得る。
　局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部１０２から出力された予測誤差信号に相当する予測誤差信号を算出する。
　加算器１０５は、局所復号部１０４から予測誤差信号を受けると、その予測誤差信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
　ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。
　可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
　なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。
　ここで、非特許文献１に開示されている方式では、ループフィルタ１０６が、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて円滑化強度を決定して、ブロック境界に発生する歪みの低減を図っている。
　これによって、参照画像信号の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。
　一方、非特許文献１に開示されている方式では、高圧縮率で符号化する程、信号の高周波成分が失われてしまい、画面全体が過度に平滑化されて映像がぼやけてしまうという問題がある。
　この問題を解決するために、非特許文献２には、ループフィルタ１０６としてウィーナフィルタ（Ｗｉｅｎｅｒ　Ｆｉｌｔｅｒ）を適用し、原画像信号である符号化対象の画像信号と、これに対応する参照画像信号との二乗誤差歪みが最小化するように、ループフィルタ１０６を構成する技術が提案されている。
　図１８は非特許文献２に開示されている画像符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を示す説明図である。
　図１８において、信号ｓは、図１７のブロック分割部１０１に入力される符号化対象の画像信号に相当する信号であり、信号ｓ’は、図１７の加算器１０５から出力される局所復号画像信号、または、非特許文献１におけるループフィルタ１０６によるブロック境界に発生する歪みが低減された局所復号画像信号に相当する信号である。
　つまり、信号ｓ’は、信号ｓに符号化歪み（雑音）ｅが重畳された信号である。
　ウィーナフィルタは、この符号化歪み（雑音）ｅを二乗誤差歪みの規範で最小化するように、信号ｓ’に対して施されるフィルタとして定義され、一般的に、信号ｓ’の自己相関行列Ｒs's'と、信号ｓ，ｓ’の相互相関行列Ｒss'とによって、下記の式（１）からフィルタ係数ｗを求めることができる。行列Ｒs's'，Ｒss'の大きさは、求められるフィルタのタップ数に対応する。

Figure JPOXMLDOC01-appb-I000001
　フィルタ係数ｗのウィーナフィルタを施すことにより、品質改善がなされた信号ｓハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）が、参照画像信号に相当する信号として得られる。
　なお、非特許文献２では、複数種類のタップ数のフィルタ係数ｗを符号化対象の画像のフレーム全体で求め、フィルタ係数ｗの符号量とフィルタ処理実施後の歪み（ｅ’＝ｓハット－ｓ）がレート歪み規範で最適となるタップ数のフィルタを特定した後、さらに、信号ｓ’を複数サイズのブロックに分割し、上記で求めた最適なタップ数のウィーナフィルタをブロック毎に適用するか否かの選択を行って、フィルタＯＮ／ＯＦＦの情報をブロック毎に伝送する。
　これにより、ウィーナフィルタ処理に要する追加の符号量を抑制して、予測画像品質を改善することができる。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 T.Chujoh, G.Yasuda, N.Wada, T.Watanabe, T.Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI18, ITU-T SG16/Q.6 meeting, July 2008
　従来の画像符号化装置は以上のように構成されているので、符号化対象の画像のフレーム全体で１つのウィーナフィルタが設計され、そのフレームを構成している複数のブロックに対して、それぞれウィーナフィルタ処理を適用するか否かが適用される。しかし、いずれのブロックでも、同じウィーナフィルタが適用されるので、そのウィーナフィルタが当該ブロックに対して最適なフィルタであるとは限らず、画像品質を十分に改善することができないことがある課題があった。
　この発明は上記のような課題を解決するためになされたもので、画像品質の改善精度を高めることができる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法を得ることを目的とする。
　この発明に係る画像符号化装置は、局所復号手段により得られた局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部と、その局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における入力画像と局所復号画像との間の誤差を最小化するフィルタを生成し、そのフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部とからフィルタリング手段が構成されているものである。
　この発明によれば、局所復号手段により得られた局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部と、その局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における入力画像と局所復号画像との間の誤差を最小化するフィルタを生成し、そのフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部とからフィルタリング手段が構成されているので、画像品質の改善精度を高めることができる効果がある。
この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置のループフィルタ６を示す構成図である。 この発明の実施の形態１による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。 局所復号画像を構成している４つの領域（領域Ａ，領域Ｂ，領域Ｃ，領域Ｄ）が割り当てられているクラスの一例を示す説明図である。 局所復号画像を構成している１６個のブロック（Ｋ）を示す説明図である。 可変長符号化部８により生成されるビットストリームの一例を示す説明図である。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置のループフィルタ２５を示す構成図である。 この発明の実施の形態１による画像復号装置のループフィルタ２５を示す構成図である。 この発明の実施の形態１による画像復号装置のループフィルタ２５の処理内容を示すフローチャートである。 この発明の実施の形態２による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。 局所復号画像を構成している複数のブロック（Ｋ）におけるウィーナフィルタの選択例を示す説明図である。 この発明の実施の形態２による画像復号装置のループフィルタ２５の処理内容を示すフローチャートである。 この発明の実施の形態３による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。 １フレーム目におけるループフィルタ６の処理内容を示すフローチャートである。 ２フレーム目以降におけるループフィルタ６の処理内容を示すフローチャートである。 非特許文献１に開示されている画像符号化装置を示す構成図である。 ウィーナフィルタによる参照画像信号の品質改善の原理を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
　図１において、ブロック分割部１は入力画像である符号化対象の画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部２に出力する処理を実施する。
　予測部２はブロック分割部１から分割画像信号を受けると、その分割画像信号をフレーム内又はフレーム間で予測して予測信号を生成する。
　特にフレーム間で動き補償予測を実施する場合、その分割画像信号とメモリ７により格納されている参照画像を示す参照画像信号からマクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを検出して、その動きベクトルと参照画像信号から予測画像を示す予測信号を生成する。
　そして、予測信号を生成後、その分割画像信号と予測信号の差分である予測誤差信号を算出する処理を実施する。
　また、予測部２は予測信号を生成する際に予測信号生成用パラメータを決定し、その予測信号生成用パラメータを可変長符号化部８に出力する。
　予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
　なお、ブロック分割部１及び予測部２から予測処理手段が構成されている。
　圧縮部３は予測部２により算出された予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出するとともに、そのＤＣＴ係数を量子化し、量子化後のＤＣＴ係数である圧縮データを局所復号部４及び可変長符号化部８に出力する処理を実施する。なお、圧縮部３は差分画像圧縮手段を構成している。
　局所復号部４は圧縮部３から出力された圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する処理を実施する。
　加算器５は局所復号部４により算出された予測誤差信号と予測部２により生成された予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
　なお、局所復号部４及び加算器５から局所復号手段が構成されている。
　ループフィルタ６は加算器５により生成された局所復号画像信号に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力するとともに、フィルタ処理を実施する際に用いるフィルタの情報を可変長符号化部８に出力する処理を実施する。なお、ループフィルタ６はフィルタリング手段を構成している。
　メモリ７はループフィルタ６から出力された参照画像信号を格納する記録媒体である。
　可変長符号化部８は圧縮部３から出力された圧縮データ、ループフィルタ６から出力されたフィルタ情報及び予測部２から出力された予測信号生成用パラメータをエントロピー符号化して、それらの符号化結果を示すビットストリームを生成する処理を実施する。なお、可変長符号化部８は可変長符号化手段を構成している。
　図２はこの発明の実施の形態１による画像符号化装置のループフィルタ６を示す構成図である。
　図２において、フレームメモリ１１は加算器５により生成された局所復号画像信号を１フレーム分だけ格納する記録媒体である。
　領域分類部１２はフレームメモリ１１により格納されている１フレーム分の局所復号画像信号が示す局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する処理を実施する。
　フィルタ設計・処理部１３は局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償する処理を実施する。
　また、フィルタ設計・処理部１３はウィーナフィルタに関するフィルタ情報を可変長符号化部８に出力する処理を実施する。
　次に動作について説明する。
　ブロック分割部１は、符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部２に出力する。
　予測部２は、ブロック分割部１から分割画像信号を受けると、その分割画像信号をフレーム内又はフレーム間で予測するための予測信号生成用パラメータを検出する。その後、予測信号生成用パラメータを用いて予測画像を示す予測信号を生成する。
　特にフレーム間で予測するための予測信号生成用パラメータである動きベクトルは、分割画像信号とメモリ７により格納されている参照画像信号から検出する。
　そして、予測部２は、動きベクトルを検出すると、その動きベクトルを用いて、その参照画像信号に対する動き補償予測を実施することで予測信号を生成する。
　予測部２は、予測画像を示す予測信号を生成すると、その予測信号と分割画像信号の差分である予測誤差信号を算出し、その予測誤差信号を圧縮部３に出力する。
　また、予測部２は、その予測信号を生成する際に予測信号生成用パラメータを決定し、その予測信号生成用パラメータを可変長符号化部８に出力する。
　なお、予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
　圧縮部３は、予測部２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出して、そのＤＣＴ係数を量子化する。
　そして、圧縮部３は、量子化後のＤＣＴ係数である圧縮データを局所復号部４及び可変長符号化部８に出力する。
　局所復号部４は、圧縮部３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する。
　加算器５は、局所復号部４が予測誤差信号を算出すると、その予測誤差信号と予測部２により生成された予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する。
　ループフィルタ６は、加算器５が局所復号画像信号を生成すると、その局所復号画像信号に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に格納する。
　また、ループフィルタ６は、フィルタ処理を実施する際に用いるフィルタの情報を可変長符号化部８に出力する。
　可変長符号化部８は、圧縮部３から出力された圧縮データ、ループフィルタ６から出力されたフィルタ情報及び予測部２から出力された予測信号生成用パラメータをエントロピー符号化して、それらの符号化結果を示すビットストリームを生成する処理を実施する。
　ここでは、予測信号生成用パラメータもエントロピー符号化しているが、予測信号生成用パラメータはエントロピー符号化せずに、その予測信号生成用パラメータを生成したビットストリームに多重化して出力するようにしてもよい。
　以下、ループフィルタ６の処理内容を具体的に説明する。
　図３はこの発明の実施の形態１による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。
　まず、ループフィルタ６のフレームメモリ１１は、加算器５により生成された局所復号画像信号を１フレーム分だけ格納する。
　領域分類部１２は、フレームメモリ１１により格納されている１フレーム分の局所復号画像信号が示す局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する（ステップＳＴ１）。
　例えば、ある領域（任意のサイズ（Ｍ×Ｍ画素）のブロック）毎に、当該領域内の局所復号画像信号の分散値、ＤＣＴ係数、動きベクトル、ＤＣＴ係数の量子化パラメータ等を特徴量として抽出し、これらの情報を基にクラス分類を実施する。Ｍは１以上の整数である。
　複数の領域をクラス１～クラスＮ（Ｎは１以上の整数である）のいずれかに割り当てる場合において、例えば、特徴量として、当該領域内の局所復号画像信号の分散値を用いる場合、予めＮ－１個の閾値を用意し、その局所復号画像信号の分散値とＮ－１個の閾値（ｔｈ１＜ｔｈ２＜・・・＜ｔｈＮ－１）を比較して、当該領域が属するクラスを分類する。
　例えば、局所復号画像信号の分散値がｔｈＮ－３以上かつｔｈＮ－２より小さい場合、当該領域をクラスＮ－２に割り当て、局所復号画像信号の分散値がｔｈ２以上かつｔｈ３より小さい場合、当該領域をクラス３に割り当てる。
　ここでは、予めＮ－１個の閾値を用意しているものを示したが、シーケンス毎やフレーム毎に、それらの閾値を動的に変化させるようにしてもよい。
　例えば、特徴量として、当該領域内の動きベクトルを用いる場合、その動きベクトルの平均ベクトル又は中間ベクトルを算出し、そのベクトルの大きさ又は方向に応じて、当該領域が属するクラスを分類する。
　ここで、平均ベクトルは、動きベクトルの成分（ｘ成分、ｙ成分）毎に平均値を取ったものをベクトルの成分とするものである。
　また、中間ベクトルは、動きベクトルの成分（ｘ成分、ｙ成分）毎に中間値を取ったものをベクトルの成分とするものである。
　フィルタ設計・処理部１３は、領域分類部１２が複数の領域をクラス１～クラスＮのいずれかに割り当てると、局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成する（ステップＳＴ２～ＳＴ８）。
　例えば、図４に示すように、局所復号画像が４つの領域（領域Ａ，領域Ｂ，領域Ｃ，領域Ｄ）で構成されている場合において、領域Ａ，領域Ｃがクラス３に割り当てられ、領域Ｂがクラス５に割り当てられ、領域Ｄがクラス６に割り当てられていれば、クラス３に属している領域Ａ，領域Ｃにおける符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成する。
　また、クラス５に属している領域Ｂにおける符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成し、クラス６に属している領域Ｄにおける符号化対象の画像信号と局所復号画像信号との間の誤差を最小化するウィーナフィルタを生成する。
　なお、フィルタ設計・処理部１３は、誤差を最小化するウィーナフィルタを生成するに際して、例えば、様々なタップ数でフィルタ設計した場合、それぞれに対して下記に示すようなコストを算出し、そのコストが最小となるフィルタのタップ数及び係数値を決定する。
　コスト＝Ｄ＋λ・Ｒ　　　　（２）
　ただし、Ｄは対象となるフィルタを適用する領域内における符号化対象の画像信号と、フィルタ処理後の局所復号画像信号間の二乗誤差和、λは定数、Ｒはループフィルタ６で発生する符号量である。
　ここでは、コストを式（２）で表しているが、これは一例に過ぎず、例えば、二乗誤差和Ｄだけをコストとしてもよい。
　また、二乗誤差和Ｄではなく、誤差の絶対値和などの他の評価値であってもよい。
　フィルタ設計・処理部１３は、１つ以上の領域が属しているクラス毎に、ウィーナフィルタを生成すると、局所復号画像を構成している複数のブロック（例えば、局所復号画像を構成している領域Ａ～Ｄより小さい局所的な領域）に対して、各ブロックそれぞれフィルタ処理を実施するブロックであるか否かを決定する（ステップＳＴ９～ＳＴ１６）。
　即ち、フィルタ設計・処理部１３は、局所復号画像を構成している複数のブロックに対して、各ブロックそれぞれブロック内の符号化対象の画像信号と局所復号画像信号との間の誤差をフィルタ処理の前後で比較する。
　例えば、図５に示すように、局所復号画像が１６個のブロック（Ｋ）（Ｋ＝１，２，・・・１６）で構成されている場合、ブロック毎にそれぞれ、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和をフィルタ処理の前後で比較する。
　なお、図５のブロック１、ブロック２、ブロック５、ブロック６が図４の領域Ａに、ブロック３、ブロック４、ブロック７、ブロック８が領域Ｂに、ブロック９、ブロック１０、ブロック１３、ブロック１４が領域Ｃに、ブロック１１、ブロック１２、ブロック１５、ブロック１６が領域Ｄに対応している。
　ここでは、二乗誤差和をフィルタ処理の前後で比較しているが、式（２）に示すコスト（Ｄ＋λ・Ｒ）をフィルタ処理の前後で比較してもよいし、誤差の絶対値和をフィルタ処理の前後で比較してもよい。
　フィルタ設計・処理部１３は、フィルタ処理後の二乗誤差和がフィルタ処理前の二乗誤差和より小さければ、当該ブロック（Ｋ）は、フィルタ処理を実施するブロックであるものと決定する。
　一方、フィルタ処理後の二乗誤差和がフィルタ処理前の二乗誤差和より大きければ、当該ブロック（Ｋ）は、フィルタ処理を実施しないブロックであるものと決定する。
　そして、フィルタ設計・処理部１３は、ステップＳＴ１～ＳＴ１６でコストが最小となった場合のフィルタ処理を実施した場合と、当該フレーム全体でフィルタ処理を実施しない場合とのコストを算出し、当該フレーム全体でフィルタ処理を行うか否かを決定する（ステップＳＴ１７～ＳＴ１８）。
　ステップＳＴ１８でフィルタ処理を行うと決定したフレームでは、フラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）にして、ステップＳＴ１～ＳＴ１６でコストが最小となった場合のフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力する（ステップＳＴ１９～ＳＴ２０）。
　例えば、当該ブロック（Ｋ）を包含している領域が領域Ｂであり、領域Ｂが属しているクラスがクラス５であれば、クラス５のウィーナフィルタを用いて、当該ブロック（Ｋ）におけるフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力する。
　このとき、ステップＳＴ１～ＳＴ１６でコストが最小となるのがブロック毎にフィルタ処理するか否かの選択を行う処理を実施した場合である時（フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）の時）、フィルタ処理を実施しないと決定したブロック（Ｋ）については、当該ブロック（Ｋ）におけるフィルタ処理を実施せずに、フィルタ処理前の局所復号画像信号をそのまま参照画像信号としてメモリ７に出力する。一方、ステップＳＴ１～ＳＴ１６でコストが最小となるのがブロック毎にフィルタ処理するか否かの選択を行う処理を実施しない場合である時（フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝０（ＯＦＦ）の時）、フレーム内の全ての局所復号画像信号に対してそれぞれの信号が属している領域の属するクラスのウィーナフィルタを用いてそれぞれフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力する。
　また、ステップＳＴ１８でフィルタ処理を行わないと決定したフレームでは、フラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝０（ＯＦＦ）にして、フィルタ処理前の局所復号画像信号をそのまま参照画像信号としてメモリ７に出力する（ステップＳＴ２１～ＳＴ２２）。
　フローチャートにおけるステップＳＴ２～ＳＴ２２において、“ｍｉｎ＿ｃｏｓｔ”はコストの最小値を保存する変数、“ｉ”はフィルタタップ数ｔａｐ［ｉ］のインデックス及びループカウンタ、“ｊ”はブロックサイズｂｌ＿ｓｉｚｅ［ｊ］のインデックス及びループカウンタである。
　また、“ｍｉｎ＿ｔａｐ＿ｉｄｘ”はコストが最小となるときのフィルタタップ数のインデックス（ｉ）、“ｍｉｎ＿ｂｌ＿ｓｉｚｅ＿ｉｄｘ”はコストが最小となるときのブロックサイズのインデックス（ｊ）である。
　また、“ＭＡＸ”はコスト最小値の初期値（十分大きな値）である。
・ｔａｐ［ｉ］（ｉ＝０～Ｎ１）
　予め決められている選択可能なＮ１（Ｎ１≧１）種類のフィルタタップ数を格納している配列。
・ｂｌ＿ｓｉｚｅ［ｊ］（ｊ＝０～Ｎ２）
　予め決められている選択可能なＮ２（Ｎ２≧１）種類のブロックサイズ（ｂｌ＿ｓｉｚｅ［ｊ］×ｂｌ＿ｓｉｚｅ［ｊ］画素）を格納している配列。
・ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ
　当該フレームでブロック毎にフィルタ処理を行うか否かを選択する処理を実施するか否かを示すフラグ。
・ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ
　当該フレームでフィルタ処理を行うか否かを示すフラグ。
　なお、ステップＳＴ２は、初期値を設定するステップであり、ステップＳＴ３～ＳＴ８は、フィルタタップ数の選択処理を行うループである。
　また、ステップＳＴ９は、初期値を設定するステップであり、ステップＳＴ１０～ＳＴ１６は、ブロックサイズの選択処理及び選択したブロックサイズのブロック毎にフィルタ処理するか否かを決定する処理を行うループである。
　さらに、ステップＳＴ１７～ＳＴ１８は、当該フレーム全体でフィルタ処理を行うか否かを決定するステップであり、ステップＳＴ１９～ＳＴ２０は、ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ＝１（ＯＮ）にして、ステップＳＴ１～ＳＴ１６で決定した最適なフィルタ処理を行うステップであり、ステップＳＴ２１～ＳＴ２２は、ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ＝０（ＯＦＦ）にして、当該フレームでフィルタ処理を行わないステップである。
　フィルタ設計・処理部１３は、上記のようにして、ウィーナフィルタを生成して、フィルタ処理を実施すると、そのウィーナフィルタに関するフィルタ情報を可変長符号化部８に出力する。
　フィルタ情報には、当該フレームでフィルタ処理を行うか否かを示すフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が含まれている。
　このフラグがＯＮ（フィルタ処理を行う）である場合、以下に示す情報がフィルタ情報として含まれる。
（１）ウィーナフィルタの数（１つ以上の領域が属しているクラスの数）
　　・ウィーナフィルタの数は、フレーム毎に異なっていてもよい。
（２）ウィーナフィルタのタップ数の情報（インデックス）
　　・フレーム内の全てのフィルタで共通である場合、共通のタップ数が含まれる。
　　・フィルタ毎に、タップ数が異なる場合、それぞれのフィルタのタップ数が含まれる。
（３）実際に使用されたウィーナフィルタ（１つ以上の領域が属しているクラスのウィーナフィルタ）の係数の情報
　　・生成されても実際に使用されていないウィーナフィルタに関する情報は含まれない。
（４）ブロック毎のフィルタのＯＮ／ＯＦＦ情報及びブロックサイズ情報
　　・当該フレームでブロック毎のＯＮ／ＯＦＦ（フィルタ処理の有無）を行うか否かを示すフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）。
　　・ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇがＯＮである場合に限り、ブロックサイズ情報（インデックス）及びブロック毎のフィルタ処理のＯＮ／ＯＦＦ情報が含まれる。
　ここでは、（１）～（４）の情報がフィルタ情報として含まれるものとして示したが、ウィーナフィルタの数、ウィーナフィルタのタップ数、ＯＮ／ＯＦＦのブロックサイズについては符号化して送信せずに、画像符号化装置及び画像復号装置で共通に定められている情報として、それぞれが保持しているようにしてもよい。
　また、これまでの説明では図３をループフィルタ６の具体的な処理内容として説明を行ったが、ステップＳＴ９～ＳＴ１６を省略してブロック毎にフィルタ処理のＯＮ／ＯＦＦを行わない（フィルタ情報として（４）がない）ものをループフィルタ６の処理内容としてもよい。
　フィルタ設計・処理部１３から出力されたフィルタ情報は、上述したように、可変長符号化部８によりエントロピー符号化されて画像復号装置に送信される。
　図６は可変長符号化部８により生成されるビットストリームの一例を示す説明図である。
　図７はこの発明の実施の形態１による画像復号装置を示す構成図である。
　図７において、可変長復号部２１は画像符号化装置からビットストリームを受信すると、そのビットストリームから圧縮データ、フィルタ情報及び予測信号生成用パラメータを可変長復号する処理を実施する。なお、可変長復号部２１は可変長復号手段を構成している。
　予測部２２は可変長復号部２１により可変長復号された予測信号生成用パラメータを用いて予測画像を示す予測信号を生成する処理を実施する。特に動きベクトルが予測信号生成用パラメータとして用いられる場合は、その動きベクトルとメモリ２６により格納されている参照画像信号から予測信号を生成する処理を実施する。なお、予測部２２は予測画像生成手段を構成している。
　予測誤差復号部２３は可変長復号部２１により可変長復号された圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、図１の予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する処理を実施する。
　加算器２４は予測誤差復号部２３により算出された予測誤差信号と予測部２２により生成された予測信号を加算することで、図１の加算器５から出力された復号画像信号に相当する復号画像信号を算出する処理を実施する。
　なお、予測誤差復号部２３及び加算器２４から復号手段が構成されている。
　ループフィルタ２５は加算器２４から出力された復号画像信号に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像信号を、フィルタ処理済み復号画像信号として外部及びメモリ２６に出力する処理を実施する。なお、ループフィルタ２５はフィルタリング手段を構成している。
　メモリ２６はループフィルタ２５から出力されたフィルタ処理済み復号画像信号を参照画像信号として格納する記録媒体である。
　図８はこの発明の実施の形態１による画像復号装置のループフィルタ２５を示す構成図である。
　図８において、フレームメモリ３１は加算器２４から出力された復号画像信号を１フレーム分だけ格納する記録媒体である。
　領域分類部３２は図２の領域分類部１２と同様に、フレームメモリ３１により格納されている１フレーム分の復号画像信号が示す復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する処理を実施する。
　フィルタ処理部３３は可変長復号部２１により可変長復号されたフィルタ情報を参照して、領域分類部３２により分類された各領域が属するクラスに適用するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償する処理を実施する。
　図８の例では、前段にフレームメモリ３１が実装されているループフィルタ２５を示しているが、マクロブロック単位に閉じたフィルタ処理を行う場合、図９に示すように、前段にフレームメモリ３１を実装せずに、領域分類部３２が当該マクロブロックの復号画像を構成している複数の領域の特徴量をそれぞれ抽出するようにしてもよい。
　ただし、その場合は、画像符号化装置でのフィルタ処理でマクロブロック毎に独立可能な処理を実施している必要がある。
　次に動作について説明する。
　可変長復号部２１は、画像符号化装置からビットストリームを受信すると、そのビットストリームから圧縮データ、フィルタ情報及び予測信号生成用パラメータを可変長復号する。
　予測部２２は、可変長復号部２１から予測信号生成用パラメータを受けると、その予測信号生成用パラメータから予測信号を生成する。特に予測信号生成用パラメータとして動きベクトルを受けた場合は、その動きベクトルとメモリ２６により格納されている参照画像信号から予測信号を生成する。
　予測誤差復号部２３は、可変長復号部２１から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、図１の予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する。
　加算器２４は、予測誤差復号部２３が予測誤差信号を算出すると、その予測誤差信号と予測部２２により生成された予測信号を加算することで、図１の加算器５から出力された局所復号画像信号に相当する復号画像信号を算出する。
　ループフィルタ２５は、加算器２４から復号画像信号を受けると、その復号画像信号に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像信号を、フィルタ処理済み復号画像信号として外部に出力するとともに参照画像信号としてメモリ２６に格納する。
　以下、ループフィルタ２５の処理内容を具体的に説明する。
　図１０はこの発明の実施の形態１による画像復号装置のループフィルタ２５の処理内容を示すフローチャートである。
　まず、ループフィルタ２５のフレームメモリ３１は、加算器２４から出力された復号画像信号を１フレーム分だけ格納する。
　領域分類部３２は、フィルタ情報に含まれているフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が、ＯＮ（フィルタ処理を行う）である場合（ステップＳＴ３１）、図２の領域分類部１２と同様に、フレームメモリ３１により格納されている１フレーム分の復号画像信号が示す復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する（ステップＳＴ３２）。
　フィルタ処理部３３は、可変長復号部２１からフィルタ情報を受けると、そのフィルタ情報を参照して、領域分類部３２により分類された各領域が属するクラスに適用するウィーナフィルタを生成する（ステップＳＴ３３）。
　例えば、ウィーナフィルタの数（１つ以上の領域が属しているクラスの数）がＮ個、ウィーナフィルタのタップ数がＬ×Ｌであり、各ウィーナフィルタの係数値がｗｉ１１，ｗｉ１２，・・・，ｗｉ１Ｌ，・・・，ｗｉＬ１，ｗｉＬ２，・・・，ｗｉＬＬで表される場合、Ｎ個のウィーナフィルタＷｉ（ｉ＝１，２，・・・，Ｎ）は、下記のように表される。

Figure JPOXMLDOC01-appb-I000002
　フィルタ処理部３３は、Ｎ個のウィーナフィルタＷｉを生成すると、これらウィーナフィルタを用いて、１フレーム分の復号画像信号に重畳されている歪みを補償し、補償後の復号画像信号をフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する（ステップＳＴ３４）。
　ここで、フィルタ処理後の復号画像信号ｓハットは、下記の式（４）で表される。

Figure JPOXMLDOC01-appb-I000003

　行列Ｓは、フィルタ処理対象の復号画像信号ｓを含むＬ×Ｌ画素の参照信号群であり、ｉｄ（ｓ）は領域分類部３２により求められる信号ｓを包含する領域が属するクラスの番号（フィルタ番号）である。
　ただし、フィルタ処理部３３は、上記フィルタ処理の際にフィルタ情報に含まれているフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）を参照し、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）である場合は、フィルタ情報に含まれているブロックサイズ情報を参照して、復号画像を構成している複数のブロック（Ｋ）を特定した後、フィルタ情報に含まれているブロック（Ｋ）毎のフィルタ処理を行うか否かの情報を参照してフィルタ処理を行う。
　即ち、フィルタ処理部３３は、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）である場合は、復号画像を構成している複数のブロックのうち、フィルタ処理を行うブロック（Ｋ）については、当該ブロック（Ｋ）を包含する領域が属するクラスのウィーナフィルタを用いてブロック（Ｋ）内の復号画像信号に対してフィルタ処理を実施するが、フィルタ処理を行わないブロック（Ｋ）についてはフィルタ処理前の復号画像信号をそのままフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する。
　一方で、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝０（ＯＦＦ）の場合には、領域分類部３２により各領域に割り当てられるクラスに対応するフィルタを用いて、当該フレーム内の全ての復号画像信号に対してフィルタ処理を実施する。
　フィルタ処理部３３は、フィルタ情報に含まれているフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が、ＯＦＦ（フィルタ処理を行わない）である場合（ステップＳＴ３１）、当該フレームについてはフィルタ処理を実施せずに、加算器２４から出力された復号画像信号をそのままフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する（ステップＳＴ３５）。
　以上で明らかなように、この実施の形態１によれば、加算器５から出力された局所復号画像信号が示す局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部１２と、その局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和を最小化するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部１３とからループフィルタ６が構成されているので、画像の局所的な性質に応じたフィルタ処理が実現されるようになり、その結果、画像品質の改善精度を高めることができる画像符号化装置が得られる効果がある。
　また、この実施の形態１によれば、加算器２４から出力された復号画像信号が示す復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する領域分類部３２と、可変長復号部２１により可変長復号されたフィルタ情報を参照して、領域分類部３２により分類された各領域が属するクラスに適用するウィーナフィルタを生成し、そのウィーナフィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ処理部３３とからループフィルタ２５が構成されているので、画像の局所的な性質に応じたフィルタ処理が実現されるようになり、その結果、画像品質の改善精度を高めることができる画像復号装置が得られる効果がある。
実施の形態２．
　上記実施の形態１では、フィルタ設計・処理部１３が、１つ以上の領域が属しているクラス毎にウィーナフィルタを生成し、局所復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、当該ブロック（Ｋ）を包含している領域が属しているクラスのウィーナフィルタを用いて、当該ブロック（Ｋ）におけるフィルタ処理を実施するものについて示したが、１つ以上の領域が属しているクラス毎に生成しているウィーナフィルタの中から、各ブロックそれぞれ当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になるウィーナフィルタを選択し、そのウィーナフィルタを用いて、当該ブロック（Ｋ）に重畳されている歪みを補償するようにしてもよい。
　具体的には、以下の通りである。
　図１１はこの発明の実施の形態２による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。
　フィルタ設計・処理部１３は、上記実施の形態１と同様にして、１つ以上の領域が属しているクラス毎にウィーナフィルタを生成する（ステップＳＴ２～ＳＴ８）。
　ただし、この実施の形態２では、ブロック毎にフィルタ処理を行うか否かを選択する処理を当該フレームで実施するか否かを示すフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）を使用せず、当該フレームでブロック毎に使用するフィルタの選択を行うか否かを示すフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）を使用し、ステップＳＴ４０において、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＦＦに初期設定されており、ステップＳＴ４６を実施する場合のみフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＮとなる。
　なお、後述するように、フラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＮである場合に限り、ブロックサイズ及びブロック毎のフィルタ選択情報がフィルタ情報に含まれる。
　フィルタ設計・処理部１３は、１つ以上の領域が属しているクラス毎に、ウィーナフィルタを生成すると、局所復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、１つ以上の領域が属しているクラス毎に生成しているウィーナフィルタの中から一つを選択してフィルタ処理した場合と、フィルタ処理を行わない場合の中から、最適な処理（例えば、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる処理）を選択する（ステップＳＴ９，ＳＴ４１～ＳＴ４７）。
　具体的には、４個のウィーナフィルタＷ１，Ｗ２，Ｗ３，Ｗ４が生成されている場合において、４個のウィーナフィルタをそれぞれ用いてフィルタ処理を実施したとき、ブロック（Ｋ）における二乗誤差和Ｅの大小関係が下記の通りになれば、ブロック（Ｋ）については、二乗誤差和Ｅが最小になるウィーナフィルタＷ３を選択する。
　ＥＷ３＜ＥＷ２＜ＥＷ４＜ＥＷ0＜ＥＷ１
ただし、ＥＷ0はフィルタ処理を行わない場合の二乗誤差和Ｅを表している。
　ここで、図１２は局所復号画像を構成している複数のブロック（Ｋ）におけるウィーナフィルタの選択例を示す説明図であり、例えば、ブロック（１）では、ウィーナフィルタＷ２が選択され、ブロック（２）では、ウィーナフィルタＷ３が選択されている。
　フィルタ設計・処理部１３は、当該フレームに対して、ウィーナフィルタを用いてフィルタ処理を行うと決定した場合は、フラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝１（ＯＮ）にして、ステップＳＴ１～ＳＴ９及びＳＴ４０～ＳＴ４７でコストが最小となった場合のフィルタ処理を実施し、フィルタ処理後の局所復号画像信号を参照画像信号としてメモリ７に出力する（ステップＳＴ１７～ＳＴ２０）。
　一方、当該フレーム全体でフィルタ処理を行わないと決定した場合（ステップＳＴ１７～ＳＴ１８）、フラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）＝０（ＯＦＦ）にして、フィルタ処理前の局所復号画像信号をそのまま参照画像信号としてメモリ７に出力する（ステップＳＴ２１～ＳＴ２２）。
　フィルタ設計・処理部１３は、上記のようにして、ウィーナフィルタを生成して、フィルタ処理を実施すると、そのウィーナフィルタに関するフィルタ情報を可変長符号化部８に出力する。
　フィルタ情報には、当該フレームでフィルタ処理を行うか否かを示すフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が含まれている。
　このフラグがＯＮ（フィルタ処理を行う）である場合、以下に示す情報がフィルタ情報として含まれる。
（１）ウィーナフィルタの数（１つ以上の領域が属しているクラスの数）
　　・ウィーナフィルタの数は、フレーム毎に異なっていてもよい。
（２）ウィーナフィルタのタップ数の情報（インデックス）
　　・フレーム内の全てのフィルタで共通である場合、共通のタップ数が含まれる。
　　・フィルタ毎に、タップ数が異なる場合、それぞれのフィルタのタップ数が含まれる。
（３）実際に使用されたウィーナフィルタ（１つ以上の領域が属しているクラスのウィーナフィルタ）の係数の情報
　　・生成されても実際に使用されていないウィーナフィルタに関する情報は含まれない。
（４）ブロック毎のフィルタの選択情報及びブロックサイズ情報
　　・フレーム単位でブロック毎のフィルタの選択を行うか否かを示すフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）。
　　・ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇがＯＮである場合に限りブロックサイズの情報（インデックス）及びブロック毎の選択情報が含まれる。
　ここでは、（１）～（４）の情報がフィルタ情報として含まれるものとして示したが、ウィーナフィルタの数、ウィーナフィルタのタップ数、ブロックサイズについては符号化して送信せずに、画像符号化装置及び画像復号装置で共通に定められている情報として、それぞれが保持しているようにしてもよい。
　画像復号装置におけるループフィルタ２５では、以下の処理内容を実施する。
　図１３はこの発明の実施の形態２による画像復号装置のループフィルタ２５の処理内容を示すフローチャートである。
　まず、ループフィルタ２５のフレームメモリ３１は、加算器２４から出力された復号画像信号を１フレーム分だけ格納する。
　領域分類部３２は、フィルタ情報に含まれているフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が、ＯＮ（フィルタ処理を行う）であり（ステップＳＴ３１）、かつ、フィルタ情報に含まれているフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＦＦである場合（ステップＳＴ５１）、上記実施の形態１と同様に、フレームメモリ３１により格納されている１フレーム分の復号画像信号が示す復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、その特徴量に応じて各領域が属するクラスを分類する（ステップＳＴ３２）。
　一方、フィルタ情報に含まれているフラグ（ｆｒａｍｅ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）が、ＯＮ（フィルタ処理を行う）であり（ステップＳＴ３１）、かつ、フィルタ情報に含まれているフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＮである場合（ステップＳＴ５１）、フィルタ情報に含まれている情報の内、フィルタの選択単位となるブロックサイズの情報やブロック毎のフィルタ選択情報を参照して、ブロック毎にクラス分類を行う（ステップＳＴ５２）。
　フィルタ処理部３３は、領域分類部３２が、各領域（各ブロック）が属するクラスを分類すると、上記実施の形態１と同様に、可変長復号部２１から出力されたフィルタ情報を参照して、領域分類部３２により分類された各領域（各ブロック）が属するクラスに適用するウィーナフィルタを生成する（ステップＳＴ３３）。
　フィルタ処理部３３は、各クラスで適用するウィーナフィルタを生成すると、（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＦＦである場合、上記実施の形態１でフラグ（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｏｎ＿ｏｆｆ＿ｆｌａｇ）がＯＦＦである場合と同様に、生成したウィーナフィルタを用いて、当該フレーム内の全ての復号画像信号に対してフィルタ処理を実施し、フィルタ処理後の復号画像信号をフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する（ステップＳＴ５３）。
　一方、（ｂｌｏｃｋ＿ｆｉｌｔｅｒ＿ｓｅｌｅｃｔｉｏｎ＿ｆｌａｇ）がＯＮである場合、フィルタ処理部３３は、各クラスで適用するウィーナフィルタを生成すると、ブロック毎に、選択したウィーナフィルタを用いてブロック内の復号画像信号に重畳されている歪みを補償し、フィルタ処理後の復号画像信号をフィルタ処理済み復号画像信号として外部及びメモリ２６に出力する（ステップＳＴ５３）。
　このときの、フィルタ処理後の復号画像信号ｓハットは、下記の式（５）で表される。

Figure JPOXMLDOC01-appb-I000004

　行列Ｓは、フィルタ処理対象の復号画像信号ｓを含むＬ×Ｌ画素の参照信号群である。
　ｉｄ＿２（ｂｌ）は復号画像信号ｓが含まれるブロックｂｌにおけるフィルタ選択情報、即ちブロックｂｌのクラス番号（フィルタ番号）である。
　なお、ｉｄ＿２（ｂｌ）＝０の場合、フィルタ処理を実施しないブロックを表しているものとして、そのブロックのフィルタ処理を実施しない。
　以上で明らかなように、この実施の形態２によれば、復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、１つ以上の領域が属しているクラス毎に生成しているウィーナフィルタの中から、当該ブロック（Ｋ）における符号化対象の画像信号と復号画像信号との間の二乗誤差和が最小になるウィーナフィルタを選択し、そのウィーナフィルタを用いて、当該ブロック（Ｋ）に重畳されている歪みを補償するように構成したので、上記実施の形態１よりも更に、画像品質の改善精度を高めることができる効果を奏する。
実施の形態３．
　上記実施の形態２では、復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、当該フレームで１つ以上のブロックが属しているクラス毎に生成されたウィーナフィルタの内のいずれかを用いた場合とフィルタ処理を行わない場合の中から、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる場合を選択する手法について示したが、予め１つ以上のウィーナフィルタを用意し、上記予め用意しているウィーナフィルタの内のいずれかを用いた場合と、当該フレームで１つ以上のブロックが属しているクラス毎に生成されたウィーナフィルタの内のいずれかを用いた場合と、フィルタ処理を行わない場合との中から、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる場合を選択するようにしてもよい。
　図１４はこの発明の実施の形態３による画像符号化装置のループフィルタ６の処理内容を示すフローチャートである。
　この実施の形態３の場合、ウィーナフィルタの選択肢が増えるため、上記実施の形態２よりも、最適なウィーナフィルタが選択される確率が向上する。
　なお、ウィーナフィルタの選択方法は、上記実施の形態２と同様であるため説明を省略する。
　また、画像復号装置の処理内容についても、上記実施の形態２と同様であるため説明を省略する。
実施の形態４．
　上記実施の形態２では、復号画像を構成している複数のブロック（Ｋ）に対して、各ブロックそれぞれ、当該フレームで１つ以上のブロックが属しているクラス毎に生成されたウィーナフィルタの内のいずれかを用いた場合とフィルタ処理を行わない場合の中から、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる場合を選択する手法について示したが、当該フレームで１つ以上のブロックが属しているクラス毎に生成されたウィーナフィルタの内のいずれかを用いた場合と、既に符号化されているフレームで使用されたウィーナフィルタの内のいずれかを用いた場合と、フィルタ処理を行わない場合との中から、当該ブロック（Ｋ）における符号化対象の画像信号と局所復号画像信号との間の二乗誤差和が最小になる場合を選択するようにしてもよい。
　ここで、図１５は１フレーム目におけるループフィルタ６の処理内容を示すフローチャートであり、上記実施の形態２における図１１のフローチャートと同様である。
　図１６は２フレーム目以降におけるループフィルタ６の処理内容を示すフローチャートである。
　なお、既に符号化されているフレームで使用されたウィーナフィルタの参照方法としては、例えば、下記に示すような参照方法が考えられる。
（１）フィルタ処理対象ブロック内から算出したある代表的な動きベクトルが指し示す位置のブロックで使用されたウィーナフィルタ
（２）フィルタ処理対象ブロックと時間的に一番近いフレームにおける同位置のブロックで使用されたウィーナフィルタ
（３）符号化されているフレーム内のブロックの内、相互相関係数が最も高いブロックで使用されたウィーナフィルタ
（３）の場合、画像符号化装置及び画像復号装置で、同一のブロック探索処理が必要である。
　この実施の形態４の場合、ウィーナフィルタの選択肢が増えるため、上記実施の形態２よりも、最適なウィーナフィルタが選択される確率が向上する。
　なお、ウィーナフィルタの選択方法は、上記実施の形態２と同様であるため説明を省略する。
　また、画像復号装置の処理内容についても、上記実施の形態２と同様であるため説明を省略する。
　この発明に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法は、画像品質の改善精度を高めることができ、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法、画像符号化装置により伝送された符号化データから画像を復号する画像復号装置及び画像復号方法等に用いるのに適している。

Claims (12)

  1. 　入力画像と参照画像から予測信号生成用パラメータを検出して、上記予測信号生成用パラメータと上記参照画像から予測画像を生成するとともに、上記入力画像と上記予測画像の差分画像を算出する予測処理手段と、上記予測処理手段により算出された差分画像を圧縮する差分画像圧縮手段と、上記差分画像圧縮手段により圧縮された差分画像を復号し、復号後の差分画像と上記予測処理手段により生成された予測画像を加算して、局所復号画像を得る局所復号手段と、上記局所復号手段により得られた局所復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像を参照画像として上記予測処理手段に出力するフィルタリング手段と、上記予測処理手段により検出された予測信号生成用パラメータ、上記差分画像圧縮手段により圧縮された差分画像及び上記フィルタリング手段によりフィルタ処理が実施される際に用いられるフィルタの情報を可変長符号化する可変長符号化手段とを備え、上記フィルタリング手段は、上記局所復号手段により得られた局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、上記特徴量に応じて各領域が属するクラスを分類する領域分類部と、上記局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における上記入力画像と上記局所復号画像との間の誤差を最小化するフィルタを生成し、上記フィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ設計・処理部とから構成されていることを特徴とする画像符号化装置。
  2. 　フィルタ設計・処理部は、局所復号手段により得られた局所復号画像を構成している複数のブロックに対して、各ブロックそれぞれブロック内の入力画像と局所復号画像との間の誤差をフィルタ処理の前後で比較し、フィルタ処理後の誤差がフィルタ処理前の誤差より小さいブロックでは、フィルタ処理を実施してフィルタ処理後の局所復号画像を参照画像として予測処理手段に出力し、フィルタ処理後の誤差がフィルタ処理前の誤差より大きいブロックでは、フィルタ処理を実施せずにフィルタ処理前の局所復号画像を参照画像として上記予測処理手段に出力することを特徴とする請求項１記載の画像符号化装置。
  3. 　フィルタ設計・処理部は、局所復号手段により得られた局所復号画像を構成している複数のブロックに対して、１つ以上の領域が属しているクラス毎に生成しているフィルタの中から、各ブロックそれぞれブロック内の入力画像と局所復号画像との間の誤差が最小になるフィルタを選択し、上記フィルタを用いて、当該ブロックに重畳されている歪みを補償することを特徴とする請求項１記載の画像符号化装置。
  4. 　フィルタ設計・処理部は、局所復号手段により得られた局所復号画像を構成している複数のブロックに対して、１つ以上の領域が属しているクラス毎に生成しているフィルタ及び予め用意されているフィルタの中から、各ブロックそれぞれブロック内の入力画像と局所復号画像との間の誤差が最小になるフィルタを選択し、上記フィルタを用いて、当該ブロックに重畳されている歪みを補償することを特徴とする請求項１記載の画像符号化装置。
  5. 　フィルタ設計・処理部は、局所復号手段により得られた局所復号画像を構成している複数のブロックに対して、１つ以上の領域が属しているクラス毎に生成しているフィルタ及び既に符号化されているフレームで使用されたフィルタの中から、各ブロックそれぞれブロック内の入力画像と局所復号画像との間の誤差が最小になるフィルタを選択し、上記フィルタを用いて、当該ブロックに重畳されている歪みを補償することを特徴とする請求項１記載の画像符号化装置。
  6. 　ストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタの情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された予測信号生成用パラメータと参照画像から予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、上記差分画像と上記予測画像生成手段により生成された予測画像を加算して、復号画像を得る復号手段と、上記復号手段により得られた復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を、フィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力するフィルタリング手段とを備え、上記フィルタリング手段は、上記復号手段により得られた復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、上記特徴量に応じて各領域が属するクラスを分類する領域分類部と、上記可変長復号手段により可変長復号されたフィルタの情報を参照して、上記領域分類部により分類された各領域が属するクラスに適用するフィルタを生成し、上記フィルタを用いて、上記クラスに属する領域に重畳されている歪みを補償するフィルタ処理部とから構成されていることを特徴とする画像復号装置。
  7. 　フィルタ処理部は、可変長復号手段によりストリームから復号画像を構成している複数のブロックに係るフィルタ処理の有無を示す情報が可変長復号された場合、上記復号画像を構成している複数のブロックのうち、フィルタ処理が有りのブロックについてはフィルタ処理を実施して、フィルタ処理後の復号画像をフィルタ処理済み復号画像として外部に出力するとともに参照画像として予測画像生成手段に出力し、フィルタ処理が無しのブロックについてはフィルタ処理を実施せずに、フィルタ処理前の復号画像をフィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力することを特徴とする請求項６記載の画像復号装置。
  8. 　ストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタ生成情報と小領域毎のフィルタ選択情報を含むフィルタの情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された予測信号生成用パラメータと参照画像から予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、上記差分画像と上記予測画像生成手段により生成された予測画像を加算して、復号画像を得る復号手段と、上記復号手段により得られた復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を、フィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力するフィルタリング手段とを備え、上記フィルタリング手段は、上記可変長復号手段により可変長復号されたフィルタ生成情報と小領域毎のフィルタ選択情報を含むフィルタの情報を参照して、各小領域に重畳されている歪みを補償するフィルタ処理部から構成されていることを特徴とする画像復号装置。
  9. 　フィルタ処理部は、可変長復号手段によりストリームから復号画像を構成している複数のブロックに係るフィルタ処理の有無も含めた使用フィルタの選択情報が可変長復号された場合、上記復号画像を構成している複数のブロックのうち、フィルタ処理が有りのブロックについては上記選択情報を基にフィルタ選択及びフィルタ処理を実施して、フィルタ処理後の復号画像をフィルタ処理済み復号画像として外部に出力するとともに参照画像として予測画像生成手段に出力し、フィルタ処理が無しのブロックについてはフィルタ処理を実施せずに、フィルタ処理前の復号画像をフィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力することを特徴とする請求項８記載の画像復号装置。
  10. 　予測処理手段が入力画像と参照画像から予測信号生成用パラメータを検出して、上記予測信号生成用パラメータと上記参照画像から予測画像を生成するとともに、上記入力画像と上記予測画像の差分画像を算出する予測処理ステップと、差分画像圧縮手段が上記予測処理手段により算出された差分画像を圧縮する差分画像圧縮処理ステップと、局所復号手段が上記差分画像圧縮手段により圧縮された差分画像を復号し、復号後の差分画像と上記予測処理手段により生成された予測画像を加算して、局所復号画像を得る局所復号処理ステップと、フィルタリング手段が上記局所復号手段により得られた局所復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像を参照画像として上記予測処理手段に出力するフィルタリング処理ステップと、可変長符号化手段が上記予測処理手段により検出された予測信号生成用パラメータ、上記差分画像圧縮手段により圧縮された差分画像及び上記フィルタリング手段によりフィルタ処理が実施される際に用いられるフィルタの情報を可変長符号化する可変長符号化処理ステップとを備え、上記フィルタリング手段の領域分類部が上記局所復号手段により得られた局所復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、上記特徴量に応じて各領域が属するクラスを分類する領域分類処理ステップと、上記フィルタリング手段のフィルタ設計・処理部が上記局所復号画像を構成している複数の領域のうち、１つ以上の領域が属しているクラス毎に、当該クラスに属している１つ以上の領域における上記入力画像と上記局所復号画像との間の誤差を最小化するフィルタを生成し、上記フィルタを用いて、当該領域に重畳されている歪みを補償するフィルタ処理ステップとを備えていることを特徴とする画像符号化方法。
  11. 　可変長復号手段がストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタの情報を可変長復号する可変長復号処理ステップと、予測画像生成手段が上記可変長復号手段により可変長復号された予測信号生成用パラメータと参照画像から予測画像を生成する予測画像生成処理ステップと、復号手段が上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、上記差分画像と上記予測画像生成手段により生成された予測画像を加算して、復号画像を得る復号処理ステップと、フィルタリング手段が上記復号手段により得られた復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を、フィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力するフィルタリング処理ステップとを備え、上記フィルタリング手段の領域分類部が上記復号手段により得られた復号画像を構成している複数の領域の特徴量をそれぞれ抽出し、上記特徴量に応じて各領域が属するクラスを分類する領域分類処理ステップと、上記フィルタリング手段のフィルタ処理部が上記可変長復号手段により可変長復号されたフィルタの情報を参照して、上記領域分類部により分類された各領域が属するクラスに適用するフィルタを生成し、上記フィルタを用いて、上記クラスに属する領域に重畳されている歪みを補償するフィルタ処理ステップとを備えていることを特徴とする画像復号方法。
  12. 　可変長復号手段がストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタ生成情報と小領域毎のフィルタ選択情報を含むフィルタの情報を可変長復号する可変長復号処理ステップと、予測画像生成手段が上記可変長復号手段により可変長復号された予測信号生成用パラメータと参照画像から予測画像を生成する予測画像生成処理ステップと、復号手段が上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、上記差分画像と上記予測画像生成手段により生成された予測画像を加算して、復号画像を得る復号処理ステップと、フィルタリング手段が上記復号手段により得られた復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を、フィルタ処理済み復号画像として外部に出力するとともに参照画像として上記予測画像生成手段に出力するフィルタリング処理ステップとを備え、上記フィルタリング手段のフィルタ処理部が上記可変長復号手段により可変長復号されたフィルタ生成情報と小領域毎のフィルタ選択情報を含むフィルタの情報を参照して、各小領域に重畳されている歪みを補償するフィルタ処理ステップを備えていることを特徴とする画像復号方法。
PCT/JP2010/003492 2009-06-19 2010-05-25 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 WO2010146771A1 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
JP2011519507A JP5528445B2 (ja) 2009-06-19 2010-05-25 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
RU2012101781/08A RU2510592C2 (ru) 2009-06-19 2010-05-25 Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
US13/378,974 US20120087595A1 (en) 2009-06-19 2010-05-25 Image encoding device, image decoding device, image encoding method, and image decoding method
CA2764868A CA2764868A1 (en) 2009-06-19 2010-05-25 Image encoding device, image decoding device, image encoding method, and image decoding method
SG2011092228A SG176827A1 (en) 2009-06-19 2010-05-25 Image encoding device, image decoding device, image encoding method, and image decoding method
KR1020127001478A KR101351709B1 (ko) 2009-06-19 2010-05-25 화상 복호 장치 및 화상 복호 방법
CN201080027052.8A CN102804781B (zh) 2009-06-19 2010-05-25 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
BRPI1015984A BRPI1015984A2 (pt) 2009-06-19 2010-05-25 dispositivos e métodos de codificação e de decotificação de imagem.
EP10789156A EP2445216A4 (en) 2009-06-19 2010-05-25 IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
MX2011013861A MX2011013861A (es) 2009-06-19 2010-05-25 Dispositivo de codificacion de imagen, dispositivo de decodificacion de imagen, metodo de codificacion de imagen y metodo de decodificacion de imagen.
ZA2011/09488A ZA201109488B (en) 2009-06-19 2011-12-22 Image encoding device,image decoding device,image encoding method,and image decoding method
HK13105879.0A HK1178355A1 (zh) 2009-06-19 2013-05-20 圖像編碼裝置、圖像解碼裝置、圖像編碼方法以及圖像解碼方法
US14/515,136 US20150043630A1 (en) 2009-06-19 2014-10-15 Image encoding device, image decoding device, image encoding method, and image decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-146350 2009-06-19
JP2009146350 2009-06-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/378,974 A-371-Of-International US20120087595A1 (en) 2009-06-19 2010-05-25 Image encoding device, image decoding device, image encoding method, and image decoding method
US14/515,136 Division US20150043630A1 (en) 2009-06-19 2014-10-15 Image encoding device, image decoding device, image encoding method, and image decoding method

Publications (1)

Publication Number Publication Date
WO2010146771A1 true WO2010146771A1 (ja) 2010-12-23

Family

ID=43356106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003492 WO2010146771A1 (ja) 2009-06-19 2010-05-25 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Country Status (13)

Country Link
US (2) US20120087595A1 (ja)
EP (1) EP2445216A4 (ja)
JP (1) JP5528445B2 (ja)
KR (1) KR101351709B1 (ja)
CN (5) CN104506877B (ja)
BR (1) BRPI1015984A2 (ja)
CA (1) CA2764868A1 (ja)
HK (5) HK1207926A1 (ja)
MX (1) MX2011013861A (ja)
RU (7) RU2510592C2 (ja)
SG (5) SG10201910966SA (ja)
WO (1) WO2010146771A1 (ja)
ZA (1) ZA201109488B (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316324A (zh) * 2011-08-24 2012-01-11 北京航空航天大学 一种基于局部最小熵的图像编码预测方法
JP2012161063A (ja) * 2011-01-12 2012-08-23 Kddi Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
WO2012177015A2 (ko) * 2011-06-20 2012-12-27 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
JP2013009242A (ja) * 2011-06-27 2013-01-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像符号化装置およびそのプログラム
JP2013093662A (ja) * 2011-10-24 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2014506061A (ja) * 2011-04-21 2014-03-06 メディアテック インコーポレイテッド 改良されたループ型フィルタリング処理のための方法と装置
JP2014513898A (ja) * 2011-04-19 2014-06-05 サムスン エレクトロニクス カンパニー リミテッド 適応的フィルタリングを用いる映像の符号化方法及び装置、その復号化方法及び装置
WO2014196613A1 (ja) * 2013-06-07 2014-12-11 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
EP2825998A4 (en) * 2012-03-16 2015-08-12 Hewlett Packard Development Co IMAGE CLASSIFICATION
JP2015167423A (ja) * 2015-07-02 2015-09-24 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5885886B2 (ja) * 2013-06-04 2016-03-16 三菱電機株式会社 画像解析装置及び画像解析方法
WO2017191749A1 (ja) * 2016-05-02 2017-11-09 ソニー株式会社 画像処理装置及び画像処理方法
WO2017191750A1 (ja) * 2016-05-02 2017-11-09 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
WO2018131524A1 (ja) * 2017-01-12 2018-07-19 ソニー株式会社 画像処理装置及び画像処理方法
CN108696755A (zh) * 2012-04-13 2018-10-23 三菱电机株式会社 图像编码装置、图像解码装置及其方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451271B2 (en) 2011-07-21 2016-09-20 Blackberry Limited Adaptive filtering based on pattern information
WO2013010248A1 (en) 2011-07-21 2013-01-24 Research In Motion Adaptive filtering based on pattern information
US9277222B2 (en) 2012-05-14 2016-03-01 Qualcomm Incorporated Unified fractional search and motion compensation architecture across multiple video standards
FR2996093A1 (fr) * 2012-09-27 2014-03-28 France Telecom Procede de codage et decodage d'images, dispositifs de codage et decodage et programmes d'ordinateur correspondants
WO2014155471A1 (ja) * 2013-03-25 2014-10-02 日立マクセル株式会社 符号化方法および符号化装置
US20210297687A1 (en) * 2017-03-15 2021-09-23 Sony Corporation Encoding apparatus, encoding method, decoding apparatus, and decoding method
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
US11423578B2 (en) 2017-09-27 2022-08-23 Sony Corporation Encoding device, encoding method, decoding device, and decoding method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0556416A (ja) * 1991-08-23 1993-03-05 Nec Corp フレーム間予測符号化装置のループ内フイルタ制御方式
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761154B2 (ja) * 1989-10-13 1995-06-28 松下電器産業株式会社 動き補償予測フレーム間符号化装置
US5299174A (en) * 1992-04-10 1994-03-29 Diasonics, Inc. Automatic clutter elimination
JP3326670B2 (ja) * 1995-08-02 2002-09-24 ソニー株式会社 データ符号化／復号化方法および装置、および符号化データ記録媒体
RU2093968C1 (ru) * 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
WO1998027720A1 (en) * 1996-12-18 1998-06-25 Thomson Consumer Electronics, Inc. A multiple format video signal processor
JPH11161782A (ja) * 1997-11-27 1999-06-18 Seiko Epson Corp カラー画像の符号化方法およびその符号化装置ならびにカラー画像の復号化方法およびその復号化装置
DE69942224D1 (de) * 1998-01-27 2010-05-20 Sharp Kk Bewegtbilddecoder
JP3132456B2 (ja) * 1998-03-05 2001-02-05 日本電気株式会社 階層的画像符号化方式、及び階層的画像復号方式
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
US6804294B1 (en) * 1998-08-11 2004-10-12 Lucent Technologies Inc. Method and apparatus for video frame selection for improved coding quality at low bit-rates
JP4362895B2 (ja) * 1999-06-21 2009-11-11 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
JP4230636B2 (ja) * 2000-02-29 2009-02-25 株式会社東芝 動画像再生方法および動画像再生装置
US20030026495A1 (en) * 2001-03-07 2003-02-06 Gondek Jay Stephen Parameterized sharpening and smoothing method and apparatus
EP2293579B1 (en) * 2001-09-12 2012-01-25 Panasonic Corporation Picture coding method
CA2433455C (en) * 2001-11-29 2012-03-06 Matsushita Electric Industrial Co., Ltd. Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
US7436890B2 (en) * 2002-06-05 2008-10-14 Kddi R&D Laboratories, Inc. Quantization control system for video coding
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
JP4123356B2 (ja) * 2002-11-13 2008-07-23 富士ゼロックス株式会社 画像処理装置、画像処理プログラム、記憶媒体
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7346224B2 (en) * 2003-11-07 2008-03-18 Mitsubishi Electric Research Laboratories, Inc. System and method for classifying pixels in images
US7551792B2 (en) * 2003-11-07 2009-06-23 Mitsubishi Electric Research Laboratories, Inc. System and method for reducing ringing artifacts in images
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
EP2096873A3 (en) * 2004-07-20 2009-10-14 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression
JP4850475B2 (ja) * 2004-10-14 2012-01-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 画像中の画素をフィルタリングする方法
WO2006043414A1 (ja) * 2004-10-19 2006-04-27 Megachips Lsi Solutions Inc. 画像処理方法及び画像処理装置
JP2006180470A (ja) * 2004-11-26 2006-07-06 Canon Inc 画像処理装置及び画像処理方法
KR100670495B1 (ko) * 2004-12-20 2007-01-16 엘지전자 주식회사 동영상 압축 부호화 장치 및 방법
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
US20070070427A1 (en) * 2005-08-18 2007-03-29 Lexmark International, Inc. Systems and methods for selective dithering using pixel classification
JP2007067625A (ja) * 2005-08-30 2007-03-15 Matsushita Electric Ind Co Ltd カメラシステムにおけるフィルタ補正回路
JP2007129369A (ja) * 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 画像再生装置およびその方法
TW200727598A (en) * 2005-11-18 2007-07-16 Sony Corp Encoding/decoding device/method and the transmission system
CN101336550B (zh) * 2006-02-06 2011-06-15 松下电器产业株式会社 图像解码装置和图像解码方法
JP2007336075A (ja) * 2006-06-13 2007-12-27 Victor Co Of Japan Ltd ブロック歪み低減装置
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US8139891B2 (en) * 2006-11-03 2012-03-20 Siemens Aktiengesellschaft System and method for structure enhancement and noise reduction in medical images
US8509316B2 (en) * 2007-01-09 2013-08-13 Core Wireless Licensing, S.a.r.l. Adaptive interpolation filters for video coding
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2009041843A1 (en) * 2007-09-28 2009-04-02 Vsevolod Yurievich Mokrushin Method of encoding digital signals (variants), method of decoding digital signals (variants), device for implementation thereof (variants), and system for image transmission via limited throughput communication channels (variants)
US8170121B2 (en) * 2007-11-13 2012-05-01 Harmonic Inc. H.264/AVC based approach to scalable video compression
US8638852B2 (en) * 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
JP5035029B2 (ja) * 2008-03-03 2012-09-26 ソニー株式会社 信号処理装置および方法、並びにプログラム
KR101591825B1 (ko) * 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0556416A (ja) * 1991-08-23 1993-03-05 Nec Corp フレーム間予測符号化装置のループ内フイルタ制御方式
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP2445216A4
T.CHUJOH; G.YASUDA; N.WADA; T.WATANABE; T.YAMAKAGE: "Block-based Adaptive Loop Filter", VCEG-AI18, ITU-T SG16/Q.6 MEETING, July 2008 (2008-07-01)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012161063A (ja) * 2011-01-12 2012-08-23 Kddi Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP2014513898A (ja) * 2011-04-19 2014-06-05 サムスン エレクトロニクス カンパニー リミテッド 適応的フィルタリングを用いる映像の符号化方法及び装置、その復号化方法及び装置
JP2014506061A (ja) * 2011-04-21 2014-03-06 メディアテック インコーポレイテッド 改良されたループ型フィルタリング処理のための方法と装置
US9872015B2 (en) 2011-04-21 2018-01-16 Hfi Innovation Inc. Method and apparatus for improved in-loop filtering
WO2012177015A2 (ko) * 2011-06-20 2012-12-27 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
WO2012177015A3 (ko) * 2011-06-20 2013-04-04 엘지전자 주식회사 영상 부호화/복호화 방법 및 그 장치
JP2013009242A (ja) * 2011-06-27 2013-01-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像符号化装置およびそのプログラム
CN102316324B (zh) * 2011-08-24 2013-08-21 北京航空航天大学 一种基于局部最小熵的图像编码预测方法
CN102316324A (zh) * 2011-08-24 2012-01-11 北京航空航天大学 一种基于局部最小熵的图像编码预测方法
JP2013093662A (ja) * 2011-10-24 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US9378419B2 (en) 2012-03-16 2016-06-28 Hewlett-Packard Development Company, L.P. Classifying images
EP2825998A4 (en) * 2012-03-16 2015-08-12 Hewlett Packard Development Co IMAGE CLASSIFICATION
CN108696755A (zh) * 2012-04-13 2018-10-23 三菱电机株式会社 图像编码装置、图像解码装置及其方法
JPWO2014196118A1 (ja) * 2013-06-04 2017-02-23 三菱電機株式会社 画像解析装置及び画像解析方法
JP5885886B2 (ja) * 2013-06-04 2016-03-16 三菱電機株式会社 画像解析装置及び画像解析方法
CN105453565A (zh) * 2013-06-07 2016-03-30 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频***、视频编码方法、视频解码方法以及程序
WO2014196613A1 (ja) * 2013-06-07 2014-12-11 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
CN105453565B (zh) * 2013-06-07 2018-09-28 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频***、视频编码方法、视频解码方法
JP2014239338A (ja) * 2013-06-07 2014-12-18 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2015167423A (ja) * 2015-07-02 2015-09-24 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2017191750A1 (ja) * 2016-05-02 2017-11-09 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
WO2017191749A1 (ja) * 2016-05-02 2017-11-09 ソニー株式会社 画像処理装置及び画像処理方法
JPWO2017191750A1 (ja) * 2016-05-02 2019-03-07 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
US10645384B2 (en) 2016-05-02 2020-05-05 Sony Corporation Encoding apparatus and encoding method as well as decoding apparatus and decoding method
WO2018131524A1 (ja) * 2017-01-12 2018-07-19 ソニー株式会社 画像処理装置及び画像処理方法
KR20190105578A (ko) * 2017-01-12 2019-09-17 소니 주식회사 화상 처리 장치 및 화상 처리 방법
JPWO2018131524A1 (ja) * 2017-01-12 2019-11-07 ソニー株式会社 画像処理装置及び画像処理方法
US11190808B2 (en) 2017-01-12 2021-11-30 Sony Corporation Image processing apparatus and image processing method
JP7047776B2 (ja) 2017-01-12 2022-04-05 ソニーグループ株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
KR102477784B1 (ko) 2017-01-12 2022-12-15 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법

Also Published As

Publication number Publication date
CN104506877B (zh) 2018-01-19
ZA201109488B (en) 2013-03-27
HK1207926A1 (en) 2016-02-12
MX2011013861A (es) 2012-02-13
US20120087595A1 (en) 2012-04-12
HK1178355A1 (zh) 2013-09-06
HK1210556A1 (en) 2016-04-22
CN104639942A (zh) 2015-05-20
HK1207931A1 (en) 2016-03-24
HK1224111A1 (zh) 2017-08-11
RU2510592C2 (ru) 2014-03-27
CN105872541B (zh) 2019-05-14
US20150043630A1 (en) 2015-02-12
EP2445216A4 (en) 2013-03-20
KR20120061797A (ko) 2012-06-13
CN104539956B (zh) 2018-11-06
CN102804781B (zh) 2016-06-29
SG10201403250WA (en) 2014-10-30
RU2627104C2 (ru) 2017-08-03
JP5528445B2 (ja) 2014-06-25
SG176827A1 (en) 2012-01-30
CN104506877A (zh) 2015-04-08
CN102804781A (zh) 2012-11-28
RU2714100C1 (ru) 2020-02-11
BRPI1015984A2 (pt) 2016-04-19
CN104539956A (zh) 2015-04-22
SG10201809929SA (en) 2018-12-28
RU2685981C1 (ru) 2019-04-23
KR101351709B1 (ko) 2014-01-16
SG10202012742QA (en) 2021-01-28
JPWO2010146771A1 (ja) 2012-11-29
RU2015124155A (ru) 2017-01-10
CN105872541A (zh) 2016-08-17
RU2013151253A (ru) 2015-05-27
CA2764868A1 (en) 2010-12-23
RU2702052C1 (ru) 2019-10-03
RU2557768C2 (ru) 2015-07-27
CN104639942B (zh) 2018-10-02
RU2666328C1 (ru) 2018-09-06
SG10201910966SA (en) 2020-01-30
RU2012101781A (ru) 2013-07-27
EP2445216A1 (en) 2012-04-25

Similar Documents

Publication Publication Date Title
JP5528445B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP4334533B2 (ja) 動画像符号化／復号化方法および装置
JP5513740B2 (ja) 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
CN107087191B (zh) 图像解码方法和图像处理设备
EP2316224B1 (en) Conversion operations in scalable video encoding and decoding
US9025676B2 (en) Method, system and device for improving video quality through in-loop temporal pre-filtering
JPWO2008084745A1 (ja) 画像符号化装置および画像復号化装置
JPH09182084A (ja) 動画像符号化装置および動画像復号化装置
US20070160298A1 (en) Image encoder, image decoder, image encoding method, and image decoding method
WO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
EP1792477A2 (en) Noise filter for video processing
WO2019003676A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2018235405A1 (ja) 画像処理装置と画像処理方法
JPWO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPH1141594A (ja) 動画像符号化装置および方法、動画像復号化装置および方法、並びに伝送媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080027052.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10789156

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011519507

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2764868

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 13378974

Country of ref document: US

Ref document number: MX/A/2011/013861

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2010789156

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010789156

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 9855/CHENP/2011

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 20127001478

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012101781

Country of ref document: RU

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1015984

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: IDP00201407775

Country of ref document: ID

Ref document number: IDP00201407774

Country of ref document: ID

ENP Entry into the national phase

Ref document number: PI1015984

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20111216