WO2011080807A1 - 動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
WO2011080807A1
WO2011080807A1 PCT/JP2009/007360 JP2009007360W WO2011080807A1 WO 2011080807 A1 WO2011080807 A1 WO 2011080807A1 JP 2009007360 W JP2009007360 W JP 2009007360W WO 2011080807 A1 WO2011080807 A1 WO 2011080807A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
prediction error
luminance
prediction
error signal
Prior art date
Application number
PCT/JP2009/007360
Other languages
English (en)
French (fr)
Inventor
小山純平
中川章
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2011547116A priority Critical patent/JP5488613B2/ja
Priority to PCT/JP2009/007360 priority patent/WO2011080807A1/ja
Publication of WO2011080807A1 publication Critical patent/WO2011080807A1/ja
Priority to US13/530,514 priority patent/US9094687B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an apparatus, method, and program for encoding a moving image, and an apparatus, method, and program for decoding the encoded moving image.
  • High-efficiency encoding refers to an encoding process for converting a data string into another data string and compressing the data amount.
  • an intra-picture prediction (intra prediction) encoding method uses the fact that moving image data is highly correlated in the spatial direction. That is, this encoding method can restore an image using only information in a picture without using another picture.
  • an inter-picture prediction (inter prediction) encoding method is known. This encoding method uses the fact that moving image data is highly correlated in the time direction. In general, moving image data has a high degree of similarity between picture data at a certain timing and picture data at the next timing. Inter prediction encoding encodes an image using this property.
  • an original image is generally divided into a plurality of blocks.
  • the encoding device selects, for each block, a region similar to the original image block from the decoded image of the encoded frame, and calculates a difference between the similar region and the original image block, so that the temporal difference is obtained. Remove redundancy. Then, by encoding the motion vector information indicating the similar region and the difference information from which redundancy is removed, a high compression rate is realized.
  • the transmission apparatus transmits motion vector data representing “motion” from the previous picture to the target picture, and the predicted image of the coding target picture and the actual picture of the coding target picture. Difference data from the image is generated, and the generated motion vector data and difference data are sent to the receiving device.
  • the predicted image is created using the previous picture and the motion vector data.
  • the receiving apparatus reproduces the encoding target picture from the received motion vector data and difference data.
  • ISO / IEC MPEG-2 / MPEG-4 hereinafter, MPEG-2, MPEG-4).
  • MPEG-2 defines I pictures, P pictures, and B pictures.
  • An I picture is obtained by encoding only information in a picture.
  • a P picture is obtained by performing forward inter-picture prediction from a past picture and encoding a prediction error.
  • a B picture is obtained by performing bidirectional inter-picture prediction from a past picture and a future picture, and encoding a prediction error.
  • a signal encoding method having the following first to third steps has been proposed.
  • a signal having a correlation with the encoding target signal is acquired as a reference signal.
  • a conversion base that is the basis of the conversion rule is derived based on the characteristics of the acquired reference signal.
  • the encoding target signal is converted and encoded according to a conversion rule based on the derived conversion base.
  • Patent Document 1 As a related technique, a predictive decoding device described in Patent Document 2 has been proposed.
  • An object of the present invention is to further improve the efficiency of encoding / decoding of moving images.
  • a video encoding device includes a motion compensation signal generation unit that generates a plurality of motion compensation signals based on an encoding target signal representing an encoding target image and a plurality of reference images, A prediction signal generation unit that generates a prediction signal that represents a prediction value of the encoding target signal using a plurality of motion compensation signals, and a prediction error signal that represents a difference between the encoding target signal and the prediction signal Information when the prediction error signal is encoded based on the plurality of motion compensation signals out of a plurality of generation rules for generating encoding information from the prediction error signal generation unit and the prediction error signal A selection unit that selects a generation rule that is expected to have the smallest amount, and an encoding information generation unit that generates encoding information from the prediction error signal according to the generation rule selected by the selection unit. .
  • the encoding apparatus having the above configuration may include a motion estimation unit that generates a motion vector based on an encoding target signal representing an encoding target image and a plurality of reference images.
  • the motion compensation signal generation unit generates a motion compensation signal using the motion vector.
  • a video decoding device is a configuration for decoding encoded information generated by a video encoding device, and that generates a plurality of motion compensation signals based on a plurality of reference images.
  • a compensation signal generation unit a prediction signal generation unit that generates a prediction signal representing a prediction value of a decoded image using the plurality of motion compensation signals, and a plurality of reproduction rules that generate a reproduction prediction error signal from the decoding target signal.
  • a selection unit that selects a reproduction rule determined based on the plurality of motion compensation signals, and a reproduction prediction error signal generation that generates a reproduction prediction error signal from the decoding target signal according to the reproduction rule selected by the selection unit
  • a decoded image generation unit that generates a decoded image from the reproduction prediction error signal and the prediction signal.
  • a moving image encoding apparatus is configured to encode an encoding target signal including a luminance signal and a color difference signal, and generates a luminance prediction signal representing a prediction value of the luminance signal.
  • a color difference prediction signal generation unit for generating, a color difference prediction error signal generation unit for generating a color difference prediction error signal representing a difference between the color difference signal of the encoding target signal and the color difference prediction signal, and a luminance code from the luminance prediction error signal Generation rule that is expected to have the smallest amount of information when the luminance prediction error signal is encoded, based on the color difference prediction error signal, from among a plurality of generation rules for generating encoding information
  • a selection unit that selects, in accordance with generation rules selected by the selection unit, the luminance coding information generation unit that generates a luminance coding information from said luminance prediction error signal.
  • a moving picture decoding apparatus is configured to decode encoded information including a luminance signal and a color difference signal generated by a moving picture encoding apparatus, and the luminance prediction representing a predicted value of the luminance signal
  • a luminance prediction signal generation unit that generates a signal
  • a color difference reproduction prediction error signal generation unit that generates a color difference reproduction prediction error signal from the color difference encoding information included in the encoding information
  • the encoding information A selection unit that selects a reproduction rule determined based on the chrominance reproduction prediction error signal from among a plurality of reproduction rules that generate a luminance reproduction prediction error signal from the luminance encoding information that is present, and the reproduction rule selected by the selection unit
  • a luminance reproduction prediction error signal generation unit for generating a luminance reproduction prediction error signal from the luminance coding information, and a luminance decoded image from the luminance reproduction prediction error signal and the luminance prediction signal Luminance decoded image generating unit for forming, with a.
  • the efficiency of moving image encoding / decoding is improved.
  • FIG. 1 shows the structure of the moving image encoder of embodiment. It is a figure which shows the structure of the moving image decoding apparatus of embodiment. It is a figure explaining bidirectional prediction. It is a figure explaining the correlation with a prediction error signal and a motion compensation signal. It is a figure which shows an example of a zigzag scan. It is a figure which shows the structure of the encoding apparatus of 1st Embodiment. It is a figure which shows the operation example of the encoding apparatus of 1st Embodiment. It is a figure explaining the method of selecting a base according to the bias pattern of a difference. It is FIG. (1) explaining the other method of selecting a base. It is FIG. (2) explaining the other method of selecting a base. It is FIG.
  • FIG. (4) explaining the other method of selecting a base It is a figure which shows the structure of the decoding apparatus of 1st Embodiment. It is a figure which shows the operation example of the decoding apparatus of 1st Embodiment. It is a flowchart which shows the encoding method of 1st Embodiment. It is a flowchart which shows the decoding method of 1st Embodiment. It is a figure which shows the structure of the encoding apparatus of 2nd Embodiment. It is a figure which shows the operation example of the encoding apparatus of 2nd Embodiment. It is a flowchart which shows the method of selecting the conversion rule of luminance information. It is a figure which shows the structure of the decoding apparatus of 2nd Embodiment. It is a figure which shows the hardware constitutions of an encoding apparatus or a decoding apparatus.
  • FIG. 1 is a diagram illustrating a configuration of a moving image encoding apparatus according to an embodiment.
  • 1 includes a prediction error signal generation unit 11, an orthogonal transformation unit 12, a quantization unit 13, a zigzag scanning unit 14, an entropy coding unit 15, an inverse quantization unit 16, and an inverse orthogonal transformation unit. 17, a decoded image generation unit 18, a decoded image storage unit 19, a motion compensation signal generation unit 20, and a prediction signal generation unit 21.
  • the moving image encoding apparatus 1 divides each picture of a moving image into a plurality of blocks, and performs encoding on each block.
  • the block size may be fixed or variable.
  • the block data representing the image of each block obtained by dividing the current picture (encoding target picture) is sequentially input to the prediction error signal generation unit 11.
  • the block size is, for example, a 16 ⁇ 16 pixel block (macroblock).
  • the prediction error signal generation unit 11 generates a prediction error signal by calculating a difference between the encoding target block data and the block data (prediction signal) of the predicted image picture supplied from the prediction signal generation unit 21. To do.
  • the orthogonal transform unit 12 performs an orthogonal transform process on the prediction error signal. By this orthogonal transformation, a frequency domain signal separated into horizontal and vertical frequency components is generated.
  • the orthogonal transform is, for example, a discrete cosine transform (DCT: Discrete Cosine Transform).
  • the quantization unit 13 quantizes the output signal of the orthogonal transform unit 12. The code amount of the converted prediction error signal is reduced by the quantization. The output signal of the quantization unit 13 is supplied to the zigzag scan unit 14 and the inverse quantization unit 16.
  • the zigzag scanning unit 14 scans the output signal (a plurality of coefficients) of the quantization unit 13 with a predetermined scan pattern, and generates run level information.
  • the run level information includes information (level) indicating a value of a coefficient that is not zero, information (run) indicating a length of continuous zeros, and the like.
  • the entropy encoding unit 15 performs entropy encoding (variable length encoding) on the run level information output from the zigzag scanning unit 14. In the entropy code, a variable-length code is assigned according to the appearance frequency of the symbol.
  • the inverse quantization unit 16 inversely quantizes the output signal of the quantization unit 13.
  • the inverse orthogonal transform unit 17 performs inverse orthogonal transform on the output signal of the inverse quantization unit 16.
  • the processes of the inverse quantization unit 16 and the inverse orthogonal transform unit 17 correspond to the processes of the quantization unit 13 and the orthogonal transform unit 12, respectively. That is, by performing a decoding process using the inverse quantization unit 16 and the inverse orthogonal transform unit 17, a signal similar to the prediction error signal (hereinafter, a reproduction prediction error signal) is obtained.
  • the decoded image generation unit 18 adds the reproduction prediction error signal output from the inverse orthogonal transform unit 17 to the block data of the prediction image generated by the prediction signal generation unit 21. Thereby, a locally decoded image is generated.
  • the decoded image storage unit 19 stores the block data generated by the decoded image generation unit 18 as new reference picture data.
  • the motion compensation signal generation unit 20 calculates the motion vector of the encoding target block using the block data of the encoding target block of the original picture and the block data of the reference picture stored in the decoded image storage unit 19.
  • the motion vector is a value representing a spatial shift between the original picture and the reference picture. For example, block matching for searching for the position of the block most similar to the current picture coding block in the reference picture. Realized by technology. Then, the motion compensation signal generating unit 20 generates block data of the reference picture that has been motion compensated by performing motion compensation using the motion vector.
  • the prediction signal generation unit 21 generates a prediction signal of the encoding target signal based on the block data of the reference picture obtained by the motion compensation signal generation unit 20. This prediction signal is supplied to the prediction error signal generator 11 as described above.
  • FIG. 2 is a diagram illustrating a configuration of the video decoding device according to the embodiment. 2 includes an entropy decoding unit 31, an inverse zigzag scanning unit 32, an inverse quantization unit 33, an inverse orthogonal transform unit 34, a motion compensation signal generation unit 35, a prediction signal generation unit 36, and a decoded image generation. Unit 37 and a decoded image storage unit 38. Then, the moving picture decoding apparatus 2 decodes the encoded information generated by the moving picture encoding apparatus 1 shown in FIG. 1 and reproduces the image.
  • the entropy decoding unit 31, the inverse zigzag scanning unit 32, the inverse quantization unit 33, and the inverse orthogonal transformation unit 34 are respectively the entropy encoding unit 15, the zigzag scanning unit 14, the quantization unit 13, and the orthogonal transformation unit 12 illustrated in FIG. The process corresponding to is executed. Thereby, the prediction error signal is reproduced from the received data stream.
  • the motion compensation signal generation unit 35 generates a motion compensation signal using the reference picture stored in the decoded image storage unit 38 and the motion vector notified from the encoding device.
  • the prediction signal generation unit 36 generates a prediction signal representing the prediction value of the decoded image based on the motion compensation signal.
  • the motion compensation signal generation unit 35 and the prediction signal generation unit 36 basically generate a prediction signal by the same method as the motion compensation signal generation unit 20 and the prediction signal generation unit 21 shown in FIG.
  • the decoded image generation unit 37 adds the output signal of the inverse orthogonal transform unit 34 (that is, the reproduction prediction error signal) to the prediction signal generated by the prediction signal generation unit 36, thereby generating a decoded image.
  • the generated decoded image is stored in the decoded image storage unit 38 as a reference picture used in the subsequent decoding processing.
  • FIG. 3 is a diagram for explaining bidirectional prediction.
  • bi-directional prediction bidirectional prediction / bipredictive
  • the forward reference image forward motion compensated image
  • the backward reference image backward motion compensated image
  • the forward prediction block is an image block that is most similar to the encoding target block in the forward reference image.
  • the forward motion vector represents “motion” between the current block and the forward prediction block.
  • a forward motion compensation signal representing an image of the forward prediction block is generated.
  • the backward prediction block is an image block that is most similar to the encoding target block in the backward reference image.
  • the backward motion vector represents “motion” between the encoding target block and the backward prediction block.
  • a backward motion compensation signal representing the image of the backward prediction block is generated.
  • the prediction signal of the encoding target signal is generated by calculating the average of the forward motion compensation signal and the backward motion compensation signal. Then, the prediction error signal indicating the difference between the encoding target signal and the prediction signal, the forward motion vector information, and the backward motion vector information are encoded.
  • FIG. 3 an adder for adding the forward motion compensation signal and the backward motion compensation signal is depicted, but actually, the added value is divided by “2”.
  • H.264 two reference images are generated from an arbitrary plurality of reference pictures, and a value obtained by weighting and adding them is used as a B picture prediction image.
  • FIG. 4 is a diagram for explaining the correlation between the prediction error signal and the motion compensation signal.
  • the square object X rotates clockwise.
  • the encoding target image at time t is encoded using the forward reference image at time t ⁇ 1 and the backward reference image at time t + 1.
  • the forward motion vector and the backward motion vector are both zero.
  • the pixel value of the region where the object X exists is 100, and the pixel value of the background region is zero.
  • the pixel value is not particularly limited, but is a luminance level, for example.
  • the forward motion compensation block an area having the smallest difference from the encoding target block is selected.
  • the same image as the encoding target block is not detected in the forward reference image. That is, in the forward reference image, an image block having a slight difference from the encoding target block is extracted. Similarly, in the backward reference image, an image block having a slight difference from the encoding target block is extracted.
  • the prediction signal is generated by averaging the forward motion compensation signal and the backward motion compensation signal for each pixel.
  • the pixel value of each pixel of the block of the prediction signal is “100” in the region where the object X exists in both the forward motion compensation signal and the backward motion compensation signal, and the object X exists only in one motion compensation signal.
  • the existing area is “50”, and both motion compensation signals are “0” in the background area.
  • the prediction signal is subtracted from the encoding target signal for each pixel, and a block of the prediction error signal is generated.
  • the prediction error signal includes a pixel having a pixel value of 50 and a pixel having a pixel value of ⁇ 50 at the boundary between the object X and the background on the encoding target image.
  • the difference signal between motion compensation signals (or the difference signal between predictions) shown in FIG. 4 is obtained by calculating the absolute difference between two motion compensation images for each pixel. Then, as shown in FIG. 4, the motion compensation signal difference signal has a pixel having a pixel value of 100 at the boundary between the object X and the background on the encoding target image.
  • the shape of the region where the pixel value is not 0 is almost the same. That is, a prediction error occurs in a region where the pixel values of the forward motion compensation signal and the backward motion compensation signal are different. Therefore, the correlation between the pixel value distribution of the motion compensation signal difference signal and the pixel value distribution of the prediction error signal is high.
  • the prediction error signal is subjected to entropy encoding after being orthogonally transformed.
  • the plurality of coefficients obtained by the orthogonal transform are scanned with, for example, the pattern shown in FIG. 5, further encoded into run level information, and sent to the entropy encoding unit 15.
  • the distribution of coefficients obtained by orthogonal transformation of the prediction error signal depends on the distribution of pixel values of the prediction error signal. Therefore, if the distribution of pixel values of the prediction error signal is detected and an orthogonal transform method is appropriately selected according to the distribution, the amount of information of the encoded data can be reduced.
  • the information amount of encoded data is reduced using the correlation. That is, instead of the pixel value distribution of the prediction error signal, a method for orthogonally transforming the prediction error signal is appropriately selected based on the pixel value distribution of the motion compensation signal difference signal.
  • FIG. 6 is a diagram illustrating a configuration of the encoding device according to the first embodiment.
  • each picture of a moving image is divided into a plurality of blocks, and the encoding device encodes image data for each block.
  • the encoding target signal represents an image of the encoding target block.
  • the motion estimation unit 101 generates one or a plurality of motion vectors based on a coding target signal representing a coding target block and a plurality of reference pictures.
  • the motion compensation signal generation unit 102 generates one or a plurality of motion compensation signals based on the motion vector and the plurality of reference pictures. For example, in bi-directional prediction, the motion estimation unit 101 generates a forward motion vector and a backward motion vector, and the motion compensation signal generation unit 102 generates a forward motion compensation signal and a backward motion compensation signal. Note that the motion estimation unit 101 may be included in the motion compensation signal generation unit 102.
  • the prediction signal generation unit 103 generates a prediction signal representing the prediction value of the encoding target signal using the motion compensation signal.
  • the prediction signal generation unit 103 is, for example, MPEG-1, MPEG-2, H.264, or the like. Inter prediction, bi-directional prediction (B picture) used in H.264 / MPEG-4 AVC, etc. It is realized by intra prediction used in H.264 / MPEG-4 AVC.
  • a prediction mode H.264 / MPEG-4 AVC intra prediction mode, inter prediction vector, etc.
  • the prediction mode determination method is realized by, for example, an existing intra prediction mode determination method or a vector estimation method.
  • the prediction error signal generation unit 104 generates a prediction error signal representing a difference between the encoding target signal and the prediction signal, as described with reference to FIG.
  • the prediction error signal is sent to the encoded information generation unit 105.
  • the encoding information generation unit 105 generates encoding information from the prediction error signal according to one generation rule selected from among a plurality of generation rules # 1 to #N.
  • encoded information generating sections # 1 to #N generate encoded information from prediction error signals according to generation rules # 1 to #N, respectively.
  • the encoded information generation unit 105 corresponds to the orthogonal transform unit 12 and the quantization unit 13 illustrated in FIG.
  • the encoding information generation unit 105 is, for example, MPEG-1, MPEG-2, H.264, or the like. It is realized by a combination of orthogonal transformation and quantization used in H.264 / MPEG-4 AVC. In this case, the encoding information corresponds to the quantization result of each coefficient obtained by orthogonal transform. Also, the encoded information generation unit 104 may be realized by Wavelet transform, DPCM, vector quantization, etc. employed in JPEG-2000 or the like.
  • a plurality of motion compensation signals used to generate the prediction signal is also large. That is, there is a correlation between the distribution of prediction error signals and the distribution of difference values between motion compensation signals. For example, when the prediction error in the upper right region of the encoding target block is large, the difference between the motion compensation signals in the corresponding region is also large.
  • a generation rule for generating encoded information (based on a distribution of differences between a plurality of motion compensation signals used for generating a prediction signal ( That is, encoded information generating units # 1 to #N) are selected.
  • the selection unit 106 selects a generation rule (encoding information generation units # 1 to #N) for generating encoding information from the prediction error signal based on the difference between the motion compensation signals. That is, as illustrated in FIG. 4, the selection unit 106 calculates a difference between the forward motion compensation signal and the backward motion compensation signal, thereby generating a motion compensation signal difference signal. Then, the selection unit 106 selects a generation rule that is expected to have the smallest amount of information when the prediction error signal is encoded, based on the difference signal between motion compensation signals. Then, the encoded information generation unit 105 generates encoded information from the prediction error signal according to the generation rule selected by the selection unit 106.
  • a generation rule encoding information generation units # 1 to #N
  • the entropy encoding unit 107 performs entropy encoding on the encoded information generated by the encoded information generation unit 105 to generate entropy encoded information.
  • the encoded information is generated according to a generation rule that is expected to minimize the amount of information when entropy encoding is performed. Therefore, the information amount of the encoded data stream generated by the encoding device of the first embodiment is small.
  • the entropy encoding unit 107 also encodes motion vector information representing a motion vector. In FIG. 6, the zigzag scanning unit is omitted.
  • the reproduction prediction error signal generation unit 108 generates a reproduction prediction error signal from the encoded information according to one reproduction rule selected from a plurality of reproduction rules # 1 to #N.
  • reproduction prediction error signal generation units # 1 to #N generate reproduction prediction error signals from encoded information according to reproduction rules # 1 to #N, respectively.
  • the reproduction rules # 1 to #N correspond to the generation rules # 1 to #N, respectively. That is, the reproduction rules # 1 to #N define the reverse process of the processes according to the generation rules # 1 to #N, respectively.
  • the reproduction prediction error signal generation unit 108 corresponds to the inverse quantization unit 16 and the inverse orthogonal transform unit 17 illustrated in FIG.
  • the selection unit 106 selects a reproduction rule (reproduction prediction signal generation units # 1 to #N) for generating a reproduction prediction error signal based on the difference between the motion compensation signals. At this time, the selection unit 106 selects a reproduction rule corresponding to the generation rule selected for generating the encoded information. In the example illustrated in FIG. 6, the encoded information generation unit # 2 and the reproduction prediction error signal generation unit # 2 are selected.
  • the local decoded image generation unit 109 generates a local decoded image from the prediction signal generated by the prediction signal generation unit 103 and the reproduction prediction error signal generated by the reproduction prediction error signal generation unit 108. That is, the locally decoded image is obtained by encoding the encoding target image once and then decoding.
  • the reference image storage unit 110 collects locally decoded images and stores them as reference pictures used in subsequent encoding processing.
  • the encoded information generation units # 1 to #N and the reproduction prediction error signal generation units # 1 to #N each have a pixel in which a prediction error is localized in a block. Depending on the position, the information amount of the encoded prediction error signal is selected to be the smallest.
  • the encoded information generation unit 105 and the reproduction prediction error signal generation unit 108 are realized by, for example, a plurality of types of orthogonal transform bases and inverse orthogonal transform bases corresponding to pixel positions where the prediction error is localized.
  • the orthogonal transformation is, for example, KL transformation.
  • a region with a large prediction error and a region with a small prediction error may be detected, and different orthogonal transform / inverse orthogonal transform may be performed on these two regions.
  • DPCM may be performed on a region with a large prediction error, and orthogonal transformation may be performed on a region with a small prediction error.
  • FIG. 7 is a diagram illustrating an operation example of the encoding apparatus according to the first embodiment.
  • the encoding information generation unit 105 includes encoding information generation units # 0 to # 15, and the reproduction prediction error signal generation unit 108 includes reproduction prediction error signal generation units # 0 to # 15. Note that the reproduction prediction error signal generation units # 0 to # 15 respectively perform reverse processing of the processing by the encoded information generation units # 0 to # 15.
  • the motion compensation signal generation unit 102 generates a forward motion compensation signal and a backward motion compensation signal.
  • Each image block represented by the forward motion compensation signal and the backward motion compensation signal has a round texture similar to the encoding target block.
  • the positions and / or shapes of the textures present in the three image blocks do not necessarily match each other.
  • the prediction signal generation unit 103 generates the prediction signal 121 by calculating the average of the forward motion compensation signal and the backward motion compensation signal. Then, the prediction error signal generation unit 104 generates a prediction error signal 122 by calculating a difference between the encoding target signal and the prediction signal 121. Then, the prediction error signal 122 is sent to the encoded information generation unit 105.
  • the difference calculation unit 111 generates a motion compensation signal difference signal 123 representing a difference between the forward motion compensation signal and the backward motion compensation signal.
  • the difference calculation unit 111 may be provided in the selection unit 106.
  • the regions where the texture does not exist substantially match each other, but there are differences in the regions where the texture exists. For this reason, in the block represented by the difference signal 123 between motion compensation signals, the difference value of the area where the texture exists (here, the lower right area) is large.
  • the selection unit 106 selects an encoded information generation unit (here, # 1) corresponding to the motion compensation signal difference signal 123 from the encoded information generation units # 0 to # 15.
  • an encoded information generation unit here, # 1
  • the encoded information generation unit 105 generates encoded information from the prediction error signal 122 using the encoded information generation unit # 1.
  • the selection unit 106 selects a reproduction prediction error signal generation unit corresponding to the selected encoded information generation unit from the reproduction prediction error signal generation units # 0 to # 15.
  • the reproduction prediction error signal generation unit # 1 since the encoding information generation unit # 1 is selected in the encoding information generation unit 105, the reproduction prediction error signal generation unit # 1 is selected in the reproduction prediction error signal generation unit.
  • the reproduction prediction error signal generation unit # 1 performs a reverse process of the process by the encoded information generation unit # 1. For example, when the encoding information generation unit # 1 performs orthogonal transformation, the reproduction prediction error signal generation unit # 1 performs corresponding inverse orthogonal transformation. Then, the reproduction prediction error signal generation unit 108 uses the reproduction prediction error signal generation unit # 1 to generate the reproduction prediction error signal 124 from the encoded information. Note that the method of generating the local decoded image 125 and the reference image 126 using the reproduction prediction error signal 124 is as described above.
  • FIG. 8 is a diagram for explaining a method of selecting an orthogonal transform base according to a difference bias pattern between motion compensation signals.
  • the blocks represented by the forward motion compensation signal, the backward motion compensation signal, and the motion compensation signal difference signal are each divided into four regions A to D.
  • the areas A to D are each 4 ⁇ 4 pixels.
  • the difference signal between motion compensation signals represents a difference between the pixel value (for example, luminance level) of each pixel of the forward motion compensation signal and the pixel value of the corresponding pixel of the backward motion compensation signal. Then, the selection unit 106 calculates the sum of absolute difference values for the areas A to D of the block represented by the difference signal between motion compensation signals. That is, the selection unit 106 calculates the difference absolute value sums S A to S D for the regions A to D, respectively.
  • the selection unit 106 compares the difference absolute value sums S A to S D with the threshold Th.
  • This threshold Th may be a predetermined fixed value, or may be a value that adaptively changes while executing the encoding process. Then, a combination pattern as a result of the threshold determination for each of the difference absolute value sums S A to S D is detected.
  • bases # 0 to # 15 corresponding to the combination patterns as a result of the threshold determination are respectively determined.
  • “base” corresponds to a conversion rule for orthogonal transform. That is, 16 different bases # 0 to # 15 are defined.
  • base numbers “0” to “15” are represented by 4-bit data corresponding to four threshold determination results. In this case, when the result of the threshold determination is “Yes”, it represents “1”, and when the result of the threshold determination is “No”, it represents “0”.
  • the bases # 0 to # 15 are bases that reduce the amount of encoded information according to the distribution of pixels with large prediction errors. Note that the optimum states of the bases # 0 to # 15 are determined in advance through experiments or simulations, for example.
  • each base # 0 to # 15 is represented by a matrix corresponding to the size of the encoding target block. For example, when the encoding target block is 8 ⁇ 8 pixels, each base # 0 to # 15 is represented by a matrix of 64 8 rows ⁇ 8 columns.
  • the encoding information generation unit 105 has bases # 0 to # 15.
  • the bases # 0 to # 15 correspond to the encoded information generation units # 0 to # 15 shown in FIG.
  • the encoding information generation unit 105 performs orthogonal transform on the prediction error signal using the basis selected by the selection unit 106.
  • the encoding information generation unit 105 performs orthogonal transform on the prediction error signal using the base # 1.
  • the orthogonal transformation is realized by multiplying a matrix representing the prediction error signal by a matrix representing the base.
  • the orthogonally transformed prediction error signal is quantized as necessary and output as encoded information.
  • a base for orthogonal transformation is provided for each bias pattern of the difference signal between motion compensation signals.
  • the prediction error signal is converted on the basis corresponding to the bias pattern.
  • a base is selected such that the information amount of the encoded information of the prediction error signal is small. Therefore, according to the encoding method of the first embodiment, the amount of encoded information is reduced.
  • FIG. 9 to FIG. 12 are diagrams for explaining other methods for selecting a base according to a difference distribution pattern.
  • a 4 ⁇ 4 block size signal is converted.
  • the difference signal between the motion compensation signals is generated by calculating the difference between the forward motion compensation signal and the backward motion compensation signal.
  • a distribution pattern of difference values is detected. For example, absolute difference values S A to S D of each pixel included in row 0 are calculated.
  • each difference absolute value S A to S D is compared with a threshold Th. A similar comparison is performed for rows 1 to 3.
  • the bases # 0 to # 15 are associated with the distribution patterns # 0 to # 15, respectively. Each base # 0 to # 15 is determined so that energy is concentrated on the first principal component in the “row” after conversion when used for the “row” having the corresponding distribution pattern. ing.
  • the encoding information generation unit 105 converts each row of the prediction error signal and the motion compensation signal difference signal using the selected base.
  • row 0 is transformed with base # 9.
  • row 1, row 2, and row 3 are converted by basis # 4, basis # 11, and basis # 2, respectively.
  • each row of the prediction error signal is converted with the basis selected as described above, energy is concentrated on the first principal component in each row.
  • Each column of the following orthogonal transform base represents an eigenvector.
  • the first to fourth columns in order from the left represent the first principal component, the second principal component, the third principal component, and the fourth principal component of the eigenvector, respectively.
  • Orthogonal basis # 0 base associated with horizontal distribution pattern # 0
  • Orthogonal basis # 1 0.211, 0.617, -0.608, -0.453 0.381, 0.561, 0.170, 0.715 0.599, 0.042, 0.624, -0.501 0.672, -0.550, -0.461, 0.183
  • Orthogonal basis # 2 0.310, 0.614, -0.583, 0.432 0.514, 0.469, 0.275, -0.664 0.635, -0.223, 0.504, 0.542 0.487, -0.594, -0.575, -0.281
  • Orthogonal basis # 3 0.254, 0.607, -0.623, -0.422 0.450, 0.522
  • the base sets # 0 to # 15 are associated with the base patterns # 0 to # 15, respectively.
  • Each of the base sets # 0 to # 15 has four bases (first to fourth principal component orthogonal bases).
  • the orthogonal bases for the first to fourth principal components are created corresponding to the first to fourth components of the 4 ⁇ 4 basis transformation matrix obtained by executing the basis transformation in the row direction shown in FIGS. Has been.
  • base set # 3 is selected.
  • the first component of the 4 ⁇ 4 basis transformation matrix is transformed by the first principal component orthogonal basis of the basis set # 3.
  • the second to fourth components of the 4 ⁇ 4 basis transformation matrix are transformed by the second to fourth principal component orthogonal bases of the basis set # 3, respectively.
  • Each base set # 0 to # 15 is determined so that energy is concentrated on the first element in the “column” after conversion when used for the “column” having the corresponding base pattern. Yes. Therefore, when each column of the prediction error signal after conversion in the row direction is converted by the base set selected as described above, energy is concentrated on the first element in each column. That is, when orthogonal transformation is performed in the row direction and the column direction by the above-described method, energy is concentrated in the low frequency component region.
  • each orthogonal base column below represents an eigenvector.
  • the first to fourth columns in order from the left represent the first principal component, the second principal component, the third principal component, and the fourth principal component of the eigenvector, respectively.
  • the matrix after the transformation tends to have the largest value of the first principal component and the values of the second to fourth principal components in order.
  • each row of the encoding target signal in the real space is orthogonally transformed in the horizontal direction, and the arrangement of the principal components is unified in all rows. Then, in this matrix, principal components having the same rank in each row are arranged in the column direction.
  • the base set of the embodiment has a vertical base for each principal component.
  • Base set # 0 (base set associated with vertical base pattern # 0) Orthogonal basis for the first principal component 0.397, -0.596, 0.614, 0.333 0.592, -0.345, -0.381, -0.621 0.580, 0.316, -0.410, 0.629 0.394, 0.653, 0.557, -0.329 Orthogonal basis for second principal component 0.397, -0.619, 0.615, 0.284 0.590, -0.305, -0.393, -0.637 0.580, 0.272, -0.402, 0.655 0.399, 0.671, 0.553, -0.292 Orthogonal basis for the third principal component 0.462, 0.556, -0.510, 0.465 0.529, 0.444, 0.439, -0.574 0.529, -0.431, 0.498, 0.535 0.476, -0.555, -0.546, -0.408 Orthogonal basis for the fourth principal component 0.430, 0.621
  • pattern selection and prediction error signal conversion are performed in the row direction processing, and pattern selection and prediction error signal conversion are performed in the column direction processing.
  • the encoding method is not limited to this procedure. That is, for example, the row direction conversion process and the column direction conversion process may be performed after the row direction pattern selection process and the column direction pattern selection process.
  • FIG. 13 is a diagram illustrating a configuration of the decoding device according to the first embodiment.
  • the decoding device according to the first embodiment decodes encoded data generated by the encoding device shown in FIG.
  • This encoded data stream includes encoded information generated by the encoded information generation unit 105, a reference picture index, and motion vector information. Note that the encoding information is processed as a decoding target signal representing a decoding target block in the decoding device.
  • the decoding device basically performs reverse processing of the processing by the encoding device. Further, the decoding device performs a decoding process for each block.
  • the entropy decoding unit 151 performs entropy decoding on the encoded data stream to reproduce encoded information, motion vector information, and the like. In FIG. 13, the reverse zigzag scanning unit is omitted.
  • the motion compensation signal generation unit 152 generates a plurality of motion compensation signals based on the motion vector information received from the encoding device and a plurality of reference pictures.
  • the forward motion compensation signal and the backward motion compensation signal are generated.
  • the reference picture is an image previously decoded and stored in the reference image storage unit 157, and is the same as the reference picture used in the encoding device. Therefore, the same motion compensation signal is generated in the encoding device and the decoding device.
  • the prediction signal generation unit 153 generates a prediction signal representing a prediction value of the decoded image using a plurality of motion compensation signals. That is, the prediction signal is generated by calculating the average of the forward motion compensation signal and the backward motion compensation signal.
  • the selection unit 154 selects a reproduction rule determined based on a plurality of motion compensation signals obtained by the motion compensation signal generation unit 152 from among a plurality of reproduction rules for generating a reproduction prediction error signal from the decoding target signal.
  • the reproduction rule is selected based on the difference between the forward motion compensation signal and the backward motion compensation signal.
  • the reproduction prediction error signal generation unit 155 includes a plurality of reproduction prediction error signal generation units # 1 to #N.
  • Reproduction prediction error signal generation units # 1 to #N generate reproduction prediction error signals from decoding target signals according to reproduction rules # 1 to #N, respectively.
  • the reproduction rules # 1 to #N respectively define the reverse processing of the processing according to the generation rules # 1 to #N used in the encoding device. Then, the reproduction prediction error signal generation unit 155 generates a reproduction prediction error signal from the decoding target signal according to the reproduction rule selected by the selection unit 154.
  • the decoded image generation unit 156 generates a decoded image from the reproduction prediction error signal and the prediction signal.
  • the decoded image is stored in the reference image storage unit 157 as a reference picture used in the subsequent decoding process.
  • the configuration and operation of the motion compensation signal generation unit 152, the prediction signal generation unit 153, the selection unit 154, and the reproduction prediction error signal generation unit 155 are basically the motion compensation signal generation unit 102 and the prediction signal generation unit 103 illustrated in FIG.
  • the selection unit 106 and the reproduction prediction error signal generation unit 105 are the same. That is, similar motion compensation signals are generated from similar reference pictures in both the encoding device and the decoding device. Therefore, in the encoding device and the decoding device, the distribution of the prediction error signal can be estimated from the distribution of the difference between the motion compensation signals in the same manner.
  • the decoding device can receive the difference between the motion compensation signals without receiving a special notification from the encoding device.
  • the decoding method corresponding to the encoding method used in the encoding device can be selected according to the distribution of.
  • FIG. 14 is a diagram illustrating an operation example of the decoding device according to the first embodiment.
  • the operation of the decoding apparatus is basically the same as that of the encoding apparatus described with reference to FIG. That is, the difference signal between the motion compensation signals is generated by calculating the difference between the forward motion compensation signal and the backward motion compensation signal. This difference calculation is executed by the difference calculation unit 158. Note that the difference calculation unit 158 may be realized as a part of the selection unit 154.
  • the selection unit 154 detects the distribution pattern of the difference signal between motion compensation signals. In this example, the difference value in the lower right region in the block is large. Then, the selection unit 154 selects a basis corresponding to the distribution pattern from a plurality of bases (reproduction prediction error signal generation units # 0 to # 15) provided by the reproduction prediction error signal generation unit 155. Note that the method of selecting the base according to the distribution pattern is the same as that of the encoding apparatus, as described with reference to FIG. 8 or FIGS.
  • the reproduction prediction error signal generation unit 155 converts the encoded information (decoding target signal) using the base selected by the selection unit 154 to generate a reproduction prediction error signal. At this time, the inverse transform of the orthogonal transform executed in the encoded information generation unit 105 of the encoding device is executed. Thereafter, a decoded image is generated using the reproduction prediction error signal and the prediction signal.
  • FIG. 15 is a flowchart showing the encoding method of the first embodiment.
  • the encoding method of this flowchart is executed by, for example, the encoding device shown in FIG.
  • the encoding apparatus executes the processing of this flowchart for each encoding target block.
  • step S1 the motion estimation unit 101 searches for a motion vector for bidirectional prediction. Thereby, the forward motion vector and the backward motion vector are detected.
  • step S2 the motion compensation signal generation unit 102 generates a motion compensation signal based on the forward motion vector and the backward motion vector. Thereby, a forward motion compensation signal and a backward motion compensation signal are generated.
  • step S3 the selection unit 106 (or the difference calculation unit 111) calculates a difference between the motion compensation signals. That is, a motion compensation signal difference signal representing a difference between the forward motion compensation signal and the backward motion compensation signal is generated.
  • step S4 the selection unit 106 selects the orthogonal transform base based on the difference signal between motion compensation signals (that is, based on the difference distribution between the forward motion compensation signal and the backward motion compensation signal).
  • step S5 the prediction signal generation unit 103 generates a prediction signal from the forward motion compensation signal and the backward motion compensation signal.
  • step S6 the prediction error signal generation unit 104 generates a prediction error signal representing an error between the encoding target signal and the prediction signal.
  • step S7 the encoding information generation unit 105 converts the prediction error signal using the selected orthogonal transform base. Thereafter, although omitted in this flowchart, quantization processing and entropy coding are performed on the converted prediction error signal.
  • steps S5 to S6 may be executed before step S3.
  • steps S3 to S4 and steps S5 to S6 may be executed in parallel.
  • FIG. 16 is a flowchart showing the decoding method according to the first embodiment.
  • the decoding method of this flowchart is executed by, for example, the decoding device shown in FIG.
  • the decoding device executes the processing of this flowchart for each block to be decoded.
  • step S11 the entropy decoding unit 151 performs entropy decoding on the encoded information (decoding target signal). Further, an inverse quantization process is performed on the output signal of the entropy decoding unit.
  • step S12 the motion compensation signal generation unit 152 generates a motion compensation signal.
  • step S13 the selection unit 154 (or the difference calculation unit 158) calculates a difference between the motion compensation signals.
  • the processing in steps S12 to S13 is basically the same as steps S2 to S3 executed in the encoding device.
  • step S14 the selection unit 154 selects an inverse orthogonal transform base based on the difference signal between motion compensation signals (that is, based on the distribution of the difference between the forward motion compensation signal and the backward motion compensation signal).
  • step S15 the prediction signal generation unit 153 generates a prediction signal from the forward motion compensation signal and the backward motion compensation signal.
  • step S16 the reproduction prediction error signal generation unit 155 generates a reproduction prediction error signal by converting the decoding target signal using the selected inverse orthogonal transform base.
  • step S ⁇ b> 17 the decoded image generation unit 156 generates a decoded image by adding the reproduction prediction error signal to the prediction signal.
  • step S15 may be executed before step S13.
  • Steps S13 to S14 and step S15 may be executed in parallel.
  • the moving picture encoding / decoding method uses the fact that there is a correlation between the distribution of difference values between a plurality of motion compensation signals and the distribution of prediction error signals. That is, a method for encoding / decoding a prediction error signal is appropriately selected based on a distribution of difference values between motion compensation signals. Therefore, the spatial redundancy of the prediction error is efficiently reduced, and the information amount of the encoded information is reduced as compared with the conventional method (for example, the method of performing DCT conversion regardless of the image property).
  • the decoding device and the decoding device can generate substantially the same motion compensation signal, the decoding device correctly corrects the corresponding decoding method without receiving information indicating the encoding method from the encoding device.
  • an appropriate encoding method in this case, a conversion rule
  • a conversion rule for example, a region where a fine texture exists or a scene with intense motion.
  • the amount of encoded information is small.
  • the luminance information encoding efficiency is improved by adaptively switching the encoding method of the luminance information in accordance with the pixel position of the prediction error of the color difference information.
  • the information amount of the luminance information is several times or more than the color difference information. Therefore, improvement of the encoding efficiency of luminance information greatly contributes to improvement of encoding efficiency of the entire image.
  • the encoding method of the signal to be encoded (in the above example, the basis of orthogonal transform) is appropriately selected based on the difference distribution of the plurality of motion compensation signals.
  • a luminance information encoding method is appropriately selected based on a distribution of prediction errors of color difference information. That is, the first and second embodiments have different criteria for selecting an encoding method, but the encoding target information (in the second embodiment, luminance information) is different from each other. ) May be the same as each other.
  • FIG. 17 is a diagram illustrating a configuration of the encoding device according to the second embodiment. Also in the second embodiment, each picture of a moving image is divided into a plurality of blocks, and the encoding device encodes image data for each block. In the configuration illustrated in FIG. 17, the luminance component and the color difference component of the encoding target image are input to the encoding device.
  • the color difference prediction signal generation unit 201 generates a color difference prediction signal that represents the prediction value of the color difference information of the encoding target image.
  • the color difference prediction signal generation unit 201 is, for example, MPEG-1, MPEG-2, H.264, or the like. H.264 etc., inter prediction, bidirectional interframe prediction, or H.264. This is realized by intra prediction used in H.264 and the like.
  • the prediction method for each block is determined by a predetermined prediction mode determination algorithm.
  • the color difference prediction error signal generation unit 202 generates a color difference prediction error signal by calculating the difference between the color difference information of the encoding target image and the color difference prediction signal.
  • the color difference encoding information generation unit 203 reduces the redundancy in the spatial direction of the color difference prediction error signal and generates color difference encoding information.
  • the color difference encoding information generation unit 203 is, for example, MPEG-1, MPEG-2, H.264, or the like. This is realized by a combination of orthogonal transform and quantization used in H.264, etc. In this case, the color difference encoding information is a result of quantizing the orthogonally transformed coefficient. Further, the color difference encoded information generation unit 203 may be realized by Wavelet conversion, DPCM, vector quantization, etc. employed in JPEG-2000 or the like.
  • the color difference reproduction prediction error signal generation unit 204 generates a color difference reproduction prediction error signal from the color difference encoding information.
  • the color difference reproduction prediction error signal generation unit 204 is, for example, MPEG-1, MPEG-2, H.264, or the like. This is realized by a combination of inverse quantization and inverse orthogonal transform adopted in H.264.
  • the color difference reproduction prediction error signal generation unit 204 may be realized by DPCM, vector quantization decoding processing, or the like.
  • the color difference decoded image generation unit 205 generates a color difference decoded image by adding the color difference reproduction prediction error signal to the color difference prediction signal. This decoded image is stored as a reference picture used in the subsequent encoding process.
  • the configuration for encoding luminance information is basically the same as the configuration for encoding the color difference information described above. That is, the luminance prediction signal generation unit 211 and the luminance prediction error signal generation unit 212 generate the luminance prediction signal and the luminance prediction error signal in the same manner as the color difference prediction signal generation unit 201 and the color difference prediction error signal generation unit 202.
  • the luminance encoding information generation unit 213 includes a plurality of luminance encoding information generation units # 1 to #N.
  • the luminance encoded information generation units # 1 to #N are basically the same as the encoded information generation units # 1 to #N of the first embodiment shown in FIG.
  • the luminance reproduction prediction error signal generation unit 214 includes a plurality of luminance reproduction prediction error signal generation units # 1 to #N.
  • the luminance reproduction prediction error signal generation units # 1 to #N are basically the same as the reproduction prediction error signal generation units # 1 to #N of the first embodiment shown in FIG. Note that the reproduction prediction error signal generation units # 1 to #N perform the reverse process of the processing by the luminance encoded information generation units # 1 to #N, respectively.
  • the selection unit 221 reduces the information amount of the luminance encoded information (or the information amount after entropy encoding of the luminance encoded information) based on the distribution of the prediction error of the color difference information within the block. Are selected from the encoded luminance information generation units # 1 to #N. Further, the selection unit 221 selects the reproduction prediction error signal generation units # 1 to #N corresponding to the selected luminance encoding information generation units # 1 to #N. That is, the selection unit 221 selects a set of luminance encoded information generation unit and reproduction prediction error signal generation unit that perform conversion / inverse conversion corresponding to each other. Note that the color difference information prediction error is detected from the color difference reproduction prediction error signal generated by the color difference reproduction prediction error signal generation unit 204. Alternatively, the color difference information prediction error may be detected from the color difference prediction error signal generated by the color difference prediction error signal generation unit 202.
  • the luminance encoding information generation unit 213 generates luminance encoding information using the luminance encoding information generation unit selected by the selection unit 221. Then, the entropy encoding unit 222 performs entropy encoding on the luminance encoding information and the color difference encoding information. Thereby, entropy coding information is generated.
  • the luminance reproduction prediction error signal generation unit 214 uses the luminance reproduction prediction error signal generation unit selected by the selection unit 221 to generate a luminance reproduction prediction error signal from the luminance encoding information. Then, the luminance decoded image generation unit 215 generates a luminance decoded image by adding the luminance reproduction prediction error signal to the luminance prediction signal. This decoded image is stored as a reference picture used in the subsequent encoding process.
  • FIG. 18 is a diagram illustrating an operation example of the encoding apparatus according to the second embodiment.
  • the original image block is represented by a Y / Cb / Cr signal.
  • a round texture exists in the lower right area of the original image block.
  • a round texture exists in the lower right region of the Y signal block, and similarly, a round texture also exists in the lower right region of the Cb / Cr signal block.
  • the image format of the Y / Cb / Cr signal is not particularly limited, and may be any of 4: 2: 0 format, 4: 2: 2 format, 4: 4: 4 format, for example. .
  • a prediction block represented by a prediction signal is also represented by a Y / Cb / Cr signal, like the original image block.
  • the prediction block is similar to the original image block, but generally, an error is likely to occur in a region where the texture exists in the original image block. In the example shown in FIG. 18, no texture exists in the prediction block.
  • the luminance prediction error signal is generated by the difference between the Y signal of the original image block and the Y signal of the prediction block. At this time, since the texture does not exist in the prediction block, the luminance prediction error is large in the lower right region in the block.
  • a prediction error is generated for the Cb / Cr signal block.
  • a color difference prediction error that is, a color difference reproduction prediction error signal
  • quantization quantization
  • inverse quantization inverse orthogonal transform
  • inverse orthogonal transform is performed.
  • the Cb / Cr signal also has a large color difference prediction error in the lower right region in the block. That is, the prediction error in the lower right region is large in both the luminance block and the color difference block.
  • the selection unit 221 selects a conversion rule corresponding to the color difference prediction error distribution. At this time, the selection unit 221 selects a conversion rule based on the distribution of the Cb prediction error and the Cr prediction error. In this case, for example, the conversion rule is selected based on the distribution of the addition value obtained by adding the Cb prediction error and the Cr prediction error for each pixel. Note that the selection unit 221 may select a conversion rule based on the distribution of either the Cb prediction error or the Cr prediction error.
  • the color difference prediction error signal has a distribution with a large error in the lower right region in the block.
  • the selection unit 221 selects a conversion rule that favors the lower right region from a plurality of conversion rules prepared in advance.
  • the “conversion rule that favors the lower right region” is determined so as to reduce the information amount of the encoded data of the luminance prediction error signal when the error in the lower right region of the luminance prediction error block is large.
  • the plurality of transformation rules are, for example, the orthogonal transformation base of the first embodiment.
  • the method for detecting the color difference prediction error distribution can employ the same procedure as that of the first embodiment, for example. That is, as described with reference to FIG. 8, the color difference prediction error block is divided into four regions, and the sum of the absolute values of the color difference prediction error values for each region is compared with a threshold value, thereby distributing the color difference prediction error. Is detected.
  • FIG. 19 is a flowchart showing a method of selecting a luminance information conversion rule.
  • the color difference prediction error signal generation unit 202 generates a color difference prediction error signal.
  • the color difference encoding information generation unit 203 generates color difference encoding information from the color difference prediction error signal.
  • the color difference reproduction prediction error signal generation unit 204 generates a color difference reproduction prediction error signal from the encoded information.
  • step S22 the selection unit 221 divides the color difference prediction error block represented by the color difference reproduction prediction error signal into four regions, and calculates error value sums S A to S D for each region.
  • step S23 the selection unit 221 compares each error sum S A to S D with the threshold Th. Thereby, the distribution pattern of the color difference prediction error is determined for the encoding target block.
  • step S24 the selection unit 221 selects a base for orthogonally transforming the luminance prediction error according to the distribution pattern of the color difference prediction error. Note that the luminance encoding information generation unit 213 generates a luminance prediction error signal with the selected base, and the luminance reproduction prediction error signal generation unit 214 performs inverse conversion of the luminance encoding information with the selected base.
  • FIG. 20 is a diagram illustrating a configuration of the decoding device according to the second embodiment.
  • the decoding device of the second embodiment decodes the encoded data stream (entropy encoding information) generated by the encoding device shown in FIG. Note that the decoding device basically performs reverse processing of the processing by the encoding device. Further, the decoding device performs a decoding process for each block.
  • the entropy decoding unit 231 decodes the entropy encoded information and reproduces the color difference encoded information and the luminance encoded information.
  • the color difference reproduction prediction error signal generation unit 241 generates a color difference reproduction prediction error signal from the color difference encoding information. Further, the color difference prediction signal generation unit 242 generates a color difference prediction signal.
  • the operations of the color difference reproduction prediction error signal generation unit 241 and the color difference prediction signal generation unit 242 are basically the same as those of the color difference reproduction prediction error signal generation unit 204 and the color difference prediction signal generation unit 201 included in the encoding device.
  • the color difference decoded image generation unit 243 generates a color difference decoded image by adding the color difference reproduction prediction error signal to the color difference prediction signal.
  • the selection unit 232 selects a reproduction rule for generating a luminance reproduction prediction error signal from the luminance coding information based on the color difference reproduction prediction error signal.
  • the color difference reproduction prediction error signal generated by the color difference reproduction prediction error signal generation unit 241 is the same as the color difference reproduction prediction error signal generated by the color difference reproduction prediction error signal generation unit 204 provided in the encoding device. Therefore, the same rule is selected in the encoding device and the decoding device. That is, the decoding apparatus can select a reproduction rule corresponding to the generation rule used by the luminance encoded information generation unit in the encoding apparatus without receiving a special notification from the encoding apparatus.
  • the luminance reproduction prediction error signal generation unit 251 generates a luminance reproduction prediction error signal from the luminance encoding information according to the selected reproduction rule.
  • the luminance prediction signal generation unit 252 generates a luminance prediction signal. Note that the operations of the luminance reproduction prediction error signal generation unit 251 and the luminance prediction signal generation unit 252 are basically the same as those of the luminance reproduction prediction error signal generation unit 214 and the luminance prediction signal generation unit 211 included in the encoding device.
  • the luminance decoded image generation unit 253 generates a luminance decoded image by adding the luminance reproduction prediction error signal to the luminance prediction signal.
  • the moving picture encoding / decoding method uses the fact that there is a correlation between the error value distribution of the color difference prediction error signal and the error value distribution of the luminance prediction error signal. . That is, a method for encoding / decoding the luminance prediction error signal is appropriately selected based on the error value distribution of the color difference prediction error signal. Therefore, the spatial redundancy of the luminance prediction error is efficiently reduced, and, as in the first embodiment, compared to the conventional method (for example, the method of performing DCT conversion regardless of the image property), The amount of encoded information is reduced.
  • the decoding device can correctly generate the corresponding decoding method without receiving information indicating the encoding method from the encoding device. You can choose. Furthermore, since an appropriate encoding method (in this case, a conversion rule) is selected according to the nature of the image, it is a block with a large prediction error (for example, a region where a fine texture exists or a scene with intense motion). However, the amount of encoded information is small.
  • an appropriate encoding method in this case, a conversion rule
  • the conversion rule / reproduction rule for the prediction error signal is selected according to the distribution of the difference between the forward motion compensation signal and the backward motion compensation signal.
  • the first embodiment is not limited to this method. That is, for example, in the first embodiment, the conversion rule / reproduction rule of the prediction error signal may be selected in accordance with the correlation distribution between the forward motion compensation signal and the backward motion compensation signal. .
  • the conversion rule for orthogonally transforming the prediction error signal is selected in the first embodiment.
  • a conversion rule for orthogonally transforming the luminance prediction error signal is selected.
  • the first and second embodiments are not limited to this method. That is, for example, in the first embodiment, the rule of the quantization operation executed after the orthogonal transformation may be selected according to the motion compensation signal. The same applies to the second embodiment.
  • FIG. 21 is a diagram illustrating a hardware configuration of an encoding device or a decoding device (or a computer or a processor system that executes an encoding / decoding method) according to each embodiment.
  • the CPU 1001 executes an encoding program or a decoding program using the memory 1003.
  • the storage device 1002 stores an encoding program or a decoding program. Note that the storage device 1002 may be an external storage device.
  • the memory 1003 is, for example, a semiconductor memory, and includes a RAM area and a ROM area.
  • the reading device 1004 accesses the portable recording medium 1005 in accordance with an instruction from the CPU 1001.
  • the portable recording medium 1005 includes, for example, a semiconductor device, a medium in which information is input / output by a magnetic action, and a medium in which information is input / output by an optical action.
  • the communication interface 1006 transmits and receives data via the network according to instructions from the CPU 1001.
  • the input / output device 1007 corresponds to a display device, a device that receives an instruction from the user, or the like.
  • the encoding program or decoding program according to the embodiment is provided in the following form, for example. (1) Installed in advance in the storage device 1002. (2) Provided by a portable recording medium 1005. (3) Download from the program server 1010. Then, the encoding apparatus or the decoding apparatus according to the embodiment is realized by executing the encoding program or the decoding program on the computer having the above configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　動画像符号化方法は、符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成するステップ、前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成するステップ、前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成するステップ、前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択するステップ、選択された生成規則に従って前記予測誤差信号から符号化情報を生成するステップ、を有する。

Description

動画像符号化装置および動画像復号装置
　本発明は、動画像を符号化する装置、方法、プログラム、および符号化された動画像を復号する装置、方法、プログラムに係わる。
　動画像データは、一般にデータ量が多いので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
　動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法は、動画像データが空間方向に相関性が高いことを利用する。すなわち、この符号化方法は、他のピクチャを利用することなく、ピクチャ内の情報のみを利用して画像を復元できる。また、他の高能率符号化方法として、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法は、動画像データが時間方向に相関性が高いことを利用する。動画像データは、一般に、あるタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高い。そして、インター予測符号化は、この性質を利用して画像を符号化する。
　ピクチャ間予測符号化では、一般に、原画像が複数のブロックに分割される。符号化装置は、ブロック毎に、符号化済みフレームの復号画像から、原画像ブロックと類似している領域を選択し、この類似領域と原画像ブロックとの差分を計算することで、時間的な冗長性を取り除く。そして、類似領域を指し示す動きベクトル情報および冗長性の取り除かれた差分情報を符号化することにより、高い圧縮率が実現される。
　例えば、インター予測符号化を用いたデータ伝送システムでは、送信装置は、前ピクチャから対象ピクチャへの「動き」を表す動きベクトルデータ、および符号化対象ピクチャの予測画像と符号化対象ピクチャの実際の画像との差分データを生成し、生成した動きベクトルデータおよび差分データを受信装置に送出する。ここで、予測画像は、前ピクチャおよび動きベクトルデータを用いて作成される。一方、受信装置は、受信した動きベクトルデータおよび差分データから符号化対象ピクチャを再生する。代表的な動画像符号化方式として、ＩＳＯ／ＩＥＣ　ＭＰＥＧ－２／ＭＰＥＧ－４（以下、ＭＰＥＧ－２、ＭＰＥＧ－４）が挙げられる。
　ＭＰＥＧ－２では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャが規定されている。Ｉピクチャは、ピクチャ内の情報のみを符号化することにより得られる。Ｐピクチャは、過去のピクチャから順方向のピクチャ間予測を行い、予測誤差を符号化することにより得られる。Ｂピクチャは、過去のピクチャおよび未来のピクチャから双方向のピクチャ間予測を行い、予測誤差を符号化することにより得られる。
　動画像の符号化／復号化においては、効率の良い（すなわち、圧縮率が高い）方式が好ましい。そして、符号化／復号化の効率を高める方法として、下記の第１～第３のステップを有する信号符号化方法が提案されている。第１のステップは、符号化対象信号と相関のある信号を参照信号として取得する。第２のステップは、変換規則の基礎となる変換基底をその取得された参照信号の特性に基づいて導出する。第３のステップは、導出された変換基底に基づいた変換規則に従って上記符号化対象信号を変換して符号化する。（例えば、特許文献１）
　また、関連する技術として、特許文献２に記載の予測復号装置が提案されている。
特開２００２－３１４４２８号公報 特開２０００－５９７８５号公報
　上述のように、動画像の符号化／復号化においては、効率の良い方式が好ましい。そして、符号化／復号化の効率を高めるための様々な方法が提案されている。しかし、従来技術には改善の余地がある。
　本発明の課題は、動画像の符号化／復号化の更なる効率化を図ることである。
　本発明の１つの態様に係る動画像符号化装置は、符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成する動き補償信号生成部と、前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成する予測信号生成部と、前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成する予測誤差信号生成部と、前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する選択部と、前記選択部により選択された生成規則に従って、前記予測誤差信号から符号化情報を生成する符号化情報生成部、を有する。
　上記構成の符号化装置は、符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、動きベクトルを生成する動き推定部を備えてもよい。この場合、動き補償信号生成部は、動きベクトルを利用して動き補償信号を生成する。
　本発明の１つの態様に係る動画像復号装置は、動画像符号化装置により生成された符号化情報を復号する構成であって、複数の参照画像に基づいて複数の動き補償信号を生成する動き補償信号生成部と、前記複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成する予測信号生成部と、復号対象信号から再生予測誤差信号を生成する複数の再生規則の中から、前記複数の動き補償信号に基づいて決まる再生規則を選択する選択部と、前記選択部により選択された再生規則に従って、前記復号対象信号から再生予測誤差信号を生成する再生予測誤差信号生成部と、前記再生予測誤差信号および前記予測信号から復号画像を生成する復号画像生成部、を有する。
　本発明の他の態様に係る動画像符号化装置は、輝度信号および色差信号を含む符号化対象信号の符号化を行う構成であって、輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、前記符号化対象信号の輝度信号と前記輝度予測信号との差分を表す輝度予測誤差信号を生成する輝度予測誤差信号生成部と、色差信号の予測値を表す色差予測信号を生成する色差予測信号生成部と、前記符号化対象信号の色差信号と前記色差予測信号との差分を表す色差予測誤差信号を生成する色差予測誤差信号生成部と、前記輝度予測誤差信号から輝度符号化情報を生成するための複数の生成規則の中から、前記色差予測誤差信号に基づいて、前記輝度予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する選択部と、前記選択部により選択された生成規則に従って、前記輝度予測誤差信号から輝度符号化情報を生成する輝度符号化情報生成部、を有する。
　本発明の他の態様に係る動画像復号装置は、動画像符号化装置により生成された輝度信号および色差信号を含む符号化情報を復号する構成であって、輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、前記符号化情報に含まれている色差符号化情報から色差再生予測誤差信号を生成する色差再生予測誤差信号生成部と、前記符号化情報に含まれている輝度符号化情報から輝度再生予測誤差信号を生成する複数の再生規則の中から、前記色差再生予測誤差信号に基づいて決まる再生規則を選択する選択部と、前記選択部により選択された再生規則に従って、前記輝度符号化情報から輝度再生予測誤差信号を生成する輝度再生予測誤差信号生成部と、前記輝度再生予測誤差信号および前記輝度予測信号から輝度復号画像を生成する輝度復号画像生成部、を有する。
　開示の装置または方法によれば、動画像の符号化／復号化の効率化が向上する。
実施形態の動画像符号化装置の構成を示す図である。 実施形態の動画像復号装置の構成を示す図である。 双方向予測について説明する図である。 予測誤差信号と動き補償信号との相関について説明する図である。 ジグザグスキャンの一例を示す図である。 第１の実施形態の符号化装置の構成を示す図である。 第１の実施形態の符号化装置の動作例を示す図である。 差分の偏りパターンに応じて基底を選択する方法を説明する図である。 基底を選択する他の方法を説明する図（その１）である。 基底を選択する他の方法を説明する図（その２）である。 基底を選択する他の方法を説明する図（その３）である。 基底を選択する他の方法を説明する図（その４）である。 第１の実施形態の復号装置の構成を示す図である。 第１の実施形態の復号装置の動作例を示す図である。 第１の実施形態の符号化方法を示すフローチャートである。 第１の実施形態の復号方法を示すフローチャートである。 第２の実施形態の符号化装置の構成を示す図である。 第２の実施形態の符号化装置の動作例を示す図である。 輝度情報の変換規則を選択する方法を示すフローチャートである。 第２の実施形態の復号装置の構成を示す図である。 符号化装置または復号装置のハードウェア構成を示す図である。
　図１は、実施形態の動画像符号化装置の構成を示す図である。図１に示す動画像符号化装置１は、予測誤差信号生成部１１、直交変換部１２、量子化部１３、ジグザグスキャン部１４、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、動き補償信号生成部２０、予測信号生成部２１を備える。なお、動画像符号化装置１は、動画像の各ピクチャを複数のブロックに分割し、各ブロックについて符号化を行う。ブロックのサイズは、固定されていてもよいし、可変サイズであってもよい。
　予測誤差信号生成部１１には、現ピクチャ（符号化対象ピクチャ）を分割することにより得られる各ブロックの画像を表すブロックデータが順番に入力される。ブロックのサイズは、例えば、１６×１６画素のブロック（マクロブロック）である。そして、予測誤差信号生成部１１は、符号化対象ブロックデータと、予測信号生成部２１から供給される予測画像ピクチャのブロックデータ（予測信号）との差分を計算することにより、予測誤差信号を生成する。
　直交変換部１２は、予測誤差信号に対して直交変換処理を行う。この直交変換により、水平方向および垂直方向の周波数成分に分離された周波数領域信号が生成される。直交変換は、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）である。量子化部１３は、直交変換部１２の出力信号を量子化する。量子化により、変換された予測誤差信号の符号量が削減される。量子化部１３の出力信号は、ジグザグスキャン部１４および逆量子化部１６に供給される。
　ジグザグスキャン部１４は、予め決められたスキャンパターンで量子化部１３の出力信号（複数の係数）をスキャンし、ランレベル情報を生成する。ランレベル情報は、ゼロでない係数の値を表す情報（level）、およびゼロが連続する長さを表す情報（run）などを含む。エントロピー符号化部１５は、ジグザグスキャン部１４から出力されるランレベル情報をエントロピー符号化（可変長符号化）する。エントロピー符号においては、シンボルの出現頻度に応じて可変長の符号が割り当てられる。
　逆量子化部１６は、量子化部１３の出力信号を逆量子化する。逆直交変換部１７は、逆量子化部１６の出力信号を逆直交変換する。逆量子化部１６および逆直交変換部１７の処理は、それぞれ、量子化部１３および直交変換部１２の処理に対応する。すなわち、逆量子化部１６および逆直交変換部１７を用いて復号化処理を行うことにより、予測誤差信号と類似する信号（以下、再生予測誤差信号）が得られる。
　復号画像生成部１８は、予測信号生成部２１により生成される予測画像のブロックデータに、逆直交変換部１７から出力される再生予測誤差信号を加算する。これにより、局部復号画像が生成される。復号画像記憶部１９は、復号画像生成部１８により生成されたブロックデータを、新たな参照ピクチャのデータとして記憶する。
　動き補償信号生成部２０は、原ピクチャの符号化対象ブロックのブロックデータ、および復号画像記憶部１９に格納されている参照ピクチャのブロックデータを用いて、符号化対象ブロックの動きベクトルを計算する。動きベクトルは、原ピクチャと参照ピクチャとの間での空間的なずれを表す値であり、例えば、参照ピクチャにおいて現ピクチャの符号化対象ブロックに最も類似しているブロックの位置を探索するブロックマッチング技術により実現される。そして、動き補償信号生成部２０は、動きベクトルで動き補償を行うことにより、動き補償された参照ピクチャのブロックデータを生成する。
　予測信号生成部２１は、動き補償信号生成部２０によって得られた参照ピクチャのブロックデータを基に符号化対象信号の予測信号を生成する。この予測信号は、上述したように、予測誤差信号生成部１１に供給される。
　図２は、実施形態の動画像復号装置の構成を示す図である。図２に示す動画像復号装置２は、エントロピー復号部３１、逆ジグザグスキャン部３２、逆量子化部３３、逆直交変換部３４、動き補償信号生成部３５、予測信号生成部３６、復号画像生成部３７、復号画像記憶部３８を備える。そして、動画像復号装置２は、図１に示す動画像符号化装置１で生成された符号化情報を復号して画像を再生する。
　エントロピー復号部３１、逆ジグザグスキャン部３２、逆量子化部３３、逆直交変換部３４は、それぞれ、図１に示すエントロピー符号化部１５、ジグザグスキャン部１４、量子化部１３、直交変換部１２に対応する処理を実行する。これにより、受信データストリームから予測誤差信号が再生される。
　動き補償信号生成部３５は、復号画像記憶部３８に格納されている参照ピクチャおよび符号化装置から通知される動きベクトルを利用して動き補償信号を生成する。予測信号生成部３６は、動き補償信号に基づいて、復号画像の予測値を表す予測信号を生成する。動き補償信号生成部３５および予測信号生成部３６は、基本的に、図１に示す動き補償信号生成部２０および予測信号生成部２１と同じ方法で予測信号を生成する。
　復号画像生成部３７は、予測信号生成部３６により生成される予測信号に、逆直交変換部３４の出力信号（すなわち、再生予測誤差信号）を加算することにより、復号画像を生成する。生成された復号画像は、以降の復号処理において利用される参照ピクチャとして復号画像記憶部３８に格納される。
　＜第１の実施形態＞
　図３は、双方向予測について説明する図である。双方向予測（Bidirectional prediction / Bipredictive）においては、前方向参照画像および後方向参照画像が使用される。前方向参照画像（前方向動き補償画像）は、符号化対象画像よりも先に表示される複数の参照画像の中から選択される。同様に、後方向参照画像（後方向動き補償画像）は、符号化対象画像よりも後に表示される複数の参照画像の中から選択される。
　前方向予測ブロックは、前方向参照画像において、符号化対象ブロックと最も類似している画像ブロックである。また、前方向動きベクトルは、符号化対象ブロックと前方向予測ブロックとの間の「動き」を表す。そして、前方向予測ブロックの画像を表す前方向動き補償信号が生成される。同様に、後方向予測ブロックは、後方向参照画像において、符号化対象ブロックと最も類似している画像ブロックである。また、後方向動きベクトルは、符号化対象ブロックと後方向予測ブロックとの間の「動き」を表す。そして、後方向予測ブロックの画像を表す後方向動き補償信号が生成される。
　符号化対象信号の予測信号は、前方向動き補償信号および後方向動き補償信号の平均を計算することで生成される。そして、符号化対象信号と予測信号との差分を表す予測誤差信号、前方向動きベクトル情報、後方向動きベクトル情報が符号化される。なお、図３においては、前方向動き補償信号および後方向動き補償信号を加算する加算器が描かれているが、実際には、その加算値が「２」で除算される。また、Ｈ．２６４では、任意の複数の参照ピクチャから２枚の参照画像が生成され、それらを重み付けして加算した値が、Ｂピクチャ予測画像として使用される。
　図４は、予測誤差信号と動き補償信号との相関について説明する図である。図４に示す例では、正方形の物体Ｘが時計方向に回転している。ここでは、時刻ｔの符号化対象画像が、時刻ｔ－１の前方向参照画像および時刻ｔ＋１の後方向参照画像を用いて符号化されるものとする。なお、この例では、前方向動きベクトルおよび後方向動きベクトルは、いずれもゼロである。また、物体Ｘが存在する領域の画素値は１００、背景領域の画素値はゼロであるものとする。画素値は、特に限定されるものではないが、例えば、輝度レベルである。
　前方向動き補償ブロックとしては、符号化対象ブロックと最も差分が小さい領域が選択される。しかし、物体Ｘが回転しているので、前方向参照画像において、符号化対象ブロックと全く同じ画像は検出されない。すなわち、前方向参照画像において、符号化対象ブロックから少しだけ差異のある画像ブロックが抽出される。同様に、後方向参照画像においても、符号化対象ブロックから少しだけ差異のある画像ブロックが抽出される。
　予測信号は、図３を参照しながら説明したように、画素毎に前方向動き補償信号および後方向動き補償信号を平均化することにより生成される。この場合、予測信号のブロックの各画素の画素値は、前方向動き補償信号および後方向動き補償信号の双方において物体Ｘが存在する領域では「１００」、一方の動き補償信号のみに物体Ｘが存在する領域では「５０」、双方の動き補償信号とも背景である領域では「０」となる。
　そして、画素毎に符号化対象信号から予測信号が減算され、予測誤差信号のブロックが生成される。この予測誤差信号は、図４に示すように、符号化対象画像上における物体Ｘと背景との境界部分に、画素値５０の画素および画素値－５０の画素を有する。
　ここで、前方向動き補償信号と後方向動き補償信号の差を考える。図４に示す動き補償信号間差分信号（または、予測間差分信号）は、画素毎に、２枚の動き補償画像間の差分絶対値を算出することにより得られる。そうすると、動き補償信号間差分信号は、図４に示すように、符号化対象画像上における物体Ｘと背景との境界部分に、画素値１００の画素を有する。
　予測誤差信号と動き補償信号間差分信号とを比較すると、画素値が０でない領域の形状は互いにほぼ一致している。すなわち、前方向動き補償信号と後方向動き補償信号との画素値が異なる領域において、予測誤差が発生している。したがって、動き補償信号間差分信号の画素値の分布と、予測誤差信号の画素値の分布との間の相関は高い。
　ところで、図１に示す符号化装置においては、予測誤差信号は、直交変換された後にエントロピー符号化が行われる。このとき、直交変換により得られる複数の係数は、例えば図５に示すパターンでスキャンされ、さらにランレベル情報に符号化されてエントロピー符号化部１５に送られる。このとき、直交変換により得られる複数の係数が、例えば、低周波数成分側に集まっていれば、エントロピー符号により得られる符号化データの情報量は小さくなる。他方、予測誤差信号を直交変換により得られる係数の分布は、その予測誤差信号の画素値の分布に依存する。したがって、予測誤差信号の画素値の分布を検出し、その分布に応じて直交変換方法を適切に選択すれば、符号化データの情報量を小さくすることができる。
　第１の実施形態の符号化方法においては、上記相関を利用して、符号化データの情報量の削減を図る。すなわち、予測誤差信号の画素値の分布の代わりに、動き補償信号間差分信号の画素値の分布に基づいて、予測誤差信号を直交変換するための方法が適切に選択される。
　図６は、第１の実施形態の符号化装置の構成を示す図である。図６において、動画像の各ピクチャはそれぞれ複数のブロックに分割され、符号化装置は、ブロック毎に画像データの符号化を行う。なお、図６において、符号化対象信号は、符号化対象ブロックの画像を表す。
　動き推定部１０１は、符号化対象ブロックを表す符号化対象信号および複数の参照ピクチャに基づいて、１または複数の動きベクトルを生成する。また、動き補償信号生成部１０２は、動きベクトルおよび複数の参照ピクチャに基づいて１または複数の動き補償信号を生成する。例えば、双方向予測においては、動き推定部１０１により前方向動きベクトルおよび後方向動きベクトルが生成され、動き補償信号生成部１０２により前方向動き補償信号および後方向動き補償信号が生成される。なお、動き推定部１０１は、動き補償信号生成部１０２に含まれるようにしてもよい。
　予測信号生成部１０３は、動き補償信号を利用して、符号化対象信号の予測値を表す予測信号を生成する。予測信号生成部１０３は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ等で用いられているインター予測、双方向予測（Ｂピクチャ）、或いは、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ等で採用されているイントラ予測などにより実現される。予測方法を指示する予測モード（Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣのイントラ予測モード、インター予測のベクトル等）は、所定の予測モード決定アルゴリズムで決定される。予測モードの決定方法は、例えば、既存のイントラ予測モード決定方法、ベクトル推定方法などにより実現される。
　予測誤差信号生成部１０４は、図３を参照しながら説明したように、符号化対象信号と予測信号との差分を表す予測誤差信号を生成する。この予測誤差信号は、符号化情報生成部１０５に送られる。
　符号化情報生成部１０５は、複数の生成規則＃１～＃Ｎの中から選択された１つの生成規則に従って、予測誤差信号から符号化情報を生成する。図６において、符号化情報生成部＃１～＃Ｎは、それぞれ、生成規則＃１～＃Ｎに従って予測誤差信号から符号化情報を生成する。なお、符号化情報生成部１０５は、図１に示す直交変換部１２および量子化部１３に対応する。
　符号化情報生成部１０５は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ等で用いられる直交変換および量子化の組合せにより実現される。この場合、符号化情報は、直交変換により得られた各係数の量子化結果に相当する。また、符号化情報生成部１０４は、ＪＰＥＧ－２０００等で採用されているWavelet変換、ＤＰＣＭ、ベクトル量子化等によって実現されてもよい。
　ここで、双方向予測においては、上述したように、符号化対象信号と予測信号との差分を表す予測誤差が大きい画素位置では、その予測信号を生成するために使用される複数の動き補償信号間の差分も大きい。すなわち、予測誤差信号の分布と、動き補償信号間の差分値の分布との間には相関がある。例えば、符号化対象ブロックの右上領域の予測誤差が大きい場合には、対応する領域の動き補償信号間の差分も大きい。そこで、第１の実施形態では、この相関を利用し、予測信号を生成するために使用される複数の動き補償信号間の差分の分布に基づいて、符号化情報を生成するための生成規則（すなわち、符号化情報生成部＃１～＃Ｎ）が選択される。
　選択部１０６は、動き補償信号間の差分に基づいて、予測誤差信号から符号化情報を生成するための生成規則（符号化情報生成部＃１～＃Ｎ）を選択する。すなわち、選択部１０６は、図４に示すように、前方向動き補償信号と後方向動き補償信号との差分を計算することにより、動き補償信号間差分信号を生成する。そして、選択部１０６は、この動き補償信号間差分信号に基づいて、予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する。そうすると、符号化情報生成部１０５は、選択部１０６により選択された生成規則で予測誤差信号から符号化情報を生成する。
　エントロピー符号化部１０７は、符号化情報生成部１０５により生成される符号化情報に対してエントロピー符号化を実行し、エントロピー符号化情報を生成する。ここで、符号化情報は、エントロピー符号化されたときの情報量が最も小さくなることが期待される生成規則で生成されている。したがって、第１の実施形態の符号化装置で生成される符号化データストリームの情報量は小さい。なお、エントロピー符号化部１０７は、動きベクトルを表す動きベクトル情報も符号化する。また、図６では、ジグザグスキャン部は省略されている。
　再生予測誤差信号生成部１０８は、複数の再生規則＃１～＃Ｎの中から選択された１つの再生規則に従って、符号化情報から再生予測誤差信号を生成する。図６において、再生予測誤差信号生成部＃１～＃Ｎは、それぞれ、再生規則＃１～＃Ｎに従って符号化情報から再生予測誤差信号を生成する。ここで、再生規則＃１～＃Ｎは、それぞれ、生成規則＃１～＃Ｎに対応する。すなわち、再生規則＃１～＃Ｎは、それぞれ、生成規則＃１～＃Ｎによる処理の逆処理を規定する。なお、再生予測誤差信号生成部１０８は、図１に示す逆量子化部１６および逆直交変換部１７に対応する。
　選択部１０６は、動き補償信号間の差分に基づいて、再生予測誤差信号を生成するための再生規則（再生予測信号生成部＃１～＃Ｎ）を選択する。このとき、選択部１０６は、符号化情報を生成するために選択した生成規則に対応する再生規則を選択する。図６に示す例では、符号化情報生成部＃２および再生予測誤差信号生成部＃２が選択されている。
　局部復号画像生成部１０９は、予測信号生成部１０３により生成される予測信号および再生予測誤差信号生成部１０８により生成される再生予測誤差信号から、局部復号画像を生成する。すなわち、局部復号画像は、符号化対象画像をいったん符号化した後に復号することで得られる。参照画像蓄積部１１０は、局部復号画像を収集し、以降の符号化処理で使用される参照ピクチャとして保存する。
　このように、第１の実施形態では、符号化情報生成部＃１～＃Ｎおよび再生予測誤差信号生成部＃１～＃Ｎは、それぞれ、ブロック内での予測誤差が局在している画素位置に応じて、符号化された予測誤差信号の情報量が最も少なくなるように選択される。このとき、符号化情報生成部１０５および再生予測誤差信号生成部１０８は、例えば、予測誤差が局在している画素位置に対応する複数種類の直交変換基底および逆直交変換基底により実現される。直交変換は、例えば、ＫＬ変換である。なお、上述の方法に代わりに、予測誤差が大きい領域および予測誤差が小さい領域を検出し、それら２つの領域に対して互いに異なる直交変換／逆直交変換を行うようにしてもよい。或いは、予測誤差が大きい領域に対してＤＰＣＭを行い、予測誤差が小さい領域に対して直交変換を行うようにしてもよい。
　図７は、第１の実施形態の符号化装置の動作例を示す図である。この例では、符号化情報生成部１０５は、符号化情報生成部＃０～＃１５を備え、再生予測誤差信号生成部１０８は、再生予測誤差信号生成部＃０～＃１５を備えている。なお、再生予測誤差信号生成部＃０～＃１５は、それぞれ、符号化情報生成部＃０～＃１５による処理の逆処理を実行する。
　以下の説明では、符号化対象ブロックの右下領域に丸いテクスチャが存在するものとする。また、この符号化対象ブロックの符号化モードとして、双方向予測が選択されたものとする。
　この場合、動き補償信号生成部１０２により前方向動き補償信号および後方向動き補償信号が生成される。前方向動き補償信号および後方向動き補償信号により表される各画像ブロックには、それぞれ、符号化対象ブロックと同様に丸いテクスチャが存在する。ただし、３枚の画像ブロックに存在するテクスチャの位置および／または形状は、必ずしも互いに一致していない。
　予測信号生成部１０３は、前方向動き補償信号および後方向動き補償信号の平均を計算することにより予測信号１２１を生成する。そして、予測誤差信号生成部１０４は、符号化対象信号と予測信号１２１との差分を計算することにより予測誤差信号１２２を生成する。そして、この予測誤差信号１２２は、符号化情報生成部１０５に送られる。
　一方、差分計算部１１１は、前方向動き補償信号と後方向動き補償信号との差分を表す動き補償信号間差分信号１２３を生成する。差分計算部１１１は、選択部１０６の中に設けられてもよい。ここで、前方向動き補償信号と後方向動き補償信号とを比較すると、テクスチャが存在しない領域は互いにほぼ一致するが、テクスチャが存在する領域は差異が存在する。このため、動き補償信号間差分信号１２３により表されるブロックにおいて、テクスチャが存在する領域（ここでは、右下領域）の差分値は大きい。
　なお、符号化対象信号と予測信号１２１とを比較した場合も、テクスチャが存在しない領域は互いにほぼ一致するが、テクスチャが存在する領域は差異が存在する。このため、予測誤差信号１２２により表されるブロックにおいても、テクスチャが存在する領域（ここでは、右下領域）の誤差は大きい。すなわち、予測誤差信号１２２と動き補償信号間差分信号１２３との間には相関が存在する。
　選択部１０６は、符号化情報生成部＃０～＃１５の中から、動き補償信号間差分信号１２３に対応する符号化情報生成部（ここでは、＃１）を選択する。図７に示す例では、ブロック内の右下領域の成分が大きい偏りパターンが検出され、この偏りパターンに対応する符号化情報生成部＃１が選択されている。そして、符号化情報生成部１０５は、符号化情報生成部＃１を利用して予測誤差信号１２２から符号化情報を生成する。
　選択部１０６は、再生予測誤差信号生成部＃０～＃１５の中から、選択した符号化情報生成部に対応する再生予測誤差信号生成部を選択する。この例では、符号化情報生成部１０５において符号化情報生成部＃１が選択されているので、再生予測誤差信号生成部１０８においては再生予測誤差信号生成部＃１が選択される。ここで、再生予測誤差信号生成部＃１は、符号化情報生成部＃１による処理の逆処理を実行する。例えば、符号化情報生成部＃１が直交変換を実行する場合には、再生予測誤差信号生成部＃１は、対応する逆直交変換を実行する。そして、再生予測誤差信号生成部１０８は、再生予測誤差信号生成部＃１を利用して符号化情報から再生予測誤差信号１２４を生成する。なお、再生予測誤差信号１２４を利用して局部復号画像１２５および参照画像１２６を生成する方法は、上述した通りである。
　図８は、動き補償信号間の差分の偏りパターンに応じて直交変換基底を選択する方法を説明する図である。この例では、前方向動き補償信号、後方向動き補償信号、動き補償信号間差分信号により表されるブロックは、それぞれ４つの領域Ａ～Ｄに分割される。例えば、ブロックのサイズが８×８画素である場合、領域Ａ～Ｄはそれぞれ４×４画素である。
　動き補償信号間差分信号は、前方向動き補償信号の各画素の画素値（例えば、輝度レベル）と、後方向動き補償信号の対応する画素の画素値との間の差分を表す。そして、選択部１０６は、動き補償信号間差分信号により表されるブロックの各領域Ａ～Ｄについて、差分絶対値の和を算出する。すなわち、選択部１０６は、領域Ａ～Ｄについて、それぞれ差分絶対値和ＳA～ＳDを計算する。
　続いて、選択部１０６は、差分絶対値和ＳA～ＳDをそれぞれ閾値Ｔｈと比較する。この閾値Ｔｈは、予め決められた固定値であってもよいし、符号化処理を実行しながら適応的に変化する値であってもよい。そして、各差分絶対値和ＳA～ＳDについての閾値判定の結果の組合せパターンが検出される。
　選択部１０６において、閾値判定の結果の組合せパターンに対して、それぞれ対応する基底＃０～＃１５が定められている。「基底」は、この例では、直交変換のための変換規則に相当する。すなわち、互いに異なる１６個の基底＃０～＃１５が定義されている。なお、図８において、基底番号「０」～「１５」は、４つの閾値判定の結果に対応する４ビットデータで表されている。この場合、閾値判定の結果が「Ｙｅｓ」である場合は「１」を表し、閾値判定の結果が「Ｎｏ」である場合は「０」を表している。
　たとえば、基底＃１は、ブロック内の右下領域のみの予測誤差が大きいときに、その予測誤差信号を基底＃１で直交変換した後に符号化を行うと、符号化情報の情報量が小さくなる基底である。また、基底＃２は、ブロック内の左下領域のみの予測誤差が大きいときに、その予測誤差信号を基底＃２で直交変換した後に符号化を行うと、符号化情報の情報量が小さくなる基底である。以下同様に、基底＃０～＃１５は、それぞれ予測誤差の大きい画素の分布に応じて、符号化情報の情報量を小さくする基底である。なお、各基底＃０～＃１５は、それぞれ、例えば、予め実験またはシミュレーションにより最適な状態が決定されている。
　図８に示す例では、領域Ｄの差分が大きい。即ち、差分絶対値和ＳDのみが閾値Ｔｈよりも大きい。この場合、選択部１０６は、基底＃１を選択する。
　各基底＃０～＃１５は、この例では、符号化対象ブロックのサイズに対応する行列により表される。例えば、符号化対象ブロックが８×８画素であるときは、各基底＃０～＃１５は、６４の８行×８列の行列で表される。
　符号化情報生成部１０５は、基底＃０～＃１５を有している。ここで、基底＃０～＃１５は、図７に示す符号化情報生成部＃０～＃１５に相当する。そして、符号化情報生成部１０５は、選択部１０６により選択された基底を利用して、予測誤差信号に対して直交変換を行う。上述の例では、符号化情報生成部１０５は、基底＃１を利用して、予測誤差信号に対して直交変換を行う。ここで、直交変換は、予測誤差信号を表す行列に基底を表す行列を乗算することにより実現される。そして、直交変換された予測誤差信号は、必要に応じて量子化が実行され、符号化情報として出力される。
　このように、図８に示す例では、動き補償信号間差分信号の偏りパターンに対してそれぞれ直交変換の基底が設けられている。そして、予測誤差信号は、上記偏りパターンに対応する基底で変換される。このとき、直交変換において、予測誤差信号の符号化情報の情報量が小さくなるような基底が選択される。したがって、第１の実施形態の符号化方法によれば、符号化情報の情報量が小さくなる。
　図９～図１２は、差分の分布パターンに応じて基底を選択する他の方法を説明する図である。この例では、４ｘ４ブロックサイズの信号を変換するものとする。
　この方法においても、まず、前方向動き補償信号と後方向動き補償信号の差分を計算することにより、動き補償信号間差分信号が生成される。続いて、動き補償信号間差分信号の各行について、差分値の分布パターンが検出される。たとえば、行０に含まれる各画素の差分絶対値ＳA～ＳDがそれぞれ計算される。そして、図１０に示すように、各差分絶対値ＳA～ＳDがそれぞれ閾値Ｔｈと比較される。行１～行３についても同様の比較が行われる。
　例えば、行３は、右から２番目の画素の差分絶対値ＳCのみが閾値Ｔｈよりも大きく、他の画素の差分絶対値ＳA、ＳB、ＳDはそれぞれ閾値Ｔｈよりも小さい。この場合、行３に対して分布パターン＃２が検出される。同様に、この例では、行０、行１、行２に対して、それぞれ、分布パターン＃９、＃４、＃１１が検出されるものとする。
　各分布パターン＃０～＃１５に対して、それぞれ、基底＃０～＃１５が対応付けられている。各基底＃０～＃１５は、それぞれ、対応する分布パターンを持った「行」に対して使用されたときに、変換後の「行」において第１主成分にエネルギーが集中するように決定されている。
　符号化情報生成部１０５は、予測誤差信号および動き補償信号間差分信号の各行を、選択された基底を用いて変換する。上述の例では、行０は基底＃９で変換される。また、行１、行２、行３は、それぞれ基底＃４、基底＃１１、基底＃２で変換される。そして、予測誤差信号の各行がそれぞれ上述のようにして選択された基底で変換されると、各行において、第１主成分にエネルギーが集中するようになる。
　行方向の変換のための基底＃０～＃１５の例を下記に示す。なお、下記の直交変換基底の各列は、それぞれ固有ベクトルを表す。左側から順番に第１～第４列は、それぞれ固有ベクトルの第１主成分、第２主成分、第３主成分、第４主成分を表す。
　直交基底＃０（水平方向分布パターン＃０に関連付けられた基底）
0.417,   0.611,   0.589,   0.326
0.573,   0.340,  -0.415,  -0.620
0.570,  -0.321,  -0.418,   0.630
0.417,  -0.639,   0.554,  -0.335
　直交基底＃１
0.211,   0.617,  -0.608,  -0.453
0.381,   0.561,   0.170,   0.715
0.599,   0.042,   0.624,  -0.501
0.672,  -0.550,  -0.461,   0.183
　直交基底＃２
0.310,   0.614,  -0.583,   0.432
0.514,   0.469,   0.275,  -0.664
0.635,  -0.223,   0.504,   0.542
0.487,  -0.594,  -0.575,  -0.281
　直交基底＃３
0.254,   0.607,  -0.623,  -0.422
0.450,   0.522,   0.225,   0.689
0.630,  -0.070,   0.554,  -0.539
0.580,  -0.595,  -0.504,   0.237
　直交基底＃４
0.468,  -0.591,   0.590,  -0.288
0.629,  -0.258,  -0.489,   0.547
0.526,   0.441,  -0.299,  -0.663
0.331,   0.625,   0.568,   0.421
　直交基底＃５
0.305,   0.611,   0.632,   0.367
0.505,   0.482,  -0.347,  -0.626
0.614,  -0.189,  -0.467,   0.608
0.524,  -0.599,   0.513,  -0.322
　直交基底＃６
0.355,   0.605,   0.607,  -0.373
0.605,   0.377,  -0.360,   0.602
0.608,  -0.363,  -0.366,  -0.604
0.371,  -0.600,   0.607,   0.367
　直交基底＃７
0.358,   0.606,  -0.635,  -0.318
0.535,   0.413,   0.380,   0.631
0.591,  -0.211,   0.450,  -0.635
0.485,  -0.646,  -0.500,   0.312
　直交基底＃８
0.647,  -0.558,  -0.487,   0.179
0.603,  -0.000,   0.615,  -0.508
0.406,   0.530,   0.196,   0.718
0.229,   0.638,  -0.589,  -0.440
　直交基底＃９
0.428,   0.630,  -0.576,   0.296
0.554,   0.322,   0.441,  -0.629
0.559,  -0.290,   0.431,   0.646
0.444,  -0.645,  -0.537,  -0.315
　直交基底＃１０
0.497,  -0.596,   0.549,  -0.310
0.609,  -0.232,  -0.466,   0.599
0.523,   0.439,  -0.356,  -0.638
0.330,   0.630,   0.596,   0.372
　直交基底＃１１
0.461,  -0.610,  -0.577,   0.287
0.580,  -0.285,   0.463,  -0.607
0.549,   0.356,   0.385,   0.651
0.388,   0.648,  -0.552,  -0.355
　直交基底＃１２
0.564,  -0.591,  -0.529,   0.229
0.630,  -0.102,   0.553,  -0.536
0.460,   0.491,   0.244,   0.698
0.271,   0.632,  -0.596,  -0.415
　直交基底＃１３
0.394,   0.620,   0.584,   0.346
0.553,   0.370,  -0.389,  -0.637
0.574,  -0.276,  -0.461,   0.619
0.458,  -0.634,   0.544,  -0.302
　直交基底＃１４
0.484,  -0.636,  -0.525,   0.292
0.595,  -0.216,   0.464,  -0.620
0.532,   0.396,   0.371,   0.650
0.360,   0.626,  -0.609,  -0.328
　直交基底＃１５
0.456,   0.640,  -0.554,  -0.276
0.539,   0.295,   0.469,   0.634
0.539,  -0.281,   0.446,  -0.657
0.460,  -0.651,  -0.524,   0.300
　各列に対する基底を選択する際には、図１１～図１２に示すように、まず、動き補償信号間差分信号の各行について差分絶対値和ＳE～ＳHが計算される。ＳEは、動き補償信号間差分信号の行０の各成分の絶対値の和である。同様に、ＳF、ＳG、ＳHは、動き補償信号間差分信号の行１、行２、行３の各成分の絶対値の和である。そして、ＳE～ＳHがそれぞれ閾値Ｔｈと比較される。このとき、例えば、ＳE、ＳFはそれぞれ閾値Ｔｈよりも小さく、ＳG、ＳHはそれぞれ閾値Ｔｈよりも大きいものとする。この場合、基底パターン＃３が検出される。
　各基底パターン＃０～＃１５に対して、それぞれ、基底セット＃０～＃１５が対応付けられている。基底セット＃０～＃１５は、それぞれ、４つの基底（第１～第４主成分用直交基底）を有する。第１～第４主成分用直交基底は、図９～図１０に示す行方向の基底変換を実行することにより得られる４×４基底変換行列の第１～第４成分にそれぞれ対応して作成されている。
　例えば、図１１～図１２に示す例では、基底セット＃３が選択される。この場合、４×４基底変換行列の第１成分は、基底セット＃３の第１主成分用直交基底で変換される。同様に、４×４基底変換行列の第２～第４成分は、それぞれ、基底セット＃３の第２～第４主成分用直交基底で変換される。
　各基底セット＃０～＃１５は、それぞれ、対応する基底パターンを持った「列」に対して使用されたときに、変換後の「列」において第１要素にエネルギーが集中するよう決定されている。よって、行方向の変換後の予測誤差信号の各列がそれぞれ上述のようにして選択された基底セットで変換されると、各列において、第１要素にエネルギーが集中するようになる。すなわち、行方向および列方向において上述の方法で直交変換を行うと、低周波数成分領域にエネルギーが集中することになる。
　列方向の変換のための基底セット＃０～＃１５の例を下記に示す。なお、下記の直交基底の各列は、それぞれ固有ベクトルを表す。左側から順番に第１～第４列は、それぞれ固有ベクトルの第１主成分、第２主成分、第３主成分、第４主成分を表す。なお、直交変換を行うと、一般的に、変換後の行列は、第１主成分の値が最も大きく、第２～第４主成分の値は順番に小さくなる傾向がある。このとき、実空間の符号化対象信号の各行を水平方向に直交変換を行い、全ての行で主成分の並びを統一する。そうすると、この行列は、列方向においてそれぞれの行の同じランクの主成分が並ぶことになる。実施形態の基底セットは、この主成分毎に、垂直方向の基底を有する。
　基底セット＃０（垂直方向の基底パターン＃０に関連付けられた基底セット）
第１主成分用直交基底
0.397,  -0.596,   0.614,   0.333
0.592,  -0.345,  -0.381,  -0.621
0.580,   0.316,  -0.410,   0.629
0.394,   0.653,   0.557,  -0.329
第２主成分用直交基底
0.397,  -0.619,   0.615,   0.284
0.590,  -0.305,  -0.393,  -0.637
0.580,   0.272,  -0.402,   0.655
0.399,   0.671,   0.553,  -0.292
第３主成分用直交基底
0.462,   0.556,  -0.510,   0.465
0.529,   0.444,   0.439,  -0.574
0.529,  -0.431,   0.498,   0.535
0.476,  -0.555,  -0.546,  -0.408
第４主成分用直交基底
0.430,   0.621,   0.518,  -0.401
0.542,   0.379,  -0.430,   0.614
0.566,  -0.388,  -0.448,  -0.574
0.448,  -0.565,   0.588,   0.365
　基底セット＃１
第１主成分用直交基底
0.187,   0.589,  -0.646,  -0.448
0.346,   0.600,   0.159,   0.703
0.574,   0.110,   0.625,  -0.517
0.718,  -0.530,  -0.408,   0.191
第２主成分用直交基底
0.201,   0.538,  -0.613,   0.542
0.368,   0.596,   0.013,  -0.714
0.576,   0.138,   0.685,   0.425
0.702,  -0.580,  -0.393,  -0.129
第３主成分用直交基底
0.229,   0.599,  -0.308,   0.702
0.321,   0.632,  -0.117,  -0.695
0.600,   0.002,   0.787,   0.147
0.696,  -0.491,  -0.522,  -0.037
第４主成分用直交基底
0.142,   0.432,  -0.573,   0.682
0.257,   0.555,  -0.357,  -0.705
0.590,   0.401,   0.674,   0.190
0.752,  -0.587,  -0.299,  -0.036
　基底セット＃２
第１主成分用直交基底
0.286,   0.603,   0.615,  -0.420
0.526,   0.478,  -0.270,   0.650
0.657,  -0.230,  -0.458,  -0.553
0.458,  -0.596,   0.582,   0.310
第２主成分用直交基底
0.355,  -0.587,  -0.488,   0.540
0.569,  -0.395,   0.101,  -0.714
0.603,   0.245,   0.624,   0.433
0.432,   0.663,  -0.602,  -0.108
第３主成分用直交基底
0.426,   0.551,   0.064,   0.715
0.523,   0.497,  -0.029,  -0.692
0.540,  -0.468,  -0.692,   0.101
0.503,  -0.480,   0.718,   0.006
第４主成分用直交基底
0.308,   0.656,   0.124,   0.677
0.449,   0.533,  -0.019,  -0.717
0.689,  -0.381,  -0.595,   0.164
0.479,  -0.374,   0.794,  -0.000
　基底セット＃３
第１主成分用直交基底
0.264,   0.589,  -0.648,  -0.404
0.458,   0.523,   0.240,   0.678
0.621,  -0.066,   0.543,  -0.561
0.578,  -0.612,  -0.477,   0.251
第２主成分用直交基底
0.191,   0.579,  -0.664,  -0.434
0.395,   0.598,   0.200,   0.668
0.618,   0.022,   0.559,  -0.553
0.652,  -0.554,  -0.456,   0.246
第３主成分用直交基底
0.204,   0.645,  -0.517,   0.524
0.334,   0.644,   0.311,  -0.615
0.654,  -0.149,   0.562,   0.484
0.647,  -0.384,  -0.565,  -0.337
第４主成分用直交基底
0.121,   0.510,   0.485,   0.700
0.282,   0.625,   0.255,  -0.682
0.705,   0.174,  -0.656,   0.206
0.639,  -0.564,   0.519,  -0.059
　基底セット＃４
第１主成分用直交基底
0.442,  -0.542,   0.644,   0.310
0.658,  -0.281,  -0.421,  -0.558
0.528,   0.417,  -0.330,   0.662
0.304,   0.673,   0.547,  -0.394
第２主成分用直交基底
0.421,  -0.596,   0.673,   0.118
0.612,  -0.306,  -0.575,  -0.449
0.560,   0.356,  -0.163,   0.730
0.367,   0.651,   0.435,  -0.502
第３主成分用直交基底
0.457,   0.512,   0.727,   0.002
0.512,   0.511,  -0.682,   0.110
0.557,  -0.451,  -0.032,  -0.697
0.467,  -0.523,   0.072,   0.709
第４主成分用直交基底
0.493,  -0.595,  -0.634,  -0.029
0.565,  -0.326,   0.737,   0.180
0.547,   0.516,  -0.030,  -0.658
0.373,   0.522,  -0.234,   0.730
基底セット＃５
第１主成分用直交基底
0.322,   0.556,   0.670,   0.372
0.524,   0.486,  -0.306,  -0.629
0.597,  -0.163,  -0.492,   0.612
0.514,  -0.654,   0.465,  -0.303
第２主成分用直交基底
0.339,  -0.474,   0.600,  -0.548
0.548,  -0.452,  -0.024,   0.703
0.591,   0.073,  -0.675,  -0.437
0.486,   0.752,   0.429,   0.120
第３主成分用直交基底
0.339,   0.560,  -0.187,   0.732
0.486,   0.562,  -0.051,  -0.668
0.587,  -0.280,   0.748,   0.134
0.552,  -0.540,  -0.635,  -0.004
第４主成分用直交基底
0.281,   0.537,  -0.499,  -0.619
0.338,   0.568,  -0.117,   0.741
0.685,   0.026,   0.693,  -0.224
0.580,  -0.623,  -0.508,   0.132
　基底セット＃６
第１主成分用直交基底
0.335,  -0.551,   0.659,   0.387
0.625,  -0.407,  -0.313,  -0.588
0.617,   0.362,  -0.362,   0.598
0.341,   0.632,   0.581,  -0.384
第２主成分用直交基底
0.320,  -0.524,   0.681,   0.400
0.645,  -0.374,  -0.221,  -0.629
0.622,   0.311,  -0.403,   0.595
0.308,   0.699,   0.571,  -0.301
第３主成分用直交基底
0.348,   0.553,   0.569,   0.499
0.583,   0.481,  -0.328,  -0.566
0.616,  -0.424,  -0.417,   0.516
0.399,  -0.532,   0.628,  -0.405
第４主成分用直交基底
0.301,   0.648,   0.483,  -0.506
0.513,   0.476,  -0.261,   0.665
0.745,  -0.418,  -0.327,  -0.404
0.302,  -0.423,   0.769,   0.371
　基底セット＃７
第１主成分用直交基底
0.368,   0.569,  -0.656,  -0.332
0.547,   0.418,   0.348,   0.636
0.590,  -0.208,   0.466,  -0.626
0.466,  -0.676,  -0.481,   0.307
第２主成分用直交基底
0.285,   0.580,  -0.670,  -0.365
0.508,   0.483,   0.276,   0.657
0.617,  -0.111,   0.494,  -0.603
0.529,  -0.646,  -0.480,   0.268
第３主成分用直交基底
0.322,   0.648,  -0.606,   0.330
0.464,   0.503,   0.491,  -0.539
0.611,  -0.263,   0.390,   0.636
0.554,  -0.508,  -0.489,  -0.442
第４主成分用直交基底
0.251,   0.633,   0.535,  -0.499
0.463,   0.500,  -0.140,   0.718
0.651,  -0.115,  -0.596,  -0.456
0.546,  -0.579,   0.583,   0.165
　基底セット＃８
第１主成分用直交基底
0.684,  -0.537,  -0.457,   0.186
0.591,   0.046,   0.622,  -0.512
0.373,   0.560,   0.192,   0.714
0.209,   0.629,  -0.606,  -0.439
第２主成分用直交基底
0.655,  -0.621,  -0.415,  -0.112
0.596,   0.099,   0.679,   0.417
0.400,   0.542,   0.022,  -0.739
0.234,   0.558,  -0.605,   0.518
第３主成分用直交基底
0.699,  -0.493,  -0.516,  -0.041
0.598,   0.012,   0.787,   0.149
0.314,   0.626,  -0.115,  -0.704
0.233,   0.604,  -0.317,   0.693
第４主成分用直交基底
0.863,  -0.444,  -0.238,  -0.034
0.452,   0.470,   0.738,   0.172
0.195,   0.624,  -0.362,  -0.664
0.112,   0.438,  -0.517,   0.727
　基底セット＃９
第１主成分用直交基底
0.421,   0.631,  -0.580,   0.299
0.541,   0.342,   0.442,  -0.628
0.557,  -0.269,   0.446,   0.647
0.468,  -0.643,  -0.520,  -0.312
第２主成分用直交基底
0.410,   0.599,  -0.592,   0.350
0.541,   0.400,   0.422,  -0.607
0.557,  -0.290,   0.462,   0.626
0.478,  -0.629,  -0.508,  -0.342
第３主成分用直交基底
0.464,   0.594,  -0.520,   0.402
0.510,   0.416,   0.486,  -0.576
0.528,  -0.393,   0.474,   0.585
0.495,  -0.566,  -0.519,  -0.407
第４主成分用直交基底
0.507,  -0.669,  -0.392,  -0.376
0.481,  -0.290,   0.455,   0.691
0.547,   0.423,   0.492,  -0.528
0.460,   0.537,  -0.630,   0.320
　基底セット＃１０
第１主成分用直交基底
0.467,  -0.631,   0.541,  -0.303
0.601,  -0.242,  -0.462,   0.605
0.545,   0.414,  -0.347,  -0.641
0.351,   0.610,   0.611,   0.362
第２主成分用直交基底
0.459,  -0.668,   0.564,   0.161
0.609,  -0.196,  -0.585,  -0.499
0.541,   0.391,  -0.184,   0.722
0.356,   0.602,   0.554,  -0.452
第３主成分用直交基底
0.544,  -0.598,  -0.584,  -0.080
0.563,  -0.258,   0.767,   0.168
0.491,   0.561,  -0.026,  -0.666
0.382,   0.511,  -0.266,   0.722
第４主成分用直交基底
0.817,  -0.442,  -0.323,  -0.183
0.479,   0.198,   0.834,   0.189
0.243,   0.812,  -0.224,  -0.481
0.210,   0.325,  -0.388,   0.836
　基底セット１１
第１主成分用直交基底
0.429,   0.636,  -0.569,   0.295
0.552,   0.324,   0.459,  -0.617
0.563,  -0.311,   0.411,   0.646
0.441,  -0.627,  -0.545,  -0.340
第２主成分用直交基底
0.349,   0.652,  -0.667,   0.093
0.519,   0.427,   0.637,  -0.378
0.593,  -0.277,   0.143,   0.743
0.507,  -0.562,  -0.360,  -0.545
第３主成分用直交基底
0.380,   0.634,  -0.666,   0.102
0.448,   0.504,   0.700,  -0.234
0.596,  -0.354,   0.113,   0.712
0.548,  -0.467,  -0.233,  -0.654
第４主成分用直交基底
0.369,   0.781,  -0.431,  -0.261
0.407,   0.351,   0.717,   0.443
0.635,  -0.390,   0.219,  -0.630
0.543,  -0.339,  -0.501,   0.582
　基底セット＃１２
第１主成分用直交基底
0.561,  -0.586,  -0.531,   0.247
0.626,  -0.117,   0.533,  -0.556
0.466,   0.485,   0.277,   0.687
0.276,   0.639,  -0.598,  -0.397
第２主成分用直交基底
0.616,  -0.554,  -0.514,   0.224
0.634,  -0.037,   0.576,  -0.515
0.414,   0.556,   0.198,   0.692
0.217,   0.618,  -0.605,  -0.453
第３主成分用直交基底
0.641,  -0.388,  -0.555,  -0.361
0.653,  -0.163,   0.542,   0.503
0.341,   0.639,   0.338,  -0.601
0.213,   0.644,  -0.533,   0.506
第４主成分用直交基底
0.734,  -0.517,  -0.440,  -0.032
0.604,   0.212,   0.747,   0.180
0.285,   0.677,  -0.273,  -0.622
0.121,   0.480,  -0.417,   0.762
　基底セット＃１３
第１主成分用直交基底
0.412,   0.604,   0.598,   0.330
0.552,   0.367,  -0.403,  -0.631
0.558,  -0.264,  -0.468,   0.633
0.463,  -0.657,   0.512,  -0.304
第２主成分用直交基底
0.484,  -0.510,  -0.418,   0.575
0.599,  -0.331,   0.106,  -0.721
0.513,   0.338,   0.695,   0.373
0.379,   0.718,  -0.575,  -0.100
第３主成分用直交基底
0.523,  -0.504,  -0.241,  -0.644
0.578,  -0.370,   0.105,   0.720
0.476,   0.468,   0.704,  -0.243
0.408,   0.624,  -0.660,   0.090
第４主成分用直交基底
0.558,  -0.513,   0.341,  -0.556
0.561,  -0.324,  -0.212,   0.732
0.500,   0.501,  -0.619,  -0.341
0.353,   0.617,   0.675,   0.198
　基底セット＃１４
第１主成分用直交基底
0.449,  -0.650,  -0.536,   0.297
0.588,  -0.255,   0.461,  -0.615
0.553,   0.377,   0.365,   0.647
0.383,   0.609,  -0.606,  -0.340
第２主成分用直交基底
0.518,  -0.578,  -0.538,   0.331
0.625,  -0.198,   0.436,  -0.616
0.503,   0.461,   0.375,   0.628
0.297,   0.644,  -0.617,  -0.342
第３主成分用直交基底
0.545,  -0.511,   0.472,  -0.469
0.609,  -0.279,  -0.361,   0.649
0.473,   0.502,  -0.512,  -0.513
0.330,   0.640,   0.620,   0.311
第４主成分用直交基底
0.589,  -0.593,  -0.504,  -0.217
0.609,  -0.093,   0.602,   0.508
0.474,   0.575,   0.157,  -0.649
0.240,   0.556,  -0.599,   0.523
　基底セット＃１５
第１主成分用直交基底
0.440,   0.635,  -0.565,  -0.289
0.539,   0.318,   0.453,   0.635
0.547,  -0.273,   0.451,  -0.650
0.465,  -0.649,  -0.521,   0.302
第２主成分用直交基底
0.429,   0.621,   0.572,   0.320
0.553,   0.334,  -0.420,  -0.638
0.556,  -0.289,  -0.457,   0.632
0.449,  -0.648,   0.536,  -0.303
第３主成分用直交基底
0.457,   0.597,   0.536,   0.384
0.533,   0.388,  -0.456,  -0.599
0.536,  -0.371,  -0.470,   0.595
0.469,  -0.596,   0.533,  -0.375
第４主成分用直交基底
0.441,   0.636,   0.531,  -0.345
0.545,   0.327,  -0.426,   0.644
0.554,  -0.329,  -0.463,  -0.609
0.448,  -0.617,   0.568,   0.309
　なお、上述の説明では、行方向の処理においてパターン選択および予測誤差信号の変換が行われ、列方向の処理においてパターン選択および予測誤差信号の変換が行われているが、第１の実施形態の符号化方法はこの手順に限定されるものではない。すなわち、例えば、行方向のパターン選択処理および列方向のパターン選択処理を行った後に、行方向の変換処理および列方向の変換処理を行うようにしてもよい。
　図９～図１２に示す方法においては、行方向および列方向それぞれについて変換が行われるので、離散コサイン変換と同様に低周波成分にエネルギーが集中する。さらに、動き補償信号間差分信号の差分値の分布に応じて基底が適切に選択されるので、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ等で使用されている離散コサイン変換を実施した場合と比較して、空間的冗長性をより小さくすることが可能である。
　図１３は、第１の実施形態の復号装置の構成を示す図である。第１の実施形態の復号装置は、図６に示す符号化装置によって生成される符号化データを復号する。この符号化データストリームは、符号化情報生成部１０５により生成される符号化情報、参照ピクチャインデックス、動きベクトル情報を含んでいる。なお、符号化情報は、復号装置においては、復号対象ブロックを表す復号対象信号として処理される。
　復号装置は、基本的には、符号化装置による処理の逆処理を行う。また、復号装置は、ブロック毎に復号処理を行う。
　エントロピー復号部１５１は、符号化データストリームに対してエントロピー復号を行い、符号化情報、動きベクトル情報等を再生する。なお、図１３では、逆ジグザグスキャン部は省略されている。
　動き補償信号生成部１５２は、符号化装置から受信した動きベクトル情報および複数の参照ピクチャに基づいて複数の動き補償信号を生成する。この例では、図３～図４を参照しながら説明したように、前方向動き補償信号および後方向動き補償信号が生成される。ここで、参照ピクチャは、先に復号されて参照画像蓄積部１５７に格納されている画像であり、符号化装置において使用される参照ピクチャと同じである。よって、符号化装置および復号装置において、同じ動き補償信号が生成される。
　予測信号生成部１５３は、複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成する。すなわち、前方向動き補償信号および後方向動き補償信号の平均を計算することにより、予測信号が生成される。
　選択部１５４は、復号対象信号から再生予測誤差信号を生成するための複数の再生規則の中から、動き補償信号生成部１５２により得られる複数の動き補償信号に基づいて決まる再生規則を選択する。この例では、前方向動き補償信号と後方向動き補償信号との差分に基づいて、再生規則が選択される。
　再生予測誤差信号生成部１５５は、複数の再生予測誤差信号生成部＃１～＃Ｎを備えている。再生予測誤差信号生成部＃１～＃Ｎは、それぞれ、再生規則＃１～＃Ｎで復号対象信号から再生予測誤差信号を生成する。再生規則＃１～＃Ｎは、それぞれ、符号化装置において使用される生成規則＃１～＃Ｎによる処理の逆処理を規定する。そして、再生予測誤差信号生成部１５５は、選択部１５４により選択された再生規則に従って復号対象信号から再生予測誤差信号を生成する。
　復号画像生成部１５６は、再生予測誤差信号および予測信号から復号画像を生成する。なお、復号画像は、以降の復号処理で利用される参照ピクチャとして参照画像蓄積部１５７に格納される。
　動き補償信号生成部１５２、予測信号生成部１５３、選択部１５４、再生予測誤差信号生成部１５５の構成および動作は、基本的に、図６に示す動き補償信号生成部１０２、予測信号生成部１０３、選択部１０６、再生予測誤差信号生成部１０５と同じである。すなわち、符号化装置および復号装置の双方において、同様の参照ピクチャから同様の動き補償信号が生成される。このため、符号化装置および復号装置において、互いに同様に、動き補償信号間の差分の分布から予測誤差信号の分布を推定できる。したがって、符号化装置が、動き補償信号間の差分の分布に応じて符号化方法を適応的に切り替えると、復号装置は、符号化装置から特別の通知を受けることなく、動き補償信号間の差分の分布に応じて、符号化装置で使用された符号化方法に対応する復号化方法を選択できる。
　図１４は、第１の実施形態の復号装置の動作例を示す図である。復号装置の動作は、基本的に、図７を参照しながら説明した符号化装置の動作と同じである。すなわち、前方向動き補償信号と後方向動き補償信号との差分を計算することにより、動き補償信号間差分信号が生成される。この差分演算は、差分計算部１５８により実行される。なお、差分計算部１５８は、選択部１５４の一部として実現されてもよい。
　選択部１５４は、動き補償信号間差分信号の分布パターンを検出する。この例では、ブロック内の右下領域の差分値が大きくなっている。そして、選択部１５４は、再生予測誤差信号生成部１５５が提供する複数の基底（再生予測誤差信号生成部＃０～＃１５）の中から、上記分布パターンに対応する基底を選択する。なお、分布パターンに応じて基底を選択する方法は、符号化装置と同じであり、図８または図９～図１２を参照しながら説明した通りである。
　再生予測誤差信号生成部１５５は、選択部１５４により選択された基底を用いて、符号化情報（復号対象信号）を変換して再生予測誤差信号を生成する。このとき、符号化装置の符号化情報生成部１０５において実行される直交変換の逆変換が実行される。この後、再生予測誤差信号および予測信号を用いて復号画像が生成される。
　図１５は、第１の実施形態の符号化方法を示すフローチャートである。このフローチャートの符号化方法は、例えば、図６に示す符号化装置により実行される。符号化装置は、符号化対象ブロック毎にこのフローチャートの処理を実行する。
　ステップＳ１において、動き推定部１０１は、双方向予測の動きベクトルを探索する。これにより、前方向動きベクトルおよび後方向動きベクトルが検出される。ステップＳ２において、動き補償信号生成部１０２は、前記前方向動きベクトルおよび後方向動きベクトルをもとに動き補償信号を生成する。これにより、前方向動き補償信号および後方向動き補償信号が生成される。ステップＳ３において、選択部１０６（または、差分計算部１１１）は、動き補償信号間の差分を計算する。すなわち、前方向動き補償信号と後方向動き補償信号との差分を表す動き補償信号間差分信号が生成される。
　ステップＳ４において、選択部１０６は、動き補償信号間差分信号に基づいて（すなわち、前方向動き補償信号と後方向動き補償信号との差分の分布に基づいて）、直交変換基底を選択する。ステップＳ５において、予測信号生成部１０３は、前方向動き補償信号および後方向動き補償信号から予測信号を生成する。ステップＳ６において、予測誤差信号生成部１０４は、符号化対象信号と予測信号との誤差を表す予測誤差信号を生成する。
　ステップＳ７において、符号化情報生成部１０５は、選択された直交変換基底で、予測誤差信号を変換する。この後、このフローチャートでは省略されているが、変換された予測誤差信号に対して、量子化処理およびエントロピー符号化が行われる。
　なお、図１５に示すフローチャートにおいて、例えば、ステップＳ５～Ｓ６は、ステップＳ３の前に実行されてもよい。また、ステップＳ３～Ｓ４、およびステップＳ５～Ｓ６は、並列に実行されてもよい。
　図１６は、第１の実施形態の復号方法を示すフローチャートである。このフローチャートの復号方法は、例えば、図１３に示す復号装置により実行される。復号装置は、復号対象ブロック毎にこのフローチャートの処理を実行する。
　ステップＳ１１において、エントロピー復号部１５１は、符号化情報（復号対象信号）に対してエントロピー復号を行う。さらに、エントロピー復号部の出力信号に対して逆量子化処理が行われる。ステップＳ１２において、動き補償信号生成部１５２は、動き補償信号を生成する。ステップＳ１３において、選択部１５４（または、差分計算部１５８）は、動き補償信号間の差分を計算する。ステップＳ１２～Ｓ１３の処理は、基本的に、符号化装置で実行されるステップＳ２～Ｓ３と同じである。
　ステップＳ１４において、選択部１５４は、動き補償信号間差分信号に基づいて（すなわち、前方向動き補償信号と後方向動き補償信号との差分の分布に基づいて）、逆直交変換基底を選択する。ステップＳ１５において、予測信号生成部１５３は、前方向動き補償信号および後方向動き補償信号から予測信号を生成する。
　ステップＳ１６において、再生予測誤差信号生成部１５５は、選択された逆直交変換基底で復号対象信号を変換することにより、再生予測誤差信号を生成する。ステップＳ１７において、復号画像生成部１５６は、予測信号に再生予測誤差信号を加算することにより復号画像を生成する。
　なお、図１６に示すフローチャートにおいて、例えば、ステップＳ１５は、ステップＳ１３の前に実行されてもよい。また、ステップＳ１３～Ｓ１４およびステップＳ１５は、並列に実行されてもよい。
　このように、第１の実施形態の動画像符号化／復号方法は、複数の動き補償信号間の差分値の分布と、予測誤差信号の分布との間に相関があることを利用する。すなわち、動き補償信号間の差分値の分布に基づいて、予測誤差信号を符号化／復号するための方法が適切に選択される。したがって、予測誤差の空間的な冗長性が効率的に削減され、従来の方法（例えば、画像の性質にかかわりなくＤＣＴ変換を行う方法）と比較して、符号化情報の情報量が小さくなる。また、符号化装置および復号装置は、実質的に同じ動き補償信号を生成できるので、復号装置は、符号化装置から符号化方法を指示する情報を受信しなくても、対応する復号方法を正しく選択できる。さらに、画像の性質に応じて適切な符号化方法（ここでは、変換規則）が選択されるので、予測誤差が大きいブロック（例えば、細かいテクスチャが存在する領域、あるいは動きの激しいシーン）であっても、符号化情報の情報量が小さくなる。
　＜第２の実施形態＞
　本特許出願の出願人は、輝度情報および色差情報を符号化する際に、輝度情報の予測誤差が大きい画素は、色差情報の予測誤差も大きいことを見出した。すなわち、輝度情報の予測誤差が発生する画素位置と、色差情報の予測誤差が発生する画素位置との間には相関がある。なお、この相関は、予測信号生成方法がインター予測、双方向フレーム間予測、イントラ予測のいずれの場合であっても存在する。また、上記相関は、ＲＧＢ信号のＲ成分、Ｇ成分、Ｂ成分間でも存在する。
　上記相関を利用すれば、色差情報の予測誤差の発生位置から、輝度情報の予測誤差の発生位置の分布または偏りを推定できる。したがって、第２の実施形態では、色差情報の予測誤差の画素位置に応じて、輝度情報の符号化方法を適応的に切り替えることにより、輝度情報の符号化効率の向上を図る。ここで、輝度情報の情報量は、色差情報の数倍またはそれ以上である。よって、輝度情報の符号化効率の向上は、画像全体の符号化効率の向上に大きく寄与する。
　なお、第１の実施形態では、複数の動き補償信号の差分の分布に基づいて符号化対象信号の符号化方法（上述の例では、直交変換の基底）が適切に選択される。これに対して、第２の実施形態では、色差情報の予測誤差の分布に基づいて輝度情報の符号化方法が適切に選択される。すなわち、第１および第２の実施形態は、符号化方法を選択するための判断基準が互いに異なっているが、選択された符号化方法で符号化対象情報（第２の実施形態では、輝度情報）を符号化する構成および動作は、互いに同じであってもよい。
　図１７は、第２の実施形態の符号化装置の構成を示す図である。第２の実施形態においても、動画像の各ピクチャはそれぞれ複数のブロックに分割され、符号化装置は、ブロック毎に画像データを符号化する。なお、図１７に示す構成では、符号化装置に、符号化対象画像の輝度成分および色差成分が入力される。
　色差予測信号生成部２０１は、符号化対象画像の色差情報の予測値を表す色差予測信号を生成する。色差予測信号生成部２０１は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４等で採用されているインター予測、双方向フレーム間予測、または、Ｈ．２６４等で採用されているIntra予測などにより実現される。また、各ブロックの予測方法は、所定の予測モード決定アルゴリズムで決定される。
　色差予測誤差信号生成部２０２は、符号化対象画像の色差情報と色差予測信号との差分を計算することにより色差予測誤差信号を生成する。色差符号化情報生成部２０３は、色差予測誤差信号の空間方向の冗長性を削減し、色差符号化情報を生成する。色差符号化情報生成部２０３は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４等で用いられる直交変換および量子化の組合せにより実現される。この場合、色差符号化情報は、直交変換された係数を量子化した結果である。また、色差符号化情報生成部２０３は、ＪＰＥＧ－２０００等で採用されているWavelet変換やＤＰＣＭ、ベクトル量子化等で実現されてもよい。
　色差再生予測誤差信号生成部２０４は、色差符号化情報から色差再生予測誤差信号を生成する。色差再生予測誤差信号生成部２０４は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４で採用されている逆量子化および逆直交変換の組合せにより実現される。あるいは、色差再生予測誤差信号生成部２０４は、ＤＰＣＭ、ベクトル量子化の復号処理などによって実現されてもよい。
　色差復号画像生成部２０５は、色差予測信号に色差再生予測誤差信号を加算することで色差復号画像を生成する。この復号画像は、以降の符号化処理において使用される参照ピクチャとして保存される。
　輝度情報を符号化するための構成は、基本的に、上述した色差情報を符号化するための構成と同じである。すなわち、輝度予測信号生成部２１１および輝度予測誤差信号生成部２１２は、色差予測信号生成部２０１および色差予測誤差信号生成部２０２と同様の方法で、輝度予測信号および輝度予測誤差信号を生成する。
　輝度符号化情報生成部２１３は、複数の輝度符号化情報生成部＃１～＃Ｎを備える。輝度符号化情報生成部＃１～＃Ｎは、基本的に、図６に示す第１の実施形態の符号化情報生成部＃１～＃Ｎと同じである。また、輝度再生予測誤差信号生成部２１４は、複数の輝度再生予測誤差信号生成部＃１～＃Ｎを備える。輝度再生予測誤差信号生成部＃１～＃Ｎは、基本的に、図６に示す第１の実施形態の再生予測誤差信号生成部＃１～＃Ｎと同じである。なお、再生予測誤差信号生成部＃１～＃Ｎは、それぞれ、輝度符号化情報生成部＃１～＃Ｎによる処理の逆処理を実行する。
　選択部２２１は、色差情報の予測誤差のブロック内での分布に基づいて、輝度符号化情報の情報量（または、輝度符号化情報がエントロピー符号化された後の情報量）が最も小さくなることが期待される輝度符号化情報生成部＃１～＃Ｎを選択する。また、選択部２２１は、選択した輝度符号化情報生成部＃１～＃Ｎに対応する再生予測誤差信号生成部＃１～＃Ｎを選択する。すなわち、選択部２２１は、互いに対応する変換／逆変換を実行する１組の輝度符号化情報生成部および再生予測誤差信号生成部を選択する。なお、色差情報の予測誤差は、色差再生予測誤差信号生成部２０４により生成される色差再生予測誤差信号から検出される。或いは、色差情報の予測誤差は、色差予測誤差信号生成部２０２により生成される色差予測誤差信号から検出されるようにしてもよい。
　輝度符号化情報生成部２１３は、選択部２２１により選択された輝度符号化情報生成部を利用して輝度符号化情報を生成する。そして、エントロピー符号化部２２２は、輝度符号化情報および色差符号化情報に対してエントロピー符号化を行う。これにより、エントロピー符号化情報が生成される。
　輝度再生予測誤差信号生成部２１４は、選択部２２１により選択された輝度再生予測誤差信号生成部を利用して輝度符号化情報から輝度再生予測誤差信号を生成する。そして、輝度復号画像生成部２１５は、輝度予測信号に輝度再生予測誤差信号を加算することで輝度復号画像を生成する。この復号画像は、以降の符号化処理において使用される参照ピクチャとして保存される。
　図１８は、第２の実施形態の符号化装置の動作例を示す図である。この例では、原画像ブロックは、Ｙ／Ｃb／Ｃr信号で表される。ここで、原画像ブロックの右下領域に丸いテクスチャが存在するものとする。この場合、一般に、Ｙ信号ブロックの右下領域に丸いテクスチャが存在し、同様に、Ｃb／Ｃr信号ブロックの右下領域にもそれぞれ丸いテクスチャが存在する。なお、Ｙ／Ｃb／Ｃr信号の画像フォーマットは、特に限定されるものではなく、例えば、４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマットのいずれであってもよい。
　予測信号（輝度予測信号および色差予測信号）によって表される予測ブロックも、原画像ブロックと同様に、Ｙ／Ｃb／Ｃr信号で表される。ここで、予測ブロックは、原画像ブロックと類似しているが、一般に、原画像ブロックにおいてテクスチャが存在する領域は誤差が生じやすい。図１８に示す例では、予測ブロックにおいてテクスチャが存在していない。
　輝度予測誤差信号は、原画像ブロックのＹ信号と予測ブロックのＹ信号との差分により生成される。このとき、予測ブロックにはテクスチャが存在していないので、ブロック内の右下領域において輝度予測誤差は大きい。
　Ｃb／Ｃr信号ブロックについても、同様に、予測誤差が生成される。ただし、この例では、直交変換、量子化、逆量子化、逆直交変換が行われた後の色差予測誤差（すなわち、色差再生予測誤差信号）が使用される。このとき、Ｃb／Ｃr信号についても、予測ブロックにはテクスチャが存在していない。このため、Ｃb／Ｃr信号についても、ブロック内の右下領域において色差予測誤差は大きい。すなわち、輝度ブロックおよび色差ブロックの双方において、右下領域の予測誤差が大きくなっている。
　選択部２２１は、色差予測誤差の分布に対応する変換規則を選択する。このとき、選択部２２１は、Ｃb予測誤差およびＣr予測誤差の分布に基づいて変換規則を選択する。この場合、例えば、Ｃb予測誤差およびＣr予測誤差を画素毎に加算することにより得られる加算値の分布に基づいて変換規則が選択される。なお、選択部２２１は、Ｃb予測誤差またはＣr予測誤差いずれか一方の分布に基づいて変換規則を選択してもよい。
　図１８に示す例では、色差予測誤差信号は、ブロック内の右下領域において誤差が大きい分布を有している。この場合、選択部２２１は、予め用意されている複数の変換規則の中から、右下領域を優遇する変換規則を選択する。「右下領域を優遇する変換規則」は、輝度予測誤差ブロックの右下領域の誤差が大きいときに、その輝度予測誤差信号の符号化データの情報量を小さくするように決定される。なお、複数の変換規則は、例えば、第１の実施形態の直交変換基底である。
　色差予測誤差の分布を検出する方法は、例えば、第１の実施形態と同じ手順を採用することができる。すなわち、図８を参照しながら説明したように、色差予測誤差ブロックを４つの領域に分割し、各領域について色差予測誤差値の絶対値の和を閾値と比較することにより、色差予測誤差の分布が検出される。
　図１９は、輝度情報の変換規則を選択する方法を示すフローチャートである。ステップＳ２１において、色差予測誤差信号生成部２０２は、色差予測誤差信号を生成する。続いて、色差符号化情報生成部２０３は、色差予測誤差信号から色差符号化情報を生成する。そして、色差再生予測誤差信号生成部２０４は、符号化情報から色差再生予測誤差信号を生成する。
　ステップＳ２２において、選択部２２１は、色差再生予測誤差信号により表される色差予測誤差ブロックを４つの領域に分割し、各領域について誤差値の和ＳA～ＳDを計算する。ステップＳ２３において、選択部２２１は、各誤差和ＳA～ＳDと閾値Ｔｈとをそれぞれ比較する。これにより、符号化対象ブロックについて、色差予測誤差の分布パターンが判定される。そして、ステップＳ２４において、選択部２２１は、色差予測誤差の分布パターンに応じて、輝度予測誤差を直交変換するための基底を選択する。なお、輝度符号化情報生成部２１３は、選択された基底で輝度予測誤差信号を生成し、輝度再生予測誤差信号生成部２１４は、選択された基底で輝度符号化情報を逆変換する。
　図２０は、第２の実施形態の復号装置の構成を示す図である。第２の実施形態の復号装置は、図１７に示す符号化装置によって生成される符号化データストリーム（エントロピー符号化情報）を復号する。なお、復号装置は、基本的には、符号化装置による処理の逆処理を行う。また、復号装置は、ブロック毎に復号処理を行う。
　エントロピー復号部２３１は、エントロピー符号化情報を復号し、色差符号化情報および輝度符号化情報を再生する。色差再生予測誤差信号生成部２４１は、色差符号化情報から色差再生予測誤差信号を生成する。また、色差予測信号生成部２４２は、色差予測信号を生成する。なお、色差再生予測誤差信号生成部２４１および色差予測信号生成部２４２の動作は、基本的に、符号化装置が備える色差再生予測誤差信号生成部２０４および色差予測信号生成部２０１と同じである。そして、色差復号画像生成部２４３は、色差予測信号に色差再生予測誤差信号を加算することにより、色差復号画像を生成する。
　選択部２３２は、色差再生予測誤差信号に基づいて、輝度符号化情報から輝度再生予測誤差信号を生成するための再生規則を選択する。ここで、色差再生予測誤差信号生成部２４１により生成される色差再生予測誤差信号は、符号化装置が備える色差再生予測誤差信号生成部２０４により生成される色差再生予測誤差信号と同じである。したがって、符号化装置および復号装置において同じ規則が選択される。すなわち、復号装置は、符号化装置から特別の通知を受けることなく、符号化装置において輝度符号化情報生成部が使用した生成規則に対応する再生規則を選択することができる。
　輝度再生予測誤差信号生成部２５１は、選択された再生規則に従って、輝度符号化情報から輝度再生予測誤差信号を生成する。また、輝度予測信号生成部２５２は、輝度予測信号を生成する。なお、輝度再生予測誤差信号生成部２５１および輝度予測信号生成部２５２の動作は、基本的に、符号化装置が備える輝度再生予測誤差信号生成部２１４および輝度予測信号生成部２１１と同じである。そして、輝度復号画像生成部２５３は、輝度予測信号に輝度再生予測誤差信号を加算することにより、輝度復号画像を生成する。
　このように、第２の実施形態の動画像符号化／復号方法は、色差予測誤差信号の誤差値の分布と、輝度予測誤差信号の誤差値の分布との間に相関があることを利用する。すなわち、色差予測誤差信号の誤差値の分布に基づいて、輝度予測誤差信号を符号化／復号するための方法が適切に選択される。したがって、輝度予測誤差の空間的な冗長性が効率的に削減され、第１の実施形態と同様に、従来の方法（例えば、画像の性質にかかわりなくＤＣＴ変換を行う方法）と比較して、符号化情報の情報量が小さくなる。また、符号化装置および復号装置は、実質的に同じ予測誤差信号を生成できるので、復号装置は、符号化装置から符号化方法を指示する情報を受信しなくても、対応する復号方法を正しく選択できる。さらに、画像の性質に応じて適切な符号化方法（ここでは、変換規則）が選択されるので、予測誤差が大きいブロック（例えば、細かいテクスチャが存在する領域、あるいは動きの激しいシーン）であっても、符号化情報の情報量が小さくなる。
　＜バリエーション＞
　上述の説明では、第１の実施形態において、前方向動き補償信号と後方向動き補償信号との間の差分の分布に応じて予測誤差信号の変換規則／再生規則が選択される。しかし、第１の実施形態はこの方法に限定されるものではない。すなわち、例えば、第１の実施形態において、前方向動き補償信号と後方向動き補償信号との間の相関の分布に応じて予測誤差信号の変換規則／再生規則が選択されるようにしてもよい。
　また、上述の説明では、第１の実施形態において、予測誤差信号を直交変換する変換規則が選択される。また、第２の実施形態において、輝度予測誤差信号を直交変換する変換規則が選択される。しかし、第１および第２の実施形態はこの方法に限定されるものではない。すなわち、例えば、第１の実施形態において、直交変換の後に実行される量子化演算の規則が動き補償信号に応じて選択されるようにしてもよい。第２の実施形態においても同様である。
　＜ハードウェア構成＞
　図２１は、各実施形態の符号化装置または復号装置（あるいは、符号化／復号方法を実行するコンピュータまたはプロセッサシステム）のハードウェア構成を示す図である。図２１において、ＣＰＵ１００１は、メモリ１００３を利用して符号化プログラムまたは復号プログラムを実行する。記憶装置１００２は、符号化プログラムまたは復号プログラムを格納する。なお、記憶装置１００２は、外部記憶装置であってもよい。メモリ１００３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。
　読み取り装置１００４は、ＣＰＵ１００１の指示に従って可搬型記録媒体１００５にアクセスする。可搬型記録媒体１００５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１００６は、ＣＰＵ１００１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１００７は、この実施例では、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。
　実施形態に係わる符号化プログラムまたは復号プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１００２に予めインストールされている。
（２）可搬型記録媒体１００５により提供される。
（３）プログラムサーバ１０１０からダウンロードする。
そして、上記構成のコンピュータで符号化プログラムまたは復号プログラムを実行することにより、実施形態に係わる符号化装置または復号装置が実現される。

Claims (21)

  1. 　符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成する動き補償信号生成部と、
    　前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成する予測信号生成部と、
    　前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成する予測誤差信号生成部と、
    　前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する選択部と、
    　前記選択部により選択された生成規則に従って、前記予測誤差信号から符号化情報を生成する符号化情報生成部、
    　を有する動画像符号化装置。
  2. 　請求項１に記載の動画像符号化装置であって、
    　前記動き補償信号生成部は、前方向動き補償のための参照画像から第１の動き補償信号を生成すると共に、後方向動き補償のための参照画像から第２の動き補償信号を生成し、
    　前記選択部は、前記第１および第２の動き補償信号の差分に基づいて、前記符号化情報生成部が前記符号化情報を生成するための生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  3. 　請求項２に記載の動画像符号化装置であって、
    　前記選択部は、前記第１および第２の動き補償信号の差分値の分布に対応する生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  4. 　請求項１に記載の動画像符号化装置であって、
    　前記動き補償信号生成部は、前方向動き補償のための参照画像から第１の動き補償信号を生成すると共に、後方向動き補償のための参照画像から第２の動き補償信号を生成し、
    　前記選択部は、前記第１および第２の動き補償信号の相関に基づいて、前記符号化情報生成部が前記符号化情報を生成するための生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  5. 　請求項１に記載の動画像符号化装置であって、
    　前記符号化情報から前記予測誤差信号の再生値を表す再生予測誤差信号を生成する再生予測誤差信号生成部と、
    　前記再生予測誤差信号から局部復号画像を生成する局部復号画像生成部と、
    　前記局部復号画像を参照画像として蓄積する参照画像蓄積部、をさらに備え、
    　前記選択部は、前記複数の生成規則に対応して用意されている複数の再生規則の中から、前記符号化情報生成部のために選択した生成規則に対応する再生規則を選択し、
    　前記再生予測誤差信号生成部は、前記選択部により選択された再生規則に従って、前記符号化情報から前記再生予測誤差信号を生成する
    　ことを特徴とする動画像符号化装置。
  6. 　請求項１に記載の動画像符号化装置であって、
    　前記符号化情報からエントロピー符号化情報を生成するエントロピー符号化部をさらに備え、
    　前記選択部は、前記エントロピー符号化情報の情報量が最も小さくなることが期待される生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  7. 　動画像符号化装置により生成された符号化情報を復号する動画像復号装置であって、
    　複数の参照画像に基づいて複数の動き補償信号を生成する動き補償信号生成部と、
    　前記複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成する予測信号生成部と、
    　復号対象信号から再生予測誤差信号を生成する複数の再生規則の中から、前記複数の動き補償信号に基づいて決まる再生規則を選択する選択部と、
    　前記選択部により選択された再生規則に従って、前記復号対象信号から再生予測誤差信号を生成する再生予測誤差信号生成部と、
    　前記再生予測誤差信号および前記予測信号から復号画像を生成する復号画像生成部、
    　を有する動画像復号装置。
  8. 　請求項７に記載の動画像復号装置であって、
    　前記動き補償信号生成部は、前方向動き補償のための参照画像から第１の動き補償信号を生成すると共に、後方向動き補償のための参照画像から第２の動き補償信号を生成し、
    　前記選択部は、前記第１および第２の動き補償信号の差分に基づいて、前記再生予測誤差信号生成部が前記再生予測誤差信号を生成するための再生規則を選択する
    　ことを特徴とする動画像復号装置。
  9. 　請求項８に記載の動画像復号装置であって、
    　前記選択部は、前記第１および第２の動き補償信号の差分値の分布に対応する再生規則を選択する
    　ことを特徴とする動画像復号装置。
  10. 　請求項７に記載の動画像復号装置であって、
    　前記動き補償信号生成部は、前方向動き補償のための参照画像から第１の動き補償信号を生成すると共に、後方向動き補償のための参照画像から第２の動き補償信号を生成し、
    　前記選択部は、前記第１および第２の動き補償信号の相関に基づいて、前記再生予測誤差信号生成部が前記再生予測誤差信号を生成するための再生規則を選択する
    　ことを特徴とする動画像復号装置。
  11. 　符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成し、
    　前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成し、
    　前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成し、
    　前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択し、
    　選択された生成規則に従って、前記予測誤差信号から符号化情報を生成する、
    　ことを特徴とする動画像符号化方法。
  12. 　動画像符号化装置により生成された符号化情報を復号する動画像復号方法であって、
    　複数の参照画像に基づいて複数の動き補償信号を生成し、
    　前記複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成し、
    　復号対象信号から再生予測誤差信号を生成する複数の再生規則の中から、前記複数の動き補償信号に基づいて決まる再生規則を選択し、
    　選択された再生規則に従って、前記復号対象信号から再生予測誤差信号を生成し、
    　前記再生予測誤差信号および前記予測信号から復号画像を生成する、
    　ことを特徴とする動画像復号方法。
  13. 　コンピュータに、
    　符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成するステップ、
    　前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成するステップ、
    　前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成するステップ、
    　前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択するステップ、
    　選択された生成規則に従って前記予測誤差信号から符号化情報を生成するステップ、
    　を実行させるための動画像符号化プログラム。
  14. 　動画像符号化装置により生成された符号化情報を復号するコンピュータに、
    　複数の参照画像に基づいて複数の動き補償信号を生成するステップ、
    　前記複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成するステップ、
    　復号対象信号から再生予測誤差信号を生成する複数の再生規則の中から、前記複数の動き補償信号に基づいて決まる再生規則を選択するステップ、
    　選択された再生規則に従って前記復号対象信号から再生予測誤差信号を生成ステップ、
    　前記再生予測誤差信号および前記予測信号から復号画像を生成するステップ、
    　を実行させるための動画像復号プログラム。
  15. 　輝度信号および色差信号を含む符号化対象信号の符号化を行う動画像符号化装置であって、
    　輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、
    　前記符号化対象信号の輝度信号と前記輝度予測信号との差分を表す輝度予測誤差信号を生成する輝度予測誤差信号生成部と、
    　色差信号の予測値を表す色差予測信号を生成する色差予測信号生成部と、
    　前記符号化対象信号の色差信号と前記色差予測信号との差分を表す色差予測誤差信号を生成する色差予測誤差信号生成部と、
    　前記輝度予測誤差信号から輝度符号化情報を生成するための複数の生成規則の中から、前記色差予測誤差信号に基づいて、前記輝度予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する選択部と、
    　前記選択部により選択された生成規則に従って、前記輝度予測誤差信号から輝度符号化情報を生成する輝度符号化情報生成部、
    　を有する動画像符号化装置。
  16. 　請求項１５に記載の動画像符号化装置であって、
    　前記色差予測誤差信号から色差符号化情報を生成する色差符号化情報生成部と、
    　前記色差符号化情報から色差の予測誤差の再生値を表す色差再生予測誤差信号を生成する色差再生予測誤差信号生成部、をさらに備え、
    　前記選択部は、前記色差再生予測誤差信号に基づいて、前記輝度符号化情報生成部が前記輝度符号化情報を生成するための生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  17. 　動画像符号化装置により生成された輝度信号および色差信号を含む符号化情報を復号する動画像復号装置であって、
    　輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、
    　前記符号化情報に含まれている色差符号化情報から色差再生予測誤差信号を生成する色差再生予測誤差信号生成部と、
    　前記符号化情報に含まれている輝度符号化情報から輝度再生予測誤差信号を生成する複数の再生規則の中から、前記色差再生予測誤差信号に基づいて決まる再生規則を選択する選択部と、
    　前記選択部により選択された再生規則に従って、前記輝度符号化情報から輝度再生予測誤差信号を生成する輝度再生予測誤差信号生成部と、
    　前記輝度再生予測誤差信号および前記輝度予測信号から輝度復号画像を生成する輝度復号画像生成部、
    　を有する動画像復号装置。
  18. 　輝度信号および色差信号を含む符号化対象信号の符号化を行う動画像符号化方法であって、
    　輝度信号の予測値を表す輝度予測信号を生成し、
    　前記符号化対象信号の輝度信号と前記輝度予測信号との差分を表す輝度予測誤差信号を生成し、
    　色差信号の予測値を表す色差予測信号を生成し、
    　前記符号化対象信号の色差信号と前記色差予測信号との差分を表す色差予測誤差信号を生成し、
    　前記輝度予測誤差信号から輝度符号化情報を生成するための複数の生成規則の中から、前記色差予測誤差信号に基づいて、前記輝度予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択し、
    　前記選択部により選択された生成規則に従って、前記輝度予測誤差信号から輝度符号化情報を生成する、
    　ことを特徴とする動画像符号化方法。
  19. 　動画像符号化装置により生成された輝度信号および色差信号を含む符号化情報を復号する動画像復号方法であって、
    　輝度信号の予測値を表す輝度予測信号を生成し、
    　前記符号化情報に含まれている色差符号化情報から色差再生予測誤差信号を生成し、
    　前記符号化情報に含まれている輝度符号化情報から輝度再生予測誤差信号を生成する複数の再生規則の中から、前記色差再生予測誤差信号に基づいて決まる再生規則を選択し、
    　選択された再生規則に従って前記輝度符号化情報から輝度再生予測誤差信号を生成し、
    　前記輝度再生予測誤差信号および前記輝度予測信号から輝度復号画像を生成する、
    　ことを特徴とする動画像復号方法。
  20. 　輝度信号および色差信号を含む符号化対象信号の符号化を行うコンピュータに、
    　輝度信号の予測値を表す輝度予測信号を生成するステップ、
    　前記符号化対象信号の輝度信号と前記輝度予測信号との差分を表す輝度予測誤差信号を生成するステップ、
    　色差信号の予測値を表す色差予測信号を生成するステップ、
    　前記符号化対象信号の色差信号と前記色差予測信号との差分を表す色差予測誤差信号を生成するステップ、
    　前記輝度予測誤差信号から輝度符号化情報を生成するための複数の生成規則の中から、前記色差予測誤差信号に基づいて、前記輝度予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択するステップ、
    　前記選択部により選択された生成規則に従って、前記輝度予測誤差信号から輝度符号化情報を生成するステップ、
    　を実行させる動画像符号化プログラム。
  21. 　動画像符号化装置により生成された輝度信号および色差信号を含む符号化情報を復号するコンピュータに、
    　輝度信号の予測値を表す輝度予測信号を生成するステップ、
    　前記符号化情報に含まれている色差符号化情報から色差再生予測誤差信号を生成するステップ、
    　前記符号化情報に含まれている輝度符号化情報から輝度再生予測誤差信号を生成する複数の再生規則の中から、前記色差再生予測誤差信号に基づいて決まる再生規則を選択するステップ、
    　選択された再生規則に従って前記輝度符号化情報から輝度再生予測誤差信号を生成するステップ、
    　前記輝度再生予測誤差信号および前記輝度予測信号から輝度復号画像を生成するステップ、
    　を実行させる動画像復号プログラム。
PCT/JP2009/007360 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置 WO2011080807A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011547116A JP5488613B2 (ja) 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置
PCT/JP2009/007360 WO2011080807A1 (ja) 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置
US13/530,514 US9094687B2 (en) 2009-12-28 2012-06-22 Video encoder and video decoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/007360 WO2011080807A1 (ja) 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/530,514 Continuation US9094687B2 (en) 2009-12-28 2012-06-22 Video encoder and video decoder

Publications (1)

Publication Number Publication Date
WO2011080807A1 true WO2011080807A1 (ja) 2011-07-07

Family

ID=44226242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/007360 WO2011080807A1 (ja) 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置

Country Status (3)

Country Link
US (1) US9094687B2 (ja)
JP (1) JP5488613B2 (ja)
WO (1) WO2011080807A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017164297A1 (ja) * 2016-03-25 2017-09-28 パナソニックＩｐマネジメント株式会社 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置
WO2019189901A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2019189899A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2019189900A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2019194109A1 (ja) * 2018-04-04 2019-10-10 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
JP2020028067A (ja) * 2018-08-15 2020-02-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2020072458A (ja) * 2018-11-02 2020-05-07 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US12034969B2 (en) 2018-03-29 2024-07-09 Nippon Hoso Kyokai Image encoding device, image decoding device and program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553211B2 (en) * 2013-01-03 2023-01-10 Disney Enterprises, Inc. Heuristic detection of potential digital media artifacts and defects in digital media assets
JP2018074491A (ja) * 2016-11-02 2018-05-10 富士通株式会社 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03283989A (ja) * 1990-03-30 1991-12-13 Toshiba Corp カラー画像符号化方式
JP2002315006A (ja) * 2001-04-13 2002-10-25 Kddi Research & Development Laboratories Inc 動き補償予測特異値展開符号化装置
JP2002314428A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 信号符号化方法及び装置並びに復号方法及び装置
JP2005086384A (ja) * 2003-09-08 2005-03-31 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235419A (en) * 1991-10-24 1993-08-10 General Instrument Corporation Adaptive motion compensation using a plurality of motion compensators
JP3278948B2 (ja) 1993-02-05 2002-04-30 日本電信電話株式会社 可変長符号化方法
CN1208971C (zh) * 1997-02-14 2005-06-29 日本电信电话株式会社 运动图像的预测编码方法和译码方法
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP2000059785A (ja) 1998-08-06 2000-02-25 Hitachi Ltd 予測復号装置
JP2001094982A (ja) 1999-09-20 2001-04-06 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化方法及びその装置と、その方法の実現に用いられるプログラム記録媒体と、階層的画像復号方法及びその装置と、その方法の実現に用いられるプログラム記録媒体
US6696993B2 (en) * 2001-03-23 2004-02-24 Nokia Corporation Variable length coding
EP1322121A3 (en) * 2001-12-19 2003-07-16 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder with improved motion detection precision
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR100946790B1 (ko) 2005-01-07 2010-03-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체
JP2008092456A (ja) 2006-10-04 2008-04-17 Sharp Corp 画像符号化装置および画像復号装置
JP2008252176A (ja) * 2007-03-29 2008-10-16 Toshiba Corp 動画像符号化装置及び方法
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03283989A (ja) * 1990-03-30 1991-12-13 Toshiba Corp カラー画像符号化方式
JP2002314428A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 信号符号化方法及び装置並びに復号方法及び装置
JP2002315006A (ja) * 2001-04-13 2002-10-25 Kddi Research & Development Laboratories Inc 動き補償予測特異値展開符号化装置
JP2005086384A (ja) * 2003-09-08 2005-03-31 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017164297A1 (ja) * 2016-03-25 2017-09-28 パナソニックＩｐマネジメント株式会社 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置
JPWO2017164297A1 (ja) * 2016-03-25 2019-01-31 パナソニックＩｐマネジメント株式会社 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置
US12022074B2 (en) 2018-03-29 2024-06-25 Nippon Hoso Kyokai Image encoding device, image decoding device and program
JP7092920B2 (ja) 2018-03-29 2022-06-28 日本放送協会 画像復号装置及びプログラム
WO2019189900A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US12034969B2 (en) 2018-03-29 2024-07-09 Nippon Hoso Kyokai Image encoding device, image decoding device and program
JP7203149B2 (ja) 2018-03-29 2023-01-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11818360B2 (en) 2018-03-29 2023-11-14 Nippon Hoso Kyokai Image encoding device, image decoding device and program
KR20200136443A (ko) * 2018-03-29 2020-12-07 닛폰 호소 교카이 화상 부호화 장치, 화상 복호 장치 및 프로그램
JP7309959B2 (ja) 2018-03-29 2023-07-18 日本放送協会 画像復号装置及び画像復号方法
JPWO2019189899A1 (ja) * 2018-03-29 2021-02-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JPWO2019189900A1 (ja) * 2018-03-29 2021-02-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11496735B2 (en) 2018-03-29 2022-11-08 Nippon Hoso Kyokai Image encoding device, image decoding device and program
WO2019189899A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2021119705A (ja) * 2018-03-29 2021-08-12 日本放送協会 画像復号装置及びプログラム
JP2021090214A (ja) * 2018-03-29 2021-06-10 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2021044841A (ja) * 2018-03-29 2021-03-18 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2021141604A (ja) * 2018-03-29 2021-09-16 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2019189901A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11259045B2 (en) 2018-03-29 2022-02-22 Nippon Hoso Kyokai Image encoding device, image decoding device and program
JP7059410B2 (ja) 2018-03-29 2022-04-25 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2022087262A (ja) * 2018-03-29 2022-06-09 日本放送協会 画像復号装置及び画像復号方法
KR102409138B1 (ko) 2018-03-29 2022-06-16 닛폰 호소 교카이 화상 부호화 장치, 화상 복호 장치 및 프로그램
US11647224B2 (en) 2018-03-29 2023-05-09 Nippon Hoso Kyokai Image encoding device, image decoding device and program
US11394958B2 (en) 2018-03-29 2022-07-19 Nippon Hoso Kyokai Image encoding device, image decoding device and program
JPWO2019189901A1 (ja) * 2018-03-29 2021-02-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2021180495A (ja) * 2018-04-04 2021-11-18 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
US11622127B2 (en) 2018-04-04 2023-04-04 Nippon Hoso Kyokai Prediction image correcting device, image encoding device, image decoding device, and program
JPWO2019194109A1 (ja) * 2018-04-04 2021-02-12 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
CN112055965A (zh) * 2018-04-04 2020-12-08 日本放送协会 预测图像校正装置、图像编码装置、图像解码装置以及程序
JP7340569B2 (ja) 2018-04-04 2023-09-07 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
US11849141B2 (en) 2018-04-04 2023-12-19 Nippon Hoso Kyokai Prediction image correcting device, image encoding device, image decoding device, and program
US11877003B2 (en) 2018-04-04 2024-01-16 Nippon Hoso Kyokai Prediction image correcting device, image encoding device, image decoding device, and program
WO2019194109A1 (ja) * 2018-04-04 2019-10-10 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
JP7249111B2 (ja) 2018-08-15 2023-03-30 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP7483964B2 (ja) 2018-08-15 2024-05-15 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2020028067A (ja) * 2018-08-15 2020-02-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP7291471B2 (ja) 2018-11-02 2023-06-15 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2020072458A (ja) * 2018-11-02 2020-05-07 日本放送協会 画像符号化装置、画像復号装置、及びプログラム

Also Published As

Publication number Publication date
US9094687B2 (en) 2015-07-28
JPWO2011080807A1 (ja) 2013-05-09
US20120263237A1 (en) 2012-10-18
JP5488613B2 (ja) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5488613B2 (ja) 動画像符号化装置および動画像復号装置
JP5488612B2 (ja) 動画像符号化装置および動画像復号装置
RU2608674C2 (ru) Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
TWI737971B (zh) 圖像解碼方法
KR101473278B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
KR101108681B1 (ko) 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
JP6807987B2 (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
KR101681353B1 (ko) 이미지 시퀀스를 나타내는 코딩된 데이터의 스트림을 디코딩하는 방법 및 이미지 시퀀스를 코딩하는 방법
JP5989839B2 (ja) 映像復号化装置
KR20130045152A (ko) 인트라 예측 모드 복호화 방법 및 장치
WO2011013253A1 (ja) 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
KR20190091422A (ko) 복원 블록을 생성하는 방법 및 장치
KR101615643B1 (ko) 픽처들의 압축
KR102555224B1 (ko) 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
KR100727988B1 (ko) 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치
JP2007110568A (ja) 画像符号化装置
KR101543301B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
JP4971817B2 (ja) 画像符号化装置
JP5533885B2 (ja) 動画像符号化装置および動画像復号装置
JP5375697B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及びプログラム
JP5388977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
JP5455229B2 (ja) 画像符号化装置及び画像復号装置
JP4561701B2 (ja) 動画像符号化装置
KR100728032B1 (ko) 워핑 기반의 인트라 예측 방법
JP2008092137A (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09852785

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011547116

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09852785

Country of ref document: EP

Kind code of ref document: A1