WO2014157172A1 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム Download PDF

Info

Publication number
WO2014157172A1
WO2014157172A1 PCT/JP2014/058231 JP2014058231W WO2014157172A1 WO 2014157172 A1 WO2014157172 A1 WO 2014157172A1 JP 2014058231 W JP2014058231 W JP 2014058231W WO 2014157172 A1 WO2014157172 A1 WO 2014157172A1
Authority
WO
WIPO (PCT)
Prior art keywords
color space
transformation matrix
image
residual signal
unit
Prior art date
Application number
PCT/JP2014/058231
Other languages
English (en)
French (fr)
Inventor
圭 河村
内藤　整
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to EP14775162.2A priority Critical patent/EP2981085A4/en
Priority to US14/780,212 priority patent/US20160073114A1/en
Priority to CN201480017305.1A priority patent/CN105284111B/zh
Publication of WO2014157172A1 publication Critical patent/WO2014157172A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Definitions

  • the present invention relates to a video encoding device, a video decoding device, a video encoding method, a video decoding method, and a program.
  • Intraframe prediction Intraframe prediction
  • inter prediction interframe prediction
  • residual transform Video coding schemes using intra prediction (intraframe prediction), inter prediction (interframe prediction), and residual transform
  • FIG. 6 is a block diagram of a video encoding apparatus MM according to a conventional example that encodes a video using the above-described video encoding method.
  • the moving picture coding apparatus MM includes an inter prediction unit 10, an intra prediction unit 20, a transform / quantization unit 30, an entropy coding unit 40, an inverse quantization / inverse transform unit 50, an in-loop filter unit 60, and a first buffer.
  • Unit 70 and a second buffer unit 80 is a block diagram of a video encoding apparatus MM according to a conventional example that encodes a video using the above-described video encoding method.
  • the moving picture coding apparatus MM includes an inter prediction unit 10, an intra prediction unit 20, a transform / quantization unit 30, an entropy coding unit 40, an inverse quantization / inverse transform unit 50, an in-loop filter unit 60, and a first buffer.
  • Unit 70 and a second buffer unit 80 is a second buffer unit 80.
  • the inter prediction unit 10 receives an input image a and a later-described local decoded image g supplied from the first buffer unit 70 as inputs.
  • the inter prediction unit 10 performs inter prediction using the input image to generate and output an inter prediction image b.
  • the intra prediction unit 20 receives an input image a and a later-described local decoded image f supplied from the second buffer unit 80 as inputs.
  • the intra prediction unit 20 performs intra prediction using the input image to generate and output an intra predicted image c.
  • the transform / quantization unit 30 receives an error (residual) signal between the input image a and the inter predicted image b or the intra predicted image c.
  • the transform / quantization unit 30 transforms and quantizes the input residual signal to generate a quantized coefficient d and outputs it.
  • the entropy encoding unit 40 receives the quantization coefficient d and side information not shown.
  • the entropy encoding unit 40 performs entropy encoding on the input signal and outputs it as a bit stream z.
  • the inverse quantization / inverse transform unit 50 receives the quantization coefficient d.
  • the inverse quantization / inverse transform unit 50 inversely quantizes and inversely transforms the quantization coefficient d to generate and output an inversely transformed residual signal e.
  • the second buffer unit 80 accumulates the local decoded image f and supplies it to the intra prediction unit 20 and the in-loop filter unit 60 as appropriate.
  • the local decoded image f is a signal obtained by adding up the inter predicted image b or the intra predicted image c and the inversely transformed residual signal e.
  • the in-loop filter unit 60 receives the local decoded image f.
  • the in-loop filter unit 60 applies a filter such as a deblocking filter to the local decoded image f to generate and output a local decoded image g.
  • the first buffer unit 70 accumulates the local decoded image g and supplies it to the inter prediction unit 10 as appropriate.
  • FIG. 7 is a block diagram of a moving picture decoding apparatus NN according to a conventional example that decodes a moving picture from the bit stream z generated by the moving picture encoding apparatus MM.
  • the video decoding device NN includes an entropy decoding unit 610, an inverse transform / inverse quantization unit 620, an inter prediction unit 630, an intra prediction unit 640, an in-loop filter unit 650, a first buffer unit 660, and a second buffer unit. 670.
  • the entropy decoding unit 610 receives the bit stream z.
  • the entropy decoding unit 610 performs entropy decoding on the bitstream z, generates a quantized coefficient B, and outputs it.
  • the inverse transform / inverse quantization unit 620, the inter prediction unit 630, the intra prediction unit 640, the in-loop filter unit 650, the first buffer unit 660, and the second buffer unit 670 each have the inverse quantum shown in FIG. It operates in the same manner as the conversion / inverse conversion unit 50, the inter prediction unit 10, the intra prediction unit 20, the in-loop filter unit 60, the first buffer unit 70, and the second buffer unit 80.
  • the video encoding device MM and the video decoding device NN can reduce spatial redundancy by intra prediction, transformation, and quantization, and temporal redundancy by inter prediction.
  • the video encoding device MM and the video decoding device NN perform signal processing independently for each color component, the color space correlation cannot be reduced sufficiently, and the redundancy cannot be reduced sufficiently. There is a case.
  • the RGB color space has a very high correlation between the color components, whereas the YUV color space and the YCbCr color space have a low correlation between the color components. For this reason, an image in the YUV color space or YCbCr color space is often used as an input image of the moving image coding apparatus.
  • Non-Patent Document 3 a method for reducing the redundancy of the color space.
  • the color space conversion is performed in block units, the color space conversion matrix is derived from an encoded reference pixel using a singular value decomposition algorithm, and the color space conversion There is a feature of performing intra prediction and inter prediction in a color space.
  • FIG. 8 is a block diagram of a moving picture coding apparatus PP according to a conventional example to which the above-described scheme for reducing the redundancy of the color space is applied.
  • the moving picture coding apparatus PP is different from the moving picture coding apparatus MM according to the conventional example shown in FIG. 6 in terms of a transformation matrix derivation unit 90, a first color space conversion unit 100, a second color space conversion unit 110, A third color space conversion unit 120 and an inverse color space conversion unit 130 are provided.
  • the same components as those of the moving picture coding apparatus MM are denoted by the same reference numerals, and the description thereof is omitted.
  • the transformation matrix deriving unit 90 receives the local decoded image g or the local decoded image f.
  • the conversion matrix deriving unit 90 identifies a reference pixel from the input image, derives a color space conversion matrix h, and outputs it.
  • the first color space conversion unit 100 receives the input image a and the conversion matrix h.
  • the first color space conversion unit 100 applies a conversion matrix h to the input image a to perform color space conversion, and generates and outputs an input image in an uncorrelated space.
  • the second color space conversion unit 110 receives the local decoded image g and the conversion matrix h.
  • the second color space conversion unit 110 applies a conversion matrix h to the local decoded image g to perform color space conversion, and generates and outputs a local decoded image in an uncorrelated space.
  • the third color space conversion unit 120 receives the local decoded image f and the conversion matrix h.
  • the third color space conversion unit 120 applies the conversion matrix h to the local decoded image f to perform color space conversion, and generates and outputs a local decoded image in the uncorrelated space.
  • the inverse color space conversion unit 130 receives a sum signal obtained by adding the inter prediction image b or the intra prediction image c and the inversely converted residual signal e, and the conversion matrix h.
  • the inverse color space conversion unit 130 performs the inverse color space conversion by applying the conversion matrix h to the above summed signal, and generates and outputs a local decoded image f.
  • FIG. 9 is a block diagram of a moving picture decoding apparatus QQ according to a conventional example that decodes a moving picture from the bit stream z generated by the moving picture encoding apparatus PP.
  • the moving picture decoding apparatus QQ is different from the moving picture decoding apparatus NN according to the conventional example shown in FIG. 7 in terms of a transformation matrix derivation unit 680, a first color space conversion unit 690, a second color space conversion unit 700, and an inverse. The difference is that a color space conversion unit 710 is provided.
  • the same components as those of the moving picture decoding apparatus NN are denoted by the same reference numerals, and the description thereof is omitted.
  • the conversion matrix deriving unit 680, the first color space converting unit 690, the second color space converting unit 700, and the inverse color space converting unit 710 are respectively the conversion matrix deriving unit 90 and the second color shown in FIG. It operates in the same manner as the space conversion unit 110, the third color space conversion unit 120, and the inverse color space conversion unit 130.
  • Non-Patent Document 4 also shows a method for converting a color space as in Non-Patent Document 3. This method has a feature of applying color space conversion to the prediction residual. According to this method, the number of color space conversions can be reduced as compared with the method disclosed in Non-Patent Document 3.
  • the conventional moving image encoding device and moving image decoding device with color space conversion as described above perform encoding processing and decoding processing in the color space after color space conversion. For this reason, the number of pixels to which color space conversion is applied increases, and there is a problem that the processing load cannot be reduced.
  • the present invention has been made in view of the above-described problems, and an object thereof is to reduce color space redundancy while reducing the processing load.
  • the present invention proposes the following matters in order to solve the above problems.
  • the present invention is a moving image encoding apparatus that encodes a moving image having a plurality of color components by intra-frame prediction or inter-frame prediction, and derives a transformation matrix using encoded pixels. This is a difference between a transformation matrix deriving unit (for example, equivalent to the transformation matrix deriving unit 90A in FIG. 1), an input image constituting the moving image, and a predicted image generated by the inter-frame prediction or intra-frame prediction.
  • Color space conversion means for generating a residual signal in an uncorrelated space by applying the conversion matrix derived by the conversion matrix deriving means to the residual signal to generate a residual signal in the uncorrelated space (for example, the color space conversion in FIG.
  • the correlation between the color components remains in the residual signal. Therefore, according to the present invention, color space conversion is performed by applying a conversion matrix to the residual signal. For this reason, the correlation between the color components included in the residual signal can be reduced, and the redundancy of the color space can be reduced.
  • the color space conversion is performed by applying the conversion matrix to the residual signal. For this reason, in the moving picture encoding device PP according to the conventional example shown in FIG. Therefore, the number of pixels to which color space conversion is applied can be reduced, and the processing load can be reduced.
  • the present invention relates to the moving picture encoding apparatus according to (1), wherein the transformation matrix deriving means calculates a color space resolution for each color component of an image composed of encoded pixels, The color matrix resolution is derived, and the color space conversion means derives the color space resolution for each color component of the residual signal from each color space of the color components. After arranging the highest resolution among the resolutions, a residual signal in the uncorrelated space is generated, and then the color space resolution for each color component of the residual signal in the uncorrelated space is restored.
  • a video encoding device is proposed.
  • the color space resolution for each color component of the image or residual signal is aligned with the highest one among the color space resolutions of the three color components. Later, various processes are performed. Therefore, not only an input image in which the color space resolutions of the three color components are the same, but also an input image in which at least one of the color space resolutions of the three color spaces is different can be encoded. .
  • the present invention relates to the moving picture coding apparatus according to (1) or (2), wherein the transform matrix deriving unit is configured to block the coding target block for a coding target block in a frame to which the intra-frame prediction is applied.
  • the transform matrix deriving unit is configured to block the coding target block for a coding target block in a frame to which the intra-frame prediction is applied.
  • an encoded pixel adjacent to the reference pixel is used as a reference pixel from an area in the reference frame indicated by the motion vector of the encoding target block.
  • a moving picture coding apparatus that generates a predicted image of a block, uses pixels constituting the generated predicted image as reference pixels, and derives the transformation matrix using the reference pixels.
  • the encoding target block in a frame to which intra-frame prediction is applied and the encoding target block in a frame to which inter-frame prediction is applied,
  • a reference pixel can be specified for each, and a transformation matrix can be derived using the reference pixel.
  • the present invention relates to the moving picture encoding apparatus according to (3), wherein the transform matrix deriving unit is configured to code adjacent to the encoding target block for the encoding target block in the frame to which the intra-frame prediction is applied.
  • the transform matrix deriving unit is configured to code adjacent to the encoding target block for the encoding target block in the frame to which the intra-frame prediction is applied.
  • a pixel that exists above or to the left of the current block is the reference pixel
  • a prediction image of the current block to be encoded is generated from the region in the reference frame pointed to by the motion vector, and the pixel constituting the generated prediction image is set as the reference pixel, and the number of the reference pixels is reduced by thinning out the reference pixels.
  • the moving picture encoding apparatus in the moving picture encoding apparatus according to (3), reference is made to each of an encoding target block in a frame to which intra-frame prediction is applied and an encoding target block in a frame to which inter-frame prediction is applied. Pixels can be specified.
  • the present invention relates to the moving picture coding apparatus according to any one of (1) to (4), wherein the transformation matrix derivation means includes an inverse square root calculation means for calculating an inverse square root with a fixed point, and a fixed point with And a Jacobian calculation means for performing a calculation by the Jacobian eigenvalue calculation method.
  • the transformation matrix derivation means includes an inverse square root calculation means for calculating an inverse square root with a fixed point, and a fixed point with And a Jacobian calculation means for performing a calculation by the Jacobian eigenvalue calculation method.
  • the above-described moving picture coding apparatus with conventional color space conversion uses a general SVD (Singular Value Decomposition) algorithm for derivation of the transformation matrix. For this reason, a decimal point operation is required, and there is a problem that it is not suitable for hardware implementation.
  • SVD Single Value Decomposition
  • the inverse square root is calculated at a fixed point, and the calculation is performed using the Jacobian eigenvalue calculation method at a fixed point. did. This eliminates the need for decimal point arithmetic, so that color space conversion suitable for hardware can be performed.
  • the inverse square root is calculated at a fixed point, and the Jacobian eigenvalue calculation method is used at a fixed point. Calculation was performed. For this reason, the processing load can be reduced.
  • the present invention relates to the moving picture encoding apparatus according to (5), wherein the inverse square root calculation means calculates an inverse square root with a fixed point adapted to a bit depth of an input image constituting the moving picture,
  • the Jacobi calculation means has proposed a video encoding apparatus characterized in that the Jacobi calculation is performed by a Jacobi eigenvalue calculation method with a fixed point adapted to the bit depth of the input image constituting the video.
  • the calculation of the inverse square root and the Jacobian eigenvalue calculation method can be performed with a fixed point adapted to the bit depth of the input picture.
  • the present invention is a moving picture decoding apparatus for decoding a moving picture having a plurality of color components by intra-frame prediction or inter-frame prediction, and derives a transformation matrix using encoded pixels.
  • Deriving means for example, equivalent to the transformation matrix deriving unit 680A in FIG. 5
  • decoding means for decoding the encoded signal for example, equivalent to the entropy decoding unit 610 in FIG. 5
  • decoding by the decoding means Inverse quantization means for dequantizing the signal to generate a residual signal (for example, equivalent to the inverse transform / inverse quantization unit 620 in FIG.
  • the correlation between the color components remains in the residual signal. Therefore, according to the present invention, color space conversion is performed by applying a conversion matrix to the residual signal. For this reason, the correlation between the color components included in the residual signal can be reduced, and the redundancy of the color space can be reduced.
  • the color space conversion is performed by applying the conversion matrix to the residual signal. This eliminates the need for two color space conversion units in the moving picture decoding apparatus QQ according to the conventional example shown in FIG. Therefore, the number of pixels to which color space conversion is applied can be reduced, and the processing load can be reduced.
  • the transformation matrix deriving unit calculates the color space resolution for each color component of an image composed of encoded pixels, After aligning to the highest color space resolution, the transformation matrix is derived, and the inverse color space conversion means converts the color space resolution for each color component of the residual signal to the color space of each of these color components.
  • a moving image characterized by generating a residual signal in the correlation space after aligning the highest resolution among the resolutions, and then restoring the color space resolution for each color component of the residual signal in the correlation space.
  • a decoding device is proposed.
  • the moving picture decoding apparatus in the moving picture decoding apparatus according to (7), after the color space resolution for each color component of the image and the residual signal is aligned with the highest one among the color space resolutions of the three color components.
  • Various processes are performed. Therefore, not only an input image in which the color space resolutions of the three color components are the same, but also an image in which at least one of the color space resolutions of the three color spaces is different can be decoded.
  • the present invention relates to the moving picture decoding apparatus according to (7) or (8), wherein the transform matrix deriving means sets the encoding target block in the frame to which the intra-frame prediction is applied to the encoding target block.
  • the transform matrix deriving means sets the encoding target block in the frame to which the intra-frame prediction is applied to the encoding target block.
  • the encoding target block For an encoding target block in a frame to which the inter-frame prediction is applied, using an adjacent encoded pixel as a reference pixel, from the region in the reference frame indicated by the motion vector of the encoding target block, the encoding target block
  • a video decoding device is proposed in which a predicted image is generated, a pixel constituting the generated predicted image is used as a reference pixel, and the transformation matrix is derived using the reference pixel.
  • an encoding target block in a frame to which intra-frame prediction is applied and an encoding target block in a frame to which inter-frame prediction is applied.
  • Each of the reference pixels can be specified, and a transformation matrix can be derived using the reference pixels.
  • the transform matrix deriving unit encodes a coding target block in a frame to which the intra-frame prediction is applied, adjacent to the coding target block.
  • the pixel existing above or to the left of the current block is the reference pixel, and the motion of the current block is determined for the current block in the frame to which the inter-frame prediction is applied.
  • a prediction image of the current block to be encoded is generated from the region in the reference frame pointed to by the vector, the pixels constituting the generated prediction image are set as the reference pixels, the reference pixels are thinned, and the number of the reference pixels is 2.
  • a video decoding apparatus characterized by being a power is proposed.
  • the reference pixel in each of an encoding target block in a frame to which intra-frame prediction is applied and an encoding target block in a frame to which inter-frame prediction is applied can be specified.
  • the transformation matrix derivation unit includes an inverse square root calculation unit that calculates an inverse square root in a fixed point, and a Jacobian in a fixed point. And a Jacobian calculation means for performing calculation by an eigenvalue calculation method.
  • the above-described moving picture decoding apparatus with conventional color space conversion uses a general SVD (Singular Value Decomposition) algorithm for derivation of a conversion matrix. For this reason, a decimal point operation is required, and there is a problem that it is not suitable for hardware implementation.
  • SVD Single Value Decomposition
  • the inverse square root is calculated at a fixed point and the calculation by the Jacobian eigenvalue calculation method is performed at a fixed point. . This eliminates the need for decimal point arithmetic, so that color space conversion suitable for hardware can be performed.
  • the inverse square root is calculated with a fixed point, and the calculation with the Jacobian eigenvalue calculation method is performed with the fixed point. It was decided to do. For this reason, the processing load can be reduced.
  • the inverse square root calculation unit calculates an inverse square root with a fixed point adapted to a bit depth of an image constituting the moving image
  • the Jacobian The calculation means proposes a moving picture decoding apparatus characterized in that the calculation is performed by a Jacobian eigenvalue calculation method with a fixed point adapted to the bit depth of the input picture constituting the moving picture.
  • the calculation of the inverse square root and the calculation by the Jacobian eigenvalue calculation method can be performed with a fixed point adapted to the bit depth of the image.
  • the present invention relates to a transformation matrix deriving unit (for example, equivalent to the transformation matrix deriving unit 90A in FIG. 1), a color space conversion unit (for example, equivalent to the color space transformation unit 100A in FIG. 1), a quantization unit (for example, 1) and encoding means (e.g., equivalent to the entropy encoding unit 40 in FIG. 1), and has a plurality of color components by intra-frame prediction or inter-frame prediction.
  • a transformation matrix deriving unit for example, equivalent to the transformation matrix deriving unit 90A in FIG. 1
  • a color space conversion unit for example, equivalent to the color space transformation unit 100A in FIG. 1
  • a quantization unit for example, 1
  • encoding means e.g., equivalent to the entropy encoding unit 40 in FIG.
  • a moving picture coding method in a moving picture coding apparatus for coding a moving picture wherein the transformation matrix deriving means derives a transformation matrix using coded pixels, and the color space
  • the transforming means converts the transform signal derived by the transform matrix deriving means into a residual signal that is a difference between the input image constituting the moving image and the predicted image generated by the inter-frame prediction or intra-frame prediction.
  • a fourth step of encoding the quantized coefficient generated by the quantizing means is proposed.
  • the present invention is a transformation matrix deriving unit (for example, equivalent to the transformation matrix deriving unit 680A in FIG. 5), a decoding unit (for example, equivalent to the entropy decoding unit 610 in FIG. 5), an inverse quantization unit (for example, FIG. 5 and an inverse color space conversion means (e.g., equivalent to the inverse color space conversion unit 710A in FIG. 5), and a plurality of colors by intra-frame prediction or inter-frame prediction.
  • a transformation matrix deriving unit for example, equivalent to the transformation matrix deriving unit 680A in FIG. 5
  • a decoding unit for example, equivalent to the entropy decoding unit 610 in FIG. 5
  • an inverse quantization unit for example, FIG. 5 and an inverse color space conversion means (e.g., equivalent to the inverse color space conversion unit 710A in FIG. 5)
  • a plurality of colors by intra-frame prediction or inter-frame prediction for example, equivalent to the transformation matrix deriving unit 680A
  • a moving picture decoding method in a moving picture decoding apparatus for decoding a moving picture having a component wherein the transform matrix deriving means derives a transform matrix using encoded pixels, and the decoding means A second step of decoding the encoded signal, a third step in which the inverse quantization means dequantizes the signal decoded by the decoding means to generate a residual signal, and the inverse Color space Means performs the inverse color space conversion on the residual signal inversely quantized by the inverse quantization means and applies the transformation matrix derived by the transformation matrix derivation means to generate a residual signal in the correlation space
  • a moving image decoding method characterized by comprising: a fourth step.
  • the present invention relates to a transformation matrix deriving unit (for example, equivalent to the transformation matrix deriving unit 90A in FIG. 1), a color space conversion unit (for example, equivalent to the color space transformation unit 100A in FIG. 1), a quantization unit (for example, 1) and encoding means (e.g., equivalent to the entropy encoding unit 40 in FIG. 1), and has a plurality of color components by intra-frame prediction or inter-frame prediction.
  • a first step and a residual signal which is a difference between the input image constituting the moving image and a predicted image generated by the inter-frame prediction or intra-frame prediction.
  • a program for causing a computer to execute the four steps is proposed.
  • the present invention relates to a transformation matrix deriving unit (for example, equivalent to the transformation matrix deriving unit 680A in FIG. 5), a decoding unit (for example, equivalent to the entropy decoding unit 610 in FIG. 5), an inverse quantization unit (for example, FIG. 5 and an inverse color space conversion means (e.g., equivalent to the inverse color space conversion unit 710A in FIG. 5), and a plurality of colors by intra-frame prediction or inter-frame prediction.
  • the inverse color space transforming means applies the transformation matrix derived by the transformation matrix deriving means to the residual signal inversely quantized by the inverse quantization means, thereby applying an inverse color.
  • FIG. 1 is a block diagram of a video encoding apparatus according to a first embodiment of the present invention. It is a figure for demonstrating specification of the reference pixel which the moving image encoder which concerns on the said embodiment performs. It is a figure for demonstrating specification of the reference pixel which the moving image encoder which concerns on the said embodiment performs. It is a figure for demonstrating specification of the reference pixel which the moving image encoder which concerns on the said embodiment performs. It is a figure for demonstrating specification of the reference pixel which the moving image encoder which concerns on the said embodiment performs. It is a block diagram of the moving image decoding apparatus which concerns on 1st Embodiment of this invention. It is a block diagram of the moving image encoder which concerns on a prior art example. It is a block diagram of the moving image decoding apparatus which concerns on a prior art example. It is a block diagram of the moving image encoder which concerns on a prior art example. It is a block diagram of the moving image decoding apparatus which concerns on a prior art
  • FIG. 1 is a block diagram of a video encoding apparatus AA according to the first embodiment of the present invention.
  • the moving image encoder AA encodes an input image a having three color components and having the same color space resolution for each of the three color components and outputs the encoded image as a bit stream z.
  • This moving image coding apparatus AA is different from the moving image coding apparatus PP according to the conventional example shown in FIG. 8 in that a transformation matrix deriving unit 90A is provided instead of the transformation matrix deriving unit 90, and the first color space.
  • a point that a color space conversion unit 100A is provided instead of the conversion unit 100, the second color space conversion unit 110, and the third color space conversion unit 120, and a reverse color space conversion unit 130A instead of the reverse color space conversion unit 130. It differs from the point provided with.
  • the same components as those of the moving picture coding apparatus PP are denoted by the same reference numerals, and the description thereof is omitted.
  • the color space conversion unit 100A receives an error (residual) signal between the input image a and the inter predicted image b or the intra predicted image c and the conversion matrix h.
  • the color space conversion unit 100A performs a color space conversion by applying the conversion matrix h to the residual signal, and generates and outputs a residual signal in an uncorrelated space.
  • the inverse color space conversion unit 130A receives the inversely converted residual signal e and the conversion matrix h.
  • the inverse color space conversion unit 130A applies a conversion matrix h to the inversely converted residual signal e, performs inverse color space conversion, and generates and outputs a residual signal in the correlation space.
  • the transformation matrix deriving unit 90A receives the local decoded image g or the local decoded image f.
  • the conversion matrix deriving unit 90A identifies a reference pixel from the input image, derives a color space conversion matrix h, and outputs it.
  • the specification of the reference pixel by the transformation matrix deriving unit 90A and the derivation of the transformation matrix h by the transformation matrix deriving unit 90A will be described in detail below.
  • the specification of the reference pixel by the transformation matrix deriving unit 90A will be described below.
  • the method for specifying the reference pixel is different between a case where intra prediction is applied to an encoding target block and a case where inter prediction is applied.
  • FIG. 2 circles indicate 8 ⁇ 8 prediction target pixels constituting the encoding target block, and triangles and squares indicate reference pixel candidates that are reference pixel candidates.
  • the reference pixel candidate is adjacent to the encoding target block.
  • the transformation matrix deriving unit 90A identifies the reference pixel from the reference pixel candidates according to the intra prediction direction.
  • the video encoding device AA is compatible with HEVC (High Efficiency Video Coding).
  • HEVC High Efficiency Video Coding
  • the reference pixel candidate indicated by the triangle in FIG. 2 is specified as the reference pixel.
  • the intra prediction direction is the horizontal direction, that is, when the intra prediction direction is any one of 2 to 10 in FIG. 3, the reference pixel candidate indicated by the square in FIG. 2 is specified as the reference pixel.
  • the intra prediction direction is an oblique direction, that is, when the intra prediction direction is any of 11 to 25 in FIG. 3, the reference pixel candidate indicated by the triangle in FIG. 2 and the square in FIG.
  • the reference pixel candidates are identified as reference pixels.
  • the transformation matrix deriving unit 90A does not regard the pixel at the position indicated by the oblique line in FIG. 2 as a reference pixel candidate.
  • the transform matrix deriving unit 90A generates a prediction image of the encoding target block from a region in the reference frame (corresponding to the reference block in FIG. 4) indicated by the motion vector of the encoding target block, and configures the generated prediction image.
  • a pixel is identified as a reference pixel.
  • the number of reference pixels is a power of 2
  • derivation of a transformation matrix described later becomes easy. Therefore, when the number of reference pixels is not a power of 2, such as when the shape of the block to be encoded is not square, the reference pixels are appropriately thinned to make the number of reference pixels a power of 2.
  • the transformation matrix deriving unit 90A generates a matrix of x rows and y columns.
  • x indicates the number of color components.
  • y indicates the number of reference pixels.
  • y 16.
  • Each element of the matrix of x rows and y columns is composed of pixel values for each color component of the reference pixel.
  • the conversion matrix deriving unit 90A obtains the average value of the pixel values of all the specified reference pixels for each color component, and subtracts this average value from each element of the matrix of x rows and y columns.
  • the transformation matrix deriving unit 90A obtains a transposed matrix of a matrix of x rows and y columns, and multiplies the matrix of x rows and y columns by the transposed matrix of the matrix of x rows and y columns to obtain a covariance matrix. Is generated.
  • the transformation matrix deriving unit 90A normalizes the covariance matrix by a shift operation so that the maximum value of the diagonal elements of the covariance matrix falls within the range of 2 N to 2 N + 1 ⁇ 1.
  • the covariance matrix cov shown in 1) is obtained.
  • the transformation matrix h is used as a unit matrix.
  • the transformation matrix deriving unit 90A applies the Jacobian eigenvalue calculation method (for example, see Non-Patent Document 5) in which the eigenvector is expressed as E, E 0 is a unit matrix, and the covariance matrix cov is converted into an integer. Te, to derive the transformation matrix E n.
  • the value of the element of the covariance matrix cov is represented by cov (p, q)
  • the maximum value is searched from d, e, and f in Expression (1)
  • the number of rows is p
  • the following formulas (2) to (12) are repeated.
  • Equations (4) to (6) the calculation of the inverse square root is executed with integer precision by the method shown in Non-Patent Document 6, for example.
  • the inverse square root calculation is executed with an M-bit fixed point, and other calculations are executed with an N-bit fixed point. According to the above, all operations can be converted into integers and executed only by addition, subtraction, multiplication, and shift operations.
  • FIG. 5 is a block diagram of the video decoding device BB according to the first embodiment of the present invention that decodes a video from the bitstream z generated by the video encoding device AA according to the first embodiment of the present invention. It is.
  • the moving image decoding apparatus BB is different from the moving image decoding apparatus QQ according to the conventional example shown in FIG. 9 in that a conversion matrix deriving unit 680A is provided instead of the conversion matrix deriving unit 680, and a first color space conversion unit 690 is provided. And the second color space conversion unit 700 and the reverse color space conversion unit 710 instead of the reverse color space conversion unit 710A.
  • the same components as those of the moving picture decoding apparatus QQ are denoted by the same reference numerals, and the description thereof is omitted.
  • the inverse color space transform unit 710A receives the inversely transformed residual signal C output from the inverse transform / inverse quantization unit 620 and the transform matrix H output from the transform matrix derivation unit 680A.
  • the inverse color space conversion unit 710A applies the conversion matrix H to the inversely converted residual signal C, performs inverse color space conversion, and outputs the result.
  • the transformation matrix deriving unit 680A operates in the same manner as the transformation matrix deriving unit 90A shown in FIG. 1, and derives and outputs the transformation matrix H.
  • the moving image encoding device AA and the moving image decoding device BB apply color space conversion by applying a conversion matrix to the residual signal.
  • the correlation between the color components remains in the residual signal, the correlation between the color components included in the residual signal can be reduced, and the redundancy of the color space can be reduced.
  • the moving image encoding apparatus AA performs color space conversion by applying a conversion matrix to the residual signal. For this reason, in the moving picture encoding device PP according to the conventional example shown in FIG. Therefore, the number of pixels to which color space conversion is applied can be reduced, and the processing load can be reduced.
  • the moving image encoding device AA and the moving image decoding device BB each have a reference pixel in an encoding target block in a frame to which intra-frame prediction is applied and an encoding target block in a frame to which inter-frame prediction is applied. And a transformation matrix can be derived using the reference pixel.
  • the moving image encoding device AA and the moving image decoding device BB perform the inverse square root calculation at a fixed point and perform the calculation by the Jacobian eigenvalue calculation method at the fixed point. This eliminates the need for decimal point arithmetic, so that color space conversion suitable for hardware can be performed and the processing load can be reduced.
  • the moving image decoding apparatus BB performs color space conversion by applying a conversion matrix to the residual signal. This eliminates the need for two color space conversion units in the moving picture decoding apparatus QQ according to the conventional example shown in FIG. Therefore, the number of pixels to which color space conversion is applied can be reduced, and the processing load can be reduced.
  • the video encoding device CC according to the second embodiment of the present invention will be described below.
  • the moving image encoding device CC has three color components, and encodes an input image a having the same color space resolution or different at least one of these three color components and outputs it as a bit stream z.
  • This video encoding device CC is different from the video encoding device AA according to the first embodiment of the present invention shown in FIG. 1 in that it includes a transformation matrix deriving unit 90B instead of the transformation matrix deriving unit 90A.
  • the color space conversion unit 100B is provided instead of the color space conversion unit 100A
  • the reverse color space conversion unit 130B is provided instead of the reverse color space conversion unit 130A.
  • the same components as those of the video encoding device AA are denoted by the same reference numerals, and the description thereof is omitted.
  • the transformation matrix deriving unit 90B performs the same process as the transformation matrix deriving unit 90A, but in the previous stage of the process, the color space resolution for each color component of the input local decoded image g or local decoded image f is set to 3 A process of aligning the highest color space resolution of each of the two color components is performed.
  • the color space conversion unit 100B performs the same process as the color space conversion unit 100A, but performs the first resolution conversion process before the process and the first reverse resolution conversion process after the process. Do. In the first resolution conversion process, a process of aligning the color space resolution for each color component of the input residual signal to the highest one among the color space resolutions of the three color components is performed. Further, in the first inverse resolution conversion process, a process of returning the color space resolution aligned by the first resolution conversion process to the residual signal in the uncorrelated space generated by the same process as the color space conversion unit 100A. Do.
  • the reverse color space conversion unit 130B performs the same process as the reverse color space conversion unit 130A, but performs the second resolution conversion process in the previous stage of the process and the second reverse resolution conversion in the subsequent stage of the process.
  • a process is performed in which the color space resolution for each color component of the input inversely converted residual signal e is aligned with the highest color space resolution of each of the three color components.
  • a process of returning the color space resolution aligned by the second resolution conversion process to the residual signal in the correlation space generated by the same process as the inverse color space conversion unit 130A is restored.
  • a video decoding device DD according to the second embodiment of the present invention that decodes a video from the bitstream z generated by the video encoding device CC according to the second embodiment of the present invention will be described below.
  • the video decoding device DD is different from the video decoding device BB according to the first embodiment of the present invention shown in FIG. 5 in that a transformation matrix deriving unit 680B is provided instead of the transformation matrix deriving unit 680A, and an inverse color space.
  • the difference is that an inverse color space conversion unit 710B is provided instead of the conversion unit 710A.
  • the same components as those of the video decoding device BB are denoted by the same reference numerals, and the description thereof is omitted.
  • the transformation matrix derivation unit 680B and the inverse color space conversion unit 710B operate in the same manner as the transformation matrix derivation unit 90B and the inverse color space conversion unit 130B, respectively.
  • the following effects can be achieved.
  • the color space resolution for each color component of the image and the residual signal is set for each of the three color components.
  • Various processings are performed after aligning to the highest color space resolution. Therefore, not only an input image in which the color space resolutions of the three color components are the same, but also an input image in which at least one of the color space resolutions of the three color spaces is different can be encoded. .
  • the color space resolution for each color component of the image or residual signal is the highest among the color space resolutions of the three color components. After aligning things, various processes are performed. Therefore, it is possible to decode not only a bit stream in which the color space resolution of each of the three color components is the same, but also a bit stream in which at least one of the color space resolutions of the three color spaces is different.
  • the processing of the moving image encoding devices AA and CC and the moving image decoding devices BB and DD of the present invention is recorded on a computer-readable non-transitory recording medium, and the program recorded on the recording medium is recorded as a moving image.
  • the present invention can be realized by causing the encoding devices AA and CC and the video decoding devices BB and DD to read and execute them.
  • a nonvolatile memory such as an EPROM or a flash memory
  • a magnetic disk such as a hard disk, a CD-ROM, or the like
  • reading and execution of the program recorded on the recording medium is performed by a processor provided in the moving image encoding devices AA and CC and the moving image decoding devices BB and DD.
  • the above-described program may be transmitted from the moving image encoding devices AA, CC and the moving image decoding devices BB, DD storing the program in a storage device or the like via a transmission medium or by a transmission wave in the transmission medium. May be transmitted to other computer systems.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the above-described program may be for realizing a part of the above-described function. Furthermore, what can implement
  • the reference pixel candidates are two rows of pixels existing above the prediction target pixel and two columns existing to the left of the prediction target pixel.
  • the number of rows and the number of columns is not limited to “2”, and may be “1” or “3”, for example.
  • the input image a has three color components.
  • the number of color components is not limited to this, and may be two or more, for example, two or four. .
  • the inverse square root is calculated with a fixed point adapted to the bit depth of the input image a, and the calculation according to the Jacobian eigenvalue calculation method is performed with the fixed point adapted to the bit depth of the input image a. It may be done.
  • AA, CC, MM, PP moving picture coding apparatus BB, DD, NN, QQ: moving picture decoding apparatus 90, 90A, 90B, 680, 680A, 680B ... transformation matrix deriving section 100A, 100B ... Color space conversion unit 130, 130A, 130B, 710, 710A, 710B ... Inverse color space conversion unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　動画像符号化装置ＡＡは、３つの色成分を有し、これら３つの色成分のそれぞれの色空間解像度が同一である入力画像ａについて、符号化する。この動画像符号化装置ＡＡは、入力画像ａと、フレーム内予測またはフレーム間予測により生成された予測画像と、の差分である残差信号に変換係数を適用して色空間変換を行って、無相間空間における残差信号を生成する。これにより、ハードウェア化に適した形態で、処理負荷を軽減しつつ色空間の冗長性を削減する。

Description

動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
　本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。
　イントラ予測（フレーム内予測）やインター予測（フレーム間予測）と、残差変換と、を用いた動画像符号化方式が提案されている（例えば、非特許文献１、２参照）。
［動画像符号化装置ＭＭの構成および動作］
　図６は、上述の動画像符号化方式を利用して動画像を符号化する、従来例に係る動画像符号化装置ＭＭのブロック図である。動画像符号化装置ＭＭは、インター予測部１０、イントラ予測部２０、変換・量子化部３０、エントロピー符号化部４０、逆量子化・逆変換部５０、インループフィルタ部６０、第１のバッファ部７０、および第２のバッファ部８０を備える。
　インター予測部１０は、入力画像ａと、第１のバッファ部７０から供給される後述のローカルデコード画像ｇと、を入力とする。このインター予測部１０は、入力された画像を用いてインター予測を行ってインター予測画像ｂを生成し、出力する。
　イントラ予測部２０は、入力画像ａと、第２のバッファ部８０から供給される後述のローカル復号画像ｆと、を入力とする。このイントラ予測部２０は、入力された画像を用いてイントラ予測を行ってイントラ予測画像ｃを生成し、出力する。
　変換・量子化部３０は、入力画像ａと、インター予測画像ｂまたはイントラ予測画像ｃと、の誤差（残差）信号を入力とする。この変換・量子化部３０は、入力された残差信号を変換および量子化して量子化係数ｄを生成し、出力する。
　エントロピー符号化部４０は、量子化係数ｄと、図示しないサイド情報と、を入力とする。このエントロピー符号化部４０は、入力された信号をエントロピー符号化し、ビットストリームｚとして出力する。
　逆量子化・逆変換部５０は、量子化係数ｄを入力とする。この逆量子化・逆変換部５０は、量子化係数ｄを逆量子化および逆変換して、逆変換された残差信号ｅを生成し、出力する。
　第２のバッファ部８０は、ローカル復号画像ｆを蓄積し、適宜、イントラ予測部２０およびインループフィルタ部６０に供給する。ローカル復号画像ｆとは、インター予測画像ｂまたはイントラ予測画像ｃと、逆変換された残差信号ｅと、を合算した信号のことである。
　インループフィルタ部６０は、ローカル復号画像ｆを入力とする。このインループフィルタ部６０は、ローカル復号画像ｆに対してデブロックフィルタといったフィルタを適用して、ローカルデコード画像ｇを生成し、出力する。
　第１のバッファ部７０は、ローカルデコード画像ｇを蓄積し、適宜、インター予測部１０に供給する。
［動画像復号装置ＮＮの構成および動作］
　図７は、動画像符号化装置ＭＭにより生成されたビットストリームｚから動画像を復号する、従来例に係る動画像復号装置ＮＮのブロック図である。動画像復号装置ＮＮは、エントロピー復号部６１０、逆変換・逆量子化部６２０、インター予測部６３０、イントラ予測部６４０、インループフィルタ部６５０、第１のバッファ部６６０、および第２のバッファ部６７０を備える。
　エントロピー復号部６１０は、ビットストリームｚを入力とする。このエントロピー復号部６１０は、ビットストリームｚについてエントロピー復号して、量子化係数Ｂを生成し、出力する。
　逆変換・逆量子化部６２０、インター予測部６３０、イントラ予測部６４０、インループフィルタ部６５０、第１のバッファ部６６０、および第２のバッファ部６７０は、それぞれ、図６に示した逆量子化・逆変換部５０、インター予測部１０、イントラ予測部２０、インループフィルタ部６０、第１のバッファ部７０、および第２のバッファ部８０と同様に動作する。
　動画像符号化装置ＭＭや動画像復号装置ＮＮは、イントラ予測や変換および量子化により、空間的な冗長性を削減し、インター予測により、時間的な冗長性を削減することができる。しかし、動画像符号化装置ＭＭや動画像復号装置ＮＮは、色成分ごとに独立して信号処理を行うため、色空間の相関性を十分には削減できず、冗長性を十分には削減できない場合がある。
　ここで、ＲＧＢ色空間は、色成分間の相関性が非常に高いのに対して、ＹＵＶ色空間やＹＣｂＣｒ色空間は、色成分間の相関性が低い。このため、ＹＵＶ色空間やＹＣｂＣｒ色空間の画像が、動画像符号化装置の入力画像として用いられることが多い。
　また、色空間の冗長性を削減する方式が提案されている（例えば、非特許文献３参照）。この方式には、色空間の変換をブロック単位で行うという特徴と、色空間の変換行列を符号化済みの参照画素から特異値分解アルゴリズムを用いて導出するという特徴と、色空間の変換後の色空間でイントラ予測やインター予測を行うという特徴と、がある。
［動画像符号化装置ＰＰの構成および動作］
　図８は、上述の色空間の冗長性を削減する方式を適用した、従来例に係る動画像符号化装置ＰＰのブロック図である。動画像符号化装置ＰＰは、図６に示した従来例に係る動画像符号化装置ＭＭとは、変換行列導出部９０、第１の色空間変換部１００、第２の色空間変換部１１０、第３の色空間変換部１２０、および逆色空間変換部１３０を備える。なお、動画像符号化装置ＰＰにおいて、動画像符号化装置ＭＭと同一構成要件については、同一符号を付し、その説明を省略する。
　変換行列導出部９０は、ローカルデコード画像ｇまたはローカル復号画像ｆを入力とする。この変換行列導出部９０は、入力された画像から参照画素を特定して色空間の変換行列ｈを導出し、出力する。
　第１の色空間変換部１００は、入力画像ａと、変換行列ｈと、を入力とする。この第１の色空間変換部１００は、入力画像ａに変換行列ｈを適用して色空間変換を行って、無相関空間における入力画像を生成し、出力する。
　第２の色空間変換部１１０は、ローカルデコード画像ｇと、変換行列ｈと、を入力とする。この第２の色空間変換部１１０は、ローカルデコード画像ｇに変換行列ｈを適用して色空間変換を行って、無相関空間におけるローカルデコード画像を生成し、出力する。
　第３の色空間変換部１２０は、ローカル復号画像ｆと、変換行列ｈと、を入力とする。この第３の色空間変換部１２０は、ローカル復号画像ｆに変換行列ｈを適用して色空間変換を行って、無相関空間におけるローカル復号画像を生成し、出力する。
　逆色空間変換部１３０は、インター予測画像ｂまたはイントラ予測画像ｃと逆変換された残差信号ｅとを合算した合算信号と、変換行列ｈと、を入力とする。この逆色空間変換部１３０は、上述の合算信号に変換行列ｈを適用して逆色空間変換を行って、ローカル復号画像ｆを生成し、出力する。
［動画像復号装置ＱＱの構成および動作］
　図９は、動画像符号化装置ＰＰにより生成されたビットストリームｚから動画像を復号する、従来例に係る動画像復号装置ＱＱのブロック図である。動画像復号装置ＱＱは、図７に示した従来例に係る動画像復号装置ＮＮとは、変換行列導出部６８０、第１の色空間変換部６９０、第２の色空間変換部７００、および逆色空間変換部７１０を備える点が異なる。なお、動画像復号装置ＱＱにおいて、動画像復号装置ＮＮと同一構成要件については、同一符号を付し、その説明を省略する。
　変換行列導出部６８０、第１の色空間変換部６９０、第２の色空間変換部７００、および逆色空間変換部７１０は、それぞれ、図８に示した変換行列導出部９０、第２の色空間変換部１１０、第３の色空間変換部１２０、および逆色空間変換部１３０と同様に動作する。
　また、非特許文献４にも、非特許文献３と同様に色空間を変換する方式が示されている。この方式には、予測残差に色空間変換を適用する特徴があり、この方式によれば、非特許文献３に示されている方式と比べて色空間変換の回数を少なくすることができる。
ISO/IEC　14496-10 - MPEG-4　Part　10,　Advanced　Video　Coding. JCTVC-L1003,　High　efficiency　video　coding　(HEVC)　text　specification　draft　10　(for　FDIS　&　Consent) 加藤ら、H.264/MPEG-4　AVCの符号情報に基づく適応的色空間変換方式 JCTVC-L0371,　AHG7:　In-loop　color-space　transformation　of　residual　signals　for　range　extensions William　H.　Press、　William　T.　Vetterling、　Saul　A.　Teukolsky、　Brian　P.　Flannery共著、「ニューメリカルレシピ・イン・シー　日本語版－Ｃ言語による数値計算のレシピ」、初版、技術評論社、１９９３年６月、p.３４５－３５１ CUTE　CODE、［online］、［平成２５年３月１２日検索］、インターネット<URL:http://matthewarcus.wordpress.com/2012/11/19/134/>
　上述のような従来の色空間変換を伴う動画像符号化装置や動画像復号装置は、色空間の変換後の色空間で、符号化処理や復号処理を行う。このため、色空間変換を適用する画素数が多くなってしまい、処理負荷を軽減できないという課題があった。
　そこで、本発明は、上述の課題を鑑みてなされたものであり、処理負荷を軽減しつつ色空間の冗長性を削減することを目的とする。
　本発明は、上記の課題を解決するために、以下の事項を提案している。
　（１）　本発明は、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置であって、符号化済みの画素を用いて変換行列を導出する変換行列導出手段（例えば、図１の変換行列導出部９０Ａに相当）と、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する色空間変換手段（例えば、図１の色空間変換部１００Ａに相当）と、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する量子化手段（例えば、図１の変換・量子化部３０に相当）と、前記量子化手段により生成された量子化係数を符号化する符号化手段（例えば、図１のエントロピー符号化部４０に相当）と、を備えることを特徴とする動画像符号化装置を提案している。
　ここで、残差信号には、色成分間の相関性が残っている。そこで、この発明によれば、残差信号に対して変換行列を適用して、色空間変換を行うこととした。このため、残差信号に含まれる色成分間の相関性を減らすことができ、色空間の冗長性を削減することができる。
　また、この発明によれば、上述のように、残差信号に対して変換行列を適用して、色空間変換を行うこととした。このため、図８に示した従来例に係る動画像符号化装置ＰＰでは３つ必要であった色空間変換部を、１つにすることができる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。
　（２）　本発明は、（１）の動画像符号化装置について、前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、前記色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記無相関空間における残差信号を生成し、その後、当該無相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする動画像符号化装置を提案している。
　この発明によれば、（１）の動画像符号化装置において、画像や残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、３つの色成分のそれぞれの色空間解像度が同一である入力画像だけでなく、３つの色空間のそれぞれの色空間解像度のうち少なくとも１つが異なる入力画像についても、符号化することができる。
　（３）　本発明は、（１）または（２）の動画像符号化装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、前記参照画素を用いて前記変換行列を導出することを特徴とする動画像符号化装置を提案している。
　この発明によれば、（１）または（２）の動画像符号化装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定し、参照画素を用いて変換行列を導出することができる。
　（４）　本発明は、（３）の動画像符号化装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を２のべき乗にすることを特徴とする動画像符号化装置を提案している。
　この発明によれば、（３）の動画像符号化装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定することができる。
　（５）　本発明は、（１）～（４）のいずれかの動画像符号化装置について、前記変換行列導出手段は、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする動画像符号化装置を提案している。
　ここで、上述のような従来の色空間変換を伴う動画像符号化装置は、変換行列の導出に、一般的なＳＶＤ（Singular　Value　Decomposition：特異値分解）アルゴリズムを用いる。このため、小数点演算が必要であり、ハードウェア化に適さないという課題もあった。
　そこで、この発明によれば、（１）～（４）のいずれかの動画像符号化装置において、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、小数点演算が不要になるので、ハードウェア化に適した色空間変換を行うことができる。
　また、この発明によれば、（１）～（４）のいずれかの動画像符号化装置において、上述のように、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、処理負荷を軽減することができる。
　（６）　本発明は、（５）の動画像符号化装置について、前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像符号化装置を提案している。
　この発明によれば、（５）の動画像符号化装置において、入力画像のビット深度に適応させた固定小数点で、逆平方根の計算およびヤコビ固有値計算法による計算を行うことができる。
　（７）　本発明は、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置であって、符号化済みの画素を用いて変換行列を導出する変換行列導出手段（例えば、図５の変換行列導出部６８０Ａに相当）と、符号化された信号を復号する復号手段（例えば、図５のエントロピー復号部６１０に相当）と、前記復号手段により復号された信号を逆量子化して残差信号を生成する逆量子化手段（例えば、図５の逆変換・逆量子化部６２０に相当）と、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する逆色空間変換手段（例えば、図５の逆色空間変換部７１０Ａに相当）と、を備えることを特徴とする動画像復号装置を提案している。
　ここで、残差信号には、色成分間の相関性が残っている。そこで、この発明によれば、残差信号に対して変換行列を適用して、色空間変換を行う。このため、残差信号に含まれる色成分間の相関性を減らすことができ、色空間の冗長性を削減することができる。
　また、この発明によれば、上述のように、残差信号に対して変換行列を適用して、色空間変換を行うこととした。このため、図９に示した従来例に係る動画像復号装置ＱＱでは２つ必要であった色空間変換部が不要になる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。
　（８）　本発明は、（７）の動画像復号装置について、前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、前記逆色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記相関空間における残差信号を生成し、その後、当該相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする動画像復号装置を提案している。
　この発明によれば、（７）の動画像復号装置において、画像や残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、３つの色成分のそれぞれの色空間解像度が同一である入力画像だけでなく、３つの色空間のそれぞれの色空間解像度のうち少なくとも１つが異なる画像についても、復号することができる。
　（９）　本発明は、（７）または（８）の動画像復号装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、前記参照画素を用いて前記変換行列を導出することを特徴とする動画像復号装置を提案している。
　この発明によれば、（７）または（８）の動画像復号装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定し、参照画素を用いて変換行列を導出することができる。
　（１０）　本発明は、（９）の動画像復号装置について、前記変換行列導出手段は、前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を２のべき乗にすることを特徴とする動画像復号装置を提案している。
　この発明によれば、（９）の動画像復号装置において、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定することができる。
　（１１）　本発明は、（７）～（１０）のいずれかの動画像復号装置について、前記変換行列導出手段は、固定小数点で逆平方根の計算を行う逆平方根計算手段と、固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする動画像復号装置を提案している。
　ここで、上述のような従来の色空間変換を伴う動画像復号装置は、変換行列の導出に、一般的なＳＶＤ（Singular　Value　Decomposition：特異値分解）アルゴリズムを用いる。このため、小数点演算が必要であり、ハードウェア化に適さないという課題もあった。
　そこで、この発明によれば、（７）～（１０）のいずれかの動画像復号装置において、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、小数点演算が不要になるので、ハードウェア化に適した色空間変換を行うことができる。
　また、この発明によれば、（７）～（１０）のいずれかの動画像復号装置において、上述のように、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行うこととした。このため、処理負荷を軽減することができる。
　（１２）　本発明は、（１１）の動画像復号装置について、前記逆平方根計算手段は、前記動画像を構成する画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする動画像復号装置を提案している。
　この発明によれば、（１１）の動画像復号装置において、画像のビット深度に適応させた固定小数点で、逆平方根の計算およびヤコビ固有値計算法による計算を行うことができる。
　（１３）　本発明は、変換行列導出手段（例えば、図１の変換行列導出部９０Ａに相当）、色空間変換手段（例えば、図１の色空間変換部１００Ａに相当）、量子化手段（例えば、図１の変換・量子化部３０に相当）、および符号化手段（例えば、図１のエントロピー符号化部４０に相当）を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法であって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第２のステップと、前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第３のステップと、前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第４のステップと、を備えることを特徴とする動画像符号化方法を提案している。
　この発明によれば、上述した効果と同様の効果を奏することができる。
　（１４）　本発明は、変換行列導出手段（例えば、図５の変換行列導出部６８０Ａに相当）、復号手段（例えば、図５のエントロピー復号部６１０に相当）、逆量子化手段（例えば、図５の逆変換・逆量子化部６２０に相当）、および逆色空間変換手段（例えば、図５の逆色空間変換部７１０Ａに相当）を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法であって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、前記復号手段が、符号化された信号を復号する第２のステップと、前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第３のステップと、前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第４のステップと、を備えることを特徴とする動画像復号方法を提案している。
　この発明によれば、上述した効果と同様の効果を奏することができる。
　（１５）　本発明は、変換行列導出手段（例えば、図１の変換行列導出部９０Ａに相当）、色空間変換手段（例えば、図１の色空間変換部１００Ａに相当）、量子化手段（例えば、図１の変換・量子化部３０に相当）、および符号化手段（例えば、図１のエントロピー符号化部４０に相当）を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第２のステップと、前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第３のステップと、前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。
　この発明によれば、上述した効果と同様の効果を奏することができる。
　（１６）　本発明は、変換行列導出手段（例えば、図５の変換行列導出部６８０Ａに相当）、復号手段（例えば、図５のエントロピー復号部６１０に相当）、逆量子化手段（例えば、図５の逆変換・逆量子化部６２０に相当）、および逆色空間変換手段（例えば、図５の逆色空間変換部７１０Ａに相当）を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、前記復号手段が、符号化された信号を復号する第２のステップと、前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第３のステップと、前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。
　この発明によれば、上述した効果と同様の効果を奏することができる。
　本発明によれば、処理負荷を軽減しつつ色空間の冗長性を削減することができる。
本発明の第１実施形態に係る動画像符号化装置のブロック図である。 前記実施形態に係る動画像符号化装置が行う参照画素の特定について説明するための図である。 前記実施形態に係る動画像符号化装置が行う参照画素の特定について説明するための図である。 前記実施形態に係る動画像符号化装置が行う参照画素の特定について説明するための図である。 本発明の第１実施形態に係る動画像復号装置のブロック図である。 従来例に係る動画像符号化装置のブロック図である。 従来例に係る動画像復号装置のブロック図である。 従来例に係る動画像符号化装置のブロック図である。 従来例に係る動画像復号装置のブロック図である。
　以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
［動画像符号化装置ＡＡの構成および動作］
　図１は、本発明の第１実施形態に係る動画像符号化装置ＡＡのブロック図である。動画像符号化装置ＡＡは、３つの色成分を有し、これら３つの色成分のそれぞれの色空間解像度が同一である入力画像ａについて、符号化してビットストリームｚとして出力する。この動画像符号化装置ＡＡは、図８に示した従来例に係る動画像符号化装置ＰＰとは、変換行列導出部９０の代わりに変換行列導出部９０Ａを備える点と、第１の色空間変換部１００と第２の色空間変換部１１０と第３の色空間変換部１２０との代わりに色空間変換部１００Ａを備える点と、逆色空間変換部１３０の代わりに逆色空間変換部１３０Ａを備える点と、が異なる。なお、動画像符号化装置ＡＡにおいて、動画像符号化装置ＰＰと同一構成要件については、同一符号を付し、その説明を省略する。
　色空間変換部１００Ａは、入力画像ａとインター予測画像ｂまたはイントラ予測画像ｃとの誤差（残差）信号と、変換行列ｈと、を入力とする。この色空間変換部１００Ａは、残差信号に変換行列ｈを適用して色空間変換を行って、無相関空間における残差信号を生成し、出力する。
　逆色空間変換部１３０Ａは、逆変換された残差信号ｅと、変換行列ｈと、を入力とする。この逆色空間変換部１３０Ａは、逆変換された残差信号ｅに変換行列ｈを適用して逆色空間変換を行って、相関空間における残差信号を生成し、出力する。
　変換行列導出部９０Ａは、ローカルデコード画像ｇまたはローカル復号画像ｆを入力とする。この変換行列導出部９０Ａは、入力された画像から参照画素を特定して色空間の変換行列ｈを導出し、出力する。変換行列導出部９０Ａによる参照画素の特定と、変換行列導出部９０Ａによる変換行列ｈの導出と、について以下に詳述する。
（参照画素の特定）
　変換行列導出部９０Ａによる参照画素の特定について、以下に説明する。この参照画素を特定する手法は、符号化対象ブロックに、イントラ予測を適用する場合と、インター予測を適用する場合と、で異なる。
　まず、符号化対象ブロックにイントラ予測を適用する場合における、変換行列導出部９０Ａによる参照画素の特定について、図２、３を用いて以下に説明する。図２において、丸は、符号化対象ブロックを構成する８×８の予測対象画素を示し、三角および四角は、参照画素の候補である参照画素候補を示す。参照画素候補は、符号化対象ブロックに隣接する。
　変換行列導出部９０Ａは、参照画素候補の中から、イントラ予測方向に応じて参照画素を特定する。本実施形態では、動画像符号化装置ＡＡがＨＥＶＣ（High　Efficiency　Video　Coding）に対応しているものとする。すると、イントラ予測方向には、方向性が存在しないＤＣ、Ｐｌａｎａｒと、方向性が存在する３２種類（図３参照）と、が存在することになる。
　イントラ予測方向が縦方向である場合、すなわちイントラ予測方向が図３の２６～３４のいずれかである場合には、図２の三角で示した参照画素候補を参照画素として特定する。また、イントラ予測方向が横方向である場合、すなわちイントラ予測方向が図３の２～１０のいずれかである場合には、図２の四角で示した参照画素候補を参照画素として特定する。一方、イントラ予測方向が斜め方向である場合、すなわちイントラ予測方向が図３の１１～２５のいずれかである場合には、図２の三角で示した参照画素候補と、図２の四角で示した参照画素候補と、を参照画素として特定する。
　なお、参照画素数が２のべき乗であれば、後述の変換行列の導出が容易になる。そこで、変換行列導出部９０Ａは、図２の斜線で示した位置の画素については、参照画素候補としないものとする。
　次に、符号化対象ブロックにインター予測を適用する場合における、変換行列導出部９０Ａによる参照画素の特定について、図４を用いて以下に説明する。
　変換行列導出部９０Ａは、符号化対象ブロックの動きベクトルが指す参照フレーム内の領域（図４の参照ブロックに相当）から、符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素として特定する。
　なお、上述のように、参照画素数が２のべき乗であれば、後述の変換行列の導出が容易になる。そこで、符号化対象ブロックの形状が正方形ではない場合など、参照画素数が２のべき乗ではない場合には、参照画素を適宜間引いて、参照画素数を２のべき乗にする。
（変換行列の導出）
　変換行列導出部９０Ａによる変換行列ｈの導出について、以下に説明する。
　まず、変換行列導出部９０Ａは、ｘ行ｙ列の行列を生成する。ここで、ｘは、色成分の数を示し、例えば、入力画像ａがＹＣｂＣｒ形式の画像である場合には、ｘ＝３となる。また、ｙは、参照画素数を示し、例えば、参照画素数が１６個である場合には、ｙ＝１６となる。また、ｘ行ｙ列の行列の各要素は、参照画素の色成分ごとの画素値で構成される。
　次に、変換行列導出部９０Ａは、色成分ごとに、特定した全ての参照画素の画素値の平均値を求め、この平均値をｘ行ｙ列の行列の各要素から減算する。
　次に、変換行列導出部９０Ａは、ｘ行ｙ列の行列の転置行列を求め、ｘ行ｙ列の行列と、このｘ行ｙ列の行列の転置行列と、を乗算して、共分散行列を生成する。
　次に、変換行列導出部９０Ａは、共分散行列の対角要素の最大値が２Ｎ～２Ｎ＋１－１の間に収まるように、共分散行列をシフト演算により正規化して、以下の数式（１）に示す共分散行列ｃｏｖを求める。ここで、いずれかの対角要素がゼロであれば、変換行列ｈを単位行列とする。
Figure JPOXMLDOC01-appb-M000001
　次に、変換行列導出部９０Ａは、固有ベクトルをＥと表記し、Ｅ０を単位行列として、共分散行列ｃｏｖを対象に整数化したヤコビ固有値計算法（例えば、非特許文献５参照）を適用して、変換行列Ｅｎを導出する。具体的には、まず、共分散行列ｃｏｖの要素の値をｃｏｖ（ｐ、ｑ）で表し、数式（１）のｄ、ｅ、ｆから最大値を探し、行数をｐ、列数をｑとするとともに、ｐｐ＝ｃｏｖ（ｐ、ｐ）、ｑｑ＝ｃｏｖ（ｑ、ｑ）、ｐｑ＝ｃｏｖ（ｐ、ｑ）とする。次に、以下の数式（２）～（１２）の計算を繰り返す。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
　なお、数式（４）～（６）において、逆平方根の計算を、例えば非特許文献６に示されている方法により、整数精度で実行する。また、数式（１）～（１２）において、逆平方根の計算をＭビット固定小数点で実行し、他の計算をＮビット固定小数点で実行する。以上によれば、全ての演算を整数化し、加減算、乗算、およびシフト演算のみで実行することができる。
［動画像復号装置ＢＢの構成および動作］
　図５は、本発明の第１実施形態に係る動画像符号化装置ＡＡにより生成されたビットストリームｚから動画像を復号する、本発明の第１実施形態に係る動画像復号装置ＢＢのブロック図である。動画像復号装置ＢＢは、図９に示した従来例に係る動画像復号装置ＱＱとは、変換行列導出部６８０の代わりに変換行列導出部６８０Ａを備える点と、第１の色空間変換部６９０と第２の色空間変換部７００と逆色空間変換部７１０との代わりに逆色空間変換部７１０Ａを備える点と、が異なる。なお、動画像復号装置ＢＢにおいて、動画像復号装置ＱＱと同一構成要件については、同一符号を付し、その説明を省略する。
　逆色空間変換部７１０Ａは、逆変換・逆量子化部６２０から出力された逆変換された残差信号Ｃと、変換行列導出部６８０Ａから出力された変換行列Ｈと、を入力とする。この逆色空間変換部７１０Ａは、逆変換された残差信号Ｃに変換行列Ｈを適用して逆色空間変換を行って、その結果を出力する。
　変換行列導出部６８０Ａは、図１に示した変換行列導出部９０Ａと同様に動作し、変換行列Ｈを導出して出力する。
　以上の動画像符号化装置ＡＡや動画像復号装置ＢＢによれば、以下の効果を奏することができる。
　動画像符号化装置ＡＡや動画像復号装置ＢＢは、残差信号に対して変換行列を適用して、色空間変換を行う。ここで、残差信号には、色成分間の相関性が残っているため、残差信号に含まれる色成分間の相関性を減らすことができ、色空間の冗長性を削減することができる。
　また、動画像符号化装置ＡＡは、上述のように、残差信号に対して変換行列を適用して、色空間変換を行う。このため、図８に示した従来例に係る動画像符号化装置ＰＰでは３つ必要であった色空間変換部を、１つにすることができる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。
　また、動画像符号化装置ＡＡや動画像復号装置ＢＢは、フレーム内予測が適用されるフレームにおける符号化対象ブロックと、フレーム間予測が適用されるフレームにおける符号化対象ブロックとで、それぞれ参照画素を特定し、参照画素を用いて変換行列を導出することができる。
　また、動画像符号化装置ＡＡや動画像復号装置ＢＢは、固定小数点で逆平方根の計算を行うとともに、固定小数点でヤコビ固有値計算法による計算を行う。このため、小数点演算が不要になるので、ハードウェア化に適した色空間変換を行うことができるとともに、処理負荷を軽減することができる。
　また、動画像復号装置ＢＢは、上述のように、残差信号に対して変換行列を適用して、色空間変換を行う。このため、図９に示した従来例に係る動画像復号装置ＱＱでは２つ必要であった色空間変換部が不要になる。したがって、色空間変換を適用する画素数を減らすことができ、処理負荷を軽減することができる。
　ここで、例えば、Ｍ＝１６、Ｎ＝１２とし、繰り返し計算のうち、逆平方根については２回で、ヤコビ固有値計算法については３回で打ち切るものとする。すると、図６の動画像符号化装置ＭＭや、図７の動画像復号装置ＮＮと比べて、同一のＰＳＮＲ（Peak　Signal　to　Noise　Ratio）を実現するのに、例えば、符号化時間や復号時間の増加を７％で抑えつつ、符号量を平均して２４％削減することができる。
＜第２実施形態＞
　本発明の第２実施形態に係る動画像符号化装置ＣＣについて、以下に説明する。動画像符号化装置ＣＣは、３つの色成分を有し、これら３つの色成分のそれぞれの色空間解像度が同一または少なくとも１つが異なる入力画像ａについて、符号化してビットストリームｚとして出力する。この動画像符号化装置ＣＣは、図１に示した本発明の第１実施形態に係る動画像符号化装置ＡＡとは、変換行列導出部９０Ａの代わりに変換行列導出部９０Ｂを備える点と、色空間変換部１００Ａの代わりに色空間変換部１００Ｂを備える点と、逆色空間変換部１３０Ａの代わりに逆色空間変換部１３０Ｂを備える点と、が異なる。なお、動画像符号化装置ＣＣにおいて、動画像符号化装置ＡＡと同一構成要件については、同一符号を付し、その説明を省略する。
　変換行列導出部９０Ｂは、変換行列導出部９０Ａと同様の処理を行うが、その処理の前段階において、入力されたローカルデコード画像ｇまたはローカル復号画像ｆの色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃える処理を行う。
　色空間変換部１００Ｂは、色空間変換部１００Ａと同様の処理を行うが、その処理の前段階において第１の解像度変換処理を行うとともに、その処理の後段階において第１の逆解像度変換処理を行う。第１の解像度変換処理では、入力された残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃える処理を行う。また、第１の逆解像度変換処理では、色空間変換部１００Ａと同様の処理により生成した無相関空間における残差信号について、第１の解像度変換処理により揃えた色空間解像度を元に戻す処理を行う。
　逆色空間変換部１３０Ｂは、逆色空間変換部１３０Ａと同様の処理を行うが、その処理の前段階において第２の解像度変換処理を行うとともに、その処理の後段階において第２の逆解像度変換処理を行う。第２の解像度変換処理では、入力された逆変換された残差信号ｅの色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃える処理を行う。また、第２の逆解像度変換処理では、逆色空間変換部１３０Ａと同様の処理により生成した相関空間における残差信号について、第２の解像度変換処理により揃えた色空間解像度を元に戻す処理を行う。
［動画像復号装置ＤＤの構成および動作］
　本発明の第２実施形態に係る動画像符号化装置ＣＣにより生成されたビットストリームｚから動画像を復号する、本発明の第２実施形態に係る動画像復号装置ＤＤについて、以下に説明する。動画像復号装置ＤＤは、図５に示した本発明の第１実施形態に係る動画像復号装置ＢＢとは、変換行列導出部６８０Ａの代わりに変換行列導出部６８０Ｂを備える点と、逆色空間変換部７１０Ａの代わりに逆色空間変換部７１０Ｂを備える点と、が異なる。なお、動画像復号装置ＤＤにおいて、動画像復号装置ＢＢと同一構成要件については、同一符号を付し、その説明を省略する。
　変換行列導出部６８０Ｂおよび逆色空間変換部７１０Ｂは、それぞれ、変換行列導出部９０Ｂおよび逆色空間変換部１３０Ｂと同様に動作する。
　以上の動画像符号化装置ＣＣによれば、動画像符号化装置ＡＡが奏することのできる上述の効果に加えて、以下の効果を奏することができる。
　動画像符号化装置ＣＣは、変換行列導出部９０Ｂ、色空間変換部１００Ｂ、および逆色空間変換部１３０Ｂにおいて、画像や残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、３つの色成分のそれぞれの色空間解像度が同一である入力画像だけでなく、３つの色空間のそれぞれの色空間解像度のうち少なくとも１つが異なる入力画像についても、符号化することができる。
　また、以上の動画像復号装置ＤＤによれば、動画像復号装置ＢＢが奏することのできる上述の効果に加えて、以下の効果を奏することができる。
　動画像復号装置ＤＤは、変換行列導出部６８０Ｂおよび逆色空間変換部７１０Ｂにおいて、画像や残差信号の色成分ごとの色空間解像度を、３つの色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、各種処理を行う。このため、３つの色成分のそれぞれの色空間解像度が同一であるビットストリームだけでなく、３つの色空間のそれぞれの色空間解像度のうち少なくとも１つが異なるビットストリームについても、復号することができる。
　なお、本発明の動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤに読み込ませ、実行することによって、本発明を実現できる。
　ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ－ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤに設けられたプロセッサによって行われる。
　また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
　また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡ、ＣＣや動画像復号装置ＢＢ、ＤＤにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
　例えば、上述の第１実施形態では、図２に示したように、参照画素候補は、予測対象画素の上方に存在する２行分の画素と、予測対象画素の左方に存在する２列分の画素と、からなるものとしたが、これら行数や列数は、「２」に限らず、例えば「１」や「３」であってもよい。
　また、上述の各実施形態では、入力画像ａが有する色成分は、３つであるものとしたが、これに限らず、２つ以上であればよく、例えば２つや４つであってもよい。
　また、上述の各実施形態において、入力画像ａのビット深度に適応させた固定小数点で逆平方根の計算を行うとともに、入力画像ａのビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うこととしてもよい。
　ＡＡ、ＣＣ、ＭＭ、ＰＰ・・・動画像符号化装置
　ＢＢ、ＤＤ、ＮＮ、ＱＱ・・・動画像復号装置
　９０、９０Ａ、９０Ｂ、６８０、６８０Ａ、６８０Ｂ・・・変換行列導出部
　１００Ａ、１００Ｂ・・・色空間変換部
　１３０、１３０Ａ、１３０Ｂ、７１０、７１０Ａ、７１０Ｂ・・・逆色空間変換部

Claims (16)

  1. 　フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置であって、
    　符号化済みの画素を用いて変換行列を導出する変換行列導出手段と、
    　前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する色空間変換手段と、
    　前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する量子化手段と、
    　前記量子化手段により生成された量子化係数を符号化する符号化手段と、を備えることを特徴とする動画像符号化装置。
  2. 　前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、
    　前記色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記無相関空間における残差信号を生成し、その後、当該無相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする請求項１に記載の動画像符号化装置。
  3. 　前記変換行列導出手段は、
    　前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、
    　前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、
    　前記参照画素を用いて前記変換行列を導出することを特徴とする請求項１または２に記載の動画像符号化装置。
  4. 　前記変換行列導出手段は、
    　前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、
    　前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を２のべき乗にすることを特徴とする請求項３に記載の動画像符号化装置。
  5. 　前記変換行列導出手段は、
    　固定小数点で逆平方根の計算を行う逆平方根計算手段と、
    　固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする請求項１から４のいずれかに記載の動画像符号化装置。
  6. 　前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、
    　前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする請求項５に記載の動画像符号化装置。
  7. 　フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置であって、
    　符号化済みの画素を用いて変換行列を導出する変換行列導出手段と、
    　符号化された信号を復号する復号手段と、
    　前記復号手段により復号された信号を逆量子化して残差信号を生成する逆量子化手段と、
    　前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する逆色空間変換手段と、を備えることを特徴とする動画像復号装置。
  8. 　前記変換行列導出手段は、符号化済みの画素で構成される画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記変換行列を導出し、
    　前記逆色空間変換手段は、前記残差信号の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記相関空間における残差信号を生成し、その後、当該相関空間における残差信号の色成分ごとの色空間解像度を元に戻すことを特徴とする請求項７に記載の動画像復号装置。
  9. 　前記変換行列導出手段は、
    　前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素を参照画素とし、
    　前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を参照画素とし、
    　前記参照画素を用いて前記変換行列を導出することを特徴とする請求項７または８に記載の動画像復号装置。
  10. 　前記変換行列導出手段は、
    　前記フレーム内予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックに隣接する符号化済みの画素のうち、当該符号化対象ブロックの上方または左方に存在する画素を、前記参照画素とし、
    　前記フレーム間予測が適用されるフレームにおける符号化対象ブロックについて、当該符号化対象ブロックの動きベクトルが指す参照フレーム内の領域から、当該符号化対象ブロックの予測画像を生成し、生成した予測画像を構成する画素を前記参照画素とし、当該参照画素を間引いて当該参照画素の数を２のべき乗にすることを特徴とする請求項９に記載の動画像復号装置。
  11. 　前記変換行列導出手段は、
    　固定小数点で逆平方根の計算を行う逆平方根計算手段と、
    　固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする請求項７から１０のいずれかに記載の動画像復号装置。
  12. 　前記逆平方根計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点で逆平方根の計算を行い、
    　前記ヤコビ計算手段は、前記動画像を構成する入力画像のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うことを特徴とする請求項１１に記載の動画像復号装置。
  13. 　変換行列導出手段、色空間変換手段、量子化手段、および符号化手段を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法であって、
    　前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、
    　前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第２のステップと、
    　前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第３のステップと、
    　前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第４のステップと、を備えることを特徴とする動画像符号化方法。
  14. 　変換行列導出手段、復号手段、逆量子化手段、および逆色空間変換手段を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法であって、
    　前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、
    　前記復号手段が、符号化された信号を復号する第２のステップと、
    　前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第３のステップと、
    　前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第４のステップと、を備えることを特徴とする動画像復号方法。
  15. 　変換行列導出手段、色空間変換手段、量子化手段、および符号化手段を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を符号化する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
    　前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、
    　前記色空間変換手段が、前記動画像を構成する入力画像と、前記フレーム間予測またはフレーム内予測により生成された予測画像と、の差分である残差信号に、前記変換行列導出手段により導出された変換行列を適用して色空間変換を行って、無相関空間における残差信号を生成する第２のステップと、
    　前記量子化手段が、前記色空間変換手段により生成された無相間空間における残差信号を量子化して量子化係数を生成する第３のステップと、
    　前記符号化手段が、前記量子化手段により生成された量子化係数を符号化する第４のステップと、をコンピュータに実行させるためのプログラム。
  16. 　変換行列導出手段、復号手段、逆量子化手段、および逆色空間変換手段を備え、フレーム内予測またはフレーム間予測により、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    　前記変換行列導出手段が、符号化済みの画素を用いて変換行列を導出する第１のステップと、
    　前記復号手段が、符号化された信号を復号する第２のステップと、
    　前記逆量子化手段が、前記復号手段により復号された信号を逆量子化して残差信号を生成する第３のステップと、
    　前記逆色空間変換手段が、前記逆量子化手段により逆量子化された残差信号に、前記変換行列導出手段により導出された変換行列を適用して逆色空間変換を行って、相関空間における残差信号を生成する第４のステップと、をコンピュータに実行させるためのプログラム。
PCT/JP2014/058231 2013-03-28 2014-03-25 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム WO2014157172A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14775162.2A EP2981085A4 (en) 2013-03-28 2014-03-25 DYNAMIC IMAGE ENCODING DEVICE, DYNAMIC IMAGE DECODING DEVICE, DYNAMIC IMAGE ENCODING METHOD, DYNAMIC IMAGE DECODING METHOD, AND PROGRAM
US14/780,212 US20160073114A1 (en) 2013-03-28 2014-03-25 Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program
CN201480017305.1A CN105284111B (zh) 2013-03-28 2014-03-25 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-070235 2013-03-28
JP2013070235A JP6033725B2 (ja) 2013-03-28 2013-03-28 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2014157172A1 true WO2014157172A1 (ja) 2014-10-02

Family

ID=51624143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/058231 WO2014157172A1 (ja) 2013-03-28 2014-03-25 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Country Status (5)

Country Link
US (1) US20160073114A1 (ja)
EP (1) EP2981085A4 (ja)
JP (1) JP6033725B2 (ja)
CN (1) CN105284111B (ja)
WO (1) WO2014157172A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022513457A (ja) * 2019-03-12 2022-02-08 テンセント・アメリカ・エルエルシー Ｖｖｃにおける色変換のための方法及び機器

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6030989B2 (ja) * 2013-04-05 2016-11-24 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、それらのプログラム並びにプログラムを記録した記録媒体
CN108200439B (zh) * 2013-06-14 2020-08-21 浙江大学 提高数字信号变换性能的方法及数字信号变换方法和装置
CN110519593B (zh) 2014-03-04 2021-08-31 微软技术许可有限责任公司 色彩空间、色彩采样率和/或比特深度的自适应切换
EP3114835B1 (en) 2014-03-04 2020-04-22 Microsoft Technology Licensing, LLC Encoding strategies for adaptive switching of color spaces
MX2016012636A (es) * 2014-03-27 2016-12-14 Microsoft Technology Licensing Llc Ajuste de cuantificacion/escalamiento y cuantificacion/escalamient o inverso cuando se cambian espacios de color.
CN103974076B (zh) 2014-05-19 2018-01-12 华为技术有限公司 图像编解码方法和设备、***
WO2016054765A1 (en) 2014-10-08 2016-04-14 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
US10462477B2 (en) * 2015-02-25 2019-10-29 Cinova Media Partial evaluator system and method
US11394972B2 (en) * 2015-08-19 2022-07-19 Lg Electronics Inc. Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
EP3148190A1 (en) * 2015-09-25 2017-03-29 Thomson Licensing Method and apparatus for intra prediction in video encoding and decoding
US10460700B1 (en) 2015-10-12 2019-10-29 Cinova Media Method and apparatus for improving quality of experience and bandwidth in virtual reality streaming systems
JP6593122B2 (ja) 2015-11-20 2019-10-23 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
US10390021B2 (en) 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
GB2554065B (en) * 2016-09-08 2022-02-23 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
US10944971B1 (en) 2017-05-22 2021-03-09 Cinova Media Method and apparatus for frame accurate field of view switching for virtual reality
CN109587491B (zh) * 2017-09-28 2022-09-23 腾讯科技（深圳）有限公司 一种帧内预测方法、装置及存储介质
WO2019191892A1 (zh) * 2018-04-02 2019-10-10 北京大学 用于视频编解码的方法和设备
CN114586354A (zh) 2019-08-22 2022-06-03 Lg 电子株式会社 基于矩阵的帧内预测设备和方法
WO2021034160A1 (ko) * 2019-08-22 2021-02-25 엘지전자 주식회사 매트릭스 인트라 예측 기반 영상 코딩 장치 및 방법
CN114503567B (zh) * 2020-04-22 2024-04-12 日本放送协会 编码装置、解码装置及程序
CN112188119B (zh) * 2020-09-15 2022-12-13 西安万像电子科技有限公司 图像数据的传输方法及装置、计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001864A1 (ja) * 2007-06-28 2008-12-31 Mitsubishi Electric Corporation 画像符号化装置および画像復号装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
US7792370B2 (en) * 2005-03-18 2010-09-07 Sharp Laboratories Of America, Inc. Residual color transform for 4:2:0 RGB format
KR20110135787A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001864A1 (ja) * 2007-06-28 2008-12-31 Mitsubishi Electric Corporation 画像符号化装置および画像復号装置

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
H. KATO ET AL., ADAPTIVE COLOR CONVERSION METHOD BASED ON CODING PARAMETERS OF H.264/MPEG-4 AVC
H. KATO ET AL.: "Adaptive Color Conversion Method based on Coding Parameters of H.264/MPEG-4 AVC"
HARUHISA KATO ET AL.: "Adaptive Color Conversion Method based on Coding Parameters of H.264/MPEG-4 AVC", THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 66, no. 9, 2012, pages J310 - J317, XP055291526 *
KEI KAWAMURA ET AL.: "A Study on Adaptive Color -space Transformation of Residual Signals for 4:4:4 Chroma Format", THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS NENJI TAIKAI KOEN YOKOSHU, vol. 3, 13 August 2013 (2013-08-13), pages 1 - 2, XP008180977 *
KEI KAWAMURA ET AL.: "AHG7: Adaptive colour- space transformation of residual signals", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JCTVC-K0193_R1, LLTH MEETING, October 2012 (2012-10-01), SHANGHAI, CN, pages 1 - 5, XP030054853 *
KEI KAWAMURA ET AL.: "AHG7: In-loop color-space transformation of residual signals for range extensions", 12TH MEETING: GENEVA, CH , JCTVC- L0371, JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, January 2013 (2013-01-01), pages 1 - 4, XP030056297 *
KEI KAWAMURA ET AL.: "In-loop Colour-Space- Transform Coding based on Integered SVD for HEVC Range Extensions", PICTURE CODING SYMPOSIUM (PCS, December 2013 (2013-12-01), pages 241 - 244, XP032566953 *
See also references of EP2981085A4
WILLIAM H. PRESS; WILLIAM T. VETTERLING; SAUL A. TEUKOLSKY; BRIAN P. FLANNERY: "Numerical Recipes in C", June 1993, GIJUTSU-HYOHRON CO., LTD., pages: 345 - 351

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022513457A (ja) * 2019-03-12 2022-02-08 テンセント・アメリカ・エルエルシー Ｖｖｃにおける色変換のための方法及び機器
JP7124222B2 (ja) 2019-03-12 2022-08-23 テンセント・アメリカ・エルエルシー Ｖｖｃにおける色変換のための方法及び機器
JP2022176940A (ja) * 2019-03-12 2022-11-30 テンセント・アメリカ・エルエルシー Ｖｖｃにおける色変換のための方法及び機器
JP2022176939A (ja) * 2019-03-12 2022-11-30 テンセント・アメリカ・エルエルシー Ｖｖｃにおける色変換のための方法及び機器
JP7343669B2 (ja) 2019-03-12 2023-09-12 テンセント・アメリカ・エルエルシー Ｖｖｃにおける色変換のための方法及び機器
JP7343668B2 (ja) 2019-03-12 2023-09-12 テンセント・アメリカ・エルエルシー Ｖｖｃにおける色変換のための方法及び機器

Also Published As

Publication number Publication date
CN105284111A (zh) 2016-01-27
CN105284111B (zh) 2018-10-16
JP6033725B2 (ja) 2016-11-30
US20160073114A1 (en) 2016-03-10
EP2981085A4 (en) 2016-11-02
JP2014195145A (ja) 2014-10-09
EP2981085A1 (en) 2016-02-03

Similar Documents

Publication Publication Date Title
JP6033725B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP7051773B2 (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
KR101311403B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP7009632B2 (ja) 変換に基づく映像コーディング方法及びその装置
KR101004157B1 (ko) 데이터 프레임들의 시퀀스의 효율적인 인코딩/디코딩
KR101348365B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
CN107623857B (zh) 视频编码/解码方法、设备以及生成和存储比特流的方法
WO2015005418A1 (ja) 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
KR20110135787A (ko) 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
JP2009543423A (ja) 映像の符号化／復号化方法及び装置
JP7402280B2 (ja) 動画像復号装置、動画像復号方法及びプログラム
JP6491628B2 (ja) 映像符号化方法、映像符号化装置及び映像符号化プログラム
US20190253707A1 (en) Video coding method and apparatus utilizing adaptive interpolation filter
JP2021515494A (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
JP5707261B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP5586061B2 (ja) 色コンポーネント間予測型画像符号化装置および復号装置
JP6177148B2 (ja) 動画像復号装置、動画像復号方法、およびプログラム
JP6154753B2 (ja) 動画像復号装置、動画像復号方法、およびプログラム
JP2007266861A (ja) 画像符号化装置
CN108432254B (zh) 图像编码和解码方法、装置以及计算机存储介质
US9635372B2 (en) Coding format converter partially halting search for coding candidates
JP5455229B2 (ja) 画像符号化装置及び画像復号装置
JP7444599B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
WO2021132404A1 (ja) 符号化装置、復号装置、及びプログラム
JP6727900B2 (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480017305.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14775162

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014775162

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14780212

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE