WO2006070787A1 - 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム - Google Patents

動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム Download PDF

Info

Publication number
WO2006070787A1
WO2006070787A1 PCT/JP2005/023862 JP2005023862W WO2006070787A1 WO 2006070787 A1 WO2006070787 A1 WO 2006070787A1 JP 2005023862 W JP2005023862 W JP 2005023862W WO 2006070787 A1 WO2006070787 A1 WO 2006070787A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
intra
frame
quantization
inter
Prior art date
Application number
PCT/JP2005/023862
Other languages
English (en)
French (fr)
Inventor
Keiichi Chono
Yuzo Senda
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to CN2005800449842A priority Critical patent/CN101091393B/zh
Priority to JP2006550785A priority patent/JP5234241B2/ja
Priority to US11/794,142 priority patent/US8325799B2/en
Priority to EP20050822272 priority patent/EP1845735A4/en
Publication of WO2006070787A1 publication Critical patent/WO2006070787A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving image encoding technique, and is suitable for application to, for example, a moving image encoding apparatus that stores a moving image signal.
  • a moving image encoding apparatus digitizes a moving image signal input from the outside, and then performs an encoding process based on a predetermined moving image encoding method, that is, generates an encoded information sequence. Generate a bitstream.
  • each image frame constituting a moving image is divided into blocks of 16x16 pixel size called MB (Macro Block), and the MB is further divided into blocks of 4x4 pixel size.
  • MB Micro Block
  • 4x4 block the 4x4 block is the minimum component unit of the sign key
  • FIG. 1 shows an example of the block division when the image frame is QCIF (Quarter Common Intermediate Format).
  • QCIF Quadrater Common Intermediate Format
  • an image frame is composed of a luminance signal and a color difference signal, but for the sake of simplicity of explanation, only the luminance signal is handled below.
  • the JM method (conventional method) includes an MB buffer 101, a conversion device 102, a quantization device 103, an inverse quantization / inverse conversion device 104, an entropy encoding device 105, and a code amount control device 106. , A frame memory A107, an in-loop filter device 108, a frame memory B109, an intraframe prediction device 110, an interframe prediction device 111, a prediction method estimation device 112, and a switch SW100. [0008] The operation of each device will be described below.
  • the MB buffer 101 stores the pixel value of the encoding target MB of the input image frame.
  • the pixel value of the encoding target MB supplied from the MB buffer 101 (hereinafter simply referred to as input MB) is reduced by the prediction value supplied from the intra-frame prediction device 110 or the inter-frame prediction device 111. It is done.
  • the input image with the predicted value reduced is called a prediction error.
  • Inter-frame prediction refers to an image frame reconstructed in the past that has a different display time from the current encoding target image frame, and uses the correlation in the time direction of the image frame to encode the current encoding. Predict the target block. Thereafter, the encoding required for decoding the inter-frame prediction is inter-coded, the inter-coded MB is inter-MB, and the prediction value generated by the inter-frame prediction is the inter-frame prediction value or the inter-frame prediction. Called an image.
  • intra-frame prediction can be used for intra codes.
  • the intra-frame prediction refers to an image frame reconstructed in the past that has the same display time as the current encoding target image frame, and uses the correlation in the spatial direction of the image frame to determine the current encoding target frame. Predict blocks.
  • the prediction value generated by the intra-frame prediction is referred to as an intra-frame prediction value or an intra-frame prediction image.
  • the coded image frame composed only of the intra MB is called an I frame.
  • the intra MB not only the intra MB but also the inter-MB encoded P ⁇ image frame, and inter-frame prediction using only one image frame, and an inter MB that can be predicted from two image frames simultaneously.
  • the coded image frame that contains it is called a B frame.
  • the conversion device 102 performs frequency conversion of the prediction error in units of blocks smaller than MB, and converts from the spatial domain to the frequency domain.
  • the prediction error converted into the frequency domain is called a conversion coefficient.
  • DCT Discrete Cosine Transform
  • JM conventional method
  • the code amount control device 106 monitors and outputs the number of bits of the bitstream output from the entropy coding device 105 in order to code the input image frame with the target number of bits. If the number of bits in the bitstream is larger than the target number of bits, a quantization parameter that increases the quantization step size is output. Conversely, if the number of bits in the output bitstream is smaller than the target number of bits, Outputs quantization parameters with a small quantization step size. As a result, the output bit stream is encoded so as to approach the target number of bits.
  • the quantization device 103 quantizes the transform coefficient with a quantization step size corresponding to the quantization meter supplied from the code amount control device 106.
  • the quantized transform coefficient is referred to as a level or a quantized value (hereinafter, the quantized value to be intra-coded is referred to as an intra-code quantized value, while the quantized value to be inter-coded is referred to as an inter-coded value. ⁇ ⁇ Called quantized value).
  • the quantized value is entropy-encoded by the entropy encoder 105 and output as a bit string, that is, a bit stream.
  • transform quantizer 200 a device in which the transform device 102 and the quantizer 103 are combined.
  • the inverse quantization / inverse transformation device 104 inverse quantizes the level supplied from the quantization device 103, and further performs inverse frequency transformation to perform the original spatial domain.
  • the inverse-quantized transform coefficient is called an inverse-quantized transform coefficient or a reconstructed transform coefficient.
  • the prediction error returned to the original space area is called a reconstruction prediction error.
  • the frame memory A107 stores a value obtained by adding the prediction value to the reconstruction prediction error as a reconstruction frame.
  • the in-loop filter 108 After all the MBs in the current encoding target image frame are encoded, the in-loop filter 108 performs noise removal filtering on the reconstructed frame stored in the frame memory A107.
  • the frame memory B109 stores the image frame subjected to the noise removal filter supplied from the in-loop filter 108 as a reference frame.
  • the intra-frame prediction device 110 is based on the MB type and the intra-frame prediction direction supplied from the prediction method estimation device 112 from the reconstructed frame stored in the frame memory A107.
  • Intra-frame prediction values are generated.
  • the inter-frame prediction device 111 generates an inter-frame prediction value from the reference frame stored in the frame memory B 109 based on the MB type and motion vector supplied from the prediction method estimation device 112.
  • the prediction method estimation device 112 estimates a set of intra-frame prediction direction and intra MB type that minimizes a prediction error from the input MB, and a set of motion vector and inter MB type in inter-frame prediction.
  • the switch SW100 Based on the estimation result of the prediction method estimation device 112, the switch SW100 outputs the output of the intraframe prediction device 110 if the intraframe prediction minimizes the prediction error, otherwise, the switch SW100 of the interframe prediction device 111 The output is the predicted value.
  • the JM method encodes a moving image.
  • I-frame flicker force a visually noticeable flickering of the I-frame insertion period
  • the force of the I-frame flicker is visually conspicuous because the noise pattern of the intra code ⁇ in the I frame and the noise pattern of the inter code ⁇ in the P frame displayed immediately before are different. .
  • the difference in the sign noise pattern is due to the difference in the prediction structure between the I frame and the P frame (Fig. 4).
  • Non-Patent Document 2 As a means for reducing the flickering force as described above, as in Non-Patent Document 2, all consecutive frames are encoded with I frames, and the level of the area determined to be a static area is made uniform. A way to keep it is considered.
  • Non-Patent Document 3 in a region determined to be a stationary region at the time of I-frame encoding, the immediately preceding I-frame is changed to It is possible to estimate the intra-frame prediction direction while taking into account the similarity of the above and prevent fluctuations in the intra-frame prediction value.
  • Patent Document 1 Japanese Patent Laid-Open No. 2002-335527
  • Patent Document 2 Japanese Patent Laid-Open No. 5-111012
  • Patent Document 3 Japanese Patent Laid-Open No. 08-251593
  • Patent Document 4 Japanese Patent Laid-Open No. 2003-235042
  • Non-Patent Document 1 ISO / IEC 14496-10 Advanced Video Coding
  • Non-Patent Document 2 Iguchi et al., "Flipping force reduction method for intra mode in H.264 code," F IT 2003, J-040, 2003
  • Non-Patent Document 3 Sakaida et al., "Intra-frame freat force suppression in AVC / H.264 coding by adaptive quantization," FIT 2004, LJ-009, 2004
  • Patent Document 1 gives priority to the quantization step size in a region with high visual characteristics when the visual characteristics of the entire image frame are high or the target rate is extremely low. Because it cannot be struck, the desired effect was not obtained.
  • Patent Document 3 since the technique of Patent Document 3 can be applied only between P frames having the same coding structure, an I frame generated due to the difference in noise pattern between the intra code and the inter code. It cannot be applied to the suppression of fritz force,
  • Non-Patent Document 2 is that, since all image frames are encoded with I frames, the image quality at low rates is poor, and "intra-frame prediction is not performed in the pixel space. Since it is performed after quantization, the quantization noise in the intra code ⁇ is superimposed on the prediction error signal, resulting in poor image quality at a low rate, and “inter-coding such as P-frame or B-frame”. We didn't solve the problem because it could't be applied when used together, and it didn't be applied when there was motion in the image.
  • Patent Document 4 is similar to Non-Patent Document 2, in that "all frames are encoded with I frames, resulting in poor encoding efficiency", and "There are P frames or B frames, etc.” This is not applicable when used in conjunction with inter-frame predictive coding, and “cannot be applied when there is motion in the image” t.
  • Non-Patent Document 3 states that, when inter-frame prediction such as P frame or B frame is used together, the frame between the I frame encoded immediately before and the current I frame to be encoded is The effect is not effective when there is motion in the image because the distance is too far away ”, and“ the coordinates of the object in the image are not constant for each image frame except in a completely stationary scene. There was a problem that the fluctuation of the predicted value could not be suppressed and the effect was not achieved.
  • the present invention has been made in view of the above problems, and its purpose is to encode a moving image using not only an I frame but also an inter-frame prediction such as a P frame and a B frame.
  • an inter-frame prediction such as a P frame and a B frame.
  • An object is to provide an apparatus or a computer program.
  • Means for solving the problem [0045]
  • a first invention for solving the above-mentioned problem is a moving picture encoding apparatus, which uses an image frame that has been encoded using an inter-code and then reconstructed, and an image is intra-coded.
  • a means for encoding is provided.
  • a second invention that solves the above-mentioned problem is that, in the first invention, an image frame that is reconstructed after encoding using the inter coding is applied to the image that is intra-coded. It is a past image frame.
  • a third invention for solving the above-mentioned problem is characterized in that, in the above-mentioned second invention, the past image frame force is a P frame immediately before the image to be intra-coded.
  • the quantization value of the intra code ⁇ is calculated, and the intra code ⁇ target image is inter-frame predicted and converted using a P-frame image. And a means for correcting using a reconstructed image obtained by quantization, inverse quantization, and inverse transformation.
  • the quantization value of the intra code ⁇ is inter-frame predicted using the P frame image as the intra code ⁇ target image. Means for correcting using the inter-frame prediction image obtained in this manner.
  • a sixth invention that solves the above-described problem is the method according to the fourth or fifth invention, wherein a difference between an image used for the correction and an intra-frame prediction value image is converted as a quantized value for intra coding. And a quantized value obtained by performing quantization is used.
  • a seventh invention for solving the above-mentioned problem is obtained by converting the image used for the correction as the quantization value of the intra coding and performing the quantization in the fourth or fifth invention. It is characterized by using a quantized value.
  • An eighth invention for solving the above-mentioned problems is characterized in that, in the sixth or seventh invention, the quantization has a rounding quantization characteristic.
  • a ninth invention that solves the above problem is that, in the eighth invention, the difference between the transform coefficient for intra coding and the transform coefficient obtained for the image power used for the correction is an inter code quantum.
  • the correction of the quantized value of the intra coding is applied only when it is equal to or smaller than the conversion dead zone width.
  • an intra-coded image is inter-frame predicted, transformed, quantized, inverse-quantized, and inverse-transformed with the P-frame image. The reconstructed image generated in this way is provided with means for intra-coding.
  • An eleventh invention for solving the above-mentioned problem is that, in the third invention, an intra-frame prediction image generated by performing inter-frame prediction on an intra-coded image with the P-frame image is an intra-frame prediction image. It is characterized by comprising means for encoding.
  • a difference between the generated image and an intra-coding target image is obtained by performing inter coding in a pixel space.
  • the intra code is applied.
  • a thirteenth invention for solving the above-mentioned problem is a moving image coding method, which uses an image frame reconstructed after encoding using inter coding, and converts the image into an intra code. It is characterized by encoding.
  • an image in which an image frame that has been reconstructed after being encoded using the inter code ⁇ is subjected to the intra encoding is provided. Is a past image frame.
  • a fifteenth invention for solving the above-mentioned problem is characterized in that, in the above-mentioned fourteenth invention, the previous image frame force is a P frame immediately before the intra-coded image.
  • an intra-coding quantization value, an intra-coding target image as a P-frame image, inter-frame prediction, conversion, quantum It is characterized by correction using a reconstructed image obtained by quantization, inverse quantization, and inverse transformation.
  • the quantization value of intra coding is obtained by inter-frame prediction of an intra coding target image using the P frame image. It corrects using the predicted image between frames.
  • An eighteenth invention for solving the above-described problems is the above-mentioned sixteenth or seventeenth invention, wherein The quantized value obtained by converting and quantizing the difference between the image used for the correction and the intra-frame predicted value image is used as the quantized value of the La code ⁇ .
  • a nineteenth invention for solving the above-mentioned problem is obtained in the sixteenth or seventeenth invention by transforming an image used for the correction as a quantization value of an intra code and performing quantization. It is characterized by using the quantized value obtained.
  • the quantization has a rounding quantization characteristic.
  • the difference between the transform coefficient for intra coding and the transform coefficient obtained for the image power used for the correction is a quantization dead of inter coding.
  • the correction of the quantization value of the intra coding is applied only when it is equal to or smaller than the zone width.
  • inter-frame prediction, transformation, quantization, inverse quantization, and inverse transformation are performed on the intra-coded image using the P frame image.
  • the reconstructed image generated in this way is intra-coded.
  • an intra-frame prediction image generated by inter-frame prediction of an intra-coded image with the P-frame image is an intra-frame prediction image. It is characterized by signing.
  • a difference between the generated image and an intra-coding target image is obtained by performing inter coding in a pixel space.
  • the intra coding is applied.
  • a twenty-fifth aspect of the present invention for solving the above problem is a program for causing an information processing apparatus to perform moving image encoding, wherein the program inter-codes the information processing apparatus when intra-coding an image. It is characterized by functioning as a means for encoding using an image frame that has been encoded using the code and then reconstructed.
  • an image frame reconstructed after encoding using the inter-code is used in the past. It is a past frame for the image to be deceived.
  • an image frame reconstructed after encoding using the inter-code is used in the past. It is a P frame immediately before the image to be deceived.
  • the program uses the information processing apparatus to convert an intra-code quantization value, an intra-coding target image to a P-frame. It is characterized by functioning as a means for correcting using a reconstructed image obtained by inter-frame prediction, transformation, quantization, inverse quantization, and inverse transformation on an image.
  • the program uses the information processing device to represent the quantization value of the intra code, the intra-coding target image, and the P frame. It is made to function as a means to correct
  • a difference between an image used for the correction and an intra-frame prediction value image is converted as a quantized value of an intra code ⁇ . And a quantized value obtained by performing quantization is used.
  • the thirty-first invention for solving the above-mentioned problem is obtained by converting the image used for the correction as the quantized value of the intra code ⁇ and applying quantization in the twenty-eighth or twenty-ninth invention. It is characterized by using the quantized value obtained.
  • a thirty-second invention for solving the above-mentioned problem is characterized in that, in the thirty-first or thirty-first invention, the quantization has a rounding quantization characteristic.
  • a difference between a transform coefficient for intra coding and a transform coefficient obtained for image power used for the correction is a quantization dead of inter coding.
  • the correction of the quantization value of the intra coding is applied only when it is equal to or smaller than the zone width.
  • the program uses the information processing apparatus to predict, convert, and convert an image to be intra-coded into an image of the P frame. It is characterized by functioning as a means for intra-coding the reconstructed image generated by quantization, inverse quantization, and inverse transformation.
  • the information processing apparatus functions as means for intra-coding the inter-frame prediction image generated by inter-frame prediction of the intra-coding target image with the P-frame image.
  • a difference between the generated image and an intra-coding target image is obtained by performing inter coding in a pixel space.
  • the intra code is applied.
  • a thirty-seventh aspect of the present invention for solving the above-mentioned problem is a moving picture coding apparatus, characterized by comprising means for resembling noise generated by an intra code ⁇ to noise generated by an inter code ⁇ .
  • a thirty-eighth aspect of the present invention for solving the above-described problem is a moving image encoding method, characterized in that noise generated by an intra code is similar to noise generated by an inter code.
  • a thirty-ninth invention for solving the above-mentioned problem is a moving image encoding / decoding system, which is reconstructed after encoding using inter encoding when an image is intra-encoded. It has a means for encoding using an image frame, and a decoding means for decoding the encoded data.
  • a 40th invention for solving the above-mentioned problem is a moving picture encoding'decoding method, which is reconstructed after encoding using an inter code ⁇ when an image is intra-encoded.
  • the method includes a step of encoding using an image frame and a step of decoding the encoded data.
  • the intra code ⁇ of the present invention receives the reference frame stored in the frame memory 109 as shown in FIG. 27 as an input and outputs the intra code output from the quantization device 103. And a quantization control device 999 that corrects the level (quantization value).
  • the quantization control device 999 interleaves the inter-coded image frame. In order to visually reduce the I frame fluttering force due to the difference between the noise characteristics and the noise characteristics of the current intra code, the level of the intra code is reduced. The function (correction value) is corrected appropriately.
  • the present invention provides a case where a moving image is encoded using not only an I frame but also inter-frame prediction such as a P frame and a B frame, and further, when a moving image including a moving scene is encoded.
  • inter-frame prediction such as a P frame and a B frame
  • FIG. 1 is a diagram showing a configuration of an image frame.
  • FIG. 2 is a block diagram of a conventional video encoding device.
  • FIG. 3 is a diagram for explaining periodic insertion of an I frame for intermediate playback.
  • FIG. 4 is a diagram for explaining the generation of I-frame flaw force.
  • FIG. 5 is a block diagram of a conventional transform quantization apparatus.
  • FIG. 6 is a diagram for explaining the intra-4MB intra-frame prediction direction.
  • FIG. 7 is a diagram for explaining the Intral6MB intra-frame prediction direction.
  • FIG. 8 is a diagram for explaining the encoding structure of Intral6MB.
  • FIG. 9 is a diagram for explaining a pixel of interest.
  • FIG. 10 is a diagram for explaining the generation of I-frame flaw force by the conventional method.
  • FIG. 11 is a block diagram of a moving picture coding apparatus according to the present invention.
  • FIG. 12 is a diagram for explaining a corrected reference image generation reference frame.
  • FIG. 13 is a block diagram of an I-frame fritting force suppression control apparatus according to the first embodiment.
  • FIG. 14 is a flowchart of I frame flitz force suppression control signal and inter-code decoding reconstruction image calculation.
  • FIG. 15 is a block diagram of the transform quantization apparatus in the first embodiment.
  • FIG. 16 is a flowchart of conversion coefficient correction.
  • FIG. 17 is a diagram for explaining the effect of the present invention.
  • FIG. 18 is a block diagram of an I-frame frits force suppression control device according to the second embodiment.
  • FIG. 19 is a flowchart of an I-frame frits force suppression control signal and inter-frame prediction image calculation.
  • FIG. 20 is a block diagram of a transform quantization apparatus in the third embodiment.
  • FIG. 21 is a flowchart of coefficient quantization.
  • FIG. 22 is a flowchart of DC coefficient quantization.
  • FIG. 20 is a block diagram of a transform quantization apparatus in the fourth embodiment.
  • FIG. 24 is a flowchart of prediction error correction.
  • FIG. 25 is a block diagram of an information processing apparatus using the present invention.
  • FIG. 26 is a diagram for explaining the present invention.
  • FIG. 27 is a diagram for explaining the present invention.
  • FIG. 28 is a block diagram of the video decoding device of the present invention.
  • FIG. 26 shows only the blocks that operate during intra-code encoding in the conventional video encoding apparatus shown in FIG.
  • the input image is simply intra-coded without taking into account the code noise of the reference frame, that is, the image frame having a different display time from the current code object.
  • FIG. 27 shows a block that operates when the intra coding of the moving picture coding apparatus of the present invention is performed.
  • the intra code key of the invention of FIG. 27 receives the reference frame stored in the frame memory 109 as an input, and the level of the intra code key output from the quantizer 103.
  • a quantization control device 999 for correcting (quantization value) is provided.
  • quantization controller 999 inter-codes the inter-coded image frame.
  • ⁇ Correct the intra code level (quantization value) to visually reduce the I-frame fluttering force due to the difference between the noise characteristics and the noise characteristics of the current intra code. It has the function to do.
  • FIG. 5 A more detailed configuration of the transform quantization apparatus 200 of FIG. 2 is shown in FIG. 5 below.
  • the conversion device 102 includes a 2D conversion device 1021, a DC2D conversion device 1022, and a switch SW1023.
  • the 2D conversion apparatus 1021 performs 2D conversion described below on the prediction error.
  • Switch SW1023 supplies DC conversion coefficient to DC2D conversion apparatus 1022 among the conversion coefficients supplied from 2D conversion apparatus 1021, when the supplied MB type is Intral6MB described below.
  • the DC2D conversion device 1022 performs DC2D conversion, which will be described later, on the supplied DC conversion coefficient.
  • Quantization apparatus 103 includes coefficient quantization apparatus 1031 and DC coefficient quantization apparatus 1032.
  • the coefficient quantization apparatus 1031 quantizes the transform coefficient by coefficient quantization described below based on the input quantization parameter and MB type, and outputs a level.
  • DC Coefficient quantization apparatus 1032 quantizes the DC transform coefficient by DC coefficient quantization described below based on the input quantization parameter and MB type, and outputs a DC level.
  • the prediction value is generated by intra-frame prediction or inter-frame prediction.
  • an MB type that predicts an adjacent pixel power in a unit of the encoding target MB (hereinafter referred to as Intral6MB) and a unit of 4x4 blocks in the encoding target MB.
  • An MB type (hereinafter referred to as Intra4MB) that predicts adjacent pixel powers within a frame.
  • Intra4MB is capable of intraframe prediction using the nine types of intraframe prediction directions shown in Fig. 6 in units of 4x4 blocks.
  • Intral6MB is capable of intra-frame prediction using the four types of intra-frame prediction directions shown in FIG.
  • the resolution of the image frame is horizontal width pixels and vertical height pixels
  • the time of the current encoding target frame is t
  • the pixel value of the reconstructed frame (stored in the frame memory A107 in Fig. 2) is rec (t, i , j) ⁇ 0 ⁇ i ⁇ width- 1, 0 ⁇ j ⁇ height- 1 ⁇
  • the coordinates of the upper left corner of the encoding target MB in the image frame are (MBx, MBy) ⁇ 0 ⁇ MBx ⁇ width-16, 0 ⁇ MBy ⁇ height-16 ⁇
  • the index of the 4x4 block to be encoded in the MB is idx ⁇ 0 ⁇ idx ⁇ 15 ⁇ (see the middle figure in Fig. 1)
  • Non-Patent Document 1 was referred to for the generation formulas of Intra4MB intra-frame prediction values or Intral6MB intra-frame prediction values in other prediction directions.
  • the inter-frame prediction value plnter (x, y) is a frame between the reference frame and the current encoding target frame.
  • plnter idx (x, y) MC [rec (t ⁇ /), mbx + bAx ldx + x, mby + bAy jdx + y, mvx idx , mvy idx ] (2) where MC [rec (tl), xx, yy, mvx, mvy] is the motion vector (mvx, mvy) with coordinates (xx, yy) ⁇ 0 ⁇ xx ⁇ width-l, 0 ⁇ yy ⁇ height-1 ⁇ in the image frame to be encoded This function reads the pixel value of the reference frame retD corresponding to the coordinates shifted by pixels.
  • MC [r ec (tl), xx, yy, mvx, mvy] is used to properly calculate the pixel value at the decimal position and the pixel power at the surrounding integer position when the motion vector (mvx, mvy) is in decimal precision. Interpolate.
  • the reference frame ret) is composed of pixels after the noise reduction filtering is applied to the reconstructed frame rec (t) by the in-loop filter 108 of Equation (3).
  • noise removal filtering is off, ret) and rec (t) match exactly.
  • LP [] is a symbol indicating noise removal filtering.
  • the prediction error is generated by subtracting the above-described prediction value from the input pixel.
  • the input image frame is org (t, i, j) ⁇ 0 ⁇ i ⁇ width-l, 0 ⁇ j ⁇ height-1 ⁇
  • the encoding target MB is src (i, j) ⁇ 0 ⁇ i ⁇ l 5, If 0 ⁇ j ⁇ 15 ⁇ , the prediction error pe (X, y) ⁇ 0 ⁇ idx ⁇ 15, 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇ 3 ⁇
  • 2D conversion differs depending on the MB type of the encoding target MB. If the MB type force is not lntral6MB, 2D conversion of equation (7) is performed, and if it is Intral6MB, DC2D conversion of equation (8) is further performed. -(,):
  • the quantization of the transform coefficient will be described. If the 4x4 block is a DC block, the level is calculated using the DC coefficient quantization of equation (9), otherwise the coefficient quantization of equation (10) is used.
  • LDC (x, y (TDC (x, y) x Q (q 1 ⁇ 46, 0, 0) + f (TDC (x,) ⁇ 2 ie + «" 6) ) / 2 (1 ⁇ 5 + ⁇ / 6) ( 9 )
  • L ldx (x, nu) ((x, y) ⁇ Q (gp% 6, x, y) + / ((x, y)) x2 (15+ ⁇ / 6) / 2 ( 15 6 ) (1 o)
  • qp ⁇ 0 ⁇ qp ⁇ 51 ⁇ is a quantization parameter supplied from the code amount control device 106
  • fintra and finter in the equation (13) are parameters for determining the quantization rounding position.
  • the target pixel may be a static region pixel or a motion region pixel. It is generally said that human visual characteristics are sensitive to static areas and insensitive to moving areas. However, even with pixels in the motion region, if the human eye is following this, the human visual characteristics will be sensitive.
  • Figure 10 shows the input of the target pixel org (t, vpx, vpy), reconstruction rec (t, vpx, vpy), prediction pred (t,
  • the coordinates have the following relationship.
  • the present invention described below takes into account the inter-code noise pattern of an image encoded using inter-code when the image is intra-coded, that is, the time of the pixel of interest.
  • intra coding considering the inter-code noise pattern of an image encoded using the inter-code key” will be referred to as “intra coding considering continuity on the time axis”.
  • the moving picture coding apparatus according to the present invention is shown in the present embodiment.
  • the invention system of FIG. 11 includes an I-frame frits force suppression control device 300 in addition to the conventional system of FIG. Further, the internal operation of transform quantization apparatus 200 is conventionally performed by an I frame flicker force prediction pressure control signal supplied from I frame flicker force suppression control apparatus 300 and a reference prediction error that is a difference between a corrected reference image and an intraframe predicted value. It is different from the method.
  • the devices other than the I-frame fretting force suppression control device 300 and the transform quantization device 200 are the same as the conventional method, only the I-frame fretting force suppression control device 300 and the quantization device 200 are used for the sake of simplification. Is described below.
  • the outline of the operation of the I-frame flicker force suppression control apparatus 300 in this embodiment is as follows.
  • An image to be intra-encoded is previously reconstructed after being encoded using inter-encoding (hereinafter referred to as an inter-encoding).
  • Inter-frame prediction, transform, quantization, inverse quantization, and inverse transform to generate inter-coded images (reconstructed images recInte t, ⁇ , ⁇ ty) and correct them.
  • Formula (17) is formalized.
  • the corrected reference image generation reference frame described above is preferably an image frame having the highest inter-frame correlation with the image frame to be intra-encoded. For this reason, usually, the shorter the interframe distance, the higher the interframe correlation. For this reason, the P frame that was coded immediately before is the best in coding that does not use the B frame (Fig. 12 (a)). However, if the previous P frame is flashed by lighting, the previous P frame may be used.
  • the corrected reference image generation reference frame is better than the P frame immediately before encoded with a certain level of image quality, rather than the coarsely quantized B frame (FIG. 12 (b)).
  • the input of the I-frame fluff force suppression control device 300 is supplied from the input MB pixel supplied from the MB buffer 101, the inter-frame prediction value supplied from the inter-frame prediction device 111, and the code amount control 106.
  • the output includes an I-frame frits force suppression control signal supplied to the transform quantizer 200, a corrected reference image supplied to the transform quantizer 200 after the intra-frame prediction value is reduced, and a prediction method estimation. This is a motion vector estimation control signal for controlling the device 112.
  • the I-frame flick force suppression control device in FIG. 13 it includes a conversion device 102, a quantization device 103, an inverse quantization / inverse conversion device 104, and a controller 301.
  • the controller 301 calculates the I-frame frits force suppression control signal from the supplied quantization parameter, the motion vector and MB type, and the difference between the input MB and the inter-frame prediction value.
  • the I frame flicker force suppression control signal is information indicating "in which region in an image frame an intra code that takes account of continuity in the time axis is applied".
  • the controller 301 uses the prediction method estimation device 112 as an I frame, an inter-frame prediction method estimation (motion from the corrected reference image generation reference frame that minimizes the inter-frame prediction error with the input MB). If the process of detecting a vector and inter MB type) is stopped, the inter-frame prediction method estimation is operated by a motion vector estimation control signal.
  • Conversion apparatus 102 converts the difference between the input MB and the inter-frame prediction value, and supplies the conversion coefficient to quantization apparatus 103.
  • the quantization apparatus 103 quantizes the transform coefficient with a quantization step size corresponding to the supplied quantization parameter, and calculates a level.
  • the inverse quantization / inverse transformation device 104 inverse quantizes the level supplied from the quantization device 103, further performs inverse frequency transformation, and returns the original level to the original spatial domain, thereby calculating a reconstruction prediction error.
  • An inter-coded reconstructed image is obtained by adding the inter-frame prediction to the reconstructed prediction error, and this is output as a corrected reference image.
  • the intra-frame prediction value of the corrected reference image is reduced to generate a reference prediction error.
  • the reference prediction error is information indicating how long the intra code that takes account of continuity in the time axis is to be continuous in the time direction.
  • the conversion device 102, the quantization device 103, and the inverse quantization / inverse conversion device 104 in the I frame flitz force suppression control device 300 are the same as those in the conventional method.
  • step S1001 the pixel value src (x,
  • step S1002 the second prediction error pe2 (x, x,
  • the I-frame flitch force suppression control signal IFlickerControl is calculated according to Equation (20).
  • qpthl is a quantization parameter threshold value (28 in this embodiment)
  • a is a value greater than 0
  • T gain is a gain of conversion (16 in this embodiment).
  • Sth is the quantization dead zone width in inter coding in the pixel space region.
  • step S1003 the second prediction error pe2 (x, y) ⁇ 0 ⁇ idx ⁇ 15, 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇ 3 ⁇
  • the second reconstruction prediction error re CP e2 (idx x, y) (0 ⁇ idx ⁇ 15, 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇ 3 ⁇ is calculated. Furthermore, the interframe prediction value plnter idx
  • reclnter idx (x, y) recpel ldx (x, y) + plnter idx (x, y) (23) This is the end of the description of the I-frame frits force suppression control device 300 in the present embodiment.
  • the above-described inter code reconstruction image is output as a corrected reference image to the outside of the I frame flicker suppression control device 300.
  • the corrected reference image is obtained by subtracting the intra-frame prediction value supplied from the intra-frame prediction device 110 to obtain a reference prediction error rpe (x,
  • rpe idx (x, y) reclnter ldx (x, y)-plntra ldx (x, y) (24)
  • Information indicating how the I frame flitch force suppression control device 300 encodes the reconstructed image of the intra code target image so as to be continuous in the time direction (I frame flitch force suppression control signal ) And information (reference prediction error) indicating how long the reconstructed image of the intra encoding target image is encoded in the time direction.
  • the transform quantization apparatus 200 uses these pieces of information to perform coding in consideration of continuity in the time direction of the reconstructed image of the intra coding target image.
  • a quantization apparatus 200 includes a conversion coefficient correction apparatus 201 in addition to the configuration of the conventional system shown in FIG.
  • Transform coefficient correction apparatus 201 includes an I frame flitch force suppression control signal supplied from I frame flitch force suppression control apparatus 300, a reference prediction error obtained by subtracting a corrected reference image power intra-frame prediction value, and a code amount. Based on the quantization parameter supplied from the control device 106, the conversion coefficient and the DC conversion coefficient supplied from the conversion device 102 are corrected, and the corrected conversion coefficient and the corrected DC conversion coefficient are supplied to the quantization device 103. That is, the quantization value (level) of the intra code ⁇ is adaptively corrected.
  • the only difference from the transform quantization apparatus in FIG. 5 is the correction of the transform coefficient and the DC transform coefficient by the transform coefficient correction apparatus 201. Therefore, only the transform coefficient correction apparatus 201 will be described below.
  • the quantization parameter is qp
  • the I-frame flitch force suppression control signal is IFlickerControl
  • the reference prediction error is rpe (x, y) (0 ⁇ idx ⁇ 15, 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇ 3 ⁇
  • the conversion coefficient supplied from the converter 102 is T (x, y) ⁇ 0 ⁇ idx ⁇ 15, 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇
  • step S2001 the corrected conversion coefficient T, (x, y) and the corrected DC conversion coefficient TDC '(x, y) are
  • step S2002 it is checked whether or not the I frame flitch force suppression control signal IFlickerControl is zero. If IFlickerControl is not 0 (if the coefficient is corrected), step S2003; otherwise, the process ends.
  • step S2003 it is determined whether or not the conversion coefficient force ntral6MB is a correction target. Intral
  • Step S2004 If it is not 6MB, go to Step S2004, otherwise go to Step S2005.
  • step S2004 all idx, x, y ⁇ 0 ⁇ idx ⁇ 15, 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇ 3 ⁇ are corrected for Equation (27) and processed. Exit.
  • Qs (x, y) 2 '5 + qp' 6 / Q (qp% 6, x, y) (32)
  • Qsdzl (x, y) is the quantization dead zone of the inter-coding.
  • ope ⁇ (C, qs, x, y) ((C + 0.5 x sign C) x qs) I qs) * qs (34) where sign (C) is -1 if C ⁇ 0, otherwise Is a function that returns 1.
  • conditionA (idx, x, y) True in Equation (27)
  • the level force obtained by quantizing the difference between the corrected reference image and the intraframe prediction image and the level of the intra code ⁇ become.
  • conditionA (idx, x, y) True in Equation (33)
  • the level obtained by quantizing the difference between the corrected reference image and the intra-frame prediction image by rounding off the quantization characteristic is It becomes the level of the intra code ⁇ .
  • the rounding quantization characteristic is used, the reconstructed image is more accurately continuous in the time direction.
  • equation (33) may be used instead of equation (27).
  • step S2006 it is determined whether or not the I frame flitch force suppression control signal IFlickerControl is 1. If not 1 (if the DC conversion coefficient is corrected), step S2007, otherwise, the process ends.
  • step S2007 the DC conversion coefficient of Equation (35) is corrected for all X, y ⁇ 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇ 3 ⁇ conversion coefficients, and the process ends.
  • QsDC (x, y) 2 16 6 IQ (qp% 6,0,) (39)
  • Qsdz2 (x, y) is a quantization dead zone of inter coding in the DC transform domain.
  • conditionB in Equation (35) it is possible to prevent correction of excessive intra-coded quantization values (of course, it is possible to use a larger value for Qsdz2, but DC conversion
  • the quantization dead zone of the inter-code in the region has the most stable effect).
  • the correction of the DC conversion coefficient may be calculated by Expression (40) instead of Expression (35).
  • iope ⁇ (RTDC (x, y), QsD (JC.v), x, y) v, i rue) TDC tdx (x, y)... else
  • conditionB (x, y) True in equation (35)
  • the level force obtained by quantizing the difference between the corrected reference image and the intraframe prediction image is the level of the intra code key.
  • conditionB (x, y) True in Equation (40)
  • the level obtained by quantizing the difference between the corrected reference image and the intra-frame prediction image by rounding off the quantization characteristic is the intra code. It becomes the level of ⁇ . Using the rounding quantization characteristic, the reconstructed image becomes more accurate in the time direction.
  • the prediction error conversion coefficient is corrected with the reference prediction error conversion coefficient, and the reconstructed prediction error of the target pixel in the I frame is expressed by Equation (42).
  • recpe ⁇ vpx 3 , vpy 3 ) IQIT [QT [rpeQ, vpx ⁇ , vpy 3 )]]]]] (42)
  • the reconstruction prediction error in the invention example (Fig. 17) is the same as that in the conventional example (Fig. 10). It is smaller than the reconstruction prediction error by the quantization width.
  • the reference prediction error is generated by the inter-code image power, the above-described effect can be obtained regardless of whether the pixel of interest is a still region or a motion region.
  • the reference prediction error is calculated in units of blocks, the above-described suppression of the I frame flicker force is applied adaptively for each block in the image frame.
  • a moving image when a moving image is encoded using not only an I frame but also inter-frame prediction such as a P frame and a B frame, a moving image including a moving scene and a moving region is encoded. Even when hesitating, it is possible to effectively reduce the I-frame flickering force.
  • the I-frame frits force suppression control apparatus 300 needs to perform transform, quantization, inverse quantization, and inverse transform processes in order to calculate a corrected reference image. there were.
  • a simpler I frame flitch force suppression control device 300 that does not require the transformation, quantization, inverse quantization, and inverse transformation will be described.
  • the moving picture coding apparatus of the present embodiment has the same configuration except for the I frame flitch force suppression control apparatus 300 of the first embodiment. Therefore, for simplicity of explanation, the I frame in the present embodiment is the same. Only the Muflitz force suppression control device 300 will be described below.
  • I frame flitz force suppression control apparatus 300 With reference to FIG. 18, the configuration of I frame flitz force suppression control apparatus 300 in the present embodiment will be described.
  • the transform device 102, the quantization device 103, and the inverse quantization / inverse transform device 104 are deleted.
  • the controller 301 is the same as that in the first embodiment.
  • the corrected reference image obtained in the present embodiment is the inter-frame prediction image when the intra-coding target image is subjected to the correction reference image generation reference frame force inter-frame prediction.
  • the corrected reference image is equivalent to an inter-coded reconstructed image in which the first term of Equation (17) in Example 1 is zero.
  • the principle in which the first term of the above equation (17) is set to zero is “a continuous image in the time direction matches the image and the inter-frame prediction image. Therefore, the prediction error is small. We use the tendency that the prediction error becomes zero after quantization. As a result, a function equivalent to that of the I-frame fritting force suppression control device of the first embodiment is realized at a lower calculation cost because the prediction error conversion, quantization, inverse quantization, and inverse conversion are not performed.
  • step S3001 the input MB pixel value src (x, y) ⁇ 0 ⁇ x ⁇ 15, 0 ⁇ y ⁇ 15 ⁇ and the corrected reference inter-frame prediction value Pinter (x, y) from the image generation reference frame ⁇ 0 ⁇ idx ⁇ 15, 0 ⁇ x ⁇ 3
  • step S3002 the second prediction error pe2 (x, y), the MB type, and the quantization parameter
  • the I frame flitch force suppression control signal IFlickerControl is calculated by the equation (20) (same as step S1002).
  • qpthl is a threshold value of the quantization parameter (28 in this embodiment).
  • inter-frame prediction value is output to the outside of the I-frame frits force suppression control device 300 as a corrected reference image.
  • the intra-frame prediction value supplied from the intra-frame prediction device 110 is subtracted, and the reference prediction error rpe (x, y) 0 ⁇ idx ⁇ 15, 0
  • the I frame flits force suppression controller 300 of this embodiment uses the I frame flits as in the first embodiment. A force suppression control signal and a reference prediction error are obtained.
  • the transform quantization apparatus 200 in FIG. 20 includes a transform apparatus 102B having the same function as the transform apparatus 102 in addition to the configuration of the conventional system in FIG.
  • the converter 102B is supplied with the reference prediction
  • the error is converted in the same way as the prediction error of the converter 102, and the reference conversion coefficient and the reference DC conversion coefficient are output.
  • step S4001 all transform coefficients T (X, y) ⁇ 0 ⁇ idx ⁇ 15, 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇ 3 ⁇
  • Step S4001 is the operation of the coefficient quantization itself of the conventional method.
  • Steps 4002 to S4005 are operations added by the invention.
  • step S4002 it is determined whether or not the I frame flitch force suppression control signal IFlickerControl is zero. If IFlickerControl is not 0 (if the coefficient is corrected), step S4003; otherwise, the process ends.
  • step S4003 a counter countL indicating the number of corrected coefficients is initialized to zero.
  • step S4004 countL force is greater than or equal to 3 ⁇ 456 (whether or not all idx, x, y ⁇ 0 ⁇ idx ⁇ 15, 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇ 3 ⁇ coefficients are corrected) Check, and if countL is 256 or more, the process ends, otherwise go to step S4005.
  • step S4005 level L (x, y) is corrected by equation (44), and countL is incremented by one.
  • step S5001 all DC conversion coefficients TDC (x, x,
  • Step S5001 is the operation of the conventional DC coefficient quantization itself, and subsequent steps S5002 to S5005 are operations added by the invention.
  • step S5002 it is checked whether or not the I frame flitch force suppression control signal IFlickerControl is 1 and the MB type is Slntral6MB. If IFlickerControl is 1 and the MB type power is Slntral6MB (if the DC coefficient is corrected), step S5003; otherwise, the process ends.
  • step S5003 the counter countDCL indicating the number of corrected DC coefficients is initialized to zero.
  • step S5004 it is checked whether countDCL is 16 or more (whether DC coefficients of all X, y ⁇ 0 ⁇ x ⁇ 3, 0 ⁇ y ⁇ 3 ⁇ are corrected), and countDCL is 16 If so, the process ends. Otherwise, the process proceeds to step S5005.
  • step S5005 the level LDC (x, y) is corrected by equation (50), countDCL is incremented by 1, and the flow proceeds to step S5004.
  • iDC (x — ⁇ L £ C (x, ... if (conditionB (idx, x, y) True)
  • transform quantizing apparatus 200 in the present embodiment described above encodes a video using not only an I frame but also inter-frame prediction such as a P frame and a B frame, as in the first embodiment.
  • inter-frame prediction such as a P frame and a B frame
  • the conversion quantizer 200 does not have to calculate “the conversion coefficient of the reference prediction error”.
  • the moving picture coding apparatus according to the present invention uses a transform quantization apparatus capable of reducing the frame-flick force.
  • the transform quantization apparatus 200 includes a prediction error correction apparatus 202 in addition to the configuration of the conventional method of FIG.
  • the prediction error correction device 202 corrects the prediction error based on the supplied I frame flicker force suppression control signal / reference prediction error, and supplies the corrected prediction error to the conversion device 102.
  • the devices other than the prediction error correction device 202 are the same as those of the conventional method of FIG. Accordingly, only the operation of the prediction error correction apparatus 202 will be described below with reference to the flowchart of FIG.
  • step S6001 whether or not the I frame flitch force suppression control signal IFlickerControl is 0 is checked. The If IFlickerControl is not 0 (if the prediction error is corrected), step S6002 If not, the process ends.
  • step S6002 a counter countpe indicating the number of pixels of the corrected prediction error is initialized to zero.
  • step S6003 countpe is greater than or equal to 256 (whether or not the prediction error of all idx, x, y ⁇ 0 ⁇ idx ⁇ 15 0 ⁇ x ⁇ 3 0 ⁇ y ⁇ 3 ⁇ is corrected) Check and if countpe is greater than or equal to 256, the process ends; otherwise, go to step S6004.
  • step S6004 the prediction error pe (x, y) (0 ⁇ idx ⁇ 15 0 ⁇ x ⁇ 3 0 ⁇ by equation (54)
  • 13 in the equation (56) is a real number of 1 or more (2 in this embodiment).
  • the reference prediction error is a difference between the corrected reference image described in the first embodiment or the second embodiment and intra-frame prediction.
  • the prediction error is the difference between the input MB and the intraframe prediction.
  • the transform quantization apparatus 200 according to the present embodiment can code the above-described corrected reference image instead of the intra code target image in intra coding.
  • Equation (54) which does not replace all intra encoding target images unconditionally, also applies force, so that only the images considered to be continuous in the time direction are subject to the intra encoding target described above. Replace the image with a corrected reference image!
  • the invention is described when the invention is applied to the moving picture coding apparatus using the intra-frame prediction.
  • the invention is applied to the moving picture coding apparatus without using the intra-frame prediction. It is also possible.
  • the above-described intra-frame prediction value plntra (x, y) can be set to 0.
  • Embodiment 1 is the amount obtained by transforming and quantizing an inter-coded reconstructed image as a quantized value of intra coding. Child values will be used.
  • the configuration of the transform quantization apparatus 200 may be that of the third embodiment.
  • Embodiment 2 converts the inter-frame prediction image from the corrected reference image generation reference frame as the quantized value of the intra code ⁇ , A quantized value obtained by quantization is used.
  • the configuration of the conversion quantizer 200 may be that of the third embodiment.
  • the operation of the fourth embodiment is performed from an inter-code reconstructed image or a corrected reference image generation reference frame as a target image for intra coding. These inter-frame prediction images are used.
  • FIG. 25 is a general block configuration diagram of an information processing system that implements the moving picture coding apparatus according to the present invention.
  • the information processing system shown in FIG. 25 includes a processor A1001, a program memory A1002, and a storage.
  • the storage media A1003 and A1004 may be separate storage media or storage areas having the same storage medium power.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • a decoding device that receives the bit stream generated by the moving image coding device of the first to sixth embodiments as an input and outputs an image obtained by decoding the bit stream will be described. To do.
  • the decoding apparatus includes an entropy decoding apparatus D101, an inverse quantization / inverse conversion apparatus D102, a frame memory D103, an intraframe prediction apparatus D104, and an interframe prediction apparatus D105.
  • the entropy decoding device D101 entropy-decodes the bit sequence such as the level multiplexed in the bitstream, the quantization parameter, the intra MB type, the inter MB type, the prediction direction, the motion vector, and the like. Return to a numeric value.
  • the inverse quantization / inverse transformation device D102 returns the level supplied from the entropy decoding device D101 to the original pixel space by inverse quantization and inverse transformation.
  • the level returned to the original pixel space is called a prediction error.
  • the prediction value supplied from the SW 100 is added to the prediction error, and stored as a reconstructed image frame in the frame memory D103.
  • the frame memory D103 has a configuration in which the frame memory A107, the in-loop filter device 108, and the frame memory B109 described in the video encoding device are integrated.
  • the frame memory D103 monitors the display time of the stored reconstructed image frame, and outputs the reconstructed image frame at the display time.
  • the intra-frame prediction device D104 uses the intra MB and prediction direction supplied from the reconstructed image frame stored in the frame memory 105. -Based intra-frame prediction apparatus for encoding apparatus
  • an intra-frame prediction image is generated.
  • the inter-frame prediction device D105 the reconstructed image frame (reference) Based on the supplied inter MB type and motion vector, an inter-frame prediction image is generated in the same manner as the inter-frame prediction device 111 of the encoding device.
  • SW100 When the MB type supplied from the entropy decoding device D101 is intra MB, SW100 outputs the intra-frame prediction image supplied from the intra-frame prediction device D104 as a prediction value.
  • the inter-frame prediction image supplied from the prediction device D105 is output as a prediction value.
  • the moving picture decoding apparatus can decode an input bit stream and reconstruct an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

現在の符号化対象の画像フレームの直前に再生側で表示される参照フレームがインター符号化画像フレームであれば、量子化制御装置999は、インター符号化画像フレームのインター符号化ノイズの特性と、現在のイントラ符号化によるノイズの特性の異なるによるIフレームフリッカを視覚的に低減できるように、イントラ符号化のレベル（量子化値）を、適切に補正する。  

Description

明 細 書
動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム 技術分野
[0001] 本発明は動画像符号ィ匕技術に関し、例えば動画像信号を蓄積する動画像符号ィ匕 装置に適用して好適なものである。
背景技術
[0002] 従来、動画像符号化装置は、外部から入力される動画像信号をディジタル化した 後、所定の動画像符号化方式に準拠した符号化処理を行うことで符号化情報列す なわちビットストリームを生成する。
[0003] 前記の動画像符号化方式として近年規格化された ISO/IEC 14496-10 Advanced V ideo Codingがある（非特許文献 1 ISO/IEC 14496-10 Advanced Video Coding)。ま た、前記 Advanced Video Coding符号器の開発の参照モデルとして JM(Joint Model) 方式が知られている。
[0004] JM方式にお!、ては、動画像を構成する各画像フレームを MB(Macro Block)とよば れる 16x16画素サイズのブロックに分割し、さらに前記 MBを 4x4画素サイズのブロック 分割し (以後、 4x4ブロックと呼ぶ）、前記 4x4ブロックを符号ィ匕の最小構成単位とする
[0005] 画像フレームが QCIF(Quarter Common Intermediate Format)の場合での、前記ブ ロック分割の例を図 1に示す。なお、通常、画像フレームは、輝度信号と色差信号で 構成されるが、以下では説明の簡略ィ匕のために、輝度信号のみを取り扱う。
[0006] 図 1を参照して、画像フレームを入力とし、ビットストリームを出力する JM方式の動作 を説明する。
[0007] 図 2を参照すると、 JM方式 (従来方式)は MBバッファ 101、変換装置 102、量子化装 置 103、逆量子化/逆変換装置 104、エントロピー符号化装置 105、符号量制御装置 1 06、フレームメモリ A107、ループ内フィルタ装置 108、フレームメモリ B109、フレーム内 予測装置 110、フレーム間予測装置 111、予測方式推定装置 112、スィッチ SW100で 構成される。 [0008] 各装置の動作を以下で説明する。
[0009] MBバッファ 101は、入力画像フレームの符号化対象 MBの画素値を格納する。
[0010] MBバッファ 101から供給される符号化対象 MBの画素値（以後、単純に入力 MBと呼 ぶ）は、フレーム内予測装置 110あるいはフレーム間予測装置 111から供給される予 測値が減じられる。前記、予測値が減じられた入力画像は予測誤差と呼ばれる。
[0011] フレーム間予測は、現在の符号ィ匕対象画像フレームと表示時刻が異なる過去に再 構築された画像フレームを参照し、画像フレームの時間方向での相関を利用して現 在の符号化対象ブロックを予測する。以後、前記フレーム間予測を復号に必要とす る符号化をインター符号化、インター符号ィ匕された MBをインター MB、フレーム間予 測で生成された予測値をフレーム間予測値あるいはフレーム間予測画像と呼ぶ。
[0012] 一方、上述したフレーム間予測を復号に用いない符号ィ匕をイントラ符号化とよび、ィ ントラ符号ィ匕された MBをイントラ MBと呼ぶ。 JM方式では、フレーム内予測をイントラ 符号ィ匕に利用できる。前記フレーム内予測は、現在の符号化対象画像フレームと表 示時刻が同一の過去に再構築された画像フレームを参照し、画像フレームの空間方 向での相関を利用して現在の符号化対象ブロックを予測する。以後、前記フレーム 内予測で生成された予測値をフレーム内予測値あるいはフレーム内予測画像と呼ぶ
[0013] 前記イントラ MBのみで構成される符号ィ匕画像フレームを Iフレームと呼ぶ。一方、前 記イントラ MBだけでなくインター MBで構成される符号ィ匕画像フレームを Pフレーム、 さらにフレーム間予測に 1枚の画像フレームだけでなぐ同時に 2枚の画像フレームか ら予測できるインター MBを含む符号化画像フレームを Bフレームと呼ぶ。
[0014] 通常シーンが定常的な場合、隣接する画像フレーム間の画素相関は極めて高ぐ イントラ符号ィ匕よりもインター符号ィ匕の方が効果的に圧縮できる。このため動画像の 大部分の画像フレームは、インター符号ィ匕を利用できる Pフレームある 、は Bフレーム で符号化される。
[0015] 変換装置 102は、前記予測誤差を MBよりも細かいブロックの単位で周波数変換し、 空間領域から周波数領域に変換する。前記周波数領域に変換された予測誤差を変 換係数と呼ぶ。前記周波数変換には、 DCT(Discrete Cosine Transform)ゃァダマー ル変換などの直交変換が利用でき、 JM方式 (従来方式)では基底を整数値化した 4x4 画素ブロックサイズの整数精度 DCTを利用する。
[0016] 一方で、符号量制御装置 106は、入力画像フレームを目標のビット数で符号ィ匕する ためにエントロピー符号ィ匕装置 105が出力するビットストリームのビット数を監視し、出 力されるビットストリームのビット数が目標のビット数よりも多ければ量子化ステップサ ィズを大とする量子化パラメータを出力し、逆に出力されるビットストリームのビット数 が目標のビット数よりも少なければ量子化ステップサイズを小とする量子化パラメータ を出力する。これによつて出力ビットストリームは目標のビット数に近づくように符号ィ匕 される。
[0017] 量子化装置 103は、前記変換係数を、符号量制御装置 106が供給する前記量子化 ノ メータに対応する量子化ステップサイズで量子化する。前記量子化された変換 係数は、レベルあるいは量子化値と呼ばれる（以後、イントラ符号化対象の量子化値 をイントラ符号ィ匕量子化値、一方インター符号ィ匕対象の量子化値をインター符号ィ匕 量子化値と呼ぶ)。前記量子化値はエントロピー符号化装置 105によってエントロピー 符号化されてビット列、すなわちビットストリームとして出力される。
[0018] なお、変換装置 102と量子化装置 103をまとめた装置を、変換量子化装置 200と呼ぶ
[0019] 続、て、以降の符号化のために、逆量子化/逆変換装置 104は、量子化装置 103か ら供給されるレベルを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。
[0020] 前記逆量子化された変換係数を逆量子化変換係数あるいは再構築変換係数と呼 ぶ。また、元の空間領域に戻された予測誤差を再構築予測誤差と呼ぶ。
[0021] フレームメモリ A107は、前記再構築予測誤差に前記予測値を加えた値を、再構築 フレームとして格納する。
[0022] 現在の符号化対象画像フレーム内のすべての MBが符号化された後、ループ内フ ィルタ 108はフレームメモリ A107に格納された再構築フレームに対してノイズ除去フィ ルタリングを行う。
[0023] フレームメモリ B109は、ループ内フィルタ 108から供給される前記ノイズ除去フィルタ された画像フレームを参照フレームとして格納する。 [0024] フレーム内予測装置 110は、フレームメモリ A107に格納された再構築フレームから、 予測方式推定装置 112から供給される MBタイプおよびフレーム内予測方向に基づき
、フレーム内予測値を生成する。
[0025] フレーム間予測装置 111は、フレームメモリ B109に格納された参照フレームから、予 測方式推定装置 112から供給される MBタイプおよび動きベクトルに基づき、フレーム 間予測値を生成する。
[0026] 予測方式推定装置 112は、入力 MBとの予測誤差を最小とするフレーム内予測方向 とイントラ MBタイプの組、およびフレーム間予測での動きベクトルとインター MBタイプ の組をそれぞれ推定する。
[0027] スィッチ SW100は、予測方式推定装置 112での推定結果に基づき、フレーム内予測 が予測誤差を最小とするのであればフレーム内予測装置 110の出力、そうでなけれ ばフレーム間予測装置 111の出力を予測値とする。
[0028] 以上の処理を実行することで、 JM方式は動画像を符号化する。
[0029] 前記インター符号ィ匕を用いた動画像符号ィ匕では、放送や蓄積を目的に動画像を 符号ィ匕する場合、途中からでも再生 (復号)が可能となるように周期的に Iフレームを挿 入する。前記の単純な一例を図 3に示す。
[0030] しかし、前記周期的な Iフレーム挿入の副作用として、視覚的に目立つ Iフレームの 挿入周期のちらつき (以後 Iフレームフリツ力とよぶ)が発生する。動画像を符号化の低 ビットレート化につれて、前記 Iフレームフリツ力力 主観画質を低下させる。
[0031] 前記 Iフレームフリツ力力 視覚的に目立つ理由は、 Iフレームでのイントラ符号ィ匕の ノイズパターンと、直前に表示された Pフレームでのインター符号ィ匕のノイズパターン が異なる力もである。前記符号ィ匕ノイズパターンの異なりは、 Iフレームと、 Pフレーム での予測構造の違 ヽによる (図 4)。
[0032] 上記のようなフリツ力を低減する手段として、特許文献 1のように、人間の視覚特性 が高い領域の量子化ステップサイズを細力べする適応量子化が考えられる。
[0033] また、上記のようなフリツ力を低減する手段として、特許文献 2のように、 Iフレーム、 P フレームおよび Bフレームの量子化ステップサイズの比を最適に近い値にして、画質 を一定に保つ方法が考えられる。 [0034] また、上記のようなフリツ力を低減する手段として、特許文献 3のように、 Pフレームの 残差信号が量子化デッドゾーン幅より小さい場合に常に予測誤差のレベルを 0として 、連続する Pフレーム間のフリツ力を低減する方法が考えられる。
[0035] また、上記のようなフリツ力を低減する手段として、非特許文献 2のように、連続する フレームを全て Iフレームで符号ィ匕し、静止領域と判断された領域のレベルを均一に 保つ方法が考えられる。
[0036] また、上記のようなフリツ力を低減する手段として、特許文献 4のように、連続するフ レームを全て Iフレームで符号ィ匕し、静止領域と判断された領域のレベルを、過去に 符号ィ匕した画像フレームのレベルに置換する方法が考えられる。
[0037] また、上記のようなフリツ力を低減する手段として、非特許文献 3のように、 Iフレーム の符号ィ匕時に静止領域と判断された領域では、直前に符号ィ匕した Iフレームとの類 似度を考慮しながらフレーム内予測方向を推定し、フレーム内予測値の揺らぎを防ぐ 方法が考えられる。
特許文献 1：特開 2002-335527号公報
特許文献 2：特開平 5— 111012号公報
特許文献 3：特開平 08-251593号公報
特許文献 4：特開 2003-235042号公報
非特許文献 1 : ISO/IEC 14496-10 Advanced Video Coding)
非特許文献 2 :井口他、 "H.264符号ィ匕におけるイントラモードのフリツ力低減方法," F IT 2003, J- 040, 2003
非特許文献 3 :境田他、 "適応量子化による AVC/H.264符号化におけるイントラフレ 一ムのフリツ力抑圧," FIT 2004, LJ-009, 2004
発明の開示
発明が解決しょうとする課題
[0038] しかし、特許文献 1の技術は、画像フレーム内全体の視覚特性が高い場合、あるい は目標レートが極端に低い場合、視覚特性が高い領域の量子化ステップサイズを優 先的に細力べできないため、所望する効果が得られな力つた。
[0039] また、特許文献 2の技術は、上述した Iフレームフリツ力は、フレームタイプ別の量子 ィ匕ステップサイズの比よりも、上述したイントラ符号ィ匕とインター符号ィ匕のノイズパター ンの違 ヽに強く依存して 、るため、課題を根本的に解決することはできなかった。
[0040] また、特許文献 3の技術は、同じ符号化構造を持つ Pフレーム間でしか適用できな いため、上述したイントラ符号ィ匕とインター符号ィ匕のノイズパターンの違いによって発 生する Iフレームフリツ力の抑圧には適用できず、課題を解決することはできな力つた
[0041] また、非特許文献 2の技術は、「すべての画像フレームを Iフレームで符号化するた め、低レートでの画質が悪い」、また「フレーム内予測を画素空間ではなぐ変換領域 で量子化した後に行うため、イントラ符号ィ匕での量子化のノイズを予測誤差信号に重 畳するため、低レートでの画質が悪い」、また「Pフレームあるいは Bフレームなどのィ ンター符号化と併用する場合に適用できない」、また「画像に動きがある場合に適用 できない」といった理由から、課題を解決することはできな力つた。
[0042] また、特許文献 4の技術は、非特許文献 2と同様に、「すべてのフレームを Iフレーム で符号化するため符号化効率が悪 、」、また「Pフレームある 、は Bフレームなどのフ レーム間予測符号化と併用する場合に適用でいない」、また「画像に動きがある場合 に適用できな 、」 t 、つた課題があった。
[0043] また、非特許文献 3の技術は、「Pフレームあるいは Bフレームなどのフレーム間予測 を併用した場合、直前に符号化した Iフレームと現在の符号化対象の Iフレームのフレ ーム間距離が離れるため、画像に動きがある場合に効果がでない」、また「完全静止 のシーン以外では、画像内でのオブジェクトの座標が画像フレームごとに一定とはな らず、この結果、フレーム内予測値の揺らぎを抑えられず、効果がでない」といった課 題があった。
[0044] そこで、本発明は上記の課題に鑑みてみてなされたものであり、その目的は、 Iフレ ームだけでなく Pフレームおよび Bフレームなどのフレーム間予測も用いて動画を符号 化する場合、さらには動きのあるシーンを含む動画像を符号ィ匕する場合にでも、効果 的に上記の Iフレームフリツ力の低減を実現することが可能な、動画像符号化方法お よびこれを用いた装置あるいはコンピュータプログラムを提供することを目的とする。 課題を解決するための手段 [0045] 上記課題を解決する第 1の発明は、動画像符号化装置であって、インター符号ィ匕 を用いて符号化されたのち再構築された画像フレームを利用して、画像をイントラ符 号化する手段を具備することを特徴とする。
[0046] 上記課題を解決する第 2の発明は、上記第 1の発明において、前記インター符号 化を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化され る画像に対して過去の画像フレームであることを特徴とする。
[0047] 上記課題を解決する第 3の発明は、上記第 2の発明において、前記過去の画像フ レーム力 前記イントラ符号ィ匕される画像の直前の Pフレームであることを特徴とする
[0048] 上記課題を解決する第 4の発明は、上記第 3の発明において、イントラ符号ィ匕の量 子化値を、イントラ符号ィ匕対象の画像を Pフレームの画像でフレーム間予測、変換、 量子化、逆量子化、逆変換して得られる再構築画像を用いて補正する手段を具備す ることを特徴とする。
[0049] 上記課題を解決する第 5の発明は、上記第 3の発明において、イントラ符号ィ匕の量 子化値を、イントラ符号ィ匕対象の画像を前記 Pフレームの画像でフレーム間予測して 得られるフレーム間予測画像を用いて補正する手段を具備することを特徴とする。
[0050] 上記課題を解決する第 6の発明は、上記第 4又は第 5の発明において、イントラ符 号化の量子化値として、前記補正に用いる画像とフレーム内予測値画像の差分を変 換し、量子化を施して得られる量子化値を用いることを特徴とする。
[0051] 上記課題を解決する第 7の発明は、上記第 4又は第 5の発明において、イントラ符 号化の量子化値として、前記補正に用いる画像を変換し、量子化を施して得られる 量子化値を用いることを特徴とする。
[0052] 上記課題を解決する第 8の発明は、上記第 6又は第 7の発明において、前記量子 化が四捨五入の量子化特性を持つことを特徴とする。
[0053] 上記課題を解決する第 9の発明は、上記第 8の発明において、イントラ符号化の変 換係数と、前記補正に用いる画像力 得られる変換係数の差分が、インター符号ィ匕 の量子化デッドゾーン幅以下である場合でのみ、前記イントラ符号化の量子化値の 補正が適用されることを特徴とする。 [0054] 上記課題を解決する第 10の発明は、上記第 3の発明において、イントラ符号化対 象の画像を前記 Pフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆 変換して生成される再構築画像を、イントラ符号化する手段を具備することを特徴と する。
[0055] 上記課題を解決する第 11の発明は、上記第 3の発明において、イントラ符号化対 象の画像を前記 Pフレームの画像でフレーム間予測して生成されるフレーム間予測 画像を、イントラ符号化する手段を具備する特徴とする。
[0056] 上記課題を解決する第 12の発明は、上記第 10又は第 11の発明において、前記 生成された画像とイントラ符号ィ匕対象の画像との差分が、画素空間でのインター符号 化の量子化デッドゾーン幅以下である場合、前記イントラ符号ィ匕が適用されることを 特徴とする。
[0057] 上記課題を解決する第 13の発明は、動画像符号ィ匕方法であって、インター符号化 を用いて符号化されたのち再構築された画像フレームを利用して、画像をイントラ符 号化することを特徴とする。
[0058] 上記課題を解決する第 14の発明は、上記第 13の発明において、前記インター符 号ィ匕を用いて符号化されたのち再構築された画像フレームが、前記イントラ符号化さ れる画像に対して過去の画像フレームであることを特徴とする。
[0059] 上記課題を解決する第 15の発明は、上記第 14の発明において、前記過去の画像 フレーム力 前記イントラ符号ィ匕される画像の直前の Pフレームであることを特徴とす る。
[0060] 上記課題を解決する第 16の発明は、上記第 15の発明において、イントラ符号化の 量子化値を、イントラ符号ィ匕対象の画像を Pフレームの画像でフレーム間予測、変換 、量子化、逆量子化、逆変換して得られる再構築画像を用いて補正することを特徴と する。
[0061] 上記課題を解決する第 17の発明は、上記第 15の発明において、イントラ符号化の 量子化値を、イントラ符号ィ匕対象の画像を前記 Pフレームの画像でフレーム間予測し て得られるフレーム間予測画像を用いて補正することを特徴とする。
[0062] 上記課題を解決する第 18の発明は、上記第 16又は第 17の発明において、イント ラ符号ィ匕の量子化値として、前記補正に用いる画像とフレーム内予測値画像の差分 を変換し、量子化を施して得られる量子化値を用いることを特徴とする。
[0063] 上記課題を解決する第 19の発明は、上記第 16又は第 17の発明において、イント ラ符号ィ匕の量子化値として、前記補正に用いる画像を変換し、量子化を施して得ら れる量子化値を用いることを特徴とする。
[0064] 上記課題を解決する第 20の発明は、上記第 18又は第 19の発明において、前記 量子化が四捨五入の量子化特性を持つことを特徴とする。
[0065] 上記課題を解決する第 21の発明は、上記第 20の発明において、イントラ符号化の 変換係数と、前記補正に用いる画像力 得られる変換係数の差分が、インター符号 化の量子化デッドゾーン幅以下である場合でのみ、前記イントラ符号化の量子化値 の補正が適用されることを特徴とする。
[0066] 上記課題を解決する第 22の発明は、上記第 15の発明において、イントラ符号化対 象の画像を前記 Pフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆 変換して生成される再構築画像を、イントラ符号化することを特徴とする。
[0067] 上記課題を解決する第 23の発明は、上記第 15の発明において、イントラ符号化対 象の画像を前記 Pフレームの画像でフレーム間予測して生成されるフレーム間予測 画像を、イントラ符号ィ匕することを特徴とする。
[0068] 上記課題を解決する第 24の発明は、上記第 22又は第 23の発明において、前記 生成された画像とイントラ符号ィ匕対象の画像との差分が、画素空間でのインター符号 化の量子化デッドゾーン幅以下である場合、前記イントラ符号化を適用することを特 徴とする。
[0069] 上記課題を解決する第 25の発明は、情報処理装置に動画像符号ィ匕を行わせるプ ログラムであって、前記プログラムは前記情報処理装置を、画像をイントラ符号化する 時に、インター符号ィ匕を用いて符号ィ匕されたのち再構築された画像フレームを利用 して符号ィ匕する手段として機能させることを特徴とする。
[0070] 上記課題を解決する第 26の発明は、上記第 25の発明において、前記過去にイン ター符号ィ匕を用いて符号化されたのち再構築された画像フレームが、前記イントラ符 号ィ匕される画像に対して過去のフレームであることを特徴とする。 [0071] 上記課題を解決する第 27の発明は、上記第 26の発明において、前記過去にイン ター符号ィ匕を用いて符号化されたのち再構築された画像フレームが、前記イントラ符 号ィ匕される画像の直前の Pフレームであることを特徴とする。
[0072] 上記課題を解決する第 28の発明は、上記第 27の発明において、前記プログラム は前記情報処理装置を、イントラ符号ィ匕の量子化値を、イントラ符号化対象の画像を Pフレームの画像でフレーム間予測、変換、量子化、逆量子化、逆変換して得られる 再構築画像を用いて補正する手段として機能させることを特徴とする。
[0073] 上記課題を解決する第 29の発明は、上記第 27の発明において、前記プログラム は前記情報処理装置を、イントラ符号ィ匕の量子化値を、イントラ符号化対象の画像を 前記 Pフレームの画像でフレーム間予測して得られるフレーム間予測画像を用いて 補正する手段として機能させることを特徴とする。
[0074] 上記課題を解決する第 30の発明は、上記第 28又は第 29の発明において、イント ラ符号ィ匕の量子化値として、前記補正に用いる画像とフレーム内予測値画像の差分 を変換し、量子化を施して得られる量子化値を用いることを特徴とする。
[0075] 上記課題を解決する第 31の発明は、上記第 28又は第 29の発明において、イント ラ符号ィ匕の量子化値として、前記補正に用いる画像を変換し、量子化を施して得ら れる量子化値を用いることを特徴とする。
[0076] 上記課題を解決する第 32の発明は、上記第 30又は第 31の発明において、前記 量子化が四捨五入の量子化特性を持つことを特徴とする。
[0077] 上記課題を解決する第 33の発明は、上記第 32の発明において、イントラ符号化の 変換係数と、前記補正に用いる画像力 得られる変換係数の差分が、インター符号 化の量子化デッドゾーン幅以下である場合でのみ、前記イントラ符号化の量子化値 の補正が適用されることを特徴とする。
[0078] 上記課題を解決する第 34の発明は、上記第 27の発明において、前記プログラム は前記情報処理装置を、イントラ符号化対象の画像を前記 Pフレームの画像でフレー ム間予測、変換、量子化、逆量子化、逆変換して生成される再構築画像を、イントラ 符号化する手段として機能させることを特徴とする。
[0079] 上記課題を解決する第 35の発明は、上記第 27の発明において、前記プログラム は前記情報処理装置を、イントラ符号化対象の画像を前記 Pフレームの画像でフレー ム間予測して生成されるフレーム間予測画像を、イントラ符号ィ匕する手段として機能 させることを特徴とする。
[0080] 上記課題を解決する第 36の発明は、上記第 34又は第 35の発明において、前記 生成された画像とイントラ符号ィ匕対象の画像との差分が、画素空間でのインター符号 化の量子化デッドゾーン幅以下である場合、前記イントラ符号ィ匕が適用されることを 特徴とする。
[0081] 上記課題を解決する第 37の発明は、動画像符号化装置であって、イントラ符号ィ匕 によって生じるノイズを、インター符号ィ匕によって生じるノイズに類似させる手段を具 備することを特徴とする。
[0082] 上記課題を解決する第 38の発明は、動画像符号ィ匕方法であって、イントラ符号ィ匕 によって生じるノイズを、インター符号ィ匕によって生じるノイズに類似させることを特徴 とする。
[0083] 上記課題を解決する第 39の発明は、動画像の符号化'復号システムであって、画 像をイントラ符号化する時に、インター符号化を用いて符号化されたのち再構築され た画像フレームを利用して符号化する手段と、前記符号化されたデータを復号する 復号手段とを有することを特徴とする。
[0084] 上記課題を解決する第 40の発明は、動画像の符号化'復号方法であって、画像を イントラ符号化する時に、インター符号ィ匕を用いて符号化されたのち再構築された画 像フレームを利用して符号化するステップと、前記符号化されたデータを復号するス テツプとを有することを特徴とする。
[0085] 本発明のイントラ符号ィ匕は、従来のイントラ符号化に加えて、図 27に示す如ぐフレ ームメモリ 109に格納された参照フレームを入力とし、量子化装置 103が出力するイン トラ符号ィ匕のレベル (量子化値)を補正する量子化制御装置 999とを備える。
[0086] 現在の符号化対象の画像フレームの直前に再生側で表示される参照フレームがィ ンター符号ィヒ画像フレームであれば、量子化制御装置 999は、インター符号化画像 フレームのインター符号ィ匕ノイズの特性と、現在のイントラ符号ィ匕によるノイズの特性 の異なりによる Iフレームフリツ力を視覚的に低減できるように、イントラ符号ィ匕のレべ ル (量子化値)を、適切に補正する機能を具備する。
[0087] これによつて、 Iフレームだけでなく Pフレームおよび Bフレームなどのフレーム間予 測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号 化する場合にでも、 Iフレームフリツ力の低減することができる。
発明の効果
[0088] 本発明は、 Iフレームだけでなく Pフレームおよび Bフレームなどのフレーム間予測も 用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号ィ匕す る場合にでも、効果的に Iフレームフリツ力の低減を実現することが可能な、動画像符 号ィ匕方法およびこれを用いた装置あるいはコンピュータプログラムを提供することが できる。
図面の簡単な説明
[0089] [図 1]図 1は画像フレームの構成を示す図である。
[図 2]図 2は従来の動画像符号ィ匕装置のブロック図である。
[図 3]図 3は途中再生のための Iフレームの周期的な挿入を説明する為の図である。
[図 4]図 4は Iフレームフリツ力の発生を説明する為の図である。
[図 5]図 5は従来の変換量子化装置のブロック図である。
[図 6]図 6は Intra4MBフレーム内予測方向を説明する為の図である。
[図 7]図 7は Intral6MBフレーム内予測方向を説明する為の図である。
[図 8]図 8は Intral6MBの符号化構造を説明する為の図である。
[図 9]図 9は注目画素を説明する為の図である。
[図 10]図 10は従来方法による Iフレームフリツ力の発生を説明する為の図である。
[図 11]図 11は本発明の動画像符号ィ匕装置のブロック図である。
[図 12]図 12は補正参照画像生成参照フレームを説明する為の図である。
[図 13]図 13は実施例 1における Iフレームフリツ力抑圧制御装置のブロック図である。
[図 14]図 14は Iフレームフリツ力抑圧制御信号及びインター符号ィ匕再構築画像計算 のフローチャートである。
[図 15]図 15は実施例 1における変換量子化装置のブロック図である。
[図 16]図 16は変換係数補正のフローチャートである。 [図 17]図 17は本発明の効果を説明する為の図である。
[図 18]図 18は実施例 2における Iフレームフリツ力抑圧制御装置のブロック図である。
[図 19]図 19は Iフレームフリツ力抑圧制御信号及びフレーム間予測画像計算のフロー チャートである。
[図 20]図 20は実施例 3における変換量子化装置のブロック図である。
[図 21]図 21は係数量子化のフローチャートである。
[図 22]図 22は DC係数量子化のフローチャートである。
[図 23]図 20は実施例 4における変換量子化装置のブロック図である。
[図 24]図 24は予測誤差補正のフローチャートである。
[図 25]図 25は本発明を利用した情報処理装置のブロック図である。
[図 26]図 26は本発明を説明する為の図である。
[図 27]図 27は本発明を説明する為の図である。
[図 28]図 28は本発明の動画復号ィ匕装置のブロック図である。
符号の説明
[0090] 102 変換装置
103 量子化装置
104 逆量子化 Z逆変換装置
200 変換量子化装置
300 Iフレームフリツ力抑圧制御装置
301 コントローラ
発明を実施するための最良の形態
[0091] 本発明の実施の形態を説明する。
[0092] まず、以下に本発明の理解を容易にする為に、本発明の要旨について説明する。
[0093] 図 26に、図 2に示した従来の動画像符号ィ匕装置における、イントラ符号ィ匕時に動 作するブロックのみを示す。図 26から分かるように、従来方式は、参照フレームすな わち現在の符号ィ匕対象と表示時刻の異なる画像フレームの符号ィ匕ノイズを考慮する ことなぐ単純に入力画像をイントラ符号化する。
[0094] このため、参照フレームにインター符号ィ匕された画像フレームが含まれている場合 に、単純に入力をイントラ符号化すると、上述した Iフレームフリツ力が発生する。
[0095] 次に、図 27に、本発明の動画符号ィ匕装置のイントラ符号ィ匕時に動作するブロックを 示す。図 27の発明のイントラ符号ィ匕は、図 26の従来のイントラ符号化に加えて、フレ ームメモリ 109に格納された参照フレームを入力とし、量子化装置 103が出力するイン トラ符号ィ匕のレベル (量子化値)を補正する量子化制御装置 999を備える。
[0096] 現在の符号化対象の画像フレームの直前に再生側で表示される参照フレームがィ ンター符号ィヒ画像フレームであれば、量子化制御装置 999は、インター符号化画像 フレームのインター符号ィ匕ノイズの特性と、現在のイントラ符号ィ匕によるノイズの特性 の異なるによる Iフレームフリツ力を視覚的に低減できるように、イントラ符号ィ匕のレべ ル (量子化値)を、適切に補正する機能を具備する。
[0097] これによつて、 Iフレームだけでなく Pフレームおよび Bフレームなどのフレーム間予 測も用いて動画を符号化する場合、さらには動きのあるシーンを含む動画像を符号 化する場合にでも、効果的に Iフレームフリツ力の低減を実現できる。
[0098] 以下に、本発明の詳細を説明する。
実施例 1
[0099] まず、発明方式と従来方式 (JM方式)の違 、を明確にするために、 JM方式の変換と 量子化をより詳しく説明する。
[0100] JM方式の変換と量子化
図 2の変換量子化装置 200のより詳細な構成を、以下の図 5に示す。
[0101] 変換装置 102は、 2D変換装置 1021、 DC2D変換装置 1022、スィッチ SW1023によつ て構成される。 2D変換装置 1021は予測誤差に対して、以降で説明する 2D変換を行う 。スィッチ SW1023は、供給される MBタイプが以降で説明する Intral6MBである場合 は、 2D変換装置 1021から供給される変換係数のうち DCの変換係数を DC2D変換装 置 1022に供給する。 DC2D変換装置 1022は、供給される DCの変換係数に対して以 降で説明する DC2D変換を行う。
[0102] 量子化装置 103は、係数量子化装置 1031と DC係数量子化装置 1032によって構成 される。係数量子化装置 1031は、入力される量子化パラメータ、 MBタイプに基づいて 、以降で説明する係数量子化によって変換係数を量子化し、レベルを出力する。 DC 係数量子化装置 1032は、入力される量子化パラメータ、 MBタイプに基づいて、以降 で説明する DC係数量子化によって DC変換係数を量子化し、 DCレベルを出力する。
[0103] 続、て、従来方式の変換量子化装置の動作を、予測値の生成、予測誤差の生成、 予測誤差の 2D変換、変換係数の量子化の順で説明する。
[0104] まず予測値の生成を説明する。予測値はフレーム内予測あるいはフレーム間予測 によって生成される。
[0105] 以下、フレーム内予測とフレーム間予測をそれぞれ説明する。
[0106] JM方式のフレーム内予測には、符号化対象 MBの単位で隣接する画素力 フレー ム内予測する MBタイプ (以後、 Intral6MBと呼ぶ)と、符号化対象 MB内の 4x4ブロック の単位で隣接する画素力もフレーム内予測する MBタイプ (以後、 Intra4MBと呼ぶ)が ある。
[0107] Intra4MBは、 4x4ブロックの単位で図 6に示す 9種類のフレーム内予測方向を用い てフレーム内予測が可能である。また、 Intral6MBは、図 7に示す 4種類のフレーム内 予測方向を用いてフレーム内予測が可能である。
[0108] 一例として、図 6で示した垂直方向に対応するフレーム内予測値 plntra (x,y)の生
idx
成式を式 (1)に示す。
plntra (x, y) - rec{t, mbx + b^xidx + x, mby +み 4 vldx一 1) (1 )
ただし、画像フレームの解像度を横 width画素、縦 height画素とし、現在の符号化対 象フレームの時刻を t、再構築フレーム (図 2のフレームメモリ A107に格納)の画素値を rec(t,i,j){0≤ i≤ width- 1、 0≤ j≤ height- 1}、画像フレームにおける符号化対象 MBの左 上角の座標を (MBx,MBy) {0≤MBx≤width-16、 0≤MBy≤ height- 16}、前記 MB内で の符号化対象 4x4ブロックのインデックスを idx{0≤ idx≤ 15} (図 1の中央図参照)、前記 インデックス idxの 4x4ブロックの左上角の MB内部での座標を
(b4xldx , b4yidx){ ≤ b4xidx < 12, 0 < b yldx≤ 12} とする。
[0109] その他の予測方向の Intra4MBのフレーム内予測値あるいは Intral6MBのフレーム 内予測値の生成式は非特許文献 1を参照された 、。 [0110] フレーム間予測値 plnter (x,y)は、参照フレームと現在の符号化対象フレームのフ
idx
レーム間距離を f、インデックス idxの 4x4ブロックの動きベクトルを (mvx , mvy )とする
idx ιαχ と、式 (2)で計算することができる。
plnteridx {x, y) = MC[rec(t― /)， mbx + bAxldx + x, mby + bAyjdx + y, mvxidx , mvyidx ] (2) ここで、 MC[rec(t-l),xx,yy,mvx,mvy]は、符号化対象の画像フレーム内での座標 (xx,y y) {0≤xx≤width-l、 0≤yy≤height- 1}を動きベクトル (mvx,mvy)画素だけシフトした座 標に対応する参照フレーム re t-Dの画素値を読み出す関数である。また、前記 MC[r ec(t-l),xx,yy,mvx,mvy]は、動きベクトル (mvx,mvy)が小数精度である場合、小数位置 の画素値を周辺の整数位置の画素力 適切に補間するものとする。
[0111] また上記参照フレーム re t)は、式 (3)のループ内フィルタ 108によって再構築フレー ム rec(t)にノイズ除去フィルタリングをかけた後の画素で構成される。もちろんノイズ除 去フィルタリングがオフであれば re t)と rec(t)は完全一致する。
Figure imgf000018_0001
ただし LP[ ]はノイズ除去フィルタリングを示す記号とする。
[0112] 続いて、予測誤差の生成を説明する。
[0113] 予測誤差は、入力画素から上述した予測値を減じることで生成される。入力画像フ レームを org(t,i,j){0≤i≤width-l、 0≤j≤height- 1}、符号化対象 MBを src(i,j) {0≤i≤l 5、 0≤j≤15}とすると、予測誤差 pe (X, y) {0≤idx≤15、 0≤x≤3、 0≤y≤3}は式 (4)に
idx
よって計算できる。
peidx 0， ） = src(b4xldx + X, bAyldx + y) - predidx (x, y) (4) src(i,ゾ) = org(t, mbx + i, mby + j) (5) predldx {i ) =
フレーム
Figure imgf000018_0002
間予測 続いて、予測誤差の 2D変換を説明する。
2D変換は、符号化対象 MBの MBタイプによって異なる。 MBタイプ力 lntral6MBでな ければ式 (7)の 2D変換、 Intral6MBであればさらに式 (8)の DC2D変換を行う。 - (， ）:
Figure imgf000019_0001
(7)
(l 1 1 1 YTe(0,Q) r^o.o) r3(o,o) Γ3(ο,ο)γι i i 1、 1 1 -1 -1 Γ (0,0) T5(O,Q) ,(ο,ο) rT(o,o) 1 1 -1 -1
TDC(x,y)-. 112
1 -1 -1 1 Γ8(0,0) τ9φ,ΰ) r10(o,o) ru(o,o) 1 -1 -1 1 l -i l -ϊ){τηφ,ΰ) ?"13(o，o) r1+(o，o) ^(0,0) '八 1' 一 1 1 -1
(8)
ただし式 (8)の記号"〃"は四捨五入である。 Intral6MBでは、図 8に示すように、各ィ ンデッタス idxの 4x4ブロックの DC係数 (T (0, 0》は、さらにひとつの 4x4ブロック（以後
idx
、 DCブロックと呼ぶ）として集められて、さらに変換される。
続いて、変換係数の量子化を説明する。 4x4ブロックが DCブロックであれば式 (9)の DC係数量子化、そうでなければ式 (10)の係数量子化でレベルを計算する。
LDC(x, y = (TDC(x,y) x Q(q ¼6, 0, 0) + f(TDC(x, ) χ 2ie+«"6)) / 2(1<5+ήρ/6) (9) Lldx (x,ヌ) = ( (x, y) χ Q(gp%6, x, y) + /( (x, y)) x2(15+^/6))/ 2(15 6) (1 o)
M0,m if (x,y) = {(0,0), (0,2), (2,0), (2, 2)}
Q(m,x,y) Mlm else if (x, y) = {(1, 1), (1,3), (3， 1)， (3, 3)} (ID m else
13107 5243 8066
1 1916 4660 7490
10082 4194 6554
(12)
9362 3647 5825
8192 3355 5243
7282 2893 4559
Figure imgf000020_0001
ここで qp{0≤qp≤51}は符号量制御装置 106から供給される量子化パラメータ、式 (13) の fintraおよび finterは量子化の丸め位置を決定するパラメータである。 JM方式では fi ntra=l/3、 finter=l/6である。
[0116] 以上が、 方式の変換と量子化の動作である。
[0117] 従来方式の符号ィ匕によって、図 9の注目画素がどのように変動するの力、図 10を参 照して説明する。図 9を参照すると、前記注目画素は、静止領域の画素である場合も あれば、動き領域の画素である場合もある。人間の視覚特性は静止領域に対して敏 感で、動き領域に対して鈍感であると一般に言われる。しかし、動き領域の画素でも、 人間の目がこれを追従している場合、人間の視覚特性は敏感になる。
[0118] 図 10には、注目画素の入力 org(t, vpx ,vpy )、再構築 rec(t, vpx ,vpy )、予測 pred(t,
t t t t
vpx ,vpy)、予測誤差 pe(t, vpx ,vpy)、再構築予測誤差 recpe(t, vpx ,vpy)の画素値が t t t t t t 時系列でプロットされている。ここで (vpx ,vpy)は時刻 tでの注目画素の画像フレーム t t
内での座標とし、各画素には以下の関係がある。
pe{t, vpxt， vpvt ) = org . vpxt， vvvt )一 pred (t, vpxt， vpyt ) (14) recpe(t, vpxt， vpyt ) = IQIT[Q[T[pe(t, vpxt , vpyt )]]] (15) rec(t, vpxt， vpyt ) = pred (t, vpx! , vpyt ) + recpe(t, vpx, , vpyt ) (16) ただし T[ ]は変換処理、 Q[ ]は量子化処理、 IQIT[ ]は逆量子化/逆変換処理を示す 記号とする。 [0119] 図 10を参照すると、入力の注目画素は比較的なだらかに変化するのに対して、再 構築した Iフレームの注目画素には急激な画素値の変化がある。
3
[0120] 上述した Iフレームでの急激な画素値の変化、すなわち Iフレームフリツ力の原因は、 注目画素の時間軸での連続性を考慮しな!、で、単純に入力を忠実に再現するイント ラ符号ィヒを行うからである。
[0121] 以下で説明する本発明は、画像をイントラ符号化する時に、インター符号ィ匕を用い て符号化された画像のインター符号ィ匕ノイズパターンを考慮して、すなわち、注目画 素の時間軸での連続性を考慮してイントラ符号ィ匕を行うことで、上述した課題である I フレームフリツ力を低減する。なお、以降では、前記「インター符号ィ匕を用いて符号ィ匕 された画像のインター符号ィ匕ノイズパターンを考慮したイントラ符号化」を「時間軸で の連続性を考慮したイントラ符号化」と呼ぶ。
[0122] 図 11を参照して本実施例での発明の動画像符号化装置に示す。
[0123] 図 11の発明方式は、図 2の従来方式に加えて、 Iフレームフリツ力抑圧制御装置 300 を備える。また、 Iフレームフリツ力抑圧制御装置 300から供給される Iフレームフリツ力 予測圧制御信号、および補正参照画像とフレーム内予測値の差分である参照予測 誤差によって変換量子化装置 200の内部動作が従来方式のものと異なる。
[0124] Iフレームフリツ力抑圧制御装置 300と変換量子化装置 200以外の装置は従来方式と 同一なので、説明の簡略化のために、 Iフレームフリツ力抑圧制御装置 300および量 子化装置 200のみを以下で説明する。
[0125] まず本実施形態における Iフレームフリツ力抑圧制御装置 300を説明する。
[0126] 本実施形態における Iフレームフリツ力抑圧制御装置 300の動作の概略は、イントラ 符号化対象の画像を、過去にインター符号化を用いて符号化されたのち再構築され た画像フレーム (以後、補正参照画像生成参照フレームと呼ぶ)でフレーム間予測、 変換、量子化、逆量子化、逆変換してインター符号ィ匕再構築画像 recInte t, νρχ ,νρ t y)を生成し、これを補正参照画像として出力する。定式的には式 (17)となる。
t
recInte t, νρχ,, pyt) =
Figure imgf000021_0001
vpyt) (] η) また、式 (17)の reclnter(t， vpx，vpy )は、以下のループ内フィルタ 108によってノイズ 除去フィルタリングが適用されてもよい。 rec Inter (t ,
Figure imgf000022_0001
vpytt) ] (ι g) なお、上述した補正参照画像生成参照フレームには、イントラ符号化対象の画像フ レームと最もフレーム間相関が高い画像フレームがよい。このため通常、フレーム間 距離が短いほど、前記フレーム間相関は高い。このため、 Bフレームを用いない符号 化では、直前に符号ィ匕した Pフレームが最も良い (図 12(a))。ただし、直前の Pフレー ムで照明などによるフラッシュが発生した場合などでは、さらにその直前の Pフレーム でもよい。
[0127] 一方、 Bフレームを用いた符号化にお!、ては、通常 Bフレームは、 Iフレームや Pフレ ームよりも粗く量子化される。よって、この場合では、補正参照画像生成参照フレーム は、粗く量子化された Bフレームよりも、ある程度の画質で符号ィ匕された直前の Pフレ ームがよい (図 12(b))。
[0128] 以上で、本実施形態における Iフレームフリツ力抑圧制御装置 300の大まかな動作の 説明を終了する。
[0129] 続いて、本実施形態における Iフレームフリツ力抑圧制御装置 300の入出力を説明 する。
[0130] Iフレームフリツ力抑圧制御装置 300の入力は、 MBバッファ 101から供給される入力 M Bの画素、およびフレーム間予測装置 111から供給されるフレーム間予測値、および 符号量制御 106から供給される量子化パラメータ、および予測方式推定装置 112から 供給される動きベクトルと MBタイプである。一方、出力は、変換量子化装置 200に供 給される Iフレームフリツ力抑圧制御信号、およびフレーム内予測値が減じられた後に 変換量子化装置 200に供給される補正参照画像、および予測方式推定装置 112を制 御する動きベクトル推定制御信号である。
[0131] 続いて、図 13を参照して、本実施形態における Iフレームフリツ力抑圧制御装置 300 の構成を説明する。
[0132] 図 13の Iフレームフリツ力抑圧制御装置を参照すると、変換装置 102、量子化装置 10 3、逆量子化/逆変換装置 104およびコントローラ 301を備える。 [0133] コントローラ 301は、供給される量子化パラメータ、および動きベクトルと MBタイプ、 および入力 MBとフレーム間予測値の差分から、 Iフレームフリツ力抑圧制御信号を計 算する。
[0134] Iフレームフリツ力抑圧制御信号は「時間軸での連続性を考慮したイントラ符号ィ匕を 、画像フレーム内のどの領域で適用する力」を示す情報である。
[0135] なお、コントローラ 301は、予測方式推定装置 112が Iフレームで、フレーム間予測方 式推定 (入力 MBとのフレーム間予測誤差を最小とする、補正参照画像生成参照フレ ームからの動きベクトルとインター MBタイプの組を検出する処理)が停止中であれば 、動きベクトル推定制御信号により前記フレーム間予測方式推定を動作させる。
[0136] 変換装置 102は、入力 MBとフレーム間予測値の差分を変換し、変換係数を量子化 装置 103に供給する。
[0137] 量子化装置 103は、前記変換係数を供給される前記量子化パラメータに対応する 量子化ステップサイズで量子化し、レベルを計算する。
[0138] 逆量子化/逆変換装置 104は、量子化装置 103から供給される前記レベルを逆量子 化し、さらに逆周波数変換して元の空間領域に戻し、再構築予測誤差を計算する。
[0139] 前記再構築予測誤差に前記フレーム間予測を加算してインター符号化再構築画 像を得て、これを補正参照画像として出力する。
[0140] なお、後に、 Iフレームフリツ力抑圧制御装置 300の外部で、前記補正参照画像は、 フレーム内予測値が減じられて参照予測誤差が生成される。参照予測誤差は「時間 軸での連続性を考慮したイントラ符号ィ匕を、どの程度時間方向に連続となるように行 うか」を示す情報である
[0141] なお、上記 Iフレームフリツ力抑圧制御装置 300における変換装置 102、量子化装置 1 03、逆量子化/逆変換装置 104は従来方式と同一である。
[0142] 続いて図 14のフローチャートを参照して、上記の動作をより詳細に説明する。
[0143] ステップ S1001では、入力 MBの画素値 src(x,
y){ 0≤x≤15、 0≤y≤ 15}と補正参照画像生成参照フレームからのフレーム間予測値 plnter (x,y){0≤idx≤ 15、 0≤x≤3、 0≤y≤3}から、第 2の予測誤差 pe2 (x,
iax idx y) {0≤idx≤15、 0≤x≤3、 0≤y≤3}を式 (19)で計算する。 pe2jdx (x, y) = src(b4xldx + x,b4yidx + y) - plnterldx (x, y) (19) ただし、本実施例での上述した第 2の予測誤差は、 Iフレームフリツ力抑圧制御装置 300内部だけで利用される。
[0144] ステップ S1002では、第 2の予測誤差 pe2 (x,
idx
y)、 MBタイプ、および量子化パラメータ qpから、 Iフレームフリツ力抑圧制御信号 IFlick erControlを、式 (20)によって計算する。
IFlickerControl (Intra\6MB and qp < qpthl))
Figure imgf000024_0001
Spe2 =∑^\ pe2ldx (x, y) \ (21)
ict =0y=0 x=0
Sth = (α χ (1 - finter) x 215+qpl6 1 Q(qp%6, x, y)) I Tgain (22)
ただし、 qpthlは量子化パラメータの閾値 (本実施形態では 28)、 aは 0より大きな値、 T gainは変換のゲイン (本実施形態では 16)である。 α力 1のとき、 Sthは画素空間領域で のインター符号化での量子化デッドゾーン幅となる。
[0145] また、 Iフレームフリツ力抑圧制御信号 IFlickerControl=0は「変換係数を補正しな!、」 、 IFlickerControl=lは「DC変換係数以外の変換係数を補正する」、 IFlickerControl=2 は「すべての変換係数を補正する」を意味するものとする。
[0146] 式 (20)の処理によって、時間方向に不連続な領域（すなわち Spe2〉256xSth)の IFlic kerControlは零となるので「時間方向に不連続な領域を無理に連続となるように符号 化する」 t 、つた問題点も生じな 、。
[0147] ステップ S1003では、第 2の予測誤差 pe2 (x, y) {0≤idx≤15、 0≤x≤3、 0≤y≤3}を
idx
、従来方式と同様に量子化、逆量子化、逆変換して第 2の再構築予測誤差 reCPe2 ( idx x, y) {0≤idx≤15、 0≤x≤3、 0≤y≤3}を計算する。さらに、フレーム間予測値 plnter idx
(x, y)を加算し、インター符号ィ匕再構築画像 rednter (x,
idx
y) {0≤idx≤15、 0≤x≤3、 0≤y≤3}を式 (23)で計算する。
reclnteridx (x, y) = recpel ldx (x, y) + plnteridx (x, y) (23) 以上で、本実施形態における Iフレームフリツ力抑圧制御装置 300の説明を終了する
[0148] なお、上述したインター符号ィ匕再構築画像は、補正参照画像として Iフレームフリツ 力抑圧制御装置 300の外部に出力される。前記補正参照画像は、フレーム内予測装 置 110から供給されるフレーム内予測値が減じられて、参照予測誤差 rpe (x,
idx y) 0≤idx≤15、 0≤x≤3、 0≤y≤3}が式 (24)で計算される。 rpeidx (x, y) = reclnterldx (x, y) - plntraldx (x, y) (24)
Iフレームフリツ力抑圧制御装置 300によって、イントラ符号ィ匕対象画像の再構築画 像が時間方向に連続となるようにどのように符号ィ匕するのかを示す情報 (Iフレームフ リツ力抑圧制御信号)と、イントラ符号化対象画像の再構築画像が時間方向にどの程 度連続となるように符号ィ匕するかを示す情報 (参照予測誤差)が得られる。
[0149] 続いて説明する発明の変換量子化装置 200は、これらの情報を用いて、イントラ符 号ィ匕対象画像の再構築画像の時間方向で連続性を考慮した符号ィ匕を行う。
[0150] 図 15を参照して、本発明の実施例における量子化装置 200を説明する。
[0151] 本発明の実施例における量子化装置 200は、図 5の従来方式の構成に加えて、変 換係数補正装置 201を備える。
[0152] 変換係数補正装置 201は、 Iフレームフリツ力抑圧制御装置 300から供給される Iフレ ームフリツ力抑圧制御信号、および補正参照画像力 フレーム内予測値を減じた参 照予測誤差、および符号量制御装置 106から供給される量子化パラメータに基づい て、変換装置 102から供給される変換係数および DC変換係数を補正し、補正変換係 数と補正 DC変換係数を量子化装置 103に供給する。すなわちイントラ符号ィ匕の量子 化値 (レベル)を適応的に補正する。
[0153] 図 5の変換量子化装置との違いは、変換係数補正装置 201による変換係数および DC変換係数の補正だけである。よって、変換係数補正装置 201のみを以下では説明 する。
[0154] 図 16のフローチャートを参照して、量子化パラメータを qp, Iフレームフリツ力抑圧制 御信号を IFlickerControl、参照予測誤差を rpe (x, y) {0≤idx≤15、 0≤x≤3、 0≤y≤ 3}、変換装置 102から供給される変換係数を T (x, y) {0≤idx≤15, 0≤x≤3、 0≤y≤
idx
3}、 DC変換係数を TDC(x, y){0≤x≤3、 0≤y≤3}、出力する補正変換係数を T ' (x, y
idx
) {0≤idx≤15、 0≤x≤3、 0≤y≤3}、出力する補正 DC変換係数を TDC， (x, y) 0≤x≤ 3、 0≤y≤3}として、各ステップの動作を説明する。
[0155] ステップ S2001では、補正変換係数 T， (x, y)および補正 DC変換係数 TDC ' (x, y)を
idx
式 (25),(26)によって初期化する。
[0156] T' (x,y) = T (x, y) (25)
idx idx
TDC， (x, y) = TDC， (x,y) (26)
ステップ S2002では、 Iフレームフリツ力抑圧制御信号 IFlickerControlが 0か否かをみ る。 IFlickerControlが 0でなければ (係数を補正するのであれば)ステップ S2003、そう でなければ処理を終了する。
[0157] ステップ S2003では、補正の対象とする変換係数力 ntral6MBか否かをみる。 Intral
6MBでなければステップ S2004、そうでなければステップ S2005にうつる。
[0158] ステップ S2004では、すべての idx, x, y {0≤idx≤15、 0≤x≤3、 0≤y≤3}の変換係 数に対して式 (27)の補正を行い、処理を終了する。
[RTidf (X, y) · · · if (conditionA(ictx, x, v) = l rue)
(27)
else
RTidx (x, y) =
2 1 1 1 —1 - 2 - 1 — 1 2 - 2 1 一 1 y))
Figure imgf000026_0001
(29)
Qsdz\(x, ） = (1— fmter) x Qs(x, y) (31 )
Qs(x, y) = 2'5+qp'6 / Q(qp%6, x, y) (32) ここで Qsdzl(x,y)はインター符号化の量子化デッドゾーンである。これを用いた式 (2 7)の conditionAの判定により、過剰なイントラ符号ィ匕量子化値の補正を防ぐことができ る (もちろん、 Qsdzlに、より大きな値を用いることも可能である力 インター符号ィ匕の 子化デッドゾーンが最も安定した効果が得られる)。
[0159] また、上記の補正は、式 (27)ではなく式 (33)でもよい
if (condinonA(idx, x, y)― True)
Figure imgf000027_0001
(33)
ope\(C, qs, x, y) = ((C + 0.5 x sign C) x qs) I qs) * qs (34) ただし sign(C)は C〈0であれば- 1、そうでなければ 1を返す関数である。
[0160] なお式 (27)で conditionA(idx,x,y)=Trueとなった場合、補正参照画像とフレーム内予 測画像の差分を量子化して得られるレベル力 イントラ符号ィ匕のレベルとなる。一方、 式 (33)で conditionA(idx,x,y)=Trueとなった場合には、補正参照画像とフレーム内予 測画像の差分を四捨五入の量子化特性の量子化して得られるレベルが、イントラ符 号ィ匕のレベルとなる。四捨五入の量子化特性を用いた方が、その再構築画像が時間 方向により正確に連続となる。
[0161] ステップ S2005では、 x=y=0以外のすべての idx,x, y {0≤idx≤15、 0≤x≤3、 0≤y≤ 3}の変換係数に対して式 (27)の補正を行う。もちろん、式 (27)のかわりに式 (33)を用い てもよい。
[0162] ステップ S2006では、 Iフレームフリツ力抑圧制御信号 IFlickerControlが 1か否かをみ る。 1でなければ (DC変換係数を補正するのであれば)ステップ S2007、そうでなければ 処理を終了する。
[0163] ステップ S2007では、すべての X, y{0≤x≤3、 0≤y≤ 3}の変換係数に対して式 (35) の DC変換係数の補正を行い、処理を終了する。
RTDCldx{x,y) ifi conditionBix, y) = True)
TDCidx(x,y) = (35)
TDCldx{x,y) else
RTDC(x,y) =
fi l l i τβ(ΰ,ΰ ΚΓ^Ο,Ο) ΛΓ2(0,0) ΑΓ3(0,0)γΐ 1 1 1
1 1 -1 -1 ΛΓ4(0,0) ΛΓ5(0,0) ?f6(0,0) 1 1 -1 -1
112 1 -1 -1 1 ΛΓ8(0，0) RT9(0,Q) ΛΓ10(0,0) Γ„(0，0) 1 -1 -1 1 1 -1 1 -1八 Λ' Γ12(0,0) ΛΓ13(0,0) ΛΓ14(0,0) 'ノ V 1 -1 1 -1 (36) {True … if( TDC{x, y) - RTDC(x, y) |< Qsdz2{x, y)) conaitionB x, y) = \ w false - - - else
Qsdz2{x, y) = (\ - finter) x QsDC(x, y) (38)
QsDC(x, y) = 216 6 I Q(qp%6,0, ) (39) ここで Qsdz2(x,y)は DC変換領域でのインター符号化の量子化デッドゾーンである。 これを用いた式 (35)の conditionBの判定により、過剰なイントラ符号化量子化値の補 正を防ぐことができる (もちろん、 Qsdz2に、より大きな値を用いることも可能であるが、 DC変換領域でのインター符号ィ匕の量子化デッドゾーンが最も安定した効果が得られ る)。
[0164] また上記の DC変換係数の補正は、式 (35)ではなく式 (40)で計算してもよい。 iope\(RTDC(x, y), QsDし (JC. v ), x, y) · · ·
Figure imgf000028_0001
v， = i rue) TDCtdx (x, y) … else
(40) なお式 (35)で conditionB(x,y)=Trueとなった場合は、補正参照画像とフレーム内予 測画像の差分を量子化して得られるレベル力 イントラ符号ィ匕のレベルとなる。一方、 式 (40)で conditionB(x,y)=Trueとなった場合には、補正参照画像とフレーム内予測画 像の差分を四捨五入の量子化特性の量子化して得られるレベルが、イントラ符号ィ匕 のレベルとなる。四捨五入の量子化特性を用いた方が、その再構築画像が時間方向 により正確に連続となる。
[0165] 以上で変換係数補正装置 201の説明を終わる。
[0166] 上述した発明の動画像符号装置の効果を示す例として、図 9での Iフレームでの注
3
目画素の参照予測誤差を rp PYi ) - reclnter(l \jp¾ , )一 pMra{\ yp^ , ypy^) (4 " として、再構築画素の連続性を考慮して符号ィ匕したときの注目画素の遷移を図 17に 示す。
[0167] 発明の作用によって、予測誤差の変換係数が参照予測誤差の変換係数で補正さ れて、 Iフレームでの注目画素の再構築予測誤差は式 (42)になる。 recpe{ vpx3 , vpy3 ) = IQIT[Q T[rpeQ, vpx}， vpy3 )]]] (42) これにより発明例 (図 17)での再構築予測誤差は、従来例 (図 10)の再構築予測誤差 よりも量子化幅分だけ小さくなる。この結果、従来例で発生した Iフレームでの
3 注目画 素の急激な変化が、発明では抑圧される。
[0168] また、参照予測誤差はインター符号ィ匕画像力 生成されて 、るので、注目画素が 静止領域であっても動き領域であっても、上述した効果が得られる。またブロックの単 位で、参照予測誤差は計算されるので、画像フレーム内のブロックごとに、適応的に 上記の Iフレームフリツ力の抑圧が適用される。
[0169] すなわち本発明は、 Iフレームだけでなく Pフレームおよび Bフレームなどのフレーム 間予測も用いて動画を符号ィ匕する場合、さらには動きのあるシーンおよび動き領域 を含む動画像を符号ィ匕する場合にでも、効果的に Iフレームフリツ力の低減を実現可 能とする。
実施例 2
[0170] 上述した実施例 1の動画像符号化装置では、補正参照画像を計算するために、 Iフ レームフリツ力抑圧制御装置 300は変換、量子化、逆量子化、逆変換の処理が必要 であった。本実施形態では、前記変換、量子化、逆量子化、逆変換を必要としない、 より簡略ィ匕した Iフレームフリツ力抑圧制御装置 300を説明する。
[0171] 本実施形態の動画像符号化装置は、実施例 1の Iフレームフリツ力抑圧制御装置 30 0以外の構成は同一であるので、説明の簡略ィ匕のために本実施形態における Iフレー ムフリツ力抑圧制御装置 300のみを以下で述べる。
[0172] 図 18を参照して、本実施形態における Iフレームフリツ力抑圧制御装置 300の構成を 説明する。
[0173] 実施例 1と比較すると、変換装置 102、量子化装置 103、逆量子化/逆変換装置 104 が削除されている。コントローラ 301は、実施例 1と同一である。
[0174] この構造より、本実施例で得られる補正参照画像は、イントラ符号化対象の画像を 補正参照画像生成参照フレーム力 フレーム間予測した際の、フレーム間予測画像 となる。すなわち補正参照画像は、実施例 1の式 (17)の第 1項を零としたインター符号 化再構築画像と等価である。 [0175] 上述した式 (17)の第 1項を零とした原理には「時間方向で連続な画像は、前記の画 像とフレーム間予測画像がマッチする。このため、予測誤差が小さぐ量子化された 後に予測誤差が零なる」傾向を利用している。これにより予測誤差の変換、量子化、 逆量子化、逆変換をしない分、より少ない演算コストで第 1実施形態の Iフレームフリツ 力抑圧制御装置と同等の機能を実現する。
[0176] 続いて図 19のフローチャートを参照して、本実施例における Iフレームフリツ力抑圧 制御装置の動作を説明する。
[0177] ステップ S3001では、入力 MBの画素値 src(x, y){ 0≤x≤15、 0≤y≤15}と補正参照 画像生成参照フレームからのフレーム間予測値 Pinter (x, y) {0≤idx≤15、 0≤x≤3
idx
、0≤y≤3}から、第 2の予測誤差 pe2 (x,
idx
y) {0≤idx≤15、 0≤x≤3、 0≤y≤3}を式 (19)で計算する (ステップ S1001と同一)。 pe2ldx (x, y) = src(b4xidx + , b4yidx + y) - plnterldx (x, y) (19) ただし、本実施例での上述した第 2の予測誤差は、 Iフレームフリツ力抑圧制御装置 300内部だけで利用される。
[0178] ステップ S3002では、第 2の予測誤差 pe2 (x, y)、 MBタイプ、および量子化パラメ一
idx
タ qpから、 Iフレームフリツ力抑圧制御信号 IFlickerControlを、式 (20)によって計算する (ステップ S 1002と同一)。
IFlickerControl = or (Intra\6MB ana qp < qpthl))
Figure imgf000030_0001
Spe2 = ^∑\ pe2ldx (x,y) \ (2D
&h = 8 x (l - finter) 2]5+qp,e I Q(qp%6, x, y) (22)
ただし、 qpthlは量子化パラメータの閾値 (本実施例では 28)である。
[0179] ただし、 Iフレームフリツ力抑圧制御信号 IFlickerControl=0は「変換係数を補正しな い」、 IFlickerControl=lは「DC変換係数以外の変換係数を補正する」、 IFlickerContr
◦1=2は「すべての変換係数を補正する」を意味するものとする。
[0180] 式 (20)の処理によって、時間方向に不連続な領域 (すなわち Spe2 > 256xSth)の IFlickerControlは零となるので「時間方向に不連続な領域を無理に連続 となるように符号ィ匕する」 t 、つた問題点も生じな 、。
[0181] 以上で、本実施形態における Iフレームフリツ力抑圧制御装置 300の説明を終了する
[0182] なお、上述したフレーム間予測値は補正参照画像として Iフレームフリツ力抑圧制御 装置 300の外部に出力される。前記補正参照画像は、フレーム内予測装置 110から 供給されるフレーム内予測値が減じられて、参照予測誤差 rpe (x, y) 0≤idx≤15, 0
idx
≤x≤3、 0≤y≤3}が式 (43)で計算される。
rpeldx (x, y) = plnterldx (x, y) - plntraldx (x, y) (43) 本実施例の Iフレームフリツ力抑圧制御装置 300によって、実施例 1と同様に、 Iフレ ームフリツ力抑圧制御信号と、参照予測誤差が得られる。
[0183] これによつて、実施例 1と同様に、 Iフレームだけでなく Pフレームおよび Bフレームなど のフレーム間予測も用いて動画を符号ィ匕する場合、さらには動きのあるシーンを含む 動画像を符号ィ匕する場合にでも、効果的に Iフレームフリツ力の低減を実現できる。 実施例 3
[0184] 本実施では、実施例 1での変換量子化装置 200のように「変換係数を補正して、前 記補正した変換係数を量子化する」のではなぐ「参照予測誤差の変換係数に基づ いて、量子化装置がレベルを直接補正する」変換量子化装置を利用する発明の動 画像符号化装置を述べる。
[0185] 変換量子化装置 200内部の構成のみが、第 1実施形態あるいは第 2実施形態と異な るので、説明の簡略ィ匕のために本実施形態における Iフレームフリツ力抑圧制御装置 200のみを説明する (もちろん、 Iフレームフリツ力抑圧制御装置 300の構成は、第 1実 施形態/第 2実施形態のどちらでもよ ヽ)。
[0186] 図 20を参照して、本実施形態における Iフレームフリツ力抑圧制御装置 200を説明 する。
[0187] 図 20の変換量子化装置 200は、図 5の従来方式の構成にカ卩えて変換装置 102と同 じ機能をもつ変換装置 102Bを備える。前記変換装置 102Bは、供給される参照予測 誤差を、変換装置 102の予測誤差と同様に変換し、参照変換係数と参照 DC変換係 数を出力する。
[0188] なお前記参照変換係数 RT (X, y) {0≤idx≤ 15、 0≤x≤3、 0≤y≤3}は式 (28)、参照
idx
DC変換係数 RTDC(x, y) {0≤x≤3、 0≤y≤3}は式 (36)によって計算されるものとする
[0189] 図 5の従来方式との動作の違いは、係数量子化装置 1031と DC係数量子化装置 10 32のみである。
[0190] よって係数量子化装置 1031と DC係数量子化装置 1032のみの動作をそれぞれ以下 で説明する。
[0191] 図 21のフローチャートを参照して係数量子化装置 1031の動作を説明する。
[0192] ステップ S4001では、すべての変換係数 T (X, y) {0≤idx≤15、 0≤x≤3、 0≤y≤3}
idx
を式 (10)によって量子化してレベル L (X, y) {0≤idx≤15、 0≤x≤3、 0≤y≤3}を計算 idx
する。
[0193] なおステップ S4001は従来方式の係数量子化そのものの動作であり、続くステップ S
4002からステップ S4005までが発明によって追加された動作となる。
[0194] ステップ S4002では、 Iフレームフリツ力抑圧制御信号 IFlickerControlが 0か否かをみ る。 IFlickerControlが 0でなければ (係数を補正するのであれば)ステップ S4003、そう でなければ処理を終了する。
[0195] ステップ S4003では、補正した係数の個数を示すカウンタ countLを 0として初期化す る。
[0196] ステップ S4004では、 countL力 ¾56以上か否力 （すべての idx, x, y{0≤idx≤ 15、 0≤x ≤3、 0≤y≤ 3}の係数を補正したか否力 をチェックし、 countLが 256以上であれば処 理を終了し、そうでなければステップ S4005にうつる。
[0197] ステップ S4005では、式 (44)によってレベル L (x, y)を補正し、 countLを 1インクリメン
idx
トしてステップ S4004に移る。 [RLidx {x, y) ■■■ if{conditionA(idx, x, y) = True) ヽ
L'^y) = W x, y) ... else ^
RLidx (x,y) =
(ope\(RTidx (x, y), Qs(x, y), x, y) x Q(qp%6, x, y) + fmtra x sign(RTidx (x, y))) x 2(15+¾l/6) ) / 2(15+^/6) (45) idx = countL/16 (46)
num = countL%16 (47)
x = num %4 (48)
y = num/4 (49)
以上で本実施例における係数量子化装置 1031の動作説明を終了する。
[0198] 続いて図 22のフローチャートを参照して DC係数量子化装置 1032の動作を説明す る。
[0199] ステップ S5001では、すべての DC変換係数 TDC(x,
y) {0≤x≤3、 0≤ ≤3}を式(9)にょって量子化してレべルし0じ , y) {0≤x≤3、0≤y≤ 3}を計算する。
[0200] なおステップ S5001は従来方式の DC係数量子化そのものの動作であり、続くステツ プ S5002からステップ S5005までが発明によって追加された動作となる。
[0201] ステップ S5002では、 Iフレームフリツ力抑圧制御信号 IFlickerControlが 1でかつ MBタ ィプカ Slntral6MBか否かをみる。 IFlickerControlが 1でかつ MBタイプ力 Slntral6MBで あれば（DC係数を補正するのであれば)ステップ S5003、そうでなければ処理を終了 する。
[0202] ステップ S5003では、補正した DC係数の個数を示すカウンタ countDCLを 0として初 期化する。
[0203] ステップ S5004では、 countDCLが 16以上か否力 （すべての X, y{0≤x≤3、 0≤y≤3} の DC係数を補正したか否力）をチェックし、 countDCLが 16以上であれば処理を終了 し、そうでなければステップ S5005にうつる。
[0204] ステップ S5005では、式 (50)によってレベル LDC(x, y)を補正し、 countDCLを 1インク リメントしてステップ S5004に移る。 iDC(x — ^L£ C(x， ··· if {conditionB(idx, x, y) = True)
' [LDC(x, y) ■■■ else
RLDC{x,y) =
(opel(RTDC(x,y\ QsDC(x, y), x, y) x Q(qp%6,0, ) + fintra x sign(RTDC(x, y))) x 2(16+?" 6) ) 12(,6+?p 6) (51)
x = countDCL %4 (52)
y = countDCL /4 (53)
以上で本実施形態における DC係数量子化装置 1032の動作説明を終了する。
[0205] 以上説明した本実施形態における変換量子化装置 200により、第 1実施形態と同様 に、 Iフレームだけでなく Pフレームおよび Bフレームなどのフレーム間予測も用いて動 画を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合に でも、効果的に Iフレームフリツ力の低減を実現できる。
実施例 4
[0206] 本実施例では、実施例 1あるいは実施例 3で変換量子化装置 200のように「変換量 子化装置 200が参照予測誤差の変換係数を計算する」ことなぐより簡単な構成で Iフ レームフリツ力を低減できる変換量子化装置を利用した発明の動画像符号ィ匕装置す る。
[0207] 変換量子化装置 200内部の構成のみが、実施例 1あるいは実施例 3と異なるので、 説明の簡略ィ匕のために本実施形態における Iフレームフリツ力抑圧制御装置 200のみ を説明する (もちろん、 Iフレームフリツ力抑圧制御装置 300の構成は、実施例 1又は実 施例 2のどちらでもよい)。
[0208] 本実施形態の変換量子化装置 200の構成を以下の図 23に示す。
[0209] 本実施形態における変換量子化装置 200は、図 5の従来方式の構成に加えて予測 誤差補正装置 202を備える。予測誤差補正装置 202は、供給される Iフレームフリツ力 抑圧制御信号/参照予測誤差に基づいて、予測誤差を補正し、補正した予測誤差を 変換装置 102に供給する。
[0210] 予測誤差補正装置 202以外の装置は、図 5の従来方式のものと同じである。よって、 以下では予測誤差補正装置 202の動作のみを図 24のフローチャートを参照して説明 する。
[0211] ステップ S6001では、 Iフレームフリツ力抑圧制御信号 IFlickerControlが 0か否かをみ る。 IFlickerControlが 0でなければ（予測誤差を補正するのであれば)ステップ S6002 そうでなければ処理を終了する。
[0212] ステップ S6002では、補正した予測誤差の画素数個数を示すカウンタ countpeを 0と して初期化する。
[0213] ステップ S6003では、 countpeが 256以上か否力 （すべての idx, x, y{0≤idx≤ 15 0≤ x≤3 0≤y≤3}の予測誤差を補正したか否力）をチェックし、 countpeが 256以上であ れば処理を終了し、そうでなければステップ S6004にうつる。
[0214] ステップ S6004では、式 (54)によって予測誤差 pe (x, y) {0≤idx≤15 0≤x≤3 0≤
idx
y≤3}を補正し、 countpeを 1インクリメントしてステップ S6003に移る。
nditionC{idx, x, y) = i rue)
Figure imgf000035_0001
- rpeldx (x, y) \< Qsdz )
conaitionC{iax, x, y) =
Figure imgf000035_0002
Qsdz = Qsdz\{<d,Q) /(Tgain x β) idx = countpe I 16 (57)
num= countpe % 16 (58)
x = num % 4 (59)
y = num I 4 (60)
ここで式 (56)の 13は 1以上の実数 (本実施形態では 2)である。
[0215] 以上で予測誤差補正装置 202の動作説明を終了する。
[0216] ここで、参照予測誤差は、第 1実施形態あるいは第 2実施形態で説明した補正参照 画像とフレーム内予測の差分である。一方、予測誤差は、入力 MBとフレーム内予測 の差分である。つまり式、本実施形態における変換量子化装置 200は、イントラ符号 化において、イントラ符号ィ匕対象の画像に代えて、上述した補正参照画像を符号ィ匕 することができる。ただし、無条件にすべてのイントラ符号化対象の画像を置き換える のではなぐ式 (54)力も分力るように、時間方向に連続とみなされた画像に対してのみ 、上述したイントラ符号化対象の画像を補正参照画像に置き換えて!/、る
[0217] 上説明した本実施形態における変換量子化装置 200により、第 1実施形態と同様に
Iフレームだけでなく Pフレームおよび Bフレームなどのフレーム間予測も用いて動画 を符号化する場合、さらには動きのあるシーンを含む動画像を符号化する場合にで も、効果的に Iフレームフリツ力の低減を実現できる。
実施例 5
[0218] 上述した実施例においては、フレーム内予測を用いる動画像符号化装置に発明を 適用した場合につ!、て述べたが、フレーム内予測を用いな 、動画像符号化装置に 適用することも可能である。
[0219] この場合、上述したフレーム内予測値 plntra (x, y)の値をすベて 0として動作させれ
iax
ばよい。
[0220] また、この場合 (フレーム内予測を用いない場合)での実施例 1の動作は、イントラ符 号化の量子化値として、インター符号化再構築画像を変換、量子化して得られる量 子化値が用いられることになる。もちろん変換量子化装置 200の構成は、実施例 3の ものでもよい。
[0221] また、この場合 (フレーム内予測を用いない場合)における実施例 2の動作は、イント ラ符号ィ匕の量子化値として、補正参照画像生成参照フレームからのフレーム間予測 画像を変換、量子化して得られる量子化値が用いられることになる。もちろん変換量 子化装置 200の構成は、第 3実施形態のものでもよい。
[0222] また、この場合 (フレーム内予測を用いない場合)における実施例 4の動作は、イント ラ符号化の対象の画像として、インター符号ィ匕再構築画像あるいは補正参照画像生 成参照フレームからのフレーム間予測画像が用いられる。
[0223] なお上述した実施の形態でおいては、輝度信号に対してのみ発明を適用した場合 について述べたが、本発明は色差信号に対しても適用可能である。
実施例 6
[0224] さらには上述した実施例においては、上述した説明からも明らかなように、ハードウ エアで構成することも可能である力 S、コンピュータプログラムにより実現することも可能 である。
[0225] 図 25は、本発明による動画像符号ィ匕装置をインプリメントした情報処理システムの 一般的ブロック構成図である。
[0226] 図 25に示す情報処理システムは、プロセッサ A1001,プログラムメモリ A1002,記憶 媒体 A1003および A1004からなる。記憶媒体 A1003および A1004は、別個の記憶媒体 であってもよいし、同一の記憶媒体力もなる記憶領域であってもよい。記憶媒体とし ては、ハードディスク等の磁気記憶媒体を用いることができる。
実施例 7
[0227] 実施例 7では、上述した実施例 1から実施例 6の動画符号ィ匕装置が生成したビット ストリームを入力とし、前記ビットストリームを復号した画像を出力とする復号ィ匕装置に ついて説明する。
[0228] 図 28を参照すると、復号化装置は、エントロピー復号化装置 D101、逆量子化/逆変 換装置 D102、フレームメモリ D103、フレーム内予測装置 D104およびフレーム間予測 装置 D105によって構成される。
[0229] エントロピー復号化装置 D101は、ビットストリームに多重化されたレベル、量子化パ ラメータ、イントラ MBタイプ、インター MBタイプ、予測方向、動きベクトルなどのビット 列をエントロピー復号ィ匕し、元の数値に戻す。
[0230] 逆量子化/逆変換装置 D102は、エントロピー復号化装置 D101から供給されるレべ ルを、逆量子化および逆変換して元の画素空間に戻す。前記元の画素空間に戻さ れたレベルを予測誤差と呼ぶ。
[0231] さらに、前記予測誤差には、 SW100から供給される予測値が加算されて、再構築画 像フレームとして、フレームメモリ D103に格納される。
[0232] フレームメモリ D103は、動画像符号化装置で説明したフレームメモリ A107、ループ 内フィルタ装置 108、フレームメモリ B109を統合した構成となって!/、る。
[0233] フレームメモリ D103は、格納された再構築画像フレームの表示時刻を監視し、表示 時刻となった再構築画像フレームを出力する。
[0234] フレーム内予測装置 D104は、エントロピー復号化装置 D101から供給される MBタイ プがイントラ MBであれば、フレームメモリ 105に格納された再構築画像フレームから、 供給されるイントラ MBおよび予測方向に基づき、符号化装置のフレーム内予測装置
110と同様にフレーム内予測画像を生成する。
[0235] フレーム間予測装置 D105は、エントロピー復号化装置 D101から供給される MBタイ プがインター MBであれば、フレームメモリ 105に格納された再構築画像フレーム (参 照フレーム)から、供給されるインター MBタイプおよび動きベクトルに基づき、符号ィ匕 装置のフレーム間予測装置 111と同様にフレーム間予測画像を生成する。
[0236] SW100は、エントロピー復号化装置 D101から供給される MBタイプがイントラ MBで あればフレーム内予測装置 D104から供給されるフレーム内予測画像を予測値として 出力し、インター MBであればフレーム間予測装置 D105から供給されるフレーム間予 測画像を予測値として出力する。
[0237] 以上説明した処理によって、動画像復号化装置は、入力されるビットストリームを復 号し、画像を再構築することができる。

Claims

請求の範囲
[1] 動画像符号化装置であって、
インター符号ィ匕を用いて符号ィ匕されたのち再構築された画像フレームを利用して、 画像をイントラ符号化する手段を具備することを特徴とする動画像符号化装置。
[2] 前記インター符号ィ匕を用いて符号化されたのち再構築された画像フレームが、前 記イントラ符号ィ匕される画像に対して過去の画像フレームであることを特徴とする請 求項 1に記載の動画像符号化装置。
[3] 前記過去の画像フレームが、前記イントラ符号化される画像の直前の Pフレームで あることを特徴とする請求項 2に記載の動画像符号ィ匕装置。
[4] イントラ符号ィ匕の量子化値を、イントラ符号化対象の画像を前記 Pフレームの画像で フレーム間予測、変換、量子化、逆量子化、逆変換して得られる再構築画像を用い て補正する手段を具備することを特徴とする請求項 3に記載の動画像符号化装置。
[5] イントラ符号ィ匕の量子化値を、イントラ符号化対象の画像を前記 Pフレームの画像で フレーム間予測して得られるフレーム間予測画像を用いて補正する手段を具備する ことを特徴とする請求項 3に記載の動画像符号ィ匕装置。
[6] イントラ符号ィ匕の量子化値として、前記補正に用いる画像とフレーム内予測値画像 の差分を変換し、量子化を施して得られる量子化値を用いることを特徴とする請求項
4又は請求項 5に記載の動画像符号化装置。
[7] イントラ符号ィ匕の量子化値として、前記補正に用いる画像を変換し、量子化を施し て得られる量子化値を用いることを特徴とする請求項 4又は請求項 5に記載の動画像 符号化装置。
[8] 前記量子化が四捨五入の量子化特性を持つことを特徴とする請求項 6又は請求項
7に記載の動画像符号化装置。
[9] イントラ符号ィ匕の変換係数と、前記補正に用いる画像力 得られる変換係数の差分 力 インター符号ィヒの量子化デッドゾーン幅以下である場合でのみ、前記イントラ符 号ィ匕の量子化値の補正が適用されることを特徴とする請求項 8に記載の動画像符号 化装置。
[10] イントラ符号ィ匕対象の画像を前記 Pフレームの画像でフレーム間予測、変換、量子 ィ匕、逆量子化、逆変換して生成される再構築画像を、イントラ符号化する手段を具備 することを特徴とする請求項 3に記載の動画像符号化装置。
[11] イントラ符号ィ匕対象の画像を前記 Pフレームの画像でフレーム間予測して生成され るフレーム間予測画像を、イントラ符号化する手段を具備することを特徴とする請求 項 3に記載の動画像符号化装置。
[12] 前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインタ 一符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用される ことを特徴とする請求項 10又は請求項 11に記載の動画像符号化装置。
[13] 動画像符号ィ匕であって、
インター符号ィ匕を用いて符号ィ匕されたのち再構築された画像フレームを利用して、 画像をイントラ符号化することを特徴とする動画像符号化方法。
[14] 前記インター符号ィ匕を用いて符号化されたのち再構築された画像フレームが、前 記イントラ符号ィ匕される画像に対して過去の画像フレームであることを特徴とする請 求項 13に記載の動画像符号化方法。
[15] 前記過去の画像フレームが、前記イントラ符号化される画像の直前の Pフレームで あることを特徴とする請求項 14に記載の動画像符号ィ匕方法。
[16] イントラ符号化の量子化値を、イントラ符号化対象の画像を Pフレームの画像でフレ ーム間予測、変換、量子化、逆量子化、逆変換して得られる再構築画像を用いて補 正することを特徴とする請求項 15に記載の動画像符号化方法。
[17] イントラ符号化の量子化値を、イントラ符号化対象の画像を前記 Pフレームの画像で フレーム間予測して得られるフレーム間予測画像を用いて補正することを特徴とする 請求項 15に記載の動画像符号化方法。
[18] イントラ符号ィ匕の量子化値として、前記補正に用いる画像とフレーム内予測値画像 の差分を変換し、量子化を施して得られる量子化値を用いることを特徴とする請求項
16又は請求項 17に記載の動画像符号ィ匕方法。
[19] イントラ符号ィ匕の量子化値として、前記補正に用いる画像を変換し、量子化を施し て得られる量子化値を用いることを特徴とする請求項 16又は請求項 17に記載の動 画像符号化方法。
[20] 前記量子化が四捨五入の量子化特性を持つことを特徴とする請求項 18又は請求 項 19に記載の動画像符号化方法。
[21] イントラ符号ィ匕の変換係数と、前記補正に用いる画像力 得られる変換係数の差分 力 インター符号ィヒの量子化デッドゾーン幅以下である場合でのみ、前記イントラ符 号ィ匕の量子化値の補正が適用されることを特徴とする請求項 20に記載の動画像符 号化方法。
[22] イントラ符号ィ匕対象の画像を前記 Pフレームの画像でフレーム間予測、変換、量子 ィ匕、逆量子化、逆変換して生成される再構築画像を、イントラ符号化することを特徴と する請求項 15に記載の動画像符号化方法。
[23] イントラ符号ィ匕対象の画像を前記 Pフレームの画像でフレーム間予測して生成され るフレーム間予測画像を、イントラ符号化することを特徴とする請求項 15に記載の動 画像符号化方法。
[24] 前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインタ 一符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化を適用するこ とを特徴とする請求項 22又は請求項 23に記載の動画像符号ィ匕方法。
[25] 情報処理装置に動画像符号ィ匕を行わせるプログラムであって、
前記プログラムは前記情報処理装置を、インター符号ィ匕を用いて符号化されたの ち再構築された画像フレームを利用して、画像をイントラ符号化する手段として機能 させることを特徴とするプログラム。
[26] 前記インター符号ィ匕を用いて符号化されたのち再構築された画像フレームが、前 記イントラ符号ィ匕される画像に対して過去の画像フレームであることを特徴とする請 求項 25に記載のプログラム。
[27] 前記過去の画像フレームが、前記イントラ符号化対象画像の直前の Pフレームであ ることを特徴とする請求項 26に記載のプログラム。
[28] 前記プログラムは前記情報処理装置を、
イントラ符号化の量子化値を、イントラ符号化対象の画像を Pフレームの画像でフレ ーム間予測、変換、量子化、逆量子化、逆変換して得られる再構築画像を用いて補 正する手段として機能させることを特徴とする請求項 27に記載のプログラム。
[29] 前記プログラムは前記情報処理装置を、
イントラ符号化の量子化値を、イントラ符号化対象の画像を前記 Pフレームの画像で フレーム間予測して得られるフレーム間予測画像を用いて補正する手段として機能さ せることを特徴とする請求項 27に記載のプログラム。
[30] イントラ符号ィ匕の量子化値として、前記補正に用いる画像とフレーム内予測値画像 の差分を変換し、量子化を施して得られる量子化値を用いることを特徴とする請求項
28又は請求項 29に記載のプログラム。
[31] イントラ符号ィ匕の量子化値として、前記補正に用いる画像を変換し、量子化を施し て得られる量子化値を用いることを特徴とする請求項 28又は請求項 29に記載のプロ グラム。
[32] 前記量子化が四捨五入の量子化特性を持つことを特徴とする請求項 30又は請求 項 31に記載のプログラム。
[33] イントラ符号ィ匕の変換係数と、前記補正に用いる画像力も得られる変換係数の差分 力 インター符号ィヒの量子化デッドゾーン幅以下である場合でのみ、前記イントラ符 号ィ匕の量子化値の補正が適用されることを特徴とする請求項 32に記載のプログラム
[34] 前記プログラムは前記情報処理装置を、
イントラ符号ィ匕対象の画像を前記 Pフレームの画像でフレーム間予測、変換、量子 ィ匕、逆量子化、逆変換して生成される再構築画像を、イントラ符号ィ匕する手段として 機能させることを特徴とする請求項 27に記載のプログラム。
[35] 前記プログラムは前記情報処理装置を、
イントラ符号ィ匕対象の画像を前記 Pフレームの画像でフレーム間予測して生成され るフレーム間予測画像を、イントラ符号ィ匕する手段として機能させることを特徴とする 請求項 27に記載のプログラム。
[36] 前記生成された画像とイントラ符号化対象の画像との差分が、画素空間でのインタ 一符号化の量子化デッドゾーン幅以下である場合、前記イントラ符号化が適用される ことを特徴とする請求項 34又は請求項 35に記載のプログラム。
[37] 動画像符号化装置であって、 イントラ符号ィ匕によって生じるノイズを、インター符号ィ匕によって生じるノイズに類似 させる手段を具備することを特徴とする動画像符号化装置。
[38] 動画像符号化方法であって、
イントラ符号ィ匕によって生じるノイズを、インター符号ィ匕によって生じるノイズに類似 させることを特徴とする動画像符号化方法。
[39] 動画像の符号化'復号システムであって、
画像をイントラ符号化する時に、インター符号ィ匕を用いて符号化されたのち再構築 された画像フレームを利用して符号化する手段と、
前記符号化されたデータを復号する復号手段と
を有することを特徴とする動画像の符号化 ·復号システム。
[40] 動画像の符号化'復号方法であって、
画像をイントラ符号化する時に、インター符号ィ匕を用いて符号化されたのち再構築 された画像フレームを利用して符号化するステップと、
前記符号ィ匕されたデータを復号するステップと
を有することを特徴とする動画像の符号化'復号方法。
PCT/JP2005/023862 2004-12-28 2005-12-27 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム WO2006070787A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2005800449842A CN101091393B (zh) 2004-12-28 2005-12-27 运动图像编码方法以及利用其的装置
JP2006550785A JP5234241B2 (ja) 2004-12-28 2005-12-27 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム
US11/794,142 US8325799B2 (en) 2004-12-28 2005-12-27 Moving picture encoding method, device using the same, and computer program
EP20050822272 EP1845735A4 (en) 2004-12-28 2005-12-27 CODING PROCESS FOR MOBILE PICTURES AND DEVICE AND COMPUTER PROGRAM THEREWITH

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-379778 2004-12-28
JP2004379778 2004-12-28

Publications (1)

Publication Number Publication Date
WO2006070787A1 true WO2006070787A1 (ja) 2006-07-06

Family

ID=36614900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/023862 WO2006070787A1 (ja) 2004-12-28 2005-12-27 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム

Country Status (6)

Country Link
US (1) US8325799B2 (ja)
EP (1) EP1845735A4 (ja)
JP (1) JP5234241B2 (ja)
KR (1) KR100945985B1 (ja)
CN (1) CN101091393B (ja)
WO (1) WO2006070787A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008177834A (ja) * 2007-01-18 2008-07-31 Nippon Hoso Kyokai <Nhk> 符号化装置、及びプログラム
JP2012509012A (ja) * 2008-11-12 2012-04-12 トムソン ライセンシング Ｇｏｐパラレル・マルチスレッドビデオ符号化のためのｉフレームのフリッカの除去
US9210431B2 (en) 2008-11-13 2015-12-08 Thomson Licensing Multiple thread video encoding using GOP merging and bit allocation

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663017B2 (en) * 2003-07-30 2010-02-16 Institut Pasteur Transgenic mice having a human major histocompatability complex (MHC) phenotype, experimental uses and applications
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
JP4449915B2 (ja) * 2006-02-08 2010-04-14 ソニー株式会社 符号化装置、符号化方法およびプログラム、並びに、記録媒体
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8036270B2 (en) * 2006-07-27 2011-10-11 Sharp Laboratories Of America, Inc. Intra-frame flicker reduction in video coding
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) * 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US20080240257A1 (en) * 2007-03-26 2008-10-02 Microsoft Corporation Using quantization bias that accounts for relations between transform bins and quantization bins
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) * 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8363719B2 (en) * 2007-10-29 2013-01-29 Canon Kabushiki Kaisha Encoding apparatus, method of controlling thereof, and computer program
EP2071851B1 (en) * 2007-12-11 2011-09-28 Alcatel Lucent Process for delivering a video stream over a wireless channel
EP2071852A1 (en) * 2007-12-11 2009-06-17 Alcatel Lucent Process for delivering a video stream over a wireless bidirectional channel between a video encoder and a video decoder
US20100278236A1 (en) * 2008-01-17 2010-11-04 Hua Yang Reduced video flicker
US8654844B1 (en) * 2008-02-04 2014-02-18 Zenverge, Inc. Intra frame beating effect reduction
EP2250813B1 (en) * 2008-03-10 2018-12-05 InterDigital Madison Patent Holdings Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
KR101518237B1 (ko) * 2008-09-01 2015-05-15 삼성전자주식회사 영상의 역양자화 방법 및 장치, 복호화 방법 및 장치
CN102656884A (zh) * 2009-12-16 2012-09-05 国际商业机器公司 使用像素流执行视频编码
US9294755B2 (en) 2010-10-20 2016-03-22 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
BR122015017252B1 (pt) 2010-11-26 2019-10-08 Nec Corporation Método de decodificação de vídeo e dispositivo de decodificação de vídeo
US8923401B2 (en) * 2011-05-31 2014-12-30 Raytheon Company Hybrid motion image compression
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
US8913656B2 (en) * 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
CN102497553B (zh) * 2011-12-12 2017-08-25 深圳市云宙多媒体技术有限公司 一种视频解码后处理方法及装置
US9230333B2 (en) 2012-02-22 2016-01-05 Raytheon Company Method and apparatus for image processing
US9723314B2 (en) * 2012-02-29 2017-08-01 Smsc Holdings Sarl Flicker reduction circuit and method for compressed video transmission
CN103731673B (zh) * 2012-10-10 2017-02-22 浙江大华技术股份有限公司 一种视频编码的方法及装置
KR101728285B1 (ko) * 2013-06-12 2017-04-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
US20160205398A1 (en) * 2015-01-08 2016-07-14 Magnum Semiconductor, Inc. Apparatuses and methods for efficient random noise encoding
KR102338980B1 (ko) 2015-03-23 2021-12-13 삼성전자주식회사 플리커를 제거하기 위해 양자화 계수를 조절할 수 있은 인코더와 이를 포함하는 장치
WO2017142301A1 (ko) 2016-02-16 2017-08-24 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10341565B2 (en) 2016-05-10 2019-07-02 Raytheon Company Self correcting adaptive low light optical payload
US10715819B2 (en) 2017-04-26 2020-07-14 Canon Kabushiki Kaisha Method and apparatus for reducing flicker
WO2019084792A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 一种编码方法及装置
CN110087070B (zh) * 2018-01-26 2021-04-02 翔升（上海）电子技术有限公司 数据的压缩方法、装置、设备和介质
DE102018112215B3 (de) * 2018-04-30 2019-07-25 Basler Ag Quantisiererbestimmung, computerlesbares Medium und Vorrichtung, die mindestens zwei Quantisierer implementiert
US11057617B2 (en) * 2018-08-03 2021-07-06 Tencent America LLC Method and apparatus for video coding
CN110232672A (zh) * 2019-06-20 2019-09-13 合肥工业大学 一种运动数据的去噪方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251593A (ja) * 1995-03-10 1996-09-27 Sony Corp 量子化回路
JP2002359850A (ja) * 2001-02-15 2002-12-13 Ricoh Co Ltd ウェーブレット処理を実行するためのメモリ使用機構
JP2003235042A (ja) * 2002-02-12 2003-08-22 Sony Corp 画像符号化装置及びその符号化方法
JP2005039321A (ja) * 2003-07-15 2005-02-10 Nippon Hoso Kyokai <Nhk> フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラム
JP2005318468A (ja) * 2004-04-30 2005-11-10 Nippon Hoso Kyokai <Nhk> 画面内予測符号化装置、その方法及びそのプログラム
JP2005323315A (ja) * 2004-05-11 2005-11-17 Nippon Hoso Kyokai <Nhk> 予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラムおよび予測情報・量子化値制御圧縮符号化方法
JP2005348008A (ja) * 2004-06-02 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3187097B2 (ja) 1991-10-17 2001-07-11 株式会社東芝 動画像符号化における符号量配分方法とこれを用いた動画像符号化方法及び装置
JP3004799B2 (ja) * 1992-02-17 2000-01-31 ジー・シー・テクノロジー株式会社 画像符号化方法と装置
US5410350A (en) * 1992-10-28 1995-04-25 Sony Corporation Motion picture encoding and/or decoding system
DE59510756D1 (de) * 1994-06-06 2003-09-11 Sci Worx Gmbh Verfahren zur Codierung/Decodierung eines Datenstroms
JPH08116539A (ja) * 1994-10-17 1996-05-07 Hitachi Ltd 動画像符号化装置と動画像符号化方法
JP3552811B2 (ja) 1995-09-29 2004-08-11 三菱電機株式会社 ディジタル映像信号符号化装置および復号化装置
JP3778606B2 (ja) * 1996-02-16 2006-05-24 日本放送協会 画質改善装置
JP3575508B2 (ja) * 1996-03-04 2004-10-13 Ｋｄｄｉ株式会社 符号化動画像再生装置
US6208689B1 (en) * 1996-03-04 2001-03-27 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for digital image decoding
CA2185753C (en) 1996-03-04 2000-09-12 Hideo Ohira Digital image decoding apparatus
JP3870439B2 (ja) 1996-03-22 2007-01-17 三菱電機株式会社 動き補償予測復号装置
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP4214562B2 (ja) * 1998-06-26 2009-01-28 ソニー株式会社 復号装置
JP2000165875A (ja) * 1998-11-26 2000-06-16 Oki Electric Ind Co Ltd メモリ量の少ない動画像解像度変換符号化・復号装置
JP2000165861A (ja) * 1998-11-26 2000-06-16 Oki Electric Ind Co Ltd 動画像復号装置
US6584154B1 (en) * 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
US6639942B1 (en) * 1999-10-21 2003-10-28 Toshiba America Electronic Components, Inc. Method and apparatus for estimating and controlling the number of bits
JP2002202799A (ja) * 2000-10-30 2002-07-19 Fujitsu Ltd 音声符号変換装置
US6831947B2 (en) 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
JP3732760B2 (ja) * 2001-06-29 2006-01-11 株式会社東芝 物体認識装置及び物体認識方法
FR2830143B1 (fr) * 2001-09-21 2004-02-27 St Microelectronics Sa Procede et dispositif de compression d'un signal d'image
US20030202606A1 (en) 2002-04-05 2003-10-30 Michael Tinker Multi-phase processing for real-time display of a compressed video bitstream
WO2004030369A1 (en) * 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
CN1225126C (zh) * 2002-10-09 2005-10-26 中国科学院计算技术研究所 用于视频编码的新型空间预测方法及其装置
KR100498333B1 (ko) * 2002-10-26 2005-07-01 엘지전자 주식회사 양자화 파라미터 결정 방법
KR20040062109A (ko) * 2002-12-31 2004-07-07 엘지전자 주식회사 동영상 부호화 방법
US8040949B2 (en) * 2003-01-09 2011-10-18 The Regents Of The University Of California Video encoding methods and devices
WO2005109896A2 (en) * 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus to construct bi-directional predicted frames for temporal scalability
CN100534196C (zh) * 2004-05-25 2009-08-26 Nxp股份有限公司 用于编码数字视频数据的方法和设备
US8311113B2 (en) * 2004-11-12 2012-11-13 Broadcom Corporation Method and system for using motion prediction to equalize video quality across intra-coded frames
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
JP2009521163A (ja) * 2005-12-23 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データストリームを処理する装置及び方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251593A (ja) * 1995-03-10 1996-09-27 Sony Corp 量子化回路
JP2002359850A (ja) * 2001-02-15 2002-12-13 Ricoh Co Ltd ウェーブレット処理を実行するためのメモリ使用機構
JP2003235042A (ja) * 2002-02-12 2003-08-22 Sony Corp 画像符号化装置及びその符号化方法
JP2005039321A (ja) * 2003-07-15 2005-02-10 Nippon Hoso Kyokai <Nhk> フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラム
JP2005318468A (ja) * 2004-04-30 2005-11-10 Nippon Hoso Kyokai <Nhk> 画面内予測符号化装置、その方法及びそのプログラム
JP2005323315A (ja) * 2004-05-11 2005-11-17 Nippon Hoso Kyokai <Nhk> 予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラムおよび予測情報・量子化値制御圧縮符号化方法
JP2005348008A (ja) * 2004-06-02 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IGUCHI K. ET AL.: "H.264 Fugoka ni okeru Intramode no Flicker Teigen Shuho. (A Study of Reducing Flicker of H.264 in Intra Mode Coding)", FORUM ON INFORMATION TECHNOLOGY (FIT2003), IPPAN KOEN RONBUNSHU, vol. 3, 25 August 2003 (2003-08-25), pages 277 - 278, XP003004602 *
SAKAIDA S. ET AL.: "Tekio Ryoshika ni yoru AVC/H.264 Intraframe no Flicker Yokusei. (Adaptive Quantization Control for Reducing Flicker of AVC/H.264 Intra Frames)", DAI 3 KAI FORUM ON INFORMATION TECHNOLOGY (FIT2004), JOHO KOGAKU GIJUTSU LETTERS, vol. 3, 20 August 2004 (2004-08-20), pages 225 - 227, XP003004603 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008177834A (ja) * 2007-01-18 2008-07-31 Nippon Hoso Kyokai <Nhk> 符号化装置、及びプログラム
JP2012509012A (ja) * 2008-11-12 2012-04-12 トムソン ライセンシング Ｇｏｐパラレル・マルチスレッドビデオ符号化のためのｉフレームのフリッカの除去
US9210431B2 (en) 2008-11-13 2015-12-08 Thomson Licensing Multiple thread video encoding using GOP merging and bit allocation

Also Published As

Publication number Publication date
JPWO2006070787A1 (ja) 2008-08-07
US8325799B2 (en) 2012-12-04
JP5234241B2 (ja) 2013-07-10
EP1845735A1 (en) 2007-10-17
CN101091393B (zh) 2012-03-07
US20080101465A1 (en) 2008-05-01
KR100945985B1 (ko) 2010-03-09
CN101091393A (zh) 2007-12-19
EP1845735A4 (en) 2009-07-15
KR20070086494A (ko) 2007-08-27

Similar Documents

Publication Publication Date Title
WO2006070787A1 (ja) 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム
JP3796217B2 (ja) 静止映像及び動映像を符号化／復号化するための変換係数の最適走査方法
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
JP4650173B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2618083B2 (ja) イメージ回復方法及び装置
US8553768B2 (en) Image encoding/decoding method and apparatus
JP4247680B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2004343774A (ja) 映像のレジデュー予測を利用した映像符号化／復号化方法および装置
KR20100027384A (ko) 예측 모드 결정 방법 및 장치
KR20070032111A (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
JP2006246474A (ja) カラー成分間の単一符号化モードを利用して予測映像を生成する方法、およびその装置と、該単一符号化モードを利用して映像およびビデオを符号化／復号化する方法およびその装置
KR20060121535A (ko) 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
KR20080082143A (ko) 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR100718121B1 (ko) 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치
WO2015008417A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR100718122B1 (ko) 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
KR100949475B1 (ko) 스캔 패턴 결정 장치 및 이를 이용한 영상 데이터 부호화방법과 그 장치, 그리고, 이를 이용한 영상 데이터 복호화방법과 그 장치
KR100571814B1 (ko) 색상의 공간 예측 부호화를 이용한 영상 부호화 및 복호화방법 및 장치
KR100647297B1 (ko) 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치
KR101639434B1 (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
JP3738511B2 (ja) 動画像符号化方式
KR20080013843A (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
KR20160053848A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 1020077014070

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 200580044984.2

Country of ref document: CN

Ref document number: 2006550785

Country of ref document: JP

Ref document number: 11794142

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2005822272

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005822272

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11794142

Country of ref document: US