WO2011155376A1 - 符号化装置および符号化方法 - Google Patents

符号化装置および符号化方法 Download PDF

Info

Publication number
WO2011155376A1
WO2011155376A1 PCT/JP2011/062647 JP2011062647W WO2011155376A1 WO 2011155376 A1 WO2011155376 A1 WO 2011155376A1 JP 2011062647 W JP2011062647 W JP 2011062647W WO 2011155376 A1 WO2011155376 A1 WO 2011155376A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
encoded
motion
encoding
reference image
Prior art date
Application number
PCT/JP2011/062647
Other languages
English (en)
French (fr)
Inventor
田中　潤一
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201180027153.XA priority Critical patent/CN102934442B/zh
Priority to KR20127031451A priority patent/KR20130118735A/ko
Priority to EP11792333.4A priority patent/EP2582139A4/en
Priority to US13/701,341 priority patent/US9826227B2/en
Publication of WO2011155376A1 publication Critical patent/WO2011155376A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Definitions

  • the present invention relates to an encoding apparatus and an encoding method, and more particularly to an encoding apparatus and an encoding method capable of reducing overhead on a macroblock basis.
  • AVC Advanced Video Coding
  • a set for converting a bitstream for broadcasting of MPEG2 (Moving Picture Experts Group phase 2) into a low bit rate AVC bitstream and storing it in a recording medium There is a top box, a Blu-ray (registered trademark) recorder, and the like.
  • the present invention has been made in view of such a situation, and is intended to be able to reduce overhead in units of macroblocks when encoding is performed according to the AVC scheme.
  • reference picture number determination means for determining the number of reference pictures in the coding as one based on a bit rate of coded image data
  • reference picture number determination means for determining the number of reference pictures in the coding as one based on a bit rate of coded image data
  • reference picture number determination means for determining the number of reference pictures in the coding as one based on a bit rate of coded image data
  • reference picture number determination means And a reference picture determination unit configured to determine one image data out of image data as a reference picture when the number of reference pictures is determined to be one.
  • the coding method according to one aspect of the present invention corresponds to the coding device according to one aspect of the present invention.
  • the number of reference pictures in the encoding is determined to be one and the number of the reference pictures is determined to be one based on the bit rate of the encoded image data.
  • One piece of image data is determined as a reference picture from among the image data.
  • overhead can be reduced on a macroblock basis.
  • FIG. 1 is a diagram showing an example of a configuration of an embodiment of a computer.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an encoding device to which the present invention is applied.
  • the A / D conversion unit 11 of the encoding device 10 performs A / D conversion on an image signal in units of fields that is an analog signal input from the outside, and obtains image data that is a digital signal. Then, the A / D conversion unit 11 supplies the image data of the field unit to the image rearrangement buffer 12.
  • the image sorting buffer 12 temporarily stores field-based image data from the A / D conversion unit 11 and reads out the data as a picture as necessary, thereby generating a GOP (Group of Bitstreams) that is an output of the encoding device 10.
  • Pictures Reorder the pictures in coding order according to their structure.
  • intra pictures for which intra coding is performed are supplied to the slice header generation unit 13.
  • the slice header generation unit 13 generates a slice header to be added to the intra picture supplied from the image sorting buffer 12, adds the generated slice header to the intra picture, and supplies the intra header to the calculation unit 14.
  • Arithmetic unit 14 subtracts the pixel value of the predicted image supplied from intra prediction unit 25 from the pixel value of the intra picture supplied from slice header generation unit 13 as necessary, and supplies the result to orthogonal transform unit 15 .
  • the orthogonal transformation unit 15 performs orthogonal transformation such as discrete cosine transformation or Karhunen-Loeve transformation on (the pixel value of the intra picture or the subtraction value obtained by subtracting the pixel value of the predicted image) and obtains the result. Are supplied to the quantization unit 16.
  • the quantization unit 16 quantizes the transform coefficient from the orthogonal transform unit 15, and supplies the quantization value obtained as a result to the lossless encoding unit 17.
  • the lossless encoding unit 17 applies lossless encoding such as variable-length encoding or arithmetic encoding to the quantization value from the quantization unit 16, and obtains encoded data obtained as a result thereof to the accumulation buffer 18. Supply.
  • the accumulation buffer 18 temporarily stores the encoded data from the lossless encoding unit 17 and transmits it as a bit stream at a predetermined rate.
  • the reference picture number determination unit 19 (reference picture number determination means) monitors the bit rate of the encoded data temporarily stored in the accumulation buffer 18, and based on the bit rate etc., the number of fields of the reference image of non-intra picture is calculated. decide. Then, the reference picture number determination unit 19 supplies the determined number of fields of the reference image to the slice header generation unit 13.
  • the number of fields of the reference image is the number of fields of the reference image in one time direction. Therefore, for example, when the encoding target is a B picture and the field number of the reference image is 1, the reference image is a total of one picture before the encoding target and one picture after the encoding target. It becomes two pictures.
  • the rate control unit 20 monitors the accumulation amount of the encoded data of the accumulation buffer 18 and controls the behavior of the quantization unit 16 such as the quantization step of the quantization unit 16 based on the accumulation amount.
  • the quantization value obtained by the quantization unit 16 is supplied to the lossless encoding unit 17 and also to the inverse quantization unit 21.
  • the inverse quantization unit 21 inversely quantizes the quantization value from the quantization unit 16 into a transform coefficient, and supplies the inverse coefficient to the inverse orthogonal transformation unit 22.
  • the inverse orthogonal transform unit 22 performs inverse orthogonal transform on the transform coefficient from the inverse quantization unit 21 and supplies the transform coefficient to the operation unit 23.
  • Arithmetic unit 23 obtains a decoded image of an intra picture by adding the pixel values of the predicted image supplied from intra prediction unit 25 to the data supplied from inverse orthogonal transform unit 22 as necessary. To the frame memory 24.
  • the frame memory 24 temporarily stores the decoded image supplied from the calculating unit 23, and the decoded image is used as a reference image used to generate a predicted image, as required, as the intra prediction unit 25 or motion prediction / motion.
  • the data is supplied to the compensation unit 26.
  • the intra prediction unit 25 generates a predicted image from pixels already stored in the frame memory 24 among pixels in the vicinity of a portion (block) to be processed by the operation unit 14 in the intra picture. , And supplies the calculation unit 14 and the calculation unit 23.
  • the calculation unit 14 In the case where a predicted image is supplied from the intra prediction unit 25 to the calculation unit 14 as described above for a picture on which intra coding is performed, the calculation unit 14 generates an intra from the picture supplied from the slice header generation unit 13. The predicted image supplied from the prediction unit 25 is subtracted.
  • the predicted image subtracted by the calculation unit 14 is added to the data supplied from the inverse orthogonal transformation unit 22.
  • non-intra pictures on which inter coding is performed are supplied from the image rearrangement buffer 12 to the slice header generation unit 13.
  • the slice header generation unit 13 (reference picture determination unit) rearranges the images based on the number of fields of the reference image supplied from the reference picture number determination unit 19, the type of non-intra picture, and the instruction from the reference picture control unit 27. Among the pictures input from the buffer 12, the picture of the field number is determined as a reference picture.
  • the slice header generation unit 13 generates a slice header including information (hereinafter referred to as reference image information) specifying the determined reference image, and adds the slice header to the non-intra picture. Then, the slice header generation unit 13 supplies the non-intra picture to which the slice header is added to the calculation unit 14 and the motion prediction / motion compensation unit 26.
  • the motion prediction / motion compensation unit 26 refers to the motion image prediction of a non-intra picture from the frame memory 24 based on the reference image information included in the slice header added to the non-intra picture supplied from the slice header generation unit 13 The picture of the decoded image to be read out is read out as a reference image. Furthermore, the motion prediction / motion compensation unit 26 performs motion vector search (ME (Motion Estimation)) on the non-intra picture from the slice header generation unit 13 using the reference image from the frame memory 24, ME residual, MV (Motion Vector) length etc. are detected.
  • ME Motion Estimation
  • the motion prediction / motion compensation unit 26 performs motion compensation on the reference image according to the motion vector, thereby generating a predicted image of a non-intra picture, and supplies this to the computation unit 14 and the computation unit 23.
  • the motion prediction / motion compensation unit 26 detects the amount of blurring of non-intra pictures.
  • the blur amount the pixel variance value (Variance) of the whole screen of the non-intra picture, and the amount of edge component extracted by using the Sobel filter or the Canny filter for the non-intra picture are used.
  • the motion prediction / motion compensation unit 26 supplies the ME residual, the MV length, and the blur amount of the non-intra picture to the reference image control unit 27.
  • the reference picture control unit 27 obtains the motion amount by the following equation (1) based on the generated code amount of the non-intra picture to be encoded, the quantization value, etc. encoded using the default reference image. Specifically, for example, when a non-intra picture to be encoded is a P picture, generation of an I picture corresponding to the P picture and a P picture to be encoded encoded using a default reference image Based on the code amount and the quantization value, the motion amount is determined by the following equation (1). The generated code amount is supplied from the lossless encoding unit 17, and the quantization value is supplied from the quantization unit 16.
  • Motion Intensity represents a motion amount
  • I_bit and P_bit represent an I-picture generated code amount and a P-picture generated code amount, respectively.
  • I_qscale and P_qscale respectively indicate a quantized value of I picture and a quantized value of P picture.
  • Equation (1) when the motion of the P picture to be encoded is large, Complex_P becomes large, and the motion amount Motion Intensity becomes large. On the other hand, when there is no motion in the P picture to be encoded, the motion amount Motion Intensity approaches zero.
  • the reference image control unit 27 determines whether to change the reference image based on the motion amount and the ME residual, the MV length, and the blur amount supplied from the motion prediction / motion compensation unit 26. When it is determined that the reference image is to be changed, the reference image control unit 27 instructs the slice header generation unit 13 to change the reference image.
  • the calculation unit 14 subtracts the prediction image supplied from the intra prediction unit 25 and the motion prediction / motion compensation unit 26 from the non-intra picture supplied from the slice header generation unit 13, and the same as in the case of the intra picture. Coding is performed.
  • the intra prediction mode which is a mode in which the intra prediction unit 25 generates a prediction image, is supplied from the intra prediction unit 25 to the lossless encoding unit 17.
  • the motion vector obtained by the motion prediction / motion compensation unit 26 and the motion compensation prediction mode which is a mode in which the motion prediction / motion compensation unit 26 performs the motion compensation Supplied at 17.
  • the lossless encoding unit 17 losslessly encodes information necessary for decoding, such as the intra prediction mode, the motion vector, the motion compensation prediction mode, and the picture type of each picture, and is included in the header of the encoded data.
  • FIG. 2 is a diagram for explaining a first method of determining the number of fields of the reference image in the reference image number determining unit 19.
  • the horizontal axis represents time
  • the vertical axis represents bit rate.
  • the reference picture number determination unit 19 sets the bit rate (hereinafter referred to as target bit rate) corresponding to the file size designated from the outside (hereinafter referred to as designated file size). On the basis of this, the lowest value of the bit rate at each time, which is estimated that the final actual encoded data file size exceeds the specified file size, is determined as the bit rate threshold at each time.
  • the reference picture number determination unit 19 monitors the accumulation buffer 18 and sets the number of fields of the reference image to 1 when the bit rate of the encoded data at each time is equal to or more than the threshold. On the other hand, when the bit rate of the encoded data at each time is smaller than the threshold, the reference picture number determination unit 19 leaves the number of fields of the reference image at the default value. That is, in the example of FIG. 2, the number of fields of the reference image is set to 1 in section A where the bit rate of the encoded data at each time is equal to or higher than the threshold, and the number of fields of the reference image is the default value Set to
  • FIG. 3 is a diagram for explaining a second method of determining the number of fields of the reference image in the reference image number determining unit 19. As shown in FIG.
  • the horizontal axis represents time
  • the vertical axis represents the file excess amount.
  • the file excess amount is an amount by which the file size of the final actual encoded data exceeds the designated file size.
  • the reference picture number determination unit 19 predicts the file excess amount at each time based on the bit rate of the encoded data at each time and the target bit rate.
  • the reference picture number determination unit 19 sets the number of fields of the reference image to 1 when the file excess amount at each time is equal to or more than a threshold (Threshold).
  • the reference picture number determination unit 19 leaves the number of fields of the reference image at the default value. That is, in the example of FIG. 3, the number of fields of the reference image is set to 1 in section B where the file excess at each time is equal to or greater than the threshold, and the number of fields of the reference image is set to the default value Ru.
  • the file excess amount threshold is a minimum value of the file excess amount at each time which is estimated that the file size of the final actual encoded data exceeds the designated file size.
  • the number of fields of the reference image is 1 Set to Here, as described later, when the field number of the reference image is 1, there is no need to transmit a syntax called RefIdx, and therefore the overhead in units of macroblocks is reduced. Therefore, according to the first determination method and the second determination method, when the file size of the final actual encoded data is estimated to exceed the specified file size, the overhead in units of macroblocks is reduced. As a result, the final file excess is suppressed.
  • the GOP structure of the bit stream is a structure in which I, P, B, B, B, B, P, P pictures are arranged in order.
  • the default reference image of the picture to be encoded is a picture of a field of the same type as that picture.
  • the default reference picture is the top field. This is an I picture 42.
  • the default reference image is the P picture 43 of the bottom field.
  • the default reference picture is an I picture prior to the B picture 61 of the top field.
  • 42 is a P picture 41 after the B picture 61.
  • the default reference picture is the P picture 43 before B picture 71 of the bottom field. And the P picture 51 after the B picture 71.
  • the default reference image of the picture to be encoded is a picture of the same type of field as the picture, but as shown in FIGS. 4 to 7, the picture of the same type of field
  • the time distance between each other is not necessarily close.
  • the time distance between the P picture 41 to be encoded and the I picture 42 which is the default reference picture of the P picture 41 is P picture 41 and P picture 43 of the bottom field.
  • the time distance between the P picture 51 to be encoded and the P picture 43 which is the default reference image of the P picture 51 is P picture 51 and P picture 41 of the top field.
  • the time distance between the B picture 61 to be encoded and the P picture 41 which is the default reference image after the B picture 61 is B picture 61 and P picture of the bottom field. Closer than the time distance with 51. However, the time distance between the B picture 61 and the I picture 42 which is the default reference image before the B picture 61 is longer than the time distance between the B picture 61 and the P picture 43 in the bottom field.
  • the time distance between the B picture 71 to be encoded and the P picture 43 which is the default reference picture before the B picture 71 is the B picture 71 and the I picture of the top field. Closer than the time distance with 42. However, the time distance between the B picture 71 and the P picture 51 which is the default reference image after the B picture 71 is longer than the time distance between the B picture 71 and the P picture 41 in the top field.
  • the encoding device 10 when it is desirable to place importance on temporal correlation of a picture to be encoded compared to spatial correlation, that is, when it is desirable to perform encoding using an image having a short temporal distance as a reference image, the encoding device 10 performs encoding The reference picture of the picture of interest is changed to a picture close in time distance to the picture.
  • FIGS. 8 to 11 are diagrams for explaining an example of judging the change of the reference image by the reference image control unit 27.
  • the reference picture control unit 27 calculates temporal correlation of the picture to be encoded. It is determined that emphasis should be placed on spatial correlation, and it is determined that the reference image is to be changed. As a result, the reference image of the picture to be encoded is changed from a default reference image of the same type of field as the picture to a picture with a short time distance to the picture.
  • the reference picture control unit 27 determines the picture to be encoded It is determined that the temporal correlation of H should not be emphasized in comparison with the spatial correlation, and it is determined that the reference image is not changed. As a result, the reference image of the picture to be encoded remains as the default reference image of the same type of field as the picture.
  • the phase difference due to the difference in the type of the field becomes a problem
  • the reference image of the picture to be encoded has the same default type and the same type of field. It will be an image.
  • the reference picture control unit 27 performs temporal correlation of the picture to be encoded. Is determined not to be emphasized in comparison with spatial correlation, and it is determined that the reference image is not changed. As a result, the reference image of the picture to be encoded remains as the default reference image of the same type of field as the picture.
  • the reference image of the picture to be encoded remains as the default reference image in which the type of the picture and the field are the same.
  • the reference picture control unit 27 performs temporal correlation of the picture to be encoded. Is determined to be emphasized in comparison with spatial correlation, and it is determined to change the reference image. As a result, the reference image of the picture to be encoded is changed from a default reference image of the same type of field as the picture to a picture with a short time distance to the picture.
  • the reference image control unit 27 sets an appropriate reference image based on the information indicating the motion amount of the picture to be encoded, the ME residual, the MV length and the like, and the blur amount.
  • the correlation between the encoding target and the reference image can be enhanced. As a result, the residual between the predicted image and the encoding target is reduced, and the code amount is reduced.
  • FIG. 12 is a flowchart for describing reference image change instruction processing by the reference image control unit 27 of the encoding device 10 of FIG.
  • the reference image change instruction process is performed, for example, for each non-intra picture to be encoded.
  • the reference image control unit 27 determines whether the motion of the non-intra picture to be encoded is large based on the motion amount of the non-intra picture to be encoded. Specifically, the reference image control unit 27 determines that the movement is large when the amount of movement of the non-intra picture to be encoded is equal to or larger than the predetermined threshold, and the movement is larger when the amount of movement is smaller than the predetermined threshold. Determined to be small.
  • step S12 the reference picture control unit 27 determines whether the motion vector of the non-intra picture to be encoded has no correlation in the time direction, based on the ME residual supplied from the motion prediction / motion compensation unit 26, ie, Determine if motion prediction is difficult to hit. Specifically, when the ME residual is equal to or greater than a predetermined threshold, the reference image control unit 27 determines that the motion vector has no correlation in the time direction, and when the ME residual is smaller than the predetermined threshold, the motion vector Is determined to have a correlation in the time direction.
  • the reference picture control unit 27 selects one of the encoding target based on the MV length supplied from the motion prediction / motion compensation unit 26. It is determined whether the motion vector of the non-intra picture is long. Specifically, when the MV length is equal to or larger than the predetermined threshold, the reference image control unit 27 determines that the motion vector is long, and determines that the motion vector is not long when the MV length is smaller than the predetermined threshold. .
  • step S14 the reference image control unit 27 sets the internal ReferenceListFlag to Motion. That is, the reference image control unit 27 instructs the slice header generation unit 13 to change the reference image. Then, the process ends.
  • step S11 determines whether the motion is large. If it is determined in step S12 that the motion vector has no correlation in the time direction, or if it is determined in step S13 that the motion vector is not long. The process proceeds to step S15.
  • step S15 the reference image control unit 27 determines that the motion of the non-intra picture to be encoded is small, the motion vector has a correlation in the time direction, and the motion vector based on the motion amount, the ME residual, and the MV length. Determine if is short.
  • step S15 If it is determined in step S15 that the motion of the non-intra picture to be encoded is small, the motion vector has a temporal correlation, and the motion vector is short, the process proceeds to step S17.
  • step S15 if it is determined in step S15 that the motion of the non-intra picture to be encoded is large, that the motion vector has no correlation in the time direction, or the motion vector is long, the process proceeds to step S16.
  • step S16 the reference image control unit 27 determines whether there is much blurring based on the blur amount supplied from the motion prediction / motion compensation unit 26. Specifically, when the amount of blur is equal to or greater than a predetermined threshold, the reference image control unit 27 determines that the amount of blur is large, and determines that there is not much blur when the amount of blur is smaller than the predetermined threshold.
  • step S16 If it is determined in step S16 that the amount of blurring is large, the process proceeds to step S14, and the reference image control unit 27 sets an internal ReferenceListFlag to Motion. The process then ends.
  • step S16 determines whether there is not much blurring.
  • step S17 the reference image control unit 27 sets the internal ReferenceListFlag to Default. That is, the reference image control unit 27 does not instruct the slice header generation unit 13 to change the reference image. Then, the process ends.
  • FIG. 13 is a flowchart illustrating reference image changing processing by the encoding device 10 of FIG. This reference image change process is performed, for example, for each non-intra picture to be encoded.
  • step S31 the reference stroke number determination unit 19 determines whether the number of fields of the reference image is set to 1 by the first determination method described in FIG. 2 or the second determination method described in FIG.
  • step S32 the slice header generation unit 13 determines whether ReferenceListFlag of the reference image control unit 27 is set to Motion.
  • step S33 the slice header generation unit 13 determines whether or not the picture to be encoded supplied from the image rearrangement buffer 12 is a B picture. judge.
  • step S34 the slice header generation unit 13 determines whether the picture to be encoded is a top field picture.
  • step S34 If it is determined in step S34 that the picture to be encoded is a top field picture, the process proceeds to step S35.
  • step S35 the slice header generation unit 13 sets the value of "num_ref_idx_10_active_minus1" representing a value obtained by subtracting 1 from the number of fields of the reference image preceding the picture to be encoded in the slice header to 0. That is, the slice header generation unit 13 describes in the slice header that the field number of the reference image before the picture to be encoded is one.
  • the slice header generation unit 13 sets the value of “num_ref_idx_I1_active_minus1”, which represents a value obtained by subtracting 1 from the field number of the reference image after the picture to be encoded in the slice header, to 0. That is, the slice header generation unit 13 describes in the slice header that the field number of the reference image after the picture to be encoded is one.
  • the slice header generation unit 13 does not use the value of “ref_pic_list_reordering_flag_10”, which indicates whether to use the default reference image as a reference image before the picture to be encoded in the slice header, not to use the default reference image. Set to 1 to represent.
  • the slice header generation unit 13 generates a picture before the picture to be coded that is closer in time distance than the default reference picture before the picture to be coded and a picture before the picture to be coded in the slice header. It sets to the picture of the index "RefIdx0" of the 0th of list "List0" as reference image information of a reference image. For example, when the picture to be encoded is the B picture 61 in FIG. 6, a P picture 43 having a temporal distance closer than that of the I picture 42 is set to the picture of index 0 “RefIdx0” of the list “List0”. Then, the process ends.
  • step S34 determines whether the picture to be encoded is a top field picture, that is, if the picture to be encoded is a bottom field picture. If it is determined in step S34 that the picture to be encoded is not a top field picture, that is, if the picture to be encoded is a bottom field picture, the process proceeds to step S36.
  • step S36 the slice header generation unit 13 sets the value of "num_ref_idx_I0_active_minus1" in the slice header to 0, and sets the value of "num_ref_idx_I1_active_minus1" to 0.
  • the slice header generation unit 13 does not use the value of “ref_pic_list_reordering_flag_l1” indicating whether to use the default reference image as the reference image after the picture to be encoded in the slice header, without using the default reference image. Set to 1 to represent.
  • the slice header generation unit 13 further generates a picture after the picture to be coded that is closer in time distance than the default reference picture after the picture to be coded to a picture after the picture to be coded in the slice header. It sets to the picture of the index "RefIdx0" of the 0th of list "List1" as reference image information of a reference image. For example, when the picture to be encoded is the B picture 71 in FIG. 7, the P picture 41, which is closer in time distance than the P picture 51, is set to the picture of index 0 “RefIdx0” of the list “List1”. Then, the process ends.
  • step S33 determines whether the picture to be encoded is a B picture, that is, if the picture to be encoded is a P picture.
  • step S37 the slice header generation unit 13 sets the value of "num_ref_idx_I0_active_minus1" in the slice header to 0.
  • the slice header generation unit 13 sets a picture earlier than the picture to be encoded, which is closer in time distance to the default reference image, to the picture of index 0 “RefIdx0” of the list “List0”.
  • the P picture 43 having a temporal distance closer than that of the I picture 42 is set to the picture of index 0 “RefIdx0” of the list “List0”.
  • the P picture 41, which is closer in time distance than the P picture 43 is set to the picture of index 0 “RefIdx0” of the list “List0”. Then, the process ends.
  • step S32 determines whether ReferenceListFlag is not set to Motion. If it is determined in step S32 that ReferenceListFlag is not set to Motion, that is, if ReferenceListFlag is set to Default, the process proceeds to step S38.
  • step S38 the slice header generation unit 13 determines whether the picture to be encoded supplied from the image rearrangement buffer 12 is a B picture.
  • step S39 the slice header generation unit 13 sets the value of "num_ref_idx_I0_active_minus1" in the slice header to 0 and "num_ref_idx_I1_active_minus1" in Set the value to 0. Then, the process ends.
  • step S38 determines whether the picture to be encoded is a B picture, that is, if it is determined that the picture to be encoded is a P picture. If it is determined in step S38 that the picture to be encoded is not a B picture, that is, if it is determined that the picture to be encoded is a P picture, the process proceeds to step S40.
  • step S40 the slice header generation unit 13 sets the value of "num_ref_idx_I0_active_minus1" in the slice header to 0, and the process ends.
  • step S31 If it is determined in step S31 that the number of fields of the reference image is not set to 1, the process ends. In this case, for example, normal reference image setting processing is performed.
  • FIG. 14 is a diagram illustrating Macroblock prediction syntax according to the AVC standard.
  • the Macroblock prediction syntax As shown in the 19th paragraph and the 20th paragraph of FIG. 14, in the Macroblock prediction syntax, it is described that when “num_ref_idx_I0_active_minus1” is larger than 0, the RefIdx of the list “List0” is read. Also, as shown in the 22nd and 23rd paragraphs, the Macroblock prediction syntax describes reading out RefIdx of the list “List1" when “num_ref_idx_l1_active_minus1" is larger than 0.
  • the reference image is determined based on all of the motion amount of the picture to be encoded, the ME residual, the MV length and the blur amount, but the motion amount of the picture to be encoded, ME
  • the reference image may be determined based on at least one of the residual, the MV length, and the blur amount.
  • the method of determining the reference image is not limited to the method described above.
  • motion compensation is performed on each of a plurality of reference image candidates as a reference image, and the reference image candidate for which the absolute value of the difference between the predicted image and the encoding target obtained as a result is minimized It may be determined as a reference image.
  • the present invention is also applicable to an encoding apparatus that performs encoding in a method other than the AVC method.
  • FIG. 15 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a storage unit 208 or a ROM (Read Only Memory) 202 as a recording medium incorporated in the computer.
  • the program can be stored (recorded) in the removable medium 211.
  • removable media 211 can be provided as so-called package software.
  • examples of the removable medium 211 include a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical (MO) disc, a digital versatile disc (DVD), a magnetic disc, a semiconductor memory, and the like.
  • the program may be installed in the computer from the removable medium 211 as described above via the drive 210, or may be downloaded to the computer via the communication network or a broadcast network and installed in the built-in storage unit 208. That is, for example, the program is wirelessly transferred from the download site to the computer via an artificial satellite for digital satellite broadcasting, or transferred to the computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer incorporates a CPU (Central Processing Unit) 201, and an input / output interface 205 is connected to the CPU 201 via a bus 204.
  • a CPU Central Processing Unit
  • input / output interface 205 is connected to the CPU 201 via a bus 204.
  • the CPU 201 executes a program stored in the ROM 202 according to the instruction.
  • the CPU 201 loads a program stored in the storage unit 208 into a random access memory (RAM) 203 and executes the program.
  • RAM random access memory
  • the CPU 201 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 201 outputs the processing result from the output unit 207 or transmits it from the communication unit 209 through the input / output interface 205, for example, and stores the processing result in the storage unit 208, as necessary.
  • the input unit 206 is configured of a keyboard, a mouse, a microphone, and the like. Further, the output unit 207 is configured of an LCD (Liquid Crystal Display), a speaker, and the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed chronologically in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or separately (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed and processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer for execution.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、マクロブロック単位でオーバーヘッドを削減することができる符号化装置および符号化方法に関する。 参照画数決定部１９は、符号化された符号化データのビットレートに基づいて、その符号化における参照画像のフィールド数を１に決定する。スライスヘッダ生成部１３は、参照画像のフィールド数が１に決定された場合、画像並べ替えバッファ１２から入力されるピクチャの中から１つのピクチャを参照画像として決定する。本発明は、例えば、AVC方式の符号化を行う符号化装置に適用することができる。

Description

符号化装置および符号化方法
　本発明は、符号化装置および符号化方法に関し、特に、マクロブロック単位でオーバーヘッドを削減することができるようにした符号化装置および符号化方法に関する。
　AVC（Advanced Video Coding）方式では、マルチリファレンスと呼ばれる、複数の参照画像を動き補償に利用する機構が導入されている。マルチリファレンスにより、マクロブロック単位で最適な参照画像を選択することができ、その結果、符号化効率を向上させることができる。
　一方、AVC方式の符号化を行う装置としては、MPEG2（Moving Picture Experts Group phase 2）方式の放送用のビットストリームを、低ビットレートのAVC方式のビットストリームに変換して記録メディアに蓄積するセットトップボックス、Blu-ray(登録商標)レコーダなどがある。
　このような装置において、HD（High Definition）画像を2Mbps程度の低ビットレートで高画質を保ったまま圧縮するためには、様々な工夫が必要になる。
　そこで、マルチリファレンスを利用した符号化装置において、参照画像を動的に切り替えることにより符号化効率を向上させることが提案されている（例えば、特許文献１参照）。
特開２０１０－６３０９２号公報
　しかしながら、従来のAVC方式のインターレース符号化では、一般的に、カレントピクチャは、２フィールド以上の画像を参照画像として符号化される。従って、２フィールド以上の参照画像を指定するために、RefIdxと呼ばれるシンタックスを送信する必要があり、これにより、オーバーヘッドが大きくなる。RefIdxは、マクロブロック単位で送信されるため、RefIdxの送信は、特に低ビットレートの符号化において大きな負荷となる。
　本発明は、このような状況に鑑みてなされたものであり、AVC方式で符号化を行う場合において、マクロブロック単位でオーバーヘッドを削減することができるようにするものである。
　本発明の一側面の符号化装置は、符号化された画像データのビットレートに基づいて、その符号化における参照ピクチャの枚数を１枚に決定する参照画数決定手段と、前記参照画数決定手段により前記参照ピクチャの枚数が１枚に決定された場合、画像データの中から１枚の画像データを参照ピクチャとして決定する参照ピクチャ決定手段とを備える符号化装置である。
　本発明の一側面の符号化方法は、本発明の一側面の符号化装置に対応する。
　本発明の一側面においては、符号化された画像データのビットレートに基づいて、その符号化における参照ピクチャの枚数が１枚に決定され、前記参照ピクチャの枚数が１枚に決定された場合、画像データの中から１枚の画像データが参照ピクチャとして決定される。
　本発明の一側面によれば、マクロブロック単位でオーバーヘッドを削減することができる。
本発明を適用した符号化装置の一実施の形態の構成例を示すブロック図である。 参照画像のフィールド数の第１の決定方法を説明する図である。 参照画像のフィールド数の第２の決定方法を説明する図である。 デフォルトの参照画像を説明する図である。 デフォルトの参照画像を説明する図である。 デフォルトの参照画像を説明する図である。 デフォルトの参照画像を説明する図である。 参照画像の変更の判断例を説明する図である。 参照画像の変更の判断例を説明する図である。 参照画像の変更の判断例を説明する図である。 参照画像の変更の判断例を説明する図である。 参照画像変更指示処理を説明するフローチャートである。 参照画像変更処理を説明するフローチャートである。 AVC規格のMacroblock prediction syntaxを示す図である。 コンピュータの一実施の形態の構成例を示す図である。
＜一実施の形態＞
［符号化装置の一実施の形態の構成例］
　図１は、本発明を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
　符号化装置１０のA／D変換部１１は、外部から入力されるアナログ信号であるフィールド単位の画像信号に対してA/D変換を行い、ディジタル信号である画像データを得る。そして、A/D変換部１１は、そのフィールド単位の画像データを画像並べ替えバッファ１２に供給する。
　画像並べ替えバッファ１２は、A/D変換部１１からのフィールド単位の画像データを一時記憶し、必要に応じてピクチャとして読み出すことで、符号化装置１０の出力であるビットストリームのGOP(Group of Pictures)構造に応じて、ピクチャを符号化順に並べ替える並べ替えを行う。
　画像並べ替えバッファ１２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、スライスヘッダ生成部１３に供給される。
　スライスヘッダ生成部１３は、画像並べ替えバッファ１２から供給されるイントラピクチャに付加するスライスヘッダを生成し、そのイントラピクチャに付加して演算部１４に供給する。
　演算部１４は、スライスヘッダ生成部１３から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部２５から供給される予測画像の画素値を減算し、直交変換部１５に供給する。
　直交変換部１５は、イントラピクチャ（の画素値、又は、予測画像の画素値が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部１６に供給する。
　量子化部１６は、直交変換部１５からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部１７に供給する。
　可逆符号化部１７は、量子化部１６からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ１８に供給する。
　蓄積バッファ１８は、可逆符号化部１７からの符号化データを一時記憶し、所定のレートでビットストリームとして伝送する。
　参照画数決定部１９（参照画数決定手段）は、蓄積バッファ１８に一時記憶される符号化データのビットレートを監視しており、そのビットレート等に基づき、ノンイントラピクチャの参照画像のフィールド数を決定する。そして、参照画数決定部１９は、決定された参照画像のフィールド数をスライスヘッダ生成部１３に供給する。
　なお、参照画像のフィールド数とは、１つの時間方向の参照画像のフィールド数である。従って、例えば、符号化対象がＢピクチャであり、参照画像のフィールド数が１である場合、参照画像は、符号化対象より前の１つのピクチャと、符号化対象より後の１つのピクチャの計２つのピクチャとなる。
　レート制御部２０は、蓄積バッファ１８の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部１６の量子化ステップ等の、量子化部１６の挙動を制御する。
　量子化部１６で得られる量子化値は、可逆符号化部１７に供給される他、逆量子化部２１にも供給される。逆量子化部２１は、量子化部１６からの量子化値を、変換係数に逆量子化し、逆直交変換部２２に供給する。
　逆直交変換部２２は、逆量子化部２１からの変換係数を逆直交変換し、演算部２３に供給する。
　演算部２３は、逆直交変換部２２から供給されるデータに対して、必要に応じて、イントラ予測部２５から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、フレームメモリ２４に供給する。
　フレームメモリ２４は、演算部２３から供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部２５や動き予測／動き補償部２６に供給する。
　イントラ予測部２５は、イントラピクチャの中で、演算部１４で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ２４に記憶されている画素から予測画像を生成し、演算部１４および演算部２３に供給する。
　イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部２５から演算部１４に予測画像が供給される場合、演算部１４では、スライスヘッダ生成部１３から供給されるピクチャから、イントラ予測部２５から供給される予測画像が減算される。
　また、演算部２３では、演算部１４で減算された予測画像が、逆直交変換部２２から供給されるデータに加算される。
　一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ１２から、スライスヘッダ生成部１３に供給される。
　スライスヘッダ生成部１３（参照ピクチャ決定手段）は、参照画数決定部１９から供給される参照画像のフィールド数、ノンイントラピクチャの種類、および参照画制御部２７からの指示に基づいて、画像並べ替えバッファ１２から入力されるピクチャの中から、そのフィールド数のピクチャを参照画像として決定する。スライスヘッダ生成部１３は、決定された参照画像を指定する情報（以下、参照画像情報という）を含むスライスヘッダを生成し、ノンイントラピクチャに付加する。そして、スライスヘッダ生成部１３は、スライスヘッダが付加されたノンイントラピクチャを演算部１４と動き予測/動き補償部２６に供給する。
　動き予測／動き補償部２６は、スライスヘッダ生成部１３から供給されるノンイントラピクチャに付加されたスライスヘッダに含まれる参照画像情報に基づいて、フレームメモリ２４から、ノンイントラピクチャの動き予測に際して参照される復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部２６は、フレームメモリ２４からの参照画像を用いて、スライスヘッダ生成部１３からのノンイントラピクチャについて、動きベクトル探索（ME（Motion Estimation））を行い、動きベクトル、ME残差、MV（Motion Vector）長等を検出する。
　そして、動き予測／動き補償部２６は、動きベクトルにしたがい、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部１４および演算部２３に供給する。
　また、動き予測/動き補償部２６は、ノンイントラピクチャのボケ量を検出する。なお、ボケ量としては、ノンイントラピクチャの画面全体の画素分散値（Variance）、ノンイントラピクチャに対してSobel filterやCanny filterを用いることにより抽出されたエッジ成分の量が用いられる。動き予測/動き補償部２６は、ノンイントラピクチャのME残差、MV長、およびボケ量を参照画制御部２７に供給する。
　参照画制御部２７は、デフォルトの参照画像を用いて符号化された符号化対象のノンイントラピクチャの発生符号量および量子化値等に基づいて、以下の式（１）により、動き量を求める。具体的には、例えば、符号化対象のノンイントラピクチャがＰピクチャである場合、そのＰピクチャに対応するＩピクチャと、デフォルトの参照画像を用いて符号化された符号化対象のＰピクチャの発生符号量および量子化値に基づいて、以下の式（１）により、動き量を求める。なお、発生符号量は、可逆符号化部１７から供給され、量子化値は、量子化部１６から供給される。
　Motion Intensity=Complex_P/Complex_I
　Complex_I=I_bit×I_qscale
　Complex_P=P_bit×P_qscale
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　なお、式（１）において、Motion Intensityは、動き量を表し、I_bit,P_bitは、それぞれ、Ｉピクチャの発生符号量、Ｐピクチャの発生符号量を表す。また、I_qscale,P_qscaleは、それぞれ、Ｉピクチャの量子化値、Ｐピクチャの量子化値を表す。
　式（１）によれば、符号化対象のＰピクチャの動きが大きい場合、Complex_Pが大きくなり、動き量Motion Intensityは大きくなる。一方、符号化対象のＰピクチャに動きが全くない場合、動き量Motion Intensityはゼロに近づく。
　参照画制御部２７は、この動き量と、動き予測/動き補償部２６から供給されるME残差、MV長、およびボケ量とに基づいて、参照画像を変更するかどうかを判定する。参照画制御部２７は、参照画像を変更すると判定した場合、参照画像の変更をスライスヘッダ生成部１３に指示する。
　演算部１４では、スライスヘッダ生成部１３から供給されるノンイントラピクチャから、イントラ予測部２５および動き予測/動き補償部２６から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。
　なお、イントラ予測部２５が予測画像を生成するモードであるイントラ予測モードは、イントラ予測部２５から可逆符号化部１７に供給される。また、動き予測／動き補償部２６で得られる動きベクトル、及び、動き予測／動き補償部２６が動き補償を行うモードである動き補償予測モードは、動き予測／動き補償部２６から可逆符号化部１７に供給される。
　可逆符号化部１７では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、符号化データのヘッダに含められる。
［参照画像のフィールド数の決定方法の説明］
　図２は、参照画数決定部１９における参照画像のフィールド数の第１の決定方法を説明する図である。なお、図２のグラフにおいて、横軸は時刻を表し、縦軸はビットレートを表している。
　第１の決定方法では、図２に示すように、参照画数決定部１９は、外部から指定されるファイルサイズ（以下、指定ファイルサイズという）に対応するビットレート（以下、ターゲットビットレートという）に基づいて、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを越えると推測される、各時刻のビットレートの最低値を、各時刻のビットレートの閾値として決定する。
　そして、参照画数決定部１９は、蓄積バッファ１８を監視し、各時刻の符号化データのビットレートが閾値以上である場合、参照画像のフィールド数を１に設定する。一方、各時刻の符号化データのビットレートが閾値より小さい場合、参照画数決定部１９は、参照画像のフィールド数をデフォルト値のままにする。即ち、図２の例では、各時刻の符号化データのビットレートが閾値以上である区間Ａにおいて、参照画像のフィールド数は１に設定され、区間Ａ以外において、参照画像のフィールド数はデフォルト値に設定される。
　図３は、参照画数決定部１９における参照画像のフィールド数の第２の決定方法を説明する図である。
　なお、図３のグラフにおいて、横軸は時刻を表し、縦軸はファイル超過量を表している。ファイル超過量とは、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを超過する量である。
　第２の決定方法では、図３に示すように、参照画数決定部１９は、各時刻の符号化データのビットレートおよびターゲットビットレートに基づいて、各時刻におけるファイル超過量を予測する。参照画数決定部１９は、各時刻のファイル超過量が閾値（Threshold）以上である場合、参照画像のフィールド数を１に設定する。一方、各時刻のファイル超過量が閾値より小さい場合、参照画数決定部１９は、参照画像のフィールド数をデフォルト値のままにする。即ち、図３の例では、各時刻のファイル超過量が閾値以上である区間Ｂにおいて、参照画像のフィールド数は１に設定され、区間Ｂ以外において、参照画像のフィールド数はデフォルト値に設定される。
　なお、ファイル超過量の閾値は、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを超えると推測される、各時刻のファイル超過量の最低値である。
　以上のような第１の決定方法および第２の決定方法によれば、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを超えると推測される場合に、参照画像のフィールド数が１に設定される。ここで、後述するように、参照画像のフィールド数が１である場合、RefIdxと呼ばれるシンタックスを送信する必要がなくなるため、マクロブロック単位のオーバーヘッドが削減される。従って、第１の決定方法および第２の決定方法によれば、最終的な実際の符号化データのファイルサイズが指定ファイルサイズを超えると推測される場合に、マクロブロック単位のオーバーヘッドが削減され、その結果、最終的なファイル超過量が抑制される。
［デフォルトの参照画像の説明］
　図４乃至図７は、デフォルトの参照画像を説明する図である。
　なお、図４乃至図７の例において、ビットストリームのGOP構造は、Ｉ，Ｐ，Ｂ，Ｂ，Ｂ，Ｂ，Ｐ，Ｐピクチャの順に並ぶ構造となっている。
　図４乃至図７に示すように、符号化対象のピクチャのデフォルトの参照画像は、そのピクチャと同一の種類のフィールドのピクチャである。
　具体的には、例えば、図４に示すように、符号化対象のピクチャがGOPの先頭から７番目のトップフィールド（top field）のＰピクチャ４１である場合、デフォルトの参照画像は、トップフィールドのＩピクチャ４２である。
　一方、図５に示すように、符号化対象のピクチャがGOPの先頭から８番目のボトムフィールド（bottom field）のＰピクチャ５１である場合、デフォルトの参照画像は、ボトムフィールドのＰピクチャ４３である。
　また、図６に示すように、符号化対象のピクチャがGOPの先頭から３番目のトップフィールドのＢピクチャ６１である場合、デフォルトの参照画像は、トップフィールドの、Ｂピクチャ６１より前のＩピクチャ４２、Ｂピクチャ６１より後ろのＰピクチャ４１である。
　一方、図７に示すように、符号化対象のピクチャがGOPの先頭から４番目のボトムフィールドのＢピクチャである場合、デフォルトの参照画像は、ボトムフィールドの、Ｂピクチャ７１より前のＰピクチャ４３と、Ｂピクチャ７１より後ろのＰピクチャ５１である。
　以上のように、符号化対象のピクチャのデフォルトの参照画像は、そのピクチャと同一の種類のフィールドのピクチャとなっているが、図４乃至図７に示すように、同一の種類のフィールドのピクチャどうしの時間距離は、必ずしも近くはない。
　例えば、図４に示すように、符号化対象のＰピクチャ４１と、そのＰピクチャ４１のデフォルトの参照画像であるＩピクチャ４２との時間距離は、Ｐピクチャ４１と、ボトムフィールドのＰピクチャ４３との時間距離より遠い。
　また、図５に示すように、符号化対象のＰピクチャ５１と、そのＰピクチャ５１のデフォルトの参照画像であるＰピクチャ４３との時間距離は、Ｐピクチャ５１と、トップフィールドのＰピクチャ４１との時間距離より遠い。
　さらに、図６に示すように、符号化対象のＢピクチャ６１と、そのＢピクチャ６１より後のデフォルトの参照画像であるＰピクチャ４１との時間距離は、Ｂピクチャ６１と、ボトムフィールドのＰピクチャ５１との時間距離より近い。しかしながら、Ｂピクチャ６１と、そのＢピクチャ６１より前のデフォルトの参照画像であるＩピクチャ４２との時間距離は、Ｂピクチャ６１と、ボトムフィールドのＰピクチャ４３との時間距離より遠い。
　また、図７に示すように、符号化対象のＢピクチャ７１と、そのＢピクチャ７１より前のデフォルトの参照画像であるＰピクチャ４３との時間距離は、Ｂピクチャ７１と、トップフィールドのＩピクチャ４２との時間距離より近い。しかしながら、Ｂピクチャ７１と、そのＢピクチャ７１より後のデフォルトの参照画像であるＰピクチャ５１との時間距離は、Ｂピクチャ７１と、トップフィールドのＰピクチャ４１との時間距離より遠い。
　従って、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきである場合、即ち時間距離が近い画像を参照画像として符号化を行うことが望ましい場合、符号化装置１０は、符号化対象のピクチャの参照画像を、そのピクチャと時間距離が近い画像に変更する。
［参照画像の変更の判断例の説明］
　図８乃至図１１は、参照画制御部２７による参照画像の変更の判断例を説明する図である。
　図８に示すように、例えば、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が大きく、ボケ量が多い場合、参照画制御部２７は、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきと判断し、参照画像を変更すると判定する。これにより、符号化対象のピクチャの参照画像が、そのピクチャとフィールドの種類が同一のデフォルトの参照画像から、そのピクチャとの時間距離が短いピクチャに変更される。
　即ち、符号化対象のピクチャのボケ量が多い場合、フィールドの種類の違いによる位相差が問題にならないので、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が大きいことが考慮されて、符号化対象のピクチャとの時間距離が短いピクチャが参照画像とされる。
　また、図９に示すように、例えば、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長の値が小さく、ボケ量が少ない場合、参照画制御部２７は、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきではないと判断し、参照画像を変更しないと判定する。これにより、符号化対象のピクチャの参照画像は、そのピクチャとフィールドの種類が同一のデフォルトの参照画像のままとなる。
　即ち、符号化対象のピクチャのボケ量が少ない場合、フィールドの種類の違いによる位相差が問題になるので、符号化対象のピクチャの参照画像は、そのピクチャとフィールドの種類が同一のデフォルトの参照画像のままとなる。
　さらに、図１０に示すように、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が小さいが、ボケ量が多い場合、参照画制御部２７は、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきではないと判断し、参照画像を変更しないと判定する。
これにより、符号化対象のピクチャの参照画像は、そのピクチャとフィールドの種類が同一のデフォルトの参照画像のままとなる。
　即ち、符号化対象のピクチャのボケ量が多い場合、フィールドの種類の違いによる位相差は問題にならないが、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が小さいことが考慮されて、符号化対象のピクチャの参照画像は、そのピクチャとフィールドの種類が同一のデフォルトの参照画像のままとなる。
　また、図１１に示すように、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が大きいが、ボケ量が少ない場合、参照画制御部２７は、符号化対象のピクチャの時間相関を空間相関に比べて重視すべきであると判断し、参照画像を変更すると判定する。これにより、符号化対象のピクチャの参照画像が、そのピクチャとフィールドの種類が同一のデフォルトの参照画像から、そのピクチャとの時間距離が短いピクチャに変更される。
　即ち、符号化対象のピクチャのボケ量が少ない場合、フィールドの種類の違いによる位相差が問題になるが、符号化対象のピクチャの動き量、ＭＥ残差、およびＭＶ長が大きいことが考慮されて、符号化対象のピクチャとの時間距離が短いピクチャが参照画像とされる。
　以上のように、参照画制御部２７は、符号化対象のピクチャの動き量、ＭＥ残差、ＭＶ長等の動きを表す情報とボケ量とに基づいて、適切な参照画像を設定するので、符号化対象と参照画像の相関を高めることができる。その結果、予測画像と符号化対象の残差が小さくなり、符号量が小さくなる。
［符号化装置の処理の説明］
　図１２は、図１の符号化装置１０の参照画制御部２７による参照画像変更指示処理を説明するフローチャートである。この参照画像変更指示処理は、例えば、符号化対象のノンイントラピクチャごとに行われる。
　図１２のステップＳ１１において、参照画制御部２７は、符号化対象のノンイントラピクチャの動き量に基づいて、符号化対象のノンイントラピクチャの動きが大きいかどうかを判定する。具体的には、参照画制御部２７は、符号化対象のノンイントラピクチャの動き量が所定の閾値以上である場合、動きが大きいと判定し、動き量が所定の閾値より小さい場合、動きが小さいと判定する。
　ステップＳ１１で符号化対象のノンイントラピクチャの動きが大きいと判定された場合、処理はステップＳ１２に進む。ステップＳ１２において、参照画制御部２７は、動き予測/動き補償部２６から供給されるＭＥ残差に基づいて、符号化対象のノンイントラピクチャの動きベクトルに時間方向の相関がないかどうか、即ち動き予測が当たりにくいかどうかを判定する。具体的には、ＭＥ残差が所定の閾値以上である場合、参照画制御部２７は、動きベクトルに時間方向の相関がないと判定し、ＭＥ残差が所定の閾値より小さい場合、動きベクトルに時間方向の相関があると判定する。
　ステップＳ１２で動きベクトルに時間方向の相関がないと判定された場合、ステップＳ１３において、参照画制御部２７は、動き予測/動き補償部２６から供給されるＭＶ長に基づいて、符号化対象のノンイントラピクチャの動きベクトルが長いかどうかを判定する。具体的には、ＭＶ長が所定の閾値以上である場合、参照画制御部２７は、動きベクトルが長いと判定し、ＭＶ長が所定の閾値より小さい場合、動きベクトルが長くはないと判定する。
　ステップＳ１３で動きベクトルが長いと判定された場合、ステップＳ１４において、参照画制御部２７は、内部のReferenceListFlagをMotionに設定する。即ち、参照画制御部２７は、スライスヘッダ生成部１３に参照画像の変更を指示する。そして、処理は終了する。
　一方、ステップＳ１１で動きが大きくはないと判定された場合、ステップＳ１２で動きベクトルに時間方向の相関がないと判定された場合、または、ステップＳ１３で動きベクトルが長くはないと判定された場合、処理はステップＳ１５に進む。
　ステップＳ１５において、参照画制御部２７は、動き量、ＭＥ残差、およびＭＶ長に基づいて、符号化対象のノンイントラピクチャの動きが小さく、動きベクトルに時間方向の相関があり、かつ動きベクトルが短いかどうかを判定する。
　ステップＳ１５で符号化対象のノンイントラピクチャの動きが小さく、動きベクトルに時間方向の相関があり、かつ動きベクトルが短いと判定された場合、処理はステップＳ１７に進む。
　一方、ステップＳ１５で符号化対象のノンイントラピクチャの動きが大きいか、動きベクトルに時間方向の相関がないか、または動きベクトルが長いと判定された場合、処理はステップＳ１６に進む。
　ステップＳ１６において、参照画制御部２７は、動き予測/動き補償部２６から供給されるボケ量に基づいて、ボケが多いかどうかを判定する。具体的には、ボケ量が所定の閾値以上である場合、参照画制御部２７は、ボケが多いと判定し、ボケ量が所定の閾値より小さい場合、ボケが多くはないと判定する。
　ステップＳ１６でボケが多いと判定された場合、処理はステップＳ１４に進み、参照画制御部２７は、内部のReferenceListFlagをMotionに設定する。そして処理は終了する。
　一方、ステップＳ１６でボケが多くはないと判定された場合、処理はステップＳ１７に進む。
　ステップＳ１７において、参照画制御部２７は、内部のReferenceListFlagをDefaultに設定する。即ち、参照画制御部２７は、スライスヘッダ生成部１３に参照画像の変更を指示しない。そして、処理は終了する。
　図１３は、図１の符号化装置１０による参照画像変更処理を説明するフローチャートである。この参照画像変更処理は、例えば、符号化対象のノンイントラピクチャごとに行われる。
　ステップＳ３１において、参照画数決定部１９は、図２で説明した第１の決定方法や図３で説明した第２の決定方法により、参照画像のフィールド数を１に設定するかどうかを判定する。
　ステップＳ３１で参照画像のフィールド数を１に設定すると判定された場合、ステップＳ３２において、スライスヘッダ生成部１３は、参照画制御部２７のReferenceListFlagがMotionに設定されているかどうかを判定する。
　ステップＳ３２でReferenceListFlagがMotionに設定されていると判定された場合、ステップＳ３３において、スライスヘッダ生成部１３は、画像並べ変えバッファ１２から供給される符号化対象のピクチャがＢピクチャであるかどうかを判定する。
　ステップＳ３３で符号化対象のピクチャがＢピクチャであると判定された場合、ステップＳ３４において、スライスヘッダ生成部１３は、符号化対象のピクチャがトップフィールドのピクチャであるかどうかを判定する。
　ステップＳ３４で符号化対象のピクチャがトップフィールドのピクチャであると判定された場合、処理はステップＳ３５に進む。ステップＳ３５において、スライスヘッダ生成部１３は、スライスヘッダ内の符号化対象のピクチャより前の参照画像のフィールド数から１を減算した値を表す「num_ref_idx_l0_active_minus1」の値を０に設定する。即ち、スライスヘッダ生成部１３は、符号化対象のピクチャより前の参照画像のフィールド数が１であることをスライスヘッダに記述する。
　また、スライスヘッダ生成部１３は、スライスヘッダ内の符号化対象のピクチャより後の参照画像のフィールド数から１を減算した値を表す「num_ref_idx_l1_active_minus1」の値を０に設定する。即ち、スライスヘッダ生成部１３は、符号化対象のピクチャより後の参照画像のフィールド数が１であることをスライスヘッダに記述する。
　さらに、スライスヘッダ生成部１３は、スライスヘッダ内の符号化対象のピクチャより前の参照画像としてデフォルトの参照画像を用いるかどうかを表す「ref_pic_list_reordering_flag_l0」の値を、デフォルトの参照画像を用いないことを表す１に設定する。
　また、スライスヘッダ生成部１３は、符号化対象のピクチャより前のデフォルトの参照画像より時間距離が近い、符号化対象のピクチャより前のピクチャを、スライスヘッダ内の符号化対象のピクチャより前の参照画像の参照画像情報としてのリスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定する。例えば、符号化対象のピクチャが図６のＢピクチャ６１である場合、Ｉピクチャ４２より時間距離が近いＰピクチャ４３が、リスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定される。そして、処理は終了する。
　一方、ステップＳ３４で符号化対象のピクチャがトップフィールドのピクチャではないと判定された場合、即ち符号化対象のピクチャがボトムフィールドのピクチャである場合、処理はステップＳ３６に進む。
　ステップＳ３６において、スライスヘッダ生成部１３は、スライスヘッダ内の「num_ref_idx_l0_active_minus1」の値を０に設定するとともに、「num_ref_idx_l1_active_minus1」の値を０に設定する。
　また、スライスヘッダ生成部１３は、スライスヘッダ内の符号化対象のピクチャより後の参照画像としてデフォルトの参照画像を用いるかどうかを表す「ref_pic_list_reordering_flag_l1」の値を、デフォルトの参照画像を用いないことを表す１に設定する。
　さらに、スライスヘッダ生成部１３は、符号化対象のピクチャより後のデフォルトの参照画像より時間距離が近い、符号化対象のピクチャより後のピクチャを、スライスヘッダ内の符号化対象のピクチャより後の参照画像の参照画像情報としてのリスト「List1」の０番のインデックス「RefIdx0」のピクチャに設定する。例えば、符号化対象のピクチャが図７のＢピクチャ７１である場合、Ｐピクチャ５１より時間距離が近いＰピクチャ４１が、リスト「List1」の０番のインデックス「RefIdx0」のピクチャに設定される。そして、処理は終了する。
一方、ステップＳ３３で符号化対象のピクチャがＢピクチャではないと判定された場合、即ち符号化対象のピクチャがＰピクチャである場合、処理はステップＳ３７に進む。
　ステップＳ３７において、スライスヘッダ生成部１３は、スライスヘッダ内の「num_ref_idx_l0_active_minus1」の値を０に設定する。また、スライスヘッダ生成部１３は、デフォルトの参照画像より時間距離が近い、符号化対象のピクチャより前のピクチャをリスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定する。
　例えば、符号化対象のピクチャが図４のＰピクチャ４１である場合、Ｉピクチャ４２より時間距離が近いＰピクチャ４３が、リスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定される。また、符号化対象のピクチャが図５のＰピクチャ５１である場合、Ｐピクチャ４３より時間距離が近いＰピクチャ４１が、リスト「List0」の０番のインデックス「RefIdx0」のピクチャに設定される。そして、処理は終了する。
　一方、ステップＳ３２でReferenceListFlagがMotionに設定されていないと判定された場合、即ちReferenceListFlagがDefaultに設定されている場合、処理はステップＳ３８に進む。
　ステップＳ３８において、スライスヘッダ生成部１３は、画像並べ変えバッファ１２から供給される符号化対象のピクチャがＢピクチャであるかどうかを判定する。
　ステップＳ３８で符号化対象のピクチャがＢピクチャであると判定された場合、ステップＳ３９において、スライスヘッダ生成部１３は、スライスヘッダ内の「num_ref_idx_l0_active_minus1」の値を０に設定するとともに、「num_ref_idx_l1_active_minus1」の値を０に設定する。そして、処理は終了する。
　一方、ステップＳ３８で符号化対象のピクチャがＢピクチャではないと判定された場合、即ち符号化対象のピクチャがＰピクチャであると判定された場合、処理はステップＳ４０に進む。
　ステップＳ４０において、スライスヘッダ生成部１３は、スライスヘッダ内の「num_ref_idx_l0_active_minus1」の値を０に設定し、処理は終了する。
　また、ステップＳ３１で参照画像のフィールド数を１に設定しないと判定された場合、処理は終了する。この場合、例えば、通常の参照画像設定処理が行われる。
［本発明の効果の例の説明］
　図１４は、AVC規格のMacroblock prediction syntaxを示す図である。
　図１４の１９段落目および２０段落目に示すように、Macroblock prediction syntaxでは、「num_ref_idx_l0_active_minus1」が０より大きい場合に、リスト「List0」のRefIdxを読み出すことが記述されている。また、２２段落目および２３段落目に示すように、Macroblock prediction syntaxでは、「num_ref_idx_l1_active_minus1」が０より大きい場合に、リスト「List1」のRefIdxを読み出すことが記述されている。
　従って、「num_ref_idx_l0_active_minus1」および「num_ref_idx_l1_active_minus1」が０である場合、即ち、参照画像のフィールド数が１である場合、リスト「List0」およびリスト「List1」のRefIdxは読み出されない。よって、参照画像のフィールド数が１である場合、マクロブロック単位でオーバーヘッドが削減され、符号化効率が改善する。
　なお、上述した説明では、符号化対象のピクチャの動き量、ＭＥ残差、ＭＶ長、およびボケ量の全てに基づいて、参照画像が決定されたが、符号化対象のピクチャの動き量、ＭＥ残差、ＭＶ長、およびボケ量の少なくとも１つに基づいて、参照画像が決定されるようにしてもよい。
　また、参照画像の決定方法は、上述した方法に限定されない。例えば、参照画像の決定方法は、参照画像の複数の候補をそれぞれ参照画像として動き補償を施し、その結果得られる予測画像と符号化対象との差分の絶対値が最小になる参照画像の候補を参照画像として決定する方法であってもよい。本発明は、AVC方式以外の方式で符号化を行う符号化装置にも適用することができる。
[本発明を適用したコンピュータの説明]
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
　CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
　これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
　なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　１０　符号化装置，　１３　スライスヘッダ生成部，　１９　参照画数決定部

Claims (12)

  1. 　符号化された画像データのビットレートに基づいて、その符号化における参照ピクチャの枚数を１枚に決定する参照画数決定手段と、
    　前記参照画数決定手段により前記参照ピクチャの枚数が１枚に決定された場合、画像データの中から１枚の画像データを参照ピクチャとして決定する参照ピクチャ決定手段と
    　を備える符号化装置。
  2. 前記参照画数決定手段は、前記ビットレートが閾値以上である場合、前記参照ピクチャの枚数を１枚に決定する
    　請求項１に記載の符号化装置。
  3. 　前記参照画数決定手段は、前記符号化された画像データのビットレートと、所定のファイルサイズとに基づいて、前記参照ピクチャの枚数を１枚に決定する
    　請求項１に記載の符号化装置。
  4. 　前記参照画数決定手段は、前記符号化された画像データの各時刻のビットレートが、前記所定のファイルサイズに対応する各時刻のビットレートに基づく閾値以上である場合、前記参照ピクチャの枚数を１枚に決定する
    　請求項３に記載の符号化装置。
  5. 　前記参照画数決定手段は、前記符号化された画像データの各時刻のビットレートと、前記所定のファイルサイズに対応する各時刻のビットレートとに基づいて、各時刻において前記符号化された画像データのファイルサイズが、前記所定のファイルサイズを超過する量であるファイル超過量を予測し、前記ファイル超過量が閾値以上である場合、前記参照ピクチャの枚数を１枚に決定する
    　請求項３に記載の符号化装置。
  6. 　前記参照ピクチャ決定手段は、符号化対象のピクチャの動きを表す情報およびボケ量の少なくとも一方に基づいて、前記参照ピクチャを決定する
    　請求項１に記載の符号化装置。
  7. 　前記参照ピクチャ決定手段は、符号化対象のピクチャの動きを表す情報およびボケ量の少なくとも一方に基づいて、前記符号化対象のピクチャとフィールドの種類が同一のピクチャ、または前記符号化対象のピクチャとの時間距離が短いピクチャを、前記参照ピクチャとして決定する
    　請求項６に記載の符号化装置。
  8. 　前記参照ピクチャ決定手段は、前記動きを表す情報としての動き量、ＭＥ残差、およびＭＶ長が所定の閾値以上である場合、前記符号化対象のピクチャとの時間距離が短いピクチャを、前記参照ピクチャとする
    　請求項７に記載の符号化装置。
  9. 　前記参照ピクチャ決定手段は、前記動きを表す情報としての動き量、ＭＥ残差、およびＭＶ長が所定の閾値より小さい場合、前記符号化対象のピクチャとフィールドの種類が同一のピクチャを、前記参照ピクチャとする
    　請求項７に記載の符号化装置。
  10. 　前記参照ピクチャ決定手段は、前記動きを表す情報としての動き量、ＭＥ残差、およびＭＶ長の少なくとも１つが所定の閾値より小さく、かつ、前記ボケ量が所定の閾値以上である場合、前記符号化対象のピクチャとの時間距離が短いピクチャを、前記参照ピクチャとする
    　請求項７に記載の符号化装置。
  11. 　前記参照ピクチャ決定手段は、前記動きを表す情報としての動き量、ＭＥ残差、およびＭＶ長の少なくとも１つが所定の閾値より小さく、かつ、前記ボケ量が所定の閾値より小さい場合、前記符号化対象のピクチャとフィールドの種類が同一のピクチャを、前記参照ピクチャとする
    　請求項７に記載の符号化装置。
  12. 　符号化装置が、
    　符号化された画像データのビットレートに基づいて、その符号化における参照ピクチャの枚数を１枚に決定する参照画数決定ステップと、
    　前記参照画数決定ステップの処理により前記参照ピクチャの枚数が１枚に決定された場合、画像データの中から１枚の画像データを参照ピクチャとして決定する参照ピクチャ決定ステップと
    　を含む符号化方法。
PCT/JP2011/062647 2010-06-09 2011-06-02 符号化装置および符号化方法 WO2011155376A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180027153.XA CN102934442B (zh) 2010-06-09 2011-06-02 编码装置和编码方法
KR20127031451A KR20130118735A (ko) 2010-06-09 2011-06-02 부호화 장치 및 부호화 방법
EP11792333.4A EP2582139A4 (en) 2010-06-09 2011-06-02 CODING DEVICE AND CODING METHOD
US13/701,341 US9826227B2 (en) 2010-06-09 2011-10-05 Motion picture encoding apparatus and motion picture encoding method based on bit rate

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010131809A JP5625512B2 (ja) 2010-06-09 2010-06-09 符号化装置、符号化方法、プログラム、および記録媒体
JP2010-131809 2010-06-09

Publications (1)

Publication Number Publication Date
WO2011155376A1 true WO2011155376A1 (ja) 2011-12-15

Family

ID=45097984

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/062647 WO2011155376A1 (ja) 2010-06-09 2011-06-02 符号化装置および符号化方法

Country Status (6)

Country Link
US (1) US9826227B2 (ja)
EP (1) EP2582139A4 (ja)
JP (1) JP5625512B2 (ja)
KR (1) KR20130118735A (ja)
CN (1) CN102934442B (ja)
WO (1) WO2011155376A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9210432B2 (en) * 2012-10-08 2015-12-08 Google Inc. Lossless inter-frame video coding
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
JP2017158173A (ja) * 2016-02-26 2017-09-07 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198514A (ja) * 1997-09-19 1999-04-09 Sony Corp 画像符号化装置および方法
WO2000064187A1 (en) * 1999-04-19 2000-10-26 Sony Corporation Image encoding device and its method
JP2008004983A (ja) * 2006-06-20 2008-01-10 Sony Corp 画像理装置および方法、プログラム、並びに記録媒体
JP2008011117A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法
JP2010063092A (ja) 2008-08-05 2010-03-18 Panasonic Corp 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5875305A (en) * 1996-10-31 1999-02-23 Sensormatic Electronics Corporation Video information management system which provides intelligent responses to video data content features
US20020154694A1 (en) * 1997-03-21 2002-10-24 Christopher H. Birch Bit stream splicer with variable-rate output
WO1999038333A1 (en) * 1998-01-26 1999-07-29 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. One-pass variable bit rate moving pictures encoding
EP1090495A1 (en) 1999-04-21 2001-04-11 Ranjeet Nabha Method and system for the provision of internet-based information in audible form
US20020165970A1 (en) * 2001-05-02 2002-11-07 Carl Ludewig System and method for intelligent bit rate and buffer selection
US7206453B2 (en) * 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
KR20050098251A (ko) * 2003-01-20 2005-10-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩
BRPI0413979A (pt) * 2003-08-26 2006-11-07 Thomson Licensing método e aparelho para minimizar o número de imagens de referência usadas para inter-codificação
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
JP4405367B2 (ja) * 2004-08-27 2010-01-27 パナソニック株式会社 映像信号の予測符号化における参照フィールドの決定方法
US20080063387A1 (en) * 2004-09-24 2008-03-13 Hiroshi Yahata Data Processor
JP5198869B2 (ja) * 2004-12-02 2013-05-15 トムソン ライセンシング ビデオエンコーダのレート制御のための量子化パラメータの決定
US8031774B2 (en) * 2005-01-31 2011-10-04 Mediatek Incoropration Video encoding methods and systems with frame-layer rate control
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
WO2007040197A1 (ja) * 2005-10-05 2007-04-12 Matsushita Electric Industrial Co., Ltd. 参照画像選択方法および装置
US7898950B2 (en) * 2006-08-18 2011-03-01 Microsoft Corporation Techniques to perform rate matching for multimedia conference calls
KR101442601B1 (ko) * 2007-11-28 2014-09-19 삼성전자주식회사 파일의 타겟 압축율 결정방법 및 장치
WO2009071803A1 (fr) * 2007-11-28 2009-06-11 France Telecom Codage de mouvement sans transmission d' information de mouvement, et decodage
KR100968371B1 (ko) * 2008-04-25 2010-07-06 주식회사 코아로직 영상의 복호화 방법 및 장치
JP4999991B2 (ja) * 2008-06-05 2012-08-15 日本電信電話株式会社 映像符号量制御方法、映像符号量制御装置、映像符号量制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
EP2314072B1 (en) * 2008-07-16 2014-08-27 SISVEL International S.A. Track and track-subset grouping for multi view video decoding.
US20110110422A1 (en) * 2009-11-06 2011-05-12 Texas Instruments Incorporated Transmission bit-rate control in a video encoder

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198514A (ja) * 1997-09-19 1999-04-09 Sony Corp 画像符号化装置および方法
WO2000064187A1 (en) * 1999-04-19 2000-10-26 Sony Corporation Image encoding device and its method
JP2008004983A (ja) * 2006-06-20 2008-01-10 Sony Corp 画像理装置および方法、プログラム、並びに記録媒体
JP2008011117A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法
JP2010063092A (ja) 2008-08-05 2010-03-18 Panasonic Corp 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2582139A4 *

Also Published As

Publication number Publication date
CN102934442A (zh) 2013-02-13
US9826227B2 (en) 2017-11-21
US20130077671A1 (en) 2013-03-28
JP5625512B2 (ja) 2014-11-19
JP2011259197A (ja) 2011-12-22
CN102934442B (zh) 2017-04-26
EP2582139A4 (en) 2014-01-01
KR20130118735A (ko) 2013-10-30
EP2582139A1 (en) 2013-04-17

Similar Documents

Publication Publication Date Title
RU2736421C1 (ru) Способ кодирования и декодирования изображений и устройство кодирования и декодирования
US8189666B2 (en) Local picture identifier and computation of co-located information
US9077968B2 (en) Image processing apparatus and method, and program
US8630347B2 (en) Video decoding apparatus and video decoding method
JPWO2010001999A1 (ja) 動画像符号化／復号化方法及び装置
JP2009089332A (ja) 動き予測方法及び動き予測装置
WO2011155376A1 (ja) 符号化装置および符号化方法
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
JP5489557B2 (ja) 画像符号化装置及び画像符号化方法
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
JP5007761B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
US20070147515A1 (en) Information processing apparatus
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
JP2006246277A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
JP5760950B2 (ja) 動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラム
WO2014006959A1 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
JP2006295734A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
RU2808075C1 (ru) Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы
JP6646125B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP2012070153A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP4561701B2 (ja) 動画像符号化装置
EP2403250A1 (en) Method and apparatus for multi-standard video coding
JP4406887B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2008245237A (ja) 画像処理方法、画像処理装置およびそれを用いた撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180027153.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792333

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011792333

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20127031451

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13701341

Country of ref document: US

Ref document number: 10058/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE