WO2009096366A1 - 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
WO2009096366A1
WO2009096366A1 PCT/JP2009/051217 JP2009051217W WO2009096366A1 WO 2009096366 A1 WO2009096366 A1 WO 2009096366A1 JP 2009051217 W JP2009051217 W JP 2009051217W WO 2009096366 A1 WO2009096366 A1 WO 2009096366A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoded data
decoding
target
encoding
unit
Prior art date
Application number
PCT/JP2009/051217
Other languages
English (en)
French (fr)
Inventor
Toshiyuki Yoshida
Tomoko Aono
Norio Itoh
Toshio Nomura
Tomohiro Ikai
Takeshi Tsukuba
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to US12/865,054 priority Critical patent/US8599919B2/en
Publication of WO2009096366A1 publication Critical patent/WO2009096366A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a moving image encoding apparatus and decoding apparatus, and in particular, a moving image encoding / decoding system including a buffer for encoding and decoding moving images at a desired bit rate, and a moving image encoding apparatus used therefor And a moving picture decoding apparatus.
  • a moving image When a moving image is digitized and transmitted through a network represented by the Internet or the like, the amount of data is enormous. Therefore, a moving image is usually encoded to reduce the amount of data.
  • bit rate encoding and variable bit rate encoding as methods for controlling the amount of encoded data.
  • a buffer 1002 is provided between the encoding device 1001 and the transmission line to absorb the fluctuation of the code amount in the short term, and the past generated code amount and buffer remaining capacity.
  • the amount of generated code is controlled to match the transmission bit rate by applying feedback control based on the above.
  • the term “encoding device” may be used including the buffer.
  • FIG. 18 is an example of rate control based on encoding difficulty, where (a) shows the relationship between encoding difficulty and time, (b) shows the relationship between target bit rate and time, and (c) shows the relationship between code amount and time. Show.
  • the target bit rate for the scenes in the periods Ta and Tb in which the encoding difficulty immediately before this scene is low is set small, and the generated code Keep the amount small and increase the remaining buffer capacity. Then, by using the remaining capacity of the buffer, the target bit rate for the scene in the period Tc is set high, and the occurrence probability of image quality deterioration in a scene difficult to encode is reduced.
  • variable bit rate coding is a method that can be used for transmission in a high-speed packet network, and has been studied in ATM (Asynchronous Transfer Mode) video coding (Non-Patent Document 1 described later).
  • ATM Asynchronous Transfer Mode
  • Non-Patent Document 1 described later.
  • ideal variable bit rate encoding only necessary information needs to be encoded, and there is an advantage that a constant image quality can be maintained.
  • hierarchical coding is to divide and transmit video signal information into information of a plurality of layers.
  • a hierarchical encoding scheme as shown in FIG. 19 is examined, and encoded data is transmitted through a plurality of transmission paths.
  • Hierarchization is performed on the basis of low quality to high quality, low rate to high rate, low resolution to high resolution, and the like.
  • the hierarchical encoding method shown in FIG. 19 is called a feedback type, and sequentially encodes the difference between a video signal transmitted in a lower hierarchy and an input video signal in a higher hierarchy.
  • an encoding apparatus 1100 that encodes an input video signal in each layer is provided, and the signals encoded by these are transmitted to the decoding apparatus 1300 via the transmission network 1200 through respective transmission channels.
  • the decoding device 1300 decodes the received signal and reproduces it.
  • the encoding apparatus 1100 includes an encoder 1101 that encodes an input video signal and a local decoder 1102 that decodes the encoded signal, and the video signal decoded by the local decoder 1102 and a lower layer. The difference between the input video signal and the input video signal is used as the input video signal to the next layer.
  • Patent Document 2 described later describes a case of two layers.
  • the encoded data is separated into a part (MSP) important for image quality and a part (LSP) that is not important, packetized using only MSP or LSP, and combined with an identifier indicating whether MSP or LSP is included.
  • MSP part
  • LSP part
  • the MSP is transmitted in the high priority transmission class
  • the LSP is transmitted in the low priority transmission class.
  • JP 2001-69463 A Japanese Patent Laid-Open No. 4-111695 Masahiro Wada, 1991 Image Coding Symposium PCSJ91, p239-p242
  • Patent Document 1 a buffer is provided between the encoding device and the transmission line to absorb short-term fluctuations in the code amount. Therefore, if a scene that is difficult to encode continues for a long time, fluctuations in the code amount cannot be absorbed, and deterioration in image quality cannot be suppressed.
  • the period in which the fluctuation of the code amount can be absorbed depends on the buffer size of the decoding device, and this is determined by the specification of the communication service. Therefore, there is a problem that the code amount cannot be changed beyond this size.
  • the present invention performs moving picture coding / decoding that performs constant bit rate coding using a single transmission line and prevents the picture quality from deteriorating by keeping the moving picture quality constant. It is an object of the present invention to provide a system, and a moving image encoding device and a moving image decoding device used therefor.
  • the present invention relates to a moving image encoding / decoding system including a moving image encoding device and a moving image decoding device.
  • the moving image encoding apparatus includes a code amount predicting unit that predicts a code amount necessary to realize a predetermined image quality to be a target, and a target amount code that encodes a moving image with a predetermined target code amount or less.
  • the code amount predicted by the encoding unit and the code amount prediction unit exceeds the target code amount, at least one for encoding information necessary to satisfy the target image quality for a portion exceeding the target code amount
  • the moving picture decoding apparatus is sent from the moving picture coding apparatus and information reading means for reading the additional information from the target amount coded data and the excess coded data sent from the moving picture coding apparatus.
  • a decoding buffer for storing the target amount encoded data, the excess encoded data, and the read additional information, a target amount decoding unit for decoding the target amount encoded data, and at least one for decoding the excess encoded data
  • the target amount encoded data stored in the decoding buffer comprising two excess decoding units, a target amount decoding unit, and a combining unit that combines the decoded images decoded by the excess decoding unit and outputs the combined image
  • the over-encoded data are decoded according to the additional information or a criterion of the video decoding device.
  • the present invention provides a code amount prediction unit that predicts a code amount necessary to realize a predetermined image quality to be a target, and a target amount encoding unit that encodes a moving image with a predetermined target code amount or less. And, when the code amount predicted by the code amount prediction unit exceeds the target code amount, at least one excess for encoding information necessary to satisfy the target image quality for a portion exceeding the target code amount
  • a moving picture coding apparatus wherein the excess encoded data is transmitted in combination with the target amount encoded data so that the total amount of encoded data transmitted at each time is equal to or less than a predetermined code amount.
  • the information adding means may add information indicating a decoding time to the target amount encoded data and the excess encoded data transmitted at each time, or transmitted at each time.
  • a delay estimation value may be added to the target amount encoded data, or discard information may be added to the excess encoded data transmitted at each time.
  • the present invention predicts a target amount encoded data obtained by encoding a moving image with a predetermined target code amount or less and a code amount necessary to realize a predetermined image quality to be a target, and the predicted code amount Is added to over-encoded data that encodes information necessary to satisfy the target image quality that is hierarchized into at least one layer for a portion that exceeds the target code amount.
  • An information reading means for reading additional information for decoding; a decoding buffer for storing the target amount encoded data, the excess encoded data, and the read additional information; and a target amount for decoding the target amount encoded data A decoding unit; at least one excess decoding unit that decodes the excess encoded data; and a synthesis unit that combines the decoded images decoded by the target amount decoding unit and the excess decoding unit and outputs the combined image
  • a moving picture decoding apparatus wherein the target amount encoded data and the excess encoded data stored in the decoding buffer are decoded according to the additional information or a determination criterion of the moving picture decoding apparatus. is there.
  • the moving image decoding apparatus includes a management unit that manages information indicating a decoding time added to the target amount encoded data and the excess encoded data, and the target amount decoding unit and the excess decoding unit are synchronized with each other. It makes it possible to decode the encoded data.
  • the excess encoded data stored in the decoding buffer is discarded, and a new target amount encoding is performed.
  • an index that determines which part of the excess encoded data stored in the decoding buffer is discarded is the decoding time added to the encoded data.
  • the encoding and decoding order and the transmission order are not the same, there is an effect that the total amount of codes can be reduced while maintaining a constant image quality as compared with the conventional method. In other words, when the code amount is the same as that of the conventional method, the image quality can be improved.
  • the quality of the reproduced image can be improved according to the resources of the decoding device.
  • a decoding device having a large-capacity buffer can reproduce an image with less image quality degradation than a decoding device that does not.
  • Fig. 5 is a diagram for explaining a method of transmitting generated code amounts and enhancement layer encoded data in each layer in Fig. 4. It is a figure explaining another transmission method of the coding data of an enhancement layer.
  • Base layer encoding unit (target amount encoding unit) 102 Separation unit 103 Enhancement layer coding unit (excess coding unit) 104 buffer 105 packetizing unit 106 image quality / rate control unit 107 code amount prediction unit 108 switch 201 orthogonal transform unit 204 rate control unit 209 motion compensation unit 210 motion detection unit 211 intra prediction unit 212 subtraction unit 213 prediction mode determination unit 801 buffer 802 Base layer decoding unit (target amount decoding unit) 803 Enhancement layer decoding unit (excess decoding unit) 805 Data management unit 901 Variable length decoding unit 902 Inverse quantization unit 903 Inverse orthogonal transformation unit 904 Addition unit 905 Frame memory 906 Motion compensation unit 907 Intra prediction unit 1001 Encoding device 1002 Buffer 1100 Encoding device 1101 Encoder 1102 Local decoding 1200 Transmission network 1300 Decoding device
  • the content while transmitting at a constant bit rate, the content is divided into a plurality of layers and encoded.
  • the bit rate of each layer is a variable bit rate, but the total bit rate of all layers is controlled to be constant.
  • FIG. 1 is a block diagram of an encoding apparatus showing a first embodiment of the present invention.
  • 101 is a base layer encoding unit (target amount encoding unit) that encodes an input image as a base layer
  • 102 is a separation unit that separates an image to be encoded as an enhancement layer from the input image
  • 103 is an enhancement layer encoding
  • 104 is a buffer for storing encoded data of the base layer encoding unit 101 and the enhancement layer encoding unit 103
  • 105 is a packetizing encoded data stored in the buffer 104.
  • the base layer encoding unit 101 and the enhancement layer encoding unit 103 are MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC, VC1, etc., which are generally used as moving image encoding methods. Absent. An example of the base layer encoding unit 101 and the enhancement layer encoding unit 103 is shown in FIG.
  • FIG. 2 is a block diagram of a coding unit that realizes general motion compensation + transform coding, in which 201 is an orthogonal transform unit, 202 is a quantization unit that quantizes transform coefficients, and 203 is a quantized transform coefficient.
  • a variable length encoding unit that encodes a motion vector, a prediction mode, and the like (not shown)
  • 204 is a rate control unit that monitors a generated code amount and controls a quantization width and the like to match the target code amount
  • 205 is quantized
  • 206 an inverse orthogonal transform unit that inversely transforms the inversely quantized transform coefficient
  • 207 an addition unit that adds the predicted image and the inversely transformed prediction error
  • 208 Is a frame memory for storing a locally decoded image
  • 209 is a motion compensation unit that creates a prediction image by performing motion compensation from a motion vector and a past local decoded image
  • 210 is a motion detection unit that searches for a motion vector
  • 21 Is an intra prediction unit that performs intra prediction from locally decoded pixel values in the same image and creates a prediction image
  • 212 is a subtraction unit that calculates a difference
  • the intra prediction unit 211 is not provided, and an input image is directly input to the orthogonal transform unit 201, and there is an example in which the motion detection unit 210, the motion compensation unit 209, and the like are not provided.
  • the input image is an original image or an original image subjected to preprocessing such as filtering.
  • the input image is separated by the separation unit 102. It is an image encoded as an enhancement layer from an original image, or an image obtained by performing processing such as filtering on the separated image.
  • the configurations of the base layer encoding unit 101, the separation unit 102, and the enhancement layer encoding unit 103 may be the same as the conventional hierarchical encoding.
  • control for adjusting the generated code amount to a predetermined target code amount is performed to generate each of the base layer and the enhancement layer.
  • the code amount is adjusted to a predetermined target code amount.
  • the base layer and enhancement layer target values calculated by the image quality / rate control unit 106 in FIG. 1 are notified, and according to the dynamically changing target code amount.
  • the control of the amount of generated code is different from the conventional one. The operation of the image quality / rate control unit 106 in FIG. 1 will be described later.
  • the code amount prediction unit 107 calculates the activity of each input image, and predicts the generated code amount based on this. For example, as shown in FIG. 3, the relationship between the activity when the quantization width is fixed and the predicted value of the generated code amount is obtained for each quantization width (QP) by an experiment or the like and stored in advance. The code amount predicted based on the activity obtained here and the quantization width notified from the image quality / rate control unit 106 is output to the image quality / rate control unit 106.
  • the image quality / rate control unit 106 notifies the code amount prediction unit 107 of the quantization width necessary for realizing a constant image quality, and the prediction code amount notified from the code amount prediction unit 107 based on this is the target code amount.
  • the prediction code amount is transmitted to the base layer encoding unit 101 as the base layer target code amount Rb, the switch 108 is turned off, and the enhancement layer encoding unit 103 is not operated.
  • the target code amount Rt corresponds to a fixed transmission bit rate and does not change.
  • the target code amount Rt is transmitted to the base layer encoding unit 101 as the base layer target code amount Rb, and (prediction code amount)
  • the target code amount Rt) is notified to the enhancement layer encoding unit 103 as the target code amount Re of the enhancement layer, the switch 108 is turned on, and the enhancement layer encoding unit 103 is operated.
  • Base layer encoding section 101 and enhancement layer encoding section 103 each control the code amount according to target code amounts Rb and Re notified from image quality / rate control section 106.
  • the code amount predicted by the code amount prediction unit 107 is equal to or less than the target code amount Rt, and in the images n, n + 1, and n + 4, the predicted code amount Exceeds the target code amount Rt.
  • the prediction code amount of the image i (n ⁇ 3 ⁇ i ⁇ n + 4) is Ci
  • FIG. 5 shows the operation of the image quality / rate control unit 106 as a flowchart.
  • the image quality / rate control unit 106 confirms whether the predicted code amount Ci is equal to or less than the target code amount Rt (step S501).
  • the prediction code amount Ci is output to the base layer encoding unit 101 (step S502).
  • the switch 108 is turned off (step S503).
  • step S501 When the predicted code amount Ci exceeds the target code amount Rt (step S501; N), the target code amount Rt is output to the base layer encoding unit 101 (step S504). Then, the switch 108 is turned on, and (predicted code amount Ci ⁇ target code amount Rt) is output to the enhancement layer encoding unit 103 (step S505).
  • the base layer when the base layer always encodes an image with the target code amount Rt or less and the base layer image quality is insufficient, the difference layer is encoded with the enhancement layer. Therefore, the base layer encoded data and the enhancement layer When the encoded data is decoded and added, an image with a certain image quality can be obtained.
  • the encoded data of the base layer is referred to as encoded data B
  • the encoded data of the enhancement layer is referred to as encoded data E.
  • the encoded data encoded by the base layer encoding unit 101 and the enhancement layer encoding unit 103 is stored in the buffer 104.
  • the encoded data B that is equal to or less than the target code amount Rt is output to the buffer 104, and in the images n, n + 1, and n + 4, almost the target code amount is encoded.
  • Data B and encoded data E are output to the buffer 104. This is shown in FIGS. 6 (a) and 6 (b).
  • FIG. 6A shows the code amount of the encoded data of the base layer
  • FIG. 6B shows the code amount of the encoded data of the enhancement layer.
  • the enhancement layer code amount When the enhancement layer code amount is added, the images n, n + 1, and n + 4 exceed the target code amount Rt, so the encoded data E is the code of the images n-3, n-2, and n ⁇ 1 that do not satisfy the target code amount. Together with the digitized data B, it is sent to the transmission line.
  • FIG. 6C shows how the transmission code amount is allocated.
  • the base layer, the layer layer identifier indicating the enhancement layer, the decoding time, and the enhancement layer are further added to the top of the encoded data of the base layer and enhancement layer of each image, and the spatial hierarchy, temporal hierarchy, image quality hierarchy, ROI Information such as a delay estimation value is added to the type of hierarchical encoding such as (Region Of Interest) and the base layer.
  • a layer identifier is also added to the packet header.
  • the reception side can know the layer of encoded data, the decoding time, the type of layer, and the like.
  • the transmission order of encoded data is not necessarily the same as the decoding order as shown in FIG.
  • the encoded data E of the images n, n + 1, n + 4 is sent simultaneously with the encoded data B of the images n-3, n-2, n-1 to be decoded before this, so there is no decoding time.
  • the receiving side cannot perform normal decryption processing.
  • the enhancement layer hierarchical coding method is not limited, and various hierarchical coding methods such as space, time, SNR, and ROI hierarchy can be used. Therefore, it is possible to inform the receiving side by adding the type of hierarchical encoding to be used.
  • Encoding can be performed without degrading the image quality at a constant bit rate.
  • the encoding (decoding) order and the transmission order are different, a delay occurs.
  • the delay is large, there is an advantage that the probability of image quality deterioration is further reduced because the degree of code amount is appropriately combined and the degree of freedom to make the amount of code to be sent widens.
  • the delay is small, the difference in image quality from the conventional method is small.
  • the reception-side buffer can store all of the encoded data B, and by decoding only the encoded data B, the image quality in the conventional method is improved. Can be almost realized.
  • the receiving side can know in advance how much delay will occur.
  • the delay estimation value may be a maximum value or an average value of the delay, but the transmission side and the reception side should have the same meaning.
  • the encoding device can record the history of the amount of code encoded so far, the importance of the encoded data E currently stored in the buffer 104 is greater than the encoded data E transmitted so far. If it is too high, a notification of discarding the encoded data E transmitted so far can be added to the head of the encoded data, so that the decoding apparatus can be notified of the discard of the encoded data E transmitted so far. For example, after the encoding of the image m (m> n + 4) is completed, when the encoded data E of the image n that has already been transmitted is to be discarded, the number n of the image to be discarded is transmitted together with the encoded data of the image m.
  • the encoded data E of the image n By discarding the encoded data E of the image n, the remaining capacity of the buffer on the receiving side is increased, and the encoded data E of the image m determined to be important by the encoding device may be preferentially stored in the buffer on the receiving side. it can. Further, not only a specific image but also all the encoded data E sent so far can be notified to be discarded.
  • the encoded data is stored in the buffer 104 for a predetermined time, and the encoded data E is sent together with the encoded data B encoded in the past in time so-called encoded data E post-sending.
  • FIG. 7 ((a) is the predicted code amount of the encoded data, (b) is the code amount of the encoded data of the base layer, and (c) is the code amount of the encoded data of the enhancement layer)
  • the present invention can also be realized by so-called post-encoding of the encoded data E in which the encoded data E of the images n and n + 1 are transmitted together with the encoded data B of the images n + 4 and n + 5.
  • the base layer 1 and the enhancement layer 1 are two layers.
  • a plurality of enhancement layers can be provided.
  • the types of enhancement layers increase, the number of layers added to the head of encoded data increases, and different types of layer encoding can be combined for each layer. It is also possible to prioritize the enhancement layer and add information indicating the priority order to the head of the encoded data. Note that the enhancement layer does not always exist, and the enhancement layer may not exist if sufficient image quality can be ensured only by the base layer.
  • the bit rate for each layer of the base layer and the enhancement layer fluctuates with time
  • the total bit rate for all layers is always constant, so that new processing is performed on the transmission network side. (Traffic monitoring, encoding parameter declaration, etc.) are unnecessary. That is, the probability of image quality deterioration can be reduced by changing only the encoding device and the decoding device.
  • FIG. 8 is a block diagram of a decoding apparatus that implements the second embodiment of the present invention. Similar to the first embodiment, the case of two layers (base layer 1 and enhancement layer 1) will be described.
  • 801 is a buffer for temporarily storing encoded data
  • 802 is a base layer decoding unit (target amount decoding unit) for decoding the encoded data of the base layer
  • 803 is an enhancement layer decoding unit (excess) for decoding the encoded data of the enhancement layer A decoding unit)
  • 804 is a synthesizing unit that synthesizes the decoded image of the enhancement layer when the decoded image of the enhancement layer exists
  • 805 reads the additional information at the head of the received encoded data, and performs encoding according to the information
  • This is a data management unit that performs management such as storing the digitized data in the buffer 801 or outputting the data to the base layer decoding unit 802 and the enhancement layer decoding unit 803.
  • the encoded data of the base layer is referred to as encoded data B
  • the encoded data of the enhancement layer is referred to as encoded data E.
  • the base layer decoding unit 802 and the enhancement layer decoding unit 803 are MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC, VC1, and the like that are generally used as moving image encoding methods, regardless of the method.
  • the decoding process corresponding to the base layer encoding unit 101 and the enhancement layer encoding unit 103 in FIG. 1 is performed.
  • FIG. 901 is a variable length decoding unit that performs variable length decoding on the received encoded data
  • 902 is an inverse quantization unit that inversely quantizes the variable length decoded coefficient
  • 903 is an inverse orthogonal transformation unit that performs inverse orthogonal transformation on the inversely quantized coefficient.
  • 904 is an adder that adds the prediction image and the prediction error that is the output of 903
  • 905 is a frame memory that stores the decoded image
  • 906 is a decoded image that is stored in the frame memory, and is decoded by the variable length decoding unit
  • a motion compensation unit that calculates a prediction image using a motion vector and a prediction type (not shown)
  • 907 is an intra prediction unit that performs intra prediction from decoded pixel values in the same image stored in the frame memory.
  • the input of the variable length decoding unit 901 is encoded data B
  • the input of the variable length decoding unit 901 is encoded data E.
  • Reference numeral 805 reads out the encoded data and the layer identifier added to its head, the decoding time, the type of layer encoding, the estimated delay value, the discard information of the encoded data E, and the like from the received packet.
  • the data management unit 805 has the management table shown in FIG. 10 as an example, and manages the additional information and the storage address of the encoded data in the buffer 801 with the management table.
  • the encoded data is a base layer or an enhancement layer based on the hierarchy identifier, and the encoded data is written in an area for storing the base layer or enhancement layer in the buffer 801.
  • the address on the buffer 801 where the encoded data of the base layer or the enhancement layer is written next, and the address on the buffer 801 where the encoded data output to the base layer decoding unit 802 and the enhancement layer decoding unit 803 are also managed. To do.
  • This address may be an absolute address on the buffer 801 or may be a relative address from the head address storing the encoded data.
  • the data management unit 805 When the decoding time is reached by the management table and time information (not shown), the data management unit 805 outputs the encoded data of the corresponding base layer or enhancement layer to the base layer decoding unit 802 or enhancement layer decoding unit 803, The corresponding encoded data record is deleted from the management table of FIG.
  • the size of the buffer 801 is larger than the standard or the specification of the application, it may not be necessary to delete the encoded data E. If another application needs to have a larger buffer and the decoding apparatus has a larger buffer than that stipulated in the standard etc., it can be used for decoding without deleting the encoded data E Therefore, it is possible to reproduce an image with less image quality degradation than a decoding device having a minimum buffer defined by the standard.
  • a mobile phone is required to have a MPEG-4 SP @ Level0 compliant decoding device according to the 3GPP regulations, but as a unique specification for each terminal, self-recording / playback has an MPEG-4 SP @ Level3 compliant buffer.
  • the MPEG-4 SP @ Level0 compliant buffer size is 20480 bytes
  • the MPEG-4 SP @ Level3 compliant buffer size is 81920 bytes.
  • An MPEG-4 SP @ Level0 compliant application decodes encoded data that can be decoded with a buffer size of 20480 bytes or less.
  • the usable buffer size is 81920 bytes. is there. That is, the code amount of the enhancement layer that can be decoded differs depending on the buffer capacity of the decoding device.
  • the MPEG-4 SP @ Level0 compliant decoding device stores the encoded data B in the buffer, and therefore it is necessary to discard part or all of the encoded data E remaining in the buffer.
  • the MPEG-4 SP @ Level3-compliant decoding device does not need to discard the encoded data E remaining in the buffer, the image quality degradation can be reduced as compared with the MPEG-4 SP @ Level0-compliant decoding device. .
  • the encoded data B can all be decoded even by a decoding device compliant with MPEG-4 SP @ Level0, so the image quality equivalent to that of the conventional method is guaranteed. Therefore, when the buffer size of the decoding device is large, an image with less image quality degradation can be decoded.
  • ⁇ Modification 1> In the second embodiment of the present invention, the example in which the image quality degradation of the decoded image is reduced by the buffer size of the decoding device has been described.
  • the criterion for discarding the encoded data E here is the buffer size of the decoding device.
  • the encoded data E can be discarded based on the initial delay and the load on the receiving terminal. is there. For example, in the case of the postponement of the enhancement layer shown in FIG. 7, since encoded data is transmitted in the order shown in FIG. 14, to display image n, until En4 is received and stored in the buffer 801 I need to wait.
  • the initial delay can be reduced by decoding only the encoded data B even if the image quality is slightly worse for a certain period. At this time, it is possible to determine whether or not to discard the encoded data E based on the delay estimation amount added to the head of the encoded data.
  • the encoded data E with the oldest decoding time can be discarded.
  • an enhancement layer to be discarded can be selected according to the type and priority of enhancement layer hierarchy coding described in the first embodiment of the present invention.
  • the encoded data E belonging to the hierarchical encoding type which is not important in the receiving terminal is discarded.
  • the display screen of the receiving terminal is QCIF size
  • the spatial hierarchy for realizing QVGA and CIF is unnecessary. Therefore, the enhancement layer having the spatial hierarchy is discarded.
  • the enhancement layer with priority 2 may be discarded.
  • the encoding device adds the discard information of the encoded data E
  • the buffer in the decoding device is insufficient and the encoded data E of the image instructed to be discarded by the encoding device remains in the buffer, This encoded data E can be discarded.
  • the management table is checked and the encoded data E corresponding to the enhancement layer of the image n is deleted.
  • the receiving terminal when the buffer of the decoding device is insufficient, it is best for the receiving terminal by discarding the encoded data E using the criterion for discarding the encoded data E possessed by the decoding device and the additional information from the encoding device.
  • the encoded data E can be discarded, and the image quality can be improved depending on the performance of the decoding apparatus.
  • the unit of discard of the encoded data E depends on the encoding method of the encoding device. If the encoded data E is not used for prediction of subsequent images, it can be discarded for each image and used for prediction. In this case, it is discarded in units of GOP (Group Of Video) or GOV (Group Of Video Video object plane).
  • GOP Group Of Video
  • GOV Group Of Video Video object plane
  • the buffer 801 may be realized by a FIFO as described above or may be realized by a RAM. In the case of the RAM, random access is possible. Therefore, it is only necessary to assign the data discarded area to the newly received encoded data and write the address and additional information in the management table. In the case of FIFO, it is necessary to process the encoded data continuously by filling the area where the discarded encoded data is allocated with the encoded data E that has not been discarded before. is there. Along with this, it is necessary to update the management table.
  • FIG. 15B shows a management table updated by discarding En + 1 in the management table of FIG. As shown in FIG. 15A, in the buffer 801, En + 1 is discarded, and En existing before that is packed and recorded, thereby securing an area for writing the encoded data Bn + 3. Along with this, the address of En is updated in the management table.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　画質・レート制御部１０６は、予測符号量Ｃｉが目標符号量Ｒｔ以下であるかを確認する。予測符号量Ｃｉが目標符号量Ｒｔ以下の場合、ベースレイヤ符号化部１０１に予測符号量Ｃｉを出力する。そして、スイッチ１０８をオフにする。予測符号量Ｃｉが目標符号量Ｒｔを超える場合、ベースレイヤ符号化部１０１に目標符号量Ｒｔを出力する。そしてスイッチ１０８をオンにし、エンハンスメントレイヤ符号化部１０３に対し（予測符号量Ｃｉ－目標符号量Ｒｔ）を出力する。バッファ１０４は、ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３の符号化データを格納する。 　こうして、１本の伝送路を用いて固定ビットレート符号化を行いつつ、動画像の画質を一定にして画質劣化を防ぐようにする。

Description

動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置
　本発明は動画像の符号化装置および復号装置に関し、特に動画像を所望のビットレートで符号化、復号するためのバッファを備えた動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置に関する。
　動画像をデジタル化してインターネット等に代表されるネットワークを介して伝送する場合、そのデータ量が膨大であることから、通常、動画像を符号化し、データ量を削減することが行われている。
　この時、符号化データ量を制御する方法として、固定ビットレート符号化と可変ビットレート符号化とがある。固定ビットレート符号化は、図１７に示すように、符号化装置１００１と伝送路の間にバッファ１００２を設け、短期間の符号量の変動を吸収すると共に、過去の発生符号量やバッファ残容量に基づいてフィードバック制御をかける等により、発生符号量が伝送ビットレートと一致するよう制御する方式である。なお、バッファまで含めて符号化装置と呼ぶこともある。
　例えば後述する特許文献１では、符号化困難さの高いシーンを連続して符号化する場合に、目標ビットレートを確保するため、符号化困難さの低いシーンの目標ビットレートを小さく設定する方法をとっている。図１８は符号化困難さによるレート制御の一例であり、（ａ）は符号化困難さと時間の関係、（ｂ）は目標ビットレートと時間の関係、（ｃ）は符号量と時間の関係を示している。具体的には図１８では、期間Ｔｃのシーンの符号化困難さが高いため、このシーンの直前にある符号化困難さが低い期間Ｔａ、Ｔｂのシーンに対する目標ビットレートを小さく設定し、発生符号量を小さく抑え、バッファの残容量を大きくする。そしてこのバッファの残容量を利用して、期間Ｔｃのシーンに対する目標ビットレートを高く設定し、符号化困難なシーンでの画質劣化の発生確率を小さくする。
　一方、可変ビットレート符号化は、高速パケット網での伝送において使用可能な方式であり、ＡＴＭ（非同期転送モード）ビデオ符号化等で研究されてきた（後述する非特許文献１）。理想的な可変ビットレート符号化では必要な情報のみ符号化すればよく、一定の画質が保てるというメリットがある。
　ところで、階層符号化はビデオ信号情報を複数階層の情報に分割して伝送するものである。ここでは図１９に示すような階層符号化方式が検討され、複数の伝送路を通して符号化データが伝送される。階層化は、低品質から高品質、低レートから高レート、低解像度から高解像度などの基準で行われる。図１９に示す階層符号化方式は、フィードバック型と呼ばれるものであり、低階層で伝送されたビデオ信号と入力ビデオ信号との差を、順次より高位の階層で符号化していくものである。
　すなわち、各階層で入力ビデオ信号を符号化する符号化装置１１００を備え、これらが符号化した信号をそれぞれの伝送チャンネルで伝送網１２００を介して復号装置１３００に伝送する。復号装置１３００は受信した信号を復号して再生する。ここで符号化装置１１００は、入力ビデオ信号を符号化する符号化器１１０１と、符号化された信号を復号する局所復号器１１０２とからなり、局所復号器１１０２で復号されたビデオ信号と低階層への入力ビデオ信号との差を次の階層への入力ビデオ信号とする。
　例えば、後述する特許文献２には、２階層の場合が記載されている。ここでは符号化データを、画質上重要な部分（ＭＳＰ）とそうでない部分（ＬＳＰ）に分離し、ＭＳＰあるいはＬＳＰのみを用いてパケット化し、ＭＳＰ、ＬＳＰのいずれを含むかを示す識別子と合わせて伝送路に送出する。そして高い優先度の伝送クラスにおいてＭＳＰを、低い優先度の伝送クラスおいてＬＳＰを送信する。網が輻輳した際には、ＬＳＰを含むパケットから廃棄することでＡＴＭ伝送において問題となるパケット損失にも対応している。
特開２００１－６９４６３号公報 特開平４－１１１６９５号公報 和田正裕、１９９１年画像符号化シンポジウムＰＣＳＪ９１、ｐ２３９～ｐ２４２
　ところで、特許文献１では、符号化装置と伝送路との間にバッファを設け、短期間の符号量の変動を吸収していた。従って、符号化困難なシーンが長時間続くと符号量の変動を吸収しきれず、画質劣化を抑えることはできない。符号量の変動を吸収できる期間は復号装置のバッファサイズに依存し、これは通信サービスの仕様で決められている。従って、このサイズを越えて符号量を変動させることはできないという問題がある。
　また、特許文献２では、現実のネットワークにおいては網資源が有限のため、制約が生じるという問題がある。可変ビットレート符号化の場合、通信に先立って、端末は網に対し、平均ビットレート、最大ビットレート、パケット損失クラス等のパラメータを申告する。網側はこの申告に従って、網資源を確保し、申告値以上のデータが網に流れ込まないよう、通信中は端末からのトラフィックを監視する。そのため、可変ビットレート符号化でも無制限に符号量を発生できるわけではなく、一定枠の中で符号化しなければならない。従って、可変ビットレート符号化のメリットを十分に生かすことは難しいという問題がある。
　そこで、本発明は、上記の問題を解決するために、１本の伝送路を用いて固定ビットレート符号化を行いつつ、動画像の画質を一定にして画質劣化を防ぐ動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置を提供することを目的とする。
　本発明は、動画像符号化装置と動画像復号装置からなる動画像符号化・復号システムにおいて、
　前記動画像符号化装置は、目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、送出時に復号するための情報を前記符号化データに付加する情報付加手段と、を備え、各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出し、
　前記動画像復号装置は、前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データから前記付加情報を読み取る情報読取手段と、前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、前記目標量符号化データを復号する目標量復号部と、前記超過符号化データを復号する少なくとも１つの超過復号部と、前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部とを備え、前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする。
　また、本発明は、目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、送出時に復号するための情報を前記符号化データに付加する情報付加手段と、を備え、
　各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出することを特徴とする動画像符号化装置である。
　この動画像符号化装置において、前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加してよいし、各時刻に送出される前記目標量符号化データに遅延推定値を付加してもよいし、各時刻に送出される前記超過符号化データに廃棄情報を付加してもよい。
　また、本発明は、動画像を予め設定した目標符号量以下で符号化した目標量符号化データと、目標とすべき所定の画質を実現するのに必要な符号量を予測し該予測符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して少なくとも１層以上に階層化した前記目標画質を満たすために必要な情報を符号化する超過符号化データとに付加された復号するための付加情報を読み取る情報読取手段と、前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、前記目標量符号化データを復号する目標量復号部と、前記超過符号化データを復号する少なくとも１つの超過復号部と、前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部とを備え、前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする動画像復号装置である。
　この動画像復号装置において、前記目標量符号化データおよび前記超過符号化データに付加された復号時刻を示す情報を管理する管理部を備え、前記目標量復号部および前記超過復号部が同期して符号化データを復号することを可能にする。
　また、前記目標量符号化データおよび前記超過符号化データを格納する前記復号バッファの容量が不足する場合、前記復号バッファに格納された前記超過符号化データを廃棄し、新たな前記目標量符号化データを格納する領域を確保する。
　また、前記復号バッファに格納された前記超過符号化データのどの部分を廃棄するかを決める指標は、前記符号化データに付加された復号時刻である。
　本発明では符号化および復号順序と送信順序とを同じにしないことで、従来方式に比べて、一定の画質を保持しながら、総符号量を削減できるという効果がある。言い換えれば、符号量を従来方式と同じにした場合、画質を改善することができる。
　また、本発明では、復号装置のもつリソースに応じて再生画像の画質を向上させることができる。例えば大きな容量のバッファをもつ復号装置においては、そうでない復号装置よりも画質劣化の少ない画像を再生することができる。
本発明の第１の実施の形態を示す符号化装置のブロック図の一例である。 動き補償＋変換符号化を実現する符号化ブロック図の一例である。 各量子化幅におけるアクティビティと予測符号量の関係を示す図である。 各画像の予測符号量の一例を示す図である。 画質・レート制御部の動作の一例を示すフローチャートである。 図４における各階層での発生符号量とエンハンスメントレイヤの符号化データの送信方法を説明する図である。 エンハンスメントレイヤの符号化データの別の送信方法を説明する図である。 本発明の第２の実施の形態を示す復号装置のブロック図の一例である。 動き補償＋変換符号化を実現する復号ブロック図の一例である。 データ管理部の持つ管理表の一例である。 本発明の第２の実施の形態におけるバッファの一例を示す図である。 データ管理部の持つ管理表の一例である。 バッファ容量とエンハンスメントレイヤの符号化データの廃棄を説明する図である。 エンハンスメントレイヤの符号化データの送信順序の一例を示す図である。 エンハンスメントレイヤの符号化データの廃棄と管理表の更新を説明する図である。 ＲＡＭでバッファを実現する一例を示す図である。 従来の固定ビットレート符号化の装置のブロック図である。 従来の符号化困難さによるレート制御の一例を示す図である。 従来の階層符号化の装置のブロック図である。
符号の説明
１０１　ベースレイヤ符号化部（目標量符号化部）
１０２　分離部
１０３　エンハンスメントレイヤ符号化部（超過符号化部）
１０４　バッファ
１０５　パケット化部
１０６　画質・レート制御部
１０７　符号量予測部
１０８　スイッチ
２０１　直交変換部
２０４　レート制御部
２０９　動き補償部
２１０　動き検出部
２１１　イントラ予測部
２１２　減算部
２１３　予測モード決定部
８０１　バッファ
８０２　ベースレイヤ復号部（目標量復号部）
８０３　エンハンスメントレイヤ復号部（超過復号部）
８０５　データ管理部
９０１　可変長復号部
９０２　逆量子化部
９０３　逆直交変換部
９０４　加算部
９０５　フレームメモリ
９０６　動き補償部
９０７　イントラ予測部
１００１　符号化装置
１００２　バッファ
１１００　符号化装置
１１０１　符号化器
１１０２　局所復号器
１２００　伝送網
１３００　復号装置
　以下、本発明の実施の形態を添付図面を参照して説明する。
　本発明は一定のビットレートで伝送する一方、その中を複数の階層に分けて符号化するものである。各階層のビットレートは可変ビットレートであるが、全ての階層のビットレートの合計は一定になるよう制御する特徴がある。
　図１は本発明の第１の実施の形態を示す符号化装置のブロック図である。ここでは２階層（ベースレイヤ１、エンハンスメントレイヤ１）の場合について説明する。１０１は入力画像をベースレイヤとして符号化するベースレイヤ符号化部（目標量符号化部）、１０２は入力画像からエンハンスメントレイヤとして符号化する画像を分離する分離部、１０３はエンハンスメントレイヤを符号化するエンハンスメントレイヤ符号化部（超過符号化部）、１０４はベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３の符号化データを格納するバッファ、１０５はバッファ１０４に格納された符号化データをパケット化して伝送路に送出するパケット化部、１０６は画質あるいはビットレートを基準として、ベースレイヤ、エンハンスメントレイヤに割り当てる符号量を制御する画質・レート制御部、１０７は符号化の前処理として、各画像の符号量を予測する符号量予測部、１０８はエンハンスメントレイヤ符号化部１０３のオン・オフを切り替えるスイッチである。
　ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３は、動画像符号化方式として一般に使われるＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、ＭＰＥＧ－４　ＡＶＣ、ＶＣ１等であり、その方式を問わない。ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３の一例を図２に示す。
　図２は一般的な動き補償＋変換符号化を実現する符号化部のブロック図であり、２０１は直交変換部、２０２は変換係数を量子化する量子化部、２０３は量子化された変換係数、図示しない動きベクトルや予測モードなどを符号化する可変長符号化部、２０４は発生符号量を監視し、目標符号量に合わせるため量子化幅等を制御するレート制御部、２０５は量子化された変換係数を逆量子化する逆量子化部、２０６は逆量子化した変換係数を逆直交変換する逆直交変換部、２０７は予測画像と逆変換された予測誤差とを加算する加算部、２０８は局所復号された画像を格納するフレームメモリ、２０９は動きベクトルと過去の局所復号画像から動き補償し、予測画像を作成する動き補償部、２１０は動きベクトルを探索する動き検出部、２１１は同一画像内の局所復号された画素値からイントラ予測を行い、予測画像を作成するイントラ予測部、２１２は入力画像と予測画像との差分画像を計算する減算部、２１３は予測モードを決定する予測モード決定部である。
　図２に限らず、例えばイントラ予測部２１１がなく、入力画像が直接、直交変換部２０１に入力される例もあるし、動き検出部２１０、動き補償部２０９等がない例もある。
　なお、ベースレイヤ符号化部１０１の場合、入力画像は原画像あるいはフィルタリング等の前処理を施した原画像であるが、エンハンスメントレイヤ符号化部１０３の場合、入力画像は分離部１０２で分離した、原画像からエンハンスメントレイヤとして符号化する画像、あるいは前記分離した画像にフィルタリング等の処理を施した画像である。
　また、ベースレイヤ符号化部１０１、分離部１０２、エンハンスメントレイヤ符号化部１０３の構成を、従来からある階層符号化と同じ構成にしてもよい。たとえば上記３構成要素の代わりに、ＭＰＥＧ－２時間階層性、ＭＰＥＧ－４空間階層性、ＭＰＥＧ－４時間階層性、ＭＰＥＧ－４　ＦＧＳ（Fine Granularity Scalability）、ＭＰＥＧ－４　ＳＶＣ（Scalable Video Coding）等で置き換えることも可能である。
　ただしいずれの場合も、図２のレート制御部２０４に相当するものがあり、従来は発生符号量をある所定の目標符号量に合わせるための制御を行って、ベースレイヤ、エンハンスメントレイヤの各々の発生符号量を所定の目標符号量に合わせていた。
　しかしながら、本発明では固定の目標符号量はなく、図１の画質・レート制御部１０６で算出されたベースレイヤ用、エンハンスメントレイヤ用の目標値が通知され、この動的に変化する目標符号量に従って発生符号量を制御するところが従来と異なる。図１の画質・レート制御部１０６の動作については後述する。
　符号量予測部１０７は、入力される各画像のアクティビティを計算し、これをもとに発生符号量を予測する。例えば図３に示すように、量子化幅を一定にした場合のアクティビティと発生符号量の予測値との関係を量子化幅（ＱＰ）毎に実験等で求め、あらかじめ保持しておく。ここで求めたアクティビティと、画質・レート制御部１０６から通知された量子化幅をもとに予測した符号量を画質・レート制御部１０６に出力する。
　画質・レート制御部１０６では、一定の画質を実現するために必要な量子化幅を符号量予測部１０７に通知し、これをもとに符号量予測部１０７から通知された予測符号量が目標符号量Ｒｔ以下の場合、予測符号量をベースレイヤの目標符号量Ｒｂとしてベースレイヤ符号化部１０１に伝え、スイッチ１０８をオフにして、エンハンスメントレイヤ符号化部１０３を動作させない。ここで目標符号量Ｒｔは固定の伝送ビットレートに対応し、変化することはない。
　そうではなく、符号量予測部１０７での予測符号量が目標符号量Ｒｔより大きい場合、目標符号量Ｒｔをベースレイヤの目標符号量Ｒｂとしてベースレイヤ符号化部１０１に伝えるとともに、（予測符号量－目標符号量Ｒｔ）をエンハンスメントレイヤの目標符号量Ｒｅとしてエンハンスメントレイヤ符号化部１０３に通知し、スイッチ１０８をオンにして、エンハンスメントレイヤ符号化部１０３を動作させる。
　ベースレイヤ符号化部１０１とエンハンスメントレイヤ符号化部１０３では、画質・レート制御部１０６から通知された目標符号量ＲｂおよびＲｅに従って、各々符号量を制御する。
　図４、図５を使ってこの様子を説明する。図４の画像ｎ－３、ｎ－２、ｎ－１、ｎ＋２、ｎ＋３では、符号量予測部１０７で予測した符号量が目標符号量Ｒｔ以下であり、画像ｎ、ｎ＋１、ｎ＋４では予測符号量は目標符号量Ｒｔを越える。
　この時、画像ｉ（ｎ－３≦ｉ≦ｎ＋４）の予測符号量をＣｉとし、図５に画質・レート制御部１０６の動作をフローチャートとして示す。
　画質・レート制御部１０６は、予測符号量Ｃｉが目標符号量Ｒｔ以下であるかを確認する（ステップＳ５０１）。予測符号量Ｃｉが目標符号量Ｒｔ以下の場合（ステップＳ５０１；Ｙ）、ベースレイヤ符号化部１０１に予測符号量Ｃｉを出力する（ステップＳ５０２）。そして、スイッチ１０８をオフにする（ステップＳ５０３）。予測符号量Ｃｉが目標符号量Ｒｔを超える場合（ステップＳ５０１；Ｎ）、ベースレイヤ符号化部１０１に目標符号量Ｒｔを出力する（ステップＳ５０４）。そしてスイッチ１０８をオンにし、エンハンスメントレイヤ符号化部１０３に対し（予測符号量Ｃｉ－目標符号量Ｒｔ）を出力する（ステップＳ５０５）。
　従って、ベースレイヤでは常に目標符号量Ｒｔ以下で画像が符号化され、ベースレイヤの画質では不十分な場合、エンハンスメントレイヤで差分画像が符号化されるので、ベースレイヤの符号化データとエンハンスメントレイヤの符号化データを各々復号して加算すると、一定の画質の画像を得ることができる。以降、ベースレイヤの符号化データを符号化データＢ、エンハンスメントレイヤの符号化データを符号化データＥとする。
　なお、上記の例ではアクティビティ、量子化幅と発生符号量の関係を使用したが、アクティビティは分散、絶対差分和でも代替可能であり、量子化幅はＰＳＮＲ、ＭＯＳ（Mean Opinion Score）等でも代替可能である。
　ベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３で符号化した符号化データは、バッファ１０４に格納される。画像ｎ－３、ｎ－２、ｎ－１、ｎ＋２、ｎ＋３では、目標符号量Ｒｔ以下の符号化データＢがバッファ１０４に出力され、画像ｎ、ｎ＋１、ｎ＋４では、ほぼ目標符号量の符号化データＢと、符号化データＥがバッファ１０４に出力される。この様子を図６（ａ）、（ｂ）に示す。図６（ａ）はベースレイヤの符号化データの符号量を示し、図６（ｂ）はエンハンスメントレイヤの符号化データの符号量を示す。エンハンスメントレイヤの符号量を加えると、画像ｎ、ｎ＋１、ｎ＋４では目標符号量Ｒｔを上回るため、符号化データＥは、目標符号量に満たない画像ｎ－３、ｎ－２、ｎ－１の符号化データＢと合わせて伝送路に送出する。
　これらの符号化データは、まずパケット化部１０５に出力され、ここでパケット化された後、伝送路に送出される。この送信符号量の割当の様子を図６（ｃ）に示す。パケット化時には各画像のベースレイヤ、エンハンスメントレイヤの符号化データの先頭に、ベースレイヤ、エンハンスメントレイヤを示す階層識別子、復号時刻、エンハンスメントレイヤにはさらに空間階層性、時間階層性、画質階層性、ＲＯＩ（Region Of Interest）等の階層符号化の種類、ベースレイヤには遅延推定値等の情報を付加する。またパケットヘッダにも階層識別子を付加する。
　これらの情報から、受信側では符号化データの階層、復号時刻、階層の種類等を知ることができる。符号化データの送信順序は、図６（ｃ）に示すように復号順序と同じとは限らない。例えば画像ｎ、ｎ＋１、ｎ＋４の符号化データＥは、これより前に復号される画像ｎ－３、ｎ－２、ｎ－１の符号化データＢと同時に送付されるため、復号時刻がなければ、受信側で正常な復号処理ができない。
　また、本発明においてエンハンスメントレイヤの階層符号化方法は制限を受けないため、空間、時間、ＳＮＲ、ＲＯＩ階層性など様々な階層符号化方法を使用することができる。従って使用する階層符号化の種類を付加することで、受信側に伝えることができる。
　以上のように、符号化困難さが小さく、ベースレイヤの符号量が目標符号量に達しない部分に、符号化困難さの大きい画像の符号化データＥを割り当てて伝送路に送出することで、固定ビットレートのまま、画質を劣化させずに符号化することができる。この時、符号化（復号）順序と送信順序が異なるため、遅延が発生する。遅延が大きいと符号量の大小を適切に組み合わせ、送出する符号量を一定にする自由度が広がるため、画質劣化の確率がより小さくなるメリットがある。遅延が小さい場合、従来方式との画質の差は小さくなる。
　一度符号化した符号化データを、符号化方式、画像サイズ、ビットレートを変更して再符号化する場合は、画像全体の符号化困難さが既知であるため、画質を一定にしつつ一定のビットレートで符号化する制御がしやすくなる。またベースレイヤのみの符号量は、常に目標符号量以下であるので、受信側のバッファは符号化データＢを全て格納することができ、符号化データＢのみを復号することで、従来方式における画質をほぼ実現することができる。
　またベースレイヤに符号化データの遅延推定値を付加することで、受信側ではあらかじめ、どのくらいの遅延が発生するかを知ることができる。ここで遅延推定値は、遅延の最大値でもよいし平均値でもよいが、送信側、受信側で同じ意味を持つ必要がある。
　また符号化装置では、これまでに符号化した符号量の履歴を記録することができるため、現在バッファ１０４に格納中の符号化データＥの重要度が、これまでに送信した符号化データＥよりも高い場合、今までに送信した符号化データＥを廃棄する通知を符号化データの先頭に付加することで、復号装置に今までに送出した符号化データＥの廃棄を通知することができる。例えば、画像ｍ（ｍ＞ｎ＋４）の符号化終了後、既に送出済の画像ｎの符号化データＥを廃棄したい場合、画像ｍの符号化データとともに、廃棄したい画像の番号ｎを送出する。画像ｎの符号化データＥの廃棄によって、受信側のバッファの残容量を大きくし、符号化装置が重要と判断した画像ｍの符号化データＥを受信側のバッファに優先して格納することができる。また、特定の画像だけではなく、これまでに送出した全ての符号化データＥを廃棄するよう通知することもできる。
　また上述の例は、符号化データをバッファ１０４に所定時間格納し、符号化データＥを、時間的に過去に符号化した符号化データＢと合わせて送出する、いわゆる符号化データＥの先送りであるが、図７（（ａ）は符号化データの予測符号量、（ｂ）はベースレイヤの符号化データの符号量、（ｃ）はエンハンスメントレイヤの符号化データの符号量）に示すように、画像ｎ、ｎ＋１の符号化データＥを、画像ｎ＋４、ｎ＋５の符号化データＢと合わせて送出する、いわゆる符号化データＥの後送りでも、本発明を実現することができる。
　また上述の例は、ベースレイヤ１、エンハンスメントレイヤ１の２階層における例であったが、エンハンスメントレイヤを複数階層設けることも可能である。この場合、エンハンスメントレイヤの種類が増え、符号化データの先頭に付加する階層の種類も多くなり、階層ごとに異なる種類の階層符号化を組み合わせることも可能である。また、エンハンスメントレイヤに優先順位をつけ、優先順位を示す情報を符号化データの先頭に付加することもできる。なお、エンハンスメントレイヤは常に存在する訳ではなく、ベースレイヤのみで十分な画質を確保できる場合は、エンハンスメントレイヤは存在しないこともある。
　以上のように、本発明ではベースレイヤ、エンハンスメントレイヤの階層毎のビットレートは時間的に変動するものの、全ての階層を合わせた総ビットレートは常に一定であるため、伝送網側で新たな処理（トラフィックの監視、符号化パラメータの申告等）が不必要である。つまり符号化装置および復号装置だけの変更で、画質劣化の確率を少なくすることが可能である。
　ここからは本発明の第２の実施の形態として、本発明の第１の実施の形態で符号化した符号化データを復号する実施例について説明する。図８は本発明の第２の実施の形態を実現する復号装置のブロック図である。第１の実施の形態と同様、２階層（ベースレイヤ１、エンハンスメントレイヤ１）の場合について説明する。
　８０１は符号化データを一時格納するバッファ、８０２はベースレイヤの符号化データを復号するベースレイヤ復号部（目標量復号部）、８０３はエンハンスメントレイヤの符号化データを復号するエンハンスメントレイヤ復号部（超過復号部）、８０４はエンハンスメントレイヤの復号画像が存在する場合、ベースレイヤとエンハンスメントレイヤの復号画像を合成する合成部、８０５は受信した符号化データの先頭にある付加情報を読み取り、その情報に従って符号化データをバッファ８０１に格納し、またはベースレイヤ復号部８０２、エンハンスメントレイヤ復号部８０３に出力する等の管理を行うデータ管理部である。以降、ベースレイヤの符号化データを符号化データＢ、エンハンスメントレイヤの符号化データを符号化データＥとする。
　このベースレイヤ復号部８０２、エンハンスメントレイヤ復号部８０３は、動画像符号化方式として一般に使われるＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、ＭＰＥＧ－４　ＡＶＣ、ＶＣ１等であり、その方式を問わず、図１のベースレイヤ符号化部１０１、エンハンスメントレイヤ符号化部１０３に対応する復号処理を行う。
　ベースレイヤ復号部８０２、エンハンスメントレイヤ復号部８０３の一例を図９に示す。９０１は受信した符号化データを可変長復号する可変長復号部、９０２は可変長復号した係数を逆量子化する逆量子化部、９０３は逆量子化した係数を逆直交変換する逆直交変換部、９０４は予測画像と９０３の出力である予測誤差とを加算する加算部、９０５は復号画像を格納するフレームメモリ、９０６はフレームメモリに格納された復号画像と、可変長復号部で復号された図示しない動きベクトルや予測タイプを用いて予測画像を計算する動き補償部、９０７はフレームメモリに格納された同一画像内の復号画素値からイントラ予測を行うイントラ予測部である。ベースレイヤ復号部８０２の場合、可変長復号部９０１の入力は符号化データＢとなり、エンハンスメントレイヤ復号部８０３の場合、可変長復号部９０１の入力は符号化データＥとなる。
　ここで、バッファ８０１とデータ管理部８０５の動作について説明する。８０５は受信したパケットから、符号化データとその先頭に付加された階層識別子、復号時刻、階層符号化の種類、遅延推定値、符号化データＥの廃棄情報等を読み出す。データ管理部８０５は、例として図１０に示す管理表を持ち、前述の付加情報と符号化データのバッファ８０１内での格納アドレスとを管理表で管理する。
　また階層識別子によって、符号化データがベースレイヤか、エンハンスメントレイヤかを判断し、バッファ８０１内のベースレイヤあるいはエンハンスメントレイヤを格納する領域に書き込む。この時、次にベースレイヤ、あるいはエンハンスメントレイヤの符号化データを書き込むバッファ８０１上のアドレス、およびベースレイヤ復号部８０２、エンハンスメントレイヤ復号部８０３に出力する符号化データを読み出すバッファ８０１上のアドレスも管理する。このアドレスは、バッファ８０１上の絶対アドレスでもよいし、符号化データを格納する先頭アドレスからの相対アドレスでもよい。
　この管理表と図示しない時刻情報とによって、復号時刻になると、データ管理部８０５は対応するベースレイヤ、あるいはエンハンスメントレイヤの符号化データをベースレイヤ復号部８０２、あるいはエンハンスメントレイヤ復号部８０３に出力し、図１０の管理表から対応する符号化データの記録を消去する。
　次にバッファ８０１の管理について述べる。
　バッファ８０１に符号化データＢのみを格納する場合、各画像とも目標符号量以下で符号化されているため、バッファが規格、あるいはアプリの仕様を満たしている限り、容量が不足することはない。しかしながら本発明の実施の形態１で述べたように、符号化データＥの先送り、後送りのためにバッファ８０１には余分な符号化データＥが蓄積されており、エンハンスメントレイヤの符号量によっては受信した符号化データＢを新たに書き込むための容量が不足する場合もありうる。その場合、既にバッファに格納したものの復号されずに残っている符号化データＥを廃棄することで、符号化データＢを保存するために必要なメモリを確保する。あるいはエンハンスメントレイヤが２階層以上あり、各レイヤの優先順位が異なっている場合、優先順位の高いエンハンスメントレイヤの符号化データを書き込むために、既にバッファに格納されたものの復号されずに残っている優先順位の低いエンハンスメントレイヤの符号化データを廃棄することで、必要なメモリを確保することも可能である。
　図１１に示すバッファ８０１では、符号化データＢの書き込みアドレスが、符号化データＥの読み出し位置を越える場合に、符号化データＢを格納するためのメモリを確保する必要が生じる。この場合Ｂｎ＋３を記録するために、復号時刻の古いＥｎ、Ｅｎ＋１・・・から順番に、図１０に示す管理表からデータの記録を消去することで、符号化データＥを廃棄する。廃棄時の管理表を図１２に示す。Ｅｎ、Ｅｎ＋１が削除され、新たにＢｎ＋３が記録されている。
　この時、バッファ８０１のサイズが規格、あるいはアプリの仕様より大きければ、符号化データＥを削除する必要がない場合もありうる。別のアプリでより大きなバッファを持つことが必要とされ、復号装置が規格等で定められているよりも大きなバッファをあらかじめ持っている場合、符号化データＥを削除することなく復号に利用できるため、規格で定められた最低限のバッファを持つ復号装置よりも画質劣化の少ない画像を再生することができる。
　例えば、携帯電話では３ＧＰＰの規定により、ＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ０準拠の復号装置を持つことが必須であるが、各端末の独自仕様として自己録再はＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ３準拠のバッファを備えた端末も多い。この場合、ＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ０準拠のバッファサイズは２０４８０バイトであるが、ＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ３準拠のバッファサイズは８１９２０バイトである。ＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ０準拠のアプリでは、２０４８０バイトのバッファサイズ以下で復号できる符号化データを復号するが、復号装置がＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ３準拠の場合、使用可能なバッファサイズは８１９２０バイトである。つまり復号装置の持つバッファ容量によって、復号可能なエンハンスメントレイヤの符号量が異なる。
　図１３に示すように、ＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ０準拠の復号装置は、符号化データＢをバッファに格納するため、バッファに残っている符号化データＥの一部あるいは全部を廃棄する必要があるが、ＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ３準拠の復号装置は、バッファに残っている符号化データＥを廃棄する必要がないため、ＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ０準拠の復号装置より画質劣化を少なくすることができる。
　なお、ＭＰＥＧ－４　ＳＰ＠Ｌｅｖｅｌ０準拠の復号装置でも符号化データＢは全て復号することができるため、従来方式と同等の画質は保証される。従って復号装置のもつバッファサイズが大きい場合、より画質劣化の少ない画像を復号することができる。
＜変形例１＞
　本発明の第２の実施の形態では、復号装置の持つバッファサイズによって復号画像の画質劣化を小さくする例について説明した。ここでの符号化データＥの廃棄の判断基準は復号装置の持つバッファサイズであったが、これ以外にも初期遅延や受信端末の負荷を基準として、符号化データＥを廃棄することが可能である。例えば図７に示すエンハンスメントレイヤの後送りの場合、図１４に示す順序で符号化データが送信されるため、画像ｎを表示するには、Ｅｎが受信されバッファ８０１に格納される４枚後まで待つ必要がある。アプリを起動した直後で遅延を小さくしたい場合は、一定期間画質が少々悪くても符号化データＢのみを復号することで、初期遅延を小さくすることができる。またこの時、符号化データの先頭に付加された遅延推定量をもとに、符号化データＥを廃棄するかどうかを判断することができる。
　また受信端末の負荷によって、符号化データＥを廃棄するかどうかを判断することもできる。例えば受信端末においては、複数のアプリが同時に動作することが一般的である。各アプリに対し、動的にメモリの割り当てを変更できる場合、動作するアプリ数が少ない場合にはメモリリソースが十分あるため、復号装置はバッファ８０１としてアプリの仕様を越える大容量のメモリを割り当てることができ、大量の符号化データＥを格納することができる。しかしながら動作するアプリ数が増えてくると、復号装置に割り当て可能なメモリが小さくなるため、仕様に定める符号量しか格納することができなくなる。従って受信端末で動作するアプリ数や、復号装置に割り当てるメモリリソースの量によって、符号化データＥの廃棄基準を変更することも可能である。
＜変形例２＞
　変形例１ではいくつかの判断基準を用いて、符号化データＥを廃棄する実施例について述べた。変形例２では廃棄する符号化データＥの選択方法について説明する。
　図１１に示すバッファの場合、復号時刻の古い符号化データＥから廃棄することができる。また階層数が３以上、つまりエンハンスメントレイヤが２階層以上ある場合、本発明の実施の形態１で述べたエンハンスメントレイヤの階層符号化の種類や優先順位によって廃棄するエンハンスメントレイヤを選択することができる。
　例えば受信端末においては重要ではない階層符号化の種類に属する符号化データＥから廃棄する。受信端末の表示画面がＱＣＩＦサイズの場合、ＱＶＧＡやＣＩＦを実現するための空間階層性は不必要である。従って空間階層性をもつエンハンスメントレイヤを廃棄する。
　また符号化装置が付加した優先順位の低いエンハンスメントレイヤから廃棄してもよい。エンハンスメントレイヤが２階層あり、優先順位が各々１、２である場合（１の優先順位が高い）、優先順位２のエンハンスメントレイヤから廃棄する。
　また符号化装置が符号化データＥの廃棄情報を付加した場合、復号装置でのバッファが不足しており、符号化装置が廃棄を指示する画像の符号化データＥがバッファに残っていれば、この符号化データＥを廃棄することができる。例えば画像ｎのエンハンスメントレイヤを廃棄するよう指定された場合は、管理表を調べ、画像ｎのエンハンスメントレイヤに対応する符号化データＥを消去する。
　あるいは今までに送付したエンハンスメントレイヤを全て廃棄する場合は、管理表に記録されたエンハンスメントレイヤの記録を全て消去し、エンハンスメントレイヤの読み出しアドレス、書き込みアドレスを初期値に戻すことでデータの廃棄が可能である。
　このように復号装置のバッファが不足する場合、復号装置の持つ符号化データＥの廃棄の判断基準や符号化装置からの付加情報を用いて符号化データＥを廃棄することで、受信端末にとって最良の符号化データＥの廃棄が可能であり、復号装置の性能によって画質を良くすることもできる。
　なお、符号化データＥの廃棄の単位は符号化装置の符号化方法に依存し、符号化データＥを以降の画像の予測に利用していない場合は画像単位で廃棄可能であり、予測に利用している場合はＧＯＰ(Group Of Picture)あるいはＧＯＶ(Group Of Video object plane)単位で廃棄することになる。
＜変形例３＞
　次に符号化データＥを廃棄する時の管理表、およびバッファ８０１内のデータについて説明する。バッファ８０１はこれまで説明したようなＦＩＦＯで実現する場合と、ＲＡＭで実現する場合がある。ＲＡＭの場合はランダムアクセスが可能であるため、データ廃棄した領域を新たに受信した符号化データに割り当て、管理表にアドレスと付加情報を書き込めばよい。ＦＩＦＯの場合、廃棄した符号化データが割り当てられていた領域に、それ以前に存在する廃棄されていない符号化データＥを詰めて、符号化データを連続して読み出せるようにする処理が必要である。またそれに伴って管理表を更新する必要がある。図１０の管理表において、Ｅｎ＋１を廃棄して更新された管理表を図１５（ｂ）に示す。図１５（ａ）に示すように、バッファ８０１ではＥｎ＋１を廃棄し、それ以前に存在するＥｎを詰めて記録することで、符号化データＢｎ＋３を書き込む領域を確保する。これに伴って、管理表においてＥｎのアドレスを更新する。
　以上のようにＦＩＦＯの場合は廃棄したデータに対応する領域にそれ以前に存在する符号化データＥを詰めることで、復号処理において連続してメモリにアクセスすることが可能である。
　なお上記では、バッファと管理表を分けて管理する例について説明してきたが、例えばＲＡＭでバッファを実現する場合には、図１６に示すように符号化データの先頭に管理情報を記録し、１つのバッファのみで全ての情報を管理することもできる。
　尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
 

Claims (9)

  1. 　動画像符号化装置と動画像復号装置からなる動画像符号化・復号システムにおいて、
    　前記動画像符号化装置は、
    　目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、
    　動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、
    　前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、
    　前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、
    　送出時に復号するための情報を前記符号化データに付加する情報付加手段と、
    　を備え、
    　各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出し、
    　前記動画像復号装置は、
    　前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データから前記付加情報を読み取る情報読取手段と、
    　前記動画像符号化装置から送出された前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、
    　前記目標量符号化データを復号する目標量復号部と、
    　前記超過符号化データを復号する少なくとも１つの超過復号部と、
    　前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と
    　を備え、
    　前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする動画像符号化・復号システム。
  2. 　目標とすべき所定の画質を実現するのに必要な符号量を予測する符号量予測部と、
    　動画像を予め設定した目標符号量以下で符号化する目標量符号化部と、
    　前記符号量予測部で予測した符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して前記目標画質を満たすために必要な情報を符号化する少なくとも１つの超過符号化部と、
    　前記目標量符号化部で符号化された目標量符号化データと、前記超過符号化部で符号化された超過符号化データを格納する符号化バッファと、
    　送出時に復号するための情報を前記符号化データに付加する情報付加手段と、
    　を備え、
    　各時刻において送出される符号化データの合計が一定の符号量以下になるように前記目標量符号化データに前記超過符号化データを組み合わせて送出することを特徴とする動画像符号化装置。
  3. 　請求項２の動画像符号化装置において、
    　前記情報付加手段は、各時刻に送出される前記目標量符号化データおよび前記超過符号化データに復号時刻を示す情報を付加することを特徴とする動画像符号化装置。
  4. 　請求項２または３の動画像符号化装置において、
    　前記情報付加手段は、各時刻に送出される前記目標量符号化データに遅延推定値を付加することを特徴とする動画像符号化装置。
  5. 　請求項２、３または４の動画像符号化装置において、
    　前記情報付加手段は、各時刻に送出される前記超過符号化データに廃棄情報を付加することを特徴とする動画像符号化装置。
  6. 　動画像を予め設定した目標符号量以下で符号化した目標量符号化データと、目標とすべき所定の画質を実現するのに必要な符号量を予測し該予測符号量が前記目標符号量を越える場合に、前記目標符号量を越える部分に対して少なくとも１層以上に階層化した前記目標画質を満たすために必要な情報を符号化する超過符号化データとに付加された復号するための付加情報を読み取る情報読取手段と、
    　前記目標量符号化データと前記超過符号化データ及び読み取った前記付加情報を格納する復号バッファと、
    　前記目標量符号化データを復号する目標量復号部と、
    　前記超過符号化データを復号する少なくとも１つの超過復号部と、
    　前記目標量復号部と前記超過復号部で復号した復号画像を合成し、該合成画像を出力する合成部と
    　を備え、
    　前記復号バッファに格納された前記目標量符号化データと前記超過符号化データを、前記付加情報、あるいは動画像復号装置のもつ判断基準に従って復号することを特徴とする動画像復号装置。
  7. 　請求項６の動画像復号装置において、
    　前記目標量符号化データおよび前記超過符号化データに付加された復号時刻を示す情報を管理する管理部を備え、
    　前記目標量復号部および前記超過復号部が同期して符号化データを復号することを可能にする動画像復号装置。
  8. 　請求項６または７の動画像復号装置において、
    　前記目標量符号化データおよび前記超過符号化データを格納する前記復号バッファの容量が不足する場合、前記復号バッファに格納された前記超過符号化データを廃棄し、新たな前記目標量符号化データを格納する領域を確保することを特徴とする動画像復号装置。
  9. 　請求項８の動画像復号装置において、
    　前記復号バッファに格納された前記超過符号化データのどの部分を廃棄するかを決める指標は、前記符号化データに付加された復号時刻であることを特徴とする動画像復号装置。
PCT/JP2009/051217 2008-01-29 2009-01-26 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置 WO2009096366A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/865,054 US8599919B2 (en) 2008-01-29 2009-01-26 Moving image coding/decoding system and moving image coding apparatus and moving image decoding apparatus used therein

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-017981 2008-01-29
JP2008017981A JP2009182442A (ja) 2008-01-29 2008-01-29 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置

Publications (1)

Publication Number Publication Date
WO2009096366A1 true WO2009096366A1 (ja) 2009-08-06

Family

ID=40912719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/051217 WO2009096366A1 (ja) 2008-01-29 2009-01-26 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置

Country Status (3)

Country Link
US (1) US8599919B2 (ja)
JP (1) JP2009182442A (ja)
WO (1) WO2009096366A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008757A (ko) * 2008-07-16 2010-01-26 한국전자통신연구원 Ｍｇｓ 기반 ｓｖｃ 비트스트림을 ａｖｃ 비트스트림으로 변환하는 장치
US8923403B2 (en) * 2011-09-29 2014-12-30 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
KR102001415B1 (ko) * 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
CN105075271A (zh) * 2013-04-08 2015-11-18 索尼公司 利用shvc的关注区域可伸缩性
KR20140122835A (ko) * 2013-04-11 2014-10-21 삼성전자주식회사 프로세스 병렬 처리 장치 및 방법
US20150172680A1 (en) * 2013-12-16 2015-06-18 Arris Enterprises, Inc. Producing an Output Need Parameter for an Encoder
JP6768096B2 (ja) * 2014-05-23 2020-10-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法及び画像復号装置
JP6483028B2 (ja) * 2014-05-23 2019-03-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法及び画像符号化装置
JP6497874B2 (ja) * 2014-08-28 2019-04-10 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN104301731B (zh) * 2014-10-24 2017-04-26 湘潭大学 一种反馈式图像质量分层方法
JP6126643B2 (ja) * 2015-05-29 2017-05-10 株式会社ドワンゴ 画像処理システム、トランスコード方法、及びプログラム
WO2018012366A1 (ja) * 2016-07-13 2018-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法及び符号化方法
US11570454B2 (en) 2016-07-20 2023-01-31 V-Nova International Limited Use of hierarchical video and image coding for telepresence
GB2553086B (en) * 2016-07-20 2022-03-02 V Nova Int Ltd Decoder devices, methods and computer programs
JP7127539B2 (ja) * 2016-08-05 2022-08-30 ソニーグループ株式会社 画像処理装置および画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09182065A (ja) * 1995-12-22 1997-07-11 Sanyo Electric Co Ltd 階層符号化方法及び階層符号化装置
JPH1013826A (ja) * 1996-06-21 1998-01-16 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体
JP2003348579A (ja) * 2002-05-23 2003-12-05 Matsushita Electric Ind Co Ltd 画像信号符号化方法および画像信号符合化装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3190827B2 (ja) * 1996-06-27 2001-07-23 エヌイーシーマイクロシステム株式会社 半導体装置およびそのテスト方法
US6798838B1 (en) * 2000-03-02 2004-09-28 Koninklijke Philips Electronics N.V. System and method for improving video transmission over a wireless network
US20070053425A1 (en) * 2005-07-21 2007-03-08 Nokia Corporation Variable length codes for scalable video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09182065A (ja) * 1995-12-22 1997-07-11 Sanyo Electric Co Ltd 階層符号化方法及び階層符号化装置
JPH1013826A (ja) * 1996-06-21 1998-01-16 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体
JP2003348579A (ja) * 2002-05-23 2003-12-05 Matsushita Electric Ind Co Ltd 画像信号符号化方法および画像信号符合化装置

Also Published As

Publication number Publication date
JP2009182442A (ja) 2009-08-13
US20110002383A1 (en) 2011-01-06
US8599919B2 (en) 2013-12-03

Similar Documents

Publication Publication Date Title
WO2009096366A1 (ja) 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置
US11553198B2 (en) Removal delay parameters for video coding
KR101944565B1 (ko) 비디오 인코딩 및 디코딩시의 레이턴시 저감 기법
US7958532B2 (en) Method of transmitting layered video-coded information
JP4729220B2 (ja) ハイブリッドな時間的／ｓｎｒ的微細粒状スケーラビリティビデオ符号化
JP4769717B2 (ja) 画像復号化方法
US7298913B2 (en) Video encoding method and apparatus employing motion compensated prediction interframe encoding, and corresponding video decoding method and apparatus
US7899115B2 (en) Method for scalably encoding and decoding video signal
US8315315B2 (en) Device and method for scalably encoding and decoding an image data stream, a signal, computer program and an adaptation module for a corresponding image quality
JP4755093B2 (ja) 画像符号化方法および画像符号化装置
JP4884290B2 (ja) 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
US8243806B2 (en) Recording and reproducing apparatus, sending apparatus and transmission system
JP4643988B2 (ja) ビデオ・オン・デマンド・サーバのシステムおよび方法
JP4928726B2 (ja) ビデオストリーム中の有効エントリポイントの指示
JP2008507194A (ja) 動き情報符号化装置及び方法、動き情報復号化装置及び方法、これを採用したスケーラブル映像符号化装置及び方法とスケーラブル映像復号化装置及び方法
JP2005519542A (ja) より高品質な基準フレームを利用したｆｇｓｔ符号化方法
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
US20070014364A1 (en) Video coding method for performing rate control through frame dropping and frame composition, video encoder and transcoder using the same
Chellappa et al. Dual frame motion compensation with uneven quality assignment
JP5213130B2 (ja) データ配信システム、切替装置及びデータ配信方法
JP2016192658A (ja) 通信システム、通信装置、通信方法および通信制御方法
JP2022053390A (ja) ストリーム送出装置、ストリーム生成装置、及びプログラム
JP2009049826A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09704980

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 12865054

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09704980

Country of ref document: EP

Kind code of ref document: A1