WO2013058314A1 - Encoding apparatus, transmitting apparatus, encoding method, decoding apparatus, receiving apparatus, decoding method, program, and recording medium - Google Patents
Encoding apparatus, transmitting apparatus, encoding method, decoding apparatus, receiving apparatus, decoding method, program, and recording medium Download PDFInfo
- Publication number
- WO2013058314A1 WO2013058314A1 PCT/JP2012/076945 JP2012076945W WO2013058314A1 WO 2013058314 A1 WO2013058314 A1 WO 2013058314A1 JP 2012076945 W JP2012076945 W JP 2012076945W WO 2013058314 A1 WO2013058314 A1 WO 2013058314A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- encoding
- decoding
- component
- unit
- prediction
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Definitions
- the present invention relates to an encoding apparatus and an encoding method for encoding content including a plurality of components having different codecs (encoding schemes).
- the present invention also relates to a transmission apparatus including such an encoding apparatus.
- the present invention relates to a decoding apparatus and a decoding method for decoding content composed of a plurality of components having different codecs.
- the present invention also relates to a receiving device including such a decoding device.
- the present invention relates to a program for causing a computer to function as such an encoding device or a decoding device, and a recording medium on which such a program is recorded.
- One of the technologies for transmitting content is a hybrid transmission technology for transmitting content through a plurality of transmission paths. More specifically, the hybrid transmission technique is a technique for transmitting each component constituting the content through an independent transmission path for each component.
- hybrid transmission technology there is a technology for transmitting 3D video content by transmitting a left-eye (main) video by broadcasting and transmitting a right-eye (sub) video by communication. Further, a hybrid transmission technique for transmitting scalable encoded content through a plurality of transmission paths has been proposed.
- the scalable-encoded content is composed of one base layer and one or more enhancement layers, and can perform low-quality playback with reference to only the base layer and high-quality playback with reference to the base layer and enhancement layer. See, for example, Non-Patent Document 1 for scalable coding.
- the codec used for base layer encoding is, for example, MPEG-2
- the codec used for encoding the enhancement layer is, for example, H.264. H.264 / AVC.
- a configuration in which encoding of each layer is performed independently has been employed. For example, when performing base layer encoding, predictive encoding with reference to only frames within the base layer is performed.
- the inventors have room for improvement in terms of encoding efficiency in the conventional configuration in which the base layer and the enhancement layer represent images that are correlated with each other, but independently encode them. I found out.
- the present invention has been made in view of the above problems, and a main object of the present invention is to improve the encoding efficiency in an encoding apparatus that predictively encodes content including at least two components having different codecs. It is in. Another object is to realize a decoding device corresponding to such an encoding device.
- an encoding apparatus is an encoding apparatus that encodes content including at least two components, and first predictively encodes a first component according to a first codec. 1 encoding means, and second encoding means for predictively encoding the second component in accordance with the second codec, wherein the second encoding means includes the first encoding means described above.
- the second component is predictively encoded with reference to the prediction parameter used when predictively encoding the first component.
- the second component is predictively encoded with reference to the prediction parameter used when predictively encoding the first component. For this reason, it is possible to improve prediction accuracy when predictively encoding the second component. Thereby, the encoding efficiency at the time of carrying out predictive encoding of the said 2nd component can be improved.
- a program that causes a computer to operate as the encoding device and a recording medium on which the program is recorded are also included in the scope of the present invention.
- an encoding method is an encoding method for encoding content including at least two components, wherein the first component is predictively encoded according to the first codec. 1 encoding step, and a second encoding step that predictively encodes a second component according to a second codec, wherein the second encoding step is the above-described first encoding step
- the second component is predictively encoded with reference to the prediction parameter used when predictively encoding the first component.
- a decoding apparatus is a decoding apparatus that decodes content including at least two components, and that decodes a first component that is predictively encoded according to a first codec. 1 decoding means, and second decoding means for decoding a second component that has been predictively encoded according to a second codec, wherein the second decoding means is configured such that the first decoding means is the first decoding means.
- the second component is decoded with reference to a prediction parameter used when decoding one component.
- a decoding device that can decode the encoded data generated by the encoding device can be realized.
- the receiving device includes the decoding device, wherein the encoded data decoded by the first decoding unit and the encoded data decoded by the second decoding unit are transmitted through different transmission paths.
- a receiving device provided with a receiving means for receiving via is also included in the scope of the present invention.
- a program that causes a computer to operate as the decoding device and a recording medium on which the program is recorded are also included in the scope of the present invention.
- a decoding method is a decoding method for decoding content including at least two components, wherein a first component that is predictively encoded according to a first codec is decoded. 1 decoding step, and a second decoding step for decoding a second component that has been predictively encoded according to a second codec, wherein the second decoding step includes the second decoding step in the first decoding step.
- the second component is decoded with reference to a prediction parameter used when decoding one component.
- a decoding method that can decode the encoded data generated by the encoding method can be realized.
- the encoding efficiency can be improved.
- FIG. 3 is a block diagram illustrating a configuration of a scalable encoding unit included in the transmitter of FIG. 2.
- FIG. 3 is a diagram illustrating a structure of a base layer stream and an enhancement layer stream transmitted from the transmitter of FIG. 2. ⁇
- FIG. 8 is a block diagram illustrating a configuration of an enhancement layer decoding unit included in the scalable decoding unit of FIG. 7.
- FIG. 1 is a block diagram showing the configuration of the system 1.
- the system 1 is a system for distributing content, and includes a transmitter 2 that transmits content data representing content and a receiver 3 that receives the content data, as shown in FIG.
- content composed of a plurality of components is targeted for distribution.
- scalable encoded video content that is, video content including one base layer and one or more enhancement layers is targeted for distribution.
- each of a plurality of components is transmitted (hybrid transmission) via different transmission paths.
- base layer data representing the base layer is transmitted via the broadcast network 4
- enhancement layer data representing the enhancement layer is transmitted via the communication network 5.
- the transmitter 2 generates the above-described base layer data and enhancement layer data by performing scalable coding on the audio data and the media data. Then, the generated base layer data and enhancement layer data are transmitted via the broadcast network 4 and the communication network 5, respectively. Details of the transmitter 2 will be described later with reference to another drawing.
- the receiver 3 receives the base layer data and the enhancement layer data via the broadcast network 4 and the communication network 5, respectively. Then, the received base layer data and enhancement layer data are decoded to generate audio data and media data. Details of the receiver 3 will be described later with reference to another drawing.
- scalable encoded content is targeted for distribution, but the content targeted for distribution is not limited to this.
- 3D video content that is, video content composed of left-eye video and right-eye video may be targeted for distribution.
- a configuration in which the left-eye video (main video) is transmitted via the broadcast network 4 and the right-eye video (sub-video) is transmitted via the communication network 5 can be employed.
- hybrid transmission is realized by a combination of the broadcast network 4 and the communication network 5, but the combination of transmission paths for realizing the hybrid transmission is not limited to this. That is, hybrid transmission may be realized by a combination of broadcasts or a combination of communications.
- a combination of broadcasts for example, a combination of one seg broadcasting and full seg broadcasting can be cited.
- combinations of communications include a combination of broadcast and unicast (or multicast).
- 4K video is assumed as media data, but the media data is not limited to this.
- a configuration may be adopted in which a video with an arbitrary resolution, a still image with an arbitrary resolution, or a combination thereof is scalable encoded and distributed.
- FIG. 2 is a block diagram showing the configuration of the transmitter 2.
- the transmitter 2 is a device for encoding and transmitting content data. As shown in FIG. 1, the transmitter 2 includes a scalable encoding unit 21, a base layer transmission unit 22, an enhancement layer transmission unit 23, a media information generation unit 24, And a speech encoding unit 25.
- the scalable encoding unit 21 generates a base layer stream and an enhancement layer stream by performing scalable encoding of media data.
- the media data represents, for example, 4K video (4096 ⁇ 2160 pixels).
- the base layer stream represents, for example, HD video (1920 ⁇ 1080 pixels)
- the enhancement layer stream represents, for example, difference video between 4K video and HD video.
- the base layer stream and enhancement layer stream generated by the scalable encoding unit 21 are supplied to the base layer transmission unit 22 and the enhancement layer transmission unit 23, respectively. Note that details of the scalable encoding unit 21 will be described later with reference to another drawing.
- the base layer transmission unit 22 multiplexes and transmits the audio stream supplied from the audio encoding unit 25 to the base layer stream supplied from the scalable encoding unit 21. At this time, the base layer transmission unit 22 transmits the base layer stream by dividing it into a plurality of segments (see the upper part of FIG. 5A).
- a configuration is employed in which the base layer transmission unit 22 notifies the media information generation unit 24 of information related to the segment being transmitted.
- the base layer transmission unit 22 notifies the media information generation unit 24 of an end index indicating the end position of the segment (for example, a PCR value corresponding to the last packet of the segment).
- the base layer sending unit 22 transmits mutual information between the base and the enhancement (for example, information showing not only sending the information of the base layer to the enhancement layer data but also sending the information of the enhancement layer to the base layer data).
- the media information generation unit 24 may be notified.
- the media information generation unit 24 generates media information including the layer number, segment identifier, start index, and end index notified from the base layer transmission unit 22 (see FIG. 5B).
- the media information generated by the media information generation unit 24 includes, for example, converting a layer number, a segment identifier, a start index, and an end index into bit strings according to a predetermined conversion table, and then combining these bit strings. Is the sequence obtained.
- the media information generation unit 24 supplies the generated media information to the enhancement layer transmission unit 23.
- the enhancement layer sending unit 23 multiplexes the media information supplied from the media information generating unit 24 and transmits the enhancement layer stream supplied from the scalable encoding unit 21. At this time, the enhancement layer transmission unit 23 divides the enhancement layer stream into a plurality of segments and transmits the same as the base layer transmission unit 22 (see the lower part of FIG. 5A).
- the position (timing) at which the enhancement layer sending unit 23 divides the enhancement layer stream is the same as the position (timing) at which the base layer sending unit 22 divides the base layer stream.
- a method of replacing the padding packet (blank packet) of the enhancement layer stream with the section packetized media information may be used.
- Media information about each segment of the base layer stream is multiplexed into segments of the enhancement layer stream that have the same start position and end position as the segment.
- FIG. 3 is a block diagram showing a configuration of the scalable encoding unit 21 provided in the transmitter 2 shown in FIG.
- the scalable encoding unit 21 has a function of generating a base layer stream and an enhancement layer stream by performing scalable encoding of media data.
- the reduction processing unit 211 generates base data (eg, HD video) by reducing each frame constituting the media data (eg, 4K video).
- the base data generated by the reduction processing unit 211 is supplied to the base layer encoder 212.
- the base layer encoder 212 encodes the base data supplied from the reduction processing unit 211, thereby generating a base layer stream.
- a codec used by the base layer encoder 212 to encode base layer data is, for example, MPEG-2.
- the base layer stream generated by the base layer encoder 212 is supplied to the base layer transmission unit 22 (see FIG. 2) and the base layer decoder 213.
- the base layer decoder 213 restores base data (for example, HD video) by decoding the base layer stream supplied from the base layer encoder 212.
- the base data restored by the base layer decoder 214 matches the base data generated by the reduction processing unit 211 except for errors that occur during the encoding / decoding process.
- Base data generated by the base layer decoder 213 is supplied to the enlargement processing unit 214.
- the enlargement processing unit 214 generates enlarged base data having the same resolution as the media data (for example, 4096 ⁇ 2160 pixels) by enlarging each frame constituting the base data supplied from the base data decoder 213.
- the enlarged base data generated by the enlargement processing unit 214 is supplied to the enhancement layer encoder 215.
- the enhancement layer encoder 215 generates an enhancement layer stream by encoding the difference video between the media data and the enlarged base data.
- the codec used by the enhancement layer encoder to encode the difference video is a codec different from the codec used by the base layer encoder 212 to encode the base layer data. H.264 / AVC.
- the enhancement layer stream generated by the enhancement layer encoder 215 is supplied to the enhancement layer transmission unit 23 (see FIG. 2).
- base layer information is supplied from the base layer encoder 212 to the enhancement layer encoder 215, and the enhancement layer encoder 215 refers to the base layer information and encodes the enhancement layer stream.
- Examples of the base layer information supplied from the base layer encoder 212 to the enhancement layer encoder 215 include prediction parameters used when the base layer encoder 212 encodes base layer data.
- FIG. 4 is a block diagram showing a configuration of the enhancement layer encoder 215.
- the enhancement layer encoder 215 uses H.264 as an encoding method. As shown in FIG. 4, a subtracter 215a to 215b, a DCT / quantization unit 215c, an entropy encoding unit 215d, an inverse quantization / IDCT unit 215e, an adder 215f, an in-loop A filter 215g, a frame memory 215h, an intra-frame prediction unit 215i, an inter-frame prediction unit 215j, and a motion estimation unit 215k are provided.
- the subtractor 215a generates a difference image by subtracting the corresponding frame constituting the enlarged base data from each frame constituting the media data. Since this difference image is an image to be encoded by the enhancement layer encoder 215, this is hereinafter referred to as an encoding target image.
- the subtractor 215b generates a prediction residual image by subtracting the prediction image generated by the intra-frame prediction unit 215i or the inter-frame prediction unit 215j from the encoding target image.
- the DCT / quantization unit 215c DCT-transforms the spatial domain image data (array of pixel values) into the frequency domain image data (array of DCT coefficients) for each block constituting the prediction residual image. Then, the DCT coefficients constituting the obtained frequency domain image data are quantized.
- the frequency domain image data (array including quantized DCT coefficients) generated by the DCT / quantization unit 215c is supplied to the entropy encoding unit 215d and the inverse quantization / IDCT unit 215e.
- the entropy encoding unit 215d generates an enhancement layer stream by entropy encoding the frequency domain image data generated by the DCT / quantization unit 215c. At this time, the entropy encoding unit 215d multiplexes prediction parameters (described later) supplied from the intra-frame prediction unit 215i and the inter-frame prediction unit 215j in the enhancement layer stream.
- the enhancement layer stream generated by the entropy encoding unit 215d is supplied to the enhancement layer sending unit 23 (see FIG. 2).
- the inverse quantization / IDCT unit 215e inversely quantizes the quantized DCT coefficients constituting the frequency domain image data, and converts the frequency domain image data into spatial domain image data, thereby predicting residuals. Restore the image block by block.
- the prediction residual image restored by the inverse quantization / IDCT unit 215e is supplied to the adder 215f.
- the adder 215f generates a locally decoded image by adding the prediction image to the prediction residual image restored by the inverse quantization / IDCT unit 215e.
- the local decoded image generated by the adder 215f matches the encoding target image except for the quantization error.
- the local decoded image generated by the adder 215f includes block noise due to quantization error.
- the in-loop filter 215g is a smoothing filter for removing this block noise.
- the locally decoded image generated by the adder 215f is accumulated in the frame memory 215g after the block noise is removed by the in-loop filter 215g.
- the intra-frame prediction unit 215i encodes the image data of the block being encoded in the frame being encoded (encoding target image) and the frame being encoded (locally decoded image) stored in the frame memory 215g. Prediction (intraframe prediction) is performed from the image data of the encoded block selected according to the prediction mode among the completed blocks. In intra-frame prediction, the intra-frame prediction unit 215i divides each block into a plurality of prediction units (either 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, or 4 ⁇ 4 pixels), and each of the plurality of prediction units. Assign a prediction mode to.
- division information indicating a division method for dividing each block into a plurality of prediction units and prediction mode information indicating a prediction mode assigned to each of the plurality of prediction units are supplied to the entropy encoding unit 215d as prediction parameters. To do.
- the intra-frame prediction unit 215i refers to the base layer information supplied from the base layer encoder 213 for intra-frame prediction.
- the intra-frame prediction unit 215i uses the division method determined by itself and the division method used for the intra-frame prediction of the base layer And the division method that can further reduce the prediction residual is used for the intra-frame prediction of the enhancement layer.
- a configuration may be adopted in which (1) only the division information indicating the division method used for the intraframe prediction of the enhancement layer is multiplexed with the enhancement layer stream and transmitted to the receiver 3, or (2) by itself Division information indicating the determined division method, division information indicating the division method used for intraframe prediction of the base layer, and a flag indicating which division method was used for intraframe prediction of the enhancement layer are multiplexed in the enhancement layer stream
- the data is transmitted to the receiver 3. With the latter configuration, even if the receiver 3 is a conventional one that decodes the base layer and the enhancement layer independently, there is no problem in the decoding.
- the partition method determined by itself depends on the partition method used for intra-frame prediction of the base layer.
- the intra-frame prediction unit 215i uses the prediction mode assigned by itself and the prediction mode used for intra-frame prediction of the base layer. And the prediction mode that can further reduce the prediction residual is used for the intra-frame prediction of the enhancement layer.
- a configuration may be adopted in which (1) only the prediction mode information indicating the prediction mode used for the intraframe prediction of the enhancement layer is multiplexed with the enhancement layer stream and transmitted to the receiver 3, or (2) itself
- the enhancement mode includes the prediction mode information indicating the prediction mode assigned in step 1, the prediction mode information indicating the prediction mode used for the intra-frame prediction of the base layer, and a flag indicating which prediction mode was used for the intra-frame prediction of the enhancement layer.
- a configuration of multiplexing the stream and transmitting it to the receiver 3 may be adopted.
- the prediction mode assigned by itself depends on the prediction mode used for intra-frame prediction of the base layer. You may employ
- the inter-frame prediction unit 215j stores the image data of the block being encoded of the frame being encoded (encoding target image) in the block of the encoded frame (local decoded image) accumulated in the frame memory 215g. Of these, prediction (intraframe prediction) is performed from the image data of the block selected according to the motion vector supplied from the motion estimation unit 215k. In the inter-frame prediction, the inter-frame prediction unit 215j converts each block into a plurality of prediction units (16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, Or any one of 4 ⁇ 4 pixels), and a motion vector is assigned to each of the plurality of prediction units.
- division information indicating a division method for dividing each block into a plurality of prediction units and motion vector information indicating a motion vector assigned to each of the plurality of prediction units are supplied to the entropy encoding unit 215d as prediction parameters. To do.
- the inter-frame prediction unit 215j refers to the base layer information supplied from the base layer encoder 213 during inter-frame prediction.
- the inter-frame prediction unit 215j uses the division method determined by itself and the division method used for inter-frame prediction of the base layer And a division method that can further reduce the prediction residual is used for the enhancement frame inter-frame prediction.
- a configuration may be adopted in which (1) only the division information indicating the division method used for the inter-frame prediction of the enhancement layer is multiplexed to the enhancement layer stream and transmitted to the receiver 3, or (2) by itself Division information indicating the determined division method, division information indicating the division method used for inter-frame prediction of the base layer, and a flag indicating which division method was used for inter-frame prediction of the enhancement layer are multiplexed in the enhancement layer stream. It is also possible to adopt a configuration in which the data is transmitted to the receiver 3. With the latter configuration, even if the receiver 3 is a conventional one that decodes the base layer and the enhancement layer independently, there is no problem in the decoding.
- the partition method determined by itself depends on the partition method used for inter-frame prediction of the base layer.
- the inter-frame prediction unit 215j and the motion vector used for the inter-frame prediction of the base layer are assigned by the inter-frame prediction unit 215j.
- the motion vector that can further reduce the prediction residual is used for inter-frame prediction of the enhancement layer.
- a configuration may be adopted in which (1) only motion vector information indicating a motion vector used for inter-frame prediction of the enhancement layer is multiplexed into the enhancement layer stream and transmitted to the receiver 3, or (2) itself
- the enhancement layer includes the motion vector information indicating the motion vector allocated in step 1, the motion vector information indicating the motion vector used for inter-frame prediction of the base layer, and the flag indicating which motion vector is used for the inter-frame prediction of the enhancement layer.
- a configuration of multiplexing the stream and transmitting it to the receiver 3 may be adopted.
- the motion vector assigned by itself is determined according to the motion vector used for inter-frame prediction of the base layer.
- FIG. 5A shows a data structure of content transmitted from the transmitter 2.
- the content transmitted from the transmitter 2 is composed of a base layer stream and an enhancement layer stream, as shown in FIG.
- Each stream is assigned a layer number for identifying the stream from other streams.
- the layer number “1” is allocated to the base layer stream
- the layer number “2” is allocated to the enhancement layer stream.
- the base layer stream and the enhancement layer stream are each divided into a plurality of segments as shown in FIG.
- the base layer stream is divided into a segment S11, a segment S12 to be reproduced next to the segment S11, and a segment S13 to be reproduced next to the segment S12.
- the enhancement layer stream is divided into a segment S21, a segment S22 to be reproduced next to the segment S21, and a segment S23 to be reproduced subsequent to the segment S22.
- Each segment is assigned a segment ID for identifying the segment from other segments. As the segment ID, for example, the PID of a packet included in the segment can be used.
- Each segment is uniquely identified by the layer number, the start index, and the end index.
- the start index is information indicating the start position of the segment.
- the start index is a PCR (Program Clock Reference) value corresponding to the packet at the head of the segment.
- the end index is information indicating the end position of the segment, and is, for example, a PCR value corresponding to the last packet of the segment.
- FIG. 6 is a block diagram showing the configuration of the receiver 3.
- the receiver 3 is an apparatus for receiving and decoding content data. As shown in FIG. 6, the base layer receiving unit 31, the enhancement layer receiving unit 32, the control unit 33, the scalable decoding unit 34, and the audio decoding A portion 35 is provided.
- the base layer receiving unit 31 receives base layer data transmitted from the transmitter 2 (see FIG. 1) and transmitted via the broadcast network 4 (see FIG. 1). Then, the audio stream demultiplexed from the received base layer data is supplied to the audio decoding unit 35. In addition, the base layer stream is supplied to the scalable decoding unit 34.
- the enhancement layer receiving unit 32 receives enhancement layer data transmitted from the transmitter 2 (see FIG. 1) and transmitted via the communication network 5 (see FIG. 1). Then, the media information demultiplexed from the received enhancement layer data is supplied to the control unit 33. In addition, the enhancement layer stream is supplied to the scalable decoding unit 34.
- the control unit 33 converts the media information into control information and supplies the control information to the base layer reception unit 31 and the scalable decoding unit 34.
- the media information regarding the enhancement layer data is converted into control information and supplied to the base layer receiving unit to control the base layer data.
- the scalable decoding unit 34 generates media data by decoding the base layer stream and the enhancement layer stream supplied from the base layer receiving unit 31 and the enhancement layer receiving unit 32.
- the scalable decoding unit 34 also performs buffering so that the base layer stream and the enhancement layer stream have the same timing. Further, the scalable decoding unit 34 refers to, for example, control information (media information converted into control information) supplied from the control unit 33 to determine which segment of the base layer stream corresponds to each segment of the enhancement layer stream. To identify. Details of the scalable decoding unit 34 will be described later with reference to different drawings.
- the audio decoding unit 35 generates audio data by decoding the audio stream.
- FIG. 7 is a block diagram showing a configuration of the scalable decoding unit 34 provided in the receiver 3 shown in FIG.
- the scalable decoding unit 34 has a function of generating media data by scalable decoding of the base layer stream and the enhancement layer stream.
- the base layer decoder 341 restores base data (for example, HD video) by decoding the base layer stream supplied from the base layer receiving unit 31 (see FIG. 6).
- the base data restored by the base layer decoder 341 is supplied to the enlargement processing unit 342.
- the enlargement processing unit 342 enlarges each frame constituting the base data supplied from the base layer decoder 341, thereby expanding the base data having the same resolution (eg, 4096 ⁇ 2160 pixels) as the media data (eg, 4K video). Is generated.
- the enlarged base data generated by the enlargement processing unit 341 is supplied to the enhancement layer decoder 343.
- the enhancement layer decoder 343 restores the difference video between the media data and the expanded base data by decoding the enhancement layer stream supplied from the enhancement layer receiving unit 32 (see FIG. 6). Then, the media data is restored by adding the restored difference video and the enlarged base data supplied from the enlargement processing unit 342.
- FIG. 8 is a block diagram showing the configuration of the enhancement layer decoder 343.
- the enhancement layer decoder 343 uses H.264 as a decoding method. As shown in FIG. 8, an entropy decoding unit 343a, an inverse quantization / IDCT unit 343b, an adder 343c, an adder 343d, an in-loop filter 343e, a frame memory 343f, and an intra-frame prediction 343g and the inter-frame prediction unit 343h.
- the entropy decoding unit 343a generates frequency domain image data (an array including quantized DCT coefficients) by entropy decoding the enhancement layer stream.
- the frequency domain image data generated by the entropy decoding unit 343a is supplied to the inverse quantization / IDCT unit 343b.
- the entropy decoding unit 343a demultiplexes the prediction parameters from the enhancement layer stream.
- the prediction parameter demultiplexed by the entropy decoding unit 343a is supplied to the intra-frame prediction unit 343g or the inter-frame prediction unit 343h.
- the inverse quantization / IDCT unit 343b inversely quantizes the quantized DCT coefficients constituting the frequency domain image data supplied from the entropy decoding unit 343a.
- the obtained frequency domain image data (array consisting of DCT coefficients) is subjected to IDCT conversion into image data (array consisting of pixel values) in the spatial domain.
- the prediction residual image is restored for each block.
- the prediction residual image restored by the inverse quantization / IDCT unit 343b is supplied to the adder 343c.
- the adder 343c generates a decoded image by adding the prediction image to the prediction residual image restored by the inverse quantization / IDCT unit 343b.
- the decoded image generated by the adder 343c matches the encoding target image (difference image obtained by subtracting the corresponding frame of the enlarged base data from each frame of the media data) excluding the quantization error.
- the decoded image generated by the adder 343c includes block noise due to quantization error.
- the in-loop filter 343e is configured to remove this block noise.
- the decoded image generated by the adder 215f is supplied with the adder 343d and accumulated in the frame memory 343f after block noise is removed by the in-loop filter 343e.
- the adder 343d restores the media data by adding the enlarged base data supplied from the enlargement processing unit 342 to the decoded image supplied from the in-loop filter 343e.
- the intra-frame prediction unit 343g entropy-decodes the image data of the block being decoded of the frame being decoded (decoded image) among the decoded blocks of the frame being decoded (decoded image) stored in the frame memory 343f.
- the prediction is performed from the image data of the decoded block selected according to the prediction mode indicated by the prediction parameter (prediction mode information) supplied from the unit 343a. For example, when a flag indicating that the prediction mode used for intra-frame prediction of the base layer should be used is included in the prediction parameter, the image data of the block being decoded in the frame being decoded (decoded image) Prediction is performed from image data of a decoded block selected according to the prediction mode indicated by the information.
- the inter-frame prediction unit 343h stores the image data of the block being decoded of the frame being decoded (decoded image), among the blocks of the decoded frame (decoded image) accumulated in the frame memory 343f, and the entropy decoding unit 343a. Is predicted from the image data of the block selected according to the motion vector indicated by the prediction parameter (motion vector information) supplied from. For example, when a flag indicating that the motion vector used for inter-frame prediction of the base layer should be used is included in the prediction parameter, the image data of the block being decoded in the frame being decoded (decoded image) Prediction is performed from the image data of the block selected according to the motion vector indicated by the information.
- Each block of the transmission device 2 may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or may be realized in software using a CPU (Central Processing Unit). . The same applies to the receiving device 3.
- IC chip integrated circuit
- CPU Central Processing Unit
- the transmission device 2 includes a CPU that executes instructions of a program that realizes each function, a ROM (Read Memory) that stores the program, a RAM (Random Access Memory) that expands the program, the program, and various types
- a storage device such as a memory for storing data is provided.
- An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program of the transmission device 2 that is software that realizes the above-described functions is recorded so as to be readable by a computer. This can also be achieved by supplying the transmission device 2 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU). The same applies to the receiving device 3.
- Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R.
- IC cards including memory cards
- semiconductor memories such as mask ROM / EPROM / EEPROM / flash ROM, PLD (Programmable logic device) and FPGA (Field Programmable Gate Array) Logic circuits can be used.
- the program code may be supplied to the transmission device 2 and the reception device 3 via a communication network.
- the communication network is not particularly limited as long as it can transmit the program code.
- the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network (Virtual Private Network), telephone line network, mobile communication network, satellite communication network, etc. can be used.
- the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
- wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by wireless such as High Data Rate, NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network.
- wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by wireless such as High Data Rate, NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network.
- the encoding apparatus described in the present specification is an encoding apparatus that encodes content including at least two components, and the first component predictively encodes the first component according to the first codec.
- the second component is predictively encoded with reference to a prediction parameter used when predictively encoding one component.
- the second component is predictively encoded with reference to the prediction parameter used when predictively encoding the first component. For this reason, it is possible to improve prediction accuracy when predictively encoding the second component. Thereby, the encoding efficiency at the time of carrying out predictive encoding of the said 2nd component can be improved.
- the second encoding unit includes a first prediction parameter derived by the first encoding unit according to the first codec, and the second codec itself. It is preferable to compare the second prediction parameters derived according to the above and use a prediction parameter with a smaller prediction residual for predictive coding of the second component.
- the encoding apparatus described in the present specification includes the first prediction parameter, the second prediction parameter, and the prediction parameter used by the second encoding unit for predictive encoding of the second component.
- the information processing apparatus further includes a multiplexing unit that multiplexes the flag indicating whether the parameter is the first prediction parameter or the second prediction parameter with the encoded data generated by the second encoding unit. Is preferable.
- the decoding device can decode the encoded data generated by the encoding device.
- the first component and the second component are different layers constituting the scalable encoded content.
- the encoding efficiency of scalable encoding can be improved.
- a transmission apparatus provided with the said encoding apparatus, Comprising: The encoding data produced
- a transmission apparatus provided with transmission means for transmitting via a transmission line is also included in the scope of the present invention.
- a program that causes a computer to operate as the encoding device and a recording medium on which the program is recorded are also included in the scope of the present invention.
- the encoding method described in the present specification is an encoding method for encoding content including at least two components, the first encoding step for predictively encoding the first component according to the first codec, and A second encoding step that predictively encodes a second component according to a second codec, wherein the second encoding step predicts the first component in the first encoding step
- the second component is subjected to predictive encoding with reference to the prediction parameter used when encoding.
- the decoding device described in the present specification is a decoding device that decodes content including at least two components, and includes a first decoding unit that decodes a first component that is predictively encoded according to a first codec, Second decoding means for decoding a second component that has been predictively encoded according to a second codec, wherein the second decoding means decodes the first component by the first decoding means.
- the second component is decoded with reference to the prediction parameter used at the time.
- a decoding device that can decode the encoded data generated by the encoding device can be realized.
- the receiving device includes the decoding device, wherein the encoded data decoded by the first decoding unit and the encoded data decoded by the second decoding unit are transmitted through different transmission paths.
- a receiving device provided with a receiving means for receiving via is also included in the scope of the present invention.
- a program that causes a computer to operate as the decoding device and a recording medium on which the program is recorded are also included in the scope of the present invention.
- the decoding method described in the present specification is a decoding method for decoding content including at least two components, and a first decoding step of decoding a first component that is predictively encoded according to a first codec; And a second decoding step for decoding a second component that is predictively encoded according to a second codec, wherein the second decoding step decodes the first component in the first decoding step.
- the second component is decoded with reference to the prediction parameter used at the time.
- a decoding method that can decode the encoded data generated by the encoding method can be realized.
- the present invention can be suitably used for content distribution such as video distribution.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
A scalable encoding unit (21) comprises a base layer encoder (212) and an enhancement layer encoder (215). The base layer encoder (212) refers to a prediction parameter, which was used for prediction encoding a base layer, and prediction encodes an enhancement layer.
Description
本発明は、コーデック(符号化方式)の異なる複数のコンポーネントとからなるコンテンツを符号化する符号化装置および符号化方法に関する。また、そのような符号化装置を備えた送信装置に関する。更に、本発明は、コーデックの異なる複数のコンポーネントとからなるコンテンツを復号する復号装置および復号方法に関する。また、そのような復号装置を備えた受信装置に関する。加えて、そのような符号化装置、または、そのような復号装置としてコンピュータを機能させるプログラム、および、そのようなプログラムが記録された記録媒体に関する。
The present invention relates to an encoding apparatus and an encoding method for encoding content including a plurality of components having different codecs (encoding schemes). The present invention also relates to a transmission apparatus including such an encoding apparatus. Furthermore, the present invention relates to a decoding apparatus and a decoding method for decoding content composed of a plurality of components having different codecs. The present invention also relates to a receiving device including such a decoding device. In addition, the present invention relates to a program for causing a computer to function as such an encoding device or a decoding device, and a recording medium on which such a program is recorded.
コンテンツを伝送する技術の1つとして、複数の伝送経路を通じてコンテンツを伝送するハイブリッド伝送技術が挙げられる。より具体的に言えば、ハイブリッド伝送技術は、コンテンツを構成する各コンポーネントを、コンポーネント毎に独立した伝送経路を通じて伝送する技術である。
One of the technologies for transmitting content is a hybrid transmission technology for transmitting content through a plurality of transmission paths. More specifically, the hybrid transmission technique is a technique for transmitting each component constituting the content through an independent transmission path for each component.
ハイブリッド伝送技術に関してはこれまでに様々な発明が成されており、その一例として特許文献1および特許文献2に開示されている発明が挙げられる。
Various inventions have been made so far with respect to the hybrid transmission technology, and examples thereof include the inventions disclosed in Patent Document 1 and Patent Document 2.
また、ハイブリッド伝送技術に関するその他の技術として、左目(メイン)映像を放送で伝送し右目(サブ)映像を通信で伝送することで、3D映像コンテンツを伝送する技術が挙げられる。さらに、複数の伝送経路を通じてスケーラブル符号化されたコンテンツを伝送するハイブリッド伝送技術も提案されている。
In addition, as another technology related to the hybrid transmission technology, there is a technology for transmitting 3D video content by transmitting a left-eye (main) video by broadcasting and transmitting a right-eye (sub) video by communication. Further, a hybrid transmission technique for transmitting scalable encoded content through a plurality of transmission paths has been proposed.
スケーラブル符号化されたコンテンツは、1層のベースレイヤと1層以上のエンハンスメントレイヤからなり、ベースレイヤのみを参照した低品質再生とベースレイヤおよびエンハンスメントレイヤを参照した高品質再生が可能である。スケーラブル符号化については、例えば、非特許文献1を参照されたい。
The scalable-encoded content is composed of one base layer and one or more enhancement layers, and can perform low-quality playback with reference to only the base layer and high-quality playback with reference to the base layer and enhancement layer. See, for example, Non-Patent Document 1 for scalable coding.
ところで、スケーラブル符号化されたコンテンツをハイブリッド伝送する場合、伝送路の特性に応じてレイヤ毎に異なるコーデックを用いた符号化を行なうことが想定される。例えば、ベースレイヤを表すベースレイヤデータを放送網を介して伝送し、エンハンスメントレイヤを表すエンハンスメントレイヤデータを通信網を介して伝送する場合、ベースレイヤの符号化に用いるコーデックは例えばMPEG-2であり、エンハンスメントレイヤの符号化に用いるコーデックは例えばH.264/AVCである。レイヤ毎に異なるコーデックを用いた符号化を行なう場合、従来、各レイヤの符号化を独立に行なう構成が採用されていた。例えば、ベースレイヤの符号化を行なう際には、ベースレイヤ内のフレームのみを参照した予測符号化を行っていた。
By the way, when the scalable encoded content is hybrid-transmitted, it is assumed that encoding using a different codec is performed for each layer according to the characteristics of the transmission path. For example, when base layer data representing a base layer is transmitted via a broadcast network and enhancement layer data representing an enhancement layer is transmitted via a communication network, the codec used for base layer encoding is, for example, MPEG-2 The codec used for encoding the enhancement layer is, for example, H.264. H.264 / AVC. When encoding using a different codec for each layer, a configuration in which encoding of each layer is performed independently has been employed. For example, when performing base layer encoding, predictive encoding with reference to only frames within the base layer is performed.
発明者らは、ベースレイヤとエンハンスメントレイヤとは互いに相関のある映像を表しているにも関わらず、これらを独立に符号化する従来の構成には、符号化効率の面で改善の余地があることを見出した。
The inventors have room for improvement in terms of encoding efficiency in the conventional configuration in which the base layer and the enhancement layer represent images that are correlated with each other, but independently encode them. I found out.
本発明は、上記課題に鑑みて成されたものであり、その主な目的は、コーデックの異なる少なくとも2つのコンポーネントを含むコンテンツを予測符号化する符号化装置において、その符号化効率を向上させることにある。また、そのような符号化装置に対応した復号装置を実現することにある。
The present invention has been made in view of the above problems, and a main object of the present invention is to improve the encoding efficiency in an encoding apparatus that predictively encodes content including at least two components having different codecs. It is in. Another object is to realize a decoding device corresponding to such an encoding device.
上記課題を解決するために、本発明に係る符号化装置は、少なくとも2つのコンポーネントを含むコンテンツを符号化する符号化装置であって、第1のコンポーネントを第1のコーデックに従って予測符号化する第1の符号化手段と、第2のコンポーネントを第2のコーデックに従って予測符号化する第2の符号化手段と、を備え、上記第2の符号化手段は、上記第1の符号化手段が上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第2のコンポーネントを予測符号化するものである、ことを特徴とする。
In order to solve the above-described problem, an encoding apparatus according to the present invention is an encoding apparatus that encodes content including at least two components, and first predictively encodes a first component according to a first codec. 1 encoding means, and second encoding means for predictively encoding the second component in accordance with the second codec, wherein the second encoding means includes the first encoding means described above. The second component is predictively encoded with reference to the prediction parameter used when predictively encoding the first component.
上記の構成によれば、上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照して上記第2のコンポーネントを予測符号化する。このため、上記第2のコンポーネントを予測符号化する際の予測精度を向上させることができる。これにより、上記第2のコンポーネントを予測符号化する際の符号化効率を向上させることができる。
According to the above configuration, the second component is predictively encoded with reference to the prediction parameter used when predictively encoding the first component. For this reason, it is possible to improve prediction accuracy when predictively encoding the second component. Thereby, the encoding efficiency at the time of carrying out predictive encoding of the said 2nd component can be improved.
また、コンピュータを上記符号化装置として動作させるプログラム、および、そのプログラムが記録された記録媒体も本発明の範疇に含まれる。
Further, a program that causes a computer to operate as the encoding device and a recording medium on which the program is recorded are also included in the scope of the present invention.
上記課題を解決するために、本発明に係る符号化方法は、少なくとも2つのコンポーネントを含むコンテンツを符号化する符号化方法であって、第1のコンポーネントを第1のコーデックに従って予測符号化する第1の符号化ステップと、第2のコンポーネントを第2のコーデックに従って予測符号化する第2の符号化ステップと、を含み、上記第2の符号化ステップは、上記第1の符号化ステップにおいて上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第2のコンポーネントを予測符号化するものである、ことを特徴とする。
In order to solve the above-mentioned problem, an encoding method according to the present invention is an encoding method for encoding content including at least two components, wherein the first component is predictively encoded according to the first codec. 1 encoding step, and a second encoding step that predictively encodes a second component according to a second codec, wherein the second encoding step is the above-described first encoding step The second component is predictively encoded with reference to the prediction parameter used when predictively encoding the first component.
上記の構成によれば、上記符号化装置と同様の効果を奏する。
According to the above configuration, the same effect as the above encoding device can be obtained.
上記課題を解決するために、本発明に係る復号装置は、少なくとも2つのコンポーネントを含むコンテンツを復号する復号装置であって、第1のコーデックに従って予測符号化された第1のコンポーネントを復号する第1の復号手段と、第2のコーデックに従って予測符号化された第2のコンポーネントを復号する第2の復号手段と、を備え、上記第2の復号手段は、上記第1の復号手段が上記第1のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第2のコンポーネントを復号する、ことを特徴とする。
In order to solve the above-described problem, a decoding apparatus according to the present invention is a decoding apparatus that decodes content including at least two components, and that decodes a first component that is predictively encoded according to a first codec. 1 decoding means, and second decoding means for decoding a second component that has been predictively encoded according to a second codec, wherein the second decoding means is configured such that the first decoding means is the first decoding means. The second component is decoded with reference to a prediction parameter used when decoding one component.
上記の構成によれば、上記符号化装置により生成された符号化データを復号することが可能な復号装置を実現することができる。
According to the above configuration, a decoding device that can decode the encoded data generated by the encoding device can be realized.
なお、上記復号装置を備えた受信装置であって、上記第1の復号手段により復号される符号化データと、上記第2の復号手段により復号される符号化データとを、互いに異なる伝送路を介して受信する受信手段を備えた受信装置も本発明の範疇に含まれる。
Note that the receiving device includes the decoding device, wherein the encoded data decoded by the first decoding unit and the encoded data decoded by the second decoding unit are transmitted through different transmission paths. A receiving device provided with a receiving means for receiving via is also included in the scope of the present invention.
また、コンピュータを上記復号装置として動作させるプログラム、および、そのプログラムが記録された記録媒体も本発明の範疇に含まれる。
Also, a program that causes a computer to operate as the decoding device and a recording medium on which the program is recorded are also included in the scope of the present invention.
上記課題を解決するために、本発明に係る復号方法は、少なくとも2つのコンポーネントを含むコンテンツを復号する復号方法であって、第1のコーデックに従って予測符号化された第1のコンポーネントを復号する第1の復号ステップと、第2のコーデックに従って予測符号化された第2のコンポーネントを復号する第2の復号ステップと、を含み、上記第2の復号ステップは、上記第1の復号ステップにおいて上記第1のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第2のコンポーネントを復号するものである、ことを特徴とする。
In order to solve the above-described problem, a decoding method according to the present invention is a decoding method for decoding content including at least two components, wherein a first component that is predictively encoded according to a first codec is decoded. 1 decoding step, and a second decoding step for decoding a second component that has been predictively encoded according to a second codec, wherein the second decoding step includes the second decoding step in the first decoding step. The second component is decoded with reference to a prediction parameter used when decoding one component.
上記の構成によれば、上記符号化方法により生成された符号化データを復号することが可能な復号方法を実現することができる。
According to the above configuration, a decoding method that can decode the encoded data generated by the encoding method can be realized.
本発明によれば、コーデックの異なる少なくとも2つのコンポーネントを含むコンテンツを予測符号化する符号化装置において、その符号化効率を向上させることができる。
According to the present invention, in an encoding apparatus that predictively encodes content including at least two components having different codecs, the encoding efficiency can be improved.
〔システムの構成〕
本実施形態に係るシステム1について、図1を参照して説明する。 [System configuration]
A system 1 according to the present embodiment will be described with reference to FIG.
本実施形態に係るシステム1について、図1を参照して説明する。 [System configuration]
A system 1 according to the present embodiment will be described with reference to FIG.
図1は、システム1の構成を示すブロック図である。システム1は、コンテンツを配信するためのシステムであり、図1に示すように、コンテンツを表すコンテンツデータを送信する送信機2と、そのコンテンツデータを受信する受信機3とにより構成される。
FIG. 1 is a block diagram showing the configuration of the system 1. The system 1 is a system for distributing content, and includes a transmitter 2 that transmits content data representing content and a receiver 3 that receives the content data, as shown in FIG.
システム1においては、複数のコンポーネントにより構成されるコンテンツ(マルチコンポーネントコンテンツ)を配信対象とする。特に、本実施形態においては、スケーラブル符号化された映像コンテンツ、すなわち、1層のベースレイヤと1層以上のエンハンスメントレイヤとにより構成される映像コンテンツを配信対象とする。
In the system 1, content (multicomponent content) composed of a plurality of components is targeted for distribution. In particular, in the present embodiment, scalable encoded video content, that is, video content including one base layer and one or more enhancement layers is targeted for distribution.
また、システム1においては、複数のコンポーネントの各々を異なる伝送路を介して伝送(ハイブリッド伝送)する。特に、本実施形態においては、ベースレイヤを表すベースレイヤデータを放送網4を介して伝送し、エンハンスメントレイヤを表すエンハンスメントレイヤデータを通信網5を介して伝送する。
Further, in the system 1, each of a plurality of components is transmitted (hybrid transmission) via different transmission paths. In particular, in the present embodiment, base layer data representing the base layer is transmitted via the broadcast network 4, and enhancement layer data representing the enhancement layer is transmitted via the communication network 5.
送信機2は、音声データおよびメディアデータをスケーラブル符号化することによって、上述したベースレイヤデータおよびエンハンスメントレイヤデータを生成する。そして、生成したベースレイヤデータおよびエンハンスメントレイヤデータを、それぞれ、放送網4および通信網5を介して送信する。送信機2の詳細については、参照する図面を代えて後述する。
The transmitter 2 generates the above-described base layer data and enhancement layer data by performing scalable coding on the audio data and the media data. Then, the generated base layer data and enhancement layer data are transmitted via the broadcast network 4 and the communication network 5, respectively. Details of the transmitter 2 will be described later with reference to another drawing.
一方、受信機3は、ベースレイヤデータおよびエンハンスメントレイヤデータを、それぞれ、放送網4および通信網5を介して受信する。そして、受信したベースレイヤデータおよびエンハンスメントレイヤデータを復号することによって、音声データおよびメディアデータを生成する。受信機3の詳細については、参照する図面を代えて後述する。
On the other hand, the receiver 3 receives the base layer data and the enhancement layer data via the broadcast network 4 and the communication network 5, respectively. Then, the received base layer data and enhancement layer data are decoded to generate audio data and media data. Details of the receiver 3 will be described later with reference to another drawing.
なお、本実施形態においては、スケーラブル符号化されたコンテンツを配信対象とするが、配信対象とするコンテンツはこれに限定されない。例えば、3D映像コンテンツ、すなわち、左目用映像と右目用映像とにより構成される映像コンテンツを配信対象としてもよい。この場合、例えば、左目用映像(メイン映像)を放送網4を介して伝送し、右目用映像(サブ映像)を通信網5を介して伝送する構成を採用することができる。
In this embodiment, scalable encoded content is targeted for distribution, but the content targeted for distribution is not limited to this. For example, 3D video content, that is, video content composed of left-eye video and right-eye video may be targeted for distribution. In this case, for example, a configuration in which the left-eye video (main video) is transmitted via the broadcast network 4 and the right-eye video (sub-video) is transmitted via the communication network 5 can be employed.
また、本実施形態においては、放送網4と通信網5との組み合わせによりハイブリッド伝送を実現しているが、ハイブリッド伝送を実現する伝送路の組み合わせはこれに限定されない。すなわち、放送同士の組み合わせにより、または、通信同士の組み合わせによりハイブリッド伝送を実現してもよい。放送同士の組み合わせとしては、例えば、ワンセグ放送とフルセグ放送との組み合わせなどが挙げられる。また、通信同士の組み合わせとしては、例えば、ブロードキャストとユニキャスト(または、マルチキャスト)との組み合わせなどが挙げられる。
Further, in the present embodiment, hybrid transmission is realized by a combination of the broadcast network 4 and the communication network 5, but the combination of transmission paths for realizing the hybrid transmission is not limited to this. That is, hybrid transmission may be realized by a combination of broadcasts or a combination of communications. As a combination of broadcasts, for example, a combination of one seg broadcasting and full seg broadcasting can be cited. Examples of combinations of communications include a combination of broadcast and unicast (or multicast).
また、本実施形態においては、メディアデータとして4K映像を想定するが、メディアデータはこれに限定されるものではない。例えば、4K映像に代えて、任意解像度の動画、任意解像度の静止画、または、これらを組み合わせたものを、スケーラブル符号化して配信する構成を採用してもよい。
In this embodiment, 4K video is assumed as media data, but the media data is not limited to this. For example, instead of 4K video, a configuration may be adopted in which a video with an arbitrary resolution, a still image with an arbitrary resolution, or a combination thereof is scalable encoded and distributed.
〔送信機の構成〕
図1に示すシステムに含まれる送信機2の構成について、図2~図5を参照して説明する。 [Configuration of transmitter]
The configuration of the transmitter 2 included in the system shown in FIG. 1 will be described with reference to FIGS.
図1に示すシステムに含まれる送信機2の構成について、図2~図5を参照して説明する。 [Configuration of transmitter]
The configuration of the transmitter 2 included in the system shown in FIG. 1 will be described with reference to FIGS.
図2は、送信機2の構成を示すブロック図である。送信機2は、コンテンツデータを符号化して送信するための装置であり、図1に示すように、スケーラブル符号化部21、ベースレイヤ送出部22、エンハンスメントレイヤ送出部23、メディア情報生成部24、および音声符号化部25を備えている。
FIG. 2 is a block diagram showing the configuration of the transmitter 2. The transmitter 2 is a device for encoding and transmitting content data. As shown in FIG. 1, the transmitter 2 includes a scalable encoding unit 21, a base layer transmission unit 22, an enhancement layer transmission unit 23, a media information generation unit 24, And a speech encoding unit 25.
スケーラブル符号化部21は、メディアデータをスケーラブル符号化することによって、ベースレイヤストリームおよびエンハンスメントレイヤストリームを生成する。ここで、メディアデータは、例えば、4K映像(4096×2160画素)を表す。これに対して、ベースレイヤストリームは、例えば、HD映像(1920×1080画素)を表し、エンハンスメントレイヤストリームは、例えば、4K映像とHD映像との差分映像を表す。スケーラブル符号化部21により生成されたベースレイヤストリームおよびエンハンスメントレイヤストリームは、それぞれ、ベースレイヤ送出部22およびエンハンスメントレイヤ送出部23に供給される。なお、スケーラブル符号化部21の詳細については、参照する図面を代えて後述する。
The scalable encoding unit 21 generates a base layer stream and an enhancement layer stream by performing scalable encoding of media data. Here, the media data represents, for example, 4K video (4096 × 2160 pixels). On the other hand, the base layer stream represents, for example, HD video (1920 × 1080 pixels), and the enhancement layer stream represents, for example, difference video between 4K video and HD video. The base layer stream and enhancement layer stream generated by the scalable encoding unit 21 are supplied to the base layer transmission unit 22 and the enhancement layer transmission unit 23, respectively. Note that details of the scalable encoding unit 21 will be described later with reference to another drawing.
ベースレイヤ送出部22は、スケーラブル符号化部21から供給されたベースレイヤストリームに、音声符号化部25から供給された音声ストリームを多重化して送信する。この際、ベースレイヤ送出部22は、ベースレイヤストリームを複数のセグメントに分割して送信する(図5(a)の上段参照)。
The base layer transmission unit 22 multiplexes and transmits the audio stream supplied from the audio encoding unit 25 to the base layer stream supplied from the scalable encoding unit 21. At this time, the base layer transmission unit 22 transmits the base layer stream by dividing it into a plurality of segments (see the upper part of FIG. 5A).
これに関連して、本実施形態においては、送信中のセグメントに関する情報をベースレイヤ送出部22がメディア情報生成部24に通知する構成が採用されている。特に、本実施形態においては、(1)そのセグメントが属するレイヤ(ベースレイヤ)を他のレイヤ(エンハンスメントレイヤ)と識別するためのレイヤ番号(「1」)、(2)そのセグメントを他のセグメントと識別するためのセグメント識別子(例えば、そのセグメントに含まれる何れかのパケットのPID)、(3)そのセグメントの開始位置を示す開始インデックス(例えば、そのセグメントの先頭のパケットに対応するPCR値)、(4)そのセグメントの終了位置を示す終了インデックス(例えば、そのセグメントの末尾のパケットに対応するPCR値)を、ベースレイヤ送出部22がメディア情報生成部24に通知する構成が採用されている。
In this regard, in the present embodiment, a configuration is employed in which the base layer transmission unit 22 notifies the media information generation unit 24 of information related to the segment being transmitted. In particular, in the present embodiment, (1) a layer number (“1”) for identifying a layer (base layer) to which the segment belongs from another layer (enhancement layer), (2) the segment as another segment Segment identifier (for example, PID of any packet included in the segment), (3) start index indicating the start position of the segment (for example, a PCR value corresponding to the first packet of the segment) (4) A configuration is employed in which the base layer transmission unit 22 notifies the media information generation unit 24 of an end index indicating the end position of the segment (for example, a PCR value corresponding to the last packet of the segment). .
これらの情報に加えて、そのセグメントが属するレイヤ(ベースレイヤ)のコーデックを示すコーデック情報や、レイヤ間の依存関係を示す情報(例えば、レイヤがベースレイヤであるかエンハンスメントレイヤであるかを示す情報)、ベース・エンハンス相互の情報(例えば、ベースレイヤの情報をエンハンスメントレイヤデータに送ることを示すだけでなく、エンハンスメントレイヤの情報をベースレイヤデータに送ることを示す情報)をベースレイヤ送出部22がメディア情報生成部24に通知するようにしてもよい。
In addition to these pieces of information, codec information indicating the codec of the layer (base layer) to which the segment belongs, information indicating dependency between layers (for example, information indicating whether the layer is a base layer or an enhancement layer) ), The base layer sending unit 22 transmits mutual information between the base and the enhancement (for example, information showing not only sending the information of the base layer to the enhancement layer data but also sending the information of the enhancement layer to the base layer data). The media information generation unit 24 may be notified.
メディア情報生成部24は、ベースレイヤ送出部22から通知されたレイヤ番号、セグメント識別子、開始インデックス、終了インデックスを含むメディア情報を生成する(図5(b)参照)。メディア情報生成部24により生成されるメディア情報は、例えば、レイヤ番号、セグメント識別子、開始インデックス、終了インデックスを、それぞれ、予め定められた変換テーブルに従ってビット列に変換した後、これらのビット列を結合することによって得られる配列である。メディア情報生成部24は、生成したメディア情報をエンハンスメントレイヤ送出部23に供給する。
The media information generation unit 24 generates media information including the layer number, segment identifier, start index, and end index notified from the base layer transmission unit 22 (see FIG. 5B). The media information generated by the media information generation unit 24 includes, for example, converting a layer number, a segment identifier, a start index, and an end index into bit strings according to a predetermined conversion table, and then combining these bit strings. Is the sequence obtained. The media information generation unit 24 supplies the generated media information to the enhancement layer transmission unit 23.
エンハンスメントレイヤ送出部23は、スケーラブル符号化部21から供給されたエンハンスメントレイヤストリームに、メディア情報生成部24から供給されたメディア情報を多重化して送信する。この際、エンハンスメントレイヤ送出部23は、ベースレイヤ送出部22と同様、エンハンスメントレイヤストリームを複数のセグメントに分割して送信する(図5(a)の下段参照)。エンハンスメントレイヤ送出部23がエンハンスメントレイヤストリームを分割する位置(タイミング)は、ベースレイヤ送出部22がベースレイヤストリームを分割する位置(タイミング)と同一である。
The enhancement layer sending unit 23 multiplexes the media information supplied from the media information generating unit 24 and transmits the enhancement layer stream supplied from the scalable encoding unit 21. At this time, the enhancement layer transmission unit 23 divides the enhancement layer stream into a plurality of segments and transmits the same as the base layer transmission unit 22 (see the lower part of FIG. 5A). The position (timing) at which the enhancement layer sending unit 23 divides the enhancement layer stream is the same as the position (timing) at which the base layer sending unit 22 divides the base layer stream.
なお、エンハンスメントレイヤストリームにメディア情報を多重化する方法としては、エンハンスメントレイヤストリームのパディングパケット(空白パケット)を、セクションパケット化されたメディア情報により置換する方法などが挙げられる。ベースレイヤストリームの各セグメントに関するメディア情報は、そのセグメントと開始位置および終了位置を同じくする、エンハンスメントレイヤストリームのセグメントに多重化される。
In addition, as a method of multiplexing the media information in the enhancement layer stream, a method of replacing the padding packet (blank packet) of the enhancement layer stream with the section packetized media information may be used. Media information about each segment of the base layer stream is multiplexed into segments of the enhancement layer stream that have the same start position and end position as the segment.
図3は、図2に示す送信機2が備えているスケーラブル符号化部21の構成を示すブロック図である。スケーラブル符号化部21は、上述したとおり、メディアデータをスケーラブル符号化することによってベースレイヤストリームおよびエンハンスメントレイヤストリームを生成する機能を有し、図3に示すように、縮小処理部211、ベースレイヤエンコーダ212、ベースレイヤデコーダ213、拡大処理部214、およびエンハンスメントレイヤエンコーダ215とを備えている。
FIG. 3 is a block diagram showing a configuration of the scalable encoding unit 21 provided in the transmitter 2 shown in FIG. As described above, the scalable encoding unit 21 has a function of generating a base layer stream and an enhancement layer stream by performing scalable encoding of media data. As illustrated in FIG. 3, the reduction processing unit 211, the base layer encoder 212, a base layer decoder 213, an enlargement processing unit 214, and an enhancement layer encoder 215.
縮小処理部211は、メディアデータ(例えば、4K映像)を構成する各フレームを縮小することによって、ベースデータ(例えば、HD映像)を生成する。縮小処理部211によって生成されたベースデータは、ベースレイヤエンコーダ212に供給される。
The reduction processing unit 211 generates base data (eg, HD video) by reducing each frame constituting the media data (eg, 4K video). The base data generated by the reduction processing unit 211 is supplied to the base layer encoder 212.
ベースレイヤエンコーダ212は、縮小処理部211から供給されたベースデータを符号化することによって、ベースレイヤストリームを生成する。ベースレイヤエンコーダ212がベースレイヤデータの符号化に用いるコーデックは、例えば、MPEG-2である。ベースレイヤエンコーダ212によって生成されたベースレイヤストリームは、ベースレイヤ送出部22(図2参照)およびベースレイヤデコーダ213に供給される。
The base layer encoder 212 encodes the base data supplied from the reduction processing unit 211, thereby generating a base layer stream. A codec used by the base layer encoder 212 to encode base layer data is, for example, MPEG-2. The base layer stream generated by the base layer encoder 212 is supplied to the base layer transmission unit 22 (see FIG. 2) and the base layer decoder 213.
ベースレイヤデコーダ213は、ベースレイヤエンコーダ212より供給されたベースレイヤストリームを復号することによって、ベースデータ(例えば、HD映像)を復元する。ベースレイヤデコーダ214によって復元されたベースデータは、エンコード/デコード過程で生じる誤差を除いて、縮小処理部211によって生成されたベースデータと一致する。ベースレイヤデコーダ213によって生成されたベースデータは、拡大処理部214に供給される。
The base layer decoder 213 restores base data (for example, HD video) by decoding the base layer stream supplied from the base layer encoder 212. The base data restored by the base layer decoder 214 matches the base data generated by the reduction processing unit 211 except for errors that occur during the encoding / decoding process. Base data generated by the base layer decoder 213 is supplied to the enlargement processing unit 214.
拡大処理部214は、ベースデータデコーダ213から供給されたベースデータを構成する各フレームを拡大することによって、メディアデータと同一解像度(例えば、4096×2160画素)の拡大ベースデータを生成する。拡大処理部214によって生成された拡大ベースデータは、エンハンスメントレイヤエンコーダ215に供給される。
The enlargement processing unit 214 generates enlarged base data having the same resolution as the media data (for example, 4096 × 2160 pixels) by enlarging each frame constituting the base data supplied from the base data decoder 213. The enlarged base data generated by the enlargement processing unit 214 is supplied to the enhancement layer encoder 215.
エンハンスメントレイヤエンコーダ215は、メディアデータと拡大ベースデータとの差分映像を符号化することによって、エンハンスメントレイヤストリームを生成する。エンハンスメントレイヤエンコーダが差分映像の符号化に用いるコーデックは、ベースレイヤエンコーダ212がベースレイヤデータの符号化に用いるコーデックとは異なるコーデックであり、例えば、H.264/AVCである。エンハンスメントレイヤエンコーダ215によって生成されたエンハンスメントレイヤストリームは、エンハンスメントレイヤ送出部23(図2参照)に供給される。
The enhancement layer encoder 215 generates an enhancement layer stream by encoding the difference video between the media data and the enlarged base data. The codec used by the enhancement layer encoder to encode the difference video is a codec different from the codec used by the base layer encoder 212 to encode the base layer data. H.264 / AVC. The enhancement layer stream generated by the enhancement layer encoder 215 is supplied to the enhancement layer transmission unit 23 (see FIG. 2).
スケーラブル符号化部21において注目すべきは、ベースレイヤエンコーダ212からエンハンスメントレイヤエンコーダ215にベースレイヤ情報を供給し、エンハンスメントレイヤエンコーダ215がベースレイヤ情報を参照してエンハンスメントレイヤストリームを符号化する点である。ベースレイヤエンコーダ212からエンハンスメントレイヤエンコーダ215に供給されるベースレイヤ情報としては、ベースレイヤエンコーダ212がベースレイヤデータを符号化する際に用いた予測パラメータなどが挙げられる。
What should be noted in the scalable encoding unit 21 is that base layer information is supplied from the base layer encoder 212 to the enhancement layer encoder 215, and the enhancement layer encoder 215 refers to the base layer information and encodes the enhancement layer stream. . Examples of the base layer information supplied from the base layer encoder 212 to the enhancement layer encoder 215 include prediction parameters used when the base layer encoder 212 encodes base layer data.
以下、エンハンスメントレイヤエンコーダ215の詳細について、図4を参照して説明する。
Hereinafter, details of the enhancement layer encoder 215 will be described with reference to FIG.
図4は、エンハンスメントレイヤエンコーダ215の構成を示すブロック図である。エンハンスメントレイヤエンコーダ215は、符号化方式としてH.264/AVCを採用したエンコーダであり、図4に示すように、減算器215a~215b、DCT/量子化部215c、エントロピー符号化部215d、逆量子化/IDCT部215e、加算器215f、ループ内フィルタ215g、フレームメモリ215h、フレーム内予測部215i、フレーム間予測部215j、および動き推定部215kを備えている。
FIG. 4 is a block diagram showing a configuration of the enhancement layer encoder 215. The enhancement layer encoder 215 uses H.264 as an encoding method. As shown in FIG. 4, a subtracter 215a to 215b, a DCT / quantization unit 215c, an entropy encoding unit 215d, an inverse quantization / IDCT unit 215e, an adder 215f, an in-loop A filter 215g, a frame memory 215h, an intra-frame prediction unit 215i, an inter-frame prediction unit 215j, and a motion estimation unit 215k are provided.
減算器215aは、メディアデータを構成する各フレームから拡大ベースデータを構成する対応フレームを減算することによって、差分画像を生成する。この差分画像は、エンハンスメントレイヤエンコーダ215が符号化の対象とする画像なので、以下では、これを符号化対象画像と記載する。減算器215bは、符号化対象画像からフレーム内予測部215iまたはフレーム間予測部215jにより生成された予測画像を減算することによって、予測残差画像を生成する。
The subtractor 215a generates a difference image by subtracting the corresponding frame constituting the enlarged base data from each frame constituting the media data. Since this difference image is an image to be encoded by the enhancement layer encoder 215, this is hereinafter referred to as an encoding target image. The subtractor 215b generates a prediction residual image by subtracting the prediction image generated by the intra-frame prediction unit 215i or the inter-frame prediction unit 215j from the encoding target image.
DCT/量子化部215cは、予測残差画像を構成する各ブロックについて、空間領域の画像データ(画素値からなる配列)を周波数領域の画像データ(DCT係数からなる配列)にDCT変換する。そして、得られた周波数領域の画像データを構成するDCT係数を量子化する。DCT/量子化部215cによって生成された周波数領域の画像データ(量子化されたDCT係数からなる配列)は、エントロピー符号化部215dおよび逆量子化/IDCT部215eに供給される。
The DCT / quantization unit 215c DCT-transforms the spatial domain image data (array of pixel values) into the frequency domain image data (array of DCT coefficients) for each block constituting the prediction residual image. Then, the DCT coefficients constituting the obtained frequency domain image data are quantized. The frequency domain image data (array including quantized DCT coefficients) generated by the DCT / quantization unit 215c is supplied to the entropy encoding unit 215d and the inverse quantization / IDCT unit 215e.
エントロピー符号化部215dは、DCT/量子化部215cによって生成された周波数領域の画像データをエントロピー符号化することによって、エンハンスメントレイヤストリームを生成する。この際、エントロピー符号化部215dは、エンハンスメントレイヤストリームに、フレーム内予測部215iおよびフレーム間予測部215jから供給された予測パラメータ(後述)を多重化する。エントロピー符号化部215dによって生成されたエンハンスメントレイヤストリームは、エンハンスメントレイヤ送出部23(図2参照)に供給される。
The entropy encoding unit 215d generates an enhancement layer stream by entropy encoding the frequency domain image data generated by the DCT / quantization unit 215c. At this time, the entropy encoding unit 215d multiplexes prediction parameters (described later) supplied from the intra-frame prediction unit 215i and the inter-frame prediction unit 215j in the enhancement layer stream. The enhancement layer stream generated by the entropy encoding unit 215d is supplied to the enhancement layer sending unit 23 (see FIG. 2).
逆量子化/IDCT部215eは、周波数領域の画像データを構成する量子化されたDCT係数を逆量子化すると共に、周波数領域の画像データを空間領域の画像データに変換することによって、予測残差画像をブロック毎に復元する。逆量子化/IDCT部215eにより復元された予測残差画像は、加算器215fに供給される。
The inverse quantization / IDCT unit 215e inversely quantizes the quantized DCT coefficients constituting the frequency domain image data, and converts the frequency domain image data into spatial domain image data, thereby predicting residuals. Restore the image block by block. The prediction residual image restored by the inverse quantization / IDCT unit 215e is supplied to the adder 215f.
加算機215fは、逆量子化/IDCT部215eにより復元された予測残差画像に予測画像を加算することによって、局所復号画像を生成する。加算器215fによって生成された局所復号画像は、量子化誤差を除いて符号化対象画像に一致する。
The adder 215f generates a locally decoded image by adding the prediction image to the prediction residual image restored by the inverse quantization / IDCT unit 215e. The local decoded image generated by the adder 215f matches the encoding target image except for the quantization error.
加算器215fによって生成された局所復号画像には、量子化誤差に起因するブロックノイズが含まれる。ループ内フィルタ215gは、このブロックノイズを除去するための平滑化フィルタである。加算器215fによって生成された局所復号画像は、ループ内フィルタ215gによってブロックノイズを除去された後、フレームメモリ215gに蓄積される。
The local decoded image generated by the adder 215f includes block noise due to quantization error. The in-loop filter 215g is a smoothing filter for removing this block noise. The locally decoded image generated by the adder 215f is accumulated in the frame memory 215g after the block noise is removed by the in-loop filter 215g.
フレーム内予測部215iは、符号化中のフレーム(符号化対象画像)の符号化中のブロックの画像データを、フレームメモリ215gに蓄積された、符号化中のフレーム(局所復号画像)の符号化済ブロックのうち、予測モードに応じて選択された符号化済ブロックの画像データから予測(フレーム内予測)する。フレーム内予測に際し、フレーム内予測部215iは、各ブロックを複数の予測単位(16×16画素、8×8画素、または4×4画素の何れか)に分割し、これら複数の予測単位の各々に予測モードを割り当てる。そして、各ブロックを複数の予測単位に分割する分割方法を示す分割情報と、これら複数の予測単位の各々に割り当てた予測モードを示す予測モード情報とを、予測パラメータとしてエントロピー符号化部215dに供給する。
The intra-frame prediction unit 215i encodes the image data of the block being encoded in the frame being encoded (encoding target image) and the frame being encoded (locally decoded image) stored in the frame memory 215g. Prediction (intraframe prediction) is performed from the image data of the encoded block selected according to the prediction mode among the completed blocks. In intra-frame prediction, the intra-frame prediction unit 215i divides each block into a plurality of prediction units (either 16 × 16 pixels, 8 × 8 pixels, or 4 × 4 pixels), and each of the plurality of prediction units. Assign a prediction mode to. Then, division information indicating a division method for dividing each block into a plurality of prediction units and prediction mode information indicating a prediction mode assigned to each of the plurality of prediction units are supplied to the entropy encoding unit 215d as prediction parameters. To do.
ここで、フレーム内予測部215iは、フレーム内予測に際し、ベースレイヤエンコーダ213から供給されたベースレイヤ情報を参照する。
Here, the intra-frame prediction unit 215i refers to the base layer information supplied from the base layer encoder 213 for intra-frame prediction.
例えば、ベースレイヤ情報に、ベースレイヤのフレーム内予測に用いた分割方法が示されている場合、フレーム内予測部215iは、自身で決定した分割方法とベースレイヤのフレーム内予測に用いた分割方法とを比較し、より予測残差を小さくできる方の分割方法をエンハンスメントレイヤのフレーム内予測に利用する。この場合、(1)エンハンスメントレイヤのフレーム内予測に利用した分割方法を示す分割情報のみをエンハンスメントレイヤストリームに多重化して受信機3に送信する構成を採用してもよいし、(2)自身で決定した分割方法を示す分割情報とベースレイヤのフレーム内予測に用いた分割方法を示す分割情報とエンハンスメントレイヤのフレーム内予測にどちらの分割方法を利用したかを示すフラグとをエンハンスメントレイヤストリームに多重化して受信機3に送信する構成を採用してもよい。後者の構成であれば、受信機3がベースレイヤとエンハンスメントレイヤとを独立に復号する従来のものであっても、その復号に支障が生じることがない。
For example, when the base layer information indicates the division method used for the intra-frame prediction of the base layer, the intra-frame prediction unit 215i uses the division method determined by itself and the division method used for the intra-frame prediction of the base layer And the division method that can further reduce the prediction residual is used for the intra-frame prediction of the enhancement layer. In this case, a configuration may be adopted in which (1) only the division information indicating the division method used for the intraframe prediction of the enhancement layer is multiplexed with the enhancement layer stream and transmitted to the receiver 3, or (2) by itself Division information indicating the determined division method, division information indicating the division method used for intraframe prediction of the base layer, and a flag indicating which division method was used for intraframe prediction of the enhancement layer are multiplexed in the enhancement layer stream It is also possible to adopt a configuration in which the data is transmitted to the receiver 3. With the latter configuration, even if the receiver 3 is a conventional one that decodes the base layer and the enhancement layer independently, there is no problem in the decoding.
なお、自身で決定した分割方法とベースレイヤのフレーム内予測に用いた分割方法とを比較する構成の代わりに、自身で決定した分割方法をベースレイヤのフレーム内予測に用いた分割方法に応じて補正し、補正した分割方法をエンハンスメントレイヤのフレーム内予測に利用する構成を採用してもよい。
Instead of the configuration that compares the partition method determined by itself and the partition method used for intra-frame prediction of the base layer, the partition method determined by itself depends on the partition method used for intra-frame prediction of the base layer. You may employ | adopt the structure which correct | amends and uses the correct | amended division | segmentation method for the intra-frame prediction of an enhancement layer.
また、ベースレイヤ情報に、ベースレイヤのフレーム内予測に用いた予測モードが示されている場合、フレーム内予測部215iは、自身で割り当てた予測モードとベースレイヤのフレーム内予測に用いた予測モードとを比較し、より予測残差を小さくできる方の予測モードをエンハンスメントレイヤのフレーム内予測に利用する。この場合、(1)エンハンスメントレイヤのフレーム内予測に利用した予測モードを示す予測モード情報のみをエンハンスメントレイヤストリームに多重化して受信機3に送信する構成を採用してもよいし、(2)自身で割り当てた予測モードを示す予測モード情報とベースレイヤのフレーム内予測に用いた予測モードを示す予測モード情報とエンハンスメントレイヤのフレーム内予測にどちらの予測モードを利用したかを示すフラグとをエンハンスメントレイヤストリームに多重化して受信機3に送信する構成を採用してもよい。
When the base layer information indicates the prediction mode used for intra-frame prediction of the base layer, the intra-frame prediction unit 215i uses the prediction mode assigned by itself and the prediction mode used for intra-frame prediction of the base layer. And the prediction mode that can further reduce the prediction residual is used for the intra-frame prediction of the enhancement layer. In this case, a configuration may be adopted in which (1) only the prediction mode information indicating the prediction mode used for the intraframe prediction of the enhancement layer is multiplexed with the enhancement layer stream and transmitted to the receiver 3, or (2) itself The enhancement mode includes the prediction mode information indicating the prediction mode assigned in step 1, the prediction mode information indicating the prediction mode used for the intra-frame prediction of the base layer, and a flag indicating which prediction mode was used for the intra-frame prediction of the enhancement layer. A configuration of multiplexing the stream and transmitting it to the receiver 3 may be adopted.
なお、自身で割り当てた予測モードとベースレイヤのフレーム内予測に用いた予測モードとを比較する構成の代わりに、自身で割り当てた予測モードをベースレイヤのフレーム内予測に用いた予測モードに応じて補正し、補正した予測モードをエンハンスメントレイヤのフレーム内予測に利用する構成を採用してもよい。
Instead of the configuration that compares the prediction mode assigned by itself and the prediction mode used for intra-frame prediction of the base layer, the prediction mode assigned by itself depends on the prediction mode used for intra-frame prediction of the base layer. You may employ | adopt the structure which correct | amends and uses the correct | amended prediction mode for the intra-frame prediction of an enhancement layer.
フレーム間予測部215jは、符号化中のフレーム(符号化対象画像)の符号化中のブロックの画像データを、フレームメモリ215gに蓄積された、符号化済のフレーム(局所復号画像)のブロックのうち、動き推定部215kから供給された動きベクトルに応じて選択されたブロックの画像データから予測(フレーム内予測)する。フレーム間予測に際し、フレーム間予測部215jは、各ブロックを複数の予測単位(16×16画素、16×8画素、8×16画素、8×8画素、8×4画素、4×8画素、または4×4画素の何れか)に分割し、これら複数の予測単位の各々に動きベクトルを割り当てる。そして、各ブロックを複数の予測単位に分割する分割方法を示す分割情報と、これら複数の予測単位の各々に割り当てた動きベクトルを示す動きベクトル情報とを、予測パラメータとしてエントロピー符号化部215dに供給する。
The inter-frame prediction unit 215j stores the image data of the block being encoded of the frame being encoded (encoding target image) in the block of the encoded frame (local decoded image) accumulated in the frame memory 215g. Of these, prediction (intraframe prediction) is performed from the image data of the block selected according to the motion vector supplied from the motion estimation unit 215k. In the inter-frame prediction, the inter-frame prediction unit 215j converts each block into a plurality of prediction units (16 × 16 pixels, 16 × 8 pixels, 8 × 16 pixels, 8 × 8 pixels, 8 × 4 pixels, 4 × 8 pixels, Or any one of 4 × 4 pixels), and a motion vector is assigned to each of the plurality of prediction units. Then, division information indicating a division method for dividing each block into a plurality of prediction units and motion vector information indicating a motion vector assigned to each of the plurality of prediction units are supplied to the entropy encoding unit 215d as prediction parameters. To do.
ここで、フレーム間予測部215jは、フレーム間予測に際し、ベースレイヤエンコーダ213から供給されたベースレイヤ情報を参照する。
Here, the inter-frame prediction unit 215j refers to the base layer information supplied from the base layer encoder 213 during inter-frame prediction.
例えば、ベースレイヤ情報に、ベースレイヤのフレーム間予測に用いた分割方法が示されている場合、フレーム間予測部215jは、自身で決定した分割方法とベースレイヤのフレーム間予測に用いた分割方法とを比較し、より予測残差を小さくできる方の分割方法をエンハンスメントレイヤのフレーム間予測に利用する。この場合、(1)エンハンスメントレイヤのフレーム間予測に利用した分割方法を示す分割情報のみをエンハンスメントレイヤストリームに多重化して受信機3に送信する構成を採用してもよいし、(2)自身で決定した分割方法を示す分割情報とベースレイヤのフレーム間予測に用いた分割方法を示す分割情報とエンハンスメントレイヤのフレーム間予測にどちらの分割方法を利用したかを示すフラグとをエンハンスメントレイヤストリームに多重化して受信機3に送信する構成を採用してもよい。後者の構成であれば、受信機3がベースレイヤとエンハンスメントレイヤとを独立に復号する従来のものであっても、その復号に支障が生じることがない。
For example, when the division method used for inter-frame prediction of the base layer is indicated in the base layer information, the inter-frame prediction unit 215j uses the division method determined by itself and the division method used for inter-frame prediction of the base layer And a division method that can further reduce the prediction residual is used for the enhancement frame inter-frame prediction. In this case, a configuration may be adopted in which (1) only the division information indicating the division method used for the inter-frame prediction of the enhancement layer is multiplexed to the enhancement layer stream and transmitted to the receiver 3, or (2) by itself Division information indicating the determined division method, division information indicating the division method used for inter-frame prediction of the base layer, and a flag indicating which division method was used for inter-frame prediction of the enhancement layer are multiplexed in the enhancement layer stream. It is also possible to adopt a configuration in which the data is transmitted to the receiver 3. With the latter configuration, even if the receiver 3 is a conventional one that decodes the base layer and the enhancement layer independently, there is no problem in the decoding.
なお、自身で決定した分割方法とベースレイヤのフレーム間予測に用いた分割方法とを比較する構成の代わりに、自身で決定した分割方法をベースレイヤのフレーム間予測に用いた分割方法に応じて補正し、補正した分割方法をエンハンスメントレイヤのフレーム間予測に利用する構成を採用してもよい。
Instead of a configuration that compares the partition method determined by itself with the partition method used for inter-frame prediction of the base layer, the partition method determined by itself depends on the partition method used for inter-frame prediction of the base layer. You may employ | adopt the structure which correct | amends and uses the correct | amended division | segmentation method for the inter-frame prediction of an enhancement layer.
また、ベースレイヤ情報に、ベースレイヤのフレーム間予測に用いた動きベクトルが示されている場合、フレーム間予測部215jは、自身で割り当てた動きベクトルとベースレイヤのフレーム間予測に用いた動きベクトルとを比較し、より予測残差を小さくできる方の動きベクトルをエンハンスメントレイヤのフレーム間予測に利用する。この場合、(1)エンハンスメントレイヤのフレーム間予測に利用した動きベクトルを示す動きベクトル情報のみをエンハンスメントレイヤストリームに多重化して受信機3に送信する構成を採用してもよいし、(2)自身で割り当てた動きベクトルを示す動きベクトル情報とベースレイヤのフレーム間予測に用いた動きベクトルを示す動きベクトル情報とエンハンスメントレイヤのフレーム間予測にどちらの動きベクトルを利用したかを示すフラグとをエンハンスメントレイヤストリームに多重化して受信機3に送信する構成を採用してもよい。
In addition, when the motion vector used for the inter-frame prediction of the base layer is indicated in the base layer information, the inter-frame prediction unit 215j and the motion vector used for the inter-frame prediction of the base layer are assigned by the inter-frame prediction unit 215j. And the motion vector that can further reduce the prediction residual is used for inter-frame prediction of the enhancement layer. In this case, a configuration may be adopted in which (1) only motion vector information indicating a motion vector used for inter-frame prediction of the enhancement layer is multiplexed into the enhancement layer stream and transmitted to the receiver 3, or (2) itself The enhancement layer includes the motion vector information indicating the motion vector allocated in step 1, the motion vector information indicating the motion vector used for inter-frame prediction of the base layer, and the flag indicating which motion vector is used for the inter-frame prediction of the enhancement layer. A configuration of multiplexing the stream and transmitting it to the receiver 3 may be adopted.
なお、自身で割り当てた動きベクトルとベースレイヤのフレーム間予測に用いた動きベクトルとを比較する構成の代わりに、自身で割り当てた動きベクトルをベースレイヤのフレーム間予測に用いた動きベクトルに応じて補正し、補正した動きベクトルをエンハンスメントレイヤのフレーム間予測に利用する構成を採用してもよい。
Instead of a configuration that compares the motion vector assigned by itself and the motion vector used for inter-frame prediction of the base layer, the motion vector assigned by itself is determined according to the motion vector used for inter-frame prediction of the base layer. You may employ | adopt the structure which correct | amends and uses the corrected motion vector for the inter-frame prediction of an enhancement layer.
図5(a)は、送信機2から送信されるコンテンツのデータ構造を表す図である。
FIG. 5A shows a data structure of content transmitted from the transmitter 2.
送信機2から送信されるコンテンツは、図5(a)に示すように、ベースレイヤストリームとエンハンスメントレイヤストリームとにより構成される。各ストリームには、そのストリームを他のストリームの識別するためのレイヤ番号が割り振られる。図5(a)に示した例では、ベースレイヤストリームにレイヤ番号「1」が割り振られ、エンハンスメントレイヤストリームにレイヤ番号「2」が割り振られている。
The content transmitted from the transmitter 2 is composed of a base layer stream and an enhancement layer stream, as shown in FIG. Each stream is assigned a layer number for identifying the stream from other streams. In the example shown in FIG. 5A, the layer number “1” is allocated to the base layer stream, and the layer number “2” is allocated to the enhancement layer stream.
また、ベースレイヤストリームおよびエンハンスメントレイヤストリームは、それぞれ、図5(a)に示すように、複数のセグメントに分割される。図5(a)に示した例では、ベースレイヤストリームは、セグメントS11と、セグメントS11の次に再生すべきセグメントS12と、セグメントS12の次に再生すべきセグメントS13とに分割されている。同様に、エンハンスメントレイヤストリームは、セグメントS21と、セグメントS21の次に再生すべきセグメントS22と、セグメントS22に続けて再生すべきセグメントS23とに分割されている。各セグメントには、そのセグメントを他のセグメントと識別するためのセグメントIDが割り振られる。セグメントIDとしては、例えば、そのセグメントに含まれるパケットのPIDを用いることができる。
Also, the base layer stream and the enhancement layer stream are each divided into a plurality of segments as shown in FIG. In the example shown in FIG. 5A, the base layer stream is divided into a segment S11, a segment S12 to be reproduced next to the segment S11, and a segment S13 to be reproduced next to the segment S12. Similarly, the enhancement layer stream is divided into a segment S21, a segment S22 to be reproduced next to the segment S21, and a segment S23 to be reproduced subsequent to the segment S22. Each segment is assigned a segment ID for identifying the segment from other segments. As the segment ID, for example, the PID of a packet included in the segment can be used.
また、各セグメントは、レイヤ番号、開始インデックス、および終了インデックスによって一意に特定される。ここで、開始インデックスは、そのセグメントの開始位置を示す情報であり、例えば、そのセグメントの先頭にパケットに対応するPCR(Program Clock Reference)値である。また、終了インデックスは、そのセグメントの終了位置を示す情報であり、例えば、そのセグメントの末尾のパケットに対応するPCR値である。例えば、ベースレイヤストリームに含まれるセグメントS11は、レイヤ番号=1、開始インデックス=a0、終了インデックス=a1によって一意に特定される。
Each segment is uniquely identified by the layer number, the start index, and the end index. Here, the start index is information indicating the start position of the segment. For example, the start index is a PCR (Program Clock Reference) value corresponding to the packet at the head of the segment. The end index is information indicating the end position of the segment, and is, for example, a PCR value corresponding to the last packet of the segment. For example, the segment S11 included in the base layer stream is uniquely identified by layer number = 1, start index = a0, and end index = a1.
〔受信機の構成〕
図1に示すシステムに含まれる受信機3の構成について、図6~図8を参照して説明する。 [Configuration of receiver]
The configuration of the receiver 3 included in the system shown in FIG. 1 will be described with reference to FIGS.
図1に示すシステムに含まれる受信機3の構成について、図6~図8を参照して説明する。 [Configuration of receiver]
The configuration of the receiver 3 included in the system shown in FIG. 1 will be described with reference to FIGS.
図6は、受信機3の構成を示すブロック図である。受信機3は、コンテンツデータを受信して復号するための装置であり、図6に示すように、ベースレイヤ受信部31、エンハンスメントレイヤ受信部32、制御部33、スケーラブル復号部34、および音声復号部35を備えている。
FIG. 6 is a block diagram showing the configuration of the receiver 3. The receiver 3 is an apparatus for receiving and decoding content data. As shown in FIG. 6, the base layer receiving unit 31, the enhancement layer receiving unit 32, the control unit 33, the scalable decoding unit 34, and the audio decoding A portion 35 is provided.
ベースレイヤ受信部31は、送信機2(図1参照)から送信され、放送網4(図1参照)を介して伝送されたベースレイヤデータを受信する。そして、受信したベースレイヤデータから逆多重化した音声ストリームを音声復号部35に供給する。また、ベースレイヤストリームをスケーラブル復号部34に供給する。
The base layer receiving unit 31 receives base layer data transmitted from the transmitter 2 (see FIG. 1) and transmitted via the broadcast network 4 (see FIG. 1). Then, the audio stream demultiplexed from the received base layer data is supplied to the audio decoding unit 35. In addition, the base layer stream is supplied to the scalable decoding unit 34.
エンハンスメントレイヤ受信部32は、送信機2(図1参照)から送信され、通信網5(図1参照)を介して伝送された、エンハンスメントレイヤデータを受信する。そして、受信したエンハンスメントレイヤデータから逆多重化したメディア情報を制御部33に供給する。また、エンハンスメントレイヤストリームをスケーラブル復号部34に供給する。
The enhancement layer receiving unit 32 receives enhancement layer data transmitted from the transmitter 2 (see FIG. 1) and transmitted via the communication network 5 (see FIG. 1). Then, the media information demultiplexed from the received enhancement layer data is supplied to the control unit 33. In addition, the enhancement layer stream is supplied to the scalable decoding unit 34.
制御部33は、メディア情報を制御情報に変換し、ベースレイヤ受信部31とスケーラブル復号部34に供給する。例えば、エンハンスメントレイヤデータに関するメディア情報を制御情報に変換してベースレイヤ受信部に供給し、ベースレイヤデータを制御する。
The control unit 33 converts the media information into control information and supplies the control information to the base layer reception unit 31 and the scalable decoding unit 34. For example, the media information regarding the enhancement layer data is converted into control information and supplied to the base layer receiving unit to control the base layer data.
スケーラブル復号部34は、ベースレイヤ受信部31およびエンハンスメントレイヤ受信部32から供給されたベースレイヤストリームおよびエンハンスメントレイヤストリームを復号することによって、メディアデータを生成する。なお、スケーラブル復号部34は、ベースレイヤストリームとエンハンスメントレイヤストリームとのタイミングがあうようにバッファリングも行なう。また、スケーラブル復号部34は、エンハンスメントレイヤストリームの各セグメントにベースレイヤストリームのどのセグメントが対応するかを、例えば、制御部33から供給された制御情報(制御情報に変換されたメディア情報)を参照することによって特定する。スケーラブル復号部34の詳細については、参照する図面を代えて後述する。
The scalable decoding unit 34 generates media data by decoding the base layer stream and the enhancement layer stream supplied from the base layer receiving unit 31 and the enhancement layer receiving unit 32. The scalable decoding unit 34 also performs buffering so that the base layer stream and the enhancement layer stream have the same timing. Further, the scalable decoding unit 34 refers to, for example, control information (media information converted into control information) supplied from the control unit 33 to determine which segment of the base layer stream corresponds to each segment of the enhancement layer stream. To identify. Details of the scalable decoding unit 34 will be described later with reference to different drawings.
音声復号部35は、音声ストリームを復号することによって、音声データを生成する。
The audio decoding unit 35 generates audio data by decoding the audio stream.
図7は、図6に示す受信機3が備えているスケーラブル復号部34の構成を示すブロック図である。スケーラブル復号部34は、上述したとおり、ベースレイヤストリームおよびエンハンスメントレイヤストリームをスケーラブル復号することによってメディアデータを生成する機能を有し、図7に示すように、ベースレイヤデコーダ341、拡大処理部342、およびエンハンスメントレイヤデコーダ343を備えている。
FIG. 7 is a block diagram showing a configuration of the scalable decoding unit 34 provided in the receiver 3 shown in FIG. As described above, the scalable decoding unit 34 has a function of generating media data by scalable decoding of the base layer stream and the enhancement layer stream. As shown in FIG. 7, the base layer decoder 341, the expansion processing unit 342, And an enhancement layer decoder 343.
ベースレイヤデコーダ341は、ベースレイヤ受信部31(図6参照)から供給されたベースレイヤストリームを復号することによって、ベースデータ(例えば、HD映像)を復元する。ベースレイヤデコーダ341によって復元されたベースデータは、拡大処理部342に供給される。
The base layer decoder 341 restores base data (for example, HD video) by decoding the base layer stream supplied from the base layer receiving unit 31 (see FIG. 6). The base data restored by the base layer decoder 341 is supplied to the enlargement processing unit 342.
拡大処理部342は、ベースレイヤデコーダ341から供給されたベースデータを構成する各フレームを拡大することによって、メディアデータ(例えば、4K映像)と同一解像度(例えば、4096×2160画素)の拡大ベースデータを生成する。拡大処理部341によって生成された拡大ベースデータは、エンハンスメントレイヤデコーダ343に供給される。
The enlargement processing unit 342 enlarges each frame constituting the base data supplied from the base layer decoder 341, thereby expanding the base data having the same resolution (eg, 4096 × 2160 pixels) as the media data (eg, 4K video). Is generated. The enlarged base data generated by the enlargement processing unit 341 is supplied to the enhancement layer decoder 343.
エンハンスメントレイヤデコーダ343は、エンハンスメントレイヤ受信部32(図6参照)から供給されたエンハンスメントレイヤストリームを復号することによって、メディアデータと拡大ベースデータとの差分映像を復元する。そして、復元した差分映像と拡大処理部342から供給された拡大ベースデータとを加算することによって、メディアデータを復元する。
The enhancement layer decoder 343 restores the difference video between the media data and the expanded base data by decoding the enhancement layer stream supplied from the enhancement layer receiving unit 32 (see FIG. 6). Then, the media data is restored by adding the restored difference video and the enlarged base data supplied from the enlargement processing unit 342.
以下、エンハンスメントレイヤデコーダ343の詳細について、図8を参照して説明する。
Hereinafter, details of the enhancement layer decoder 343 will be described with reference to FIG.
図8は、エンハンスメントレイヤデコーダ343の構成を示すブロック図である。エンハンスメントレイヤデコーダ343は、復号方式としてH.264/AVCを採用したデコーダであり、図8に示すように、エントロピー復号部343a、逆量子化/IDCT部343b、加算器343c、加算器343d、ループ内フィルタ343e、フレームメモリ343f、フレーム内予測部343g、およびフレーム間予測部343hを備えている。
FIG. 8 is a block diagram showing the configuration of the enhancement layer decoder 343. The enhancement layer decoder 343 uses H.264 as a decoding method. As shown in FIG. 8, an entropy decoding unit 343a, an inverse quantization / IDCT unit 343b, an adder 343c, an adder 343d, an in-loop filter 343e, a frame memory 343f, and an intra-frame prediction 343g and the inter-frame prediction unit 343h.
エントロピー復号部343aは、エンハンスメントレイヤストリームをエントロピー復号することによって、周波数領域の画像データ(量子化されたDCT係数からなる配列)を生成する。エントロピー復号部343aによって生成された周波数領域の画像データは、逆量子化/IDCT部343bに供給される。
The entropy decoding unit 343a generates frequency domain image data (an array including quantized DCT coefficients) by entropy decoding the enhancement layer stream. The frequency domain image data generated by the entropy decoding unit 343a is supplied to the inverse quantization / IDCT unit 343b.
また、エントロピー復号部343aは、エンハンスメントレイヤストリームから予測パラメータを逆多重化する。エントロピー復号部343aによって逆多重化された予測パラメータは、フレーム内予測部343gまたはフレーム間予測部343hに供給される。
Also, the entropy decoding unit 343a demultiplexes the prediction parameters from the enhancement layer stream. The prediction parameter demultiplexed by the entropy decoding unit 343a is supplied to the intra-frame prediction unit 343g or the inter-frame prediction unit 343h.
逆量子化/IDCT部343bは、エントロピー復号部343aから供給された周波数領域の画像データを構成する量子化されたDCT係数を逆量子化する。そして、得られた周波数領域の画像データ(DCT係数からなる配列)を空間領域の画像データ(画素値からなる配列)にIDCT変換する。これにより、予測残差画像がブロック毎に復元される。逆量子化/IDCT部343bにより復元された予測残差画像は、加算器343cに供給される。
The inverse quantization / IDCT unit 343b inversely quantizes the quantized DCT coefficients constituting the frequency domain image data supplied from the entropy decoding unit 343a. The obtained frequency domain image data (array consisting of DCT coefficients) is subjected to IDCT conversion into image data (array consisting of pixel values) in the spatial domain. Thereby, the prediction residual image is restored for each block. The prediction residual image restored by the inverse quantization / IDCT unit 343b is supplied to the adder 343c.
加算機343cは、逆量子化/IDCT部343bにより復元された予測残差画像に予測画像を加算することによって、復号画像を生成する。加算機343cによって生成された復号画像は、量子化誤差を除いて符号化対象画像(メディアデータの各フレームから拡大ベースデータの対応するフレームを減算することによって得られた差分画像)に一致する。
The adder 343c generates a decoded image by adding the prediction image to the prediction residual image restored by the inverse quantization / IDCT unit 343b. The decoded image generated by the adder 343c matches the encoding target image (difference image obtained by subtracting the corresponding frame of the enlarged base data from each frame of the media data) excluding the quantization error.
加算器343cによって生成された復号画像には、量子化誤差に起因するブロックノイズが含まれる。ループ内フィルタ343eは、このブロックノイズを除去するための構成である。加算器215fによって生成された復号画像は、ループ内フィルタ343eによってブロックノイズを除去された後、加算器343dに供給されると共に、フレームメモリ343fに蓄積される。
The decoded image generated by the adder 343c includes block noise due to quantization error. The in-loop filter 343e is configured to remove this block noise. The decoded image generated by the adder 215f is supplied with the adder 343d and accumulated in the frame memory 343f after block noise is removed by the in-loop filter 343e.
加算器343dは、ループ内フィルタ343eから供給された復号画像に、拡大処理部342から供給された拡大ベースデータを加算することによって、メディアデータを復元する。
The adder 343d restores the media data by adding the enlarged base data supplied from the enlargement processing unit 342 to the decoded image supplied from the in-loop filter 343e.
フレーム内予測部343gは、復号中のフレーム(復号画像)の復号中のブロックの画像データを、フレームメモリ343fに蓄積された、復号中のフレーム(復号画像)の復号済ブロックのうち、エントロピー復号部343aから供給された予測パラメータ(予測モード情報)により示された予測モードに応じて選択された復号済ブロックの画像データから予測する。例えば、ベースレイヤのフレーム内予測に用いた予測モードを利用するべきことを示すフラグが予測パラメータに含まれているときには、復号中のフレーム(復号画像)の復号中のブロックの画像データを、ベース情報により示される予測モードに応じて選択された復号済ブロックの画像データから予測する。
The intra-frame prediction unit 343g entropy-decodes the image data of the block being decoded of the frame being decoded (decoded image) among the decoded blocks of the frame being decoded (decoded image) stored in the frame memory 343f. The prediction is performed from the image data of the decoded block selected according to the prediction mode indicated by the prediction parameter (prediction mode information) supplied from the unit 343a. For example, when a flag indicating that the prediction mode used for intra-frame prediction of the base layer should be used is included in the prediction parameter, the image data of the block being decoded in the frame being decoded (decoded image) Prediction is performed from image data of a decoded block selected according to the prediction mode indicated by the information.
フレーム間予測部343hは、復号中のフレーム(復号画像)の復号中のブロックの画像データを、フレームメモリ343fに蓄積された、復号済のフレーム(復号画像)のブロックのうち、エントロピー復号部343aから供給された予測パラメータ(動きベクトル情報)により示された動きベクトルに応じて選択されたブロックの画像データから予測する。例えば、ベースレイヤのフレーム間予測に用いた動きベクトルを利用するべきことを示すフラグが予測パラメータに含まれているときには、復号中のフレーム(復号画像)の復号中のブロックの画像データを、ベース情報により示される動きベクトルに応じて選択されたブロックの画像データから予測する。
The inter-frame prediction unit 343h stores the image data of the block being decoded of the frame being decoded (decoded image), among the blocks of the decoded frame (decoded image) accumulated in the frame memory 343f, and the entropy decoding unit 343a. Is predicted from the image data of the block selected according to the motion vector indicated by the prediction parameter (motion vector information) supplied from. For example, when a flag indicating that the motion vector used for inter-frame prediction of the base layer should be used is included in the prediction parameter, the image data of the block being decoded in the frame being decoded (decoded image) Prediction is performed from the image data of the block selected according to the motion vector indicated by the information.
(プログラム、記憶媒体)
送信装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。受信装置3についても同様である。 (Program, storage medium)
Each block of the transmission device 2 may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or may be realized in software using a CPU (Central Processing Unit). . The same applies to the receiving device 3.
送信装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。受信装置3についても同様である。 (Program, storage medium)
Each block of the transmission device 2 may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or may be realized in software using a CPU (Central Processing Unit). . The same applies to the receiving device 3.
後者の場合、送信装置2は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである送信装置2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、送信装置2に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。受信装置3についても同様である。
In the latter case, the transmission device 2 includes a CPU that executes instructions of a program that realizes each function, a ROM (Read Memory) that stores the program, a RAM (Random Access Memory) that expands the program, the program, and various types A storage device (recording medium) such as a memory for storing data is provided. An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program of the transmission device 2 that is software that realizes the above-described functions is recorded so as to be readable by a computer. This can also be achieved by supplying the transmission device 2 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU). The same applies to the receiving device 3.
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R. IC cards (including memory cards) / optical cards, semiconductor memories such as mask ROM / EPROM / EEPROM / flash ROM, PLD (Programmable logic device) and FPGA (Field Programmable Gate Array) Logic circuits can be used.
また、上記プログラムコードは、通信ネットワークを介して送信装置2や受信装置3に供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
Further, the program code may be supplied to the transmission device 2 and the reception device 3 via a communication network. The communication network is not particularly limited as long as it can transmit the program code. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network (Virtual Private Network), telephone line network, mobile communication network, satellite communication network, etc. can be used. The transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type. For example, even with wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by wireless such as High Data Rate, NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network.
なお、ここで開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明だけではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
It should be noted that the embodiments disclosed herein are illustrative and non-restrictive in every respect. The scope of the present invention is shown not only by the above description but also by the scope of claims for patent, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims for patent.
〔まとめ〕
以上のように、本明細書の記載の符号化装置は、少なくとも2つのコンポーネントを含むコンテンツを符号化する符号化装置であって、第1のコンポーネントを第1のコーデックに従って予測符号化する第1の符号化手段と、第2のコンポーネントを第2のコーデックに従って予測符号化する第2の符号化手段と、を備え、上記第2の符号化手段は、上記第1の符号化手段が上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第2のコンポーネントを予測符号化するものである、ことを特徴とする。 [Summary]
As described above, the encoding apparatus described in the present specification is an encoding apparatus that encodes content including at least two components, and the first component predictively encodes the first component according to the first codec. Encoding means, and second encoding means for predictively encoding the second component according to a second codec, wherein the second encoding means is configured such that the first encoding means is the first encoding means. The second component is predictively encoded with reference to a prediction parameter used when predictively encoding one component.
以上のように、本明細書の記載の符号化装置は、少なくとも2つのコンポーネントを含むコンテンツを符号化する符号化装置であって、第1のコンポーネントを第1のコーデックに従って予測符号化する第1の符号化手段と、第2のコンポーネントを第2のコーデックに従って予測符号化する第2の符号化手段と、を備え、上記第2の符号化手段は、上記第1の符号化手段が上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第2のコンポーネントを予測符号化するものである、ことを特徴とする。 [Summary]
As described above, the encoding apparatus described in the present specification is an encoding apparatus that encodes content including at least two components, and the first component predictively encodes the first component according to the first codec. Encoding means, and second encoding means for predictively encoding the second component according to a second codec, wherein the second encoding means is configured such that the first encoding means is the first encoding means. The second component is predictively encoded with reference to a prediction parameter used when predictively encoding one component.
上記の構成によれば、上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照して上記第2のコンポーネントを予測符号化する。このため、上記第2のコンポーネントを予測符号化する際の予測精度を向上させることができる。これにより、上記第2のコンポーネントを予測符号化する際の符号化効率を向上させることができる。
According to the above configuration, the second component is predictively encoded with reference to the prediction parameter used when predictively encoding the first component. For this reason, it is possible to improve prediction accuracy when predictively encoding the second component. Thereby, the encoding efficiency at the time of carrying out predictive encoding of the said 2nd component can be improved.
本明細書の記載の符号化装置において、上記第2の符号化手段は、上記第1の符号化手段が上記第1のコーデックに従って導出した第1の予測パラメータと、自身が上記第2のコーデックに従って導出した第2の予測パラメータを比較し、より予測残差が小さくなる予測パラメータを上記第2のコンポーネントの予測符号化に用いる、ことが好ましい。
In the encoding apparatus described in the present specification, the second encoding unit includes a first prediction parameter derived by the first encoding unit according to the first codec, and the second codec itself. It is preferable to compare the second prediction parameters derived according to the above and use a prediction parameter with a smaller prediction residual for predictive coding of the second component.
上記の構成によれば、上記第2のコンポーネントを予測符号化する際の予測精度をより確実に向上させることができる。これにより、上記第2のコンポーネントを予測符号化する際の符号化効率をより確実に向上させることができる。
According to the above configuration, it is possible to more reliably improve the prediction accuracy when the second component is predictively encoded. Thereby, the encoding efficiency at the time of carrying out the predictive encoding of the said 2nd component can be improved more reliably.
本明細書の記載の符号化装置は、上記第1の予測パラメータと、上記第2の予測パラメータと、上記第2の符号化手段が上記第2のコンポーネントの予測符号化に用いた予測パラメータが上記第1の予測パラメータであるか上記第2の予測パラメータであるかを示すフラグとを、上記第2の符号化手段により生成された符号化データに多重化する多重化手段を更に備えている、ことが好ましい。
The encoding apparatus described in the present specification includes the first prediction parameter, the second prediction parameter, and the prediction parameter used by the second encoding unit for predictive encoding of the second component. The information processing apparatus further includes a multiplexing unit that multiplexes the flag indicating whether the parameter is the first prediction parameter or the second prediction parameter with the encoded data generated by the second encoding unit. Is preferable.
上記の構成によれば、上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照して上記第2のコンポーネントを予測符号化する構成に対応した復号装置であっても、そうでない復号装置であっても、上記符号化装置により生成された符号化データを復号することができる。
According to said structure, even if it is a decoding apparatus corresponding to the structure which carries out the predictive coding of the said 2nd component with reference to the prediction parameter used when carrying out the predictive coding of the said 1st component, it is not so Even the decoding device can decode the encoded data generated by the encoding device.
本明細書の記載の符号化装置において、上記第1のコンポーネントおよび上記第2のコンポーネントは、スケーラブル符号化されたコンテンツを構成する互いに異なるレイヤである、ことが好ましい。
In the encoding device described in the present specification, it is preferable that the first component and the second component are different layers constituting the scalable encoded content.
上記の構成によれば、スケーラブル符号化の符号化効率を向上させることができる。
According to the above configuration, the encoding efficiency of scalable encoding can be improved.
なお、上記符号化装置を備えた送信装置であって、上記第1の符号化手段により生成された符号化データと、上記第2の符号化手段により生成された符号化データとを、互いに異なる伝送路を介して送信する送信手段を備えた送信装置も本発明の範疇に含まれる。
In addition, it is a transmission apparatus provided with the said encoding apparatus, Comprising: The encoding data produced | generated by the said 1st encoding means and the encoding data produced | generated by the said 2nd encoding means differ from each other A transmission apparatus provided with transmission means for transmitting via a transmission line is also included in the scope of the present invention.
また、コンピュータを上記符号化装置として動作させるプログラム、および、そのプログラムが記録された記録媒体も本発明の範疇に含まれる。
Further, a program that causes a computer to operate as the encoding device and a recording medium on which the program is recorded are also included in the scope of the present invention.
本明細書の記載の符号化方法は、少なくとも2つのコンポーネントを含むコンテンツを符号化する符号化方法であって、第1のコンポーネントを第1のコーデックに従って予測符号化する第1の符号化ステップと、第2のコンポーネントを第2のコーデックに従って予測符号化する第2の符号化ステップと、を含み、上記第2の符号化ステップは、上記第1の符号化ステップにおいて上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第2のコンポーネントを予測符号化するものである、ことを特徴とする。
The encoding method described in the present specification is an encoding method for encoding content including at least two components, the first encoding step for predictively encoding the first component according to the first codec, and A second encoding step that predictively encodes a second component according to a second codec, wherein the second encoding step predicts the first component in the first encoding step The second component is subjected to predictive encoding with reference to the prediction parameter used when encoding.
上記の構成によれば、上記符号化装置と同様の効果を奏する。
According to the above configuration, the same effect as the above encoding device can be obtained.
本明細書の記載の復号装置は、少なくとも2つのコンポーネントを含むコンテンツを復号する復号装置であって、第1のコーデックに従って予測符号化された第1のコンポーネントを復号する第1の復号手段と、第2のコーデックに従って予測符号化された第2のコンポーネントを復号する第2の復号手段と、を備え、上記第2の復号手段は、上記第1の復号手段が上記第1のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第2のコンポーネントを復号する、ことを特徴とする。
The decoding device described in the present specification is a decoding device that decodes content including at least two components, and includes a first decoding unit that decodes a first component that is predictively encoded according to a first codec, Second decoding means for decoding a second component that has been predictively encoded according to a second codec, wherein the second decoding means decodes the first component by the first decoding means. The second component is decoded with reference to the prediction parameter used at the time.
上記の構成によれば、上記符号化装置により生成された符号化データを復号することが可能な復号装置を実現することができる。
According to the above configuration, a decoding device that can decode the encoded data generated by the encoding device can be realized.
なお、上記復号装置を備えた受信装置であって、上記第1の復号手段により復号される符号化データと、上記第2の復号手段により復号される符号化データとを、互いに異なる伝送路を介して受信する受信手段を備えた受信装置も本発明の範疇に含まれる。
Note that the receiving device includes the decoding device, wherein the encoded data decoded by the first decoding unit and the encoded data decoded by the second decoding unit are transmitted through different transmission paths. A receiving device provided with a receiving means for receiving via is also included in the scope of the present invention.
また、コンピュータを上記復号装置として動作させるプログラム、および、そのプログラムが記録された記録媒体も本発明の範疇に含まれる。
Also, a program that causes a computer to operate as the decoding device and a recording medium on which the program is recorded are also included in the scope of the present invention.
本明細書の記載の復号方法は、少なくとも2つのコンポーネントを含むコンテンツを復号する復号方法であって、第1のコーデックに従って予測符号化された第1のコンポーネントを復号する第1の復号ステップと、第2のコーデックに従って予測符号化された第2のコンポーネントを復号する第2の復号ステップと、を含み、上記第2の復号ステップは、上記第1の復号ステップにおいて上記第1のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第2のコンポーネントを復号するものである、ことを特徴とする。
The decoding method described in the present specification is a decoding method for decoding content including at least two components, and a first decoding step of decoding a first component that is predictively encoded according to a first codec; And a second decoding step for decoding a second component that is predictively encoded according to a second codec, wherein the second decoding step decodes the first component in the first decoding step. The second component is decoded with reference to the prediction parameter used at the time.
上記の構成によれば、上記符号化方法により生成された符号化データを復号することが可能な復号方法を実現することができる。
According to the above configuration, a decoding method that can decode the encoded data generated by the encoding method can be realized.
本発明は、映像配信等のコンテンツ配信に好適に利用することができる。
The present invention can be suitably used for content distribution such as video distribution.
2 送信機(送信装置)
21 スケーラブル符号化部(符号化装置)
211 縮小処理部
212 ベースレイヤエンコーダ(第1の符号化手段)
213 ベースレイヤデコーダ
214 拡大処理部
215 エンハンスメントレイヤエンコーダ(第2の符号化手段)
22 ベースレイヤ送出部
23 エンハンスメントレイヤ送出部(多重化部)
24 メディア情報生成部
25 音声符号化部
3 受信機(受信装置)
31 ベースレイヤ受信部
32 エンハンスメントレイヤ受信部
33 制御部
34 スケーラブル復号部(復号装置)
341 ベースレイヤデコーダ(第1の復号手段)
342 拡大処理部
343 エンハンスメントレイヤデコーダ(第2の復号手段)
35 音声復号部 2 Transmitter (Transmitter)
21 Scalable encoder (encoder)
211Reduction processing unit 212 Base layer encoder (first encoding means)
213Base layer decoder 214 Enlargement processing unit 215 Enhancement layer encoder (second encoding means)
22 Baselayer transmission unit 23 Enhancement layer transmission unit (multiplexing unit)
24 Mediainformation generation unit 25 Voice encoding unit 3 Receiver (receiving device)
31 baselayer receiving unit 32 enhancement layer receiving unit 33 control unit 34 scalable decoding unit (decoding device)
341 Base layer decoder (first decoding means)
342Enlargement processing unit 343 Enhancement layer decoder (second decoding means)
35 Speech decoder
21 スケーラブル符号化部(符号化装置)
211 縮小処理部
212 ベースレイヤエンコーダ(第1の符号化手段)
213 ベースレイヤデコーダ
214 拡大処理部
215 エンハンスメントレイヤエンコーダ(第2の符号化手段)
22 ベースレイヤ送出部
23 エンハンスメントレイヤ送出部(多重化部)
24 メディア情報生成部
25 音声符号化部
3 受信機(受信装置)
31 ベースレイヤ受信部
32 エンハンスメントレイヤ受信部
33 制御部
34 スケーラブル復号部(復号装置)
341 ベースレイヤデコーダ(第1の復号手段)
342 拡大処理部
343 エンハンスメントレイヤデコーダ(第2の復号手段)
35 音声復号部 2 Transmitter (Transmitter)
21 Scalable encoder (encoder)
211
213
22 Base
24 Media
31 base
341 Base layer decoder (first decoding means)
342
35 Speech decoder
Claims (12)
- 少なくとも2つのコンポーネントを含むコンテンツを符号化する符号化装置であって、
第1のコンポーネントを第1のコーデックに従って予測符号化する第1の符号化手段と、第2のコンポーネントを第2のコーデックに従って予測符号化する第2の符号化手段と、を備え、
上記第2の符号化手段は、上記第1の符号化手段が上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第2のコンポーネントを予測符号化するものである、ことを特徴とする符号化装置。 An encoding device for encoding content including at least two components,
First encoding means for predictively encoding a first component according to a first codec, and second encoding means for predictively encoding a second component according to a second codec,
The second encoding means refers to a prediction parameter used when the first encoding means predictively encodes the first component, and predictively encodes the second component. A coding apparatus characterized by that. - 上記第2の符号化手段は、上記第1の符号化手段が上記第1のコーデックに従って導出した第1の予測パラメータと、自身が上記第2のコーデックに従って導出した第2の予測パラメータを比較し、より予測残差が小さくなる予測パラメータを上記第2のコンポーネントの予測符号化に用いる、ことを特徴とする請求項1に記載の符号化装置。 The second encoding unit compares the first prediction parameter derived by the first encoding unit according to the first codec and the second prediction parameter derived by the first encoding unit according to the second codec. The encoding apparatus according to claim 1, wherein a prediction parameter with a smaller prediction residual is used for predictive encoding of the second component.
- 上記第1の予測パラメータと、上記第2の予測パラメータと、上記第2の符号化手段が上記第2のコンポーネントの予測符号化に用いた予測パラメータが上記第1の予測パラメータであるか上記第2の予測パラメータであるかを示すフラグとを、上記第2の符号化手段により生成された符号化データに多重化する多重化手段を更に備えている、ことを特徴とする請求項2に記載の符号化装置。 Whether the first prediction parameter, the second prediction parameter, or the prediction parameter used by the second encoding means for predictive encoding of the second component is the first prediction parameter. 3. The method according to claim 2, further comprising a multiplexing unit that multiplexes a flag indicating whether the second prediction parameter is generated or not into the encoded data generated by the second encoding unit. Encoding device.
- 上記第1のコンポーネントおよび上記第2のコンポーネントは、スケーラブル符号化されたコンテンツを構成する互いに異なるレイヤである、ことを特徴とする請求項1~3の何れか1項に記載の符号化装置。 The encoding apparatus according to any one of claims 1 to 3, wherein the first component and the second component are different layers that constitute scalable encoded content.
- 請求項1~4の何れか1項に記載の符号化装置を備えた送信装置であって、上記第1の符号化手段により生成された符号化データと、上記第2の符号化手段により生成された符号化データとを、互いに異なる伝送路を介して送信する送信手段を備えている、ことを特徴とする送信装置。 A transmission device comprising the encoding device according to any one of claims 1 to 4, wherein the transmission device generates encoded data generated by the first encoding unit and generated by the second encoding unit. A transmission apparatus comprising transmission means for transmitting the encoded data through different transmission paths.
- コンピュータを請求項1~4の何れか1項に記載の符号化装置として動作させるプログラムであって、上記コンピュータを上記符号化装置が備える各手段として機能させるプログラム。 A program that causes a computer to operate as the encoding device according to any one of claims 1 to 4, wherein the computer functions as each unit included in the encoding device.
- 少なくとも2つのコンポーネントを含むコンテンツを符号化する符号化方法であって、
第1のコンポーネントを第1のコーデックに従って予測符号化する第1の符号化ステップと、第2のコンポーネントを第2のコーデックに従って予測符号化する第2の符号化ステップと、を含み、
上記第2の符号化ステップは、上記第1の符号化ステップにおいて上記第1のコンポーネントを予測符号化する際に用いた予測パラメータを参照し、上記第2のコンポーネントを予測符号化するものである、ことを特徴とする符号化方法。 An encoding method for encoding content including at least two components, comprising:
A first encoding step that predictively encodes a first component according to a first codec; and a second encoding step that predictively encodes a second component according to a second codec;
The second encoding step refers to a prediction parameter used when predictively encoding the first component in the first encoding step, and predictively encodes the second component. A coding method characterized by that. - 少なくとも2つのコンポーネントを含むコンテンツを復号する復号装置であって、
第1のコーデックに従って予測符号化された第1のコンポーネントを復号する第1の復号手段と、第2のコーデックに従って予測符号化された第2のコンポーネントを復号する第2の復号手段と、を備え、
上記第2の復号手段は、上記第1の復号手段が上記第1のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第2のコンポーネントを復号するものである、ことを特徴とする復号装置。 A decryption device that decrypts content including at least two components,
First decoding means for decoding a first component that is predictively encoded according to a first codec, and second decoding means for decoding a second component that is predictively encoded according to a second codec ,
The second decoding unit refers to a prediction parameter used when the first decoding unit decodes the first component, and decodes the second component. Decoding device. - 請求項8に記載の復号装置を備えた受信装置であって、上記第1の復号手段により復号される符号化データと、上記第2の復号手段により復号される符号化データとを、互いに異なる伝送路を介して受信する受信手段を備えている、ことを特徴とする受信装置。 9. A receiving apparatus comprising the decoding apparatus according to claim 8, wherein the encoded data decoded by the first decoding means and the encoded data decoded by the second decoding means are different from each other. A receiving device comprising receiving means for receiving via a transmission line.
- コンピュータを請求項8に記載の復号装置として動作させるプログラムであって、上記コンピュータを上記復号装置が備える各手段として機能させるプログラム。 A program that causes a computer to operate as the decoding device according to claim 8 and that causes the computer to function as each unit included in the decoding device.
- 少なくとも2つのコンポーネントを含むコンテンツを復号する復号方法であって、
第1のコーデックに従って予測符号化された第1のコンポーネントを復号する第1の復号ステップと、第2のコーデックに従って予測符号化された第2のコンポーネントを復号する第2の復号ステップと、を含み、
上記第2の復号ステップは、上記第1の復号ステップにおいて上記第1のコンポーネントを復号する際に用いた予測パラメータを参照し、上記第2のコンポーネントを復号するものである、ことを特徴とする復号方法。 A decryption method for decrypting content including at least two components,
A first decoding step that decodes a first component that is predictively encoded according to a first codec; and a second decoding step that decodes a second component that is predictively encoded according to a second codec. ,
In the second decoding step, the second component is decoded with reference to a prediction parameter used in decoding the first component in the first decoding step. Decryption method. - 請求項6または10に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which the program according to claim 6 or 10 is recorded.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-232225 | 2011-10-21 | ||
JP2011232225A JP2013090296A (en) | 2011-10-21 | 2011-10-21 | Encoder, transmitter, encoding method, decoder, receiver, decoding method, program, and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013058314A1 true WO2013058314A1 (en) | 2013-04-25 |
Family
ID=48140957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/076945 WO2013058314A1 (en) | 2011-10-21 | 2012-10-18 | Encoding apparatus, transmitting apparatus, encoding method, decoding apparatus, receiving apparatus, decoding method, program, and recording medium |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013090296A (en) |
WO (1) | WO2013058314A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015530025A (en) * | 2012-08-10 | 2015-10-08 | エルジー エレクトロニクス インコーポレイティド | Signal transmitting / receiving apparatus and signal transmitting / receiving method |
JP2017060004A (en) * | 2015-09-16 | 2017-03-23 | 株式会社東芝 | Encoding device, decoding device, encoding program, decoding program, and streaming system |
JP2022031267A (en) * | 2019-06-05 | 2022-02-18 | 株式会社東芝 | Streaming system and encoding program |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160295220A1 (en) * | 2013-11-21 | 2016-10-06 | Lg Electronics Inc. | Signal transceiving apparatus and signal transceiving method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07212761A (en) * | 1994-01-17 | 1995-08-11 | Toshiba Corp | Hierarchical coder and hierarchical decoder |
JP2002010251A (en) * | 2000-06-19 | 2002-01-11 | Matsushita Electric Ind Co Ltd | Video signal coding device and video signal decoding device |
JP2006509421A (en) * | 2002-12-03 | 2006-03-16 | トムソン ライセンシング | Digital video disc for standard and high definition video formats on a single disc |
JP2010512698A (en) * | 2006-12-14 | 2010-04-22 | トムソン ライセンシング | Method and apparatus for encoding and / or decoding bit depth scalable video data using adaptive enhancement layer prediction |
-
2011
- 2011-10-21 JP JP2011232225A patent/JP2013090296A/en active Pending
-
2012
- 2012-10-18 WO PCT/JP2012/076945 patent/WO2013058314A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07212761A (en) * | 1994-01-17 | 1995-08-11 | Toshiba Corp | Hierarchical coder and hierarchical decoder |
JP2002010251A (en) * | 2000-06-19 | 2002-01-11 | Matsushita Electric Ind Co Ltd | Video signal coding device and video signal decoding device |
JP2006509421A (en) * | 2002-12-03 | 2006-03-16 | トムソン ライセンシング | Digital video disc for standard and high definition video formats on a single disc |
JP2010512698A (en) * | 2006-12-14 | 2010-04-22 | トムソン ライセンシング | Method and apparatus for encoding and / or decoding bit depth scalable video data using adaptive enhancement layer prediction |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015530025A (en) * | 2012-08-10 | 2015-10-08 | エルジー エレクトロニクス インコーポレイティド | Signal transmitting / receiving apparatus and signal transmitting / receiving method |
JP2017060004A (en) * | 2015-09-16 | 2017-03-23 | 株式会社東芝 | Encoding device, decoding device, encoding program, decoding program, and streaming system |
JP2022031267A (en) * | 2019-06-05 | 2022-02-18 | 株式会社東芝 | Streaming system and encoding program |
Also Published As
Publication number | Publication date |
---|---|
JP2013090296A (en) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6416992B2 (en) | Method and arrangement for transcoding video bitstreams | |
JP6874032B2 (en) | Picture encoding / decoding method and equipment using this | |
US8111745B2 (en) | Method and apparatus for encoding and decoding video signal according to directional intra-residual prediction | |
US9838685B2 (en) | Method and apparatus for efficient slice header processing | |
JP5612214B2 (en) | Method and apparatus for hierarchical video encoding and decoding | |
US9185408B2 (en) | Efficient storage of motion information for high efficiency video coding | |
JP5504336B2 (en) | Scalable video encoding method, encoder and computer program | |
KR102616143B1 (en) | Method and apparatus for scalable video coding using intra prediction mode | |
US20140056356A1 (en) | Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes | |
US10291934B2 (en) | Modified HEVC transform tree syntax | |
JP2008523689A (en) | Wireless video streaming and prioritized streaming using single layer coding | |
JP2005519542A (en) | FGST coding method using higher quality reference frame | |
JP2007508737A (en) | Video data encoding system and decoding system | |
US9674537B2 (en) | Method and apparatus for encoding rate control in advanced coding schemes | |
US11317105B2 (en) | Modification of picture parameter set (PPS) for HEVC extensions | |
US9264782B2 (en) | Method and system for providing realistic broadcasting image | |
US9204156B2 (en) | Adding temporal scalability to a non-scalable bitstream | |
JP5979406B2 (en) | Image processing apparatus, image processing method, and image processing system | |
WO2013058314A1 (en) | Encoding apparatus, transmitting apparatus, encoding method, decoding apparatus, receiving apparatus, decoding method, program, and recording medium | |
WO2007032600A1 (en) | Method and apparatus for encoding and decoding video signal by extending application of directional intra-prediction | |
US20150195576A1 (en) | Conditionally parsed extension syntax for hevc extension processing | |
JP2006525731A (en) | Multi-layer coding to support transition to new standards | |
WO2007029919A1 (en) | Method and apparatus for encoding and decoding video signal according to directional intra-residual prediction | |
Pereira | Developments and trends on video coding: is there a xVC virus? | |
DOMAIN | Research areas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12841764 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12841764 Country of ref document: EP Kind code of ref document: A1 |