WO2020054190A1 - 変換装置、復号装置、変換方法および復号方法 - Google Patents
変換装置、復号装置、変換方法および復号方法 Download PDFInfo
- Publication number
- WO2020054190A1 WO2020054190A1 PCT/JP2019/026648 JP2019026648W WO2020054190A1 WO 2020054190 A1 WO2020054190 A1 WO 2020054190A1 JP 2019026648 W JP2019026648 W JP 2019026648W WO 2020054190 A1 WO2020054190 A1 WO 2020054190A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- picture
- stream
- unit
- encoded data
- decoding
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 191
- 238000000034 method Methods 0.000 title claims description 87
- 230000005540 biological transmission Effects 0.000 claims description 36
- 230000006835 compression Effects 0.000 description 39
- 238000007906 compression Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 230000002427 irreversible effect Effects 0.000 description 18
- 238000013139 quantization Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 9
- 230000002441 reversible effect Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
Definitions
- the present disclosure relates to an apparatus and a method for encoding, decoding, or converting a moving image.
- an inter-screen prediction (hereinafter, also referred to as an inter prediction) encoding process of compressing the amount of information using the temporal redundancy of a moving image is used.
- an inter prediction encoding process when encoding a picture, an encoded picture different from the picture (hereinafter, referred to as an encoding target picture) is used as a reference picture. Then, a motion vector is derived by detecting the motion of the current picture to be coded based on the reference picture. Further, by taking the difference between the predicted image obtained by performing motion compensation based on the motion vector and the current picture, redundancy in the time direction is removed.
- a difference value between the current block in the current picture and each block in the reference picture is calculated, and a block in the reference picture having the smallest difference value is searched for as a reference block. Then, a motion vector is detected using the current block and the reference block.
- an inter prediction encoding process and an intra-frame prediction (hereinafter also referred to as intra prediction) encoding process which is an encoding process using no reference picture, are used in combination.
- H.264 is a typical moving picture coding method.
- the moving image encoding process is used when transmitting one video to a plurality of terminals as in a surveillance camera or a video conference system, or when recording a video on a storage medium.
- the present disclosure provides an apparatus that converts a stream that is an encoded moving image into another stream, and that can provide a more flexible service.
- a conversion device includes an acquisition unit that acquires a first stream, and converts an irreversibly encoded first picture included in the first stream into a second picture that is a losslessly encoded picture.
- a conversion unit configured to perform conversion; and an output unit configured to output a second stream including the second picture.
- a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program. And any combination of recording media. Further, the recording medium may be a non-transitory recording medium.
- FIG. 1 is a configuration diagram of the conversion device according to the first embodiment.
- FIG. 2 is a sequence diagram illustrating an example of a process performed by each component of the conversion device according to the first embodiment.
- FIG. 3A is a flowchart illustrating an example of the operation of the conversion device according to Embodiment 1.
- FIG. 3B is a flowchart illustrating another example of the operation of the conversion device according to Embodiment 1.
- FIG. 4 is a sequence diagram illustrating an example of a process performed by each component of the conversion device according to the second embodiment.
- FIG. 5 is a sequence diagram illustrating an example of a process performed by each component of the conversion device according to the third embodiment.
- FIG. 6 is a configuration diagram of an encoding device according to Embodiment 4.
- FIG. 4 is a sequence diagram illustrating an example of a process performed by each component of the conversion device according to the first embodiment.
- FIG. 7 is a configuration diagram of a video distribution system according to the fifth embodiment.
- FIG. 8 is a configuration diagram of a video distribution system according to the sixth embodiment.
- FIG. 9 is a configuration diagram of a video reproduction system according to the seventh embodiment.
- FIG. 10 is a diagram for explaining transcoding of the lossless compression method according to the seventh embodiment.
- FIG. 11 is a configuration diagram of another video recording / reproducing device according to the seventh embodiment.
- FIG. 12 is a block diagram illustrating another example of the configuration of the conversion device.
- the moving image encoding process there is a system in which an encoding process is performed on a moving image such as a monitoring camera, and the encoded moving image, that is, a stream is transmitted to a plurality of terminals and reproduced. is there. These terminals perform streaming reproduction.
- the second terminal requests transmission of the stream from the middle while the first terminal is reproducing the stream, the reproduction of the stream by the second terminal may be delayed. There is.
- the second terminal requests reproduction from an inter prediction coded picture in a GOP (Group of Picture) included in the stream. That is, at the timing when the reproduction request is accepted, the inter-prediction-coded picture among the pictures included in the stream is transmitted. Further, the picture is specifically a P picture (Predictive @ Picture) or a B picture (Bidirectionally @ Predictive @ Picture).
- the second terminal may decode the inter predictive coded picture. Can not. This is because the second terminal has not previously decoded the picture referred to for decoding the picture subjected to the inter prediction coding. Therefore, the second terminal must wait for playback until an IDR (Instantaneous Decoding Refresh) picture of the stream is transmitted. Therefore, efficient random access is difficult.
- IDR Intelligent Decoding Refresh
- the inter-prediction-coded picture is converted to an intra-prediction-coded picture.
- a stream including the intra prediction coded picture is transmitted to the second terminal.
- the second terminal can decode each picture from the intra-prediction-coded picture included in the stream.
- the image quality of a decoded image of a picture subsequent to the picture subjected to the intra prediction encoding is reduced. This is because the original picture included in the stream is irreversibly inter-prediction coded, and the decoded image of the picture is further irreversibly intra-prediction coded by the above-described conversion.
- an IDR picture may be inserted into a stream, and the stream into which the IDR picture is inserted may be transmitted to the second terminal. is assumed. However, in this case, the load on the network for transmitting the stream increases.
- a monitoring camera or the like is provided with an encoding device corresponding to each terminal.
- the number of terminals capable of simultaneously reproducing the stream is limited to the number of the encoding devices.
- the conversion device provides an acquisition unit that acquires a first stream, and converts an irreversibly encoded first picture included in the first stream into a lossless encoded second picture.
- the image processing apparatus further includes a conversion unit that converts the image into a picture, and an output unit that outputs a second stream including the second picture.
- the conversion unit may generate the decoded image of the first picture by decoding the first picture, and losslessly encode the decoded image of the first picture, thereby converting the first picture to the second picture. It may be converted to two pictures.
- lossless encoding is performed, for example, according to H.264 of the moving image encoding standard. H.264 or H.264. H.265, an extended function of H.265. H.264 Lossless or H.264. 265 Lossless.
- the terminal when the terminal requests transmission of each picture after the first picture included in the first stream while the first stream is being transmitted, the terminal is not an irreversibly coded picture.
- the terminal can appropriately decode each picture after the second picture included in the second stream, and can suppress a decrease in image quality of the decoded image. Therefore, efficient random access can be realized without increasing the network load and limiting the number of terminals that can simultaneously play streams, and more flexible services can be provided.
- the output unit arranges a third picture, which is a picture included in the first stream and encoded with reference to the decoded image of the first picture, after the second picture in decoding order.
- the second stream may include the third picture, and the second stream including the third picture may be output.
- the terminal that receives the second stream can appropriately decode the third picture with reference to the decoded image of the second picture.
- the output unit may further output the first stream acquired by the acquisition unit.
- the second stream can be transmitted to the second terminal in response to a request from the second terminal.
- the conversion device further includes a determination unit that determines, for each of the plurality of pictures included in the first stream, whether to convert the encoding scheme of the picture, and the conversion unit performs the determination.
- the first picture which is a picture determined to be converted by the unit, may be converted to the second picture.
- the determination unit may determine an encoding scheme of at least one continuous picture including the first picture according to a timing at which a stream transmission request is received, among a plurality of pictures included in the first stream. May be determined to be converted.
- the conversion of the picture encoding method can be performed at an appropriate timing, and the reproduction of the second stream can be started while suppressing the delay from the transmission request.
- the determination unit may determine not to convert the encoding scheme of each picture subsequent to the at least one continuous picture among a plurality of pictures included in the first stream.
- the conversion unit may convert the first picture into the second picture by performing intra prediction coding on the decoded image of the first picture.
- the terminal since the second picture is a lossless-coded I picture, even if the second picture is arranged at the beginning of the second stream, the terminal refers to the decoded image from the beginning of the second stream. Can be decrypted without the need.
- the encoding method of the first picture is converted among the pictures included in the first stream, the conversion of the encoding method of another picture can be omitted.
- the conversion unit further generates a decoded image of the fourth picture by decoding a fourth picture, which is a picture irreversibly inter-prediction coded, included in the first stream.
- the fourth picture is converted to a fifth picture by irreversibly performing intra-prediction coding of the decoded picture of the four pictures.
- the decoded picture of the fourth picture is The first picture is converted to the second picture by reversibly performing inter-prediction coding on the decoded picture of the first picture, which has been inter-reference coded with reference to the decoded picture of the fifth picture.
- the output unit may output the second stream including the fifth picture and the second picture.
- a fourth picture that is a lossy coded P picture and a first picture that is a lossy coded P picture are a fifth picture that is a lossy coded I picture and a lossless coded P picture. Each of them is converted into a second picture which is a P picture.
- the code amount of a losslessly encoded I picture is large, and transmission of the I picture may increase the network load.
- the second picture is configured as a losslessly encoded P picture (or B picture) instead of a losslessly encoded I picture.
- the code amount per picture may increase. The overall bit rate of the stream can be reduced.
- the conversion unit further generates a decoded image of the first picture by decoding the first picture irreversibly inter-prediction-coded included in the first stream, and generates the decoded picture of the first picture.
- the first picture is converted to a fourth picture by performing irreversible intra prediction encoding on the decoded picture of the first picture.
- the decoded picture of the first picture is The first picture is converted to the second picture by lossless inter prediction encoding with reference to a decoded picture of the fourth picture, and the output unit includes the fourth picture and the second picture.
- the second stream may be output.
- the first picture included in the first stream is converted into the fourth picture and the second picture included in the second stream.
- a first picture that is an irreversibly coded P picture is converted into a fourth picture that is an irreversibly coded I picture and a second picture that is a losslessly coded P picture.
- the code amount of a losslessly encoded I picture is large, and transmission of the I picture may increase the network load.
- the second picture is configured as a losslessly encoded P picture (or B picture) instead of a losslessly encoded I picture.
- the fourth picture and the second picture are generated by conversion from the same first picture, the images of the fourth picture and the second picture are similar.
- the code amount of the second picture can be suppressed by referring to the decoded image of the fourth picture in the conversion from the first picture to the second picture.
- the overall bit rate of the stream can be suppressed.
- a decoding device includes a receiving unit that receives a second stream including a second picture, a decoding unit that generates a video signal by decoding the second stream, Therefore, a display unit for displaying a video is provided, and the second picture is a losslessly encoded picture obtained by converting the irreversibly encoded first picture included in the first stream.
- the receiving unit when the first stream is being transmitted, if the transmission of each picture after the first picture included in the first stream is requested, the receiving unit is not lossy-coded, but is lossless. A second stream including a second picture that is an encoded picture is received.
- the decoding unit can appropriately decode each picture after the second picture included in the second stream, and can suppress a decrease in image quality of the decoded image.
- a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program.
- a recording medium may be realized by an arbitrary combination of recording media.
- the recording medium may be a non-transitory recording medium.
- each drawing is a schematic diagram and is not necessarily strictly illustrated.
- the same components are denoted by the same reference numerals.
- FIG. 1 is a configuration diagram of a conversion device according to the present embodiment.
- Conversion apparatus 10a includes a first stream including first encoded data obtained by encoding a first frame, and a second encoding obtained by transcoding the first encoded data. And outputting a second stream including data.
- the conversion device 10a outputs the first stream to the first decoding device 21 and outputs the second stream to the second decoding device 22.
- a frame and a picture are synonymous. Further, the frame or the picture may be in an uncoded state or a coded state. However, when specifying the encoded state, the encoded frame or picture is referred to as encoded data.
- the above-mentioned first encoded data is not the encoded data arranged at the head of the first stream but the encoded data arranged in the middle. It should be noted that the coded data is arranged in the stream in the decoding order or the coding order from the head. Each encoded data included in the first stream is data obtained by irreversibly encoding a frame or a picture.
- the first decoding device 21 starts decoding the first stream from the head encoded data, and the second decoding device 22 decodes the second stream according to the first stream. Can be started from the second encoded data corresponding to the first encoded data in the middle of.
- the second encoded data may be an I picture obtained by transcoding the first encoded data, which is, for example, a P picture, by lossless encoding.
- the second decoding device 22 can decode the subsequent encoded data without transcoding the subsequent encoded data of the second encoded data (that is, the encoded first frame).
- the second decoding device 22 can decode the subsequent encoded data without transcoding the subsequent encoded data of the second encoded data (that is, the encoded first frame).
- the conversion device 10a includes an acquisition unit 11, a determination unit 13, a conversion unit 12, and an output unit 14, and is connected to the first decoding device 21 and the second decoding device 22, as shown in FIG.
- the conversion device 10a acquires a first stream and outputs the first stream to the first decoding device 21. Further, the conversion device 10 a converts the first stream into a second stream, and outputs the second stream to the second decoding device 22.
- the first decoding device 21 decodes the first stream, and the second decoding device 22 decodes the second stream. Note that the conversion device 10a, the first decoding device 21, and the second decoding device 22 may be connected via a network.
- the acquisition unit 11 acquires a first stream including first encoded data, and outputs the first stream to the output unit 14 and the conversion unit 12.
- the first encoded data is intra-frame encoded data (that is, I picture) or inter-frame encoded data (that is, P picture or B picture).
- the intra-frame coded data is a frame or a picture coded by intra prediction, that is, intra prediction
- the inter-frame coded data is a frame or a picture coded by inter prediction, that is, inter prediction. is there.
- FIG. 1 shows an example of the first stream and the second stream. “I1” and “I2” indicate coded data of an I picture, and “P1” to “P4” indicate coded data of a P picture.
- the conversion unit 12 transcodes the first encoded data.
- the conversion unit 12 includes a decoding unit 12a and an encoding unit 12b.
- the decoding unit 12a generates a decoded image by decoding the first encoded data.
- the encoding unit 12b transcodes the first encoded data into the second encoded data by encoding the decoded image. Note that the encoding performed by the encoding unit 12b is also referred to as re-encoding.
- the determination unit 13 determines, for each of the encoded data included in the first stream, whether to transcode the encoded data.
- the determining unit 13 transcodes one or a plurality of encoded data transmitted after the request signal is received when the request signal for starting decoding from the second decoding device 22 is received by the conversion device 10a. You may decide. For example, the determination unit 13 determines to transcode the first encoded data transmitted after (specifically, immediately after) the request signal is received. Note that, after the request signal is received, the determination unit 13 may determine to transcode to the next I picture included in the first stream. Note that the next I picture is the first I picture transmitted from the conversion device 10a after the timing at which the request signal is received.
- the output unit 14 outputs the first stream to the first decoding device 21 and outputs the second stream to the second decoding device 22. That is, the first stream and the second stream are transmitted or transmitted.
- the second stream includes the second encoded data and one or more encoded data following the second encoded data. Specifically, the output unit 14 generates the second stream by combining the second frame with one or more frames subsequent to the second frame, and further adding control information.
- FIG. 2 is a sequence diagram illustrating an example of processing performed by each component of the conversion device 10a according to the present embodiment.
- the acquisition unit 11 of the conversion device 10a acquires these encoded data in the order of the encoded data I1, the encoded data P1, the encoded data P2, the encoded data P3, and the encoded data P4. . That is, the obtaining unit 11 obtains the first stream including the encoded data arranged in the order described above.
- the encoded data I1 is the encoded data of the first I picture
- the encoded data Pn (n is any integer from 1 to 5) is the encoded data of the nth P picture. It is. Further, the P picture (or the encoded data Pn) is encoded with reference to the immediately preceding encoded data. Further, in the example shown in FIG.
- the first decoding device 21 decodes all the encoded data included in the first stream
- the second decoding device 22 decodes the encoded data P2 and subsequent encoded data included in the first stream.
- the transmission of each encoded data is requested to the conversion device 10a.
- the first decoding device 21 requests the conversion device 10a to reproduce the coded data at the head of the first stream
- the second decoding device 22 reproduces the coded data in the middle of the first stream. Requests the conversion device 10a. Such a request is transmitted to the conversion device 10a as a request signal.
- the acquisition unit 11 every time the acquisition unit 11 acquires encoded data, the acquisition unit 11 outputs the encoded data to the output unit 14 and the conversion unit 12.
- the decoding unit 12a of the conversion unit 12 generates a decoded image corresponding to the encoded data by decoding the encoded data output from the acquisition unit 11.
- the determination unit 13 determines not to transcode the encoded data sequentially input to the conversion unit 12 until, for example, a request from the second decoding device 22 is received. Further, the output unit 14 transmits the first stream to the first decoding device 21 without transmitting the second stream to the second decoding device 22 until a request from the second decoding device 22 is received, for example. I do.
- the determination unit 13 determines whether the encoded data I1 and the encoded data It is determined that P1 is not to be transcoded. That is, the determination unit 13 determines that the generation of the second stream is not started. Then, the output unit 14 transmits the encoded data I1 and the encoded data P1 to the first decoding device 21 as encoded data included in the first stream, respectively.
- the determination unit 13 determines that the encoded data P2 included in the first stream is to be transcoded. That is, the determination unit 13 determines to start generating the second stream. As a result, the determination unit 13 transmits an instruction signal for instructing re-encoding of the encoded data P2 to the encoding unit 12b.
- the encoding unit 12b encodes the decoded image of the encoded data P2 generated by the decoding unit 12a according to the instruction signal. In this encoding, reversible intra prediction is used. As a result, the encoding unit 12b generates encoded data I2, which is reversible intra-frame encoded data, and outputs the encoded data I2 to the output unit 14. Thus, the conversion unit 12 converts the irreversible coded data P2 into the lossless coded data I2. In other words, an irreversible P picture is converted to a lossless I picture.
- lossless encoding is performed according to, for example, the H.264 standard of the moving image encoding standard. H.264 or H.264. H.265, an extended function of H.265. H.264 Lossless or H.264. 265 Lossless.
- the lossless encoding may be encoding in which the quantization width used for the quantization is one.
- the coded data P2 is the above-described first coded data
- the coded data I2 is the above-described second coded data.
- the output unit 14 outputs the encoded data P2 to the first decoding device 21 as encoded data included in the first stream, and outputs the encoded data I2 to the second decoding device 22 as encoded data included in the second stream. Output.
- the determining unit 13 determines that the encoded data is not transcoded.
- the output unit 14 also outputs, to the first decoding device 21, the coded data P3 and the coded data subsequent to the coded data P2 as coded data included in the first stream. As a result, the first stream is output from the output unit 14 to the first decoding device 21.
- the output unit 14 includes each of the encoded data in the second stream without converting the encoding method of each of the encoded data after the encoded data P3 based on the result of the determination by the determination unit 13 described above.
- the data is output to the second decoding device 22 as encoded data.
- a second stream including the encoded data I2 and the encoded data after the encoded data P3 in the first stream is generated by the output unit 14 and output to the second decoding device 22.
- the second stream does not include the encoded data I1 and P1 of the first stream.
- the second decoding device 22 can substantially start decoding the first stream from the encoded data P2 by decoding the second stream.
- the encoded data subsequent to the encoded data I2 in the second stream is the encoded data I2. It is decoded with reference to the decoded image. As a result, there is a possibility that the image displayed by the reproduction of the second stream is disturbed. That is, image quality may be degraded.
- the encoding unit 12b in the present embodiment encodes the decoded image of the encoded data P2 into the encoded data I2 by the lossless compression method. Thereby, the disturbance of the image can be suppressed.
- the encoding according to the lossless compression method is also referred to as lossless encoding
- the encoding according to the irreversible compression method is also referred to as irreversible encoding.
- the reversible compression method is simply referred to as lossless
- the irreversible compression method is also simply referred to as irreversible.
- FIG. 3A is a flowchart illustrating an example of the operation of the conversion device 10a according to the present embodiment.
- the acquisition unit 11 of the conversion device 10a acquires the encoded data of the first stream (Step S101).
- the determination unit 13 determines whether to start generating the second stream (Step S102).
- the output unit 14 performs the first decoding on the first stream including the encoded data acquired in step S101. Output to the device 21 (step S103).
- the encoding unit 12b converts the decoded image of the encoded data of the first stream into the encoded data of the I picture. (Step S104). Then, the output unit 14 outputs the first stream including the encoded data obtained in step S101 to the first decoding device 21, and outputs the first stream including the encoded data obtained by the encoding in step S104. Is output to the second decoding device 22 (step S105).
- FIG. 3B is a flowchart illustrating another example of the operation of the conversion device 10a according to the present embodiment.
- the flowchart shown in FIG. 3B includes each step of the flowchart in FIG. 3A, and further includes step S106.
- step S102 when the determination unit 13 determines that the generation of the second stream is to be started (Y in step S102), the encoding unit 12b converts the encoded data acquired in step S101 into the intra-frame encoded data. Is determined (step S106).
- the encoding unit 12b reversibly converts the decoded image of the encoded data into the encoded data of the I picture. Encode (step S104).
- the encoding unit 12b does not encode the decoded image of the encoded data. That is, the encoded data is not transcoded.
- the output unit 14 when the encoding is performed in step S104, the output unit 14 outputs the first stream including the encoded data acquired in step S101, and further obtains the first stream including the encoded data in step S104.
- the second stream including the encoded data is output (Step S105). If re-encoding has not been performed in step S104, the output unit 14 outputs a first stream and a second stream each including the encoded data acquired in step S101 (step S105).
- the conversion device 10a includes the acquisition unit 11 that acquires the first stream and the irreversibly encoded first picture included in the first stream, which is a lossless encoded picture.
- the image processing apparatus includes a conversion unit 12 for converting the image into two pictures, and an output unit 14 for outputting a second stream including the second picture.
- the first picture corresponds to the above-described encoded data P2
- the second picture corresponds to the above-described encoded data I2.
- the conversion unit 12 generates a decoded image of the first picture by decoding the first picture, and losslessly encodes the decoded image of the first picture to convert the first picture into a second picture. Convert.
- the irreversible encoding is performed.
- a second stream including a second picture, which is a losslessly encoded picture, instead of a picture, is transmitted to the second decoding device 22.
- the second decoding device 22 can appropriately decode each picture after the second picture included in the second stream, and can suppress a decrease in image quality of the decoded image. Therefore, efficient random access can be realized without increasing the network load and limiting the number of terminals that can simultaneously play streams, and more flexible services can be provided.
- the conversion unit 12 converts the first picture into two pictures by performing intra prediction coding on the decoded image of the first picture.
- the second decoding device 22 decodes the second stream from the beginning. Decoding can be performed without referring to the image. In addition, if the encoding method of the first picture is converted among the pictures included in the first stream, the conversion of the encoding method of another picture can be omitted.
- the output unit 14 arranges the third picture included in the first stream, which is a picture encoded with reference to the decoded picture of the first picture, after the second picture in decoding order.
- the second stream includes the third picture, and outputs a second stream including the third picture.
- the third picture is, for example, the coded data P3 shown in FIG. 2, and the second stream transmitted to the second decoding device 22 includes coded data I2 as the second picture and a code as the third picture. Data P3.
- the second decoding device 22 that receives the second stream appropriately decodes the third picture with reference to the decoded image of the second picture. be able to.
- the output unit 14 further outputs the first stream acquired by the acquisition unit 11.
- the second stream can be transmitted to the second decoding device 22 in response to a request from the second decoding device 22.
- the conversion device 10a further includes a determination unit 13 that determines, for each of a plurality of pictures included in the first stream, whether to convert the encoding scheme of the picture,
- the unit 12 converts the first picture, which is a picture determined to be converted by the determining unit 13, into a second picture.
- the determining unit 13 encodes at least one continuous picture including the first picture according to the timing at which the request for transmitting the stream is received, from among the plurality of pictures included in the first stream. Judge to convert the method. For example, in the example shown in FIG. 2, it is determined that the encoding method of the encoded data P2 is converted according to the timing.
- the conversion of the picture encoding method can be performed at an appropriate timing, and the reproduction of the second stream can be started while suppressing the delay from the transmission request.
- the decision unit 13 also decides not to convert the encoding method of each picture subsequent to at least one continuous picture among a plurality of pictures included in the first stream. For example, in the example illustrated in FIG. 2, it is determined that the encoding scheme of the encoded data P4 and the encoded data P5 is not to be converted.
- the inter-frame coded data is a P-picture coded with reference to the immediately preceding coded data, but is not limited to this.
- the inter-frame coded data may be coded with reference to coded data that is not immediately before, or the coded data referred to may not be one.
- the encoded data to be encoded or transcoded is not limited to a P picture, but may be a B picture.
- the conversion device 10a includes the determination unit 13, but may not include the determination unit 13.
- the determination unit 13 may be provided in an external device such as a personal computer, for example, and the determination unit 13 of the external device may output an instruction signal to the encoding unit 12b and the output unit 14.
- one piece of encoded data is transcoded according to the timing of the determination.
- the conversion device 10a may transcode each encoded data from the encoded data in the first stream to the encoded data of the next I picture.
- the decoding unit 12a of the conversion unit 12 decodes all encoded data included in the first stream, but may decode some encoded data.
- the decoding unit 12a may decode only a predetermined number of pictures (that is, coded data) following the I-picture, and may perform coded data that satisfies a predetermined condition or coding data included in a period that satisfies a predetermined condition Only the data may be decrypted. Thereby, power consumption in converter 10a can be reduced.
- transcoding a process of converting encoded data of a frame included in a first stream into encoded data included in a second stream. Not limited to For example, this processing may be simply called encoding. That is, the conversion device may be referred to as an encoding device.
- the conversion device 10a has the configuration shown in FIG. 1 and outputs a first stream including first encoded data obtained by encoding a first frame, and a second stream.
- the second stream in the present embodiment is composed of the second encoded data, which is intra-frame encoded data obtained by transcoding the first encoded data by the lossy compression method, and the third encoded data.
- fourth encoded data obtained by transcoding with a lossless compression method.
- the third encoded data is encoded data that is included in the first stream and that follows the first encoded data.
- the third encoded data is a frame that is encoded with reference to a decoded image of the first encoded data. It is encoded data.
- the code amount of the second stream may be reduced.
- FIG. 4 is a sequence diagram illustrating an example of processing performed by each component of the conversion device 10a according to the present embodiment.
- the acquisition unit 11 of the conversion device 10a acquires these encoded data in the order of the encoded data I1, the encoded data P1, the encoded data P2, the encoded data P3, and the encoded data P4. . That is, the obtaining unit 11 obtains the first stream including the encoded data arranged in the order described above. Further, the P picture is encoded with reference to the immediately preceding encoded data. Further, in the example shown in FIG. 4, the first decoding device 21 decodes all the encoded data included in the first stream, and the second decoding device 22 decodes the encoded data P2 and subsequent encoded data included in the first stream. The transmission of each encoded data is requested to the conversion device 10a.
- the acquisition unit 11 every time the acquisition unit 11 acquires encoded data, the acquisition unit 11 outputs the encoded data to the output unit 14 and the conversion unit 12.
- the decoding unit 12a of the conversion unit 12 generates a decoded image corresponding to the encoded data by decoding the encoded data output from the acquisition unit 11.
- the determination unit 13 determines not to transcode the encoded data sequentially input to the conversion unit 12 until, for example, a request from the second decoding device 22 is received. Further, the output unit 14 transmits the first stream to the first decoding device 21 without transmitting the second stream to the second decoding device 22 until a request from the second decoding device 22 is received, for example. I do.
- the determination unit 13 determines whether the encoded data I1 and the encoded data It is determined that P1 is not to be transcoded. That is, the determination unit 13 determines that the generation of the second stream is not started. Then, the output unit 14 transmits the encoded data I1 and the encoded data P1 to the first decoding device 21 as encoded data included in the first stream, respectively.
- the determination unit 13 determines that the encoded data P2 included in the first stream is to be transcoded. That is, the determination unit 13 determines to start generating the second stream. As a result, the determination unit 13 transmits an instruction signal for instructing re-encoding of the encoded data P2 to the encoding unit 12b.
- the encoding unit 12b encodes the decoded image corresponding to the encoded data P2 generated by the decoding unit 12a according to the instruction signal. In this encoding, an intra prediction and a lossy compression scheme are used. Then, the encoding unit 12b outputs the encoded data I2, which is the intra-frame encoded data obtained by the encoding, to the output unit 14. Thus, the conversion unit 12 converts the coded data P2 into the coded data I2 of the I picture coded by the lossy compression method. In other words, a P picture is converted to an irreversible I picture.
- the output unit 14 outputs the encoded data P2 to the first decoding device 21 as encoded data included in the first stream, and outputs the encoded data I2 to the second decoding device 22 as encoded data included in the second stream. Output.
- the determination unit 13 determines that the encoded data P3 included in the first stream is to be transcoded. As a result, the determination unit 13 transmits an instruction signal for instructing re-encoding of the encoded data P3 to the encoding unit 12b.
- the encoding unit 12b encodes the decoded image of the encoded data P3 generated by the decoding unit 12a according to the instruction signal. That is, the encoding unit 12b refers to the decoded image of the encoded data I2 and encodes the decoded image of the encoded data P3 by the lossless compression method. Then, the encoding unit 12b outputs the encoded data P6, which is the inter-frame encoded data obtained by the encoding, to the output unit 14. Thereby, the conversion unit 12 converts the coded data P3 into coded data P6, which is a P picture coded according to the lossless compression method. In other words, an irreversible P picture is converted into a lossless P picture.
- the output unit 14 outputs the encoded data P3 to the first decoding device 21 as encoded data included in the first stream, and outputs the encoded data P6 to the second decoding device 22 as encoded data included in the second stream. Output.
- the determining unit 13 determines that the encoded data is not transcoded.
- the output unit 14 also outputs, to the first decoding device 21, each piece of encoded data subsequent to the encoded data P ⁇ b> 3 as encoded data included in the first stream. As a result, the first stream is output from the output unit 14 to the first decoding device 21.
- the output unit 14 includes each of the encoded data in the second stream without changing the encoding method of each of the encoded data after the encoded data P4 based on the determination result of the above-described determination unit 13.
- the data is output to the second decoding device 22 as encoded data.
- a second stream including the encoded data I2 and P6 and the encoded data after the encoded data P4 in the first stream is generated by the output unit 14 and output to the second decoding device 22. Is done. Note that the second stream does not include the encoded data I1 and P1 of the first stream.
- the second decoding device 22 can substantially start decoding the first stream from the encoded data P2 by decoding the second stream. Further, there is a possibility that the code amount of the second stream can be reduced as compared with the first embodiment.
- the conversion unit 12 generates a decoded picture of the fourth picture by decoding the fourth picture, which is a picture irreversibly inter-prediction coded, included in the first stream.
- the conversion unit 12 converts the fourth picture into a fifth picture by irreversibly performing intra prediction coding on the decoded image of the fourth picture.
- the conversion unit 12 converts the decoded picture of the first picture inter-predictively encoded with reference to the decoded picture of the fourth picture into a decoded picture of the fifth picture.
- the first picture is converted into the second picture by performing reversible inter prediction encoding.
- the output unit 14 outputs a second stream including the fifth picture and the second picture.
- the fourth picture and the fifth picture correspond to the coded data P2 and the coded data I2 shown in FIG. 4, respectively, and the first picture and the second picture are the coded data P3 and the coded data shown in FIG. This corresponds to data P6.
- the fourth picture and the first picture included in the first stream are converted into the fifth picture and the second picture included in the second stream. That is, the irreversibly encoded data P2 and the irreversibly encoded data P3 are respectively converted into irreversibly encoded data I2 and losslessly encoded data P6. Is done.
- the code amount of a losslessly encoded I picture is large, and transmission of the I picture may increase the network load.
- the encoded data P6 is configured not as a losslessly encoded I picture but as a losslessly encoded P picture. Further, by converting the irreversibly encoded encoded data P2 into encoded data I2, which is an irreversibly encoded I picture, there is a possibility that the code amount per picture may increase. The overall bit rate can be reduced.
- the lossless encoded data P6 is generated by encoding the decoded image of the encoded data P3 by the lossless compression method, but may be encoded by the irreversible compression method. In this case, not only the encoded data P2 and P3 but also the encoded data P4 are transcoded. That is, the conversion unit 12 encodes the decoded image of the encoded data P4 by the lossless compression method.
- the timing at which lossless compression encoding is performed may be controlled by increasing the number of times lossless compression encoding is performed.
- the encoded data P6 immediately after the encoded data I2 is generated by the lossless compression method, but the encoded data generated by the lossless compression is the encoded data subsequent to the encoded data I2. If there is, it does not have to be the encoded data immediately after. Also, the conversion device 10a may transcode each piece of encoded data from the encoded data according to the timing at which the generation of the second stream is started to the encoded data of the next I picture.
- the determination unit 13 converts the encoding scheme of each of at least one continuous picture including the first picture according to the timing at which the request for transmitting the stream is received among the plurality of pictures included in the first stream. It may be determined that. As a result, it is possible to carry out the conversion of the picture coding method at an appropriate timing, and it is possible to start the reproduction of the second stream while suppressing the delay from the transmission request.
- the conversion device 10a has the configuration shown in FIG. 1 and outputs a first stream including first encoded data obtained by encoding a first frame, and a second stream.
- the second stream in the present embodiment is composed of the second encoded data, which is intra-frame encoded data obtained by transcoding the first encoded data by the lossy compression method, and the first encoded data.
- fourth encoded data obtained by transcoding with a lossless compression method.
- the first encoded data is transcoded into intra-frame encoded data by a lossless compression method
- the amount of code of the intra-frame encoded data becomes large, and there is a possibility that a load is imposed on communication.
- the first encoded data is transcoded not only by the lossless compression method but also by the irreversible compression method
- the code amount of the second stream can be reduced. That is, in the second embodiment, different encoded data are transcoded, but in the present embodiment, the same first encoded data is transcoded into the second encoded data and the fourth encoded data.
- the second encoded data is referred to for transcoding the fourth encoded data.
- the difference between the image of the fourth encoded data and the image of the second encoded data of the reference destination can be reduced.
- FIG. 5 is a sequence diagram illustrating an example of a process performed by each component of the conversion device 10a according to the present embodiment.
- the acquisition unit 11 of the conversion device 10a acquires these encoded data in the order of the encoded data I1, the encoded data P1, the encoded data P2, the encoded data P3, and the encoded data P4. . That is, the obtaining unit 11 obtains the first stream including the encoded data arranged in the order described above. Further, the P picture is encoded with reference to the immediately preceding encoded data. Further, in the example shown in FIG. 5, the first decoding device 21 decodes all the encoded data included in the first stream, and the second decoding device 22 decodes the encoded data P2 and subsequent encoded data included in the first stream. The transmission of each encoded data is requested to the conversion device 10a.
- the acquisition unit 11 outputs the encoded data to the output unit 14 and the conversion unit 12.
- the decoding unit 12a of the conversion unit 12 generates a decoded image corresponding to the encoded data by decoding the encoded data output from the acquisition unit 11.
- the determination unit 13 determines not to transcode the encoded data sequentially input to the conversion unit 12 until, for example, a request from the second decoding device 22 is received. Further, the output unit 14 transmits the first stream to the first decoding device 21 without transmitting the second stream to the second decoding device 22 until a request from the second decoding device 22 is received, for example. I do.
- the determination unit 13 determines whether the encoded data I1 and the encoded data It is determined that P1 is not to be transcoded. That is, the determination unit 13 determines that the generation of the second stream is not started. Then, the output unit 14 transmits the encoded data I1 and the encoded data P1 to the first decoding device 21 as encoded data included in the first stream, respectively.
- the determination unit 13 determines that the encoded data P2 included in the first stream is to be transcoded. That is, the determination unit 13 determines to start generating the second stream. As a result, the determination unit 13 transmits an instruction signal for instructing re-encoding of the encoded data P2 to the encoding unit 12b.
- the encoding unit 12b encodes the decoded image corresponding to the encoded data P2 generated by the decoding unit 12a according to the instruction signal. In this encoding, an intra prediction and a lossy compression scheme are used. Then, the encoding unit 12b outputs the encoded data I2, which is the intra-frame encoded data obtained by the encoding, to the output unit 14. Thus, the conversion unit 12 converts the coded data P2 into coded data I2, which is an I picture coded by the lossy compression method. In other words, a P picture is converted to an irreversible I picture.
- the output unit 14 outputs the encoded data P2 to the first decoding device 21 as encoded data included in the first stream, and outputs the encoded data I2 to the second decoding device 22 as encoded data included in the second stream. Output.
- the decoding unit 12a generates a decoded image corresponding to the encoded data I2 by decoding the encoded data I2.
- the encoding unit 12b encodes the decoded image of the encoded data P2 by a lossless compression method with reference to the decoded image of the encoded data I2. Then, the encoding unit 12b outputs the encoded data P7, which is the inter-frame encoded data obtained by the encoding, to the output unit 14.
- the output unit 14 outputs the encoded data P7 to the second decoding device 22 as encoded data included in the second stream.
- the determining unit 13 determines that the encoded data is not transcoded.
- the output unit 14 also outputs, to the first decoding device 21, the coded data P3 and the coded data subsequent to the coded data P2 as coded data included in the first stream. As a result, the first stream is output from the output unit 14 to the first decoding device 21.
- the output unit 14 outputs the coded data after the coded data P3 to the second decoding device 22 as coded data included in the second stream.
- a second stream including the encoded data I2 and P7 and the encoded data after the encoded data P3 in the first stream is generated by the output unit 14 and output to the second decoding device 22. Is done. Note that the second stream does not include the encoded data I1 and P1 of the first stream.
- the second decoding device 22 can substantially start decoding the first stream from the encoded data P2 by decoding the second stream. Further, there is a possibility that the code amount of the second stream can be reduced as compared with the first embodiment.
- different coded data are transcoded.
- the same coded data P2 is transcoded into coded data I2 and coded data P7.
- the encoded data I2 is referred to for transcoding to the encoded data P7.
- the difference between the image of the encoded data P7 and the image of the encoded data I2 of the reference destination can be reduced. As a result, there is a possibility that the code amount of the second stream can be reduced.
- the conversion unit 12 generates a decoded image of the first picture by decoding the irreversibly inter-prediction-coded first picture included in the first stream.
- the conversion unit 12 converts the first picture into a fourth picture by irreversibly performing intra prediction coding on the decoded image of the first picture.
- the first picture is converted to the second picture by reversibly performing inter prediction coding on the decoded picture of the first picture with reference to the decoded picture of the fourth picture. Convert.
- the output unit 14 outputs a second stream including the fourth picture and the second picture.
- the fourth picture corresponds to the encoded data I2 shown in FIG. 5
- the first picture and the second picture respectively correspond to the encoded data P2 and the encoded data P7 shown in FIG.
- the first picture included in the first stream is converted into the fourth picture and the second picture included in the second stream. That is, the irreversibly encoded data P2 is converted into irreversibly encoded data I2 and losslessly encoded data P7.
- the code amount of a losslessly encoded I picture is large, and transmission of the I picture may increase the network load.
- the encoded data P7 is configured not as a losslessly encoded I picture but as a losslessly encoded P picture.
- the encoded data I2 and the encoded data P7 are respectively generated by conversion from the same encoded data P2, so that the images of the encoded data I2 and the encoded data P7 are similar.
- the code amount of the encoded data P7 can be suppressed by referring to the decoded image of the encoded data I2 in the conversion from the encoded data P2 to the encoded data P7.
- the overall bit rate of the stream can be suppressed.
- the conversion device 10a continuously transcodes each piece of encoded data from the encoded data according to the timing at which the generation of the second stream is started to the encoded data of the next I picture. Is also good.
- the encoding device includes an encoding unit that generates a first stream by encoding a moving image, and a conversion device that generates a second stream from the first stream.
- FIG. 6 is a block diagram showing the configuration of the encoding device according to the present embodiment.
- the same components as those of the first embodiment shown in FIG. 1 are denoted by the same reference numerals, and detailed description is omitted.
- the encoding device 200 includes a first encoding unit 100 and a conversion device 10b.
- the first encoding unit 100 includes a slice division unit 101, a subtractor 102, an orthogonal transformation unit 103, a quantization unit 104, an entropy encoding unit 105, an inverse quantization unit 106, and an inverse orthogonal transformation unit 107. , An adder 108, a deblocking filter 109, a memory 110, an intra prediction unit 111, an inter prediction unit 112, a motion detection unit 113, and an intra / inter determination unit 114.
- the slice division unit 101 acquires a moving image signal including a plurality of pictures, and divides each picture into a plurality of slices or slice segments.
- the subtracter 102 acquires a moving image signal including a plurality of pictures, and acquires a predicted image from the intra / inter determining unit 114. Then, the subtracter 102 generates a difference image by subtracting a predicted image from a block to be encoded (hereinafter, referred to as a target block) among pictures included in the moving image signal.
- a block corresponds to, for example, a CTU (Coding @ Unit), a CU (Coding @ Unit), a PU (Prediction @ Unit) or a TU (Transform @ Unit).
- the orthogonal transformation unit 103 performs an orthogonal transformation (frequency transformation) such as a discrete cosine transformation on the difference image generated by the subtracter 102, thereby converting the difference image into a coefficient sequence including a plurality of frequency coefficients. I do.
- the quantization unit 104 generates a quantized coefficient sequence by quantizing each frequency coefficient included in the coefficient sequence.
- the inverse quantization unit 106 inversely quantizes the coefficient sequence quantized by the quantization unit 104.
- the inverse orthogonal transform unit 107 generates a decoded difference image by performing an inverse orthogonal transform (an inverse frequency transform) such as an inverse discrete cosine transform on each frequency coefficient included in the inversely quantized coefficient sequence.
- an inverse orthogonal transform an inverse frequency transform
- the adder 108 obtains a predicted image from the intra / inter determination unit 114, and adds the predicted image and the decoded difference image generated by the inverse orthogonal transform unit 107 to generate a locally decoded image (reconstructed image). Generate.
- the deblocking filter 109 removes block distortion of the locally decoded image generated by the adder 108, and stores the locally decoded image in the memory 110.
- the memory 110 is a memory for storing a locally decoded image as a reference image at the time of inter prediction. This memory 110 is used as a decoded picture buffer (DPB).
- DPB decoded picture buffer
- the intra prediction unit 111 generates a predicted image (intra predicted image) by performing intra prediction on the target block using the locally decoded image generated by the adder 108.
- the motion detection unit 113 detects a motion vector for the target block included in the video signal, and outputs the detected motion vector to the inter prediction unit 112 and the entropy encoding unit 105.
- the inter prediction unit 112 performs motion compensation on the target block by referring to the image stored in the memory 110 as a reference image and using the motion vector detected by the motion detection unit 113.
- the inter prediction unit 112 generates a prediction image (inter prediction image) of the target block by performing such motion compensation, that is, by performing inter prediction on the target block.
- the intra / inter determining unit 114 determines whether the current block is to be subjected to intra prediction coding or inter prediction coding.
- the intra / inter determination unit 114 outputs the prediction image (intra prediction image) generated by the intra prediction unit 111 to the subtractor 102 and the adder 108.
- the intra / inter determination unit 114 outputs the prediction image (inter prediction image) generated by the inter prediction unit 112 to the subtractor 102 and the adder 108.
- the entropy coding unit 105 generates a bit stream by performing entropy coding (variable length coding) on the coefficient sequence quantized by the quantization unit 104 and the motion vector detected by the motion detection unit 113. . That is, the entropy coding unit 105 obtains a first stream that is a bit stream by performing entropy coding, and outputs the first stream to the conversion device 10b.
- entropy coding section 105 has a function as acquisition section 11 of transform apparatus 10a according to the first to third embodiments.
- the converter 10b has the same function as the converter 10a of the first to third embodiments.
- the conversion device 10b includes a second encoding unit 12c, a determination unit 13, and an output unit 14.
- the second encoding unit 12c has the same function as the encoding unit 12b in the conversion device 10a according to the first to third embodiments.
- the conversion device 10b does not include the decoding unit 12a, but acquires each image stored in the memory 110 of the first encoding unit 100 as a decoded image of each encoded data included in the first stream. I do. That is, the second encoding unit 12c performs an encoding process on the decoded image stored in the memory 110 of the first encoding unit 100. Thereby, the configuration can be simplified.
- the second encoding unit 12c may have the same configuration as the first encoding unit 100.
- the quantization unit 104 in the second encoding unit 12c outputs each frequency coefficient included in the above-described coefficient sequence to the entropy encoding unit 105 without quantizing.
- the second encoding unit 12c can realize lossless encoding for the image.
- the quantization unit 104 in the second encoding unit 12c may perform quantization with a quantization width of 1 on each frequency coefficient included in the above-described coefficient sequence.
- the second encoding unit 12c can achieve lossless encoding of the image.
- the encoding unit 12b in the conversion device 10a according to the first to third embodiments may have the same configuration as the first encoding unit 100, like the second encoding unit 12c. Also in this case, the encoding unit 12b may realize the reversible encoding of the image by omitting the quantization processing or performing the quantization with the quantization width of 1.
- the video distribution system includes a video distribution device including a conversion device.
- FIG. 7 is a configuration diagram of the video distribution system according to the present embodiment.
- the video distribution system 300A includes a video distribution device 310 using a conversion device, and video receiving devices 320 and 330.
- the video distribution device 310 includes an imaging unit 311, an encoding unit 312, a conversion device 313, and a transmission unit 314. Such a video distribution device 310 is connected to each of the video reception devices 320 and 330 via a network, and transmits video data as a stream to each of the video reception devices 320 and 330.
- the imaging unit 311 includes an optical system including a plurality of lenses and an imaging element as a photoelectric conversion element, and converts an optical image of a subject into a signal for each pixel.
- the signal for each pixel is input to the encoding unit 312 as a video signal.
- the encoding unit 312 encodes the video signal input from the imaging unit 311 to generate encoded data, and outputs the encoded data to the conversion device 313.
- the converter 313 is the converter 10a according to the first to third embodiments.
- the first decoding device 21 of the first to third embodiments corresponds to the video receiving device 320
- the second decoding device 22 corresponds to the video receiving device 330.
- the conversion device 313 outputs only the first stream to the transmission unit 314.
- the video distribution device 310 may receive a request from the video reception device 330 to start distribution of video data to the video reception device 330 while transmitting video data to the video reception device 320.
- conversion apparatus 313 outputs the second stream to transmitting section 314 together with the first stream in the same manner as in Embodiments 1 to 3.
- the unit including the encoding unit 312 and the conversion device 313 may be the encoding device 200 according to the fourth embodiment.
- the transmission unit 314 transmits the stream output from the conversion device 313 to at least one of the video reception devices 320 and 330.
- transmitting section 314 transmits the first stream to video receiving apparatus 320, and transmits the second stream to video receiving apparatus 330.
- the transmission unit 314 may convert the stream into a plurality of IP packets and transmit the packets.
- Each of the video receiving devices 320 and 330 includes a receiving unit 341, a decoding unit 342, and a display unit 343.
- the receiving unit 341 receives the stream from the video distribution device 310 and outputs the stream to the decoding unit 342.
- the receiving unit 341 converts the plurality of IP packets into a stream, and outputs the stream to the decoding unit 342.
- the decoding unit 342 generates a video signal by decoding the stream, and outputs the video signal to the display unit 343.
- the display unit 343 displays a video according to the video signal generated by the decoding unit 342.
- the video distribution device 310 can transmit the stream from the coded data at an arbitrary timing to the video receiving device 330 without waiting for the next intra-frame coded data even while transmitting the stream to the video receiving device 320. Can be sent.
- the video distribution device includes a plurality of units each including an encoding unit and a conversion device so that transmission of a stream to each of the plurality of video reception devices can be started at an arbitrary timing.
- the conversion device 313 has a function as the conversion device 10a in the first to third embodiments, and the unit including the encoding unit 312 and the conversion device 313 is the same as the coding device in the fourth embodiment. It has a function as 200. Therefore, the video distribution device 310 starts transmitting a stream to each of the plurality of video receiving devices at an arbitrary timing without providing a plurality of units each including the encoding unit 312 and the conversion device 313 for each video receiving device. It is possible.
- Video receiving apparatuses 320 and 330 correspond to first decoding apparatus 21 and second decoding apparatus 22 according to the first to third embodiments, respectively.
- the video receiving devices 320 and 330 respectively include a receiving unit 341 that receives a second stream including a second picture, a decoding unit 342 that generates a video signal by decoding the second stream, A display unit 343 for displaying an image.
- the second picture is a losslessly coded picture obtained by converting the irreversibly coded first picture included in the first stream.
- the receiving unit 341 when the first stream is being transmitted, if a request is made for transmission of each picture after the first picture included in the first stream, the receiving unit 341 does not use lossy-coded pictures, A second stream including a second picture, which is a losslessly encoded picture, is received.
- the decoding unit 342 can appropriately decode each picture after the second picture included in the second stream, and can suppress a decrease in the image quality of the decoded image.
- the video distribution system includes a video relay device including a conversion device.
- FIG. 8 is a configuration diagram of the video distribution system according to the present embodiment. 8, the same components as those of the fifth embodiment shown in FIG. 7 are denoted by the same reference numerals, and detailed description thereof will be omitted.
- the video distribution system 300B includes a video transmission device 350, a video relay device 360, and video reception devices 320 and 330.
- the video transmission device 350 includes an imaging unit 311, an encoding unit 312, and a transmission unit 351.
- the imaging unit 311 includes an optical system including a plurality of lenses and an imaging element as a photoelectric conversion element, and converts an optical image of a subject into a signal for each pixel.
- the signal for each pixel is input to the encoding unit 312 as a video signal.
- the encoding unit 312 encodes the video signal input from the imaging unit 311 to generate encoded data, and outputs the encoded data to the conversion device 313.
- the transmission unit 351 transmits the stream including the encoded data output from the encoding unit 312 to the video relay device 360.
- the video relay device 360 is connected to the video transmitting device 350 via a network, and receives a stream from the video transmitting device 350.
- the video relay device 360 is connected to each of the video receiving devices 320 and 330 via a network, and transmits a stream that is video data to each of the video receiving devices 320 and 330.
- the video relay device 360 includes a receiving unit 361, a converting device 313, and a transmitting unit 314.
- the receiving unit 361 receives the stream from the video transmitting device 350.
- the converter 313 is the converter 10a according to the first to third embodiments.
- the first decoding device 21 of the first to third embodiments corresponds to the video receiving device 320
- the second decoding device 22 corresponds to the video receiving device 330.
- the conversion device 313 outputs only the first stream to the transmission unit 314.
- the video relay device 360 may receive a request from the video receiving device 330 to start distributing video data to the video receiving device 330 while transmitting video data to the video receiving device 320.
- conversion apparatus 313 outputs the second stream to transmitting section 314 together with the first stream in the same manner as in Embodiments 1 to 3.
- the transmission unit 314 transmits the stream output from the conversion device 313 to at least one of the video reception devices 320 and 330.
- transmitting section 314 transmits the first stream to video receiving apparatus 320, and transmits the second stream to video receiving apparatus 330.
- the transmission unit 314 may convert the stream into a plurality of IP packets and transmit the packets.
- Each of the video receiving devices 320 and 330 generates a video signal by receiving and decoding a stream from the video relay device 360, and displays a video according to the video signal.
- the video playback system includes a video recording / playback device including a conversion device.
- FIG. 9 is a configuration diagram of the video reproduction system according to the present embodiment. 9, the same components as those shown in FIG. 7 of the fifth embodiment or FIG. 8 of the sixth embodiment are denoted by the same reference numerals, and detailed description is omitted.
- the video reproduction system 400A includes a video transmission device 350 and a video recording / reproduction device 410.
- the video transmitting device 350 has the same configuration as the video transmitting device 350 in the sixth embodiment, and is connected to the video recording / reproducing device 410 via a network.
- the video recording / reproducing device 410 includes a receiving unit 361, a converting device 313, a recording unit 411, a recording medium 412, a reading unit 413, a decoding unit 342, and a display unit 343.
- a video recording / reproducing apparatus 410 includes a real-time reproducing function (so-called streaming function) for immediately reproducing a stream from a video transmitting apparatus 350 while receiving the stream via a network, a recording function for recording a stream on a recording medium 412, and a recording function. And a recording / reproducing function for reproducing the reproduced stream.
- the receiving unit 361 sequentially obtains IP packets from the transmitting unit 351 of the video transmitting device 350, generates a stream including encoded data from the IP packets, and outputs the stream to the converting device 313.
- the converter 313 is the converter 10a according to the first to third embodiments.
- the conversion device 313 When the processing of the real-time reproduction function is performed, the conversion device 313 outputs the stream output from the reception unit 361 to the decoding unit 342 as a first stream without performing conversion.
- the conversion device 313 treats the stream output from the receiving unit 361 as the first stream.
- the second stream is generated from the first stream in the same manner. Then, the conversion device 313 stores the second stream in the recording medium 412.
- the conversion device 313 treats the stream output from the receiving unit 361 as a first stream, and generates a second stream from the first stream.
- the determination unit 13 of the conversion device 313 periodically outputs the above-described re-encoding instruction signal while the first stream is being output from the reception unit 361.
- the determination unit 13 outputs the instruction signal in a cycle shorter than the GOP of the first stream.
- a second stream in which the encoded data of the losslessly compressed I picture or P picture is arranged in a shorter cycle is generated.
- the conversion device 313 stores the second stream in the recording medium 412.
- the determining unit 13 may output a re-encoding instruction signal when the inter-coded frames appear in the first stream consecutively a predetermined number of times. Alternatively, the determination unit 13 may output a re-encoding instruction signal when a specific condition is satisfied.
- the recording unit 411 records the second stream output from the conversion device 313 on the recording medium 412.
- the recording medium 412 may be a storage device such as a memory, a hard disk drive (HDD), or a solid state drive (SSD), a removable SD memory card, a USB (Universal Serial Bus) memory, or a network. It may be a NAS (Network Attached Storage) that can be connected by a USB connection.
- the reading unit 413 reads the second stream from the recording medium 412 and outputs, to the decoding unit 342, the encoded data after the frame at the reproduction start position in the second stream. I do. Note that the encoded data of the frame at the playback start position may be an intra-coded frame.
- the decoding unit 342 generates a video signal by decoding the stream output from the conversion device 313 or the reading unit 413, and outputs the video signal to the display unit 343.
- the display unit 343 displays a video according to the video signal output from the decoding unit 342.
- the receiving unit 361, the conversion device 313, and the recording unit 411, and the reading unit 413, the decoding unit 342, and the display unit 343 may be provided in different devices.
- Such a video recording / reproducing device 410 can start recording from the middle of the received stream. Further, by encoding an arbitrary frame by the lossless compression method or by intra-frame encoding, it is possible to increase the number of frames from which decoding can be started.
- FIG. 10 is a diagram for explaining the transcoding of the lossless compression method.
- conversion apparatus 313 in the present embodiment transcodes irreversible encoded data P2 included in the first stream generated by encoding section 312 into lossless encoded data P2.
- the second stream including the lossless encoded data P2 is stored in the recording medium 412.
- the conversion device 313 may change the encoded data referred to by the encoded data P2.
- the encoded data P2 is a picture irreversibly encoded with reference to the decoded image of the encoded data P1.
- the decoding unit 12a of the conversion device 313 generates a decoded image by decoding the irreversible encoded data P2.
- the encoding unit 12b of the conversion device 313 encodes the decoded image by reversible inter prediction.
- the encoding unit 12b performs the inter prediction encoding with reference to the decoded image of the long-term encoded data I1, not the decoded image of the encoded data P1 immediately before the encoded data P2.
- the decoding unit 342 when the decoding unit 342 performs fast-forward reproduction of the second stream stored in the recording medium 412, for example, it does not decode the encoded data P1 immediately before the encoded data P2, and decodes the encoded data P2. It can be decoded properly. Further, the decoding unit 342 can appropriately decode other encoded data P3 and P4 subsequent to the encoded data P2. That is, it is possible to appropriately reproduce the second stream while suppressing the disturbance of the video.
- FIG. 11 is a configuration diagram of another video reproduction system according to the present embodiment. 11, the same components as those shown in FIG. 9 are denoted by the same reference numerals, and detailed description thereof will be omitted.
- the video reproduction system 400B shown in FIG. 11 includes a video recording device 410A, a recording medium 412, and a video reproduction device 410B instead of the video recording and reproduction device 410.
- the video recording device 410A includes a receiving unit 361, a conversion device 313, and a recording unit 411.
- the video playback device 410B includes a reading unit 413, a decoding unit 342, and a display unit 343.
- the video playback device 410B has a recording function, similarly to the video recording / playback device 410 described above, but does not have a real-time playback function.
- the determination unit 13 provided in the conversion device 313 of the video recording device 410A transmits the above-described re-encoding instruction signal in the same cycle as the determination unit 13 provided in the conversion device 313 of the video recording / reproduction device 410. It may be output as desired. Alternatively, the determination unit 13 may output a re-encoding instruction signal when the inter-coded frames appear consecutively in the first stream a predetermined number of times. Alternatively, the determination unit 13 may output a re-encoding instruction signal when a specific condition is satisfied. Thereby, the recording and reproduction of the stream can be started from the middle of the GOP.
- the conversion device and the decoding device according to one or more aspects have been described based on the above embodiments, but the present disclosure is not limited to those embodiments. Unless departing from the gist of the present disclosure, various modifications conceivable by those skilled in the art may be applied to each embodiment, and forms configured by combining components in different embodiments are also included in the scope of the present disclosure. You may.
- each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
- Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
- FIG. 12 is a block diagram showing another example of the configuration of the conversion device 10a.
- the converter 10a includes a processor 1 and a memory 2.
- the processor 1 obtains a first stream using the memory 2, converts the irreversibly encoded first picture included in the first stream into a second picture that is a losslessly encoded picture, A second stream including two pictures is output.
- the memory 2 may store a program for causing the processor 1 to execute each of the above processes. In this case, the processor 1 executes the above-described processing such as picture conversion by executing the program. Alternatively, the memory 2 may be used to hold the acquired first memory, or may be used to hold the second picture.
- the conversion device 10b may have the configuration shown in FIG. 12 similarly to the conversion device 10a.
- the software that implements the conversion device of each of the above embodiments may cause a computer to execute the steps included in the flowchart illustrated in FIG. 3A or 3B.
- the encoded data is data obtained by encoding a picture or frame, but is data obtained by encoding an image unit other than a picture or frame. Is also good.
- the image unit may be, for example, a block, a slice, or a sequence.
- the encoding device may be configured by a plurality of devices.
- the encoding device may include a transmitter that encodes an image and outputs encoded data, and a relay device.
- the relay device receives encoded data from the transmitter, decodes the encoded data and performs transcoding, a transmitting unit that transmits the encoded data to the receiver, and receives a request signal from the receiver. And a receiving unit that performs the processing.
- the conversion device can be said to be an encoding device. That is, the encoding device includes an encoding unit and an output unit.
- the encoding unit performs an encoding process on a decoded image obtained by decoding the first encoded data included in the first stream to generate second encoded data.
- the first encoded data is generated by encoding a video signal
- the second encoded data corresponds to a first period.
- the output unit outputs a second stream including the second encoded data and encoded data corresponding to a second period following the first period.
- the first encoded data and the second encoded data are, for example, the encoded data P2 and the encoded data I2 shown in FIG. 2, respectively.
- the encoded data corresponding to the second period is, for example, the encoded data P3 shown in FIG.
- the above-described encoding unit and output unit correspond to, for example, the encoding unit 12b and the output unit 14 illustrated in FIG. 1, respectively.
- the conversion device can be said to be the following encoding device. That is, the encoding device includes an encoding unit. The encoding unit performs an inter-frame encoding process on the image of the first frame included in the video signal with reference to another frame to generate first encoded data. Next, the encoding unit performs an inter-frame encoding process on the image of the second frame included in the video signal with reference to the first frame to generate second encoded data. Then, the encoding unit performs an encoding process using a lossless compression method on the reference image corresponding to the first frame and used for encoding the second frame to generate third encoded data. I do.
- the first encoded data, the second encoded data, and the third encoded data are, for example, the encoded data P2, the encoded data P3, and the encoded data I2 illustrated in FIG. 2, respectively.
- the above-described encoding unit corresponds to, for example, the first encoding unit 100 illustrated in FIG.
- the conversion device can be said to be the following encoding device. That is, the encoding device includes an encoding unit and an output unit. The encoding unit performs an inter-frame encoding process on the image of the first frame included in the video signal with reference to another frame to generate first encoded data. Next, the encoding unit performs an inter-frame encoding process on the image of the second frame included in the video signal with reference to the first frame to generate second encoded data. Then, the coding unit generates third coded data by performing coding processing on the reference image corresponding to the first frame and used for coding the second frame without referring to another frame. I do.
- the output unit outputs a first stream including the first encoded data and the second encoded data, and a second stream including the third encoded data and the second encoded data.
- the first encoded data, the second encoded data, and the third encoded data are, for example, the encoded data P2, the encoded data P3, and the encoded data I2 illustrated in FIG. 2, respectively.
- the above-described encoding unit and output unit correspond to, for example, the first encoding unit 100 and the output unit 14 shown in FIG.
- the third encoded data may be generated only for a predetermined period in response to a request from another device.
- the conversion device is a conversion device that converts an encoded video stream, and may include a determination unit, a re-encoding unit, and an output unit.
- the determining unit determines whether to convert the encoded data included in the input first stream.
- the re-encoding unit re-encodes the encoded data before conversion determined to be converted by the determination unit.
- the output unit outputs a second stream including the non-converted encoded data determined not to be converted by the determination unit and the converted encoded data re-encoded by the re-encoding unit.
- the re-encoding unit may encode the image obtained by decoding the above-described encoded data before conversion into intra-frame encoded data by a lossless compression method.
- the re-encoding unit encodes the first image obtained by decoding the first pre-conversion encoded data into intra-frame encoded data using an irreversible compression method.
- the re-encoding unit converts the second image obtained by decoding the second pre-conversion encoded data subsequent to the first pre-conversion encoded data into inter-frame encoded data with reference to the first image.
- the encoding may be performed by a reversible compression method.
- the re-encoding unit encodes the first image obtained by decoding the first pre-conversion encoded data into intra-frame encoded data using an irreversible compression scheme, and decodes the intra-frame encoded data.
- the first image may be encoded into inter-frame encoded data by a lossless compression method.
- the determining unit determines that the first encoded data for which decoding is to be started is the first pre-conversion encoded data, and that the second encoded data subsequent to the first encoded data is the non-transformed encoded data. Is also good.
- the determination unit determines each of the first encoded data for which decoding is to be started and one or more second encoded data subsequent to the first encoded data as encoded data before conversion.
- the encoded data may be determined to be non-transform encoded data.
- the conversion device, the encoding device, the video distribution system, the video reproduction system, and the like according to the present disclosure can be applied to devices or systems that encode or decode data, such as surveillance cameras and video conference systems.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
より柔軟なサービスを提供することができる変換装置(10a)は、第1ストリームを取得する取得部(11)と、第1ストリームに含まれる不可逆符号化された第1ピクチャを、可逆符号化されたピクチャである第2ピクチャに変換する変換部(12)と、第2ピクチャを含む第2ストリームを出力する出力部(14)とを備える。
Description
本開示は、動画像の符号化、復号または変換を行う装置および方法などに関する。
動画像符号化処理では、一般に、動画像が有する時間方向の冗長性を利用して情報量の圧縮を行う画面間予測(以降、インター予測とも呼ぶ)符号化処理が用いられる。インター予測符号化処理では、ピクチャを符号化する際に、そのピクチャ(以下、符号化対象ピクチャという)とは異なる符号化済みのピクチャを、参照ピクチャとして用いる。そして、その参照ピクチャに基づく符号化対象ピクチャの動き検出により、動きベクトルを導出する。さらに、動きベクトルに基づいて動き補償を行って得られた予測画像と、符号化対象ピクチャとの差分を取ることにより、時間方向の冗長性を取り除く。ここで、動き検出では、符号化対象ピクチャ内の符号化対象ブロックと、参照ピクチャ内の各ブロックとの差分値を算出し、最も差分値の小さい参照ピクチャ内のブロックを参照ブロックとして探索する。そして、符号化対象ブロックと、参照ブロックとを用いて、動きベクトルを検出する。
動画像符号化処理では、一般に、インター予測符号化処理と、参照ピクチャを用いない符号化処理である画面内予測(以降、イントラ予測とも呼ぶ)符号化処理が併用される。また、動画像の符号化方式として代表的なものに、H.265/HEVCと呼ばれる動画像符号化方式がある(非特許文献1参照)。
また、動画像符号化処理は、監視カメラまたはテレビ会議システムのように1つの映像を複数の端末に伝送する場合、あるいは、映像を記憶媒体に記録する場合などに用いられる。
Recommendation ITU-T H.265 「AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video」、2018年2月
例えば監視カメラなどの動画像の伝送に、上述の動画像符号化処理が単純に用いられる場合には、柔軟なサービスを提供することが難しいという課題がある。
本開示は、符号化された動画像であるストリームを他のストリームに変換する装置であって、より柔軟なサービスを提供することができる変換装置を提供する。
本開示の一態様に係る変換装置は、第1ストリームを取得する取得部と、前記第1ストリームに含まれる不可逆符号化された第1ピクチャを、可逆符号化されたピクチャである第2ピクチャに変換する変換部と、前記第2ピクチャを含む第2ストリームを出力する出力部と、を備える。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
本開示の変換装置によれば、より柔軟なサービスを提供することができる。
(本開示の基礎となった知見)
本発明者は、「背景技術」の欄において記載した動画像符号化処理の適用例に関し、以下の課題が生じることを見出した。
本発明者は、「背景技術」の欄において記載した動画像符号化処理の適用例に関し、以下の課題が生じることを見出した。
例えば、動画像符号化処理の適用例として、監視カメラなどの動画像に対して符号化処理を行い、その符号化処理された動画像、すなわちストリームを複数の端末に送信して再生させるシステムがある。これらの複数の端末はストリーミング再生を行う。このようなシステムの場合、第1端末がストリームの再生を行っているときに、途中から第2端末がそのストリームの送信を要求しても、その第2端末によるそのストリームの再生が遅延する可能性がある。
例えば、第2端末は、ストリームに含まれるGOP(Group of Picture)にある、インター予測符号化されたピクチャからの再生を要求する。つまり、その再生の要求が受け付けられたタイミングでは、ストリームに含まれる各ピクチャのうち、そのインター予測符号化されたピクチャが送信される。また、そのピクチャは、具体的にはPピクチャ(Predictive Picture)またはBピクチャ(Bidirectionally Predictive Picture)などである。
しかし、その要求に応じて、ストリームのうち、インター予測符号化されたピクチャ以降の各ピクチャが第2端末に送信されても、第2端末は、そのインター予測符号化されたピクチャを復号することができない。これは、第2端末が、インター予測符号化されたピクチャの復号に参照されるピクチャを先に復号していないためである。したがって、第2端末は、ストリームのうちのIDR(Instantaneous Decoding Refresh)ピクチャが伝送されるまで、再生を待たなければならない。そのため、効率的なランダムアクセスが困難である。
また、このような再生の遅延を解消するために、そのインター予測符号化されたピクチャを、イントラ予測符号化されたピクチャに変換することが想定される。この場合には、インター予測符号化されたピクチャの代わりに、イントラ予測符号化されたピクチャを含むストリームが第2端末に送信される。その結果、第2端末は、ストリームに含まれるそのイントラ予測符号化されたピクチャから各ピクチャを復号することができる。しかし、そのイントラ予測符号化されたピクチャの後続のピクチャの復号画像の画質が低下してしまうという課題が生じる。これは、ストリームに含まれていた元のピクチャが、不可逆にインター予測符号化されてあって、そのピクチャの復号画像が、上述の変換によって、さらに不可逆にイントラ予測符号化されるためである。その結果、このようなイントラ予測符号化されたピクチャの復号画像を参照することによって復号されるピクチャでは、画質が低下してしまう。つまり、ストリームに含まれる、イントラ予測符号化されたピクチャ以降の各ピクチャにおいて、映像の乱れが生じてしまう。
また、再生の遅延を解消するために、つまり、効率的なランダムアクセスを実現するために、ストリームにIDRピクチャを挿入して、そのIDRピクチャが挿入されたストリームを第2端末に送信することが想定される。しかし、この場合には、そのストリームを伝送するためのネットワークの負荷が増加してしまう。
また、再生の遅延を解消するために、つまり、効率的なランダムアクセスを実現するために、監視カメラなどに各端末に対応する符号化装置を備えておくことが想定される。しかし、この場合には、ストリームを同時に再生することができる端末の数が、その符号化装置の数に制限されてしまう。
そこで、本開示の一態様に係る変換装置は、第1ストリームを取得する取得部と、前記第1ストリームに含まれる不可逆符号化された第1ピクチャを、可逆符号化されたピクチャである第2ピクチャに変換する変換部と、前記第2ピクチャを含む第2ストリームを出力する出力部と、を備える。例えば、前記変換部は、前記第1ピクチャを復号することによって、前記第1ピクチャの復号画像を生成し、前記第1ピクチャの復号画像を可逆符号化することによって、前記第1ピクチャを前記第2ピクチャに変換してもよい。また、可逆符号化は、例えば、動画像符号化規格のH.264またはH.265の拡張機能である、H.264LosslessまたはH.265Losslessなどによる符号化である。
これにより、例えば、第1ストリームが送信されているときに、端末が、その第1ストリームに含まれる第1ピクチャ以降の各ピクチャの送信を要求しても、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第2ピクチャを含む第2ストリームがその端末に送信される。その結果、端末は、第2ストリームに含まれる第2ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。したがって、ネットワーク負荷の増加と、ストリームを同時に再生することができる端末の数の制限とを伴うことなく、効率的なランダムアクセスを実現することができ、より柔軟なサービスを提供することができる。
また、前記出力部は、前記第1ストリームに含まれる、前記第1ピクチャの復号画像を参照して符号化されたピクチャである第3ピクチャが、復号順で前記第2ピクチャの後に配置されるように、前記第2ストリームに前記第3ピクチャを含め、前記第3ピクチャを含む前記第2ストリームを出力してもよい。
これにより、第3ピクチャの符号化方式が変換されていなくても、その第2ストリームを受信する端末は、第2ピクチャの復号画像を参照して第3ピクチャを適切に復号することができる。
また、前記出力部は、さらに、前記取得部によって取得された前記第1ストリームを出力してもよい。
これにより、第1ストリームを第1端末に送信しているときに、第2端末からの要求に応じて、第2ストリームを第2端末に送信することができる。
また、前記変換装置は、さらに、前記第1ストリームに含まれる複数のピクチャのそれぞれについて、当該ピクチャの符号化方式を変換するか否かを判断する判断部を備え、前記変換部は、前記判断部によって変換すると判断されたピクチャである前記第1ピクチャを、前記第2ピクチャに変換してもよい。例えば、前記判断部は、前記第1ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた前記第1ピクチャを含む少なくとも1つの連続するピクチャのそれぞれの符号化方式を変換すると判断してもよい。
これにより、ピクチャの符号化方式の変換を適切なタイミングで実施することができ、送信要求からの遅延を抑えて、第2ストリームの再生を開始することができる。
また、前記判断部は、前記第1ストリームに含まれる複数のピクチャのうち、前記少なくとも1つの連続するピクチャよりも後の各ピクチャの符号化方式を変換しないと判断してもよい。
これにより、符号化方式の変換にかかる負荷を低減することができる。
また、前記変換部は、前記第1ピクチャの復号画像をイントラ予測符号化することによって、前記第1ピクチャを前記第2ピクチャに変換してもよい。
これにより、第2ピクチャは可逆符号化されたIピクチャであるため、第2ストリームの先頭に第2ピクチャが配置されていても、端末は、第2ストリームをその先頭から、復号画像を参照することなく復号することができる。また、第1ストリームに含まれる各ピクチャのうち第1ピクチャの符号化方式を変換すれば、他のピクチャの符号化方式の変換を省くことができる。
また、前記変換部は、さらに、前記第1ストリームに含まれる、不可逆にインター予測符号化されたピクチャである第4ピクチャを復号することによって、前記第4ピクチャの復号画像を生成し、前記第4ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第4ピクチャを第5ピクチャに変換し、前記第1ピクチャの前記第2ピクチャへの変換では、前記第4ピクチャの復号画像を参照してインター予測符号化された前記第1ピクチャの復号画像を、前記第5ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第1ピクチャを前記第2ピクチャに変換し、前記出力部は、前記第5ピクチャおよび前記第2ピクチャを含む前記第2ストリームを出力してもよい。
これにより、第1ストリームに含まれる第4ピクチャおよび第1ピクチャは、第2ストリームに含まれる第5ピクチャおよび第2ピクチャに変換される。例えば、不可逆符号化されたPピクチャである第4ピクチャと、不可逆符号化されたPピクチャである第1ピクチャとは、不可逆符号化されたIピクチャである第5ピクチャと、可逆符号化されたPピクチャである第2ピクチャとに、それぞれ変換される。
例えば、可逆符号化されたIピクチャの符号量は大きく、そのIピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、上述の態様では、第2ピクチャは、可逆符号化されたIピクチャではなく、可逆符号化されたPピクチャ(またはBピクチャ)として構成される。また、不可逆符号化されたPピクチャである第4ピクチャを、不可逆符号化されたIピクチャである第5ピクチャに変換することによって、1つのピクチャあたりの符号量が増加する可能性があるが、ストリームの全体的なビットレートを抑えることができる。
また、前記変換部は、さらに、前記第1ストリームに含まれる、不可逆にインター予測符号化された前記第1ピクチャを復号することによって、前記第1ピクチャの復号画像を生成し、前記第1ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第1ピクチャを第4ピクチャに変換し、前記第1ピクチャの前記第2ピクチャへの変換では、前記第1ピクチャの復号画像を、前記第4ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第1ピクチャを前記第2ピクチャに変換し、前記出力部は、前記第4ピクチャおよび前記第2ピクチャを含む前記第2ストリームを出力してもよい。
これにより、第1ストリームに含まれる第1ピクチャは、第2ストリームに含まれる第4ピクチャと第2ピクチャとに変換される。例えば、不可逆符号化されたPピクチャである第1ピクチャは、不可逆符号化されたIピクチャである第4ピクチャと、可逆符号化されたPピクチャである第2ピクチャとに変換される。
例えば、可逆符号化されたIピクチャの符号量は大きく、そのIピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、上述の態様では、第2ピクチャは、可逆符号化されたIピクチャではなく、可逆符号化されたPピクチャ(またはBピクチャ)として構成される。また、第4ピクチャと第2ピクチャとはそれぞれ、同じ第1ピクチャからの変換によって生成されるため、第4ピクチャと第2ピクチャとの画像は類似している。その結果、第1ピクチャから第2ピクチャへの変換に、その第4ピクチャの復号画像が参照されることによって、その第2ピクチャの符号量を抑えることができる。その結果、ストリームの全体的なビットレートを抑えることができる。
また、本開示の一態様に係る復号装置は、第2ピクチャを含む第2ストリームを受信する受信部と、前記第2ストリームを復号することによって映像信号を生成する復号部と、前記映像信号にしたがって映像を表示する表示部とを備え、前記第2ピクチャは、第1ストリームに含まれる不可逆符号化された第1ピクチャを変換することによって得られた、可逆符号化されたピクチャである。
これにより、例えば、第1ストリームが送信されているときに、その第1ストリームに含まれる第1ピクチャ以降の各ピクチャの送信を要求すると、受信部は、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第2ピクチャを含む第2ストリームを受信する。その結果、復号部は、第2ストリームに含まれる第2ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
以下、本開示の実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
(実施の形態1)
図1は、本実施の形態における変換装置の構成図である。
図1は、本実施の形態における変換装置の構成図である。
本実施の形態における変換装置10aは、第1フレームを符号化することによって得られる第1符号化データを含む第1ストリームと、第1符号化データをトランスコードすることによって得られる第2符号化データを含む第2ストリームとを出力する。例えば、変換装置10aは、第1ストリームを第1復号装置21に出力し、第2ストリームを第2復号装置22に出力する。
なお、本開示において、フレームとピクチャとは同義である。また、フレームまたはピクチャは、符号化されていない状態であってもよく、符号化されている状態であってもよい。しかし、符号化されている状態を明示する場合、その符号化されているフレームまたはピクチャを、符号化データと称する。
また、上述の第1符号化データは、第1ストリームの先頭に配置されている符号化データではなく、途中に配置されている符号化データである。なお、ストリームには、各符号化データが先頭から復号順または符号化順に配置されている。また、第1ストリームに含まれる各符号化データは、フレームまたはピクチャを不可逆符号化することによって得られたデータである。
本実施の形態における変換装置10aによって、第1復号装置21は、第1ストリームの復号を、先頭の符号化データから開始し、第2復号装置22は、第2ストリームの復号を、第1ストリームの途中にある第1符号化データに対応する第2符号化データから開始することができる。なお、第2符号化データは、例えばPピクチャである第1符号化データを可逆符号化でトランスコードすることによって得られるIピクチャであってもよい。この構成により、第2符号化データ(すなわち符号化された第1フレーム)の後続の符号化データをトランスコードしなくても、第2復号装置22は、その後続の符号化データを復号することができる可能性がある。
変換装置10aは、図1に示すように、取得部11、判断部13、変換部12、および出力部14を備え、第1復号装置21と第2復号装置22とに接続されている。変換装置10aは、第1ストリームを取得し、その第1ストリームを第1復号装置21に出力する。また、変換装置10aは、その第1ストリームを第2ストリームに変換し、その第2ストリームを第2復号装置22に出力する。第1復号装置21は、第1ストリームを復号し、第2復号装置22は、第2ストリームを復号する。なお、変換装置10aと、第1復号装置21および第2復号装置22とは、ネットワーク経由で接続されていてもよい。
取得部11は、第1符号化データを含む第1ストリームを取得し、その第1ストリームを出力部14および変換部12に出力する。第1符号化データは、フレーム内符号化データ(即ち、Iピクチャ)またはフレーム間符号化データ(即ち、PピクチャもしくはBピクチャ)である。なお、フレーム内符号化データは、画面内予測、すなわちイントラ予測によって符号化されたフレームまたはピクチャであり、フレーム間符号化データは、画面間予測、すなわちインター予測によって符号化されたフレームまたはピクチャである。なお、図1において、第1ストリームと第2ストリームの一例を示す。「I1」および「I2」は、Iピクチャの符号化データを示し、「P1」~「P4」は、Pピクチャの符号化データを示す。
変換部12は、第1符号化データをトランスコードする。変換部12は、復号部12aと、符号化部12bとを備える。復号部12aは、第1符号化データを復号することによって復号画像を生成する。符号化部12bは、その復号画像を符号化することによって、第1符号化データを第2符号化データにトランスコードする。なお、符号化部12bによって行われる符号化を、再符号化ともいう。
判断部13は、第1ストリームに含まれる符号化データのそれぞれについて、その符号化データをトランスコードするか否かを判断する。判断部13は、第2復号装置22からの復号開始を求める要求信号が変換装置10aに受信された場合に、要求信号が受信された後に送信される1または複数の符号化データをトランスコードすると判断してもよい。例えば、判断部13は、要求信号が受信された後(具体的には直後)に送信される第1符号化データをトランスコードすると判断する。なお、判断部13は、要求信号が受信された後、第1ストリームに含まれる次のIピクチャまでトランスコードすると判断してもよい。なお、次のIピクチャは、要求信号が受信されたタイミングの後に、変換装置10aから最初に送信されるIピクチャである。
出力部14は、第1ストリームを第1復号装置21に出力し、第2ストリームを第2復号装置22に出力する。つまり、第1ストリームおよび第2ストリームが送信または伝送される。第2ストリームは、第2符号化データと、その第2符号化データに後続する1つまたは複数の符号化データとを含む。具体的には、出力部14は、第2フレームと、第2フレームに後続する1つまたは複数のフレームを組合せ、さらに制御情報を付与することによって第2ストリームを生成する。
図2は、本実施の形態における変換装置10aの各構成要素によって行われる処理の一例を示すシーケンス図である。
図2に示すように、変換装置10aの取得部11は、符号化データI1、符号化データP1、符号化データP2、符号化データP3、符号化データP4の順にこれらの符号化データを取得する。つまり、取得部11は、上述の順に配列されているこれらの符号化データを含む第1ストリームを取得する。また、符号化データI1は、1番目のIピクチャの符号化データであって、符号化データPn(nは1~5のうちの何れかの整数)は、n番目のPピクチャの符号化データである。また、Pピクチャ(または符号化データPn)は、直前の符号化データを参照して符号化されている。また、図2に示す例では、第1復号装置21は、第1ストリームに含まれる全ての符号化データを復号し、第2復号装置22は、第1ストリームに含まれる符号化データP2以降の各符号化データの送信を変換装置10aに要求する。言い換えれば、第1復号装置21は、第1ストリームの先頭の符号化データからの再生を変換装置10aに要求し、第2復号装置22は、第1ストリームの途中の符号化データからの再生を変換装置10aに要求する。このような要求は、要求信号として変換装置10aに送信される。
図2に示すように、取得部11は、符号化データを取得するたびに、その符号化データを出力部14と、変換部12とに出力する。変換部12の復号部12aは、取得部11から出力された符号化データを復号することによって、その符号化データに対応する復号画像を生成する。
判断部13は、例えば第2復号装置22からの要求が受け付けられるまで、変換部12に順次入力される符号化データをトランスコードしないと判断する。また、出力部14は、例えば第2復号装置22からの要求が受け付けられるまで、第2復号装置22への第2ストリームの送信を行うことなく、第1復号装置21への第1ストリームの送信を行う。
つまり、上述のように、第2復号装置22が、第1ストリームに含まれる符号化データP2以降の各符号化データの送信を要求する場合、判断部13は、符号化データI1および符号化データP1をトランスコードしないと判断する。すなわち、判断部13は、第2ストリームの生成を開始しないと判断する。そして、出力部14は、符号化データI1および符号化データP1をそれぞれ第1ストリームに含まれる符号化データとして第1復号装置21に送信する。
次に、第2復号装置22からの要求が受け付けられた場合、判断部13は、第1ストリームに含まれる符号化データP2をトランスコードすると判断する。すなわち、判断部13は、第2ストリームの生成を開始すると判断する。その結果、判断部13は、符号化データP2に対する再符号化を指示する指示信号を、符号化部12bに送信する。
符号化部12bは、その指示信号に応じて、復号部12aによって生成された、符号化データP2の復号画像を符号化する。この符号化では、可逆のイントラ予測が用いられる。その結果、符号化部12bは、可逆のフレーム内符号化データである符号化データI2を生成して出力部14に出力する。これにより、変換部12では、不可逆の符号化データP2が可逆の符号化データI2に変換される。言い換えれば、不可逆のPピクチャが可逆のIピクチャに変換される。
なお、可逆符号化は、例えば、動画像符号化規格のH.264またはH.265の拡張機能である、H.264LosslessまたはH.265Losslessなどによる符号化である。また、符号化において量子化が行われる場合には、可逆符号化は、その量子化に用いられる量子化幅が1の符号化であってもよい。また、符号化データP2は、上述の第1符号化データであり、符号化データI2は、上述の第2符号化データである。
出力部14は、符号化データP2を第1ストリームに含まれる符号化データとして第1復号装置21に出力し、符号化データI2を第2ストリームに含まれる符号化データとして第2復号装置22に出力する。
次に、判断部13は、変換部12に符号化データP3以降の各符号化データが入力されると、それらの符号化データをトランスコードしないと判断する。
出力部14は、符号化データP2に引き続き、符号化データP3以降の各符号化データも、第1ストリームに含まれる符号化データとして第1復号装置21に出力する。その結果、第1ストリームが出力部14から第1復号装置21に出力される。
さらに、出力部14は、上述の判断部13による判断結果に基づき、符号化データP3以降の各符号化データの符号化方式を変換することなく、その各符号化データを第2ストリームに含まれる符号化データとして第2復号装置22に出力する。これによって、符号化データI2と、第1ストリームのうちの符号化データP3以降の各符号化データとを含む第2ストリームが、出力部14によって生成されて、第2復号装置22に出力される。なお、第2ストリームには、第1ストリームの符号化データI1およびP1が含まれていない。
この構成により、第2復号装置22は、第2ストリームを復号することによって、実質的に、第1ストリームの符号化データP2からの復号を開始することができる。
ここで、符号化データP2の復号画像が、不可逆圧縮方式で符号化データI2に符号化されると、第2ストリームにおけるその符号化データI2の後続の符号化データは、その符号化データI2の復号画像を参照して復号される。その結果、第2ストリームの再生によって表示される映像が乱れる恐れがある。つまり、画質劣化が生じる可能性がある。
したがって、本実施の形態における符号化部12bは、符号化データP2の復号画像を、可逆圧縮方式で符号化データI2に符号化する。これにより、映像の乱れを抑制することができる。なお、本開示では、可逆圧縮方式にしたがった符号化を、可逆符号化ともいい、不可逆圧縮方式にしたがった符号化を、不可逆符号化ともいう。また、可逆圧縮方式を、単に可逆ともいい、不可逆圧縮方式を、単に不可逆ともいう。
図3Aは、本実施の形態における変換装置10aの動作の一例を示すフローチャートである。
まず、変換装置10aの取得部11は、第1ストリームの符号化データを取得する(ステップS101)。次に、判断部13は、第2ストリームの生成を開始するか否かを判断する(ステップS102)。ここで、第2ストリームの生成を開始しないと判断部13によって判断されると(ステップS102のN)、出力部14は、ステップS101で取得された符号化データを含む第1ストリームを第1復号装置21に出力する(ステップS103)。
一方、第2ストリームの生成を開始すると判断部13によって判断されると(ステップS102のY)、符号化部12bは、第1ストリームの符号化データの復号画像をIピクチャの符号化データに可逆に符号化する(ステップS104)。そして、出力部14は、ステップS101で取得された符号化データを含む第1ストリームを、第1復号装置21に出するとともに、ステップS104の符号化によって得られた符号化データを含む第2ストリームを、第2復号装置22に出力する(ステップS105)。
図3Bは、本実施の形態における変換装置10aの動作の他の例を示すフローチャートである。この図3Bに示すフローチャートは、図3Aのフローチャートの各ステップを含むとともに、さらに、ステップS106を含む。
つまり、ステップS102において、第2ストリームの生成を開始すると判断部13によって判断されると(ステップS102のY)、符号化部12bは、ステップS101で取得された符号化データがフレーム内符号化データであるか否かを判定する(ステップS106)。ここで、その符号化データがフレーム内符号化データでないと判定されると(ステップS106のN)、符号化部12bは、その符号化データの復号画像を、Iピクチャの符号化データに可逆に符号化する(ステップS104)。一方、その符号化データがフレーム内符号化データであると判定されると(ステップS106のY)、符号化部12bは、その符号化データの復号画像を符号化しない。つまり、その符号化データはトランスコードされない。
その結果、出力部14は、ステップS104で符号化が行われた場合には、ステップS101で取得された符号化データを含む第1ストリームを出力し、さらに、ステップS104の符号化によって得られた符号化データを含む第2ストリームを出力する(ステップS105)。また、出力部14は、ステップS104で再符号化が行われていない場合には、ステップS101で取得された符号化データをそれぞれ含む第1ストリームおよび第2ストリームを出力する(ステップS105)。
このように本実施の形態における変換装置10aは、第1ストリームを取得する取得部11と、その第1ストリームに含まれる不可逆符号化された第1ピクチャを、可逆符号化されたピクチャである第2ピクチャに変換する変換部12と、その第2ピクチャを含む第2ストリームを出力する出力部14とを備える。第1ピクチャは、上述の符号化データP2に相当し、第2ピクチャは、上述の符号化データI2に相当する。例えば、変換部12は、第1ピクチャを復号することによって、その第1ピクチャの復号画像を生成し、その第1ピクチャの復号画像を可逆符号化することによって、第1ピクチャを第2ピクチャに変換する。
これにより、例えば、第1ストリームが送信されているときに、第2復号装置22が、その第1ストリームに含まれる第1ピクチャ以降の各ピクチャの送信を要求しても、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第2ピクチャを含む第2ストリームがその第2復号装置22に送信される。その結果、第2復号装置22は、第2ストリームに含まれる第2ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。したがって、ネットワーク負荷の増加と、ストリームを同時に再生することができる端末の数の制限とを伴うことなく、効率的なランダムアクセスを実現することができ、より柔軟なサービスを提供することができる。
また、図2に示すように、変換部12は、第1ピクチャの復号画像をイントラ予測符号化することによって、第1ピクチャを2ピクチャに変換する。
これにより、第2ピクチャは可逆符号化されたIピクチャであるため、第2ストリームの先頭に第2ピクチャが配置されていても、第2復号装置22は、第2ストリームをその先頭から、復号画像を参照することなく復号することができる。また、第1ストリームに含まれる各ピクチャのうち第1ピクチャの符号化方式を変換すれば、他のピクチャの符号化方式の変換を省くことができる。
つまり、出力部14は、第1ストリームに含まれる、第1ピクチャの復号画像を参照して符号化されたピクチャである第3ピクチャが、復号順で第2ピクチャの後に配置されるように、第2ストリームにその第3ピクチャを含め、第3ピクチャを含む第2ストリームを出力する。第3ピクチャは、例えば図2に示す符号化データP3であって、第2復号装置22に送信される第2ストリームには、第2ピクチャである符号化データI2と、第3ピクチャである符号化データP3とが含まれる。
これにより、第3ピクチャの符号化方式が変換されていなくても、その第2ストリームを受信する第2復号装置22は、第2ピクチャの復号画像を参照して第3ピクチャを適切に復号することができる。
また、本実施の形態では、出力部14は、さらに、取得部11によって取得された第1ストリームを出力する。
これにより、第1ストリームを第1復号装置21に送信しているときに、第2復号装置22からの要求に応じて、第2ストリームをその第2復号装置22に送信することができる。
また、本実施の形態では、変換装置10aは、さらに、第1ストリームに含まれる複数のピクチャのそれぞれについて、当該ピクチャの符号化方式を変換するか否かを判断する判断部13を備え、変換部12は、判断部13によって変換すると判断されたピクチャである第1ピクチャを、第2ピクチャに変換する。具体的には、判断部13は、第1ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた第1ピクチャを含む少なくとも1つの連続するピクチャのそれぞれの符号化方式を変換すると判断する。例えば、図2に示す例では、そのタイミングに応じた符号化データP2の符号化方式を変換すると判断される。
これにより、ピクチャの符号化方式の変換を適切なタイミングで実施することができ、送信要求からの遅延を抑えて、第2ストリームの再生を開始することができる。
また、判断部13は、第1ストリームに含まれる複数のピクチャのうち、その少なくとも1つの連続するピクチャよりも後の各ピクチャの符号化方式を変換しないと判断する。例えば、図2に示す例では、符号化データP4および符号化データP5の符号化方式を変換しないと判断される。
これにより、符号化方式の変換にかかる負荷を低減することができる。
なお、本実施の形態では、フレーム間符号化データは、直前の符号化データを参照して符号化されたPピクチャであるが、この限りではない。フレーム間符号化データは、直前ではない符号化データを参照して符号化されていてもよいし、参照される符号化データは1つでなくてもよい。例えば、符号化またはトランスコードされる符号化データは、Pピクチャに限らず、Bピクチャであってもよい。
また、本実施の形態における変換装置10aは、判断部13を備えているが、その判断部13を備えていなくてもよい。この場合、判断部13は、例えばパーソナルコンピュータなどの外部装置に備えられ、外部装置の判断部13が、符号化部12bと出力部14とに指示信号を出力してもよい。
また、本実施の形態では、第2ストリームの生成を開始すると判断されたときに、その判断のタイミングに応じた1つの符号化データがトランスコードされる。しかし、変換装置10aは、第1ストリームにおけるその符号化データから、次のIピクチャの符号化データまでの各符号化データをトランスコードしてもよい。
また、本実施の形態では、変換部12の復号部12aは、第1ストリームに含まれる全ての符号化データを復号するが、一部の符号化データを復号してもよい。例えば、復号部12aは、Iピクチャから後続する所定の枚数のピクチャ(すなわち符号化データ)だけを復号してもよく、所定条件を満たす符号化データ、または所定条件を満たす期間に含まれる符号化データだけを復号してもよい。これにより、変換装置10aにおける消費電力を削減することができる。
また、本開示では、第1ストリームに含まれるフレームの符号化データを、第2ストリームに含まれる符号化データに変換する処理をトランスコードと呼んでいるが、この処理の呼び方は、トランスコードに限られない。例えば、この処理を単に符号化と呼んでもよい。つまり、変換装置を符号化装置と称してもよい。
(実施の形態2)
本実施の形態における変換装置10aは、図1に示す構成を有し、第1フレームを符号化することによって得られる第1符号化データを含む第1ストリームと、第2ストリームとを出力する。ここで、本実施の形態における第2ストリームは、第1符号化データを不可逆圧縮方式によりトランスコードすることによって得られるフレーム内符号化データである第2符号化データと、第3符号化データを可逆圧縮方式によりトランスコードすることによって得られる第4符号化データとを含む。なお、第3符号化データは、第1ストリームに含まれる、第1符号化データに後続する符号化データであって、その第1符号化データの復号画像を参照して符号化されたフレームの符号化データである。
本実施の形態における変換装置10aは、図1に示す構成を有し、第1フレームを符号化することによって得られる第1符号化データを含む第1ストリームと、第2ストリームとを出力する。ここで、本実施の形態における第2ストリームは、第1符号化データを不可逆圧縮方式によりトランスコードすることによって得られるフレーム内符号化データである第2符号化データと、第3符号化データを可逆圧縮方式によりトランスコードすることによって得られる第4符号化データとを含む。なお、第3符号化データは、第1ストリームに含まれる、第1符号化データに後続する符号化データであって、その第1符号化データの復号画像を参照して符号化されたフレームの符号化データである。
例えば、第1符号化データを可逆圧縮方式でフレーム内符号化データにトランスコードすると、そのフレーム内符号化データの符号量が大きくなり、通信に負荷がかかる虞がある。本実施の形態では、可逆圧縮方式ではなく不可逆圧縮方式でその第1符号化データがフレーム内符号化データにトランスコードされるため、第2ストリームの符号量を削減できる可能性がある。
図4は、本実施の形態における変換装置10aの各構成要素によって行われる処理の一例を示すシーケンス図である。
図4に示すように、変換装置10aの取得部11は、符号化データI1、符号化データP1、符号化データP2、符号化データP3、符号化データP4の順にこれらの符号化データを取得する。つまり、取得部11は、上述の順に配列されているこれらの符号化データを含む第1ストリームを取得する。また、Pピクチャは、直前の符号化データを参照して符号化されている。また、図4に示す例では、第1復号装置21は、第1ストリームに含まれる全ての符号化データを復号し、第2復号装置22は、第1ストリームに含まれる符号化データP2以降の各符号化データの送信を変換装置10aに要求する。
図4に示すように、取得部11は、符号化データを取得するたびに、その符号化データを出力部14と、変換部12とに出力する。変換部12の復号部12aは、取得部11から出力された符号化データを復号することによって、その符号化データに対応する復号画像を生成する。
判断部13は、例えば第2復号装置22からの要求が受け付けられるまで、変換部12に順次入力される符号化データをトランスコードしないと判断する。また、出力部14は、例えば第2復号装置22からの要求が受け付けられるまで、第2復号装置22への第2ストリームの送信を行うことなく、第1復号装置21への第1ストリームの送信を行う。
つまり、上述のように、第2復号装置22が、第1ストリームに含まれる符号化データP2以降の各符号化データの送信を要求する場合、判断部13は、符号化データI1および符号化データP1をトランスコードしないと判断する。すなわち、判断部13は、第2ストリームの生成を開始しないと判断する。そして、出力部14は、符号化データI1および符号化データP1をそれぞれ第1ストリームに含まれる符号化データとして第1復号装置21に送信する。
次に、第2復号装置22からの要求が受け付けられた場合、判断部13は、第1ストリームに含まれる符号化データP2をトランスコードすると判断する。すなわち、判断部13は、第2ストリームの生成を開始すると判断する。その結果、判断部13は、符号化データP2に対する再符号化を指示する指示信号を、符号化部12bに送信する。
符号化部12bは、その指示信号に応じて、復号部12aによって生成された、符号化データP2に対応する復号画像を符号化する。この符号化では、イントラ予測および不可逆圧縮方式が用いられる。そして、符号化部12bは、その符号化によって得られたフレーム内符号化データである符号化データI2を出力部14に出力する。これにより、変換部12では、符号化データP2が、不可逆圧縮方式によって符号化されたIピクチャの符号化データI2に変換される。言い換えれば、Pピクチャが不可逆のIピクチャに変換される。
出力部14は、符号化データP2を第1ストリームに含まれる符号化データとして第1復号装置21に出力し、符号化データI2を第2ストリームに含まれる符号化データとして第2復号装置22に出力する。
次に、判断部13は、符号化データP2に後続する符号化データP3が変換部12に入力されると、第1ストリームに含まれる符号化データP3をトランスコードすると判断する。その結果、判断部13は、符号化データP3に対する再符号化を指示する指示信号を、符号化部12bに送信する。
符号化部12bは、その指示信号に応じて、復号部12aによって生成された、符号化データP3の復号画像を符号化する。つまり、符号化部12bは、符号化データI2の復号画像を参照して、符号化データP3の復号画像を可逆圧縮方式で符号化する。そして、符号化部12bは、その符号化によって得られたフレーム間符号化データである符号化データP6を出力部14に出力する。これにより、変換部12では、符号化データP3が、可逆圧縮方式によって符号化されたPピクチャである符号化データP6に変換される。言い換えれば、不可逆のPピクチャが可逆のPピクチャに変換される。
出力部14は、符号化データP3を第1ストリームに含まれる符号化データとして第1復号装置21に出力し、符号化データP6を第2ストリームに含まれる符号化データとして第2復号装置22に出力する。
次に、判断部13は、変換部12に符号化データP4以降の各符号化データが入力されると、それらの符号化データをトランスコードしないと判断する。
出力部14は、符号化データP3に引き続き、符号化データP4以降の各符号化データも、第1ストリームに含まれる符号化データとして第1復号装置21に出力する。その結果、第1ストリームが出力部14から第1復号装置21に出力される。
さらに、出力部14は、上述の判断部13による判断結果に基づき、符号化データP4以降の各符号化データの符号化方式を変化することなく、その各符号化データを第2ストリームに含まれる符号化データとして第2復号装置22に出力する。これにより、符号化データI2およびP6と、第1ストリームのうちの符号化データP4以降の各符号化データとを含む第2ストリームが、出力部14によって生成されて、第2復号装置22に出力される。なお、第2ストリームには、第1ストリームの符号化データI1およびP1が含まれていない。
この構成により、第2復号装置22は、第2ストリームを復号することによって、実質的に、第1ストリームの符号化データP2からの復号を開始することができる。また、実施の形態1よりも、第2ストリームの符号量を削減できる可能性がある。
つまり、本実施の形態では、変換部12は、第1ストリームに含まれる、不可逆にインター予測符号化されたピクチャである第4ピクチャを復号することによって、第4ピクチャの復号画像を生成する。次に、変換部12は、第4ピクチャの復号画像を不可逆にイントラ予測符号化することによって、第4ピクチャを第5ピクチャに変換する。そして、第1ピクチャの第2ピクチャへの変換では、変換部12は、第4ピクチャの復号画像を参照してインター予測符号化された第1ピクチャの復号画像を、その第5ピクチャの復号画像を参照して可逆にインター予測符号化することによって、第1ピクチャを第2ピクチャに変換する。出力部14は、その第5ピクチャおよび第2ピクチャを含む第2ストリームを出力する。例えば、第4ピクチャおよび第5ピクチャは、それぞれ図4に示す符号化データP2および符号化データI2に相当し、第1ピクチャおよび第2ピクチャは、それぞれ図4に示す符号化データP3および符号化データP6に相当する。
これにより、第1ストリームに含まれる第4ピクチャおよび第1ピクチャは、第2ストリームに含まれる第5ピクチャおよび第2ピクチャに変換される。つまり、不可逆符号化された符号化データP2と、不可逆符号化された符号化データP3とは、不可逆符号化された符号化データI2と、可逆符号化された符号化データP6とに、それぞれ変換される。
例えば、可逆符号化されたIピクチャの符号量は大きく、そのIピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、本実施の形態では、符号化データP6は、可逆符号化されたIピクチャではなく、可逆符号化されたPピクチャとして構成される。また、不可逆符号化された符号化データP2を、不可逆符号化されたIピクチャである符号化データI2に変換することによって、1つのピクチャあたりの符号量が増加する可能性があるが、ストリームの全体的なビットレートを抑えることができる。
なお、本実施の形態では、符号化データP3の復号画像を、可逆圧縮方式で符号化することによって、可逆の符号化データP6を生成するが、不可逆圧縮方式で符号化してもよい。この場合には、符号化データP2およびP3だけでなく、符号化データP4もトランスコードされる。つまり、変換部12は、符号化データP4の復号画像を、可逆圧縮方式で符号化する。また、不可逆圧縮方式の符号化が行われる回数を増やすことで、可逆圧縮の符号化を行うタイミングを制御してもよい。
また、本実施の形態では、符号化データI2の直後の符号化データP6を可逆圧縮方式によって生成するが、可逆圧縮によって生成される符号化データは、符号化データI2に後続する符号化データであれば、直後の符号化データでなくてもよい。また、変換装置10aは、第2ストリームの生成を開始するタイミングに応じた符号化データから、次のIピクチャの符号化データまでの各符号化データを、トランスコードしてもよい。
つまり、判断部13は、第1ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた第1ピクチャを含む少なくとも1つの連続するピクチャのそれぞれの符号化方式を変換すると判断してもよい。これにより、ピクチャの符号化方式の変換を適切なタイミングで実施することができ、送信要求からの遅延を抑えて、第2ストリームの再生を開始することができる。
(実施の形態3)
本実施の形態における変換装置10aは、図1に示す構成を有し、第1フレームを符号化することによって得られる第1符号化データを含む第1ストリームと、第2ストリームとを出力する。ここで、本実施の形態における第2ストリームは、第1符号化データを不可逆圧縮方式によりトランスコードすることによって得られるフレーム内符号化データである第2符号化データと、第1符号化データを可逆圧縮方式によりトランスコードすることによって得られる第4符号化データとを含む。
本実施の形態における変換装置10aは、図1に示す構成を有し、第1フレームを符号化することによって得られる第1符号化データを含む第1ストリームと、第2ストリームとを出力する。ここで、本実施の形態における第2ストリームは、第1符号化データを不可逆圧縮方式によりトランスコードすることによって得られるフレーム内符号化データである第2符号化データと、第1符号化データを可逆圧縮方式によりトランスコードすることによって得られる第4符号化データとを含む。
例えば、第1符号化データを可逆圧縮方式でフレーム内符号化データにトランスコードすると、そのフレーム内符号化データの符号量が大きくなり、通信に負荷がかかる虞がある。本実施の形態では、可逆圧縮方式だけでなく不可逆圧縮方式でもその第1符号化データがトランスコードされるため、第2ストリームの符号量を削減できる可能性がある。つまり、実施の形態2では、互いに異なる符号化データをトランスコードするが、本実施の形態では、同一の第1符号化データを第2符号化データと第4符号化データとにトランスコードする。ここで、第4符号化データのトランスコードには第2符号化データが参照される。それにより、第4符号化データの画像と、参照先の第2符号化データの画像との差分量を小さくすることができる。その結果、第2ストリームの符号量を削減できる可能性がある。
図5は、本実施の形態における変換装置10aの各構成要素によって行われる処理の一例を示すシーケンス図である。
図5に示すように、変換装置10aの取得部11は、符号化データI1、符号化データP1、符号化データP2、符号化データP3、符号化データP4の順にこれらの符号化データを取得する。つまり、取得部11は、上述の順に配列されているこれらの符号化データを含む第1ストリームを取得する。また、Pピクチャは、直前の符号化データを参照して符号化されている。また、図5に示す例では、第1復号装置21は、第1ストリームに含まれる全ての符号化データを復号し、第2復号装置22は、第1ストリームに含まれる符号化データP2以降の各符号化データの送信を変換装置10aに要求する。
図5に示すように、取得部11は、符号化データを取得するたびに、その符号化データを出力部14と、変換部12とに出力する。変換部12の復号部12aは、取得部11から出力された符号化データを復号することによって、その符号化データに対応する復号画像を生成する。
判断部13は、例えば第2復号装置22からの要求が受け付けられるまで、変換部12に順次入力される符号化データをトランスコードしないと判断する。また、出力部14は、例えば第2復号装置22からの要求が受け付けられるまで、第2復号装置22への第2ストリームの送信を行うことなく、第1復号装置21への第1ストリームの送信を行う。
つまり、上述のように、第2復号装置22が、第1ストリームに含まれる符号化データP2以降の各符号化データの送信を要求する場合、判断部13は、符号化データI1および符号化データP1をトランスコードしないと判断する。すなわち、判断部13は、第2ストリームの生成を開始しないと判断する。そして、出力部14は、符号化データI1および符号化データP1をそれぞれ第1ストリームに含まれる符号化データとして第1復号装置21に送信する。
次に、第2復号装置22からの要求が受け付けられた場合、判断部13は、第1ストリームに含まれる符号化データP2をトランスコードすると判断する。すなわち、判断部13は、第2ストリームの生成を開始すると判断する。その結果、判断部13は、符号化データP2に対する再符号化を指示する指示信号を、符号化部12bに送信する。
符号化部12bは、その指示信号に応じて、復号部12aによって生成された、符号化データP2に対応する復号画像を符号化する。この符号化では、イントラ予測および不可逆圧縮方式が用いられる。そして、符号化部12bは、その符号化によって得られたフレーム内符号化データである符号化データI2を出力部14に出力する。これにより、変換部12では、符号化データP2が、不可逆圧縮方式によって符号化されたIピクチャである符号化データI2に変換される。言い換えれば、Pピクチャが不可逆のIピクチャに変換される。
出力部14は、符号化データP2を第1ストリームに含まれる符号化データとして第1復号装置21に出力し、符号化データI2を第2ストリームに含まれる符号化データとして第2復号装置22に出力する。
ここで、本実施の形態では、復号部12aは、符号化データI2を復号することによって、符号化データI2に対応する復号画像を生成する。符号化部12bは、符号化データP2の復号画像を、符号化データI2の復号画像を参照して可逆圧縮方式で符号化する。そして、符号化部12bは、その符号化によって得られたフレーム間符号化データである符号化データP7を、出力部14に出力する。
出力部14は、その符号化データP7を第2ストリームに含まれる符号化データとして第2復号装置22に出力する。
次に、判断部13は、変換部12に符号化データP3以降の各符号化データが入力されると、それらの符号化データをトランスコードしないと判断する。
出力部14は、符号化データP2に引き続き、符号化データP3以降の各符号化データも、第1ストリームに含まれる符号化データとして第1復号装置21に出力する。その結果、第1ストリームが出力部14から第1復号装置21に出力される。
さらに、出力部14は、符号化データP3以降の各符号化データを、第2ストリームに含まれる符号化データとして第2復号装置22に出力する。これにより、符号化データI2およびP7と、第1ストリームのうちの符号化データP3以降の各符号化データとを含む第2ストリームが、出力部14によって生成されて、第2復号装置22に出力される。なお、第2ストリームには、第1ストリームの符号化データI1およびP1が含まれていない。
この構成により、第2復号装置22は、第2ストリームを復号することによって、実質的に、第1ストリームの符号化データP2からの復号を開始することができる。また、実施の形態1よりも、第2ストリームの符号量を削減できる可能性がある。また、実施の形態2では、互いに異なる符号化データをトランスコードするが、本実施の形態では、同一の符号化データP2を符号化データI2と符号化データP7とにトランスコードする。ここで、符号化データP7へのトランスコードには符号化データI2が参照される。それにより、符号化データP7の画像と、参照先の符号化データI2の画像との差分量を小さくすることができる。その結果、第2ストリームの符号量を削減できる可能性がある。
つまり、本実施の形態では、変換部12は、第1ストリームに含まれる、不可逆にインター予測符号化された第1ピクチャを復号することによって、第1ピクチャの復号画像を生成する。次に、変換部12は、第1ピクチャの復号画像を不可逆にイントラ予測符号化することによって、第1ピクチャを第4ピクチャに変換する。そして、第1ピクチャの第2ピクチャへの変換では、第1ピクチャの復号画像を、第4ピクチャの復号画像を参照して可逆にインター予測符号化することによって、第1ピクチャを第2ピクチャに変換する。出力部14は、その第4ピクチャおよび第2ピクチャを含む第2ストリームを出力する。例えば、第4ピクチャは、図5に示す符号化データI2に相当し、第1ピクチャおよび第2ピクチャは、それぞれ図5に示す符号化データP2および符号化データP7に相当する。
これにより、第1ストリームに含まれる第1ピクチャは、第2ストリームに含まれる第4ピクチャと第2ピクチャとに変換される。つまり、不可逆符号化された符号化データP2は、不可逆符号化された符号化データI2と、可逆符号化された符号化データP7とに変換される。
例えば、可逆符号化されたIピクチャの符号量は大きく、そのIピクチャの送信によってネットワーク負荷が高まる可能性がある。しかし、本実施の形態では、符号化データP7は、可逆符号化されたIピクチャではなく、可逆符号化されたPピクチャとして構成される。また、符号化データI2と符号化データP7とはそれぞれ、同じ符号化データP2からの変換によって生成されるため、符号化データI2と符号化データP7との画像は類似している。その結果、符号化データP2から符号化データP7への変換に、その符号化データI2の復号画像が参照されることによって、その符号化データP7の符号量を抑えることができる。その結果、ストリームの全体的なビットレートを抑えることができる。
なお、本実施の形態における変換装置10aは、第2ストリームの生成を開始するタイミングに応じた符号化データから、次のIピクチャの符号化データまでの各符号化データを、トランスコードし続けてもよい。
(実施の形態4)
本実施の形態における符号化装置は、動画像を符号化することによって第1ストリームを生成する符号化部と、その第1ストリームから第2ストリームを生成する変換装置とを含む。
本実施の形態における符号化装置は、動画像を符号化することによって第1ストリームを生成する符号化部と、その第1ストリームから第2ストリームを生成する変換装置とを含む。
図6は、本実施の形態における符号化装置の構成を示すブロック図である。なお、図6において、実施の形態1の図1に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
図6に示すように、符号化装置200は、第1符号化部100と変換装置10bとを備える。
第1符号化部100は、スライス分割部101と、減算器102と、直交変換部103と、量子化部104と、エントロピー符号化部105と、逆量子化部106と、逆直交変換部107と、加算器108と、デブロッキングフィルタ109と、メモリ110と、イントラ予測部111と、インター予測部112と、動き検出部113と、イントラ/インター判定部114とを備える。
スライス分割部101は、複数のピクチャを含む動画像信号を取得し、それぞれのピクチャを複数のスライスまたはスライスセグメントに分割する。
減算器102は、複数のピクチャを含む動画像信号を取得するとともに、イントラ/インター判定部114から予測画像を取得する。そして、減算器102は、その動画像信号に含まれるピクチャのうちの符号化の対象とされるブロック(以下、対象ブロックという)から予測画像を減算することによって差分画像を生成する。ブロックは、例えばCTU(Coding Tree Unit)、CU(Coding Unit)、PU(Prediction Unit)またはTU(Transform Unit)に相当する。
直交変換部103は、減算器102によって生成された差分画像に対して、例えば離散コサイン変換などの直交変換(周波数変換)を行うことによって、その差分画像を複数の周波数係数からなる係数列に変換する。量子化部104は、その係数列に含まれる各周波数係数を量子化することによって、量子化された係数列を生成する。
逆量子化部106は、量子化部104によって量子化された係数列を逆量子化する。逆直交変換部107は、その逆量子化された係数列に含まれる各周波数係数に対して逆離散コサイン変換などの逆直交変換(逆周波数変換)を行うことによって、復号差分画像を生成する。
加算器108は、イントラ/インター判定部114から予測画像を取得し、その予測画像と、逆直交変換部107によって生成された復号差分画像とを加算することによって局所復号画像(再構成画像)を生成する。
デブロッキングフィルタ109は、加算器108によって生成された局所復号画像のブロック歪みを除去し、その局所復号画像をメモリ110に格納する。
メモリ110は、インター予測の際の参照画像として局所復号画像を格納するためのメモリである。なお、このメモリ110は復号ピクチャバッファ(DPB)として用いられる。
イントラ予測部111は、加算器108によって生成された局所復号画像を用いて、対象ブロックに対してイントラ予測を行うことによって予測画像(イントラ予測画像)を生成する。
動き検出部113は、動画像信号に含まれる対象ブロックに対して動きベクトルを検出し、その検出された動きベクトルをインター予測部112とエントロピー符号化部105とに出力する。
インター予測部112は、メモリ110に格納されている画像を参照画像として参照するとともに、動き検出部113によって検出された動きベクトルを用いることによって、対象ブロックに対して動き補償を行う。インター予測部112は、このような動き補償を行うことによって、つまり対象ブロックに対してインター予測を行うことによって、対象ブロックの予測画像(インター予測画像)を生成する。
イントラ/インター判定部114は、対象ブロックをイントラ予測符号化するか、インター予測符号化するかを判定する。対象ブロックがイントラ予測符号化される場合には、イントラ/インター判定部114は、イントラ予測部111によって生成された予測画像(イントラ予測画像)を減算器102および加算器108に出力する。一方、イントラ/インター判定部114は、対象ブロックがインター予測符号化される場合には、インター予測部112によって生成された予測画像(インター予測画像)を減算器102および加算器108に出力する。
エントロピー符号化部105は、量子化部104によって量子化された係数列と、動き検出部113によって検出された動きベクトルとを、エントロピー符号化(可変長符号化)することによってビットストリームを生成する。つまり、エントロピー符号化部105は、エントロピー符号化することによって、ビットストリームである第1ストリームを取得し、その第1ストリームを変換装置10bに出力する。言い換えれば、エントロピー符号化部105は、実施の形態1~3の変換装置10aの取得部11としての機能を有する。
変換装置10bは、実施の形態1~3の変換装置10aと同様の機能を有する。具体的には、変換装置10bは、第2符号化部12cと、判断部13と、出力部14とを備える。第2符号化部12cは、実施形態1~3の変換装置10aにおける符号化部12bと同一の機能を有する。ここで、変換装置10bは、復号部12aを備えていないが、第1符号化部100のメモリ110に格納されている各画像を、第1ストリームに含まれる各符号化データの復号画像として取得する。つまり、第2符号化部12cは、第1符号化部100のメモリ110に格納されている復号画像に対して符号化処理を施す。それにより、構成を簡素化し得る。
なお、第2符号化部12cは、第1符号化部100と同一の構成を有していてもよい。この場合、第2符号化部12cにおける量子化部104は、上述の係数列に含まれる各周波数係数を量子化することなく、エントロピー符号化部105に出力する。これにより、第2符号化部12cは、画像に対する可逆の符号化を実現することができる。または、第2符号化部12cにおける量子化部104は、上述の係数列に含まれる各周波数係数に対して、量子化幅が1の量子化を行ってもよい。これにより、上述と同様、第2符号化部12cは、画像に対する可逆の符号化を実現することができる。また、実施形態1~3の変換装置10aにおける符号化部12bも、第2符号化部12cと同様、第1符号化部100と同一の構成を有していてもよい。この場合でも、符号化部12bは、量子化の処理を省いたり、量子化幅が1の量子化を行うことによって、画像に対する可逆の符号化を実現してもよい。
(実施の形態5)
本実施の形態における映像配信システムは、変換装置を含む映像配信装置を備える。
本実施の形態における映像配信システムは、変換装置を含む映像配信装置を備える。
図7は、本実施の形態における映像配信システムの構成図である。
映像配信システム300Aは、図7に示すように、変換装置を用いた映像配信装置310と、映像受信装置320および330とを備える。
映像配信装置310は、撮像部311、エンコード部312、変換装置313、および送信部314を備える。このような映像配信装置310は、ネットワークを介して映像受信装置320および330のそれぞれと接続し、ストリームである映像データを映像受信装置320および330のそれぞれに送信する。
撮像部311は、複数のレンズを含む光学系と、光電変換素子としての撮像素子とを備えており、被写体の光学像を画素ごとの信号に変換する。画素ごとの信号は、映像信号としてエンコード部312に入力される。
エンコード部312は、撮像部311から入力される映像信号を符号化して、符号化データを生成し、変換装置313に出力する。
変換装置313は、実施形態1~3の変換装置10aである。実施形態1~3の第1復号装置21が映像受信装置320に相当し、第2復号装置22が映像受信装置330に相当する。映像配信装置310の映像データの送信先が映像受信装置320のみの場合は、変換装置313は、第1ストリームのみを送信部314に出力する。例えば、映像配信装置310は、映像受信装置320に映像データを送信している途中に、映像受信装置330にも映像データの配信を開始する要求を、その映像受信装置330から受け付ける場合がある。このような場合、変換装置313は、実施の形態1~3と同じ方法で第1ストリームと一緒に第2ストリームを送信部314に出力する。
なお、エンコード部312と変換装置313とを含むユニットは、実施の形態4における符号化装置200であってもよい。
送信部314は、変換装置313から出力されたストリームを、映像受信装置320および330のうちの少なくとも一方に送信する。本実施の形態の場合、送信部314は、第1ストリームを映像受信装置320に送信し、第2ストリームを映像受信装置330に送信する。ネットワークを介して映像配信装置310と映像受信装置320および330のそれぞれとが接続されている場合は、送信部314は、ストリームを複数のIPパケットに変換して伝送しても良い。
映像受信装置320および330のそれぞれは、受信部341、復号部342および表示部343を備えている。受信部341は、映像配信装置310からストリームを受信して復号部342に出力する。また、受信部341は、複数のIPパケットを受信した場合は、その複数のIPパケットをストリームに変換し、そのストリームを復号部342に出力する。復号部342は、ストリームを復号することによって映像信号を生成し、その映像信号を表示部343に出力する。表示部343は、復号部342によって生成された映像信号に従って、映像を表示する。
この構成により、映像配信装置310は、映像受信装置320にストリームを送信している途中でも、次のフレーム内符号化データまで待つことなく、任意のタイミングの符号化データから映像受信装置330にストリームを送信することが可能である。ここで、例えば、複数の映像受信装置のそれぞれへのストリームの送信を、任意のタイミングで開始することができるように、エンコード部および変換装置からなるユニットを映像配信装置に複数備えることが想定される。しかし、本実施の形態では、変換装置313は、実施の形態1~3の変換装置10aとしての機能を有し、エンコード部312および変換装置313からなるユニットは、実施の形態4の符号化装置200としての機能を有する。したがって、映像配信装置310は、映像受信装置ごとに、エンコード部312と変換装置313とからなるユニットを複数備えなくても、任意のタイミングで複数の映像受信装置のそれぞれにストリームの送信を開始することが可能である。
また、本実施の形態における映像受信装置320および330は、実施の形態1~3における第1復号装置21および第2復号装置22にそれぞれ対応する。また、映像受信装置320および330はそれぞれ、第2ピクチャを含む第2ストリームを受信する受信部341と、その第2ストリームを復号することによって映像信号を生成する復号部342と、映像信号にしたがって映像を表示する表示部343とを備える。ここで、第2ピクチャは、第1ストリームに含まれる不可逆符号化された第1ピクチャを変換することによって得られた、可逆符号化されたピクチャである。
これにより、例えば、第1ストリームが送信されているときに、その第1ストリームに含まれる第1ピクチャ以降の各ピクチャの送信を要求すると、受信部341は、不可逆符号化されたピクチャではなく、可逆符号化されたピクチャである第2ピクチャを含む第2ストリームを受信する。その結果、復号部342は、第2ストリームに含まれる第2ピクチャ以降の各ピクチャを適切に復号することができ、復号画像の画質の低下を抑えることができる。
(実施の形態6)
本実施の形態における映像配信システムは、変換装置を含む映像中継装置を備える。
本実施の形態における映像配信システムは、変換装置を含む映像中継装置を備える。
図8は、本実施の形態における映像配信システムの構成図である。図8において、実施の形態5の図7に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
映像配信システム300Bは、図8に示すように、映像送信装置350と、映像中継装置360と、映像受信装置320および330とを備える。
映像送信装置350は、撮像部311、エンコード部312、および送信部351を備える。
撮像部311は、複数のレンズを含む光学系と、光電変換素子としての撮像素子とを備えており、被写体の光学像を画素ごとの信号に変換する。画素ごとの信号は、映像信号としてエンコード部312に入力される。
エンコード部312は、撮像部311から入力される映像信号を符号化して、符号化データを生成し、変換装置313に出力する。
送信部351は、エンコード部312から出力された符号化データを含むストリームを映像中継装置360に送信する。
映像中継装置360は、映像送信装置350とネットワークを介して接続し、その映像送信装置350からストリームを受信する。また、映像中継装置360は、映像受信装置320および330のそれぞれとネットワークを介して接続され、映像データであるストリームを映像受信装置320および330のそれぞれに送信する。
映像中継装置360は、受信部361、変換装置313、および送信部314を備える。
受信部361は、映像送信装置350からストリームを受信する。
変換装置313は、実施の形態1~3の変換装置10aである。実施形態1~3の第1復号装置21が映像受信装置320に相当し、第2復号装置22が映像受信装置330に相当する。映像配信装置310の映像データの送信先が映像受信装置320のみの場合は、変換装置313は、第1ストリームのみを送信部314に出力する。例えば、映像中継装置360は、映像受信装置320に映像データを送信している途中に、映像受信装置330にも映像データの配信を開始する要求を、その映像受信装置330から受け付ける場合がある。このような場合、変換装置313は、実施の形態1~3と同じ方法で第1ストリームと一緒に第2ストリームを送信部314に出力する。
送信部314は、変換装置313から出力されたストリームを、映像受信装置320および330のうちの少なくとも一方に送信する。本実施の形態の場合、送信部314は、第1ストリームを映像受信装置320に送信し、第2ストリームを映像受信装置330に送信する。ネットワークを介して映像配信装置310と映像受信装置320および330のそれぞれとが接続されている場合は、送信部314は、ストリームを複数のIPパケットに変換して伝送しても良い。
映像受信装置320および330のそれぞれは、映像中継装置360からストリームを受信して復号することによって映像信号を生成し、その映像信号にしたがった映像を表示する。
(実施の形態7)
本実施の形態における映像再生システムは、変換装置を含む映像記録再生装置を備える。
本実施の形態における映像再生システムは、変換装置を含む映像記録再生装置を備える。
図9は、本実施の形態における映像再生システムの構成図である。図9において、実施の形態5の図7または実施の形態6の図8に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
図9に示すように、映像再生システム400Aは、映像送信装置350と、映像記録再生装置410とを備える。
映像送信装置350は、実施の形態6における映像送信装置350と同一の構成を有し、ネットワークを経由して映像記録再生装置410に接続されている。
映像記録再生装置410は、受信部361、変換装置313、記録部411、記録媒体412、読込部413、復号部342および表示部343を備える。このような映像記録再生装置410は、映像送信装置350からネットワーク経由でストリームを受信しながらすぐに再生するリアルタイム再生機能(いわゆるストリーミング機能)と、ストリームを記録媒体412に記録する記録機能と、記録されたストリームを再生する記録再生機能とを有している。
受信部361は、映像送信装置350の送信部351からIPパケットを順次取得し、それらのIPパケットから、符号化データを含むストリームを生成し、そのストリームを変換装置313に出力する。
変換装置313は、実施形態1~3の変換装置10aである。
リアルタイム再生機能の処理が行われる場合、変換装置313は、受信部361から出力されるストリームに対して変換を行うことなく、そのストリームを第1ストリームとして復号部342に出力する。
リアルタイム再生機能の処理が行われている途中で、記録機能の処理が開始される場合、変換装置313は、受信部361から出力されるストリームを第1ストリームとして扱い、実施の形態1~3と同じ方法で第1ストリームから第2ストリームを生成する。そして、変換装置313は、第2ストリームを記録媒体412に格納する。
記録機能の処理が行われる場合にも、変換装置313は、受信部361から出力されるストリームを第1ストリームとして扱い、その第1ストリームから第2ストリームを生成する。しかし、この場合には、変換装置313の判断部13は、受信部361から第1ストリームが出力されている間、上述の再符号化の指示信号を周期的に出力する。例えば、判断部13は、第1ストリームのGOPよりも短い周期で指示信号を出力する。これにより、可逆圧縮されたIピクチャまたはPピクチャの符号化データがより短い周期で配置されている第2ストリームが生成される。そして、変換装置313は、その第2ストリームを記録媒体412に格納する。
なお、判断部13は、第1ストリームにおいてフレーム間符号化されたフレームが所定回数連続して現れる場合に、再符号化の指示信号を出力してもよい。または、判断部13は、特定の条件が満たされた場合に、再符号化の指示信号を出力してもよい。
記録部411は、変換装置313から出力される第2ストリームを記録媒体412に記録する。記録媒体412は、メモリ、HDD(hard disk drive)、またはSSD(solid state drive)などの記憶装置であってもよく、取り外し可能なSDメモリカード、USB(Universal Serial Bus)メモリ、または、ネットワーク経由で接続可能なNAS(Network Attached Storage)などであってもよい。
読込部413は、記録再生機能が利用される場合に、記録媒体412から第2ストリームを読み込み、その第2ストリームのうちの、再生開始位置のフレーム以降の各符号化データを復号部342に出力する。なお、再生開始位置のフレームの符号化データは、フレーム内符号化されたフレームであってもよい。
復号部342は、変換装置313または読込部413から出力されるストリームを復号することによって映像信号を生成し、その映像信号を表示部343に出力する。
表示部343は、復号部342から出力される映像信号に従って、映像を表示する。
なお、受信部361、変換装置313、および記録部411と、読込413部、復号部342、および表示部343とは、それぞれ異なる装置に備えられていてもよい。
このような映像記録再生装置410は、受信されたストリームの途中から記録を開始することができる。また、任意のフレームを可逆圧縮方式で符号化またはフレーム内符号化することで、復号を開始できるフレームを増やすことができる。
図10は、可逆圧縮方式のトランスコードを説明するための図である。
本実施の形態における変換装置313は、図10に示すように、エンコード部312によって生成された第1ストリームに含まれる不可逆の符号化データP2を、可逆の符号化データP2にトランスコードする。これにより、可逆の符号化データP2を含む第2ストリームが記録媒体412に蓄積される。
そのトランスコードでは、変換装置313は、符号化データP2によって参照される符号化データを変更してもよい。例えば、符号化データP2は、符号化データP1の復号画像を参照して不可逆に符号化されたピクチャである。変換装置313の復号部12aは、その不可逆の符号化データP2を復号することによって復号画像を生成する。そして、変換装置313の符号化部12bは、その復号画像を可逆のインター予測によって符号化する。このとき、符号化部12bは、その符号化データP2の直前の符号化データP1の復号画像ではなく、ロングタームの符号化データI1の復号画像を参照して、インター予測符号化を行う。
これにより、復号部342が、記録媒体412に蓄積されている第2ストリームを例えば早送り再生するときには、符号化データP2の直前の符号化データP1を復号しなくても、その符号化データP2を適切に復号することができる。さらに、復号部342は、その符号化データP2に後続する他の符号化データP3およびP4も適切に復号することができる。つまり、映像の乱れを抑えて第2ストリームを適切に再生することができる。
図11は、本実施の形態における他の映像再生システムの構成図である。図11において、図9に示す構成要素と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
図11に示す映像再生システム400Bは、映像記録再生装置410の代わりに、映像記録装置410Aと、記録媒体412と、映像再生装置410Bとを備える。映像記録装置410Aは、受信部361と、変換装置313と、記録部411とを備える。映像再生装置410Bは、読込部413と、復号部342と、表示部343とを備える。この映像再生装置410Bは、上述の映像記録再生装置410と同様に、記録機能を有するが、リアルタイム再生機能を有さない。また、映像記録装置410Aの変換装置313に備えられている判断部13は、映像記録再生装置410の変換装置313に備えられている判断部13と同様、上述の再符号化の指示信号を周期的に出力してもよい。あるいは、判断部13は、第1ストリームにおいてフレーム間符号化されたフレームが所定回数連続して現れる場合に、再符号化の指示信号を出力してもよい。または、判断部13は、特定の条件が満たされた場合に、再符号化の指示信号を出力してもよい。それにより、ストリームの記録再生をGOPの途中から開始することができる。
以上、一つまたは複数の態様に係る変換装置および復号装置などについて、上記各実施の形態に基づいて説明したが、本開示は、それらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
例えば、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
図12は、変換装置10aの構成の他の例を示すブロック図である。
変換装置10aは、プロセッサ1と、メモリ2とを備える。プロセッサ1は、そのメモリ2を用いて、第1ストリームを取得し、第1ストリームに含まれる不可逆符号化された第1ピクチャを、可逆符号化されたピクチャである第2ピクチャに変換し、第2ピクチャを含む第2ストリームを出力する。メモリ2には、プロセッサ1に上記各処理を実行させるためのプログラムが格納されていてもよい。この場合には、プロセッサ1は、そのプログラムを実行することによって、ピクチャの変換などの上記各処理を実行する。または、メモリ2は、取得された第1メモリを保持するために用いられてもよく、第2ピクチャを保持するために用いられてもよい。なお、変換装置10bも、変換装置10aと同様、図12に示す構成を有していてもよい。
また、上記各実施の形態の変換装置などを実現するソフトウェアは、図3Aまたは図3Bに示すフローチャートに含まれる各ステップをコンピュータに実行させてもよい。
また、上記各実施の形態では、符号化データは、ピクチャまたはフレームが符号化されることによって得られるデータであるが、ピクチャまたはフレーム以外の画像単位を符号化することによって得られるデータであってもよい。その画像単位は、例えば、ブロック、スライスまたはシーケンスなどであってもよい。
また、本開示の一態様に係る符号化装置は、複数の装置で構成されていてもよい。例えば、符号化装置は、画像を符号化して符号化データを出力する送信機と、中継装置とによって構成されていてもよい。中継装置は、送信機から符号化データを受信し、符号化データを復号してトランスコードを行う変換部と、符号化データを受信機に送信する送信部と、受信機からの要求信号を受信する受信部とを備えていてもよい。
また、本開示の一態様に係る変換装置は、符号化装置とも言える。つまり、符号化装置は、符号化部と出力部とを備える。符号化部は、第1ストリームに含まれる第1符号化データを復号して得られる復号画像に対して、符号化処理を施して第2符号化データを生成する。ここで、第1符号化データは映像信号を符号化することにより生成されており、第2符号化データは第1期間に対応する。出力部は、第2符号化データと、その第1の期間に後続する第2期間に対応する符号化データとを含む第2ストリームを出力する。ここで、第1符号化データおよび第2符号化データは、それぞれ例えば図2に示す符号化データP2および符号化データI2である。また、第2期間に対応する符号化データは、例えば図2に示す符号化データP3である。また、上述の符号化部および出力部は、それぞれ例えば図1に示す符号化部12bおよび出力部14に対応する。
また、本開示の一態様に係る変換装置は、以下の符号化装置とも言える。つまり、符号化装置は、符号化部を備える。この符号化部は、映像信号に含まれる第1フレームの画像に対して、他のフレームを参照したフレーム間符号化処理を施して第1符号化データを生成する。次に、符号化部は、その映像信号に含まれる第2フレームの画像に対して、第1フレームを参照したフレーム間符号化処理を施して第2符号化データを生成する。そして、符号化部は、その第1フレームに対応し、且つ第2フレームの符号化に用いた参照画像に対して、可逆圧縮方式を用いた符号化処理を施して第3符号化データを生成する。ここで、第1符号化データ、第2符号化データおよび第3符号化データは、それぞれ例えば図2に示す符号化データP2、符号化データP3および符号化データI2である。また、上述の符号化部は、例えば図6に示す第1符号化部100に対応する。
また、本開示の一態様に係る変換装置は、以下の符号化装置とも言える。つまり、符号化装置は、符号化部と出力部とを備える。この符号化部は、映像信号に含まれる第1フレームの画像に対して、他のフレームを参照したフレーム間符号化処理を施して第1符号化データを生成する。次に、符号化部は、その映像信号に含まれる第2フレームの画像に対して、第1フレームを参照したフレーム間符号化処理を施して第2符号化データを生成する。そして、符号化部は、その第1フレームに対応し、且つ第2フレームの符号化に用いた参照画像に対して、他のフレームを参照しない符号化処理を施して第3符号化データを生成する。また、出力部は、第1符号化データと第2符号化データを含む第1ストリームと、第3符号化データと第2符号化データを含む第2ストリームとを出力する。ここで、第1符号化データ、第2符号化データおよび第3符号化データは、それぞれ例えば図2に示す符号化データP2、符号化データP3および符号化データI2である。また、上述の符号化部および出力部は、例えば図6に示す第1符号化部100および出力部14にそれぞれ対応する。
また、第3符号化データは、他の装置からの要求に応じてあらかじめ定められた期間のみ生成されてもよい。
また、本開示の一態様に係る変換装置は、符号化された映像ストリームを変換する変換装置であって、判断部と、再符号化部と、出力部とを備えていてもよい。判断部は、入力された第1ストリームに含まれる符号化データを変換するか否か判断する。再符号化部は、その判断部で変換すると判断された変換前の符号化データを再符号化する。出力部は、その判断部で変換しないと判断された非変換の符号化データと、再符号化部で再符号化された変換後の符号化データとを含む第2ストリームを出力する。
ここで、再符号化部は、上述の変換前の符号化データを復号して得られる画像に対して、可逆圧縮方式でフレーム内符号化データに符号化してもよい。
また、再符号化部は、第1変換前符号化データを復号して得られた第1画像を、不可逆圧縮方式でフレーム内符号化データに符号化する。再符号化部は、その第1変換前符号化データに後続する第2変換前符号化データを復号して得られた第2画像を、その第1画像を参照してフレーム間符号化データに可逆圧縮方式で符号化してもよい。
また、再符号化部は、第1変換前符号化データを復号して得られた第1画像を、フレーム内符号化データに不可逆圧縮方式で符号化し、そのフレーム内符号化データを復号して得られる第2画像を参照して、その第1画像をフレーム間符号化データに可逆圧縮方式で符号化してもよい。
また、判断部は、復号を開始したい第1符号化データを第1変換前符号化データと判断し、第1符号化データの後続する第2符号化データを非変換符号化データと判断してもよい。
また、判断部は、復号を開始したい第1符号化データと第1符号化データに後続する1つ以上の第2符号化データとのそれぞれを、変換前符号化データと判断し、その次の符号化データを非変換符号化データと判断してもよい。
本開示にかかる変換装置、符号化装置、映像配信システム、および映像再生システムなどは、例えば監視カメラやテレビ会議システムなどデータの符号化または復号を行う機器またはシステムに適用できる。
10a、10b 変換装置
11 取得部
12 変換部
12a 復号部
12b 符号化部
12c 第2符号化部
13 判断部
14 出力部
21 第1復号装置
22 第2復号装置
100 第1符号化部
101 スライス分割部
102 減算器
103 直交変換部
104 量子化部
105 エントロピー符号化部
106 逆量子化部
107 逆直交変換部
108 加算器
109 デブロッキングフィルタ
110 メモリ
111 イントラ予測部
112 インター予測部
113 動き検出部
114 イントラ/インター判定部
200 符号化装置
300A、300B 映像配信システム
310 映像配信装置
311 撮像部
312 エンコード部
313 変換装置
314 送信部
320、330 映像受信装置
341 受信部
342 復号部
343 表示部
400A、400B 映像再生システム
410 映像記録再生装置
410A 映像記録装置
410B 映像再生装置
411 記録部
412 記録媒体
413 読込部
11 取得部
12 変換部
12a 復号部
12b 符号化部
12c 第2符号化部
13 判断部
14 出力部
21 第1復号装置
22 第2復号装置
100 第1符号化部
101 スライス分割部
102 減算器
103 直交変換部
104 量子化部
105 エントロピー符号化部
106 逆量子化部
107 逆直交変換部
108 加算器
109 デブロッキングフィルタ
110 メモリ
111 イントラ予測部
112 インター予測部
113 動き検出部
114 イントラ/インター判定部
200 符号化装置
300A、300B 映像配信システム
310 映像配信装置
311 撮像部
312 エンコード部
313 変換装置
314 送信部
320、330 映像受信装置
341 受信部
342 復号部
343 表示部
400A、400B 映像再生システム
410 映像記録再生装置
410A 映像記録装置
410B 映像再生装置
411 記録部
412 記録媒体
413 読込部
Claims (13)
- 第1ストリームを取得する取得部と、
前記第1ストリームに含まれる不可逆符号化された第1ピクチャを、可逆符号化されたピクチャである第2ピクチャに変換する変換部と、
前記第2ピクチャを含む第2ストリームを出力する出力部と、
を備える変換装置。 - 前記出力部は、
前記第1ストリームに含まれる、前記第1ピクチャの復号画像を参照して符号化されたピクチャである第3ピクチャが、復号順で前記第2ピクチャの後に配置されるように、前記第2ストリームに前記第3ピクチャを含め、
前記第3ピクチャを含む前記第2ストリームを出力する
請求項1に記載の変換装置。 - 前記出力部は、さらに、前記取得部によって取得された前記第1ストリームを出力する、
請求項1または2に記載の変換装置。 - 前記変換装置は、さらに、
前記第1ストリームに含まれる複数のピクチャのそれぞれについて、当該ピクチャの符号化方式を変換するか否かを判断する判断部を備え、
前記変換部は、
前記判断部によって変換すると判断されたピクチャである前記第1ピクチャを、前記第2ピクチャに変換する、
請求項1~3の何れか1項に記載の変換装置。 - 前記判断部は、
前記第1ストリームに含まれる複数のピクチャのうち、ストリームの送信要求が受け付けられたタイミングに応じた前記第1ピクチャを含む少なくとも1つの連続するピクチャのそれぞれの符号化方式を変換すると判断する
請求項4に記載の変換装置。 - 前記判断部は、
前記第1ストリームに含まれる複数のピクチャのうち、前記少なくとも1つの連続するピクチャよりも後の各ピクチャの符号化方式を変換しないと判断する
請求項5に記載の変換装置。 - 前記変換部は、
前記第1ピクチャを復号することによって、前記第1ピクチャの復号画像を生成し、
前記第1ピクチャの復号画像を可逆符号化することによって、前記第1ピクチャを前記第2ピクチャに変換する
請求項1~6の何れか1項に記載の変換装置。 - 前記変換部は、
前記第1ピクチャの復号画像をイントラ予測符号化することによって、前記第1ピクチャを前記第2ピクチャに変換する
請求項7に記載の変換装置。 - 前記変換部は、さらに、
前記第1ストリームに含まれる、不可逆にインター予測符号化されたピクチャである第4ピクチャを復号することによって、前記第4ピクチャの復号画像を生成し、
前記第4ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第4ピクチャを第5ピクチャに変換し、
前記第1ピクチャの前記第2ピクチャへの変換では、
前記第4ピクチャの復号画像を参照してインター予測符号化された前記第1ピクチャの復号画像を、前記第5ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第1ピクチャを前記第2ピクチャに変換し、
前記出力部は、
前記第5ピクチャおよび前記第2ピクチャを含む前記第2ストリームを出力する
請求項7に記載の変換装置。 - 前記変換部は、さらに、
前記第1ストリームに含まれる、不可逆にインター予測符号化された前記第1ピクチャを復号することによって、前記第1ピクチャの復号画像を生成し、
前記第1ピクチャの復号画像を不可逆にイントラ予測符号化することによって、前記第1ピクチャを第4ピクチャに変換し、
前記第1ピクチャの前記第2ピクチャへの変換では、
前記第1ピクチャの復号画像を、前記第4ピクチャの復号画像を参照して可逆にインター予測符号化することによって、前記第1ピクチャを前記第2ピクチャに変換し、
前記出力部は、
前記第4ピクチャおよび前記第2ピクチャを含む前記第2ストリームを出力する
請求項7に記載の変換装置。 - 第2ピクチャを含む第2ストリームを受信する受信部と、
前記第2ストリームを復号することによって映像信号を生成する復号部と、
前記映像信号にしたがって映像を表示する表示部とを備え、
前記第2ピクチャは、第1ストリームに含まれる不可逆符号化された第1ピクチャを変換することによって得られた、可逆符号化されたピクチャである
復号装置。 - コンピュータがピクチャの符号化方式を変換する変換方法であって、
第1ストリームを取得し、
前記第1ストリームに含まれる不可逆符号化された第1ピクチャを、可逆符号化されたピクチャである第2ピクチャに変換し、
前記第2ピクチャを含む第2ストリームを出力する、
変換方法。 - コンピュータがストリームを復号する復号方法であって、
第2ピクチャを含む第2ストリームを受信し、
前記第2ストリームを復号することによって映像信号を生成し、
前記映像信号にしたがって映像を表示し、
前記第2ピクチャは、第1ストリームに含まれる不可逆符号化された第1ピクチャを変換することによって得られた、可逆符号化されたピクチャである
復号方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19859227.1A EP3852369A4 (en) | 2018-09-12 | 2019-07-04 | CONVERSION DEVICE, DECODING DEVICE, CONVERSION PROCESS AND DECODING PROCESS |
CN201980058196.0A CN112655213A (zh) | 2018-09-12 | 2019-07-04 | 变换装置、解码装置、变换方法以及解码方法 |
US17/196,299 US11490121B2 (en) | 2018-09-12 | 2021-03-09 | Transform device, decoding device, transforming method, and decoding method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018170854A JP7378035B2 (ja) | 2018-09-12 | 2018-09-12 | 変換装置、復号装置、変換方法および復号方法 |
JP2018-170854 | 2018-09-12 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/196,299 Continuation US11490121B2 (en) | 2018-09-12 | 2021-03-09 | Transform device, decoding device, transforming method, and decoding method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020054190A1 true WO2020054190A1 (ja) | 2020-03-19 |
Family
ID=69777110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/026648 WO2020054190A1 (ja) | 2018-09-12 | 2019-07-04 | 変換装置、復号装置、変換方法および復号方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11490121B2 (ja) |
EP (1) | EP3852369A4 (ja) |
JP (1) | JP7378035B2 (ja) |
CN (1) | CN112655213A (ja) |
WO (1) | WO2020054190A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005094800A (ja) * | 2004-11-15 | 2005-04-07 | Toshiba Corp | 動画像再符号化装置 |
WO2010027082A1 (ja) * | 2008-09-08 | 2010-03-11 | 日本電気株式会社 | カンファレンスサーバとビデオカンファレンスシステムと方法並びプログラム |
JP2012508485A (ja) * | 2008-11-04 | 2012-04-05 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | Gpu加速を伴うソフトウエアビデオトランスコーダ |
JP2013042492A (ja) * | 2011-08-11 | 2013-02-28 | Polycom Inc | 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3380981B2 (ja) | 1998-06-19 | 2003-02-24 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 |
JP2001257888A (ja) * | 2000-03-09 | 2001-09-21 | Seiko Epson Corp | 画像符号化装置、画像符号化方法、画像復号化装置および画像復号化方法ならびに情報記録媒体 |
JP3676651B2 (ja) * | 2000-06-15 | 2005-07-27 | 日本電信電話株式会社 | 段階的可逆画像信号符号化方法,復号方法,符号化装置,復号装置,およびその符号化,復号プログラムの記録媒体 |
JP4772375B2 (ja) | 2005-04-28 | 2011-09-14 | 株式会社東芝 | 電子機器およびコンテンツ管理方法 |
CN102318202B (zh) | 2006-03-29 | 2014-06-04 | 维德约股份有限公司 | 用于可缩放与非可缩放视频编解码器之间的译码的***和方法 |
US8249142B2 (en) * | 2008-04-24 | 2012-08-21 | Motorola Mobility Llc | Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques |
JP2010093650A (ja) * | 2008-10-09 | 2010-04-22 | Nec Corp | 端末、画像表示方法及びプログラム |
US8760492B2 (en) * | 2009-01-30 | 2014-06-24 | Polycom, Inc. | Method and system for switching between video streams in a continuous presence conference |
KR101474756B1 (ko) * | 2009-08-13 | 2014-12-19 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
KR101955374B1 (ko) * | 2011-06-30 | 2019-05-31 | 에스케이 텔레콤주식회사 | 고속 코딩 단위(Coding Unit) 모드 결정을 통한 부호화/복호화 방법 및 장치 |
JP2018074349A (ja) * | 2016-10-28 | 2018-05-10 | 住友電気工業株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
WO2018135885A1 (ko) * | 2017-01-19 | 2018-07-26 | 가온미디어 주식회사 | 변환 처리를 제공하는 영상 복호화 및 부호화 방법 |
JP6469277B2 (ja) * | 2018-03-28 | 2019-02-13 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
-
2018
- 2018-09-12 JP JP2018170854A patent/JP7378035B2/ja active Active
-
2019
- 2019-07-04 WO PCT/JP2019/026648 patent/WO2020054190A1/ja unknown
- 2019-07-04 EP EP19859227.1A patent/EP3852369A4/en active Pending
- 2019-07-04 CN CN201980058196.0A patent/CN112655213A/zh active Pending
-
2021
- 2021-03-09 US US17/196,299 patent/US11490121B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005094800A (ja) * | 2004-11-15 | 2005-04-07 | Toshiba Corp | 動画像再符号化装置 |
WO2010027082A1 (ja) * | 2008-09-08 | 2010-03-11 | 日本電気株式会社 | カンファレンスサーバとビデオカンファレンスシステムと方法並びプログラム |
JP2012508485A (ja) * | 2008-11-04 | 2012-04-05 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | Gpu加速を伴うソフトウエアビデオトランスコーダ |
JP2013042492A (ja) * | 2011-08-11 | 2013-02-28 | Polycom Inc | 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム |
Non-Patent Citations (1)
Title |
---|
"AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video", RECOMMENDATION ITU-T H.265, February 2018 (2018-02-01) |
Also Published As
Publication number | Publication date |
---|---|
EP3852369A4 (en) | 2021-11-10 |
CN112655213A (zh) | 2021-04-13 |
JP7378035B2 (ja) | 2023-11-13 |
US20210195243A1 (en) | 2021-06-24 |
JP2020043519A (ja) | 2020-03-19 |
EP3852369A1 (en) | 2021-07-21 |
US11490121B2 (en) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4927207B2 (ja) | 符号化方法、復号化方法及び装置 | |
US10291934B2 (en) | Modified HEVC transform tree syntax | |
US20150139303A1 (en) | Encoding device, encoding method, decoding device, and decoding method | |
JP4983917B2 (ja) | 動画像配信システム、変換装置および動画像配信方法 | |
KR101147744B1 (ko) | 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 pvr | |
KR20230112748A (ko) | Hls를 시그널링하는 영상 부호화/복호화 방법, 장치및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체 | |
JP2011518527A (ja) | 映像の復号化 | |
KR102076625B1 (ko) | 동화상 예측 부호화 및 복호 장치, 방법, 그리고 프로그램 | |
WO2020043206A1 (zh) | 一种历史候选列表更新方法与装置 | |
JP5472094B2 (ja) | 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム | |
WO2020054190A1 (ja) | 変換装置、復号装置、変換方法および復号方法 | |
KR100846795B1 (ko) | Rgb 코덱 기반의 동영상 송수신 방법 및 그 장치 | |
WO2017115482A1 (ja) | ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体 | |
RU2818520C2 (ru) | Способ и устройство двунаправленного интер-предсказания | |
RU2795934C2 (ru) | Способ и устройство двунаправленного интер-предсказания | |
US20230388535A1 (en) | Systems and methods for combining subblock motion compensation and overlapped block motion compensation | |
KR100932727B1 (ko) | 비디오 스트림 전환 장치 및 방법 | |
JP2006101533A (ja) | 画像記録方式及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19859227 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019859227 Country of ref document: EP Effective date: 20210412 |