WO2023171376A1 - 符号化装置及び符号化方法 - Google Patents
符号化装置及び符号化方法 Download PDFInfo
- Publication number
- WO2023171376A1 WO2023171376A1 PCT/JP2023/006371 JP2023006371W WO2023171376A1 WO 2023171376 A1 WO2023171376 A1 WO 2023171376A1 JP 2023006371 W JP2023006371 W JP 2023006371W WO 2023171376 A1 WO2023171376 A1 WO 2023171376A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- reference plane
- encoding
- image
- images
- encoding device
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
Definitions
- the present disclosure relates to an encoding device and an encoding method, and particularly relates to an encoding device and an encoding method that can save frame memory and suppress image quality deterioration.
- the AVC (Advanced Video Coding) method, HEVC (High Efficiency Video Coding) method, etc. are widely used as compression encoding methods used to deliver video images in real time.
- encoding is performed without image rearrangement, and in this case, the temporal distance between the image to be encoded and the reference picture (hereinafter referred to as picture distance) is It is common to use a nearby previous image as a reference picture.
- picture distance the temporal distance between the image to be encoded and the reference picture
- picture distance the temporal distance between the image to be encoded and the reference picture
- picture distance the reference picture
- picture distance the reference picture distance
- the present disclosure has been made in view of this situation, and aims to save frame memory and suppress image quality deterioration.
- the encoding device uses a plurality of images encoded before a predetermined image of a moving image to be encoded as reference plane candidates based on reference plane control information supplied from the outside. and an encoding unit that encodes the predetermined image by storing it in a storage unit as a reference plane candidate and using any one of the plurality of images that are the reference plane candidates as a reference picture.
- an encoding device converts a plurality of images encoded before a predetermined image of a moving image to be encoded into externally supplied reference plane control information.
- the predetermined image is then stored as a reference plane candidate in the storage unit based on the reference plane candidate, and the predetermined image is encoded using any one of the plurality of images that are the reference plane candidates as a reference picture.
- a plurality of images encoded before a predetermined image of a moving image to be encoded are stored as reference plane candidates based on reference plane control information supplied from the outside. is memorized.
- the predetermined image is encoded using any one of the plurality of images that are the reference plane candidates as a reference picture.
- the encoding device performs encoding before a predetermined image of the video to be encoded, based on transmission delay information from a transmission destination of a bitstream encoding the video.
- the control unit includes a control unit that determines reference plane control information for controlling which of the plurality of images is stored in the storage unit as a reference plane candidate, and supplies the information to an encoding unit that encodes the predetermined image.
- the encoding device selects a predetermined image of the video to be encoded based on transmission delay information from a destination of a bitstream that encodes the video.
- Reference plane control information for controlling which of the plurality of previously encoded images is to be stored in the storage unit as a reference plane candidate is determined and supplied to the encoding unit that encodes the predetermined image.
- a plurality of bitstreams encoded before a predetermined image of the moving image to be encoded are transmitted.
- Reference plane control information that controls which of the images is to be stored in the storage unit as a reference plane candidate is determined and supplied to an encoding unit that encodes the predetermined image.
- the encoding devices according to the first and second aspects of the present disclosure can be realized by causing a computer to execute a program.
- a program to be executed by a computer can be provided by being transmitted via a transmission medium or recorded on a recording medium.
- the encoding device may be an independent device or may be an internal block forming one device.
- FIG. 2 is a diagram illustrating a problem that the image processing system of the present disclosure attempts to solve.
- FIG. 2 is a diagram illustrating a problem that the image processing system of the present disclosure attempts to solve.
- FIG. 2 is a diagram illustrating a problem that the image processing system of the present disclosure attempts to solve.
- 1 is a block diagram illustrating a configuration example of an image processing system that is an embodiment of the present disclosure.
- FIG. 6 is a diagram illustrating a method of holding reference plane candidates in an encoding unit.
- FIG. 3 is a diagram illustrating the operation of the encoding device when an error notification is received from the decoding device. It is a flowchart explaining encoding transmission processing performed by an encoding device.
- FIG. 1 is a block diagram illustrating a configuration example of an image processing system that is an embodiment of the present disclosure.
- FIG. 6 is a diagram illustrating a method of holding reference plane candidates in an encoding unit.
- FIG. 3 is a diagram illustrating the operation
- FIG. 3 is a diagram illustrating an example of reception error control when there are multiple destinations.
- FIG. 7 is a diagram illustrating an example of dynamic control of reference plane candidate intervals when a destination is added or deleted.
- FIG. 3 is a diagram illustrating an example where there are variations in transmission delay time and reliability of transmission paths among a plurality of destinations.
- FIG. 6 is a diagram illustrating an example of control when there are variations in transmission delay time and reliability of transmission paths among a plurality of destinations.
- FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a computer to which the technology of the present disclosure is applied.
- the AVC (Advanced Video Coding) method, HEVC (High Efficiency Video Coding) method, etc. are widely used as compression encoding methods used to deliver video images in real time.
- AVC and HEVC compression encoding systems there are three types of pictures: I pictures, P pictures, and B pictures, similar to the MPEG (Motion Picture Experts Group)-1/2/4 system.
- An I-picture is a picture obtained by independently encoding only that image, regardless of the preceding and succeeding images.
- a P picture is a picture obtained by forward predictive coding between images.
- a B picture is a picture obtained by predictive coding from both the past and the future.
- the encoding order and display order are different, so it is necessary to rearrange the images.
- encoding is performed without image rearrangement, and in this case, the distance between the image to be encoded and the reference picture (hereinafter referred to as picture distance) is close to each other. It is common to use an image of 1 as a reference picture.
- FIG. 1 shows an example of a moving image in which the immediately previous image is encoded as a reference picture.
- the moving images in FIG. 1 are sequentially generated as images fr1, fr2, fr3, fr4, . . .
- Each picture fr is encoded by a P picture using the immediately previous picture as a reference picture.
- image fr1 is the first image of a moving image
- image fr1 becomes an I picture.
- encoding is required to smooth the amount of code generated for each image.
- the amount of generated code is smoothed at the slice level in order to further reduce the delay.
- a predetermined moving image is encoded in the encoding device 11, and the encoded bitstream is transmitted to three decoding devices 31-1 to 31-3 via the network 21. be done.
- an error occurs in a predetermined image of the bitstream received by the decoding device 31-1, and the decoding device 31-1 requests a small-sized I picture that fits in the buffer to the encoding device 11, which is the transmission source.
- you send an insert request a predetermined moving image
- the moving image is sequentially encoded as images fr11, fr12, fr13, fr14, . . . using P pictures, and decoding devices 31-1 to 31-3 sent to.
- the decoding device 31-1 detects an error in the image fr13, and transmits a request to the encoding device 11, which is the transmission source, to insert an I picture of a small size that fits in the buffer.
- the encoding device 11 switches to encoding the next image fr using a small-sized I-picture that fits in the buffer.
- the image fr17 is generated by a small-sized I picture and transmitted to the decoding devices 31-1 to 31-3.
- images fr14 to fr16 from the image fr13 in which the error occurs until the image fr17 based on the I picture arrives are corrupted images because they refer to the error image.
- the image fr17 is an I picture of a small size that fits in the buffer, the image quality has deteriorated. A period of several frames is required to recover from this deterioration in image quality. In the example of FIG. 3, the image quality is restored to that before the error occurred in image fr21, which is four frames after image fr17.
- the deterioration in image quality caused by dealing with an error that occurred in the decoding device 31-1 is caused by the deterioration of image quality caused by dealing with the error that occurred in the decoding device 31-1. It also affects. That is, the decoding devices 31-2 and 31-3 also receive images fr17 to fr20 with degraded image quality.
- the reference picture As a method for recovering from an error to avoid image quality deterioration, it is conceivable to switch the reference picture to refer to an image that skips over the image in which the error occurred, instead of inserting an I picture. For example, instead of encoding the image fr17 in FIG. 3 as an I picture, it may be possible to encode it as a P picture by referring to the image fr12 before the image fr13 in which the error occurred.
- a reference plane candidate In this case, it is necessary to always hold an image that jumps over the image in which the error has occurred as a reference picture candidate (hereinafter referred to as a reference plane candidate).
- a reference plane candidate In network distribution such as streaming, the delay time until reaching the decoding device 31 is not uniquely determined, so it is difficult to estimate the number of reference plane candidates, period, etc. to be retained for error recovery. If held redundantly, a large frame memory will be required in the encoding device 11 and decoding device 31.
- the encoding device of the image processing system of the present disclosure described below encodes an image as a P picture that fits in a small buffer size, and when an error occurs on the receiving side, an image that jumps over the image in which the error occurred is encoded. Encode as a reference picture.
- the encoding device saves frame memory and transmits moving images with reduced image quality deterioration by controlling how reference plane candidates are held according to the delay status of the network that transmits the stream.
- FIG. 4 is a block diagram illustrating a configuration example of an image processing system according to an embodiment of the present disclosure.
- the image processing system 50 in FIG. 4 includes an encoding device 51 and a decoding device 52.
- a bitstream that is moving image data encoded by the encoding device 51 is transmitted (distributed) to the decoding device 52 via the network 53 .
- the encoding device 51 includes a reference structure control section 71, an encoding section 72, a storage section 73, a transmitting section 74, and a receiving section 75.
- the reference structure control unit 71 monitors the transmission delay status of the moving image bitstream and dynamically controls the method of holding reference plane candidates in the encoding unit 72. Specifically, the reference structure control unit 71 acquires transmission delay information supplied from the decoding device 52 via the reception unit 75, generates reference plane control information based on the acquired transmission delay information, and performs encoding. 72.
- the reference plane control information includes the reference plane candidate interval and the number of reference plane candidates.
- the reference plane candidate interval and the number of reference plane candidates are information that controls the method of holding reference plane candidates in the encoding unit 72.
- the reference structure control unit 71 sends a reference plane candidate instruction for recovering from the error (hereinafter referred to as an error recovery reference plane candidate instruction) to the encoding unit 52. supply to.
- the encoding unit 72 encodes the input moving image using a predetermined encoding method based on the reference plane control information supplied from the reference structure control unit 71, and supplies the resulting bit stream to the transmitting unit 74. do.
- the encoding method (encoding method) performed by the encoding unit 72 is not particularly limited as long as there are two types of pictures, I pictures and P pictures, in which image rearrangement does not occur. , AVC (Advanced Video Coding) method, HEVC (High Efficiency Video Coding) method, etc. can be adopted.
- the encoding unit 72 encodes images that are sequentially input as moving images without rearranging the images, on the premise of low-delay transmission. Specifically, the encoding unit 72 uses a plurality of images encoded before the image to be encoded (hereinafter referred to as the current picture) among the sequentially input images as reference plane candidates in the storage unit 73.
- the reference plane candidate is a reference picture (reference plane) candidate, and the encoding unit 72 uses a predetermined one of the plurality of images stored as the reference plane candidate as a reference picture and encodes it as a P picture.
- the encoding unit 72 determines a plurality of images to be stored in the storage unit 73 as reference plane candidates based on the reference plane candidate interval and the number of reference plane candidates supplied from the reference structure control unit 71.
- the reference plane candidate interval represents the interval between images stored in the storage unit 73 as reference plane candidates.
- the number of reference plane candidates represents the number of images to be stored in the storage unit 73 as reference plane candidates.
- the encoding unit 72 also updates the image of the reference plane candidate stored in the storage unit 73 as the image is encoded. In updating the reference plane candidates, the oldest image is discarded (deleted), and the newest image is stored in the vacant area.
- the storage unit 73 is a frame memory that stores multiple images as reference plane candidates.
- the transmitter 74 transmits the bitstream of the moving image supplied from the encoder 72 to the decoder 52 via the network 53.
- the receiving unit 75 receives transmission delay information transmitted from the decoding device 52 via the network 53 and supplies it to the reference structure control unit 71. Further, the receiving unit 75 receives an error notification transmitted from the decoding device 52 when an error occurs in the decoding device 52, and supplies it to the reference structure control unit 71.
- the error notification includes, for example, the frame number of the image in which the error occurred and an error recovery request requesting recovery from the error.
- the decoding device 52 includes a receiving section 91, a decoding section 92, a storage section 93, and a transmitting section 94.
- the receiving unit 91 receives the bitstream of the moving image transmitted from the transmitting unit 74 of the encoding device 51 and supplies it to the decoding unit 92.
- the decoding unit 92 decodes the bitstream of the moving image supplied from the receiving unit 91 and outputs the resulting moving image. Reference plane candidates required for decoding are stored in the storage unit 93 as appropriate.
- the decoder 92 detects the transmission delay status of the bitstream and supplies the detection result to the transmitter 94 as transmission delay information. Furthermore, if there is an error in the bitstream supplied from the receiving section 91, the decoding section 92 supplies an error notification to the transmitting section 94.
- the storage unit 93 is a frame memory that stores a plurality of images as reference plane candidates. When the reference plane candidates are updated, the oldest image is discarded (deleted), and the newest image is stored in the space vacated by this.
- the transmitting unit 94 transmits the transmission delay information and error notification supplied from the decoding unit 92 to the encoding device 51 via the network 53.
- the network 53 is any communication network, and may be a wired communication network, a wireless communication network, or both. Further, the network 53 may be configured with one communication network, or may be configured with a plurality of communication networks.
- the network 53 is, for example, the Internet, a public telephone line, a wide area communication network for wireless mobile devices such as a so-called 4G line or 5G line, a WAN (Wide Area Network), a LAN (Local Area Network), or a Bluetooth (registered trademark) standard.
- short-range wireless communication channels such as NFC (Near Field Communication), infrared communication channels, HDMI (registered trademark) (High-Definition Multimedia Interface) and USB (Universal Serial Bus) ), etc., or any other communication network or channel of any communication standard.
- NFC Near Field Communication
- infrared communication channels such as HDMI (registered trademark) (High-Definition Multimedia Interface) and USB (Universal Serial Bus)
- USB Universal Serial Bus
- the image processing system 50 in FIG. 4 is configured as described above.
- Example of reference plane retention control according to transmission delay> With reference to FIG. 5, a method of holding reference plane candidates in the encoding unit 72, which is dynamically controlled by the reference structure control unit 71 according to the bitstream transmission delay status, will be described.
- the reference structure control unit 71 decreases the reference plane candidate interval when the transmission delay time is short, and increases the reference plane candidate interval when the transmission delay time is long.
- a in FIG. 5 shows an example of reference plane candidate intervals when the transmission delay time is short.
- the reference plane candidate interval is set to "0", which is the minimum value.
- B in FIG. 5 shows an example of reference plane candidate intervals when the transmission delay time is long.
- the reference plane candidate interval is set to "3".
- the storage unit 73 stores four images P12 to P15 as reference plane candidates. images are stored. The interval between the images P12 to P15, which are stored as reference plane candidates in the storage unit 73, is "0".
- the encoding unit 72 selects the image with the smallest temporal distance (picture distance) to the current picture, that is, the immediately preceding image P15, as a reference picture from among the four images P12 to P15 stored in the storage unit 73. , encodes the image P16, which is the current picture.
- the storage unit 73 stores images P3 and P7 as reference plane candidates. , P11, and P15 are stored. The interval between images P3, P7, P11, and P15, which are stored in the storage unit 73 as reference plane candidates, is "3".
- the encoding unit 72 selects an image having the closest temporal distance (picture distance) to the current picture, that is, the immediately previous image P15. is selected as a reference picture, and the current picture, image P16, is encoded.
- the reason why the reference plane candidate interval is set large when the transmission delay time is long is that, as will be described later with reference to FIG. This is to enable encoding to be performed by selecting as a reference picture an image that is older in time than the image in which the error has occurred.
- the reference structure control unit 71 selects a reference surface candidate when the transmission delay time is long. Control is performed such that the interval is set large and older images are stored in the storage unit 73.
- FIG. 6 is an example in which the setting values for the reference plane candidate interval and the number of reference plane candidates are the same as in A of FIG. 5, that is, the reference plane candidate interval is "0" and the number of reference plane candidates is "4".
- a in FIG. 6 shows reference plane candidates stored in the storage unit 73 and reference pictures selected from among them when the current picture is image P10.
- images P6 to P9 are stored in the storage unit 73 as reference plane candidates.
- the encoding unit 72 selects the immediately preceding image P9 as a reference picture, and encodes the image P10, which is the current picture.
- FIG. 6 shows the reference plane candidates stored in the storage unit 73 and the reference picture selected from them when the current picture is the image P11.
- the reference plane candidates stored in the storage unit 73 have been updated to images P7 to P10.
- the encoding unit 72 selects the immediately preceding image P10 as a reference picture, and encodes the image P11, which is the current picture.
- reference structure control unit 71 receives an error notification from decoding device 52 indicating that an error has occurred in image P9.
- the immediately preceding image P11 is used as the reference picture, but since an error has occurred in image P9, images P9 to P11 are used as the reference picture. I can not use it.
- the reference structure control unit 71 supplies the encoding unit 72 with an instruction to exclude images P9 to P11 from the reference plane candidates as a reference plane candidate instruction for recovering from the error (error recovery reference plane candidate instruction). .
- the encoding unit 72 excludes the designated images P9 to P11 from among the images P8 to P11 stored in the storage unit 73 from the reference plane candidates, and determines which temporal distance is the current one among the remaining reference plane candidates. Select the image closest to the picture. In other words, the encoding unit 72 selects the image that skips over the image P9 in which the error has occurred and is closest to the current picture. As shown in C of FIG.
- the reference plane candidates stored in the storage unit 73 have been updated to images P8 to P11, and among the remaining reference plane candidates, the image whose temporal distance is closest to the current picture is This is image P8.
- the encoding unit 72 selects image P8 as a reference picture and encodes image P12, which is the current picture.
- the error recovery reference plane candidate instruction is applied only to the current picture at the timing when the instruction is supplied. Therefore, when the current picture becomes image P13, as shown in FIG. Image P13, which is a picture, is encoded.
- the reference structure control unit 71 when the reference structure control unit 71 receives an error notification indicating that an error has occurred in a predetermined image from the decoding device 52, the reference structure control unit 71 generates an error message that excludes images after the image in which the error has occurred from reference plane candidates.
- a return reference plane candidate instruction is supplied to the encoding unit 72.
- the reference structure control unit 71 supplies the reference plane candidates to be excluded from among the reference plane candidates stored in the storage unit 73 as error recovery reference plane candidate instructions.
- the reference plane candidate may be supplied as an error recovery reference plane candidate instruction.
- an instruction to select image P8 may be used as an error recovery reference plane candidate instruction.
- the reference structure control unit 71 supplies the frame number of the image in which the error occurred to the encoding unit 72 as an error recovery reference plane candidate instruction, and selects which of the reference plane candidates stored in the storage unit 73 is the error recovery reference plane candidate.
- the encoding unit 72 may decide whether to use the picture as a reference picture for restoration.
- the reference plane candidate instruction may be an instruction for the encoding unit 72 to select a reference plane candidate before the image in which the error has occurred as a reference picture.
- the decoding device 52 changes the reference picture selection method. need to be informed. Changes in the reference picture selection method can be notified using, for example, an MMCO (Memory Management Control Operation) command in the AVC encoding method. Furthermore, in the HEVC encoding method, notification can be performed using RPS (Reference Picture Set).
- RPS Reference Picture Set
- images P9 to P11 can be excluded from the reference plane candidates by the MMCO command.
- Reference pictures are specified using a reference picture list.
- short_term_ref_pic_set() which is a function of RPS (Reference Picture Set)
- delta_idx_minus1 which is reference picture identification information that identifies a reference picture.
- delta_idx_minus1 is the value obtained by subtracting 1 from the value obtained by subtracting the coding number of the reference picture from the coding number (Coding Order) of the image to be coded.
- a value specifying image P8 is stored in delta_idx_minus1.
- This process corresponds to the process of encoding and transmitting a predetermined image as a current picture among a plurality of images forming an input moving image. For example, when a current picture is input to the encoding device 51, is started when.
- the number of reference plane candidates is a fixed value (for example, "4") as in the above example.
- step S21 the reference structure control unit 71 determines whether an error notification indicating that an error has occurred has been received from the decoding device 52.
- step S21 If it is determined in step S21 that an error notification has not been received from the decoding device 52, the process proceeds to step S23. On the other hand, if it is determined in step S21 that an error notification has been received from the decoding device 52, the process proceeds to step S22.
- step S22 when it is determined that an error notification has been received, the reference structure control unit 71 sends an instruction to exclude from the image in which the error has occurred to the image immediately before the current picture from the reference plane candidates. It is supplied to the encoding unit 72 as an instruction.
- step S23 the reference structure control unit 71 determines whether transmission delay information has been received from the decoding device 52.
- step S23 If it is determined in step S23 that the transmission delay information has not been received from the decoding device 52, the process proceeds to step S25. On the other hand, if it is determined in step S23 that transmission delay information has been received from the decoding device 52, the process proceeds to step S24.
- step S24 when it is determined that transmission delay information has been received, the reference structure control unit 71 updates the reference plane candidate interval based on the transmission delay information and supplies it to the encoding unit 72. Note that if there is no change in the reference plane candidate interval, the instruction of the reference plane candidate interval to the encoding unit 72 can be omitted. That is, the reference plane candidate interval may be instructed to the encoding unit 72 only when there is a change in the reference plane candidate interval.
- step S25 the encoding unit 72 updates the reference plane candidates stored in the storage unit 73.
- the encoding unit 72 stores the image immediately before the current picture in the storage unit 73 as the latest reference plane candidate, and deletes the oldest reference plane candidate from the storage unit 73.
- step S26 the encoding unit 72 selects the reference plane candidate with the closest temporal distance to the current picture as the reference picture.
- step S27 the encoding unit 72 encodes the current picture using a predetermined encoding method such as the AVC method or the HEVC method.
- the bitstream obtained as a result of encoding is supplied to the transmitter 74.
- step S28 the transmitter 74 transmits the bitstream supplied from the encoder 72 to the decoder 52 via the network 53.
- the encoding and transmitting process in FIG. 7 is executed as described above, and is repeatedly executed for each of the plurality of images that make up the moving image.
- the encoding and transmitting process in FIG. 7 has been described as a series of processes for convenience of explanation, but the processes in steps S23 and S24 for changing the reference plane candidate interval based on transmission delay information are similar to those in steps S21, S22, Further, it can be executed independently of the processes of S25 to S28.
- the encoding unit 72 may store the reference plane candidates using the changed reference plane candidate retention method from the next update of the reference plane candidates in which the reference plane candidate intervals have been changed.
- the number of reference plane candidates is not changed, but the number of reference plane candidates may also be changed based on the transmission delay information. In this case, if the transmission delay time is short, the number of reference plane candidates is decreased, and if the transmission delay time is long, the number of reference plane candidates is increased.
- the transmission destination to which the bitstream of the moving image generated by the encoding device 51 is transmitted is one decoding device 52.
- the case where there are multiple decoding devices 52 as the transmission destination is explained. An example of control for recovering from a reception error will be described.
- FIG. 8 shows an example in which a bitstream of a moving image generated by the encoding device 51 is transmitted to three decoding devices 52-1 to 52-3.
- the transmission paths through which the video bitstream is transmitted to each of the three destinations may have short delay times or long paths; therefore, the transmission delay times of each decoding device 52 are not necessarily the same. do not have.
- the encoding device 51 holds reference plane candidates so that even if a reception error occurs in any decoding device 52, it can recover from the error.
- a temporally older image as a reference picture for error recovery means referring to an image that is temporally distant, which is disadvantageous in terms of image quality. Since the bitstream generated for error recovery is transmitted to all destinations, it is better to reduce the number of frames to be rewinded to a temporally older image as a reference picture.
- the reference structure control unit 71 of the encoding device 51 An error recovery reference plane candidate instruction is supplied to the encoding unit 72 so that the reference plane candidate is used as a reference picture. For example, if an error occurs in the transmission path to the decoding device 52-3 and an error notification is sent from the decoding device 52-3, the reference structure control unit 71 of the encoding device 51 An error recovery reference plane candidate instruction is supplied to the encoding unit 72 so as to use the reference plane candidate as the reference picture.
- the reference structure control unit 71 of the encoding device 51 acquires transmission delay information from each of the plurality of decoding devices 52 that are transmission destinations, and selects reference plane candidates according to the transmission delay information with the longest transmission delay time. Determine how to retain the Then, by controlling the reference picture to be switched according to the transmission delay time of the decoding device 52 where the error occurred, it is possible to recover from the error while suppressing deterioration in image quality.
- the conversion device 51 also changes the method of holding reference plane candidates.
- FIG. 9 shows an example of dynamic control of the reference plane candidate interval when a destination is added or deleted.
- a rectangular frame is attached to the maximum transmission delay time among the transmission delay times (Delay) of the plurality of decoding devices 52 to be transmitted.
- the number of reference plane candidates is not changed and is set to a fixed value (for example, "4").
- the Delay of the decoding device 52-3 is 4.
- a new decoding device 52-4 has joined as a transmission destination.
- There are three destinations: decoding devices 52-1, 52-3, and 52-4, and the maximum transmission delay time is Delay 6 for decoding device 52-4.
- the reference structure control unit 71 of the encoding device 51 determines whether a change in the destination, including at least one of an increase or a decrease in the number of destinations, has occurred, and delays transmission from each current destination.
- the transmission delay time is determined by acquiring the information.
- the reference structure control unit 71 updates the reference plane candidate interval when it is determined that a change in the transmission destination has occurred or when the transmission delay time has been changed.
- the number of reference plane candidates is not changed and is set to a fixed value, and only the interval between reference plane candidates is changed according to the transmission delay situation at the destination.
- the number of reference plane candidates may also be changed depending on the transmission delay situation at the destination. For example, if the maximum value of the reference plane candidate interval is determined, and the transmission delay time becomes even longer with the reference plane candidate interval set to the maximum value, the reference structure control unit 71 Control to change the number. For example, if the maximum value of the reference plane candidate interval is "4" and the decoding devices 52-1, 52-3, and 52-4 shown on the right side of the lower part of FIG.
- the reference structure control unit 71 maintains the reference plane candidate interval as “4” and increases the number of reference plane candidates from the current “4” to “5”. Change to If the reference plane candidate interval becomes large, an image with a long temporal distance will be used as a reference picture at the time of error recovery. In this way, both the reference plane candidate interval and the number of reference plane candidates are controlled, and if the reference plane candidate interval has reached a predetermined value, the number of reference plane candidates can be increased to prevent transmissions in which an error has occurred. Depending on the destination, an image with a short temporal distance can be selected as a reference picture.
- the reference structure control unit 71 sets the number of reference plane candidates as a fixed value in stages according to the transmission delay status of the destination, and sets the reference plane candidates as a fixed value in accordance with the transmission delay status of the destination at the fixed number of reference plane candidates.
- the spacing may be controlled. For example, if the transmission delay time of each destination is within the range of "1 to 5", the number of reference plane candidates is set to "4", and if the transmission delay time of each destination is within the range of "6 to 10", the number of reference plane candidates is set to "4". In this case, the number of reference plane candidates may be set to "5", and with the set number of reference plane candidates, the interval between reference plane candidates may be further controlled according to the transmission delay situation.
- Example of reference plane retention control when the transmission delay status of the destination is uneven> By the way, when there are a plurality of decoding devices 52 as transmission destinations, the delay status of each transmission destination may be biased. Furthermore, there may be cases where the reliability of the transmission path varies.
- FIG. 10 shows an example where there are variations in transmission delay time and reliability of transmission paths among multiple destinations.
- N decoding devices 52-1 to 52-N there are N decoding devices 52-1 to 52-N (N>1) as transmission destinations.
- the encoding device 51 transmits the generated bitstream of the moving image to the decoding devices 52-1 to 52-N via the network 53.
- the N decoding devices 52-1 to 52-N are divided into two groups: a group with short transmission delay time and a group with long transmission delay time.
- the first group with a short transmission delay time has a low error rate and the second group with a long transmission delay time has a high error rate
- the first group with a short transmission delay time has a high error rate
- the error rate of the first group is high, and the second group with a long transmission delay time has a low error rate.
- the delay time There is a concern that the quality of the recovery image for errors that occur on a short path may deteriorate.
- the encoding device 51 can prevent deterioration of image quality upon error recovery by controlling the method of holding reference plane candidates as follows.
- the reference structure control unit 71 of the encoding device 51 sets the reference plane candidate interval and the number of reference plane candidates respectively for a first group with a short transmission delay time and a second group with a long transmission delay time. control to hold two types of values corresponding to .
- the reference plane candidate interval and the number of reference plane candidates of the first group will be referred to as the first reference plane candidate interval and the first reference plane candidate number
- the reference plane candidate interval and the number of reference plane candidates of the second group will be referred to as:
- These will be referred to as the second reference plane candidate interval and the number of second reference plane candidates.
- the reference structure control unit 71 sets the first reference plane candidate interval to "0" and the number of first reference plane candidates to "3" for the first group with a short transmission delay time, and sets the first reference plane candidate interval to "3" for the first group with a short transmission delay time.
- Reference plane control information in which the second reference plane candidate interval of the group is “5” and the number of second reference plane candidates is “2” is supplied to the encoding unit 72.
- the storage unit 73 stores images P1, P7, and P13 to P15 as reference plane candidates.
- Three images P13 to P15 are reference plane candidates for the first group with short transmission delay time, and two images P1 and P7 are reference plane candidates for the second group with long transmission delay time. It is a candidate.
- the reference plane candidate interval corresponds to the first reference plane candidate interval “0” and the number of reference plane candidates corresponds to the first reference plane candidate number “3”.
- the reference plane candidate interval corresponds to the second reference plane candidate interval “5” and the number of reference plane candidates corresponds to the number of second reference plane candidates “2”.
- B in Figure 11 shows that there are many destinations in the first group with short transmission delay times, and the error rate of their transmission paths is low, while there are few destinations in the second group, which has long transmission delay times, and their transmission paths have low error rates.
- An example of control when the error rate of the transmission path is high is shown.
- the reference structure control unit 71 sets the first reference plane candidate interval to "1" and the number of first reference plane candidates to "2" for the first group with a short transmission delay time, and sets the first reference plane candidate interval to "2" for the first group with a short transmission delay time, and sets the first reference plane candidate interval to "2" for the first group with a short transmission delay time.
- Reference plane control information that sets the second reference plane candidate interval of the group to “3” and the number of second reference plane candidates to “3” is supplied to the encoding unit 72.
- the storage unit 73 stores images P1, P5, P9, P13, and P15 as reference plane candidates.
- the two images P13 and P15 are reference plane candidates for the first group with short transmission delay time
- the three images P1, P5, and P9 are reference plane candidates for the second group with long transmission delay time.
- the reference plane candidate interval corresponds to the first reference plane candidate interval “1” and the number of reference plane candidates corresponds to the first reference plane candidate number “2”.
- the reference plane candidate interval corresponds to the second reference plane candidate interval “3” and the number of reference plane candidates corresponds to the second reference plane candidate number “3”.
- the reference structure control unit 71 selects a group with a high error rate (low reliability) out of the first group, which is a low-delay transmission destination, and the second group, which is a high-delay transmission destination.
- the numbers of first and second reference plane candidates are controlled so that the number of reference plane candidates is large and the number of reference plane candidates of a group with a low error rate (high reliability) is small.
- the first and second reference plane candidate intervals are set according to the transmission delay time of each group.
- multiple destinations are divided into two groups and two types of reference plane candidate intervals and the number of reference plane candidates are determined.
- the destinations may be divided into three or more groups, and the reference plane candidate intervals and the number of reference plane candidates may be determined in accordance with the number of groups.
- the reference structure control unit 71 monitors the transmission delay status of the bit stream of the moving image of the decoding device 52, which is the transmission destination, and controls the encoding unit 72 according to the transmission delay status.
- the method of holding reference plane candidates it is possible to recover from errors with minimal deterioration in image quality. It is possible to prevent reference plane candidates from being held redundantly for error recovery, and it is possible to reduce the capacity of the storage unit 73, which is a frame memory that stores reference plane candidates. If the transmission delay time changes, by changing the reference plane candidate interval and the number of reference plane candidates accordingly, you can save frame memory and select an appropriate reference plane candidate, allowing you to recover from errors. can be done.
- the decoding device 52 transmits the transmission delay status of the bitstream of the received moving image to the encoding device 51, so that even if an error occurs in the received bitstream, the decoding device 52 can determine the transmission delay status appropriate for its own transmission delay status even if an error occurs in the received bitstream.
- a reference picture may be selected and an encoded bitstream may be received. In other words, it is possible to recover from the error with minimal deterioration in image quality.
- the capacity of the storage unit 93 which is a frame memory that stores reference plane candidates, can be reduced.
- the image processing system 50 in FIG. 4 can save frame memory and suppress image quality deterioration by reducing the number of retained reference plane candidates in low-delay bitstream distribution.
- FIG. 12 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processes using a program.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- An input/output interface 105 is further connected to the bus 104.
- An input section 106 , an output section 107 , a storage section 108 , a communication section 109 , and a drive 110 are connected to the input/output interface 105 .
- the input unit 106 includes a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
- the output unit 107 includes a display, a speaker, an output terminal, and the like.
- the storage unit 108 includes a hard disk, a RAM disk, a nonvolatile memory, and the like.
- the communication unit 109 includes a network interface and the like.
- the drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 101 executes the above-described series by, for example, loading a program stored in the storage unit 108 into the RAM 103 via the input/output interface 105 and the bus 104 and executing it. processing is performed.
- the RAM 103 also appropriately stores data necessary for the CPU 101 to execute various processes.
- a program executed by the computer (CPU 101) can be provided by being recorded on a removable medium 111 such as a package medium, for example. Additionally, programs may be provided via wired or wireless transmission media, such as local area networks, the Internet, and digital satellite broadcasts.
- the program can be installed in the storage unit 108 via the input/output interface 105 by installing the removable medium 111 into the drive 110. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. Other programs can be installed in the ROM 102 or the storage unit 108 in advance.
- the program executed by the computer may be a program in which processing is performed chronologically in accordance with the order described in this specification, in parallel, or at necessary timing such as when a call is made. It may also be a program that performs processing.
- steps described in a flowchart may be performed chronologically in the order described, or may not necessarily be performed chronologically, but may be performed in parallel or when called. It may be executed at any necessary timing.
- a system means a collection of multiple components (devices, modules (components), etc.), regardless of whether all the components are in the same casing. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
- the technology of the present disclosure can take a cloud computing configuration in which one function is shared and jointly processed by multiple devices via a network.
- Each step explained in the above flowchart can be executed by one device or can be shared and executed by multiple devices. Furthermore, when one step includes multiple processes, the multiple processes included in that one step can be executed by one device or can be shared and executed by multiple devices.
- a plurality of images encoded before a predetermined image of a moving image to be encoded are stored in the storage unit as reference plane candidates based on reference plane control information supplied from the outside, and the plurality of images are the reference plane candidates.
- An encoding device comprising: an encoding unit that encodes the predetermined image using any one of the plurality of images as a reference picture.
- the encoding unit acquires a reference plane candidate interval representing an interval between images to be stored in the storage unit from the outside as the reference plane control information, and determines the reference plane candidate based on the reference plane candidate interval.
- the encoding unit acquires the number of reference plane candidates representing the number of images to be stored in the storage unit from the outside as the reference plane control information, and acquires the number of reference plane candidates from the outside based on the reference plane candidate interval and the number of reference plane candidates.
- the encoding device according to (2) above which determines a reference plane candidate.
- the encoding unit selects, as a reference picture, an image whose temporal distance is closest to the predetermined image from among the plurality of images stored in the storage unit as the reference plane candidate, and encodes the image.
- the encoding device according to any one of (1) to (3) above.
- the encoding unit is configured to select one of the plurality of images stored in the storage unit based on the reference plane candidate instruction.
- the encoding device according to any one of (1) to (4), wherein one of the pictures is selected as a reference picture and encoded.
- the reference plane candidate instruction includes an instruction to exclude a predetermined image among the plurality of images stored in the storage unit from the reference plane candidates.
- the reference plane candidate instruction includes an instruction to specify an image that can be selected as a reference picture from among the plurality of images stored in the storage unit.
- the encoding unit encodes the predetermined image using an AVC method, The encoding device according to (5), wherein the reference picture selection method is notified to the destination decoding device using an MMCO command.
- the encoding unit encodes the predetermined image using the HEVC method, The encoding device according to (5) above, wherein the reference picture selection method is notified to the destination decoding device using RPS.
- the encoding device is A plurality of images encoded before a predetermined image of a moving image to be encoded are stored in the storage unit as reference plane candidates based on reference plane control information supplied from the outside, and the plurality of images are the reference plane candidates.
- An encoding method in which the predetermined image is encoded using any one of the plurality of images as a reference picture.
- (11) Based on transmission delay information from a destination that transmits a bitstream containing an encoded moving image, which of a plurality of images encoded before a predetermined image of the moving image to be encoded is selected as a reference plane candidate.
- An encoding device comprising: a control unit that determines reference plane control information for controlling whether to store it in a storage unit and supplies it to an encoding unit that encodes the predetermined image.
- the control unit supplies a reference plane candidate interval representing an interval between images to be stored in the storage unit to the encoding unit as the reference plane control information.
- the encoding device (13) The encoding device according to (12), wherein the control unit supplies, as the reference plane control information, the number of reference plane candidates representing the number of images to be stored in the storage unit to the encoding unit. (14) The control unit decreases the reference plane candidate interval when the transmission delay time as the transmission delay information is short, and increases the reference plane candidate interval when the transmission delay time is long. (12) or (13) above. The encoding device described in . (15) The control unit changes the number of reference plane candidates, which is the number of images to be stored in the storage unit, when the transmission delay time becomes larger with the reference plane candidate interval set to the maximum value. The encoding device according to any one of (12) to (14).
- the control unit acquires the transmission delay information from each of the multiple destinations, and determines the reference plane control information according to the transmission delay information with the longest delay time. (11) above.
- the encoding device according to any one of (15) to (15).
- the control unit determines whether a change in the destination, including at least one of an increase or a decrease in the destination, has occurred, and updates the reference plane control information based on the determination that the change in the destination has occurred.
- the encoding device according to any one of (11) to (16) above.
- the control unit determines at least two types of the reference plane control information, one for a low-delay transmission destination and one for a high-delay transmission destination, and supplies it to the encoding unit.
- the control unit When the control unit receives an error notification indicating that an error has occurred from the destination, the control unit issues a reference plane candidate instruction to select an image of the reference plane candidate that is earlier than the image in which the error has occurred as a reference picture.
- the encoding device according to any one of (11) to (18).
- the encoding device is Based on transmission delay information from a destination that transmits a bitstream containing an encoded moving image, which of a plurality of images encoded before a predetermined image of the moving image to be encoded is selected as a reference plane candidate.
- An encoding method comprising: determining reference plane control information for controlling whether to store it in a storage unit, and supplying the information to an encoding unit that encodes the predetermined image.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本開示は、フレームメモリを節約し、かつ、画質劣化を抑えることができるようにする符号化装置及び符号化方法に関する。 符号化装置は、符号化対象である動画像の所定の画像より前に符号化した複数の画像を、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶させ、参照面候補である複数の画像のいずれかを参照ピクチャとして、所定の画像を符号化する符号化部を備える。本開示の技術は、例えば、動画像を低遅延で配信する画像処理システム等に適用できる。
Description
本開示は、符号化装置及び符号化方法に関し、特に、フレームメモリを節約し、かつ、画質劣化を抑えることができるようにした符号化装置及び符号化方法に関する。
動画像をリアルタイム配信するために用いられる圧縮符号化方式として、AVC(Advanced Video Coding)方式、HEVC(High Efficiency Video Coding)方式などが広く利用されている。低遅延での動画像の配信においては、画像の並べ替えが発生しない符号化が行われ、その際は符号化対象の画像と参照ピクチャとの時間的距離(以下、ピクチャ距離と称する。)が近い直前の画像を参照ピクチャとして使用することが一般的である。低遅延配信を実現するためには、エンコーダ及びデコーダのバッファを小さくする必要があり、そのために画像ごとの発生符号量を平滑化するように符号化することが求められる。より低遅延化するためにスライスレベルで発生符号量を平滑化するケースもある。
このような低遅延ストリーミング環境において伝送経路でエラーが発生した場合、正常に復帰する必要があるが、上述のように発生符号量を平滑化して送受信用のバッファを極小化しているため、符号量の大きいI(Intra)ピクチャを挿入して画質を維持したまま復帰することはできない。バッファに納まる小さいサイズのIピクチャを挿入した場合は、エラーからの復帰ポイントにおいて画質の劣化が生じる。また、画質が劣化した画像を参照する画像が続くため、画質の劣化がしばらく継続する。1対多の配信システムにおいては、ある配信チャネルでエラーが発生した場合にIピクチャを挿入して復帰する方式では、エラーの発生していないチャネルにも画質劣化の影響が及んでしまう。
画質劣化を回避するエラーからの復帰方法として、Iピクチャの挿入ではなく、エラーが発生した画像を飛び越えた画像を参照するように参照ピクチャを切り替えることが考えられる(例えば、特許文献1参照)。
しかしながら、エラーが発生した画像を飛び越えた画像を参照する方法によって正しく復帰するためには、エラーが発生した画像を飛び越える参照ピクチャ候補を常に保持していなければならないため、エンコーダ及びデコーダのフレームメモリを多く消費してしまう。
本開示は、このような状況に鑑みてなされたものであり、フレームメモリを節約し、かつ、画質劣化を抑えることができるようにするものである。
本開示の第1の側面の符号化装置は、符号化対象である動画像の所定の画像より前に符号化した複数の画像を、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶させ、前記参照面候補である前記複数の画像のいずれかを参照ピクチャとして、前記所定の画像を符号化する符号化部を備える。
本開示の第1の側面の符号化方法は、符号化装置が、符号化対象である動画像の所定の画像より前に符号化した複数の画像を、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶させ、前記参照面候補である前記複数の画像のいずれかを参照ピクチャとして、前記所定の画像を符号化する。
本開示の第1の側面においては、符号化対象である動画像の所定の画像より前に符号化した複数の画像が、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶される。前記参照面候補である前記複数の画像のいずれかを参照ピクチャとして、前記所定の画像が符号化される。
本開示の第2の側面の符号化装置は、動画像を符号化したビットストリームの送信先からの伝送遅延情報に基づいて、符号化対象である前記動画像の所定の画像より前に符号化した複数の画像のいずれを参照面候補として記憶部に記憶させるかを制御する参照面制御情報を決定し、前記所定の画像を符号化する符号化部に供給する制御部を備える。
本開示の第2の側面の符号化方法は、符号化装置が、動画像を符号化したビットストリームの送信先からの伝送遅延情報に基づいて、符号化対象である前記動画像の所定の画像より前に符号化した複数の画像のいずれを参照面候補として記憶部に記憶させるかを制御する参照面制御情報を決定し、前記所定の画像を符号化する符号化部に供給する。
本開示の第2の側面においては、動画像を符号化したビットストリームの送信先からの伝送遅延情報に基づいて、符号化対象である前記動画像の所定の画像より前に符号化した複数の画像のいずれを参照面候補として記憶部に記憶させるかを制御する参照面制御情報が決定され、前記所定の画像を符号化する符号化部に供給される。
なお、本開示の第1の側面及び第2の側面の符号化装置は、コンピュータにプログラムを実行させることにより実現することができる。コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
符号化装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
以下、添付図面を参照しながら、本開示の技術を実施するための形態(以下、実施の形態という)について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
1.本開示の画像処理システムが解決しようとする問題
2.本開示の画像処理システムのブロック図
3.伝送遅延に応じた参照面保持制御の例
4.エラー発生時の伝送遅延に応じた参照面候補間隔の制御例
5.符号化送信処理のフローチャート
6.送信先が複数存在する場合の受信エラー制御例
7.送信先の伝送遅延状況に偏りがある場合の参照面保持制御の例
8.まとめ
9.コンピュータ構成例
1.本開示の画像処理システムが解決しようとする問題
2.本開示の画像処理システムのブロック図
3.伝送遅延に応じた参照面保持制御の例
4.エラー発生時の伝送遅延に応じた参照面候補間隔の制御例
5.符号化送信処理のフローチャート
6.送信先が複数存在する場合の受信エラー制御例
7.送信先の伝送遅延状況に偏りがある場合の参照面保持制御の例
8.まとめ
9.コンピュータ構成例
<1.本開示の画像処理システムが解決しようとする問題>
初めに、図1乃至図3を参照して、本開示の画像処理システムが解決しようとする問題について説明する。
初めに、図1乃至図3を参照して、本開示の画像処理システムが解決しようとする問題について説明する。
動画像をリアルタイム配信するために用いられる圧縮符号化方式として、AVC(Advanced Video Coding)方式、HEVC(High Efficiency Video Coding)方式などが広く利用されている。AVC方式、HEVC方式の圧縮符号化方式では、MPEG(Motion Picture Experts Group)-1/2/4方式と同様に、Iピクチャ、Pピクチャ、及びBピクチャの3種類のピクチャが存在する。Iピクチャは、前後の画像とは関係なく、その画像だけで独立して符号化することによって得られるピクチャである。Pピクチャは、画像間の順方向予測符号化によって得られるピクチャである。Bピクチャは、過去と未来の双方向からの予測符号化によって得られるピクチャである。
Bピクチャは、符号化の順番と表示の順番が異なるため、画像の並べ替えが必要となる。低遅延での動画像の配信においては、画像の並べ替えが発生しない符号化が行われ、その際は符号化対象の画像と参照ピクチャとの距離(以下、ピクチャ距離と称する。)が近い直前の画像を参照ピクチャとして使用することが一般的である。
図1は、直前の画像を参照ピクチャとして符号化する動画像の例を示している。
図1の動画像は、画像fr1,fr2,fr3,fr4,・・・・と順次生成される。各画像frは、直前の画像を参照ピクチャとして、Pピクチャにより符号化される。画像fr1が動画像の最初の画像である場合、画像fr1はIピクチャとなる。
また、低遅延配信を実現するためには、符号化装置及び復号装置のバッファを小さくする必要があり、そのために画像ごとの発生符号量を平滑化するように符号化することが求められる。より低遅延化するためにスライスレベルで発生符号量を平滑化するケースもある。
このような低遅延ストリーミング環境において伝送経路でエラーが発生した場合、正常に復帰する必要があるが、上述のように発生符号量を平滑化して送受信用のバッファを極小化しているため、符号量の大きいIピクチャを挿入して画質を維持したまま復帰することはできず、符号化装置は、バッファに納まる小さいサイズのIピクチャを挿入することになる。
図2及び図3を参照して、バッファに納まる小さいサイズのIピクチャを挿入することによりエラーから復帰する例を説明する。
図2に示されるように、符号化装置11において所定の動画像が符号化され、その符号化されたビットストリームが、ネットワーク21を介して、3つの復号装置31-1乃至31-3に送信される。ここで、復号装置31-1が受信したビットストリームの所定の画像でエラーが発生し、復号装置31-1が、送信元の符号化装置11に対して、バッファに納まる小さいサイズのIピクチャの挿入要求を送信したとする。
より具体的には、図3に示されるように、動画像は、Pピクチャにより、画像fr11,fr12,fr13,fr14,・・・・と順次符号化され、復号装置31-1乃至31-3に送信される。復号装置31-1は、画像fr13においてエラーを検知し、送信元の符号化装置11に対して、バッファに納まる小さいサイズのIピクチャの挿入要求を送信する。
符号化装置11は、Iピクチャの挿入要求を受信したタイミングで、次の画像frを、バッファに納まる小さいサイズのIピクチャによる符号化に切り替える。図3の例では、画像fr17が小さいサイズのIピクチャによって生成され、復号装置31-1乃至31-3に送信される。復号装置31-1において、エラーが発生した画像fr13以降、Iピクチャによる画像fr17が届くまでの画像fr14乃至fr16は、エラーの画像を参照するため、壊れた画像となる。また、画像fr17はバッファに納まる小さいサイズのIピクチャであるため、画質の劣化が生じている。この画質の劣化を回復するには、数フレームの期間が必要となる。図3の例では、画像fr17から4フレーム後の画像fr21で、エラー発生前の画質に回復している。
図2のような1対多の配信システムにおいては、復号装置31-1で発生したエラーに対処したことによる画質の劣化は、エラーの発生していない他の復号装置31-2及び31-3にも影響する。すなわち、復号装置31-2及び31-3も、画質の劣化した画像fr17乃至fr20を受信することになる。
画質劣化を回避するエラーからの復帰方法として、Iピクチャの挿入ではなく、エラーが発生した画像を飛び越えた画像を参照するように参照ピクチャを切り替えることが考えられる。例えば、図3の画像fr17を、Iピクチャとして符号化するのではなく、エラーが発生した画像fr13より前の画像fr12を参照してPピクチャにより符号化することが考えられる。
しかしながら、この場合、エラーが発生した画像を飛び越える画像を、参照ピクチャの候補(以下、参照面候補と称する。)として常に保持しておく必要がある。ストリーミングのようなネットワーク配信では、復号装置31に到達するまでの遅延時間が一意に決まらないため、エラー復帰のために参照面候補を保持する枚数、期間などを見積もることが難しい。冗長に保持した場合、符号化装置11及び復号装置31において大きなフレームメモリが必要となる。AVC方式やHEVC方式等のロングターム参照ピクチャ機能を用いて、長期間参照面候補を保持し、定期的に更新するという方法もあるが、この方法ではエラー復帰時に時間的距離が離れた画像を参照することになるので、画質面で不利になる。
以下で説明する本開示の画像処理システムの符号化装置は、画像を、小さいバッファサイズに納まるPピクチャとして符号化し、受信側でエラーが発生した際には、エラーが発生した画像を飛び越える画像を参照ピクチャとして符号化する。符号化装置は、ストリームを伝送するネットワークの遅延状況に応じて参照面候補の持ち方を制御することで、フレームメモリを節約し、かつ、画質劣化を抑えた動画像を送信する。
<2.本開示の画像処理システムのブロック図>
図4は、本開示の実施の形態である画像処理システムの構成例を示すブロック図である。
図4は、本開示の実施の形態である画像処理システムの構成例を示すブロック図である。
図4の画像処理システム50は、符号化装置51と復号装置52により構成される。画像処理システム50においては、符号化装置51により符号化された動画像のデータであるビットストリームが、ネットワーク53を介して復号装置52に送信(配信)される。
符号化装置51は、参照構造制御部71、符号化部72、記憶部73、送信部74、及び、受信部75を含んで構成される。
参照構造制御部71は、動画像のビットストリームの伝送遅延状況を監視し、符号化部72の参照面候補の保持方法を動的に制御する。具体的には、参照構造制御部71は、復号装置52から供給される伝送遅延情報を受信部75を介して取得し、取得した伝送遅延情報に基づいて参照面制御情報を生成し、符号化部72に供給する。参照面制御情報には、参照面候補間隔と参照面候補数が含まれる。参照面候補間隔と参照面候補数は、符号化部72の参照面候補の保持方法を制御する情報である。また、参照構造制御部71は、復号装置52において受信エラーが発生した場合に、エラーから復帰するための参照面候補指示(以下、エラー復帰参照面候補指示と称する。)を、符号化部72に供給する。
符号化部72は、参照構造制御部71から供給される参照面制御情報に基づいて、入力される動画像を所定の符号化方式で符号化し、その結果得られるビットストリームを送信部74に供給する。ここで、符号化部72が行う符号化の方式(符号化方式)は、画像の並び替えが発生しないIピクチャとPピクチャの2種類のピクチャが存在する方式であれば特に限定されないが、例えば、AVC(Advanced Video Coding)方式、HEVC(High Efficiency Video Coding)方式などを採用することができる。
符号化部72は、低遅延での送信を前提として、動画像として順次入力される画像に対して、画像の並び替えが発生しない符号化を行う。具体的には、符号化部72は、順次入力される画像のうちの符号化対象の画像(以下、カレントピクチャと称する。)より前に符号化した複数の画像を参照面候補として記憶部73に記憶しておく。参照面候補は、参照ピクチャ(参照面)の候補であり、符号化部72は、参照面候補として記憶されている複数の画像の所定の一つを参照ピクチャとし、Pピクチャとして符号化する。
符号化部72は、参照面候補として記憶部73に記憶させる複数の画像を、参照構造制御部71から供給される参照面候補間隔と参照面候補数によって決定する。参照面候補間隔は、参照面候補として記憶部73に記憶させる画像どうしの間隔を表す。参照面候補数は、参照面候補として記憶部73に記憶させる画像の枚数を表す。符号化部72は、画像の符号化にともない、記憶部73に記憶している参照面候補の画像も更新する。参照面候補の更新では、最も古い画像が破棄(削除)され、それにより空いた領域に最新の画像が記憶される。
記憶部73は、参照面候補としての複数の画像を記憶するフレームメモリである。
送信部74は、符号化部72から供給される動画像のビットストリームを、ネットワーク53を介して復号装置52に送信する。
受信部75は、ネットワーク53を介して復号装置52から送信されてくる伝送遅延情報を受信し、参照構造制御部71に供給する。また、受信部75は、復号装置52においてエラーが発生した場合に復号装置52から送信されてくるエラー通知を受信し、参照構造制御部71に供給する。エラー通知は、例えば、エラーが発生した画像のフレーム番号と、エラーからの復帰をリクエストするエラー復帰リクエストで構成される。
復号装置52は、受信部91、復号部92、記憶部93、及び、送信部94を含んで構成される。
受信部91は、符号化装置51の送信部74から送信されてくる動画像のビットストリームを受信し、復号部92に供給する。
復号部92は、受信部91から供給される動画像のビットストリームを復号し、その結果得られる動画像を出力する。復号の際に必要となる参照面候補は、適宜、記憶部93に記憶される。復号部92は、ビットストリームの伝送遅延状況を検出し、検出結果を伝送遅延情報として送信部94に供給する。また、復号部92は、受信部91から供給されるビットストリームにエラーがあった場合、エラー通知を送信部94に供給する。
記憶部93は、参照面候補としての複数の画像を記憶するフレームメモリである。参照面候補が更新される場合、最も古い画像が破棄(削除)され、それにより空いた領域に最新の画像が記憶される。
送信部94は、復号部92から供給される伝送遅延情報及びエラー通知を、ネットワーク53を介して符号化装置51へ送信する。
ネットワーク53は、任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク53が、1の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。ネットワーク53は、例えば、インターネット、公衆電話回線網、所謂4G回線や5G回線等の無線移動体用の広域通信網、WAN(Wide Area Network)、LAN(Local Area Network)、Bluetooth(登録商標)規格に準拠した通信を行う無線通信網、NFC(Near Field Communication)等の近距離無線通信の通信路、赤外線通信の通信路、HDMI(登録商標)(High-Definition Multimedia Interface)やUSB(Universal Serial Bus)等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路のいずれかで構成される。
図4の画像処理システム50は、以上のように構成される。
<3.伝送遅延に応じた参照面保持制御の例>
図5を参照して、ビットストリームの伝送遅延状況に応じて参照構造制御部71によって動的に制御される、符号化部72の参照面候補の保持方法について説明する。
図5を参照して、ビットストリームの伝送遅延状況に応じて参照構造制御部71によって動的に制御される、符号化部72の参照面候補の保持方法について説明する。
参照構造制御部71は、伝送遅延時間が短い場合、参照面候補間隔を減少させ、伝送遅延時間が長い場合、参照面候補間隔を増加させる。
図5のAは、伝送遅延時間が短い場合の参照面候補間隔の例を示している。図5のAでは、参照面候補間隔が最小値である「0」に設定されている。
図5のBは、伝送遅延時間が長い場合の参照面候補間隔の例を示している。図5のBでは、参照面候補間隔が「3」に設定されている。
なお、図5のA及びBいずれにおいても、カレントピクチャが画像P16であり、参照面候補数が「4」の例である。
図5のAに示されるように、カレントピクチャが画像P16であり、参照面候補間隔が「0」に設定されている場合、記憶部73には、参照面候補として、画像P12乃至P15の4枚の画像が記憶される。参照面候補として記憶部73に記憶されている、画像P12乃至P15の画像どうしの間隔は「0」である。
符号化部72は、記憶部73に記憶されている4枚の画像P12乃至P15のうち、カレントピクチャに対する時間的距離(ピクチャ距離)が最小の画像、すなわち直前の画像P15を参照ピクチャとして選択し、カレントピクチャである画像P16の符号化を行う。
一方、図5のBに示されるように、カレントピクチャが画像P16であり、参照面候補間隔が「3」に設定されている場合、記憶部73には、参照面候補として、画像P3、P7、P11、及び、P15の4枚の画像が記憶される。参照面候補として記憶部73に記憶されている、画像P3、P7、P11、及び、P15の画像どうしの間隔は「3」である。
符号化部72は、記憶部73に記憶されている4枚の画像P3、P7、P11、及び、P15のうち、カレントピクチャに対する時間的距離(ピクチャ距離)が最も近い画像、すなわち直前の画像P15を参照ピクチャとして選択し、カレントピクチャである画像P16の符号化を行う。
伝送遅延時間が長い場合に参照面候補間隔を大きく設定するのは、図6を参照して後述するように、復号装置52において所定の画像でエラーが発生した場合、エラーが発生した画像を飛び越えて、エラーが発生した画像より時間的に古い画像を参照ピクチャとして選択して符号化を行うことができるようにするためである。エラーが発生した場合に、エラーが発生した画像より時間的に古い画像が、記憶部73に記憶されている必要があるので、参照構造制御部71は、伝送遅延時間が長い場合、参照面候補間隔を大きく設定し、より時間的に古い画像が記憶部73に記憶されるように制御する。
<4.エラー発生時の伝送遅延に応じた参照面候補間隔の制御例>
次に、図6を参照して、復号装置52において受信エラーが発生した場合、換言すれば、復号装置52からエラー通知を受信した場合の、参照構造制御部71の制御と、符号化部72の符号化について説明する。
次に、図6を参照して、復号装置52において受信エラーが発生した場合、換言すれば、復号装置52からエラー通知を受信した場合の、参照構造制御部71の制御と、符号化部72の符号化について説明する。
図6の例は、参照面候補間隔及び参照面候補数の設定値が、図5のAと同じ、参照面候補間隔「0」、参照面候補数「4」の例である。
図6のAは、カレントピクチャが画像P10の場合の、記憶部73に記憶されている参照面候補と、そのなかから選択された参照ピクチャを示している。
カレントピクチャが画像P10の場合、記憶部73には、参照面候補として、画像P6乃至P9が記憶されている。符号化部72は、直前の画像P9を参照ピクチャとして選択し、カレントピクチャである画像P10の符号化を行う。
図6のBは、カレントピクチャが画像P11の場合の、記憶部73に記憶されている参照面候補と、そのなかから選択された参照ピクチャを示している。
カレントピクチャが画像P11の場合、記憶部73に記憶される参照面候補は、画像P7乃至P10に更新されている。符号化部72は、直前の画像P10を参照ピクチャとして選択し、カレントピクチャである画像P11の符号化を行う。
ここで、画像P11の符号化中に、参照構造制御部71が、画像P9でエラーが発生したことを示すエラー通知を復号装置52から受信したとする。この場合、次の画像P12の符号化を行う際、通常では、参照ピクチャとして、その直前の画像P11を使用するが、画像P9でエラーが発生しているため、画像P9乃至P11は参照ピクチャとして使用できない。
そこで、参照構造制御部71は、エラーから復帰するための参照面候補指示(エラー復帰参照面候補指示)として、画像P9乃至P11を参照面候補から除外する指示を、符号化部72に供給する。符号化部72は、記憶部73に記憶されている画像P8乃至P11のうち、指示された画像P9乃至P11を参照面候補から除外し、残った参照面候補のなかで、時間的距離がカレントピクチャに最も近い画像を選択する。換言すれば、符号化部72は、エラーが発生した画像P9を飛び越え、かつ、カレントピクチャに最も近い画像を選択する。図6のCのように、記憶部73に記憶される参照面候補は、画像P8乃至P11に更新されており、残った参照面候補のなかで、時間的距離がカレントピクチャに最も近い画像は画像P8である。符号化部72は、画像P8を参照ピクチャとして選択し、カレントピクチャである画像P12の符号化を行う。
エラー復帰参照面候補指示は、その指示が供給されたタイミングのカレントピクチャについてのみ適用される。従って、カレントピクチャが画像P13となった場合には、図6のDに示されるように、通常の参照ピクチャの選択方法に戻り、符号化部72は、直前の画像P12を参照ピクチャとして、カレントピクチャである画像P13の符号化を行う。
以上のように、参照構造制御部71は、所定の画像でエラーが発生したことを示すエラー通知を復号装置52から受け取った場合、エラーが発生した画像以降の画像を参照面候補から除外するエラー復帰参照面候補指示を符号化部72に供給する。
なお、上述した例では、参照構造制御部71が、記憶部73に記憶される参照面候補のうち、除外する参照面候補をエラー復帰参照面候補指示として供給したが、反対に、選択可能な参照面候補を、エラー復帰参照面候補指示として供給してもよい。図6のCの例で言えば、画像P8乃至P11を参照面候補から除外する指示ではなく、画像P8を選択する指示を、エラー復帰参照面候補指示としてもよい。あるいはまた、参照構造制御部71は、エラーが発生した画像のフレーム番号を、エラー復帰参照面候補指示として符号化部72に供給し、記憶部73に記憶される参照面候補のどれを、エラー復帰のための参照ピクチャとするかを符号化部72が決定してもよい。参照面候補指示は、符号化部72が、エラーが発生した画像より前の参照面候補を参照ピクチャとして選択するための指示であればよい。
参照ピクチャの選択方法を、通常の選択方法であるカレントピクチャの直前の画像から、エラーが発生したピクチャを飛び越えた所定数前の画像に変更した場合、参照ピクチャの選択方法の変更を復号装置52へ知らせる必要がある。参照ピクチャの選択方法の変更は、例えば、AVC方式の符号化方式では、MMCO(Memory Management Control Operation)コマンドを用いて通知することができる。また、HEVC方式の符号化方式では、RPS(Reference Picture Set)を用いて通知することができる。
MMCOコマンドによれば、記憶部73に記憶されている参照面候補に対して、
・短時間参照ピクチャを非参照ピクチャに設定すること、
・短時間参照ピクチャに対し、長時間参照ピクチャを管理するための参照インデクスであるlong-term frame indexを割り当てることで、短時間参照ピクチャを長時間参照ピクチャに設定すること、
・long-term frame indexの最大値を設定すること、
・すべての参照ピクチャを非参照ピクチャに設定すること、等を行うことができる。
・短時間参照ピクチャを非参照ピクチャに設定すること、
・短時間参照ピクチャに対し、長時間参照ピクチャを管理するための参照インデクスであるlong-term frame indexを割り当てることで、短時間参照ピクチャを長時間参照ピクチャに設定すること、
・long-term frame indexの最大値を設定すること、
・すべての参照ピクチャを非参照ピクチャに設定すること、等を行うことができる。
従って、図6のCの例では、MMCOコマンドによって、画像P9乃至P11を参照面候補から除外することができる。参照ピクチャの指定は、参照ピクチャリスト(reference picture list)を用いて行われる。
HEVC方式では、RPS(Reference Picture Set)の関数であるshort_term_ref_pic_set()に、参照ピクチャを特定する参照ピクチャ特定情報であるdelta_idx_minus1が含まれる。delta_idx_minus1は、具体的には、符号化対象の画像の符号化番号(Coding Order)から参照ピクチャの符号化番号を減算した値から1を減算した値である。図6のCの例では、delta_idx_minus1に、画像P8を特定する値が格納される。
<5.符号化送信処理のフローチャート>
次に、図7のフローチャートを参照して、符号化装置51が行う符号化送信処理について説明する。この処理は、入力される動画像を構成する複数の画像のうち所定の1枚の画像をカレントピクチャとして符号化して送信する処理に対応し、例えば、カレントピクチャが符号化装置51に入力されたとき開始される。なお、参照面候補数は、上述の例と同様に固定値(例えば「4」)とする。
次に、図7のフローチャートを参照して、符号化装置51が行う符号化送信処理について説明する。この処理は、入力される動画像を構成する複数の画像のうち所定の1枚の画像をカレントピクチャとして符号化して送信する処理に対応し、例えば、カレントピクチャが符号化装置51に入力されたとき開始される。なお、参照面候補数は、上述の例と同様に固定値(例えば「4」)とする。
初めに、ステップS21において、参照構造制御部71は、エラーが発生したことを示すエラー通知を復号装置52から受信したかを判定する。
ステップS21で、復号装置52からエラー通知を受信していないと判定された場合、処理はステップS23に進む。一方、ステップS21で、復号装置52からエラー通知を受信したと判定された場合、処理はステップS22に進む。
エラー通知を受信したと判定された場合のステップS22において、参照構造制御部71は、エラーが発生した画像からカレントピクチャの直前の画像までを参照面候補から除外する指示を、エラー復帰参照面候補指示として、符号化部72に供給する。
ステップS23において、参照構造制御部71は、復号装置52から伝送遅延情報を受信したかを判定する。
ステップS23で、復号装置52から伝送遅延情報を受信していないと判定された場合、処理はステップS25に進む。一方、ステップS23で、復号装置52から伝送遅延情報を受信したと判定された場合、処理はステップS24に進む。
伝送遅延情報を受信したと判定された場合のステップS24において、参照構造制御部71は、伝送遅延情報に基づいて参照面候補間隔を更新し、符号化部72に供給する。なお、参照面候補間隔に変更がない場合は、符号化部72への参照面候補間隔の指示は省略することができる。すなわち、参照面候補間隔に変更がある場合のみ、符号化部72に参照面候補間隔が指示されてもよい。
ステップS25において、符号化部72は、記憶部73に記憶している参照面候補を更新する。符号化部72は、カレントピクチャの直前の画像を最新の参照面候補として記憶部73に記憶し、最も古い参照面候補を記憶部73から削除する。
ステップS26において、符号化部72は、カレントピクチャに対して時間的距離の最も近い参照面候補を参照ピクチャとして選択する。
ステップS27において、符号化部72は、カレントピクチャを、AVC方式、HEVC方式などの所定の符号化方式で符号化する。符号化の結果得られたビットストリームは、送信部74に供給される。
ステップS28において、送信部74は、符号化部72から供給されたビットストリームを、ネットワーク53を介して復号装置52に送信する。
図7の符号化送信処理は、以上のように実行され、動画像を構成する複数の画像それぞれに対して繰り返し、実行される。
図7の符号化送信処理においては、説明の便宜上、一連の処理として説明したが、伝送遅延情報に基づいて参照面候補間隔を変更するステップS23及びS24の処理は、その他のステップS21、S22、及び、S25乃至S28の処理とは独立して実行することができる。符号化部72は、参照面候補間隔が変更された次の参照面候補の更新から、変更された参照面候補の保持方法で保存すればよい。
また、上述した例では、参照面候補数は変更しないこととして説明したが、伝送遅延情報に基づいて、参照面候補数も変更してもよい。その場合、伝送遅延時間が短い場合は、参照面候補数は減少され、伝送遅延時間が長い場合は、参照面候補数は増加される。
さらに、上述した例では、参照ピクチャとして1枚の画像のみを使用して符号化する例について説明したが、記憶部73に記憶されている参照面候補のなかから複数の画像を参照ピクチャとして選択し、符号化してもよい。
<6.送信先が複数存在する場合の受信エラー制御例>
上述した例では、符号化装置51が生成した動画像のビットストリームを送信する送信先が1つの復号装置52である例について説明したが、以下では、送信先の復号装置52が複数存在する場合の受信エラー復帰のための制御例について説明する。
上述した例では、符号化装置51が生成した動画像のビットストリームを送信する送信先が1つの復号装置52である例について説明したが、以下では、送信先の復号装置52が複数存在する場合の受信エラー復帰のための制御例について説明する。
図8は、符号化装置51が生成した動画像のビットストリームを、復号装置52-1乃至52-3の3つに送信する例を示している。
動画像のビットストリームが3つの送信先それぞれに伝送される伝送経路は、遅延時間の短い経路もあれば、長い経路もあり得るため、各復号装置52の伝送遅延時間は同一であるとは限らない。図8の例では、復号装置52-1乃至52-3の伝送遅延時間を“Delay”として示している。復号装置52-1乃至52-3の伝送遅延時間は、それぞれ、Delay=2、Delay=1、Delay=5であるとする。伝送遅延時間(Delay)の単位は、簡単
のため、フレームとする。
のため、フレームとする。
符号化装置51は、どの復号装置52において受信エラーが発生した場合でもエラーから復帰できるように参照面候補を保持しておく。図8の例の場合、符号化装置51の参照構造制御部71は、参照面候補の保持方法を、伝送遅延時間が最も長いDelay=5に合わせるように制御する。
上述したように、エラー復帰のため時間的に古い画像を参照ピクチャとすることは時間的距離が離れた画像を参照することになるので、画質面で不利になる。エラー復帰のため生成したビットストリームは、全ての送信先に送信されるため、参照ピクチャとして時間的に古い画像に巻き戻すフレーム数は少ない方が良い。
例えば、復号装置52-1への伝送経路においてエラーが発生し、復号装置52-1からエラー通知が送信されてきた場合、符号化装置51の参照構造制御部71は、少なくとも2フレームより前の参照面候補を参照ピクチャとするようにエラー復帰参照面候補指示を符号化部72に供給する。また例えば、復号装置52-3への伝送経路においてエラーが発生し、復号装置52-3からエラー通知が送信されてきた場合、符号化装置51の参照構造制御部71は、少なくとも5フレームより前の参照面候補を参照ピクチャとするようにエラー復帰参照面候補指示を符号化部72に供給する。
以上のように、符号化装置51の参照構造制御部71は、送信先である複数の復号装置52それぞれから伝送遅延情報を取得し、伝送遅延時間が最も長い伝送遅延情報に合わせて参照面候補の保持方法を決定する。そして、エラーが発生した復号装置52の伝送遅延時間に応じて参照ピクチャを切り替えるように制御することにより、画質の劣化を抑えつつ、エラーから復帰することができる。
配信の途中で、所定の復号装置52が送信先から削除されたり、逆に、新たな送信先が追加されたりした場合には、配信対象全体における伝送遅延時間の最大値も変化するので、符号化装置51は、参照面候補の保持方法も変更する。
図9は、送信先の追加または削除が発生した場合の参照面候補間隔の動的制御例を示している。図9においては、送信対象の複数の復号装置52の伝送遅延時間(Delay)のうち、最大の伝送遅延時間には矩形の枠が付されている。図9の例では、参照面候補数は変更せず、固定値(例えば「4」)とする。
図9の上段(破線より上側)の左側の状態では、送信先として、復号装置52-1乃至52-3の3つが存在する。復号装置52-1乃至52-3の伝送遅延時間は、それぞれ、Delay=1、Delay=8、Delay=4である。最大の伝送遅延時間は、復号装置52-2のDelay=8であり、符号化装置51の参照構造制御部71は、最大の伝送遅延時間であるDelay=8に合わせて、参照面候補間隔を「5」に設定している。
その後、送信先から復号装置52-2が削除された場合、図9の上段の右側のように、送信先は、復号装置52-1及び52-3の2つとなり、最大の伝送遅延時間は、復号装置52-3のDelay=4となる。符号化装置51の参照構造制御部71は、最大の伝送遅延時間であるDelay=4に合わせて、参照面候補間隔を「3」に変更する。
図9の下段(破線より下側)の左側の状態は、図9の上段の右側と同じ状態を示している。すなわち、送信先が復号装置52-1及び52-3の2つであり、最大の伝送遅延時間は、復号装置52-3のDelay=4であり、参照面候補間隔は「3」に設定されている。
その後、図9の下段の右側のように、送信先として新たに復号装置52-4が参加された。送信先は、復号装置52-1、52-3、及び、52-4の3つとなり、最大の伝送遅延時間は、復号装置52-4のDelay=6となった。この場合、符号化装置51の参照構造制御部71は、最大の伝送遅延時間であるDelay=6に合わせて、参照面候補間隔を「4」に変更する。
以上のように、符号化装置51の参照構造制御部71は、送信先の増加または減少の少なくとも一方を含む送信先の変化が発生したか否かを判定し、現在の各送信先から伝送遅延情報を取得することにより伝送遅延時間を判定する。参照構造制御部71は、送信先の変化が発生したと判定された場合や、伝送遅延時間が変更された場合に、参照面候補間隔を更新する。
上述した例では、参照面候補数は変更せずに固定値として、送信先の伝送遅延状況に応じて参照面候補間隔のみを変更する例について説明した。しかしながら、送信先の伝送遅延状況に応じて、参照面候補数も変更してもよい。例えば、参照面候補間隔の最大値を決定しておき、参照面候補間隔が最大値に設定されている状態で、伝送遅延時間がさらに大きくなった場合、参照構造制御部71は、参照面候補数を変更するように制御する。例えば、参照面候補間隔の最大値が「4」であり、図9の下段の右側に示される復号装置52-1、52-3、及び、52-4において、復号装置52-4の伝送遅延時間が、Delay=6からDelay=8に変更された場合、参照構造制御部71は、参照面候補間隔を「4」のまま維持し、参照面候補数を現在の「4」から「5」に変更する。参照面候補間隔が大きくなると、エラー復帰時に時間的距離の長い画像を参照ピクチャとすることになる。このように参照面候補間隔と参照面候補数の両方を制御対象として、参照面候補間隔が所定値に到達している場合には、参照面候補数を増大させることで、エラーが発生した送信先によっては、参照ピクチャとして、時間的距離の短い画像を選択可能となる。
参照構造制御部71は、送信先の伝送遅延状況に応じて参照面候補数を段階的に固定値として設定し、固定された参照面候補数において送信先の伝送遅延状況に応じて参照面候補間隔を制御してもよい。例えば、各送信先の伝送遅延時間が「1乃至5」の範囲内の場合は参照面候補数を「4」に設定し、各送信先の伝送遅延時間が「6乃至10」の範囲内の場合は参照面候補数を「5」に設定し、設定された参照面候補数において、さらに伝送遅延状況に応じて参照面候補間隔を制御してもよい。
<7.送信先の伝送遅延状況に偏りがある場合の参照面保持制御の例>
ところで、送信先として複数の復号装置52が存在する場合、各送信先の遅延状況に偏りがある場合があり得る。また、伝送経路の信頼性にばらつきがある場合もあり得る。
ところで、送信先として複数の復号装置52が存在する場合、各送信先の遅延状況に偏りがある場合があり得る。また、伝送経路の信頼性にばらつきがある場合もあり得る。
図10は、複数の送信先の伝送遅延時間と伝送経路の信頼性にばらつきがある場合の例を示している。
図10の例では、送信先として復号装置52-1乃至52-NのN台(N>1)が存在する。符号化装置51は、生成した動画像のビットストリームを、ネットワーク53を介して、復号装置52-1乃至52-Nに送信する。復号装置52-1に対する伝送遅延時間はDelay=1であり、復号装置52-1までの伝送経路の信頼性を表すエラー率はE1である。復号装置52-2に対する伝送遅延時間はDelay=2であり、復号装置52-2までの伝送経路の信頼性を表すエラー率はE2である。復号装置52-Nに対する伝送遅延時間はDelay=10であり、復号装置52-Nまでの伝送経路の信頼性を表すエラー率はEnである。
伝送遅延時間及び伝送経路の信頼性に関して、N台の復号装置52-1乃至52-Nは、伝送遅延時間が短いグループと長いグループの2つのグループに分けられるとする。例えば、第1のグループは、復号装置52-1乃至52-K(0<K<N)で構成され、伝送遅延時間がDelay=1または2の短いグループである。第2のグループは、復号装置52-(K+1)乃至52-Nで構成され、伝送遅延時間がDelay=9または10の長いグループである。伝送経路の信頼性については、伝送遅延時間が短い第1のグループのエラー率が低く、伝送遅延時間が長い第2のグループのエラー率が高い場合と、反対に、伝送遅延時間が短い第1のグループのエラー率が高く、伝送遅延時間が長い第2のグループのエラー率が低い場合があり得る。
このように、複数の送信先の伝送遅延時間と伝送経路の信頼性にばらつきがある場合、伝送遅延時間の最大値のみに着目して、参照面候補間隔の値を決めてしまうと、遅延時間の短い経路で発生したエラーに対する復帰画像の品質が悪化する懸念がある。すなわち、本来は時間的距離の近い画像を参照ピクチャとして使用することが望ましいが、最大の伝送遅延時間に応じて参照面候補間隔の値を決定しているために、時間的距離の遠い画像を参照ピクチャとして使用せざるを得ない状態が発生し、結果として、エラー復帰時の画像の品質が悪化する可能性がある。
このような懸念に対して、符号化装置51は、参照面候補の保持方法を以下のように制御することで、エラー復帰時の画像の品質悪化を防止することができる。
具体的には、符号化装置51の参照構造制御部71は、参照面候補間隔と参照面候補数を、伝送遅延時間が短い第1のグループと、伝送遅延時間が長い第2のグループのそれぞれに対応する2種類の値を保持するように制御する。以下、第1のグループの参照面候補間隔と参照面候補数を、第1参照面候補間隔と第1参照面候補数と称し、第2のグループの参照面候補間隔と参照面候補数を、第2参照面候補間隔と第2参照面候補数と称する。
図11のAは、伝送遅延時間が短い第1のグループの送信先が多く、それらの伝送経路のエラー率が高い、一方、伝送遅延時間が長い第2のグループの送信先が少なく、それらの伝送経路のエラー率が低い場合の制御例を示している。
参照構造制御部71は、例えば、伝送遅延時間が短い第1のグループの第1参照面候補間隔を「0」、第1参照面候補数を「3」とし、伝送遅延時間が長い第2のグループの第2参照面候補間隔を「5」、第2参照面候補数を「2」とする参照面制御情報を、符号化部72に供給する。
カレントピクチャが画像P16の場合、記憶部73には、参照面候補として、画像P1,P7、及びP13乃至P15が記憶されている。画像P13乃至P15の3枚は、伝送遅延時間が短い第1のグループのための参照面候補であり、画像P1及びP7の2枚は、伝送遅延時間が長い第2のグループのための参照面候補である。画像P13乃至P15は、参照面候補間隔が第1参照面候補間隔「0」、参照面候補数が第1参照面候補数「3」に対応する。画像P1及びP7は、参照面候補間隔が第2参照面候補間隔「5」、参照面候補数が第2参照面候補数「2」に対応する。
図11のBは、伝送遅延時間が短い第1のグループの送信先が多く、それらの伝送経路のエラー率が低い、一方、伝送遅延時間が長い第2のグループの送信先が少なく、それらの伝送経路のエラー率が高い場合の制御例を示している。
参照構造制御部71は、例えば、伝送遅延時間が短い第1のグループの第1参照面候補間隔を「1」、第1参照面候補数を「2」とし、伝送遅延時間が長い第2のグループの第2参照面候補間隔を「3」、第2参照面候補数を「3」とする参照面制御情報を、符号化部72に供給する。
カレントピクチャが画像P16の場合、記憶部73には、参照面候補として、画像P1,P5,P9,P13、及びP15が記憶されている。画像P13及びP15の2枚は、伝送遅延時間が短い第1のグループのための参照面候補であり、画像P1,P5、及びP9の3枚は、伝送遅延時間が長い第2のグループのための参照面候補である。画像P13及びP15は、参照面候補間隔が第1参照面候補間隔「1」、参照面候補数が第1参照面候補数「2」に対応する。画像P1,P5、及びP9は、参照面候補間隔が第2参照面候補間隔「3」、参照面候補数が第2参照面候補数「3」に対応する。
以上のように、参照構造制御部71は、低遅延の送信先である第1のグループと、高遅延の送信先である第2のグループのうち、エラー率の高い(信頼性の低い)グループの参照面候補数が多く、エラー率の低い(信頼性の高い)グループの参照面候補数が少なくなるように、第1及び第2参照面候補数を制御する。第1及び第2参照面候補間隔は、各グループの伝送遅延時間に応じて設定される。
これにより、伝送遅延時間が短いグループでエラーが発生した場合には、時間的距離の短い画像を参照ピクチャとして使用することができ、伝送遅延時間が長いグループでエラーが発生した場合にも、エラー復帰に対処することができる。
なお、上述した例は、複数の送信先を2つのグループに分け、2種類の参照面候補間隔と参照面候補数を決定する例であるが、送信先の個数または偏り具合によっては、複数の送信先を3つ以上のグループに分け、グループ数に応じた数の参照面候補間隔と参照面候補数を決定してもよい。
<8.まとめ>
以上のように、符号化装置51において、参照構造制御部71が、送信先である復号装置52の動画像のビットストリームの伝送遅延状況を監視し、伝送遅延状況に応じて符号化部72の参照面候補の保持方法を動的に制御することで、最低限の画質劣化でエラーから復帰させることが可能になる。エラー復帰のために参照面候補を冗長に保持することを防止することができ、参照面候補を記憶するフレームメモリである記憶部73の容量を削減することができる。伝送遅延時間が変動した場合には、それに応じて参照面候補間隔と参照面候補数を変更することで、フレームメモリを節約しつつ、適切な参照面候補を選択することができ、エラーから復帰させることができる。
以上のように、符号化装置51において、参照構造制御部71が、送信先である復号装置52の動画像のビットストリームの伝送遅延状況を監視し、伝送遅延状況に応じて符号化部72の参照面候補の保持方法を動的に制御することで、最低限の画質劣化でエラーから復帰させることが可能になる。エラー復帰のために参照面候補を冗長に保持することを防止することができ、参照面候補を記憶するフレームメモリである記憶部73の容量を削減することができる。伝送遅延時間が変動した場合には、それに応じて参照面候補間隔と参照面候補数を変更することで、フレームメモリを節約しつつ、適切な参照面候補を選択することができ、エラーから復帰させることができる。
送信先が1つではなく、複数の場合においても、送信先の増加または減少の少なくとも一方を含む送信先の変化を監視し、最も長い伝送遅延時間に合わせて参照面候補の保持方法を決定することで、少ないフレームメモリで、最適な参照面候補を選択してエラーから復帰することができる。送信先の伝送遅延状況に偏りがある場合には、参照面候補間隔と参照面候補数を複数保有することで、伝送遅延時間が短い送信先と、伝送遅延時間が長い送信先それぞれに適切な参照面候補を選択することができ、エラーから復帰させることができる。
復号装置52は、受信する動画像のビットストリームの伝送遅延状況を符号化装置51に送信することで、受信したビットストリームにエラーが発生した場合であっても、自身の伝送遅延状況に適切な参照ピクチャが選択されて符号化されたビットストリームを受信することができる。換言すれば、最低限の画質劣化に抑えてエラーから復帰することができる。また、伝送遅延時間に合わせて時間的距離の短い画像が参照ピクチャとされるので、参照面候補を記憶するフレームメモリである記憶部93の容量を削減することができる。
従って、図4の画像処理システム50は、低遅延のビットストリーム配信において、保持する参照面候補の数を削減することによりフレームメモリを節約し、かつ、画質劣化を抑えることができる。
<9.コンピュータ構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図12は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、及びドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部107は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部108は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111を駆動する。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア111に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。従って、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
本開示の技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本開示の技術は、以下の構成を取ることができる。
(1)
符号化対象である動画像の所定の画像より前に符号化した複数の画像を、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶させ、前記参照面候補である前記複数の画像のいずれかを参照ピクチャとして、前記所定の画像を符号化する符号化部を備える
符号化装置。
(2)
前記符号化部は、前記参照面制御情報として、前記記憶部に記憶させる画像どうしの間隔を表す参照面候補間隔を前記外部から取得し、前記参照面候補間隔に基づいて前記参照面候補を決定する
前記(1)に記載の符号化装置。
(3)
前記符号化部は、前記参照面制御情報として、前記記憶部に記憶させる画像の枚数を表す参照面候補数を前記外部から取得し、前記参照面候補間隔及び前記参照面候補数に基づいて前記参照面候補を決定する
前記(2)に記載の符号化装置。
(4)
前記符号化部は、前記参照面候補として前記記憶部に記憶されている前記複数の画像のなかから、前記所定の画像に対して時間的距離の最も近い画像を参照ピクチャとして選択し、符号化する
前記(1)乃至(3)のいずれかに記載の符号化装置。
(5)
前記符号化部は、前記外部から、所定の参照面候補を指示する参照面候補指示が供給された場合、前記参照面候補指示に基づいて前記記憶部に記憶されている前記複数の画像のなかの一つを参照ピクチャとして選択し、符号化する
前記(1)乃至(4)のいずれかに記載の符号化装置。
(6)
前記参照面候補指示は、前記記憶部に記憶されている前記複数の画像のなかの所定の画像を、前記参照面候補から除外する指示を含む
前記(5)に記載の符号化装置。
(7)
前記参照面候補指示は、前記記憶部に記憶されている前記複数の画像のなかから、参照ピクチャとして選択可能な画像を指定する指示を含む
前記(5)に記載の符号化装置。
(8)
前記符号化部は、AVC方式により、前記所定の画像を符号化し、
参照ピクチャの選択方法は、MMCOコマンドを用いて送信先である復号装置へ通知される
前記(5)に記載の符号化装置。
(9)
前記符号化部は、HEVC方式により、前記所定の画像を符号化し、
参照ピクチャの選択方法は、RPSを用いて送信先である復号装置へ通知される
前記(5)に記載の符号化装置。
(10)
符号化装置が、
符号化対象である動画像の所定の画像より前に符号化した複数の画像を、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶させ、前記参照面候補である前記複数の画像のいずれかを参照ピクチャとして、前記所定の画像を符号化する
符号化方法。
(11)
動画像を符号化したビットストリームを送信する送信先からの伝送遅延情報に基づいて、符号化対象である前記動画像の所定の画像より前に符号化した複数の画像のいずれを参照面候補として記憶部に記憶させるかを制御する参照面制御情報を決定し、前記所定の画像を符号化する符号化部に供給する制御部を備える
符号化装置。
(12)
前記制御部は、前記記憶部に記憶させる画像どうしの間隔を表す参照面候補間隔を、前記参照面制御情報として、前記符号化部に供給する
前記(11)に記載の符号化装置。
(13)
前記制御部は、前記記憶部に記憶させる画像の枚数を表す参照面候補数を、前記参照面制御情報として、前記符号化部に供給する
前記(12)に記載の符号化装置。
(14)
前記制御部は、前記伝送遅延情報としての伝送遅延時間が短い場合、前記参照面候補間隔を減少させ、伝送遅延時間が長い場合、前記参照面候補間隔を増加させる
前記(12)または(13)に記載の符号化装置。
(15)
前記制御部は、前記参照面候補間隔が最大値に設定されている状態で、伝送遅延時間がさらに大きくなった場合、前記記憶部に記憶させる画像の枚数である参照面候補数を変更する
前記(12)乃至(14)のいずれかに記載の符号化装置。
(16)
前記制御部は、送信先が複数存在する場合、複数の送信先それぞれから前記伝送遅延情報を取得し、遅延時間が最も長い伝送遅延情報に合わせて前記参照面制御情報を決定する
前記(11)乃至(15)のいずれかに記載の符号化装置。
(17)
前記制御部は、送信先の増加または減少の少なくとも一方を含む送信先の変化が発生したか否かを判定し、前記送信先の変化が発生したという判定に基づいて前記参照面制御情報を更新する
前記(11)乃至(16)のいずれかに記載の符号化装置。
(18)
前記制御部は、低遅延の送信先と高遅延の送信先の、少なくとも2種類の前記参照面制御情報を決定し、前記符号化部に供給する
前記(11)乃至(17)のいずれかに記載の符号化装置。
(19)
前記制御部は、エラーが発生したことを示すエラー通知を送信先から受け取った場合、前記エラーが発生した画像より前の前記参照面候補の画像を参照ピクチャとして選択するための参照面候補指示を、前記符号化部に供給する
前記(11)乃至(18)のいずれかに記載の符号化装置。
(20)
符号化装置が、
動画像を符号化したビットストリームを送信する送信先からの伝送遅延情報に基づいて、符号化対象である前記動画像の所定の画像より前に符号化した複数の画像のいずれを参照面候補として記憶部に記憶させるかを制御する参照面制御情報を決定し、前記所定の画像を符号化する符号化部に供給する
符号化方法。
(1)
符号化対象である動画像の所定の画像より前に符号化した複数の画像を、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶させ、前記参照面候補である前記複数の画像のいずれかを参照ピクチャとして、前記所定の画像を符号化する符号化部を備える
符号化装置。
(2)
前記符号化部は、前記参照面制御情報として、前記記憶部に記憶させる画像どうしの間隔を表す参照面候補間隔を前記外部から取得し、前記参照面候補間隔に基づいて前記参照面候補を決定する
前記(1)に記載の符号化装置。
(3)
前記符号化部は、前記参照面制御情報として、前記記憶部に記憶させる画像の枚数を表す参照面候補数を前記外部から取得し、前記参照面候補間隔及び前記参照面候補数に基づいて前記参照面候補を決定する
前記(2)に記載の符号化装置。
(4)
前記符号化部は、前記参照面候補として前記記憶部に記憶されている前記複数の画像のなかから、前記所定の画像に対して時間的距離の最も近い画像を参照ピクチャとして選択し、符号化する
前記(1)乃至(3)のいずれかに記載の符号化装置。
(5)
前記符号化部は、前記外部から、所定の参照面候補を指示する参照面候補指示が供給された場合、前記参照面候補指示に基づいて前記記憶部に記憶されている前記複数の画像のなかの一つを参照ピクチャとして選択し、符号化する
前記(1)乃至(4)のいずれかに記載の符号化装置。
(6)
前記参照面候補指示は、前記記憶部に記憶されている前記複数の画像のなかの所定の画像を、前記参照面候補から除外する指示を含む
前記(5)に記載の符号化装置。
(7)
前記参照面候補指示は、前記記憶部に記憶されている前記複数の画像のなかから、参照ピクチャとして選択可能な画像を指定する指示を含む
前記(5)に記載の符号化装置。
(8)
前記符号化部は、AVC方式により、前記所定の画像を符号化し、
参照ピクチャの選択方法は、MMCOコマンドを用いて送信先である復号装置へ通知される
前記(5)に記載の符号化装置。
(9)
前記符号化部は、HEVC方式により、前記所定の画像を符号化し、
参照ピクチャの選択方法は、RPSを用いて送信先である復号装置へ通知される
前記(5)に記載の符号化装置。
(10)
符号化装置が、
符号化対象である動画像の所定の画像より前に符号化した複数の画像を、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶させ、前記参照面候補である前記複数の画像のいずれかを参照ピクチャとして、前記所定の画像を符号化する
符号化方法。
(11)
動画像を符号化したビットストリームを送信する送信先からの伝送遅延情報に基づいて、符号化対象である前記動画像の所定の画像より前に符号化した複数の画像のいずれを参照面候補として記憶部に記憶させるかを制御する参照面制御情報を決定し、前記所定の画像を符号化する符号化部に供給する制御部を備える
符号化装置。
(12)
前記制御部は、前記記憶部に記憶させる画像どうしの間隔を表す参照面候補間隔を、前記参照面制御情報として、前記符号化部に供給する
前記(11)に記載の符号化装置。
(13)
前記制御部は、前記記憶部に記憶させる画像の枚数を表す参照面候補数を、前記参照面制御情報として、前記符号化部に供給する
前記(12)に記載の符号化装置。
(14)
前記制御部は、前記伝送遅延情報としての伝送遅延時間が短い場合、前記参照面候補間隔を減少させ、伝送遅延時間が長い場合、前記参照面候補間隔を増加させる
前記(12)または(13)に記載の符号化装置。
(15)
前記制御部は、前記参照面候補間隔が最大値に設定されている状態で、伝送遅延時間がさらに大きくなった場合、前記記憶部に記憶させる画像の枚数である参照面候補数を変更する
前記(12)乃至(14)のいずれかに記載の符号化装置。
(16)
前記制御部は、送信先が複数存在する場合、複数の送信先それぞれから前記伝送遅延情報を取得し、遅延時間が最も長い伝送遅延情報に合わせて前記参照面制御情報を決定する
前記(11)乃至(15)のいずれかに記載の符号化装置。
(17)
前記制御部は、送信先の増加または減少の少なくとも一方を含む送信先の変化が発生したか否かを判定し、前記送信先の変化が発生したという判定に基づいて前記参照面制御情報を更新する
前記(11)乃至(16)のいずれかに記載の符号化装置。
(18)
前記制御部は、低遅延の送信先と高遅延の送信先の、少なくとも2種類の前記参照面制御情報を決定し、前記符号化部に供給する
前記(11)乃至(17)のいずれかに記載の符号化装置。
(19)
前記制御部は、エラーが発生したことを示すエラー通知を送信先から受け取った場合、前記エラーが発生した画像より前の前記参照面候補の画像を参照ピクチャとして選択するための参照面候補指示を、前記符号化部に供給する
前記(11)乃至(18)のいずれかに記載の符号化装置。
(20)
符号化装置が、
動画像を符号化したビットストリームを送信する送信先からの伝送遅延情報に基づいて、符号化対象である前記動画像の所定の画像より前に符号化した複数の画像のいずれを参照面候補として記憶部に記憶させるかを制御する参照面制御情報を決定し、前記所定の画像を符号化する符号化部に供給する
符号化方法。
50 画像処理システム, 51 符号化装置, 52 復号装置, 53 ネットワーク, 71 参照構造制御部, 72 符号化部, 73 記憶部, 74 送信部, 75 受信部, 91 受信部, 92 復号部, 93 記憶部, 94 送信部, 101 CPU, 102 ROM, 103 RAM, 106 入力部, 107 出力部, 108 記憶部, 109 通信部, 110 ドライブ
Claims (20)
- 符号化対象である動画像の所定の画像より前に符号化した複数の画像を、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶させ、前記参照面候補である前記複数の画像のいずれかを参照ピクチャとして、前記所定の画像を符号化する符号化部を備える
符号化装置。 - 前記符号化部は、前記参照面制御情報として、前記記憶部に記憶させる画像どうしの間隔を表す参照面候補間隔を前記外部から取得し、前記参照面候補間隔に基づいて前記参照面候補を決定する
請求項1に記載の符号化装置。 - 前記符号化部は、前記参照面制御情報として、前記記憶部に記憶させる画像の枚数を表す参照面候補数を前記外部から取得し、前記参照面候補間隔及び前記参照面候補数に基づいて前記参照面候補を決定する
請求項2に記載の符号化装置。 - 前記符号化部は、前記参照面候補として前記記憶部に記憶されている前記複数の画像のなかから、前記所定の画像に対して時間的距離の最も近い画像を参照ピクチャとして選択し、符号化する
請求項1に記載の符号化装置。 - 前記符号化部は、前記外部から、所定の参照面候補を指示する参照面候補指示が供給された場合、前記参照面候補指示に基づいて前記記憶部に記憶されている前記複数の画像のなかの一つを参照ピクチャとして選択し、符号化する
請求項1に記載の符号化装置。 - 前記参照面候補指示は、前記記憶部に記憶されている前記複数の画像のなかの所定の画像を、前記参照面候補から除外する指示を含む
請求項5に記載の符号化装置。 - 前記参照面候補指示は、前記記憶部に記憶されている前記複数の画像のなかから、参照ピクチャとして選択可能な画像を指定する指示を含む
請求項5に記載の符号化装置。 - 前記符号化部は、AVC方式により、前記所定の画像を符号化し、
参照ピクチャの選択方法は、MMCOコマンドを用いて送信先である復号装置へ通知される
請求項5に記載の符号化装置。 - 前記符号化部は、HEVC方式により、前記所定の画像を符号化し、
参照ピクチャの選択方法は、RPSを用いて送信先である復号装置へ通知される
請求項5に記載の符号化装置。 - 符号化装置が、
符号化対象である動画像の所定の画像より前に符号化した複数の画像を、外部から供給される参照面制御情報に基づいて参照面候補として記憶部に記憶させ、前記参照面候補である前記複数の画像のいずれかを参照ピクチャとして、前記所定の画像を符号化する
符号化方法。 - 動画像を符号化したビットストリームの送信先からの伝送遅延情報に基づいて、符号化対象である前記動画像の所定の画像より前に符号化した複数の画像のいずれを参照面候補として記憶部に記憶させるかを制御する参照面制御情報を決定し、前記所定の画像を符号化する符号化部に供給する制御部を備える
符号化装置。 - 前記制御部は、前記記憶部に記憶させる画像どうしの間隔を表す参照面候補間隔を、前記参照面制御情報として、前記符号化部に供給する
請求項11に記載の符号化装置。 - 前記制御部は、前記記憶部に記憶させる画像の枚数を表す参照面候補数を、前記参照面制御情報として、前記符号化部に供給する
請求項12に記載の符号化装置。 - 前記制御部は、前記伝送遅延情報としての伝送遅延時間が短い場合、前記参照面候補間隔を減少させ、伝送遅延時間が長い場合、前記参照面候補間隔を増加させる
請求項12に記載の符号化装置。 - 前記制御部は、前記参照面候補間隔が最大値に設定されている状態で、伝送遅延時間がさらに大きくなった場合、前記記憶部に記憶させる画像の枚数である参照面候補数を変更する
請求項12に記載の符号化装置。 - 前記制御部は、送信先が複数存在する場合、複数の送信先それぞれから前記伝送遅延情報を取得し、遅延時間が最も長い伝送遅延情報に合わせて前記参照面制御情報を決定する
請求項11に記載の符号化装置。 - 前記制御部は、送信先の増加または減少の少なくとも一方を含む送信先の変化が発生したか否かを判定し、前記送信先の変化が発生したという判定に基づいて前記参照面制御情報を更新する
請求項11に記載の符号化装置。 - 前記制御部は、低遅延の送信先と高遅延の送信先の、少なくとも2種類の前記参照面制御情報を決定し、前記符号化部に供給する
請求項11に記載の符号化装置。 - 前記制御部は、エラーが発生したことを示すエラー通知を送信先から受け取った場合、前記エラーが発生した画像より前の前記参照面候補の画像を参照ピクチャとして選択するための参照面候補指示を、前記符号化部に供給する
請求項11に記載の符号化装置。 - 符号化装置が、
動画像を符号化したビットストリームの送信先からの伝送遅延情報に基づいて、符号化対象である前記動画像の所定の画像より前に符号化した複数の画像のいずれを参照面候補として記憶部に記憶させるかを制御する参照面制御情報を決定し、前記所定の画像を符号化する符号化部に供給する
符号化方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022036866 | 2022-03-10 | ||
JP2022-036866 | 2022-03-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023171376A1 true WO2023171376A1 (ja) | 2023-09-14 |
Family
ID=87935052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/006371 WO2023171376A1 (ja) | 2022-03-10 | 2023-02-22 | 符号化装置及び符号化方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023171376A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008527811A (ja) * | 2005-01-10 | 2008-07-24 | 株式会社エヌ・ティ・ティ・ドコモ | 一連のフレームを予測的にコード化する装置 |
WO2008124409A2 (en) * | 2007-04-09 | 2008-10-16 | Cisco Technology, Inc. | Long term reference frame management with error feedback for compressed video communication |
JP2012521720A (ja) * | 2009-03-23 | 2012-09-13 | オンライブ インコーポレイテッド | ビデオコンテンツの首尾良い受信に関連したデータを含むフィードバックを使用してビデオを圧縮するシステム及び方法 |
-
2023
- 2023-02-22 WO PCT/JP2023/006371 patent/WO2023171376A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008527811A (ja) * | 2005-01-10 | 2008-07-24 | 株式会社エヌ・ティ・ティ・ドコモ | 一連のフレームを予測的にコード化する装置 |
WO2008124409A2 (en) * | 2007-04-09 | 2008-10-16 | Cisco Technology, Inc. | Long term reference frame management with error feedback for compressed video communication |
JP2012521720A (ja) * | 2009-03-23 | 2012-09-13 | オンライブ インコーポレイテッド | ビデオコンテンツの首尾良い受信に関連したデータを含むフィードバックを使用してビデオを圧縮するシステム及び方法 |
Non-Patent Citations (4)
Title |
---|
FUKUNAGA SHIGERU, NAKAI TOSHIHISA: "Inter Frame Coded Video Communication through Non − Guaranteed QOS Network", IEICE TECHNICAL RESEARCH REPORT, 21 September 1995 (1995-09-21), pages 9 - 14, XP093089599 * |
HIDEAKI KIMATA, Z. YASHIMA, N. KOBAYASHI: "Real Time Error Resilient Video Objects Distribution Method Based on Reference Picture Selection", THE JOURNAL OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS., vol. J85-B, no. 2, 1 February 2002 (2002-02-01), pages 288 - 298, XP009548578 * |
KIMATA H., YASHIMA Y., KOBAYASHI N.: "A study of key-frame reference picture selection method for error resilient multiple video objects distribution", MULTIMEDIA AND EXPO, 2000. ICME 2000. 2000 IEEE INTERNATIONAL CONFEREN CE ON NEW YORK, NY, USA 30 JULY-2 AUG. 2000, PISCATAWAY, NJ, USA,IEEE, US, vol. 3, 30 July 2000 (2000-07-30) - 2 August 2000 (2000-08-02), US , pages 1479 - 1482, XP010512784, ISBN: 978-0-7803-6536-0, DOI: 10.1109/ICME.2000.871047 * |
YANG, Tianwu et al. An adaptive key-frame reference picture selection algorithm for video transmission via error prone networks [online]. Proceedings Autonomous Decentralized Systems, 2005. ISADS 2005. 20 June 2005 [retrieved on 21 April 2023], pp. 367-371, Retrieved from the internet: <URL: https://ieeexplore.ieee.org/document/1452089/citations?tabFilter=papers#citations>, <DOI:10.1109/ISADS.2005.1452089> * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11102500B2 (en) | Tracking a reference picture on an electronic device | |
JP6626919B2 (ja) | 動画像ビットストリームを復号するための方法、および電子デバイス | |
US20200128276A1 (en) | Random access in a video bitstream | |
KR102058759B1 (ko) | 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법 | |
US7346216B2 (en) | Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program | |
US10230972B2 (en) | Device for signaling a long-term reference picture in a parameter set | |
US8787688B2 (en) | Tracking a reference picture based on a designated picture on an electronic device | |
JP4790446B2 (ja) | 動画像復号装置及び動画像符号化装置 | |
US20150085939A1 (en) | Devices for sending and receiving a long-term reference picture indicator | |
US20130108248A1 (en) | Implementing channel start and file seek for decoder | |
US8340180B2 (en) | Camera coupled reference frame | |
US20130170547A1 (en) | Video transmission apparatus and control method for video transmission apparatus | |
WO2023171376A1 (ja) | 符号化装置及び符号化方法 | |
US20130101030A1 (en) | Transmission of video data | |
JP2009302740A (ja) | 受信エラー補完型受信機及びプログラム | |
JP2013110549A (ja) | 動画像符号化装置および動画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23766554 Country of ref document: EP Kind code of ref document: A1 |