WO2017033560A1 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents
動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム Download PDFInfo
- Publication number
- WO2017033560A1 WO2017033560A1 PCT/JP2016/069021 JP2016069021W WO2017033560A1 WO 2017033560 A1 WO2017033560 A1 WO 2017033560A1 JP 2016069021 W JP2016069021 W JP 2016069021W WO 2017033560 A1 WO2017033560 A1 WO 2017033560A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- moving image
- block
- pixel value
- image
- dividing
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Definitions
- the present invention relates to a video encoding device, a video decoding device, a video encoding method, a video decoding method, and a program.
- Patent Documents 1 and 2 propose a method for suppressing pseudo contours.
- a moving image encoding apparatus that encodes a moving image to generate encoded data extracts the change direction of brightness for each block obtained by dividing the moving image.
- pixel value control means for controlling the pixel value of the locally decoded image based on the brightness change direction extracted by the extraction means for each block obtained by dividing the moving image.
- FIG. 1 is a block diagram of a moving image processing system according to an embodiment. It is a block diagram of the moving image encoder which concerns on one Embodiment. It is a block diagram of the moving image decoding apparatus which concerns on one Embodiment. 1 is a block diagram of a moving image processing system according to an embodiment. It is a block diagram of the moving image encoder which concerns on one Embodiment. It is a block diagram of the moving image decoding apparatus which concerns on one Embodiment. 1 is a block diagram of a moving image processing system according to an embodiment. It is a block diagram of the moving image encoder which concerns on one Embodiment. It is a block diagram of the moving image decoding apparatus which concerns on one Embodiment. 1 is a block diagram of a moving image processing system according to an embodiment. It is a block diagram of the moving image encoder which concerns on one Embodiment. It is a block diagram of the moving image decoding apparatus which concerns on one Embodiment. 1 is a block diagram of
- FIG. 1 is a block diagram of a moving image processing system AA according to the present embodiment.
- the moving image processing system AA includes a moving image encoding device 1 that encodes a moving image to generate a bitstream, and a moving image decoding device 100 that decodes the bitstream generated by the moving image encoding device 1. .
- the video encoding device 1 and the video decoding device 100 transmit and receive the above-described bit stream via, for example, a transmission path.
- FIG. 2 is a block diagram of the moving picture encoding apparatus 1.
- the inter prediction unit 10 receives an input image SIG1 and a filtered local decoded image SIG13 (described later) supplied from the buffer unit 90.
- the inter prediction unit 10 performs inter prediction using the input image SIG1 and the filtered local decoded image SIG13 to generate and output an inter prediction image SIG3.
- the intra prediction unit 20 receives an input image SIG1 and a pre-filter local decoded image SIG9 described later. The intra prediction unit 20 performs intra prediction using the input image SIG1 and the pre-filtered local decoded image SIG9 to generate and output an intra predicted image SIG4.
- the transform / quantization unit 30 receives the error (residual) signal SIG6.
- the residual signal SIG6 is a difference signal between the input image SIG1 and the predicted image SIG5, and the predicted image SIG5 is expected to have the highest encoding performance among the inter predicted image SIG3 and the intra predicted image SIG4. This is a predicted image calculated by the predicted method.
- the transform / quantization unit 30 performs orthogonal transform processing on the input residual signal SIG6, performs quantization processing on the transform coefficient obtained by the orthogonal transform processing, and obtains a quantized level value SIG7. Output.
- the entropy encoding unit 40 receives a quantized level value SIG7, a detection result SIG10 described later, and an extraction result SIG11 described later.
- the entropy encoding unit 40 performs entropy encoding on the input signal and outputs it as a bit stream SIG2.
- the inverse transform / inverse quantization unit 50 receives the quantized level value SIG7.
- the inverse transform / inverse quantization unit 50 performs an inverse quantization process on the quantized level value SIG7, performs an inverse orthogonal transform process on a transform coefficient obtained by the inverse quantization process,
- the residual signal SIG8 subjected to inverse orthogonal transform is output.
- the detection unit 60 receives the input image SIG1.
- the input image SIG1 is divided into a plurality of blocks in advance, and the detection unit 60 detects, from the input image SIG1 as a target block, a block in which the fluctuation of the pixel value is small and the brightness is smoothly changed. And it outputs as detection result SIG10.
- the detection unit 60 first obtains an intra-block variation value and an edge value for each block.
- the detection unit 60 When obtaining the intra-block variation value in the prediction target block, the detection unit 60 first obtains the pixel value of each pixel belonging to the prediction target block based on the input image SIG1. Next, a difference between the largest pixel value among the obtained pixel values and the smallest pixel value among the obtained pixel values is calculated and set as an intra-block variation value in the prediction target block.
- the detection unit 60 when obtaining the edge value in the prediction target block, the detection unit 60 first obtains a combination of adjacent pixels from among the pixels belonging to the prediction target block based on the input image SIG1. Next, the pixel value difference between the pixels in each combination is calculated, and the sum of the calculated pixel value differences is calculated as an edge value in the prediction target block.
- the detection unit 60 sets a block size having a garden value, for example, 32 ⁇ 32 or more, an intra-block variation value of 1 or more and less than ⁇ , and an edge value of ⁇ or more as the above-described target block.
- a garden value for example, 32 ⁇ 32 or more
- an intra-block variation value for example, 1 or more and less than ⁇
- an edge value of ⁇ or more as the above-described target block.
- the extraction unit 70 receives the input image SIG1 and the detection result SIG10 as inputs.
- the extraction unit 70 extracts the brightness change direction for each target block detected by the detection unit 60, and outputs the result as the extraction result SIG11.
- the extraction unit 70 first acquires the pixel value of each pixel belonging to the target block based on the input image SIG1 and the detection result SIG10.
- the extraction unit 70 assumes a three-dimensional space, sets the X-axis direction of the three-dimensional space as the horizontal direction of the target block, sets the Y-axis direction of the three-dimensional space as the vertical direction of the target block, and sets Z in the three-dimensional space.
- a plane that approximates the pixel value of each pixel is obtained.
- the above-mentioned plane can be calculated
- the extraction unit 70 extracts the above-described brightness change direction from the obtained inclination of the plane.
- the in-loop filter unit 80 receives the pre-filter local decoded image SIG9, the detection result SIG10, and the extraction result SIG11.
- the pre-filter local decoded image SIG9 is a signal obtained by adding the predicted image SIG5 and the residual signal SIG8 subjected to inverse orthogonal transform.
- the in-loop filter unit 80 performs filtering on the pre-filter local decoded image SIG9 based on the detection result SIG10 and the extraction result SIG11, and generates and outputs a post-filter local decoded image SIG12.
- the in-loop filter unit 80 first determines whether or not the prediction target block is the target block based on the detection result SIG10.
- the in-loop filter unit 80 applies an in-loop filter such as a deblocking filter to the pre-filter local decoded image SIG9 for the prediction target block that is determined not to be the target block, and the post-filter local decoded image SIG12. Output as.
- an in-loop filter such as a deblocking filter
- the post-processing filter An in-loop filter is applied to the pre-local decoded image SIG9 in the same manner as when it is not the target block, and is output as a post-filter local decoded image SIG12.
- the pixel value of each pixel belonging to the target block of the pre-filter local decoded image SIG9 is calculated. Add a random number that reflects the direction of change in brightness.
- the in-loop filter unit 80 first generates one random number from 0 to 1 for each pixel belonging to the target block. Next, for each pixel belonging to the target block, a coefficient that increases with increasing brightness along the direction of change in brightness is set one by one. Next, for each pixel belonging to the target block, the generated random number is multiplied by the set coefficient. Next, the multiplication result is added to the pixel value for each pixel belonging to the target block.
- the buffer unit 90 accumulates the filtered local decoded image SIG12 and appropriately supplies it to the inter prediction unit 10 as the filtered local decoded image SIG13.
- FIG. 3 is a block diagram of the video decoding device 100.
- the entropy decoding unit 110 receives the bit stream SIG2.
- the entropy decoding unit 110 entropy-decodes the bit stream SIG2, performs the quantization coefficient level SIG102, the detection result SIG10 generated by the video encoding device 1, and the extraction result SIG11 generated by the video encoding device 1.
- the inverse transform / inverse quantization unit 120 receives the quantization coefficient level SIG102.
- the inverse transform / inverse quantization unit 120 performs an inverse quantization process on the quantization coefficient level SIG102, performs an inverse orthogonal transform process on a result obtained by the inverse quantization process, and performs a residual signal. Output as SIG103.
- the inter prediction unit 130 receives a filtered local decoded image SIG109 described later supplied from the buffer unit 160 as an input.
- the inter prediction unit 130 performs inter prediction using the filtered local decoded image SIG109 to generate and output an inter predicted image SIG104.
- the intra prediction unit 140 receives the pre-filter local decoded image SIG107.
- the pre-filter local decoded image SIG107 is a signal obtained by adding the residual signal SIG103 and the predicted image SIG106, and the predicted image SIG106 is the highest code among the inter predicted image SIG104 and the intra predicted image SIG105. This is a predicted image calculated by a prediction method in which the conversion performance is expected.
- the intra prediction unit 140 performs intra prediction using the pre-filter local decoded image SIG107 to generate and output an intra predicted image SIG105.
- the in-loop filter unit 150 receives the detection result SIG10, the extraction result SIG11, and the pre-filter local decoded image SIG107. This in-loop filter unit 150 performs filter processing on the pre-filter local decoded image SIG107 based on the detection result SIG10 and the extraction result SIG11 in the same manner as the in-loop filter unit 80 provided in the video encoding device 1. Then, a filtered local decoded image SIG108 is generated and output.
- the in-loop filter unit 150 first determines whether or not the prediction target block is the target block based on the detection result SIG10.
- the in-loop filter unit 150 applies an in-loop filter such as a deblocking filter to the pre-filter local decoded image SIG107 for the prediction target block that is determined not to be the target block, and the post-filter local decoded image SIG108. Output as.
- an in-loop filter such as a deblocking filter
- the post-processing filter An in-loop filter is applied to the previous local decoded image SIG107 in the same manner as in the case where it is not the target block, and is output as a filtered local decoded image SIG108.
- the pixel value of each pixel belonging to the target block of the pre-filter local decoded image SIG107 is calculated. Add a random number that reflects the direction of change in brightness.
- the in-loop filter unit 150 first generates one random number from 0 to 1 for each pixel belonging to the target block. Next, for each pixel belonging to the target block, a coefficient that increases with increasing brightness along the direction of change in brightness is set one by one. Next, for each pixel belonging to the target block, the generated random number is multiplied by the set coefficient. Next, the multiplication result is added to the pixel value for each pixel belonging to the target block.
- the buffer unit 160 accumulates the filtered local decoded image SIG108, appropriately supplies the filtered local decoded image SIG109 as the filtered local decoded image SIG109 to the inter prediction unit 130, and outputs the decoded image SIG101.
- the moving image encoding apparatus 1 For each target block detected by the detection unit 60, the moving image encoding apparatus 1 extracts the brightness change direction by the extraction unit 70, and the brightness extracted by the extraction unit 70 by the in-loop filter unit 80.
- the pixel value of the pre-filter local decoded image SIG9 is controlled based on the change direction of. For this reason, even if the variation of the pixel value of the pre-filtered local decoded image SIG9 is so small that the pseudo contour cannot be suppressed by the method disclosed in Patent Document 1, the filter based on the brightness change direction is used.
- the pseudo contour can be suppressed by controlling the pixel value of the pre-local decoded image SIG9.
- the moving image encoding device 1 extracts the brightness change direction by the extraction unit 70 for each target block detected by the detection unit 60, and the in-loop filter unit 80 extracts the extraction unit. Based on the brightness change direction extracted by 70, the pixel value of the pre-filter local decoded image SIG9 is controlled. For this reason, since it is not necessary to generate a high gradation image unlike the method shown in the above-mentioned patent document 2, an increase in calculation cost can be suppressed.
- the moving image encoding apparatus 1 adds a random number reflecting the change direction of the brightness extracted by the extraction unit 70 to the pixel value of the pre-filter local decoded image SIG9 by the in-loop filter unit 80. . For this reason, in the vicinity of the contour line of the pseudo contour to be suppressed, it is possible to prevent the pixel value from changing regularly along the contour line while considering the brightness change direction. Can be suppressed.
- the moving image encoding apparatus 1 uses the detection unit 60 to detect a block having a block size of 32 ⁇ 32 or more, an intra-block variation value of 1 or more and less than ⁇ , and an edge value of ⁇ or more as the above target block Detect as. Further, for each block detected as a target block by the detection unit 60, extraction of the brightness change direction by the extraction unit 70 and pixels of the pre-filter local decoded image SIG9 based on the brightness change direction by the in-loop filter unit 80 Control the value. For this reason, the detection unit 60 detects a block in which the fluctuation of the pixel value is small and the brightness is smoothly changed, and the processing by the extraction unit 70 and the in-loop filter unit 80 are performed on this block.
- the moving image decoding apparatus 100 entropy-decodes the bitstream SIG2 by the entropy decoding unit 110 to acquire the brightness change direction extracted for each block, and the entropy decoding for each block by the in-loop filter unit 150.
- the pixel value of the pre-filter local decoded image SIG107 is controlled based on the brightness change direction acquired by the unit 110. For this reason, even if the fluctuation of the pixel value of the pre-filtered local decoded image SIG107 is so small that the pseudo contour cannot be suppressed by the method disclosed in Patent Document 1, the filter based on the brightness change direction is used.
- the pseudo contour can be suppressed by controlling the pixel value of the pre-local decoded image SIG107.
- the moving image decoding apparatus 100 entropy-decodes the bitstream SIG2 by the entropy decoding unit 110, acquires the brightness change direction extracted for each block, and the in-loop filter unit 150 For each block, the pixel value of the pre-filter local decoded image SIG107 is controlled based on the change direction of the brightness acquired by the entropy decoding unit 110. For this reason, since it is not necessary to generate a high gradation image unlike the method shown in the above-mentioned patent document 2, an increase in calculation cost can be suppressed.
- the moving image decoding apparatus 100 adds a random number reflecting the brightness change direction acquired by the entropy decoding unit 110 to the pixel value of the pre-filter local decoded image SIG107 by the in-loop filter unit 150. . For this reason, in the vicinity of the contour line of the pseudo contour to be suppressed, it is possible to prevent the pixel value from changing regularly along the contour line while considering the brightness change direction. Can be suppressed.
- FIG. 4 is a block diagram of the moving image processing system BB according to the present embodiment.
- the moving image processing system BB is different from the moving image processing system AA according to the first embodiment of the present invention shown in FIG. 1 in that it includes a moving image encoding device 1A instead of the moving image encoding device 1, and a moving image.
- the difference is that a moving image decoding apparatus 100A is provided instead of the image decoding apparatus 100.
- FIG. 5 is a block diagram of the video encoding apparatus 1A.
- the moving image encoding device 1A is different from the moving image encoding device 1 according to the first embodiment shown in FIG. 2 in that it includes a detection unit 60A instead of the detection unit 60, and an extraction unit instead of the extraction unit 70.
- the difference is that a point provided with 70A is provided with an in-loop filter unit 80A instead of the in-loop filter unit 80.
- the same components as those in the moving image encoding device 1 are denoted by the same reference numerals, and description thereof is omitted.
- the detection unit 60A receives the input image SIG1. Similar to the detection unit 60, the detection unit 60A detects a block in which the fluctuation of the pixel value is small and the brightness is smoothly changed from the input image SIG1 as a target block, and outputs the detection result SIG10. To do. However, the detection unit 60A performs the above-described detection only on a block to which intra prediction or bi-directional prediction is applied when the predicted image SIG5 is calculated.
- the extraction unit 70A receives the input image SIG1 and the detection result SIG10 as inputs. Similar to the extraction unit 70, the extraction unit 70A extracts the brightness change direction for the target block detected by the detection unit 60A, and outputs the result as the extraction result SIG11. However, the extraction unit 70A performs the above-described extraction only on a block to which intra prediction or bi-directional prediction is applied when the predicted image SIG5 is calculated and which is detected as a target block by the detection unit 60A.
- the in-loop filter unit 80A receives the pre-filter local decoded image SIG9, the detection result SIG10, and the extraction result SIG11. Similar to the in-loop filter unit 80, the in-loop filter unit 80A performs a filtering process on the pre-filter local decoded image SIG9 based on the detection result SIG10 and the extraction result SIG11 to generate a post-filter local decoded image SIG12. And output.
- the in-loop filter unit 80A may not be a target block even if it is a target block for a block to which neither intra prediction nor bidirectional prediction is applied when the predicted image SIG5 is calculated. Similar processing is performed.
- FIG. 6 is a block diagram of the video decoding device 100A.
- the video decoding device 100A is different from the video decoding device 100 according to the first embodiment of the present invention shown in FIG. 3 in that an in-loop filter unit 150A is provided instead of the in-loop filter unit 150.
- the same components as those in the moving picture decoding apparatus 100 are denoted by the same reference numerals, and the description thereof is omitted.
- the in-loop filter unit 150A receives the detection result SIG10, the extraction result SIG11, and the pre-filter local decoded image SIG107. Similar to the in-loop filter unit 150, the in-loop filter unit 150A performs a filtering process on the pre-filter local decoded image SIG107 based on the detection result SIG10 and the extraction result SIG11 to generate a post-filter local decoded image SIG108. And output. However, the in-loop filter unit 150A may not be a target block even if it is a target block for a block to which neither intra prediction nor bidirectional prediction is applied when calculating the predicted image SIG106. Similar processing is performed.
- the following effects can be achieved.
- the moving picture encoding apparatus 1A detects a target block by the detection unit 60A for each block to which intra prediction or bidirectional prediction is applied. In addition, for each block to which intra prediction or bi-directional prediction is applied and detected as a target block by the detection unit 60A, extraction of the brightness change direction by the extraction unit 70A and change in brightness by the in-loop filter unit 80A. The pixel value of the pre-filter local decoded image SIG9 based on the direction is controlled. For this reason, the processing by the extraction unit 70A and the brightness by the in-loop filter unit 80A in the block to which the unidirectional prediction is applied and the block in which the pixel value variation is large or the brightness does not change smoothly. The processing cost based on the change direction can be reduced, and the calculation cost can be suppressed.
- the video decoding device 100A controls the pixel value of the pre-filter local decoded image SIG107 based on the brightness change direction by the in-loop filter unit 150A for each block to which intra prediction or bi-directional prediction is applied. For this reason, in a block to which unidirectional prediction is applied, that is, a block in which pseudo contour is difficult to occur, the processing cost based on the brightness change direction by the in-loop filter unit 150A can be reduced, and the calculation cost can be suppressed.
- FIG. 7 is a block diagram of the moving image processing system CC according to the present embodiment.
- the moving image processing system CC is different from the moving image processing system AA according to the first embodiment of the present invention shown in FIG. 1 in that it includes a moving image encoding device 1B instead of the moving image encoding device 1, and a moving image.
- the difference is that a moving image decoding apparatus 100B is provided instead of the image decoding apparatus 100.
- FIG. 8 is a block diagram of the moving picture coding apparatus 1B.
- the moving picture coding apparatus 1B is different from the moving picture coding apparatus 1 according to the first embodiment shown in FIG. 2 in that a transform / quantization unit 30A is provided instead of the transform / quantization unit 30, and an entropy code
- the entropy coding unit 40A is provided instead of the conversion unit 40
- the control unit 70B is provided instead of the extraction unit 70
- the in-loop filter unit 80B is provided instead of the in-loop filter unit 80.
- the same components as those of the video encoding device 1 are denoted by the same reference numerals, and the description thereof is omitted.
- the control unit 70B receives the detection result SIG10 and the residual signal SIG6 as inputs. This control unit 70B appropriately controls the residual signal SIG6 for each target block detected by the detection unit 60, and appropriately outputs it as the control result SIG21. Specifically, the control unit 70B sets the residual signal SIG6 so that the result of performing the orthogonal transformation process and the quantization process by the transform / quantization unit 30A is a significant value of “1” or more. The difference signal SIG6 is appropriately controlled.
- control unit 70B determines whether the block is a target block based on the detection result SIG10. When the control unit 70B determines that the block is not the target block, the control unit 70B does not perform processing. For this reason, if it is not the target block, the control result SIG21 is not output. On the other hand, when determining that the block is the target block, the control unit 70B performs the following process and outputs the control result SIG21.
- the control unit 70B performs orthogonal transformation processing similar to that of the transform / quantization unit 30A on the residual signal SIG6 for the target block, and the residual signal SIG6 that becomes zero in the conventional quantization algorithm. Then, the level position where the result of performing the orthogonal transform process and the quantization process by the transform / quantization unit 30A becomes a significant value of “1” or more is determined. Specifically, the control unit 70B first performs orthogonal transformation processing similar to that of the transform / quantization unit 30A on the residual signal SIG6 to obtain transform coefficients, and scans the obtained transform coefficients from high-frequency components. To do. Next, the position where the conversion coefficient becomes “0.25” or more from the position of the high frequency component to the position where the conversion coefficient exceeds “0.75” for the first time is determined as the target for controlling the residual signal SIG6. .
- control unit 70B controls the residual signal SIG6 based on the determined level position for the target block to obtain a control result SIG21.
- the result of performing orthogonal transform processing and quantization processing by the transform / quantization unit 30A on the residual signal SIG6 with respect to the position determined as the control target in the target block is indicated by the control unit 70B as “ The residual signal SIG6 is controlled so as to be a significant value of 1 ”or more.
- the transform / quantization unit 30A receives the residual signal SIG6 and the control result SIG21.
- the transform / quantization unit 30A performs orthogonal transform processing and quantization processing on the residual signal SIG6 in the same manner as the transform / quantization unit 30. And output as a quantized level value SIG7.
- the control result SIG21 is input from the control unit 70B, an orthogonal transformation process and a quantization process are performed on the control result SIG21 in the same manner as the transform / quantization unit 30, and the quantized level value is obtained. Output as SIG7.
- the entropy encoding unit 40A receives the quantized level value SIG7.
- the entropy encoding unit 40 performs entropy encoding on the input signal and outputs it as a bit stream SIG2.
- the in-loop filter unit 80B receives the pre-filter local decoded image SIG9.
- the in-loop filter unit 80B applies an in-loop filter such as a deblocking filter to the pre-filter local decoded image SIG9 and outputs it as a post-filter local decoded image SIG12.
- FIG. 9 is a block diagram of the video decoding device 100B.
- the moving image decoding apparatus 100B is different from the moving image decoding apparatus 100 according to the first embodiment shown in FIG. 3 in that an entropy decoding unit 110A is provided instead of the entropy decoding unit 110, and in place of the in-loop filter unit 150. The difference is that the in-loop filter unit 150B is provided. Note that in the video decoding device 100B, the same components as those of the video decoding device 100 are denoted by the same reference numerals, and description thereof is omitted.
- the entropy decoding unit 110A receives the bit stream SIG2.
- the entropy decoding unit 110A entropy decodes the bit stream SIG2, derives and outputs a quantized coefficient level SIG102.
- the in-loop filter unit 150B receives the pre-filter local decoded image SIG107.
- the in-loop filter unit 150B applies an in-loop filter such as a deblock filter to the pre-filter local decoded image SIG107, and outputs it as a post-filter local decoded image SIG108.
- the moving image encoding device 1B uses the in-loop filter unit 80B to perform the residual for each target block detected by the detection unit 60 before the orthogonal transform process and the quantization process are performed by the transform / quantization unit 30A.
- the residual signal SIG6 which becomes zero in the conventional quantization algorithm, becomes a significant value of “1” or more after the orthogonal transformation process and the quantization process by the transform / quantization unit 30A. Like that. For this reason, even for fluctuations whose gradation is smaller than the quantization width in the transform / quantization unit 30A, a significant value of “1” or more can be obtained after the orthogonal transformation process and the quantization process. Can be suppressed.
- the in-loop filter unit 80B performs orthogonal transform processing and quantization processing by the transform / quantization unit 30A for each target block detected by the detection unit 60.
- the residual signal SIG6 is controlled before being displayed, and the residual signal SIG6, which becomes zero in the conventional quantization algorithm, is “1” after the orthogonal transformation process and the quantization process by the transform / quantization unit 30A.
- the filter based on the brightness change direction is used.
- the pseudo contour can be suppressed by controlling the pixel value of the pre-local decoded image SIG9.
- the in-loop filter unit 80B performs orthogonal transform processing and quantization processing by the transform / quantization unit 30A for each target block detected by the detection unit 60.
- the residual signal SIG6 is controlled before being displayed, and the residual signal SIG6, which becomes zero in the conventional quantization algorithm, is “1” after the orthogonal transformation process and the quantization process by the transform / quantization unit 30A.
- the moving image encoding device 1B uses the detection unit 60 to detect a block having a block size of 32 ⁇ 32 or more, an intra-block variation value of 1 or more and less than ⁇ , and an edge value of ⁇ or more as the target block Detect as. Further, the processing by the control unit 70B is performed for each block detected as a target block by the detection unit 60. For this reason, the detection unit 60 can detect a block in which the fluctuation of the pixel value is small and the brightness is smoothly changed, and the processing by the control unit 70B can be performed on the block.
- the residual signal SIG6 is controlled before the orthogonal transform process and the quantization process are performed by the transform / quantization unit 30A, and the conventional quantization algorithm uses zero.
- the residual signal SIG6 that becomes N becomes a significant value of “1” or more after the orthogonal transform process and the quantization process by the transform / quantization unit 30A.
- the residual signal SIG6 that becomes zero in the conventional quantization algorithm is converted into an orthogonal transform process and a quantization process by the transform / quantization unit 30A. Is controlled to be a significant value of “1” or more after.
- the moving picture decoding apparatus 100B that receives the bit stream SIG2 generated by the moving picture encoding apparatus 1B decodes the bit stream SIG2 by the entropy decoding unit 110A, and the inverse transformation / inverse quantization unit 120 performs the inverse. If the quantization process and the inverse orthogonal transform process are performed, a residual signal SIG103 having a significant value other than zero can be obtained. Therefore, the pseudo contour can be suppressed.
- FIG. 10 is a block diagram of a moving image processing system DD according to the fourth embodiment of the present invention.
- the moving image processing system DD is different from the moving image processing system CC according to the third embodiment shown in FIG. 7 in that a moving image encoding device 1C is provided instead of the moving image encoding device 1B.
- the same components as those in the moving image processing system CC are denoted by the same reference numerals, and the description thereof is omitted.
- FIG. 11 is a block diagram of the moving picture encoding apparatus 1C.
- the moving image encoding device 1C is different from the moving image encoding device 1B according to the third embodiment shown in FIG. 8 in that it includes an inter prediction unit 10A instead of the inter prediction unit 10, and instead of the control unit 70B. The difference is that the controller 70C is provided. Note that in the moving image encoding device 1C, the same components as those in the moving image encoding device 1B are denoted by the same reference numerals, and description thereof is omitted.
- the control unit 70C receives the detection result SIG10 and the residual signal SIG6 as inputs.
- the control unit 70C converts the residual signal SIG6, which is zero in the conventional quantization algorithm, for the target block to which the intra prediction is applied when calculating the predicted image SIG5, as in the control unit 70B.
- control is performed so that the significant value is “1” or more, and the result is output as the control result SIG21.
- the cost value of rate distortion optimization in inter prediction is controlled, and when the inter prediction of the target block is performed, unidirectional prediction is performed. Is easily selected, and the controlled cost value is output as the cost value SIG31.
- the inter prediction unit 10A receives the input image SIG1, the filtered local decoded image SIG13, and the cost value SIG31.
- the inter prediction unit 10A determines an optimal mode in inter prediction based on the cost value SIG31, performs inter prediction using the input image SIG1 and the filtered local decoded image SIG13 in the determined mode, and performs the inter prediction image SIG3. Is generated and output.
- the moving picture encoding apparatus 1C controls the residual signal SIG6 by the control unit 70C for the target block to which the intra prediction is applied.
- the control unit 70C controls the cost value of rate distortion optimization in inter prediction, and unidirectional prediction is easily selected when inter prediction of this block is performed. To do. For this reason, one-way prediction can be easily selected in inter prediction, and pseudo contour can be further suppressed.
- the processing of the moving image encoding apparatuses 1, 1A, 1B, 1C and the moving image decoding apparatuses 100, 100A, 100B of the present invention is recorded on a computer-readable non-transitory recording medium and recorded on this recording medium.
- the present invention can be realized by causing the moving image encoding apparatuses 1, 1A, 1B, and 1C and the moving image decoding apparatuses 100, 100A, and 100B to read and execute the program.
- a nonvolatile memory such as an EPROM or a flash memory
- a magnetic disk such as a hard disk, a CD-ROM, or the like
- reading and execution of the program recorded on the recording medium is performed by a processor provided in the moving image encoding devices 1, 1A, 1B, 1C and the moving image decoding devices 100, 100A, 100B.
- the above-described program is transmitted from the moving image encoding apparatuses 1, 1A, 1B, 1C and the moving image decoding apparatuses 100, 100A, 100B storing the program in a storage device or the like via a transmission medium or a transmission medium. It may be transmitted to another computer system by a transmission wave in the middle.
- the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
- the above-described program may be for realizing a part of the above-described function. Furthermore, what can implement
- the in-loop filter units 80 and 80A perform the process after performing the process on the pre-filter local decoded image SIG9 so as to reproduce the change in brightness by the distribution of the pixel value variation.
- the in-loop filter is applied to the subsequent pre-filter local decoded image SIG9.
- the present invention is not limited to this.
- the brightness change is applied to the pre-filter local decoded image SIG9 after the in-loop filter is applied.
- the processing may be performed so as to reproduce.
- the detection units 60 and 60A detect the target block using the intra-block variation value and the edge value.
- the present invention is not limited to this, and at least one of the intra-block variation value, the edge value, and the variance value of the pixel values of each pixel belonging to the prediction target block (intra-block variance value) is used. It is good also as detecting.
- intra-block variance value if the intra-block variance value is less than or equal to the threshold value, the prediction target block is detected as the target block. It shall not be detected.
- the transform / quantization unit 30A and the control unit 70B according to the third embodiment described above are applied instead of the transform / quantization unit 30. Also good.
- the inter prediction unit 10A instead of the inter prediction unit 10 and the transform / quantization unit 30, the inter prediction unit 10A according to the fourth embodiment described above, the transform / quantization.
- the unit 30A and the control unit 70C may be applied.
- the transform / quantization unit 30A and the control unit 70B according to the third embodiment described above are applied instead of the transform / quantization unit 30. Also good.
- the inter prediction unit 10A instead of the inter prediction unit 10 and the transform / quantization unit 30, the inter prediction unit 10A according to the fourth embodiment described above, the transform / quantization.
- the unit 30A and the control unit 70C may be applied.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
動画像を符号化して符号化データを生成する動画像符号化装置が提供される。動画像符号化装置は、前記動画像を分割して得られたブロックごとに、明るさの変化方向を抽出する抽出手段と、前記動画像を分割して得られたブロックごとに、前記抽出手段により抽出された明るさの変化方向に基づいて、局所復号画像の画素値を制御する画素値制御手段と、を備えている。動画像を符号化して得られた符号化データを復号する動画像復号装置が提供される。動画像復号装置は、前記符号化データを復号して、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得する復号手段と、前記動画像を分割して得られたブロックごとに、前記復号手段により取得された明るさの変化方向に基づいて、局所復号画像の画素値を制御する画素値制御手段と、を備えている。
Description
本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。
非圧縮の動画像において主観的に明るさが滑らかに変化している領域では、非特許文献1に記載のHEVCといった動画像符号化方式による符号化により、明るさの滑らかさが失われて擬似輪郭が発生することがある。この擬似輪郭は、例えば夜明けのシーンや夜空のシーンのように、画素値の変動が小さく(画素値の最大値と最小値との差分が1から16程度)、明るさが滑らかに変化している領域において、顕著に知覚される。そこで、特許文献1及び2は、擬似輪郭を抑制する手法を提案している。
特許文献1に示されている手法では、ブロックノイズを含んでいる参照画素を用いてイントラ予測を行うと、このブロックノイズが予測対象ブロックに伝搬することに着目し、参照画素へのフィルタ処理により、参照画素の信号を緩やかに変化させる。
特許文献2に示されている手法では、画像を高階調化して高階調画像を生成した後に、人間の視覚特性において相対的に感度の低い帯域に量子化誤差が変調されるように高階調画像を量子化して、階調数を削減する。
ITU-T H.265 High Efficiency Video Coding.
しかし、特許文献1に示されている手法では、上述のフィルタ処理を、ブロックノイズが発生する程度まで画素値の変動が大きい参照画素を対象としている。このため、ブロックノイズが発生する程度までは画素値の変動が大きくない参照画素に対しては、フィルタ処理を行わないので、上述の擬似輪郭を抑制できない場合があった。
一方、特許文献2に示されている手法では、高階調画像を生成するために、画像を高階調化する処理が必要になる。このため、演算コストが増大してしまうおそれがあった。
本発明の一側面によると、動画像を符号化して符号化データを生成する動画像符号化装置は、前記動画像を分割して得られたブロックごとに、明るさの変化方向を抽出する抽出手段と、前記動画像を分割して得られたブロックごとに、前記抽出手段により抽出された明るさの変化方向に基づいて、局所復号画像の画素値を制御する画素値制御手段と、を備えている。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
<第1実施形態>
図1は、本実施形態に係る動画像処理システムAAのブロック図である。動画像処理システムAAは、動画像を符号化してビットストリームを生成する動画像符号化装置1と、動画像符号化装置1により生成されたビットストリームを復号する動画像復号装置100と、を備える。これら動画像符号化装置1と動画像復号装置100とは、上述のビットストリームを、例えば伝送路を介して送受信する。
図1は、本実施形態に係る動画像処理システムAAのブロック図である。動画像処理システムAAは、動画像を符号化してビットストリームを生成する動画像符号化装置1と、動画像符号化装置1により生成されたビットストリームを復号する動画像復号装置100と、を備える。これら動画像符号化装置1と動画像復号装置100とは、上述のビットストリームを、例えば伝送路を介して送受信する。
図2は、動画像符号化装置1のブロック図である。インター予測部10は、入力画像SIG1と、バッファ部90から供給される後述のフィルタ後局所復号画像SIG13と、を入力とする。このインター予測部10は、入力画像SIG1およびフィルタ後局所復号画像SIG13を用いてインター予測を行ってインター予測画像SIG3を生成し、出力する。
イントラ予測部20は、入力画像SIG1と、後述のフィルタ前局所復号画像SIG9と、を入力とする。このイントラ予測部20は、入力画像SIG1およびフィルタ前局所復号画像SIG9を用いてイントラ予測を行ってイントラ予測画像SIG4を生成し、出力する。
変換・量子化部30は、誤差(残差)信号SIG6を入力とする。残差信号SIG6とは、入力画像SIG1と、予測画像SIG5と、の差分信号のことであり、予測画像SIG5とは、インター予測画像SIG3およびイントラ予測画像SIG4のうち、最も高い符号化性能の期待される予測方法により算出された予測画像のことである。変換・量子化部30は、入力された残差信号SIG6に対して直交変換処理を行い、この直交変換処理により得られた変換係数について量子化処理を行って、量子化されたレベル値SIG7として出力する。
エントロピー符号化部40は、量子化されたレベル値SIG7と、後述の検出結果SIG10と、後述の抽出結果SIG11と、を入力とする。このエントロピー符号化部40は、入力された信号をエントロピー符号化し、ビットストリームSIG2として出力する。
逆変換・逆量子化部50は、量子化されたレベル値SIG7を入力とする。この逆変換・逆量子化部50は、量子化されたレベル値SIG7に対して逆量子化処理を行い、この逆量子化処理により得られた変換係数に対して逆直交変換処理を行って、逆直交変換された残差信号SIG8として出力する。
検出部60は、入力画像SIG1を入力とする。入力画像SIG1は、予め複数のブロックに分割されており、検出部60は、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを、対象ブロックとして入力画像SIG1の中から検出し、検出結果SIG10として出力する。
具体的には、検出部60は、まず、ブロックごとに、ブロック内変動値およびエッジ値を求める。
予測対象ブロックにおけるブロック内変動値を求める場合、検出部60は、最初に、入力画像SIG1に基づいて、予測対象ブロックに属する各画素の画素値を求める。次に、求めた画素値のうち最も大きい画素値と、求めた画素値のうち最も小さい画素値と、の差分を算出して、予測対象ブロックにおけるブロック内変動値とする。
また、予測対象ブロックにおけるエッジ値を求める場合、検出部60は、最初に、入力画像SIG1に基づいて、予測対象ブロックに属する各画素の中から、互いに隣接する画素同士の組み合わせを求める。次に、それぞれの組み合わせにおける画素同士の画素値の差分を算出し、算出した画素値の差分の合計を算出して、予測対象ブロックにおけるエッジ値とする。
検出部60は、次に、ブロックサイズが所庭値、例えば、32×32以上で、ブロック内変動値が1以上α未満で、かつエッジ値がβ以上であるブロックを、上述の対象ブロックとして検出する。なお、上述のαは、以下の数式(1)で定まり、上述のβは、以下の数式(2)で定まるものとする。
抽出部70は、入力画像SIG1と、検出結果SIG10と、を入力とする。この抽出部70は、検出部60により検出された対象ブロックごとに、明るさの変化方向を抽出し、抽出結果SIG11として出力する。
具体的には、抽出部70は、まず、入力画像SIG1および検出結果SIG10に基づいて、対象ブロックに属する各画素の画素値を取得する。
抽出部70は、次に、3次元空間を想定し、3次元空間のX軸方向を対象ブロックの水平方向とし、3次元空間のY軸方向を対象ブロックの垂直方向とし、3次元空間のZ軸方向を対象ブロックに属する各画素の画素値として、これら各画素の画素値を近似する平面を求める。なお、上述の平面は、例えば最小二乗法を用いて求めることができる。
抽出部70は、次に、求めた平面の傾きから、上述の明るさの変化方向を抽出する。
インループフィルタ部80は、フィルタ前局所復号画像SIG9と、検出結果SIG10と、抽出結果SIG11と、を入力とする。フィルタ前局所復号画像SIG9とは、予測画像SIG5と、逆直交変換された残差信号SIG8と、を合算した信号のことである。インループフィルタ部80は、検出結果SIG10および抽出結果SIG11に基づいてフィルタ前局所復号画像SIG9に対してフィルタ処理を行って、フィルタ後局所復号画像SIG12を生成し、出力する。
具体的には、インループフィルタ部80は、まず、検出結果SIG10に基づいて、予測対象ブロックが対象ブロックであるか否かを判別する。
インループフィルタ部80は、次に、対象ブロックではないと判別した予測対象ブロックについては、フィルタ前局所復号画像SIG9に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像SIG12として出力する。
一方、対象ブロックであると判別した予測対象ブロックについては、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG9に対して処理を行った後に、この処理後のフィルタ前局所復号画像SIG9に対して、対象ブロックではない場合と同様にインループフィルタを適用して、フィルタ後局所復号画像SIG12として出力する。
ここで、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG9に対して行う処理では、フィルタ前局所復号画像SIG9の対象ブロックに属する各画素の画素値に対して、明るさの変化方向を反映させた乱数を加算する。この処理の一例を、以下に説明する。インループフィルタ部80は、最初に、対象ブロックに属する各画素に対して、0以上1以下の乱数を1つずつ生成する。次に、対象ブロックに属する各画素に対して、明るさの変化方向に沿って明るくなるに従って大きくなる係数を1つずつ設定する。次に、対象ブロックに属する画素ごとに、生成した乱数と、設定した係数と、を乗算する。次に、対象ブロックに属する画素ごとに、乗算結果を画素値に加算する。
バッファ部90は、フィルタ後局所復号画像SIG12を蓄積し、適宜、フィルタ後局所復号画像SIG13としてインター予測部10に供給する。
図3は、動画像復号装置100のブロック図である。エントロピー復号部110は、ビットストリームSIG2を入力とする。このエントロピー復号部110は、ビットストリームSIG2をエントロピー復号し、量子化係数レベルSIG102と、動画像符号化装置1で生成された検出結果SIG10と、動画像符号化装置1で生成された抽出結果SIG11と、を導出して出力する。
逆変換・逆量子化部120は、量子化係数レベルSIG102を入力とする。この逆変換・逆量子化部120は、量子化係数レベルSIG102に対して逆量子化処理を行い、この逆量子化処理により得られた結果に対して逆直交変換処理を行って、残差信号SIG103として出力する。
インター予測部130は、バッファ部160から供給される後述のフィルタ後局所復号画像SIG109を入力とする。このインター予測部130は、フィルタ後局所復号画像SIG109を用いてインター予測を行ってインター予測画像SIG104を生成し、出力する。
イントラ予測部140は、フィルタ前局所復号画像SIG107を入力とする。フィルタ前局所復号画像SIG107とは、残差信号SIG103と、予測画像SIG106と、を合算した信号のことであり、予測画像SIG106とは、インター予測画像SIG104およびイントラ予測画像SIG105のうち、最も高い符号化性能の期待される予測方法により算出された予測画像のことである。イントラ予測部140は、フィルタ前局所復号画像SIG107を用いてイントラ予測を行ってイントラ予測画像SIG105を生成し、出力する。
インループフィルタ部150は、検出結果SIG10と、抽出結果SIG11と、フィルタ前局所復号画像SIG107と、を入力とする。このインループフィルタ部150は、フィルタ前局所復号画像SIG107に対して、動画像符号化装置1に設けられたインループフィルタ部80と同様に検出結果SIG10および抽出結果SIG11に基づいてフィルタ処理を行って、フィルタ後局所復号画像SIG108を生成し、出力する。
具体的には、インループフィルタ部150は、まず、検出結果SIG10に基づいて、予測対象ブロックが対象ブロックであるか否かを判別する。
インループフィルタ部150は、次に、対象ブロックではないと判別した予測対象ブロックについては、フィルタ前局所復号画像SIG107に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像SIG108として出力する。
一方、対象ブロックであると判別した予測対象ブロックについては、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG107に対して処理を行った後に、この処理後のフィルタ前局所復号画像SIG107に対して、対象ブロックではない場合と同様にインループフィルタを適用して、フィルタ後局所復号画像SIG108として出力する。
ここで、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG107に対して行う処理では、フィルタ前局所復号画像SIG107の対象ブロックに属する各画素の画素値に対して、明るさの変化方向を反映させた乱数を加算する。この処理の一例を、以下に説明する。インループフィルタ部150は、最初に、対象ブロックに属する各画素に対して、0以上1以下の乱数を1つずつ生成する。次に、対象ブロックに属する各画素に対して、明るさの変化方向に沿って明るくなるに従って大きくなる係数を1つずつ設定する。次に、対象ブロックに属する画素ごとに、生成した乱数と、設定した係数と、を乗算する。次に、対象ブロックに属する画素ごとに、乗算結果を画素値に加算する。
バッファ部160は、フィルタ後局所復号画像SIG108を蓄積し、適宜、フィルタ後局所復号画像SIG109としてインター予測部130に供給するとともに、復号済み画像SIG101として出力する。
以上の動画像符号化装置1によれば、以下の効果を奏することができる。
動画像符号化装置1は、検出部60により検出された対象ブロックごとに、抽出部70により、明るさの変化方向を抽出し、インループフィルタ部80により、抽出部70により抽出された明るさの変化方向に基づいてフィルタ前局所復号画像SIG9の画素値を制御する。このため、上述の特許文献1に示されている手法では擬似輪郭を抑制できないほどにフィルタ前局所復号画像SIG9の画素値の変動が小さい場合であっても、明るさの変化方向に基づいてフィルタ前局所復号画像SIG9の画素値を制御して、擬似輪郭を抑制することができる。
また、動画像符号化装置1は、上述のように、検出部60により検出された対象ブロックごとに、抽出部70により、明るさの変化方向を抽出し、インループフィルタ部80により、抽出部70により抽出された明るさの変化方向に基づいてフィルタ前局所復号画像SIG9の画素値を制御する。このため、上述の特許文献2に示されている手法のように高階調画像を生成する必要がないため、演算コストの増大を抑制することができる。
また、動画像符号化装置1は、インループフィルタ部80により、フィルタ前局所復号画像SIG9の画素値に対して、抽出部70により抽出された明るさの変化方向を反映させた乱数を加算する。このため、抑制したい擬似輪郭の輪郭線の近傍において、明るさの変化方向を考慮しつつ、この輪郭線に沿って画素値が規則的に変化しないようにすることができるので、擬似輪郭を的確に抑制することができる。
また、動画像符号化装置1は、検出部60により、ブロックサイズが32×32以上で、ブロック内変動値が1以上α未満で、かつエッジ値がβ以上であるブロックを、上述の対象ブロックとして検出する。また、検出部60により対象ブロックとして検出されたブロックごとに、抽出部70による明るさの変化方向の抽出と、インループフィルタ部80による明るさの変化方向に基づくフィルタ前局所復号画像SIG9の画素値の制御と、を行う。このため、検出部60により、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを検出して、このブロックに対して、抽出部70による処理と、インループフィルタ部80による明るさの変化方向に基づく処理と、を行うことができる。したがって、画素値の変動が大きいブロックや明るさが滑らかには変化していないブロック、すなわち擬似輪郭が発生しにくいブロックでは、抽出部70による処理と、インループフィルタ部80による明るさの変化方向に基づく処理と、を削減して、演算コストを抑制することができる。
以上の動画像復号装置100によれば、以下の効果を奏することができる。
動画像復号装置100は、エントロピー復号部110により、ビットストリームSIG2をエントロピー復号して、ブロックごとに抽出された明るさの変化方向を取得し、インループフィルタ部150により、ブロックごとに、エントロピー復号部110により取得された明るさの変化方向に基づいて、フィルタ前局所復号画像SIG107の画素値を制御する。このため、上述の特許文献1に示されている手法では擬似輪郭を抑制できないほどにフィルタ前局所復号画像SIG107の画素値の変動が小さい場合であっても、明るさの変化方向に基づいてフィルタ前局所復号画像SIG107の画素値を制御して、擬似輪郭を抑制することができる。
また、動画像復号装置100は、上述のように、エントロピー復号部110により、ビットストリームSIG2をエントロピー復号して、ブロックごとに抽出された明るさの変化方向を取得し、インループフィルタ部150により、ブロックごとに、エントロピー復号部110により取得された明るさの変化方向に基づいて、フィルタ前局所復号画像SIG107の画素値を制御する。このため、上述の特許文献2に示されている手法のように高階調画像を生成する必要がないため、演算コストの増大を抑制することができる。
また、動画像復号装置100は、インループフィルタ部150により、フィルタ前局所復号画像SIG107の画素値に対して、エントロピー復号部110により取得された明るさの変化方向を反映させた乱数を加算する。このため、抑制したい擬似輪郭の輪郭線の近傍において、明るさの変化方向を考慮しつつ、この輪郭線に沿って画素値が規則的に変化しないようにすることができるので、擬似輪郭を的確に抑制することができる。
<第2実施形態>
図4は、本実施形態に係る動画像処理システムBBのブロック図である。動画像処理システムBBは、図1に示した本発明の第1実施形態に係る動画像処理システムAAとは、動画像符号化装置1の代わりに動画像符号化装置1Aを備える点と、動画像復号装置100の代わりに動画像復号装置100Aを備える点と、で異なる。
図4は、本実施形態に係る動画像処理システムBBのブロック図である。動画像処理システムBBは、図1に示した本発明の第1実施形態に係る動画像処理システムAAとは、動画像符号化装置1の代わりに動画像符号化装置1Aを備える点と、動画像復号装置100の代わりに動画像復号装置100Aを備える点と、で異なる。
図5は、動画像符号化装置1Aのブロック図である。動画像符号化装置1Aは、図2に示した第1実施形態に係る動画像符号化装置1とは、検出部60の代わりに検出部60Aを備える点と、抽出部70の代わりに抽出部70Aを備える点と、インループフィルタ部80の代わりにインループフィルタ部80Aを備える点と、で異なる。なお、動画像符号化装置1Aにおいて、動画像符号化装置1と同一構成要件については、同一符号を付し、その説明を省略する。
検出部60Aは、入力画像SIG1を入力とする。この検出部60Aは、検出部60と同様に、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを、対象ブロックとして入力画像SIG1の中から検出し、検出結果SIG10として出力する。ただし、検出部60Aは、上述の検出を、予測画像SIG5の算出の際にイントラ予測または双方向予測が適用されたブロックに対してのみ行う。
抽出部70Aは、入力画像SIG1と、検出結果SIG10と、を入力とする。この抽出部70Aは、抽出部70と同様に、検出部60Aにより検出された対象ブロックについて、明るさの変化方向を抽出し、抽出結果SIG11として出力する。ただし、抽出部70Aは、上述の抽出を、予測画像SIG5の算出の際にイントラ予測または双方向予測が適用されるとともに検出部60Aにより対象ブロックとして検出されたブロックに対してのみ行う。
インループフィルタ部80Aは、フィルタ前局所復号画像SIG9と、検出結果SIG10と、抽出結果SIG11と、を入力とする。このインループフィルタ部80Aは、インループフィルタ部80と同様に、検出結果SIG10および抽出結果SIG11に基づいてフィルタ前局所復号画像SIG9に対してフィルタ処理を行って、フィルタ後局所復号画像SIG12を生成し、出力する。ただし、インループフィルタ部80Aは、予測画像SIG5の算出の際にイントラ予測または双方向予測のいずれも適用されなかったブロックに対しては、対象ブロックであったとしても、対象ブロックではない場合と同様の処理を行う。
図6は、動画像復号装置100Aのブロック図である。動画像復号装置100Aは、図3に示した本発明の第1実施形態に係る動画像復号装置100とは、インループフィルタ部150の代わりにインループフィルタ部150Aを備える点で異なる。なお、動画像復号装置100Aにおいて、動画像復号装置100と同一構成要件については、同一符号を付し、その説明を省略する。
インループフィルタ部150Aは、検出結果SIG10と、抽出結果SIG11と、フィルタ前局所復号画像SIG107と、を入力とする。このインループフィルタ部150Aは、インループフィルタ部150と同様に、検出結果SIG10および抽出結果SIG11に基づいてフィルタ前局所復号画像SIG107に対してフィルタ処理を行って、フィルタ後局所復号画像SIG108を生成し、出力する。ただし、インループフィルタ部150Aは、予測画像SIG106の算出の際にイントラ予測または双方向予測のいずれも適用されなかったブロックに対しては、対象ブロックであったとしても、対象ブロックではない場合と同様の処理を行う。
以上の動画像符号化装置1Aによれば、動画像符号化装置1が奏することできる上述の効果に加えて、以下の効果を奏することができる。
動画像符号化装置1Aは、イントラ予測または双方向予測が適用されたブロックごとに、検出部60Aによる対象ブロックの検出を行う。また、イントラ予測または双方向予測が適用されるとともに検出部60Aにより対象ブロックとして検出されたブロックごとに、抽出部70Aによる明るさの変化方向の抽出と、インループフィルタ部80Aによる明るさの変化方向に基づくフィルタ前局所復号画像SIG9の画素値の制御と、を行う。このため、片方向予測が適用されたブロックと、画素値の変動が大きいブロックや明るさが滑らかには変化していないブロックとでは、抽出部70Aによる処理と、インループフィルタ部80Aによる明るさの変化方向に基づく処理と、を削減して、演算コストを抑制することができる。
以上の動画像復号装置100Aによれば、動画像復号装置100が奏することできる上述の効果に加えて、以下の効果を奏することができる。
動画像復号装置100Aは、イントラ予測または双方向予測が適用されたブロックごとに、インループフィルタ部150Aによる明るさの変化方向に基づくフィルタ前局所復号画像SIG107の画素値の制御を行う。このため、片方向予測が適用されたブロック、すなわち擬似輪郭が発生しにくいブロックでは、インループフィルタ部150Aによる明るさの変化方向に基づく処理を削減して、演算コストを抑制することができる。
<第3実施形態>
図7は、本実施形態に係る動画像処理システムCCのブロック図である。動画像処理システムCCは、図1に示した本発明の第1実施形態に係る動画像処理システムAAとは、動画像符号化装置1の代わりに動画像符号化装置1Bを備える点と、動画像復号装置100の代わりに動画像復号装置100Bを備える点と、で異なる。
図7は、本実施形態に係る動画像処理システムCCのブロック図である。動画像処理システムCCは、図1に示した本発明の第1実施形態に係る動画像処理システムAAとは、動画像符号化装置1の代わりに動画像符号化装置1Bを備える点と、動画像復号装置100の代わりに動画像復号装置100Bを備える点と、で異なる。
図8は、動画像符号化装置1Bのブロック図である。動画像符号化装置1Bは、図2に示した第1実施形態に係る動画像符号化装置1とは、変換・量子化部30の代わりに変換・量子化部30Aを備える点と、エントロピー符号化部40の代わりにエントロピー符号化部40Aを備える点と、抽出部70の代わりに制御部70Bを備える点と、インループフィルタ部80の代わりにインループフィルタ部80Bを備える点と、で異なる。なお、動画像符号化装置1Bにおいて、動画像符号化装置1と同一構成要件については、同一符号を付し、その説明を省略する。
制御部70Bは、検出結果SIG10と、残差信号SIG6と、を入力とする。この制御部70Bは、検出部60により検出された対象ブロックごとに、残差信号SIG6を適宜制御して、制御結果SIG21として適宜出力する。具体的には、制御部70Bは、残差信号SIG6に対して変換・量子化部30Aにより直交変換処理および量子化処理を行った結果が「1」以上の有意な値になるように、残差信号SIG6を適宜制御する。
より具体的には、制御部70Bは、検出結果SIG10に基づいて、対象ブロックであるか否かを判別する。制御部70Bは、対象ブロックではないと判別した場合には、処理を行わない。このため、対象ブロックではない場合には、制御結果SIG21は出力されない。一方、制御部70Bは、対象ブロックであると判別した場合には、以下の処理を行って、制御結果SIG21を出力する。
制御部70Bは、まず、対象ブロックについて、残差信号SIG6に対して変換・量子化部30Aと同様の直交変換処理を行って、従来の量子化アルゴリズムではゼロとなってしまう残差信号SIG6について、変換・量子化部30Aにより直交変換処理および量子化処理を行った結果が「1」以上の有意な値となるレベル位置を決定する。具体的には、制御部70Bは、最初に、残差信号SIG6に対して変換・量子化部30Aと同様の直交変換処理を行って変換係数を取得し、取得した変換係数を高周波成分からスキャンする。次に、高周波成分の位置から変換係数が初めて「0.75」を超えた位置までのうち、変換係数が「0.25」以上になる位置を、残差信号SIG6を制御する対象として決定する。
制御部70Bは、次に、対象ブロックについて、決定したレベル位置に基づいて残差信号SIG6を制御して、制御結果SIG21とする。具体的には、制御部70Bは、対象ブロックのうち制御する対象として決定した位置について、残差信号SIG6に対して変換・量子化部30Aにより直交変換処理および量子化処理を行った結果が「1」以上の有意な値となるように、残差信号SIG6を制御する。
変換・量子化部30Aは、残差信号SIG6と、制御結果SIG21と、を入力とする。この変換・量子化部30Aは、制御部70Bから制御結果SIG21が入力されなかった場合には、残差信号SIG6に対して、変換・量子化部30と同様に直交変換処理および量子化処理を行って、量子化されたレベル値SIG7として出力する。一方、制御部70Bから制御結果SIG21が入力された場合には、制御結果SIG21に対して、変換・量子化部30と同様に直交変換処理および量子化処理を行って、量子化されたレベル値SIG7として出力する。
エントロピー符号化部40Aは、量子化されたレベル値SIG7を入力とする。このエントロピー符号化部40は、入力された信号をエントロピー符号化し、ビットストリームSIG2として出力する。
インループフィルタ部80Bは、フィルタ前局所復号画像SIG9を入力とする。このインループフィルタ部80Bは、フィルタ前局所復号画像SIG9に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像SIG12として出力する。
図9は、動画像復号装置100Bのブロック図である。動画像復号装置100Bは、図3に示した第1実施形態に係る動画像復号装置100とは、エントロピー復号部110の代わりにエントロピー復号部110Aを備える点と、インループフィルタ部150の代わりにインループフィルタ部150Bを備える点と、で異なる。なお、動画像復号装置100Bにおいて、動画像復号装置100と同一構成要件については、同一符号を付し、その説明を省略する。
エントロピー復号部110Aは、ビットストリームSIG2を入力とする。このエントロピー復号部110Aは、ビットストリームSIG2をエントロピー復号し、量子化係数レベルSIG102を導出して出力する。
インループフィルタ部150Bは、フィルタ前局所復号画像SIG107を入力とする。このインループフィルタ部150Bは、フィルタ前局所復号画像SIG107に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像SIG108として出力する。
以上の動画像符号化装置1Bによれば、以下の効果を奏することができる。
動画像符号化装置1Bは、インループフィルタ部80Bにより、検出部60により検出された対象ブロックごとに、変換・量子化部30Aにより直交変換処理および量子化処理が行われるよりも前に残差信号SIG6を制御して、従来の量子化アルゴリズムではゼロになってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるようにする。このため、変換・量子化部30Aにおける量子化幅よりも階調の小さな変動についても、直交変換処理および量子化処理の後に「1」以上の有意な値にすることができるので、擬似輪郭を抑制することができる。
また、動画像符号化装置1Bは、上述のように、インループフィルタ部80Bにより、検出部60により検出された対象ブロックごとに、変換・量子化部30Aにより直交変換処理および量子化処理が行われるよりも前に残差信号SIG6を制御して、従来の量子化アルゴリズムではゼロになってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるようにする。このため、上述の特許文献1に示されている手法では擬似輪郭を抑制できないほどにフィルタ前局所復号画像SIG9の画素値の変動が小さい場合であっても、明るさの変化方向に基づいてフィルタ前局所復号画像SIG9の画素値を制御して、擬似輪郭を抑制することができる。
また、動画像符号化装置1Bは、上述のように、インループフィルタ部80Bにより、検出部60により検出された対象ブロックごとに、変換・量子化部30Aにより直交変換処理および量子化処理が行われるよりも前に残差信号SIG6を制御して、従来の量子化アルゴリズムではゼロになってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるようにする。このため、上述の特許文献2に示されている手法のように高階調画像を生成する必要がないため、演算コストの増大を抑制することができる。
また、動画像符号化装置1Bは、検出部60により、ブロックサイズが32×32以上で、ブロック内変動値が1以上α未満で、かつエッジ値がβ以上であるブロックを、上述の対象ブロックとして検出する。また、検出部60により対象ブロックとして検出されたブロックごとに、制御部70Bによる処理を行う。このため、検出部60により、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを検出して、このブロックに対して、制御部70Bによる処理を行うことができる。したがって、画素値の変動が大きいブロックや明るさが滑らかには変化していないブロック、すなわち擬似輪郭が発生しにくいブロックでは、制御部70Bによる処理を削減して、演算コストを抑制することができる。
以上の動画像復号装置100Bによれば、以下の効果を奏することができる。
動画像符号化装置1Bにおいて、上述のように、変換・量子化部30Aにより直交変換処理および量子化処理が行われるよりも前に残差信号SIG6を制御して、従来の量子化アルゴリズムではゼロになってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるようにする。このため、動画像符号化装置1BでビットストリームSIG2を生成する際に、従来の量子化アルゴリズムではゼロとなってしまう残差信号SIG6が、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるように制御されていることになる。したがって、動画像符号化装置1Bで生成されたビットストリームSIG2を受信する動画像復号装置100Bは、ビットストリームSIG2に対して、エントロピー復号部110Aで復号し、逆変換・逆量子化部120で逆量子化処理および逆直交変換処理を行えば、ゼロ以外の有意な値となる残差信号SIG103を得ることができる。よって、擬似輪郭を抑制することができる。
<第4実施形態>
図10は、本発明の第4実施形態に係る動画像処理システムDDのブロック図である。動画像処理システムDDは、図7に示した第3実施形態に係る動画像処理システムCCとは、動画像符号化装置1Bの代わりに動画像符号化装置1Cを備える点で異なる。なお、動画像処理システムDDにおいて、動画像処理システムCCと同一構成要件については、同一符号を付し、その説明を省略する。
図10は、本発明の第4実施形態に係る動画像処理システムDDのブロック図である。動画像処理システムDDは、図7に示した第3実施形態に係る動画像処理システムCCとは、動画像符号化装置1Bの代わりに動画像符号化装置1Cを備える点で異なる。なお、動画像処理システムDDにおいて、動画像処理システムCCと同一構成要件については、同一符号を付し、その説明を省略する。
図11は、動画像符号化装置1Cのブロック図である。動画像符号化装置1Cは、図8に示した第3実施形態に係る動画像符号化装置1Bとは、インター予測部10の代わりにインター予測部10Aを備える点と、制御部70Bの代わりに制御部70Cを備える点と、で異なる。なお、動画像符号化装置1Cにおいて、動画像符号化装置1Bと同一構成要件については、同一符号を付し、その説明を省略する。
制御部70Cは、検出結果SIG10と、残差信号SIG6と、を入力とする。この制御部70Cは、予測画像SIG5の算出の際にイントラ予測が適用された対象ブロックについては、制御部70Bと同様に、従来の量子化アルゴリズムではゼロとなってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値となるように制御して、制御結果SIG21として出力する。一方、予測画像SIG5の算出の際にインター予測が適用された対象ブロックについては、インター予測におけるレート歪最適化のコスト値を制御して、この対象ブロックのインター予測が行われる際に片方向予測が選択されやすくし、制御したコスト値をコスト値SIG31として出力する。
インター予測部10Aは、入力画像SIG1と、フィルタ後局所復号画像SIG13と、コスト値SIG31と、を入力とする。このインター予測部10Aは、インター予測における最適なモードをコスト値SIG31に基づいて決定し、決定したモードで、入力画像SIG1およびフィルタ後局所復号画像SIG13を用いてインター予測を行ってインター予測画像SIG3を生成し、出力する。
以上の動画像符号化装置1Cによれば、動画像符号化装置1Bが奏することできる上述の効果に加えて、以下の効果を奏することができる。
動画像符号化装置1Cは、イントラ予測が適用された対象ブロックについては、制御部70Cにより、残差信号SIG6の制御を行う。また、インター予測が適用された対象ブロックについては、制御部70Cにより、インター予測におけるレート歪最適化のコスト値を制御して、このブロックのインター予測が行われる際に片方向予測が選択されやすくする。このため、インター予測において片方向予測が選択されやすくすることができ、擬似輪郭をさらに抑制することができる。
なお、本発明の動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bに読み込ませ、実行することによって、本発明を実現できる。
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD-ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bに設けられたプロセッサによって行われる。
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
例えば、上述の各実施形態では、インループフィルタ部80、80Aは、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG9に対して処理を行った後に、この処理後のフィルタ前局所復号画像SIG9に対してインループフィルタを適用することとした。しかし、これに限らず、フィルタ前局所復号画像SIG9に対してインループフィルタを適用した後に、インループフィルタの適用後のフィルタ前局所復号画像SIG9に対して明るさの変化を画素値変動の分布により再現するように処理を行うこととしてもよい。
また、上述の各実施形態では、検出部60、60Aは、ブロック内変動値およびエッジ値を用いて、対象ブロックの検出を行うこととした。しかし、これに限らず、ブロック内変動値と、エッジ値と、予測対象ブロックに属する各画素の画素値の分散値(ブロック内分散値)と、のうち少なくともいずれかを用いて、対象ブロックの検出を行うこととしてもよい。ブロック内分散値を用いる場合には、ブロック内分散値が閾値以下である場合に、予測対象ブロックを対象ブロックとして検出し、ブロック内分散値が閾値より大きい場合に、予測対象ブロックを対象ブロックとして検出しないこととする。
また、上述の第1実施形態に係る動画像符号化装置1において、変換・量子化部30の代わりに、上述の第3実施形態に係る変換・量子化部30Aおよび制御部70Bを適用してもよい。
また、上述の第1実施形態に係る動画像符号化装置1において、インター予測部10および変換・量子化部30の代わりに、上述の第4実施形態に係るインター予測部10A、変換・量子化部30A、および制御部70Cを適用してもよい。
また、上述の第2実施形態に係る動画像符号化装置1Aにおいて、変換・量子化部30の代わりに、上述の第3実施形態に係る変換・量子化部30Aおよび制御部70Bを適用してもよい。
また、上述の第2実施形態に係る動画像符号化装置1Aにおいて、インター予測部10および変換・量子化部30の代わりに、上述の第4実施形態に係るインター予測部10A、変換・量子化部30A、および制御部70Cを適用してもよい。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
本願は、2015年8月25日提出の日本国特許出願特願2015-166051を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
Claims (18)
- 動画像を符号化して符号化データを生成する動画像符号化装置であって、
前記動画像を分割して得られたブロックごとに、明るさの変化方向を抽出する抽出手段と、
前記動画像を分割して得られたブロックごとに、前記抽出手段により抽出された明るさの変化方向に基づいて、局所復号画像の画素値を制御する画素値制御手段と、を備える動画像符号化装置。 - 前記画素値制御手段は、前記局所復号画像の画素値に対して、前記抽出手段により抽出された明るさの変化方向を反映させた乱数を加算する請求項1に記載の動画像符号化装置。
- 前記抽出手段は、イントラ予測または双方向予測が適用されたブロックごとに、前記明るさの変化方向の抽出を行い、
前記画素値制御手段は、イントラ予測または双方向予測が適用されたブロックごとに、前記局所復号画像の画素値の制御を行う請求項1または2に記載の動画像符号化装置。 - 前記動画像を分割して得られた各ブロックの中から対象ブロックを検出する検出手段をさらに備え、
前記抽出手段は、前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記明るさの変化方向の抽出を行い、
前記画素値制御手段は、前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記局所復号画像の画素値の制御を行い、
前記検出手段は、
予測対象ブロックに属する各画素の画素値のうち最も大きいものと、当該予測対象ブロックに属する各画素の画素値のうち最も小さいものと、の差分が第1の閾値以上かつ第2の閾値未満であることと、
前記予測対象ブロックに属する各画素のうち互いに隣接する画素同士について、画素値の差分を算出し、算出した画素値の差分の合計値が第3の閾値以上であることと、
前記予測対象ブロックに属する各画素の画素値の分散値が第4の閾値以下であることと、
のうち少なくともいずれかを満たす場合に、前記予測対象ブロックを前記対象ブロックとして検出する請求項1または2に記載の動画像符号化装置。 - 前記検出手段は、イントラ予測または双方向予測が適用されたブロックごとに、前記対象ブロックの検出を行い、
前記抽出手段は、イントラ予測または双方向予測が適用されるとともに前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記明るさの変化方向の抽出を行い、
前記画素値制御手段は、イントラ予測または双方向予測が適用されるとともに前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記局所復号画像の画素値の制御を行う請求項4に記載の動画像符号化装置。 - 動画像を符号化して符号化データを生成する動画像符号化装置であって、
前記動画像を分割して得られたブロックごとに、予測画像を生成する予測画像生成手段と、
前記動画像を分割して得られたブロックごとに、前記動画像と、前記予測画像生成手段により生成された予測画像と、の残差信号を量子化する量子化手段と、
前記動画像を分割して得られたブロックごとに、前記量子化手段により量子化が行われるよりも前に前記残差信号を制御して、当該量子化手段により量子化した値が「1」以上になるようにするレベル値制御手段と、を備える動画像符号化装置。 - 前記レベル値制御手段は、
イントラ予測が適用されたブロックについては、前記残差信号の制御を行い、
インター予測が適用されたブロックについては、インター予測におけるレート歪最適化のコスト値を制御して、当該ブロックのインター予測が行われる際に片方向予測が選択されやすくする請求項6に記載の動画像符号化装置。 - 前記動画像を分割して得られた各ブロックの中から対象ブロックを検出する検出手段をさらに備え、
前記レベル値制御手段は、前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記残差信号の制御を行い、
前記検出手段は、
予測対象ブロックに属する各画素の画素値のうち最も大きいものと、当該予測対象ブロックに属する各画素の画素値のうち最も小さいものと、の差分が第1の閾値以上かつ第2の閾値未満であることと、
前記予測対象ブロックに属する各画素のうち互いに隣接する画素同士について、画素値の差分を算出し、算出した画素値の差分の合計値が第3の閾値以上であることと、
前記予測対象ブロックに属する各画素の画素値の分散値が第4の閾値以下であることと、
のうち少なくともいずれかを満たす場合に、前記予測対象ブロックを前記対象ブロックとして検出する請求項6に記載の動画像符号化装置。 - 前記レベル値制御手段は、
イントラ予測が適用されるとともに前記検出手段により前記対象ブロックとして検出されたブロックについては、前記残差信号の制御を行い、
インター予測が適用されるとともに前記検出手段により前記対象ブロックとして検出されたブロックについては、インター予測におけるレート歪最適化のコスト値を制御して、当該ブロックのインター予測が行われる際に片方向予測が選択されやすくする請求項8に記載の動画像符号化装置。 - 動画像を符号化して得られた符号化データを復号する動画像復号装置であって、
前記符号化データを復号して、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得する復号手段と、
前記動画像を分割して得られたブロックごとに、前記復号手段により取得された明るさの変化方向に基づいて、局所復号画像の画素値を制御する画素値制御手段と、を備える動画像復号装置。 - 前記画素値制御手段は、前記局所復号画像の画素値に対して、前記復号手段により取得された明るさの変化方向を反映させた乱数を加算する請求項10に記載の動画像復号装置。
- 前記画素値制御手段は、イントラ予測または双方向予測が適用されたブロックごとに、前記局所復号画像の画素値の制御を行う請求項10または11に記載の動画像復号装置。
- 動画像を符号化して符号化データを生成する動画像符号化装置における動画像符号化方法であって、
前記動画像を分割して得られたブロックごとに、明るさの変化方向を抽出することと、
前記動画像を分割して得られたブロックごとに、前記抽出された明るさの変化方向に基づいて、局所復号画像の画素値を制御することと、を含む動画像符号化方法。 - 動画像を符号化して符号化データを生成する動画像符号化装置における動画像符号化方法であって、
前記動画像を分割して得られたブロックごとに、予測画像を生成することと、
前記動画像を分割して得られたブロックごとに、前記動画像と、前記生成された予測画像と、の残差信号を量子化することと、
前記動画像を分割して得られたブロックごとに、前記量子化が行われるよりも前に前記残差信号を制御して、前記量子化した値が「1」以上になるようにすることと、を含む動画像符号化方法。 - 動画像を符号化して得られた符号化データを復号する動画像復号装置における動画像復号方法であって、
前記符号化データを復号して、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得することと、
前記動画像を分割して得られたブロックごとに、前記取得された明るさの変化方向に基づいて、局所復号画像の画素値を制御することと、を含む動画像復号方法。 - 1つ以上のプロセッサを有するコンピュータにより実行されるプログラムであって、前記プログラムは、前記1つ以上のプロセッサで実行されると、前記コンピュータに、
動画像を分割して得られたブロックごとに、明るさの変化方向を抽出することと、
前記動画像を分割して得られたブロックごとに、前記抽出された明るさの変化方向に基づいて、局所復号画像の画素値を制御することと、を実行させる、プログラム。 - 1つ以上のプロセッサを有するコンピュータにより実行されるプログラムであって、前記プログラムは、前記1つ以上のプロセッサで実行されると、前記コンピュータに、
動画像を分割して得られたブロックごとに、予測画像を生成することと、
前記動画像を分割して得られたブロックごとに、前記動画像と、前記生成された予測画像と、の残差信号を量子化することと、
前記動画像を分割して得られたブロックごとに、前記量子化が行われるよりも前に前記残差信号を制御して、量子化した値が「1」以上になるようにすることと、を実行させる、プログラム。 - 1つ以上のプロセッサを有するコンピュータにより実行されるプログラムであって、前記プログラムは、前記1つ以上のプロセッサで実行されると、前記コンピュータに、
動画像を符号化して得られた符号化データを復号して、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得することと、
前記動画像を分割して得られたブロックごとに、前記取得された明るさの変化方向に基づいて、局所復号画像の画素値を制御することと、を実行させる、プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201680047745.0A CN107925761B (zh) | 2015-08-25 | 2016-06-27 | 动态图像编、解码装置及方法、以及计算机可读记录介质 |
EP16838907.0A EP3343918B1 (en) | 2015-08-25 | 2016-06-27 | Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method, moving image decoding method, and program |
US15/899,585 US10819988B2 (en) | 2015-08-25 | 2018-02-20 | Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method, moving image decoding method, and computer readable storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015166051A JP6504604B2 (ja) | 2015-08-25 | 2015-08-25 | 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム |
JP2015-166051 | 2015-08-25 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/899,585 Continuation US10819988B2 (en) | 2015-08-25 | 2018-02-20 | Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method, moving image decoding method, and computer readable storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017033560A1 true WO2017033560A1 (ja) | 2017-03-02 |
Family
ID=58099832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/069021 WO2017033560A1 (ja) | 2015-08-25 | 2016-06-27 | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10819988B2 (ja) |
EP (1) | EP3343918B1 (ja) |
JP (1) | JP6504604B2 (ja) |
CN (1) | CN107925761B (ja) |
WO (1) | WO2017033560A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019208189A1 (ja) * | 2018-04-26 | 2019-10-31 | ソニー株式会社 | 画像復号装置、および画像復号方法、並びにプログラム |
WO2019208190A1 (ja) * | 2018-04-26 | 2019-10-31 | ソニー株式会社 | 画像符号化装置、および画像符号化方法、並びにプログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110099279B (zh) * | 2018-01-31 | 2022-01-07 | 新岸线(北京)科技集团有限公司 | 一种基于硬件的可调节有损压缩的方法 |
JP6899053B2 (ja) * | 2019-06-24 | 2021-07-07 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
WO2020260668A1 (en) * | 2019-06-28 | 2020-12-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Video decoder, video encoder, methods for encoding and decoding video signals and computer program adjusting one or more denoising operations |
US20220337865A1 (en) * | 2019-09-23 | 2022-10-20 | Sony Group Corporation | Image processing device and image processing method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04259182A (ja) * | 1991-02-13 | 1992-09-14 | Matsushita Electric Ind Co Ltd | 動き補償予測フレーム間符号化装置 |
US20070286515A1 (en) * | 2006-06-13 | 2007-12-13 | Samsung Electronics Co., Ltd | Method and apparatus for removing false contours |
JP2008047102A (ja) * | 2006-07-20 | 2008-02-28 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
JP2009055591A (ja) * | 2007-08-28 | 2009-03-12 | Samsung Electronics Co Ltd | 偽輪郭を探知および除去する方法および装置、ピクセルの輪郭可否を確認する方法および装置、またはシンプリシティを計算する方法および装置 |
WO2010047104A1 (ja) * | 2008-10-22 | 2010-04-29 | 日本電信電話株式会社 | デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010515361A (ja) * | 2006-12-28 | 2010-05-06 | トムソン ライセンシング | ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトの検出 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03127580A (ja) * | 1989-10-13 | 1991-05-30 | Matsushita Electric Ind Co Ltd | 動き補償フレーム間符号化装置 |
JP3603906B2 (ja) * | 1994-04-15 | 2004-12-22 | 富士写真フイルム株式会社 | 画像信号2値化処理装置および方法 |
US5701366A (en) * | 1996-09-04 | 1997-12-23 | Canon Information Systems, Inc. | Halftoning with gradient-based selection of dither matrices |
JP4157579B2 (ja) * | 2006-09-28 | 2008-10-01 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
CN101309408B (zh) * | 2008-06-13 | 2010-12-29 | 青岛海信电子产业控股股份有限公司 | 一种亮度块帧内预测模式选择方法 |
US8270498B2 (en) * | 2009-03-26 | 2012-09-18 | Apple Inc. | Dynamic dithering for video compression |
US9152875B2 (en) * | 2009-06-11 | 2015-10-06 | Texas Instruments Incorporated | Preserving text quality in video encoding |
JP2011029998A (ja) | 2009-07-27 | 2011-02-10 | Sony Corp | 画像記録装置、画像記録方法、及びプログラム |
US8068173B2 (en) * | 2009-09-30 | 2011-11-29 | Kabushiki Kaisha Toshiba | Color difference signal format conversion device and method |
WO2012163199A1 (en) * | 2011-05-27 | 2012-12-06 | Mediatek Inc. | Method and apparatus for line buffer reduction for video processing |
CN106170092B (zh) | 2011-06-30 | 2020-02-14 | 华为技术有限公司 | 用于无损编码的快速编码方法 |
EP2705667B1 (en) | 2011-06-30 | 2016-09-21 | Huawei Technologies Co., Ltd. | Lossless coding and associated signaling methods for compound video |
CN103650496B (zh) | 2011-07-12 | 2018-09-21 | 华为技术有限公司 | 用于在hevc中编码的基于像素的帧内预测 |
US20130094779A1 (en) * | 2011-10-04 | 2013-04-18 | Texas Instruments Incorporated | Method and Apparatus for Prediction Unit Size Dependent Motion Compensation Filtering Order |
CN102685491B (zh) * | 2012-03-02 | 2015-01-28 | 中兴通讯股份有限公司 | 一种实现视频编码的方法和*** |
JP5798539B2 (ja) | 2012-09-24 | 2015-10-21 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法 |
US9532057B2 (en) * | 2012-12-28 | 2016-12-27 | Qualcomm Incorporated | Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding |
-
2015
- 2015-08-25 JP JP2015166051A patent/JP6504604B2/ja active Active
-
2016
- 2016-06-27 CN CN201680047745.0A patent/CN107925761B/zh active Active
- 2016-06-27 EP EP16838907.0A patent/EP3343918B1/en active Active
- 2016-06-27 WO PCT/JP2016/069021 patent/WO2017033560A1/ja unknown
-
2018
- 2018-02-20 US US15/899,585 patent/US10819988B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04259182A (ja) * | 1991-02-13 | 1992-09-14 | Matsushita Electric Ind Co Ltd | 動き補償予測フレーム間符号化装置 |
US20070286515A1 (en) * | 2006-06-13 | 2007-12-13 | Samsung Electronics Co., Ltd | Method and apparatus for removing false contours |
JP2008047102A (ja) * | 2006-07-20 | 2008-02-28 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
JP2010515361A (ja) * | 2006-12-28 | 2010-05-06 | トムソン ライセンシング | ディジタル・ビデオ・コンテンツにおけるバンディング・アーチファクトの検出 |
JP2009055591A (ja) * | 2007-08-28 | 2009-03-12 | Samsung Electronics Co Ltd | 偽輪郭を探知および除去する方法および装置、ピクセルの輪郭可否を確認する方法および装置、またはシンプリシティを計算する方法および装置 |
WO2010047104A1 (ja) * | 2008-10-22 | 2010-04-29 | 日本電信電話株式会社 | デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3343918A4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019208189A1 (ja) * | 2018-04-26 | 2019-10-31 | ソニー株式会社 | 画像復号装置、および画像復号方法、並びにプログラム |
WO2019208190A1 (ja) * | 2018-04-26 | 2019-10-31 | ソニー株式会社 | 画像符号化装置、および画像符号化方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6504604B2 (ja) | 2019-04-24 |
EP3343918A1 (en) | 2018-07-04 |
JP2017046115A (ja) | 2017-03-02 |
CN107925761B (zh) | 2021-02-12 |
US10819988B2 (en) | 2020-10-27 |
US20180176584A1 (en) | 2018-06-21 |
EP3343918A4 (en) | 2018-09-19 |
CN107925761A (zh) | 2018-04-17 |
EP3343918B1 (en) | 2023-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017033560A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム | |
RU2666328C1 (ru) | Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений | |
JP5312468B2 (ja) | ビデオ圧縮のためのループ内忠実度の向上 | |
CN103501441B (zh) | 一种基于人类视觉***的多描述视频编码方法 | |
US9729870B2 (en) | Video coding efficiency with camera metadata | |
KR20130105855A (ko) | 예제 기반 데이터 프루닝을 이용한 비디오 부호화 | |
US20170302938A1 (en) | Image encoding apparatus and method of controlling the same | |
KR20120117613A (ko) | 동영상 부호화 장치 및 방법 | |
JP6065613B2 (ja) | 動画像符号化装置 | |
TWI533670B (zh) | 位元串流型式之畫像的解碼方法 | |
WO2019194109A1 (ja) | 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム | |
JP6564315B2 (ja) | 符号化装置、復号装置、及びプログラム | |
JP2019110568A (ja) | 動画像符号化装置、動画像処理システム、動画像符号化方法、およびプログラム | |
JP6016488B2 (ja) | 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム | |
JP6200220B2 (ja) | 画像処理装置、符号化装置、復号装置、及びプログラム | |
US10003826B2 (en) | Method of reducing noise of video signal | |
JP6154753B2 (ja) | 動画像復号装置、動画像復号方法、およびプログラム | |
KR102192980B1 (ko) | 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법 | |
WO2009133938A1 (ja) | 動画像符号化及び復号装置 | |
WO2014147679A1 (ja) | 画像符号化装置および画像符号化方法 | |
JP6423680B2 (ja) | 画質改善装置、画質改善システム、及び画質改善プログラム | |
JP2022087335A (ja) | 画像復号装置、画像復号方法及びプログラム | |
JP2022079469A (ja) | 画像復号装置、画像復号方法及びプログラム | |
KR101590091B1 (ko) | 영상 필터링 장치 및 그 방법 | |
KR101533051B1 (ko) | 블록별 양자화 레벨을 이용한 인코딩 방법 및 그 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16838907 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |