WO2021054437A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2021054437A1
WO2021054437A1 PCT/JP2020/035427 JP2020035427W WO2021054437A1 WO 2021054437 A1 WO2021054437 A1 WO 2021054437A1 JP 2020035427 W JP2020035427 W JP 2020035427W WO 2021054437 A1 WO2021054437 A1 WO 2021054437A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
image
unit
component
color difference
Prior art date
Application number
PCT/JP2020/035427
Other languages
English (en)
French (fr)
Inventor
健治 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2021054437A1 publication Critical patent/WO2021054437A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method, and more particularly to an image processing apparatus and an image processing method capable of further improving prediction accuracy.
  • VVC Very Video Coding
  • Non-Patent Documents 1 and 2 when motion compensation is performed for a luminance component and a color difference component, an independent interpolation filter is applied to each component. That is, a fixed filter using the luminance component is applied to the luminance component, and a fixed filter using the luminance component is applied to the luminance component.
  • Non-Patent Documents 1 and 2 described above the correlation between the luminance component and the color difference component is not considered, and the interpolation filter is also applied independently for each component. Therefore, it is considered that there is room for improvement in terms of prediction accuracy.
  • This disclosure was made in view of such a situation, and makes it possible to further improve the prediction accuracy.
  • the image processing apparatus of the first aspect of the present disclosure performs motion compensation processing to which an interpolation filter is applied to a current prediction block to be encoded, and generates prediction pixels in the current prediction block.
  • the inter-prediction unit that performs cross-component inter-prediction that applies the interpolation filter using both the brightness component of the image and the color-difference component of the image, and the prediction pixel, for the color difference component of the current prediction block.
  • a coding unit for encoding the current pixel in the current prediction block is mapped to prediction pixels in the current prediction block.
  • the image processing apparatus performs motion compensation processing by applying an interpolation filter to the current prediction block to be encoded, and the prediction pixels in the current prediction block. Is generated, cross-component inter-prediction that applies the interpolation filter using both the brightness component of the image and the color difference component of the image is performed on the color difference component of the current prediction block, and the prediction pixel is generated. Includes encoding the current pixel in the current prediction block with.
  • the current prediction block is generated when the prediction pixels in the current prediction block are generated by performing motion compensation processing in which an interpolation filter is applied to the current prediction block to be encoded.
  • Cross-component inter-prediction is performed by applying an interpolation filter using both the brightness component of the image and the color difference component of the image, and the current pixel in the current prediction block is coded using the prediction pixel. Is made.
  • the image processing apparatus performs motion compensation processing by applying an interpolation filter to the current prediction block to be decoded, and generates prediction pixels in the current prediction block.
  • a cross-component inter-prediction unit that applies the interpolation filter to the color difference component of the current prediction block by using both the brightness component of the image and the color difference component of the image, and the prediction pixel are used. It includes a decoding unit that decodes the current pixel in the current prediction block.
  • the image processing apparatus performs motion compensation processing by applying an interpolation filter to the current prediction block to be decoded to obtain the predicted pixels in the current prediction block.
  • an interpolation filter to be decoded to obtain the predicted pixels in the current prediction block.
  • cross-component inter-prediction that applies the interpolation filter using both the brightness component of the image and the color difference component of the image is performed on the color difference component of the current prediction block, and the prediction pixel is used. It includes decoding the current pixel in the current prediction block.
  • the current prediction block when the motion compensation process to which the interpolation filter is applied is applied to the current prediction block to be the decoding process to generate the prediction pixels in the current prediction block, the current prediction block is used.
  • Cross-component inter-prediction is performed by applying an interpolation filter using both the brightness component of the image and the color difference component of the image for the color difference component, and the current pixel in the current prediction block is decoded using the prediction pixel.
  • references REF1 to REF4 which are known at the time of filing, are also incorporated herein by reference.
  • the contents described in References REF1 to REF4 are also the basis for determining support requirements.
  • the documents referred to in References REF1 to REF4 are also the basis for determining the support requirements.
  • REF1 Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
  • REF2 Recommendation ITU-T H.265 (02/2018) “High efficiency video coding”, February 2018
  • REF3 Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 6), JVET-O2001-v14 (version 14 --date 2019-07-31)
  • REF4 Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6), JVET-O2002-v1 (version 1 --date 2019-08-15)
  • a "block” (not a block indicating a processing unit) used as a partial area or a processing unit of an image (picture) indicates an arbitrary partial area in the picture, and its size, shape, and processing.
  • the characteristics are not limited.
  • "block” includes TB (Transform Block), TU (Transform Unit), PB (Prediction Block), PU (Prediction Unit), SCU (Smallest Coding Unit), CU (Coding Unit), LCU (Largest Coding Unit). ), CTB (Coding TreeBlock), CTU (Coding Tree Unit), conversion block, subblock, macroblock, tile, slice, etc., any partial area (processing unit) shall be included.
  • the block size may be specified using the identification information that identifies the size.
  • the block size may be specified by the ratio or difference with the size of the reference block (for example, LCU, SCU, etc.).
  • the designation of the block size also includes the designation of the range of the block size (for example, the designation of the range of the allowable block size).
  • the data unit in which various information is set and the data unit targeted by various processes are arbitrary and are not limited to the above-mentioned examples.
  • these information and processes are TU (Transform Unit), TB (Transform Block), PU (Prediction Unit), PB (Prediction Block), CU (Coding Unit), LCU (Largest Coding Unit), and subblock, respectively.
  • Blocks, tiles, slices, pictures, sequences, or components, or data in those data units may be targeted.
  • this data unit can be set for each information or process, and it is not necessary that the data unit of all the information or process is unified.
  • the storage location of these information is arbitrary, and may be stored in the header, parameter set, or the like of the above-mentioned data unit. Further, it may be stored in a plurality of places.
  • control information related to the present technology may be transmitted from the coding side to the decoding side.
  • control information for example, enabled_flag
  • control information indicating an object to which the present technology is applied (or an object to which the present technology is not applied) may be transmitted.
  • control information may be transmitted that specifies the block size (upper limit, / lower limit, or both) to which the present technology is applied (or permission or prohibition of application), a frame, a component, a layer, or the like.
  • the "flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more states. It also contains information that can identify the state. Therefore, the value that this "flag” can take may be, for example, 2 values of 1/0 or 3 or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information (including the flag) is assumed to include not only the identification information in the bit stream but also the difference information of the identification information with respect to a certain reference information in the bit stream. In, the "flag” and “identification information” include not only the information but also the difference information with respect to the reference information.
  • association metadata various information (metadata, etc.) regarding the coded data (bit stream) may be transmitted or recorded in any form as long as it is associated with the coded data.
  • the term "associate” means, for example, to make the other data available (linkable) when processing one data. That is, the data associated with each other may be combined as one data or may be individual data.
  • the information associated with the coded data (image) may be transmitted on a transmission path different from the coded data (image).
  • the information associated with the coded data (image) may be recorded on a recording medium (or another recording area of the same recording medium) different from the coded data (image). Good.
  • this "association" may be a part of the data, not the entire data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part within the frame.
  • the coding includes not only the whole process of converting an image into a bit stream but also a part of the process.
  • decoding includes not only the entire process of converting a bitstream into an image, but also some processes.
  • decoding includes not only the entire process of converting a bitstream into an image, but also some processes.
  • it not only includes processing that includes inverse arithmetic decoding, inverse quantization, inverse orthogonal transformation, prediction processing, etc., but also processing that includes inverse arithmetic decoding and inverse quantization, inverse arithmetic decoding, inverse quantization, and prediction processing.
  • the prediction block means a block that is a processing unit when performing inter-prediction, and includes sub-blocks in the prediction block. If the processing unit is unified with the orthogonal conversion block, which is the processing unit when performing orthogonal conversion, or the coding block, which is the processing unit when performing coding processing, the prediction block and the orthogonal conversion block / code It means the same block as the conversion block.
  • Inter-prediction is a general term for processing that involves prediction between frames (prediction blocks) such as derivation of motion vectors by motion detection (MotionPrediction / MotionEstimation) and motion compensation using motion vectors (MotionCompensation). It includes some processing (for example, motion compensation processing only) or all processing (for example, motion detection processing + motion compensation processing) used when generating a predicted image.
  • the inter-prediction mode is referred to when deriving the inter-prediction mode, such as the mode number when performing inter-prediction, the index of the mode number, the block size of the prediction block, and the size of the sub-block which is the processing unit in the prediction block. It means to include variables (parameters).
  • identification data that identifies a plurality of patterns can be set as a bitstream syntax.
  • the decoder can perform processing more efficiently by parsing + referencing the identification data.
  • data data for identifying the block size
  • not only the block size itself is digitized (bitified), but also a method for identifying a difference value with respect to a reference block size (maximum block size, minimum block size, etc.) ( Data) is included.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of an image processing system to which the present technology is applied.
  • the image processing system 11 includes an image coding device 12 and an image decoding device 13.
  • the image input to the image coding device 12 is encoded, the bit stream obtained by the coding is transmitted to the image decoding device 13, and the image decoding device 13 decodes the bit stream from the bit stream.
  • the decoded image is output.
  • the image coding device 12 has an inter-prediction unit 21, a coding unit 22, and a setting unit 23, and the image decoding device 13 has an inter-prediction unit 31 and a decoding unit 32.
  • the inter-prediction unit 21 performs motion compensation processing by applying an interpolation filter to the current prediction block to be coded, and performs inter-prediction to generate prediction pixels in the current prediction block. At this time, the inter-prediction unit 21 applies an interpolation filter to the color difference component of the current prediction block by using both the luminance component of the image and the color difference component of the image (hereinafter, referred to as cross-component inter-prediction). ) Is configured to do. That is, the inter-prediction unit 21 performs cross-component inter-prediction by inputting not only the chroma component but also the luma component (luminance component) to the interpolation filter for the chroma component (color difference component).
  • the coding unit 22 encodes the current pixel in the current prediction block using the prediction pixel generated by the inter prediction unit 21 to generate a bit stream.
  • the setting unit 23 sets identification data for identifying whether or not to apply the cross-component inter-prediction, identification data for identifying the block size of the prediction block to which the cross-component inter-prediction is applied, and the like. Then, the coding unit 22 generates a bit stream including the identification data set by the setting unit 23.
  • the inter-prediction unit 31 performs cross-component inter-prediction on the current prediction block to be decoded, and generates prediction pixels in the current prediction block.
  • the inter-prediction unit 31 refers to the identification data contained in the bitstream to identify whether or not to apply the cross-component inter-prediction, and to identify the block size of the prediction block to which the cross-component inter-prediction is applied. can do.
  • the decoding unit 32 decodes the current pixel in the current prediction block by using the prediction pixel generated by the inter prediction unit 31.
  • the prediction accuracy for the chroma component can be improved by performing the cross-component inter-prediction by the inter-prediction units 21 and 31.
  • the configuration of the image coding device 12 will be further described with reference to the block diagram shown in FIG.
  • the image coding apparatus 12 includes a calculation unit 41, an orthogonal conversion unit 42, a quantization unit 43, an inverse quantization unit 44, an inverse orthogonal conversion unit 45, a calculation unit 46, a loop filter 47, and a frame buffer. It includes 48, an inter-prediction unit 49, an intra-prediction unit 50, a selection unit 51, and an entropy coding unit 52.
  • the inter-prediction unit 49 has a luminance interpolation filter 61, an interpolation filter 62 for chroma Cb, and an interpolation filter 63 for chroma Cr.
  • the calculation unit 41 subtracts the predicted image selected by the selection unit 51 from the image, and the difference information obtained by the calculation is input to the orthogonal conversion unit 42.
  • the conversion coefficient obtained by orthogonally converting the difference information in the orthogonal conversion unit 42 is input to the quantization unit 43, and the conversion coefficient quantized in the quantization unit 43 is input to the inverse quantization unit 44 and the entropy coding unit 52. Entered.
  • the quantized conversion coefficient is inversely quantized in the inverse quantization unit 44, the conversion coefficient obtained by the inverse quantization is input to the inverse orthogonal conversion unit 45, and the conversion coefficient is inverse orthogonal conversion in the inverse orthogonal conversion unit 45.
  • the output (restored difference information) is supplied to the calculation unit 46.
  • the predicted image selected by the selection unit 51 is supplied to the calculation unit 46, and the output from the inverse orthogonal conversion unit 45 is added to the predicted image to obtain a locally decoded decoded image.
  • the decoded image is supplied to the intra prediction unit 50, and is also supplied to the inter prediction unit 49 via the loop filter 47 and the frame buffer 48.
  • the inter-prediction unit 49 corresponds to the inter-prediction unit 21 of FIG. 1 and performs cross-component inter-prediction for the pixels (brightness signal Y, chroma signal Cb, and chroma signal Cr) of the decoded image supplied from the frame buffer 48. By doing so, the predicted pixels of the predicted image (brightness signal Y', chroma signal Cb', and chroma signal Cr') are generated and output to the selection unit 51.
  • the luminance signal Y supplied from the frame buffer 48 is supplied to the luminance interpolation filter 61, and is also supplied to the chroma Cb interpolation filter 62 and the chroma Cr interpolation filter 63. Therefore, the luminance signal Y and the chroma signal Cb are supplied to the chroma Cb interpolation filter 62, and the luminance signal Y and the chroma signal Cr are supplied to the chroma Cr interpolation filter 63.
  • the luminance interpolation filter 61 targets the luminance signal Y of the current prediction block and generates the luminance signal Y'of the prediction pixel of the current prediction block by performing motion compensation processing using the luminance signal Y.
  • the interpolation filter 62 for chroma Cb targets the chroma signal Cb of the current prediction block, and generates the chroma signal Cb'of the prediction pixel of the current prediction block by performing motion compensation processing using the luminance signal Y and the chroma signal Cb. To do.
  • the interpolation filter 63 for chroma Cr targets the chroma signal Cr of the current prediction block, and generates the chroma signal Cr'of the prediction pixel of the current prediction block by performing motion compensation processing using the luminance signal Y and the chroma signal Cr. To do.
  • the intra prediction unit 50 generates a prediction image by performing an intra prediction on the decoded image supplied from the calculation unit 46, and outputs the prediction image to the selection unit 51.
  • the entropy coding unit 52 corresponds to the coding unit 22 in FIG. 1 and outputs a bit stream of coded data obtained by performing an entropy coding process on the conversion coefficient quantized in the quantization unit 43. To do.
  • the image coding device 12 configured in this way has a configuration different from the conventional one in that the luminance signal Y is also supplied to the interpolation filter 62 for chroma Cb and the interpolation filter 63 for chroma Cr to perform cross-component inter-prediction. It has become.
  • the conventional image coding device 12a is configured so that the luminance signal Y supplied from the frame buffer 48 is supplied only to the luminance interpolation filter 61. Therefore, in the conventional image coding apparatus 12a, the luminance signal Y is not supplied to the interpolation filter 62a for chroma Cb and the interpolation filter 63a for chroma Cr. That is, conventionally, the chroma Cb interpolation filter 62a performs motion compensation processing using only the chroma signal Cb, and the chroma Cr interpolation filter 63a performs motion compensation processing using only the chroma signal Cr.
  • the interpolation filter 62 for chroma Cb and the interpolation filter 63 for chroma Cr have different configurations from the conventional ones.
  • the interpolation filter 62 for chroma Cb and the interpolation filter 63 for chroma Cr have an index yFrac C corresponding to the vertical fractional position of the chroma signal, an index yFrac L corresponding to the vertical fractional position of the Luma signal, and a vertical fractional position.
  • the chroma signal predSampleLX C after the interpolation filter is calculated by the following equation (1). ). Where n is the position.
  • Temporary memory temp [n] after vertical interpolation filter is the filter coefficient f C [xFrac C ] [i] that takes the chroma signal as input, and the reference image refPicLX C [xInt i ] [i] of the chroma signal in the frame buffer. It is expressed by the following equation (2) using [yInt n].
  • xFrac C is an index corresponding to a fractional position in the horizontal direction
  • xInt and yInt indicate an integer position of the chroma signal.
  • the interpolation filter 62 for chroma Cb and the interpolation filter 63 for chroma Cr not only the chroma signal but also the brightness signal is used.
  • Cross-component interpolation is performed to predict the prediction image.
  • FIG. 4A shows an input luminance component and an input color difference component of the image input to the image coding device 12. As shown in the figure, there is often a correlation between the input luminance component and the input color difference component.
  • FIG. 4B shows a coded luminance component and a coded color difference component in which the input luminance component and the input color difference component are coded using ordinary inter-prediction.
  • the quantization parameter QP due to the difference in the quantization parameter QP, a large error often occurs in the color difference component as compared with the luminance component.
  • C in FIG. 4 shows a coded luminance component and a coded color difference component that have been subjected to a coding process using cross-component inter-prediction with respect to the input luminance component and the input color difference component.
  • the correction is performed using a predetermined number (for example, three as shown) of luminance signals located near the color difference signal to be corrected.
  • the image coding apparatus 12 by using the cross-component inter-prediction, it is possible to suppress the occurrence of an error as compared with the conventional case and further improve the prediction accuracy.
  • the cross-component inter-prediction when encoding and decoding are performed using the luminance signal Y, the chroma signal Cb, and the chroma signal Cr has been described, but the present invention is not limited to this. Absent.
  • the present technology can also be applied to coding and decoding using the luminance signal Y, the difference signal U, and the difference signal V.
  • the luminance component is used for the prediction of the color difference component, but also the cross-component inter-prediction that uses the luminance component for the prediction of the luminance component may be performed.
  • FIG. 5 is a block diagram showing a configuration example of an embodiment of a computer-based system to which the present technology is applied.
  • FIG. 5 is a block diagram showing a configuration example of a network system in which one or more computers, servers, and the like are connected via a network.
  • the hardware and software environment shown in the embodiment of FIG. 5 is shown as an example of being able to provide a platform for implementing the software and / or method according to the present disclosure.
  • the network system 101 includes a computer 102, a network 103, a remote computer 104, a web server 105, a cloud storage server 106, and a computer server 107.
  • a plurality of instances are executed by one or more of the functional blocks shown in FIG.
  • FIG. 5 a detailed configuration of the computer 102 is illustrated.
  • the functional block shown in the computer 102 is shown for establishing an exemplary function, and is not limited to such a configuration.
  • the detailed configurations of the remote computer 104, the web server 105, the cloud storage server 106, and the computer server 107 are not shown, they include the same configurations as the functional blocks shown in the computer 102. ing.
  • the computer 102 may be a personal computer, desktop computer, laptop computer, tablet computer, netbook computer, personal digital assistant, smartphone, or other programmable electronic device capable of communicating with other devices on the network. Can be done.
  • the computer 102 includes a bus 111, a processor 112, a memory 113, a non-volatile storage 114, a network interface 115, a peripheral device interface 116, and a display interface 117.
  • a bus 111 bus 111
  • a processor 112 a memory 113
  • a non-volatile storage 114 non-volatile storage 114
  • a network interface 115 network interface 115
  • a peripheral device interface 116 a display interface 117.
  • Each of these features is implemented in an individual electronic subsystem (integrated circuit chip or a combination of chips and associated devices) in some embodiments, or in some embodiments, some of the features are combined. It may be mounted on a single chip (system on chip or SoC (System on Chip)).
  • Bus 111 can adopt various proprietary or industry standard high-speed parallel or serial peripheral interconnection buses.
  • Processor 112 may employ one designed and / or manufactured as one or more single or multi-chip microprocessors.
  • the memory 113 and the non-volatile storage 114 are storage media that can be read by the computer 102.
  • the memory 113 can employ any suitable volatile storage device such as DRAM (Dynamic Random Access Memory) or SRAM (Static RAM).
  • the non-volatile storage 114 includes a flexible disk, a hard disk, an SSD (Solid State Drive), a ROM (Read Only Memory), an EPROM (Erasable and Programmable Read Only Memory), a flash memory, a compact disk (CD or CD-ROM), and a DVD (CD or CD-ROM). At least one or more of Digital Versatile Disc), card type memory, or stick type memory can be adopted.
  • the program 121 is stored in the non-volatile storage 114.
  • Program 121 is, for example, a collection of machine-readable instructions and / or data used to create, manage, and control specific software features. In a configuration in which the memory 113 is much faster than the non-volatile storage 114, the program 121 can be transferred from the non-volatile storage 114 to the memory 113 before being executed by the processor 112.
  • the computer 102 can communicate and interact with other computers via the network 103 via the network interface 115.
  • the network 103 can adopt, for example, a LAN (Local Area Network), a WAN (Wide Area Network) such as the Internet, or a combination of LAN and WAN, including a wired, wireless, or optical fiber connection. ..
  • network 103 consists of any combination of connections and protocols that support communication between two or more computers and related devices.
  • the peripheral device interface 116 can input and output data to and from other devices that can be locally connected to the computer 102.
  • the peripheral interface 116 provides a connection to the external device 131.
  • the external device 131 includes a keyboard, mouse, keypad, touch screen, and / or other suitable input device.
  • the external device 131 may also include, for example, a thumb drive, a portable optical or magnetic disk, and a portable computer readable storage medium such as a memory card.
  • software and data used to implement program 121 may be stored on such a portable computer readable storage medium.
  • the software may be loaded directly into the non-volatile storage 114 or into the memory 113 via the peripheral interface 116.
  • Peripheral device interface 116 may use an industry standard such as RS-232 or USB (Universal Serial Bus) for connection with the external device 131.
  • the display interface 117 can connect the computer 102 to the display 132, and the display 132 can be used to present a command line or graphical user interface to the user of the computer 102.
  • industry standards such as VGA (Video Graphics Array), DVI (Digital Visual Interface), DisplayPort, and HDMI (High-Definition Multimedia Interface) (registered trademark) can be adopted for the display interface 117.
  • FIG. 6 shows the configuration of an embodiment of an image coding device as an image processing device to which the present disclosure is applied.
  • the image coding device 201 shown in FIG. 6 encodes the image data by using the prediction process.
  • the coding method for example, a VVC (Versatile Video Coding) method, a HEVC (High Efficiency Video Coding) method, or the like is used.
  • the image coding device 201 of FIG. 6 has an A / D conversion unit 202, a screen sorting buffer 203, a calculation unit 204, an orthogonal conversion unit 205, a quantization unit 206, a lossless coding unit 207, and a storage buffer 208. Further, the image coding device 201 includes an inverse quantization unit 209, an inverse orthogonal conversion unit 210, an arithmetic unit 211, a deblocking filter 212, an adaptive offset filter 213, an adaptive loop filter 214, a frame memory 215, a selection unit 216, and an intra prediction. It has a unit 217, a motion prediction / compensation unit 218, a prediction image selection unit 219, and a rate control unit 220.
  • the A / D conversion unit 202 A / D-converts the input image data (Picture (s)) and supplies it to the screen sorting buffer 203.
  • the digital data image may be input without providing the A / D conversion unit 202.
  • the screen rearrangement buffer 203 stores the image data supplied from the A / D conversion unit 202, and encodes the images of the frames in the stored display order according to the GOP (Group of Picture) structure. Sort by frame order.
  • the screen rearrangement buffer 203 outputs the images in which the frame order is rearranged to the calculation unit 204, the intra prediction unit 217, and the motion prediction / compensation unit 218.
  • the calculation unit 204 subtracts the prediction image supplied from the intra prediction unit 217 or the motion prediction / compensation unit 218 via the prediction image selection unit 219 from the image output from the screen rearrangement buffer 203, and obtains the difference information. Output to the orthogonal conversion unit 205.
  • the calculation unit 204 subtracts the prediction image supplied from the intra prediction unit 217 from the image output from the screen rearrangement buffer 203. Further, for example, in the case of an image to be intercoded, the calculation unit 204 subtracts the prediction image supplied from the motion prediction / compensation unit 218 from the image output from the screen rearrangement buffer 203.
  • the orthogonal transform unit 205 performs orthogonal transforms such as discrete cosine transform and Karhunen-Loève transform on the difference information supplied from the arithmetic unit 204, and supplies the conversion coefficients to the quantization unit 206.
  • the quantization unit 206 quantizes the conversion coefficient output by the orthogonal conversion unit 205.
  • the quantized unit 206 supplies the quantized conversion coefficient to the lossless coding unit 207.
  • the lossless coding unit 207 applies lossless coding such as variable length coding and arithmetic coding to the quantized conversion coefficient.
  • the lossless coding unit 207 acquires parameters such as information indicating the intra prediction mode from the intra prediction unit 217, and acquires parameters such as information indicating the inter prediction mode and motion vector information from the motion prediction / compensation unit 218.
  • the lossless coding unit 207 encodes the quantized conversion coefficient and encodes each acquired parameter (syntax element) to be a part (multiplex) of the header information of the coded data.
  • the lossless coding unit 207 supplies the coded data obtained by coding to the storage buffer 208 and stores it.
  • lossless coding processing such as variable length coding or arithmetic coding is performed.
  • variable-length coding include CAVLC (Context-Adaptive Variable Length Coding).
  • arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).
  • the storage buffer 208 temporarily holds the coded stream (Encoded Data) supplied from the reversible coding unit 207, and at a predetermined timing, as a coded image, for example, not shown in the subsequent stage. Output to a recording device or transmission line. That is, the storage buffer 208 is also a transmission unit that transmits a coded stream.
  • the coded stream Encoded Data
  • the conversion coefficient quantized in the quantization unit 206 is also supplied to the inverse quantization unit 209.
  • the dequantization unit 209 dequantizes the quantized conversion coefficient by a method corresponding to the quantization by the quantization unit 206.
  • the inverse quantization unit 209 supplies the obtained conversion coefficient to the inverse orthogonal conversion unit 210.
  • the inverse orthogonal conversion unit 210 performs inverse orthogonal conversion of the supplied conversion coefficient by a method corresponding to the orthogonal conversion processing by the orthogonal conversion unit 205.
  • the inverse orthogonally converted output (restored difference information) is supplied to the calculation unit 211.
  • the calculation unit 211 supplies the inverse orthogonal conversion result supplied from the inverse orthogonal conversion unit 210, that is, the restored difference information from the intra prediction unit 217 or the motion prediction / compensation unit 218 via the prediction image selection unit 219.
  • the predicted images are added to obtain a locally decoded image (decoded image).
  • the calculation unit 211 adds the prediction image supplied from the intra prediction unit 217 to the difference information. Further, for example, when the difference information corresponds to an image to be inter-encoded, the calculation unit 211 adds the predicted image supplied from the motion prediction / compensation unit 218 to the difference information.
  • the decoded image that is the addition result is supplied to the deblocking filter 212 and the frame memory 215.
  • the deblocking filter 212 suppresses the block distortion of the decoded image by appropriately performing the deblocking filter processing on the image from the calculation unit 211, and supplies the filter processing result to the adaptive offset filter 213.
  • the deblocking filter 212 has parameters ⁇ and Tc obtained based on the quantization parameter QP.
  • the parameters ⁇ and Tc are threshold values (parameters) used for determining the deblocking filter.
  • the parameters ⁇ and Tc of the deblocking filter 212 are extended from ⁇ and Tc specified by the HEVC method.
  • Each offset of the parameters ⁇ and Tc is encoded by the lossless coding unit 207 as a parameter of the deblocking filter and transmitted to the image decoding device 301 of FIG. 8 described later.
  • the adaptive offset filter 213 mainly performs an offset filter (SAO: Sample adaptive offset) process that suppresses ringing on the image after filtering by the deblocking filter 212.
  • SAO Sample adaptive offset
  • the adaptive offset filter 213 uses a quad-tree structure in which the type of offset filter is determined for each divided area and an offset value for each divided area to filter the image after filtering by the deblocking filter 212. Apply processing.
  • the adaptive offset filter 213 supplies the filtered image to the adaptive loop filter 214.
  • the quad-tree structure and the offset value for each divided region are calculated and used by the adaptive offset filter 213.
  • the calculated quad-tree structure and the offset value for each divided region are encoded by the lossless coding unit 207 as adaptive offset parameters and transmitted to the image decoding device 301 of FIG. 8 to be described later.
  • the adaptive loop filter 214 performs adaptive loop filter (ALF: Adaptive Loop Filter) processing for each processing unit on the image after filtering by the adaptive offset filter 213, using the filter coefficient.
  • ALF Adaptive Loop Filter
  • a two-dimensional Wiener filter is used as the filter.
  • a filter other than the Wiener filter may be used.
  • the adaptive loop filter 214 supplies the filter processing result to the frame memory 215.
  • the filter coefficient is an adaptive loop filter 214 for each processing unit so as to minimize the residual with the original image from the screen rearrangement buffer 203. It is calculated and used by.
  • the calculated filter coefficient is encoded by the lossless coding unit 207 as an adaptive loop filter parameter and transmitted to the image decoding device 301 of FIG. 8 described later.
  • the frame memory 215 outputs the stored reference image to the intra prediction unit 217 or the motion prediction / compensation unit 218 via the selection unit 216 at a predetermined timing.
  • the frame memory 215 supplies the reference image to the intra-prediction unit 217 via the selection unit 216. Further, for example, when intercoding is performed, the frame memory 215 supplies the reference image to the motion prediction / compensation unit 218 via the selection unit 216.
  • the selection unit 216 supplies the reference image to the intra prediction unit 217. Further, when the reference image supplied from the frame memory 215 is an image to be intercoded, the selection unit 216 supplies the reference image to the motion prediction / compensation unit 218.
  • the intra prediction unit 217 performs intra prediction (in-screen prediction) that generates a prediction image using the pixel values in the screen.
  • the intra prediction unit 217 performs intra prediction in a plurality of modes (intra prediction mode).
  • the intra prediction unit 217 generates prediction images in all intra prediction modes, evaluates each prediction image, and selects the optimum mode. When the optimum intra prediction mode is selected, the intra prediction unit 217 supplies the prediction image generated in the optimum mode to the calculation unit 204 and the calculation unit 211 via the prediction image selection unit 219.
  • the intra prediction unit 217 appropriately supplies parameters such as intra prediction mode information indicating the adopted intra prediction mode to the lossless coding unit 207.
  • the motion prediction / compensation unit 218 uses the input image supplied from the screen rearrangement buffer 203 and the reference image supplied from the frame memory 215 via the selection unit 216 for the image to be intercoded. Predict movement. Further, the motion prediction / compensation unit 218 performs motion compensation processing according to the motion vector detected by the motion prediction, and generates a prediction image (inter-prediction image information).
  • the motion prediction / compensation unit 218 performs inter-prediction processing in all candidate inter-prediction modes and generates a prediction image.
  • the motion prediction / compensation unit 218 supplies the generated predicted image to the calculation unit 204 and the calculation unit 211 via the prediction image selection unit 219. Further, the motion prediction / compensation unit 218 supplies parameters such as inter-prediction mode information indicating the adopted inter-prediction mode and motion vector information indicating the calculated motion vector to the reversible coding unit 207.
  • the prediction image selection unit 219 supplies the output of the intra prediction unit 217 to the calculation unit 204 and the calculation unit 211 in the case of an image to be intra-encoded, and in the case of an image to be inter-encoded, the motion prediction / compensation unit 218 of the prediction image selection unit 219.
  • the output is supplied to the calculation unit 204 and the calculation unit 211.
  • the rate control unit 220 controls the rate of the quantization operation of the quantization unit 206 based on the compressed image stored in the storage buffer 208 so that overflow or underflow does not occur.
  • the image coding device 201 is configured in this way, the lossless coding unit 207 corresponds to the coding unit 22 of FIG. 1, and the motion prediction / compensation unit 218 corresponds to the inter prediction unit 21 of FIG. .. Therefore, as described above, the image coding device 201 can further improve the prediction accuracy.
  • step S101 the A / D conversion unit 202 A / D-converts the input image.
  • step S102 the screen rearrangement buffer 203 stores the A / D-converted images by the A / D conversion unit 202, and rearranges the images from the display order of each picture to the coding order.
  • the referenced decoded image is read from the frame memory 215 and is read from the frame memory 215 and is passed through the selection unit 216 to the intra prediction unit. It is supplied to 217.
  • the intra-prediction unit 217 intra-predicts the pixels of the block to be processed in all the candidate intra-prediction modes.
  • a pixel not filtered by the deblocking filter 212 is used as the decoded pixel to be referred to.
  • intra-prediction is performed in all candidate intra-prediction modes, and cost function values are calculated for all candidate intra-prediction modes. Then, the optimum intra prediction mode is selected based on the calculated cost function value, and the prediction image generated by the intra prediction of the optimum intra prediction mode and the cost function value thereof are supplied to the prediction image selection unit 219.
  • the referenced image is read from the frame memory 215 and supplied to the motion prediction / compensation unit 218 via the selection unit 216. Will be done. Based on these images, in step S104, the motion prediction / compensation unit 218 performs motion prediction / compensation processing.
  • motion prediction processing is performed in all candidate inter-prediction modes, cost function values are calculated for all candidate inter-prediction modes, and optimal inter-prediction is calculated based on the calculated cost function values.
  • the mode is determined. Then, the predicted image generated by the optimum inter prediction mode and the cost function value thereof are supplied to the predicted image selection unit 219.
  • step S105 the prediction image selection unit 219 optimizes one of the optimum intra prediction mode and the optimum inter prediction mode based on each cost function value output from the intra prediction unit 217 and the motion prediction / compensation unit 218. Determine to predict mode. Then, the prediction image selection unit 219 selects the determined prediction image of the optimum prediction mode and supplies it to the calculation units 204 and 211. This predicted image is used for the calculation of steps S106 and S111 described later.
  • the selection information of this prediction image is supplied to the intra prediction unit 217 or the motion prediction / compensation unit 218.
  • the intra prediction unit 217 supplies information indicating the optimum intra prediction mode (that is, parameters related to the intra prediction) to the lossless coding unit 207.
  • the motion prediction / compensation unit 218 When the prediction image of the optimum inter-prediction mode is selected, the motion prediction / compensation unit 218 reversibly encodes the information indicating the optimum inter-prediction mode and the information corresponding to the optimum inter-prediction mode (that is, the parameters related to the motion prediction). Output to unit 207.
  • the information according to the optimum inter-prediction mode include motion vector information and reference frame information.
  • step S106 the calculation unit 204 calculates the difference between the images sorted in step S102 and the predicted image selected in step S105.
  • the predicted image is supplied to the calculation unit 204 from the motion prediction / compensation unit 218 in the case of inter-prediction and from the intra-prediction unit 217 in the case of intra-prediction via the prediction image selection unit 219.
  • the amount of difference data is smaller than that of the original image data. Therefore, the amount of data can be compressed as compared with the case where the image is encoded as it is.
  • step S107 the orthogonal conversion unit 205 orthogonally converts the difference information supplied from the calculation unit 204. Specifically, orthogonal transforms such as the discrete cosine transform and the Karhunen-Loève transform are performed, and the transform coefficients are output.
  • orthogonal transforms such as the discrete cosine transform and the Karhunen-Loève transform are performed, and the transform coefficients are output.
  • step S108 the quantization unit 206 quantizes the conversion coefficient.
  • the rate is controlled as described in the process of step S118 described later.
  • step S109 the inverse quantization unit 209 dequantizes the conversion coefficient quantized by the quantization unit 206 with a characteristic corresponding to the characteristic of the quantization unit 206.
  • step S110 the inverse orthogonal conversion unit 210 performs inverse orthogonal conversion of the conversion coefficient inversely quantized by the inverse quantization unit 209 with a characteristic corresponding to the characteristic of the orthogonal conversion unit 205.
  • step S111 the calculation unit 211 adds the predicted image input via the predicted image selection unit 219 to the locally decoded difference information, and locally decodes (that is, locally decoded) the image. (Image corresponding to the input to the calculation unit 204) is generated.
  • step S112 the deblocking filter 212 performs a deblocking filter process on the image output from the calculation unit 211.
  • the threshold value for the determination regarding the deblocking filter the parameters ⁇ and Tc extended from ⁇ and Tc defined by the HEVC method are used.
  • the filtered image from the deblocking filter 212 is output to the adaptive offset filter 213.
  • each offset of the parameters ⁇ and Tc used in the deblocking filter 212 which is input by the user by operating the operation unit or the like, is supplied to the reversible coding unit 207 as a parameter of the deblocking filter.
  • step S113 the adaptive offset filter 213 performs adaptive offset filter processing.
  • the filter processing is performed on the image after filtering by the deblocking filter 212 by using the quad-tree structure in which the type of the offset filter is determined for each divided area and the offset value for each divided area. Be given.
  • the filtered image is fed to the adaptive loop filter 214.
  • the determined quad-tree structure and the offset value for each divided region are supplied to the lossless coding unit 207 as an adaptive offset parameter.
  • step S114 the adaptive loop filter 214 performs adaptive loop filter processing on the image after filtering by the adaptive offset filter 213.
  • the image after filtering by the adaptive offset filter 213 is filtered for each processing unit by using the filter coefficient, and the filter processing result is supplied to the frame memory 215.
  • step S115 the frame memory 215 stores the filtered image. Images that have not been filtered by the deblocking filter 212, the adaptive offset filter 213, and the adaptive loop filter 214 are also supplied and stored in the frame memory 215 from the calculation unit 211.
  • the conversion coefficient quantized in step S108 described above is also supplied to the lossless coding unit 207.
  • the lossless coding unit 207 encodes the quantized conversion coefficient output from the quantized unit 206 and each supplied parameter. That is, the difference image is losslessly coded and compressed by variable length coding, arithmetic coding, and the like.
  • each of the encoded parameters includes a deblocking filter parameter, an adaptive offset filter parameter, an adaptive loop filter parameter, a quantization parameter, motion vector information and reference frame information, prediction mode information, and the like.
  • step S117 the storage buffer 208 stores the coded difference image (that is, the coded stream) as a compressed image.
  • the compressed image stored in the storage buffer 208 is appropriately read out and transmitted to the decoding side via the transmission line.
  • step S118 the rate control unit 220 controls the rate of the quantization operation of the quantization unit 206 based on the compressed image stored in the storage buffer 208 so that overflow or underflow does not occur.
  • step S118 When the process of step S118 is completed, the coding process is completed.
  • the motion prediction / compensation unit 218 when the motion prediction / compensation unit 218 performs motion prediction / compensation processing in step S104 to generate a prediction image, the color difference component of the current prediction block is targeted as the brightness component of the image.
  • Cross-component inter-prediction is performed by applying an interpolation filter using both the color difference component of the image.
  • FIG. 8 shows the configuration of an embodiment of an image decoding device as an image processing device to which the present disclosure is applied.
  • the image decoding device 301 shown in FIG. 8 is a decoding device corresponding to the image coding device 201 of FIG.
  • the encoded stream (Encoded Data) encoded by the image coding device 201 is transmitted to the image decoding device 301 corresponding to the image coding device 201 via a predetermined transmission line and decoded. ..
  • the image decoding device 301 includes a storage buffer 302, a reversible decoding unit 303, an inverse quantization unit 304, an inverse orthogonal conversion unit 305, an arithmetic unit 306, a deblocking filter 307, an adaptive offset filter 308, and an adaptive device. It has a loop filter 309, a screen sorting buffer 310, a D / A conversion unit 311, a frame memory 312, a selection unit 313, an intra prediction unit 314, a motion prediction / compensation unit 315, and a selection unit 316.
  • the storage buffer 302 is also a receiving unit that receives the transmitted encoded data.
  • the storage buffer 302 receives the transmitted coded data and stores it. This coded data is encoded by the image coding device 201.
  • the lossless decoding unit 303 decodes the coded data read from the storage buffer 302 at a predetermined timing by a method corresponding to the coding method of the lossless coding unit 207 of FIG.
  • the reversible decoding unit 303 supplies parameters such as information indicating the decoded intra prediction mode to the intra prediction unit 314, and supplies parameters such as information indicating the inter prediction mode and motion vector information to the motion prediction / compensation unit 315. .. Further, the reversible decoding unit 303 supplies the decoded deblocking filter parameters to the deblocking filter 307, and supplies the decoded adaptive offset parameters to the adaptive offset filter 308.
  • the inverse quantization unit 304 dequantizes the coefficient data (quantization coefficient) obtained by decoding by the reversible decoding unit 303 by a method corresponding to the quantization method of the quantization unit 206 of FIG. That is, the inverse quantization unit 304 performs the inverse quantization of the quantization coefficient by the same method as the inverse quantization unit 209 of FIG. 6 using the quantization parameters supplied from the image coding device 201.
  • the inverse quantized unit 304 supplies the inverse quantized coefficient data, that is, the orthogonal conversion coefficient to the inverse orthogonal conversion unit 305.
  • the inverse orthogonal conversion unit 305 is a method corresponding to the orthogonal conversion method of the orthogonal conversion unit 205 of FIG. 6, and the orthogonal conversion coefficient is inversely orthogonally converted to the residual data before the orthogonal conversion by the image coding apparatus 201. Obtain the corresponding decoding residual data.
  • the decoding residual data obtained by the inverse orthogonal conversion is supplied to the calculation unit 306. Further, the calculation unit 306 is supplied with a prediction image from the intra prediction unit 314 or the motion prediction / compensation unit 315 via the selection unit 316.
  • the calculation unit 306 adds the decoded residual data and the predicted image, and obtains the decoded image data corresponding to the image data before the predicted image is subtracted by the calculation unit 204 of the image coding device 201.
  • the calculation unit 306 supplies the decoded image data to the deblocking filter 307.
  • the deblocking filter 307 suppresses the block distortion of the decoded image by appropriately performing the deblocking filter processing on the image from the calculation unit 306, and supplies the filter processing result to the adaptive offset filter 308.
  • the deblocking filter 307 is basically configured in the same manner as the deblocking filter 212 of FIG. That is, the deblocking filter 307 has parameters ⁇ and Tc obtained based on the quantization parameters.
  • the parameters ⁇ and Tc are threshold values used for determining the deblocking filter.
  • the parameters ⁇ and Tc of the deblocking filter 307 are extended from ⁇ and Tc defined by the HEVC method.
  • Each offset of the parameters ⁇ and Tc of the deblocking filter encoded by the image coding device 201 is received by the image decoding device 301 as a parameter of the deblocking filter, decoded by the reversible decoding unit 303, and deblocking. Used by filter 307.
  • the adaptive offset filter 308 mainly performs an offset filter (SAO) process for suppressing ringing on the image after filtering by the deblocking filter 307.
  • SAO offset filter
  • the adaptive offset filter 308 uses a quad-tree structure in which the type of offset filter is determined for each divided region and an offset value for each divided region to filter the image after filtering by the deblocking filter 307. Apply processing.
  • the adaptive offset filter 308 supplies the filtered image to the adaptive loop filter 309.
  • the quad-tree structure and the offset value for each divided region are calculated by the adaptive offset filter 213 of the image coding device 201, encoded as an adaptive offset parameter, and sent. Then, the quad-tree structure encoded by the image coding device 201 and the offset value for each divided region are received by the image decoding device 301 as adaptive offset parameters, decoded by the reversible decoding unit 303, and the adaptive offset. Used by filter 308.
  • the adaptive loop filter 309 filters the image filtered by the adaptive offset filter 308 for each processing unit using the filter coefficient, and supplies the filter processing result to the frame memory 312 and the screen sorting buffer 310. To do.
  • the filter coefficient is calculated for each LUC by the adaptive loop filter 214 of the image coding device 201, and is encoded and sent as an adaptive loop filter parameter. What has been obtained is decoded by the reversible decoding unit 303 and used.
  • the screen sorting buffer 310 sorts the images and supplies them to the D / A conversion unit 311. That is, the order of the frames rearranged for the coding order by the screen rearrangement buffer 203 of FIG. 6 is rearranged in the original display order.
  • the image may be output as digital data without providing the D / A conversion unit 311.
  • the output of the adaptive loop filter 309 is further supplied to the frame memory 312.
  • the frame memory 312, the selection unit 313, the intra prediction unit 314, the motion prediction / compensation unit 315, and the selection unit 316 are the frame memory 215, the selection unit 216, the intra prediction unit 217, and the motion prediction / compensation unit of the image encoding device 201. It corresponds to 218 and the prediction image selection unit 219, respectively.
  • the selection unit 313 reads the interprocessed image and the referenced image from the frame memory 312, and supplies the motion prediction / compensation unit 315. Further, the selection unit 313 reads the image used for the intra prediction from the frame memory 312 and supplies it to the intra prediction unit 314.
  • the intra prediction unit 314 Based on this information, the intra prediction unit 314 generates a prediction image from the reference image acquired from the frame memory 312, and supplies the generated prediction image to the selection unit 316.
  • prediction mode information (prediction mode information, motion vector information, reference frame information, flags, various parameters, etc.) obtained by decoding the header information is supplied to the motion prediction / compensation unit 315 from the reversible decoding unit 303.
  • the motion prediction / compensation unit 315 generates a prediction image from the reference image acquired from the frame memory 312 based on the information supplied from the reversible decoding unit 303, and supplies the generated prediction image to the selection unit 316.
  • the selection unit 316 selects the prediction image generated by the motion prediction / compensation unit 315 or the intra prediction unit 314 and supplies it to the calculation unit 306.
  • the image decoding device 301 is configured in this way, the reversible decoding unit 303 corresponds to the decoding unit 32 of FIG. 1, and the motion prediction / compensation unit 315 corresponds to the inter prediction unit 31 of FIG. Therefore, as described above, the image decoding device 301 can further improve the prediction accuracy.
  • step S201 the storage buffer 302 receives the transmitted coded stream (data) and stores it.
  • step S202 the reversible decoding unit 303 decodes the coded data supplied from the storage buffer 302.
  • the I picture, P picture, and B picture encoded by the lossless coding unit 207 of FIG. 6 are decoded.
  • parameter information such as motion vector information, reference frame information, and prediction mode information (intra prediction mode or inter prediction mode) is also decoded.
  • the prediction mode information is the intra prediction mode information
  • the prediction mode information is supplied to the intra prediction unit 314.
  • the prediction mode information is inter-prediction mode information
  • the motion vector information corresponding to the prediction mode information is supplied to the motion prediction / compensation unit 315.
  • the parameters of the deblocking filter and the adaptive offset parameter are also decoded and supplied to the deblocking filter 307 and the adaptive offset filter 308, respectively.
  • step S203 the intra prediction unit 314 or the motion prediction / compensation unit 315 each performs a prediction image generation process corresponding to the prediction mode information supplied from the reversible decoding unit 303.
  • the intra prediction unit 314 when the intra prediction mode information is supplied from the reversible decoding unit 303, the intra prediction unit 314 generates an intra prediction image of the intra prediction mode.
  • the motion prediction / compensation unit 315 performs the motion prediction / compensation processing in the inter-prediction mode and generates the inter-prediction image.
  • the prediction image (intra prediction image) generated by the intra prediction unit 314 or the prediction image (inter prediction image) generated by the motion prediction / compensation unit 315 is supplied to the selection unit 316.
  • step S204 the selection unit 316 selects the predicted image. That is, the prediction image generated by the intra prediction unit 314 or the prediction image generated by the motion prediction / compensation unit 315 is supplied. Therefore, the supplied predicted image is selected and supplied to the calculation unit 306, and is added to the output of the inverse orthogonal conversion unit 305 in step S207 described later.
  • step S202 The conversion coefficient decoded by the reversible decoding unit 303 in step S202 described above is also supplied to the inverse quantization unit 304.
  • step S205 the inverse quantization unit 304 dequantizes the conversion coefficient decoded by the reversible decoding unit 303 with a characteristic corresponding to the characteristic of the quantization unit 206 of FIG.
  • step S206 the inverse orthogonal conversion unit 305 performs inverse orthogonal conversion of the conversion coefficient inversely quantized by the inverse quantization unit 304 with a characteristic corresponding to the characteristic of the orthogonal conversion unit 205 of FIG. As a result, the difference information corresponding to the input of the orthogonal conversion unit 205 (output of the calculation unit 204) of FIG. 6 is decoded.
  • step S207 the calculation unit 306 adds the predicted image selected in the process of step S204 described above and input via the selection unit 316 to the difference information. This decodes the original image.
  • step S208 the deblocking filter 307 performs a deblocking filter process on the image output from the calculation unit 306.
  • the threshold value for the determination regarding the deblocking filter the parameters ⁇ and Tc extended from ⁇ and Tc defined by the HEVC method are used.
  • the filtered image from the deblocking filter 307 is output to the adaptive offset filter 308.
  • the offsets of the parameters ⁇ and Tc of the deblocking filter supplied from the reversible decoding unit 303 are also used.
  • step S209 the adaptive offset filter 308 performs adaptive offset filter processing.
  • the filter processing is performed on the image after filtering by the deblocking filter 307 using the quad-tree structure in which the type of the offset filter is determined for each divided area and the offset value for each divided area. Be given.
  • the filtered image is fed to the adaptive loop filter 309.
  • step S210 the adaptive loop filter 309 performs adaptive loop filter processing on the image after filtering by the adaptive offset filter 308.
  • the adaptive loop filter 309 performs filter processing for each processing unit on the input image using the filter coefficient calculated for each processing unit, and supplies the filter processing result to the screen sorting buffer 310 and the frame memory 312. To do.
  • step S211 the frame memory 312 stores the filtered image.
  • step S212 the screen rearrangement buffer 310 rearranges the images after the adaptive loop filter 309 and then supplies the screen rearrangement buffer 310 to the D / A conversion unit 311. That is, the order of the frames sorted for coding by the screen sort buffer 203 of the image coding device 201 is rearranged to the original display order.
  • step S213 the D / A conversion unit 311 D / A-converts the images sorted by the screen sorting buffer 310 and outputs them to a display (not shown), and the images are displayed.
  • step S213 When the process of step S213 is completed, the decoding process is completed.
  • the motion prediction / compensation unit 315 performs the motion prediction / compensation processing in step S203 to generate a prediction image
  • the brightness component and the image of the image are targeted at the color difference component of the current prediction block.
  • a cross-component inter-prediction is made that applies an interpolation filter using both the color difference components of.
  • FIG. 10 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 1005 or ROM 1003 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 1011 driven by the drive 1009.
  • a removable recording medium 1011 can be provided as so-called package software.
  • examples of the removable recording medium 1011 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, a semiconductor memory, and the like.
  • the program can be installed on the computer from the removable recording medium 1011 as described above, or can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 1005. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 1002, and the input / output interface 1010 is connected to the CPU 1002 via the bus 1001.
  • CPU Central Processing Unit
  • the CPU 1002 executes a program stored in the ROM (Read Only Memory) 1003 accordingly. .. Alternatively, the CPU 1002 loads the program stored in the hard disk 1005 into the RAM (Random Access Memory) 1004 and executes it.
  • ROM Read Only Memory
  • the CPU 1002 performs the processing according to the above-mentioned flowchart or the processing performed according to the above-mentioned block diagram configuration. Then, the CPU 1002 outputs the processing result from the output unit 1006 or transmits it from the communication unit 1008, and further records it on the hard disk 1005, if necessary, via the input / output interface 1010.
  • the input unit 1007 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 1006 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • this technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for describing the program may be executed in chronological order according to the order described in this specification, or may be called in parallel or called. It may be executed individually at a necessary timing such as time. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • the present technology can also have the following configurations.
  • (1) When motion compensation processing is applied to the current prediction block to be encoded and motion compensation processing is applied to generate the prediction pixels in the current prediction block, the color difference component of the current prediction block is targeted as an image.
  • An inter-prediction unit that performs cross-component inter-prediction to apply the interpolation filter using both the brightness component of the image and the color difference component of the image.
  • An image processing device including a coding unit that encodes a current pixel in the current prediction block using the prediction pixel.
  • (2) The inter-prediction unit Targeting the first color difference component of the current prediction block, motion compensation processing using the luminance component and the first color difference component is performed to generate the first color difference component of the prediction pixel in the current prediction block.
  • the first interpolation filter to do Targeting the second color difference component of the current prediction block, motion compensation processing using the luminance component and the second color difference component is performed to generate the second color difference component of the prediction pixel in the current prediction block.
  • the second interpolation filter to do The image processing apparatus according to (1) above.
  • the interpolation unit supplies the luminance component and the first color difference component to the first interpolation filter, and supplies the luminance component and the second color difference component to the second interpolation filter.
  • the Y signal, the Cb signal, and the Cr signal, or the Y signal, the U signal, and the V signal are used as the luminance component, the first color difference component, and the second color difference component (2) or ( The image processing apparatus according to 3).
  • a setting unit for setting identification data for identifying whether or not to perform the cross-component inter-prediction is provided.
  • the image processing apparatus according to any one of (1) to (4) above, wherein the coding unit generates a bit stream including the identification data set by the setting unit.
  • the image processing device When the motion compensation process to which the interpolation filter is applied is applied to the current prediction block to be encoded and the prediction pixels in the current prediction block are generated, the color difference component of the current prediction block is targeted as an image.
  • Cross-component inter-prediction that applies the interpolation filter using both the brightness component of the image and the color difference component of the image
  • An image processing method including encoding the current pixel in the current prediction block using the prediction pixel. (7)
  • motion compensation processing is applied to the current prediction block to be decoded to generate a prediction pixel in the current prediction block, the color difference component of the current prediction block is targeted and the image is displayed.
  • An inter-prediction unit that performs cross-component inter-prediction that applies the interpolation filter using both the brightness component and the color difference component of the image, and an inter-prediction unit.
  • An image processing device including a decoding unit that decodes the current pixel in the current prediction block by using the prediction pixel.
  • the image processing device When motion compensation processing is applied to the current prediction block to be decoded to generate a prediction pixel in the current prediction block, the color difference component of the current prediction block is targeted as the image.
  • Cross-component inter-prediction that applies the interpolation filter using both the brightness component and the color difference component of the image, and An image processing method including decoding the current pixel in the current prediction block using the prediction pixel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、より予測精度の改善を図ることができるようにする画像処理装置および画像処理方法に関する。 画像符号化装置は、符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施してカレント予測ブロック内の予測画素を生成する際に、カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて補間フィルタを適用するクロスコンポーネントインター予測を行うインター予測部と、予測画素を用いて、カレント予測ブロック内のカレント画素を符号化する符号化部とを備える。本技術は、例えば、VVC方式で符号化および復号を行う画像処理システムに適用できる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、より予測精度の改善を図ることができるようにした画像処理装置および画像処理方法に関する。
　近年、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）などに対する符号化効率をさらに向上させるために、VVC（Versatile Video Coding）と呼ばれるコーディング方式の標準化が進められている（後述する実施形態のサポート参照）。VVCでは、動き補償の処理で、輝度信号には輝度用の補間フィルタが用いられ、クロマ信号にはクロマ用の補間フィルタが用いられている。
　例えば、非特許文献１および２に開示されているように、輝度成分および色差成分に対して動き補償を行う際に、それぞれ成分ごとに独立した補間フィルタが適用される。つまり、輝度成分に対しては輝度成分を用いた固定フィルタが適用され、色差成分に対しては色差成分を用いた固定フィルタが適用される。
Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 6), JVET-O2001-v14 (version 14 - date 2019-07-31) Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6), JVET-O2002-v1 (version 1 - date 2019-08-15)
　ところで、上述した非特許文献１および２においては、輝度成分と色差成分との間の相関性については考慮されておらず、補間フィルタに対しても成分ごとに独立して適用されている。そのため、予測精度の観点において改善する余地があると考えられる。
　本開示は、このような状況に鑑みてなされたものであり、より予測精度の改善を図ることができるようにするものである。
　本開示の第１の側面の画像処理装置は、符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うインター予測部と、前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化する符号化部とを備える。
　本開示の第１の側面の画像処理方法は、画像処理装置が、符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うことと、前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化することとを含む。
　本開示の第１の側面においては、符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施してカレント予測ブロック内の予測画素を生成する際に、カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて補間フィルタを適用するクロスコンポーネントインター予測が行われ、予測画素を用いて、カレント予測ブロック内のカレント画素が符号化される。
　本開示の第２の側面の画像処理装置は、復号処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うインター予測部と、前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号する復号部とを備える。
　本開示の第２の側面の画像処理方法は、画像処理装置が、復号処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うことと、前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号することとを含む。
　本開示の第２の側面においては、復号処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施してカレント予測ブロック内の予測画素を生成する際に、カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて補間フィルタを適用するクロスコンポーネントインター予測が行われ、予測画素を用いて、カレント予測ブロック内のカレント画素が復号される。
本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 画像符号化装置の構成例を示す図である。 従来の画像符号化装置の構成例を示す図である。 クロスコンポーネントインター予測の効果について説明する図である。 本技術を適用したコンピュータベースのシステムの一実施の形態の構成例を示すブロック図である。 画像符号化装置の一実施の形態の構成例を示すブロック図である。 符号化処理を説明するフローチャートである。 画像復号装置の一実施の形態の構成例を示すブロック図である。 復号処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜技術内容・技術用語をサポートする文献等＞
　本明細書で開示される範囲は、実施例の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF1～REF4の内容も、参照により本明細書に組み込まれる。つまり、参照文献REF1～REF4に記載されている内容もサポート要件について判断する際の根拠となる。さらに、参照文献REF1～REF4において参照している文献もサポート要件を判断する際の根拠となる。
　例えば、Quad-Tre Block Structureや、QTBT（Quad Tree Plus Binary Tree）、Block Structure、MTT（Multi-type Tree） Block Structureなどが発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。
　REF1：Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
　REF2：Recommendation ITU-T H.265 (02/2018) “High efficiency video coding”, February 2018
　REF3：Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 6), JVET-O2001-v14 (version 14 - date 2019-07-31)
　REF4：Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6), JVET-O2002-v1 (version 1 - date 2019-08-15)
　＜用語＞
　本願では、以下の用語を、以下のように定義する。
　　　　＜ブロック＞
　画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、TB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding TreeBlock）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
　　　　＜ブロックサイズの指定＞
　また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
　　　　＜情報・処理の単位＞
　各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
　　　　＜制御情報＞
　本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
　　　　＜フラグ＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　　　　＜メタデータを関連付ける＞
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。
　予測ブロックとは、インター予測を行う際の処理単位となるブロックを意味し、予測ブロック内のサブブロックも含む。また、直交変換を行う際の処理単位となる直交変換ブロックや符号化処理を行う際の処理単位となる符号化ブロックと処理単位が統一されている場合には、予測ブロックと直交変換ブロック・符号化ブロックと同じブロックを意味する。
　インター予測とは、動き検出による動きベクトルの導出（Motion Prediction / Motion Estimation）や、動きベクトルを用いた動き補償（Motion Compensation）などのフレーム（予測ブロック）間の予測を伴う処理の総称であり、予測画像を生成する際に用いる一部の処理（例えば動き補償処理のみ）、または、全ての処理（例えば動き検出処理＋動き補償処理）を含む。インター予測モードとは、インター予測を行う際のモード番号、モード番号のインデックス、予測ブロックのブロックサイズ、予測ブロック内の処理単位となるサブブロックのサイズなど、インター予測モードを導出する際に参照する変数（パラメータ）を包括して意味する。
　本開示において、複数のパターンを識別する識別データを、ビットストリームのシンタックスとして設定することもできる。この場合、デコーダでは識別データをパース＋参照することにより、より効率的に処理を行うことが可能となる。ブロックサイズを識別する方法（データ）としては、ブロックサイズそのものを数値化（ビット化）するだけでなく、基準となるブロックサイズ（最大ブロックサイズ、最小ブロックサイズなど）に対する差分値を識別する方法（データ）を含む。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜画像処理システムの構成例＞
　図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
　図１に示すように、画像処理システム１１は、画像符号化装置１２および画像復号装置１３を備えて構成される。例えば、画像処理システム１１では、画像符号化装置１２に入力された画像が符号化されて、その符号化により得られるビットストリームが画像復号装置１３に伝送され、画像復号装置１３においてビットストリームから復号された復号画像が出力される。
　画像符号化装置１２は、インター予測部２１、符号化部２２、および設定部２３を有しており、画像復号装置１３は、インター予測部３１および復号部３２を有している。
　インター予測部２１は、符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して、カレント予測ブロック内の予測画素を生成するインター予測を行う。このとき、インター予測部２１は、カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて補間フィルタを適用するインター予測（以下、クロスコンポーネントインター予測と称する）を行うように構成される。つまり、インター予測部２１は、クロマ成分（色差成分）に対する補間フィルタに対して、クロマ成分だけでなくルマ成分（輝度成分）も入力することでクロスコンポーネントインター予測を行う。
　符号化部２２は、インター予測部２１により生成された予測画素を用いて、カレント予測ブロック内のカレント画素を符号化し、ビットストリームを生成する。
　設定部２３は、クロスコンポーネントインター予測を適用するか否かを識別する識別データや、クロスコンポーネントインター予測を適用する予測ブロックのブロックサイズを識別する識別データなどを設定する。そして、符号化部２２は、設定部２３により設定された識別データを含むビットストリームを生成する。
　インター予測部３１は、インター予測部２１と同様に、復号処理の対象となるカレント予測ブロックに対してクロスコンポーネントインター予測を行い、カレント予測ブロック内の予測画素を生成する。インター予測部３１は、ビットストリームに含まれている識別データを参照し、クロスコンポーネントインター予測を適用するか否かを識別したり、クロスコンポーネントインター予測を適用する予測ブロックのブロックサイズを識別したりすることができる。
　復号部３２は、インター予測部３１により生成された予測画素を用いて、カレント予測ブロック内のカレント画素を復号する。
　このように構成される画像処理システム１１では、インター予測部２１および３１がクロスコンポーネントインター予測を行うことにより、クロマ成分に対する予測精度を改善することができる。
　図２に示すブロック図を参照して、画像符号化装置１２の構成について、さらに説明する。
　図２に示すように、画像符号化装置１２は、演算部４１、直交変換部４２、量子化部４３、逆量子化部４４、逆直交変換部４５、演算部４６、ループフィルタ４７、フレームバッファ４８、インター予測部４９、イントラ予測部５０、選択部５１、およびエントロピー符号化部５２を備えて構成される。インター予測部４９は、輝度補間フィルタ６１、クロマＣｂ用補間フィルタ６２、およびクロマＣｒ用補間フィルタ６３を有している。
　画像符号化装置１２に画像が入力されると、演算部４１において、その画像から選択部５１により選択された予測画像が減算され、その演算により得られる差分情報が、直交変換部４２に入力される。直交変換部４２において差分情報が直交変換されて得られる変換係数が量子化部４３に入力され、量子化部４３において量子化された変換係数が、逆量子化部４４およびエントロピー符号化部５２に入力される。
　量子化された変換係数は、逆量子化部４４において逆量子化され、その逆量子化により得られる変換係数が逆直交変換部４５に入力され、逆直交変換部４５において変換係数が逆直交変換された出力（復元された差分情報）が演算部４６に供給される。演算部４６には、選択部５１により選択された予測画像が供給され、その予測画像に逆直交変換部４５からの出力が加算されることにより局部的に復号された復号画像が得られる。その復号画像は、イントラ予測部５０に供給されるとともに、ループフィルタ４７およびフレームバッファ４８を介してインター予測部４９に供給される。
　インター予測部４９は、図１のインター予測部２１に対応し、フレームバッファ４８から供給される復号画像の画素（輝度信号Ｙ、クロマ信号Ｃｂ、およびクロマ信号Ｃｒ）に対してクロスコンポーネントインター予測を行うことによって予測画像の予測画素（輝度信号Ｙ’、クロマ信号Ｃｂ’、およびクロマ信号Ｃｒ’）を生成し、選択部５１に出力する。
　インター予測部４９では、フレームバッファ４８から供給される輝度信号Ｙが、輝度補間フィルタ６１に供給されるとともに、クロマＣｂ用補間フィルタ６２およびクロマＣｒ用補間フィルタ６３にも供給される。従って、クロマＣｂ用補間フィルタ６２には、輝度信号Ｙおよびクロマ信号Ｃｂが供給され、クロマＣｒ用補間フィルタ６３には、輝度信号Ｙおよびクロマ信号Ｃｒが供給される。
　輝度補間フィルタ６１は、カレント予測ブロックの輝度信号Ｙを対象とし、輝度信号Ｙを用いた動き補償処理を施すことにより、カレント予測ブロックの予測画素の輝度信号Ｙ’を生成する。
　クロマＣｂ用補間フィルタ６２は、カレント予測ブロックのクロマ信号Ｃｂを対象とし、輝度信号Ｙおよびクロマ信号Ｃｂを用いた動き補償処理を施すことにより、カレント予測ブロックの予測画素のクロマ信号Ｃｂ’を生成する。
　クロマＣｒ用補間フィルタ６３は、カレント予測ブロックのクロマ信号Ｃｒを対象とし、輝度信号Ｙおよびクロマ信号Ｃｒを用いた動き補償処理を施すことにより、カレント予測ブロックの予測画素のクロマ信号Ｃｒ’を生成する。
　イントラ予測部５０は、演算部４６から供給される復号画像に対してイントラ予測を行うことによって予測画像を生成し、選択部５１に出力する。
　インター予測部４９から出力される予測画像とイントラ予測部５０から出力される予測画像とのうちの一方が選択部５１で選択されて、演算部４１および演算部４６に供給される。エントロピー符号化部５２は、図１の符号化部２２に対応し、量子化部４３において量子化された変換係数に対してエントロピー符号化処理を施すことにより得られる符号化データのビットストリームを出力する。
　このように構成される画像符号化装置１２では、輝度信号ＹがクロマＣｂ用補間フィルタ６２およびクロマＣｒ用補間フィルタ６３にも供給されてクロスコンポーネントインター予測が行われる点で、従来とは異なる構成となっている。
　例えば、図３に示すように、従来の画像符号化装置１２ａは、フレームバッファ４８から供給される輝度信号Ｙが輝度補間フィルタ６１のみに供給されるように構成されている。従って、従来の画像符号化装置１２ａでは、クロマＣｂ用補間フィルタ６２ａおよびクロマＣｒ用補間フィルタ６３ａには輝度信号Ｙは供給されない。つまり、従来、クロマＣｂ用補間フィルタ６２ａは、クロマ信号Ｃｂのみを用いて動き補償処理を行い、クロマＣｒ用補間フィルタ６３ａは、クロマ信号Ｃｒのみを用いて動き補償処理を行う。
　このように、画像符号化装置１２は、クロマＣｂ用補間フィルタ６２およびクロマＣｒ用補間フィルタ６３が、従来とは異なる構成となっている。
　例えば、クロマＣｂ用補間フィルタ６２およびクロマＣｒ用補間フィルタ６３は、クロマ信号の垂直方向の分数位置に相当するインデックスyFracC、ルマ信号の垂直方向の分数位置に相当するインデックスyFracL、垂直方向の補間フィルタ後の一時メモリtemp[ n ]、および、輝度からクロマへの垂直方向の予測フィルタ後の一時メモリtemp_LC[ n ]を用いて、補間フィルタ後のクロマ信号predSampleLXCを、次の式（１）に従って算出する。ここで、nは位置である。
Figure JPOXMLDOC01-appb-M000001
　垂直方向の補間フィルタ後の一時メモリtemp[ n ]は、クロマ信号を入力とするフィルタ係数fC[ xFracC ][ i ]、および、フレームバッファのクロマ信号の参照画像refPicLXC[ xInti ][ yIntn ]を用いて、次の式（２）で表される。ここで、xFracCは水平方向の分数位置に相当するインデックスであり、xIntおよびyIntはクロマ信号の整数位置を示す。
Figure JPOXMLDOC01-appb-M000002
　輝度からクロマへの垂直方向の予測フィルタ後の一時メモリtemp_LC[ n ]は、輝度信号からクロマ信号を予測するフィルタ係数fLC[ xFracL ][ i ]、および、フレームバッファの輝度信号の参照画像refPicLXL[ xInti ][ yIntn ]を用いて、次の式（３）で表される。ここで、xIntおよびyIntは輝度信号の整数位置を示す。
Figure JPOXMLDOC01-appb-M000003
　このように、画像符号化装置１２では、上述の式（１）で表されているように、クロマＣｂ用補間フィルタ６２およびクロマＣｒ用補間フィルタ６３において、クロマ信号だけでなく輝度信号も用いて予測画像を予測するクロスコンポーネントインター予測が行われる。
　図４を参照して、クロスコンポーネントインター予測による効果について説明する。
　図４のＡには、画像符号化装置１２に入力される画像の入力輝度成分および入力色差成分が示されている。図示するように、入力輝度成分と入力色差成分との間には相関があることが多い。
　図４のＢには、入力輝度成分および入力色差成分に対して、通常のインター予測を用いた符号化処理が施された符号化済み輝度成分および符号化済み色差成分が示されている。例えば、量子化パラメータＱＰの差により、輝度成分に比べて色差成分には大きな誤差が生じることが多い。
　図４のＣには、入力輝度成分および入力色差成分に対して、クロスコンポーネントインター予測を用いた符号化処理が施された符号化済み輝度成分および符号化済み色差成分が示されている。図示するように、輝度信号のフィルタで変化量から色差信号を補正することで、従来のインター予測よりも誤差の発生を抑制することができる。図４のＣに示す例では、補正の対象となる色差信号の近傍の位置にある所定数（例えば、図示するように３つ）の輝度信号を用いて補正が行われている。
　このように、画像符号化装置１２では、クロスコンポーネントインター予測を用いることにより、従来よりも誤差の発生を抑制し、より予測精度の改善を図ることができる。
　なお、本実施の形態においては、輝度信号Ｙと、クロマ信号Ｃｂおよびクロマ信号Ｃｒとを用いて符号化および復号を行う際のクロスコンポーネントインター予測について説明を行ったが、これに限られることはない。例えば、輝度信号Ｙと、差分信号Ｕおよび差分信号Ｖとを用いた符号化および復号にも本技術を適用することができる。もちろん、色差成分の予測に輝度成分を用いるだけでなく、輝度成分の予測に色差成分を用いるようなクロスコンポーネントインター予測を行ってもよい。
　＜コンピュータベースのシステムの構成例＞
　図５は、本技術を適用したコンピュータベースのシステムの一実施の形態の構成例を示すブロック図である。
　図５は、１または複数のコンピュータやサーバなどがネットワークを介して接続されたネットワークシステムの構成例を示すブロック図である。なお、図５の実施の形態で示されているハードウェアおよびソフトウェア環境は、本開示によるソフトウェアおよび／または方法を実装するためのプラットフォームを提供することができる一例として示されている。
　図５に示すように、ネットワークシステム１０１は、コンピュータ１０２、ネットワーク１０３、リモートコンピュータ１０４、ウェブサーバ１０５、クラウドストレージサーバ１０６、およびコンピュータサーバ１０７を備えて構成される。ここで、本実施の形態では、図５に示される機能ブロックのうちの１または複数によって、複数のインスタンスが実行される。
　また、図５では、コンピュータ１０２の詳細な構成が図示されている。なお、コンピュータ１０２内に示されている機能ブロックは、例示的な機能を確立するために図示されており、このような構成に限定されるものではない。また、リモートコンピュータ１０４、ウェブサーバ１０５、クラウドストレージサーバ１０６、およびコンピュータサーバ１０７の詳細な構成は図示されていないが、これらは、コンピュータ１０２内に示されている機能ブロックと同様の構成が含まれている。
　コンピュータ１０２としては、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、携帯情報端末、スマートフォン、または、ネットワーク上の他のデバイスと通信可能な他のプログラム可能な電子デバイスを用いることができる。
　そして、コンピュータ１０２は、バス１１１、プロセッサ１１２、メモリ１１３、不揮発性ストレージ１１４、ネットワークインタフェース１１５、周辺機器インタフェース１１６、およびディスプレイインターフェース１１７を備えて構成される。これらの機能の各々は、ある実施の形態では、個々の電子サブシステム（集積回路チップまたはチップと関連デバイスの組み合わせ）に実装され、または、他の実施形態では、機能のいくつかが組み合わせられて単一チップ（システムオンチップまたはSoC（System on Chip））に実装されてもよい。
　バス１１１は、各種の独自仕様または業界標準の高速パラレルまたはシリアル周辺相互接続バスを採用することができる。
　プロセッサ１１２は、１または複数のシングルまたはマルチチップマイクロプロセッサとして設計および／または製造されたものを採用することができる。
　メモリ１１３および不揮発性ストレージ１１４は、コンピュータ１０２による読み込みが可能なストレージ媒体である。例えば、メモリ１１３は、DRAM（Dynamic Random Access Memory）やSRAM（Static RAM）などのような任意の適切な揮発性ストレージデバイスを採用することができる。不揮発性ストレージ１１４は、フレキシブルディスク、ハードディスク、SSD（Solid State Drive）、ROM（Read Only Memory）、EPROM（Erasable and Programmable Read Only Memory）、フラッシュメモリ、コンパクトディスク（CDまたはCD-ROM）、DVD（Digital Versatile Disc）、カード型メモリ、またはスティック型メモリのうち、少なくとも１つ以上を採用することができる。
　また、不揮発性ストレージ１１４には、プログラム１２１が格納されている。プログラム１２１は、例えば、特定のソフトウェア機能を作成、管理、および制御するために使用される機械可読命令および／またはデータの集合である。なお、メモリ１１３が不揮発性ストレージ１１４よりも非常に高速である構成では、プログラム１２１は、プロセッサ１１２により実行される前に、不揮発性ストレージ１１４からメモリ１１３に転送することができる。
　コンピュータ１０２は、ネットワークインタフェース１１５を介して、ネットワーク１０３を介した他のコンピュータとの通信および相互作用をすることができる。ネットワーク１０３は、例えば、LAN（Local Area Network）、インターネットなどのWAN（Wide Area Network）、または、LANおよびWANの組み合わせで、有線、無線、または光ファイバー接続が含まれた構成を採用することができる。一般に、ネットワーク１０３は、２つ以上のコンピュータと関連デバイス間の通信をサポートする接続およびプロトコルの任意の組み合わせからなる。
　周辺機器インタフェース１１６は、コンピュータ１０２にローカルに接続され得る他のデバイスとのデータの入出力を行うことができる。例えば、周辺機器インタフェース１１６は、外部デバイス１３１への接続を提供する。外部デバイス１３１には、キーボード、マウス、キーパッド、タッチスクリーン、および/または、その他の適切な入力デバイスが用いられる。外部デバイス１３１は、例えば、サムドライブ、ポータブル光学ディスクまたは磁気ディスク、およびメモリカードなどのポータブルコンピュータ可読記憶媒体も含み得る。
　本開示の実施の形態では、例えば、プログラム１２１を実施するために使用されるソフトウェアおよびデータは、そのようなポータブルコンピュータ可読記憶媒体に記憶されてもよい。そのような実施形態では、ソフトウェアは、不揮発性ストレージ１１４に、または周辺機器インタフェース１１６を介してメモリ１１３に直接ロードされてもよい。周辺機器インタフェース１１６は、外部デバイス１３１との接続に、例えば、RS-232またはUSB（Universal Serial Bus）などの業界標準を使用してもよい。
　ディスプレイインターフェース１１７は、コンピュータ１０２をディスプレイ１３２に接続することができ、ディスプレイ１３２を使用して、コマンドラインまたはグラフィカルユーザインターフェースを、コンピュータ１０２のユーザに提示することができる。例えば、ディスプレイインターフェース１１７には、VGA（Video Graphics Array）や、DVI（Digital Visual Interface）、DisplayPort、HDMI（High-Definition Multimedia Interface）（登録商標）などの業界標準を採用することができる。
　＜画像符号化装置の構成例＞
　図６は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
　図６に示される画像符号化装置２０１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、VVC（Versatile Video Coding）方式やHEVC（High Efficiency Video Coding）方式などが用いられる。
　図６の画像符号化装置２０１は、A/D変換部２０２、画面並べ替えバッファ２０３、演算部２０４、直交変換部２０５、量子化部２０６、可逆符号化部２０７、および蓄積バッファ２０８を有する。また、画像符号化装置２０１は、逆量子化部２０９、逆直交変換部２１０、演算部２１１、デブロッキングフィルタ２１２、適応オフセットフィルタ２１３、適応ループフィルタ２１４、フレームメモリ２１５、選択部２１６、イントラ予測部２１７、動き予測・補償部２１８、予測画像選択部２１９、およびレート制御部２２０を有する。
　A/D変換部２０２は、入力された画像データ（Picture(s)）をA/D変換して画面並べ替えバッファ２０３に供給する。なお、A/D変換部２０２を設けずに、ディジタルデータの画像が入力される構成としてもよい。
　画面並べ替えバッファ２０３は、A/D変換部２０２から供給された画像データを記憶し、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ２０３は、フレームの順番を並び替えた画像を、演算部２０４、イントラ予測部２１７、および動き予測・補償部２１８に出力する。
　演算部２０４は、画面並べ替えバッファ２０３から出力された画像から、予測画像選択部２１９を介してイントラ予測部２１７若しくは動き予測・補償部２１８から供給される予測画像を減算し、その差分情報を直交変換部２０５に出力する。
　例えば、イントラ符号化が行われる画像の場合、演算部２０４は、画面並べ替えバッファ２０３から出力された画像から、イントラ予測部２１７から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部２０４は、画面並べ替えバッファ２０３から出力された画像から、動き予測・補償部２１８から供給される予測画像を減算する。
　直交変換部２０５は、演算部２０４から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２０６に供給する。
　量子化部２０６は、直交変換部２０５が出力する変換係数を量子化する。量子化部２０６は、量子化された変換係数を可逆符号化部２０７に供給する。
　可逆符号化部２０７は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
　可逆符号化部２０７は、イントラ予測モードを示す情報などのパラメータをイントラ予測部２１７から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部２１８から取得する。
　可逆符号化部２０７は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタックス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２０７は、符号化して得られた符号化データを蓄積バッファ２０８に供給して蓄積させる。
　例えば、可逆符号化部２０７においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
　蓄積バッファ２０８は、可逆符号化部２０７から供給された符号化ストリーム（Encoded Data）を、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。すなわち、蓄積バッファ２０８は、符号化ストリームを伝送する伝送部でもある。
　また、量子化部２０６において量子化された変換係数は、逆量子化部２０９にも供給される。逆量子化部２０９は、その量子化された変換係数を、量子化部２０６による量子化に対応する方法で逆量子化する。逆量子化部２０９は、得られた変換係数を、逆直交変換部２１０に供給する。
　逆直交変換部２１０は、供給された変換係数を、直交変換部２０５による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部２１１に供給される。
　演算部２１１は、逆直交変換部２１０より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部２１９を介してイントラ予測部２１７若しくは動き予測・補償部２１８から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
　例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部２１１は、その差分情報にイントラ予測部２１７から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部２１１は、その差分情報に動き予測・補償部２１８から供給される予測画像を加算する。
　その加算結果である復号画像は、デブロッキングフィルタ２１２およびフレームメモリ２１５に供給される。
　デブロッキングフィルタ２１２は、演算部２１１からの画像に対して、適宜デブロッキングフィルタ処理を行うことにより復号画像のブロック歪を抑制し、そのフィルタ処理結果を適応オフセットフィルタ２１３に供給する。デブロッキングフィルタ２１２は、量子化パラメータＱＰを基に求められるパラメータβおよびTcを有している。パラメータβおよびTcは、デブロッキングフィルタに関する判定に用いられる閾値（パラメータ）である。
　なお、デブロッキングフィルタ２１２が有するパラメータであるβおよびTcは、HEVC方式で規定されているβとTcから拡張されている。パラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２０７において符号化され、後述する図８の画像復号装置３０１に送信される。
　適応オフセットフィルタ２１３は、デブロッキングフィルタ２１２によるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
　オフセットフィルタの種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。適応オフセットフィルタ２１３は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ２１２によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ２１３は、フィルタ処理後の画像を、適応ループフィルタ２１４に供給する。
　なお、画像符号化装置２０１において、quad-tree構造と分割領域毎のオフセット値は、適応オフセットフィルタ２１３により算出されて用いられる。算出されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２０７において符号化され、後述する図８の画像復号装置３０１に送信される。
　適応ループフィルタ２１４は、適応オフセットフィルタ２１３によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎に、適応ループフィルタ（ALF : Adaptive Loop Filter）処理を行う。適応ループフィルタ２１４においては、フィルタとして、例えば、２次元のウィナーフィルタ（Wiener Filter）が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。適応ループフィルタ２１４は、フィルタ処理結果をフレームメモリ２１５に供給する。
　なお、図６の例においては図示しないが、画像符号化装置２０１において、フィルタ係数は、処理単位毎に、画面並べ替えバッファ２０３からの原画像との残差を最小とするよう適応ループフィルタ２１４により算出されて用いられる。算出されたフィルタ係数は、適応ループフィルタパラメータとして、可逆符号化部２０７において符号化され、後述する図８の画像復号装置３０１に送信される。
　フレームメモリ２１５は、所定のタイミングにおいて、蓄積されている参照画像を、選択部２１６を介してイントラ予測部２１７または動き予測・補償部２１８に出力する。
　例えば、イントラ符号化が行われる画像の場合、フレームメモリ２１５は、参照画像を、選択部２１６を介してイントラ予測部２１７に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ２１５は、参照画像を、選択部２１６を介して動き予測・補償部２１８に供給する。
　選択部２１６は、フレームメモリ２１５から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部２１７に供給する。また、選択部２１６は、フレームメモリ２１５から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部２１８に供給する。
　イントラ予測部２１７は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部２１７は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
　イントラ予測部２１７は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部２１７は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部２１９を介して演算部２０４や演算部２１１に供給する。
　また、上述したように、イントラ予測部２１７は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部２０７に供給する。
　動き予測・補償部２１８は、インター符号化が行われる画像について、画面並べ替えバッファ２０３から供給される入力画像と、選択部２１６を介してフレームメモリ２１５から供給される参照画像とを用いて、動き予測を行う。また、動き予測・補償部２１８は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
　動き予測・補償部２１８は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部２１８は、生成された予測画像を、予測画像選択部２１９を介して演算部２０４や演算部２１１に供給する。また、動き予測・補償部２１８は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部２０７に供給する。
　予測画像選択部２１９は、イントラ符号化を行う画像の場合、イントラ予測部２１７の出力を演算部２０４や演算部２１１に供給し、インター符号化を行う画像の場合、動き予測・補償部２１８の出力を演算部２０４や演算部２１１に供給する。
　レート制御部２２０は、蓄積バッファ２０８に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０６の量子化動作のレートを制御する。
　このように画像符号化装置２０１は構成されており、可逆符号化部２０７は、図１の符号化部２２に対応し、動き予測・補償部２１８は、図１のインター予測部２１に対応する。従って、画像符号化装置２０１は、上述したように、より予測精度の改善を図ることができる。
＜画像符号化装置の動作＞
　図７を参照して、以上のような画像符号化装置２０１により実行される符号化処理の流れについて説明する。
　ステップＳ１０１において、A/D変換部２０２は、入力された画像をA/D変換する。
　ステップＳ１０２において、画面並べ替えバッファ２０３は、A/D変換部２０２でA/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　画面並べ替えバッファ２０３から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ２１５から読み出され、選択部２１６を介してイントラ予測部２１７に供給される。
　これらの画像に基づいて、ステップＳ１０３において、イントラ予測部２１７は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロッキングフィルタ２１２によりフィルタされていない画素が用いられる。
　この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部２１９に供給される。
　画面並べ替えバッファ２０３から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ２１５から読み出され、選択部２１６を介して動き予測・補償部２１８に供給される。これらの画像に基づいて、ステップＳ１０４において、動き予測・補償部２１８は、動き予測・補償処理を行う。
　この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部２１９に供給される。
　ステップＳ１０５において、予測画像選択部２１９は、イントラ予測部２１７および動き予測・補償部２１８より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部２１９は、決定した最適予測モードの予測画像を選択し、演算部２０４，２１１に供給する。この予測画像は、後述するステップＳ１０６，Ｓ１１１の演算に利用される。
　なお、この予測画像の選択情報は、イントラ予測部２１７または動き予測・補償部２１８に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部２１７は、最適イントラ予測モードを示す情報（すなわち、イントラ予測に関するパラメータ）を、可逆符号化部２０７に供給する。
　最適インター予測モードの予測画像が選択された場合、動き予測・補償部２１８は、最適インター予測モードを示す情報と、最適インター予測モードに応じた情報（すなわち、動き予測に関するパラメータ）を可逆符号化部２０７に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。
　ステップＳ１０６において、演算部２０４は、ステップＳ１０２で並び替えられた画像と、ステップＳ１０５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部２１８から、イントラ予測する場合はイントラ予測部２１７から、それぞれ予測画像選択部２１９を介して演算部２０４に供給される。
　差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
　ステップＳ１０７において、直交変換部２０５は演算部２０４から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
　ステップＳ１０８において、量子化部２０６は変換係数を量子化する。この量子化に際しては、後述するステップＳ１１８の処理で説明されるように、レートが制御される。
　以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０９において、逆量子化部２０９は、量子化部２０６により量子化された変換係数を量子化部２０６の特性に対応する特性で逆量子化する。ステップＳ１１０において、逆直交変換部２１０は、逆量子化部２０９により逆量子化された変換係数を直交変換部２０５の特性に対応する特性で逆直交変換する。
　ステップＳ１１１において、演算部２１１は、予測画像選択部２１９を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部２０４への入力に対応する画像）を生成する。
　ステップＳ１１２においてデブロッキングフィルタ２１２は、演算部２１１より出力された画像に対して、デブロッキングフィルタ処理を行う。このとき、デブロッキングフィルタに関する判定の閾値として、HEVC方式で規定されているβとTcから拡張されたパラメータβおよびTcが用いられる。デブロッキングフィルタ２１２からのフィルタ後の画像は、適応オフセットフィルタ２１３に出力される。
　なお、ユーザにより操作部などを操作することで入力されて、デブロッキングフィルタ２１２で用いられたパラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２０７に供給される。
　ステップＳ１１３において、適応オフセットフィルタ２１３は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ２１２によるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ２１４に供給される。
　なお、決定されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２０７に供給される。
　ステップＳ１１４において、適応ループフィルタ２１４は、適応オフセットフィルタ２１３によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。例えば、適応オフセットフィルタ２１３によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎に、画像に対してフィルタ処理が行われ、フィルタ処理結果が、フレームメモリ２１５に供給される。
　ステップＳ１１５においてフレームメモリ２１５は、フィルタリングされた画像を記憶する。なお、フレームメモリ２１５には、デブロッキングフィルタ２１２、適応オフセットフィルタ２１３、および適応ループフィルタ２１４によりフィルタされていない画像も演算部２１１から供給され、記憶される。
　一方、上述したステップＳ１０８において量子化された変換係数は、可逆符号化部２０７にも供給される。ステップＳ１１６において、可逆符号化部２０７は、量子化部２０６より出力された量子化された変換係数と、供給された各パラメータを符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。ここで、符号化される各パラメータとしては、デブロッキングフィルタのパラメータ、適応オフセットフィルタのパラメータ、適応ループフィルタのパラメータ、量子化パラメータ、動きベクトル情報や参照フレーム情報、予測モード情報などがあげられる。
　ステップＳ１１７において蓄積バッファ２０８は、符号化された差分画像（すなわち、符号化ストリーム）を、圧縮画像として蓄積する。蓄積バッファ２０８に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
　ステップＳ１１８においてレート制御部２２０は、蓄積バッファ２０８に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０６の量子化動作のレートを制御する。
　ステップＳ１１８の処理が終了すると、符号化処理が終了される。
　以上のような符号化処理において、ステップＳ１０４において動き予測・補償部２１８が動き予測・補償処理を行って予測画像を生成する際に、カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて補間フィルタを適用するクロスコンポーネントインター予測が行われる。
＜画像復号装置の構成例＞
　図８は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図８に示される画像復号装置３０１は、図６の画像符号化装置２０１に対応する復号装置である。
　画像符号化装置２０１より符号化された符号化ストリーム（Encoded Data）は、所定の伝送路を介して、この画像符号化装置２０１に対応する画像復号装置３０１に伝送され、復号されるものとする。
　図８に示されるように、画像復号装置３０１は、蓄積バッファ３０２、可逆復号部３０３、逆量子化部３０４、逆直交変換部３０５、演算部３０６、デブロッキングフィルタ３０７、適応オフセットフィルタ３０８、適応ループフィルタ３０９、画面並べ替えバッファ３１０、D/A変換部３１１、フレームメモリ３１２、選択部３１３、イントラ予測部３１４、動き予測・補償部３１５、および選択部３１６を有する。
　蓄積バッファ３０２は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ３０２は、伝送されてきた符号化データを受け取って、蓄積する。この符号化データは、画像符号化装置２０１により符号化されたものである。可逆復号部３０３は、蓄積バッファ３０２から所定のタイミングで読み出された符号化データを、図６の可逆符号化部２０７の符号化方式に対応する方式で復号する。
　可逆復号部３０３は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部３１４に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３１５に供給する。また、可逆復号部３０３は、復号されたデブロッキングフィルタのパラメータを、デブロッキングフィルタ３０７に供給し、復号された適応オフセットパラメータを、適応オフセットフィルタ３０８に供給する。
　逆量子化部３０４は、可逆復号部３０３により復号されて得られた係数データ（量子化係数）を、図６の量子化部２０６の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部３０４は、画像符号化装置２０１から供給された量子化パラメータを用いて、図６の逆量子化部２０９と同様の方法で量子化係数の逆量子化を行う。
　逆量子化部３０４は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部３０５に供給する。逆直交変換部３０５は、図６の直交変換部２０５の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置２０１において直交変換される前の残差データに対応する復号残差データを得る。
　逆直交変換されて得られた復号残差データは、演算部３０６に供給される。また、演算部３０６には、選択部３１６を介して、イントラ予測部３１４若しくは動き予測・補償部３１５から予測画像が供給される。
　演算部３０６は、その復号残差データと予測画像とを加算し、画像符号化装置２０１の演算部２０４により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部３０６は、その復号画像データをデブロッキングフィルタ３０７に供給する。
　デブロッキングフィルタ３０７は、演算部３０６からの画像に対して、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を抑制し、そのフィルタ処理結果を適応オフセットフィルタ３０８に供給する。デブロッキングフィルタ３０７は、図６のデブロッキングフィルタ２１２と基本的に同様に構成される。すなわち、デブロッキングフィルタ３０７は、量子化パラメータを基に求められるパラメータβおよびTcを有している。パラメータβおよびTcは、デブロッキングフィルタに関する判定に用いられる閾値である。
　なお、デブロッキングフィルタ３０７が有するパラメータであるβおよびTcは、HEVC方式で規定されているβとTcから拡張されている。画像符号化装置２０１により符号化されたデブロッキングフィルタのパラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、画像復号装置３０１において受信されて、可逆復号部３０３により復号されて、デブロッキングフィルタ３０７により用いられる。
　適応オフセットフィルタ３０８は、デブロッキングフィルタ３０７によるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO)処理を行う。
　適応オフセットフィルタ３０８は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３０７によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ３０８は、フィルタ処理後の画像を、適応ループフィルタ３０９に供給する。
　なお、このquad-tree構造と分割領域毎のオフセット値は、画像符号化装置２０１の適応オフセットフィルタ２１３により算出され、適応オフセットパラメータとして、符号化されて送られてきたものである。そして、画像符号化装置２０１により符号化されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、画像復号装置３０１において受信されて、可逆復号部３０３により復号されて、適応オフセットフィルタ３０８により用いられる。
　適応ループフィルタ３０９は、適応オフセットフィルタ３０８によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、フレームメモリ３１２および画面並べ替えバッファ３１０に供給する。
　なお、図８の例においては図示しないが、画像復号装置３０１において、フィルタ係数は、画像符号化装置２０１の適応ループフィルタ２１４によりLUC毎に算出され、適応ループフィルタパラメータとして、符号化されて送られてきたものが可逆復号部３０３により復号されて用いられる。
　画面並べ替えバッファ３１０は、画像の並べ替えを行って、D/A変換部３１１に供給する。すなわち、図６の画面並べ替えバッファ２０３により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。
　D/A変換部３１１は、画面並べ替えバッファ３１０から供給される画像（Decoded Picture(s)）をD/A変換して図示せぬディスプレイに出力し、表示させる。なお、D/A変換部３１１を設けずに、ディジタルデータのままで画像を出力する構成としてもよい。
　適応ループフィルタ３０９の出力は、さらに、フレームメモリ３１２に供給される。
　フレームメモリ３１２、選択部３１３、イントラ予測部３１４、動き予測・補償部３１５、および選択部３１６は、画像符号化装置２０１のフレームメモリ２１５、選択部２１６、イントラ予測部２１７、動き予測・補償部２１８、および予測画像選択部２１９にそれぞれ対応する。
　選択部３１３は、インター処理される画像と参照される画像をフレームメモリ３１２から読み出し、動き予測・補償部３１５に供給する。また、選択部３１３は、イントラ予測に用いられる画像をフレームメモリ３１２から読み出し、イントラ予測部３１４に供給する。
　イントラ予測部３１４には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部３０３から適宜供給される。イントラ予測部３１４は、この情報に基づいて、フレームメモリ３１２から取得した参照画像から予測画像を生成し、生成した予測画像を選択部３１６に供給する。
　動き予測・補償部３１５には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部３０３から供給される。
　動き予測・補償部３１５は、可逆復号部３０３から供給されるそれらの情報に基づいて、フレームメモリ３１２から取得した参照画像から予測画像を生成し、生成した予測画像を選択部３１６に供給する。
　選択部３１６は、動き予測・補償部３１５またはイントラ予測部３１４により生成された予測画像を選択し、演算部３０６に供給する。
　このように画像復号装置３０１は構成されており、可逆復号部３０３は、図１の復号部３２に対応し、動き予測・補償部３１５は、図１のインター予測部３１に対応する。従って、画像復号装置３０１は、上述したように、より予測精度の改善を図ることができる。
＜画像復号装置の動作＞
　図９を参照して、以上のような画像復号装置３０１により実行される復号処理の流れの例を説明する。
　復号処理が開始されると、ステップＳ２０１において、蓄積バッファ３０２は、伝送されてきた符号化ストリーム（データ）を受け取り、蓄積する。ステップＳ２０２において、可逆復号部３０３は、蓄積バッファ３０２から供給される符号化データを復号する。図６の可逆符号化部２０７により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
　ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）などのパラメータの情報も復号される。
　予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部３１４に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き予測・補償部３１５に供給される。また、デブロッキングフィルタのパラメータおよび適応オフセットパラメータも復号され、デブロッキングフィルタ３０７および適応オフセットフィルタ３０８にそれぞれ供給される。
　ステップＳ２０３において、イントラ予測部３１４または動き予測・補償部３１５は、可逆復号部３０３から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。
　すなわち、可逆復号部３０３からイントラ予測モード情報が供給された場合、イントラ予測部３１４はイントラ予測モードのイントラ予測画像を生成する。可逆復号部３０３からインター予測モード情報が供給された場合、動き予測・補償部３１５は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。
　この処理により、イントラ予測部３１４により生成された予測画像（イントラ予測画像）、または動き予測・補償部３１５により生成された予測画像（インター予測画像）が、選択部３１６に供給される。
　ステップＳ２０４において、選択部３１６は予測画像を選択する。すなわち、イントラ予測部３１４により生成された予測画像、または、動き予測・補償部３１５により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部３０６に供給され、後述するステップＳ２０７において逆直交変換部３０５の出力と加算される。
　上述したステップＳ２０２において、可逆復号部３０３により復号された変換係数は、逆量子化部３０４にも供給される。ステップＳ２０５において、逆量子化部３０４は可逆復号部３０３により復号された変換係数を、図６の量子化部２０６の特性に対応する特性で逆量子化する。
　ステップＳ２０６において逆直交変換部３０５は、逆量子化部３０４により逆量子化された変換係数を、図６の直交変換部２０５の特性に対応する特性で逆直交変換する。これにより図６の直交変換部２０５の入力（演算部２０４の出力）に対応する差分情報が復号されたことになる。
　ステップＳ２０７において、演算部３０６は、上述したステップＳ２０４の処理で選択され、選択部３１６を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。
　ステップＳ２０８においてデブロッキングフィルタ３０７は、演算部３０６より出力された画像に対して、デブロッキングフィルタ処理を行う。このとき、デブロッキングフィルタに関する判定の閾値として、HEVC方式で規定されているβとTcから拡張されたパラメータβおよびTcが用いられる。デブロッキングフィルタ３０７からのフィルタ後の画像は、適応オフセットフィルタ３０８に出力される。なお、デブロッキングフィルタ処理においては、可逆復号部３０３から供給されるデブロッキングフィルタのパラメータβおよびTcの各オフセットも用いられる。
　ステップＳ２０９において、適応オフセットフィルタ３０８は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３０７によるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ３０９に供給される。
　ステップＳ２１０において、適応ループフィルタ３０９は、適応オフセットフィルタ３０８によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。適応ループフィルタ３０９は、処理単位毎に計算されたフィルタ係数を用いて、入力画像に対して、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、画面並べ替えバッファ３１０およびフレームメモリ３１２に供給する。
　ステップＳ２１１においてフレームメモリ３１２は、フィルタリングされた画像を記憶する。
　ステップＳ２１２において、画面並べ替えバッファ３１０は、適応ループフィルタ３０９後の画像の並べ替えを行った後、D/A変換部３１１に供給する。すなわち画像符号化装置２０１の画面並べ替えバッファ２０３により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳ２１３において、D/A変換部３１１は、画面並べ替えバッファ３１０で並べ替えられた画像をD/A変換して図示せぬディスプレイに出力し、画像が表示される。
　ステップＳ２１３の処理が終了すると、復号処理が終了される。
　以上のような復号処理において、ステップＳ２０３において動き予測・補償部３１５が動き予測・補償処理を行って予測画像を生成する際に、カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて補間フィルタを適用するクロスコンポーネントインター予測が行われる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（画像処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１００５やROM１００３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１００９によって駆動されるリムーバブル記録媒体１０１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１０１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１０１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１０１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１００５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１００２を内蔵しており、CPU１００２には、バス１００１を介して、入出力インタフェース１０１０が接続されている。
　CPU１００２は、入出力インタフェース１０１０を介して、ユーザによって、入力部１００７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１００３に格納されているプログラムを実行する。あるいは、CPU１００２は、ハードディスク１００５に格納されたプログラムを、RAM(Random Access Memory)１００４にロードして実行する。
　これにより、CPU１００２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０１０を介して、出力部１００６から出力、あるいは、通信部１００８から送信、さらには、ハードディスク１００５に記録等させる。
　なお、入力部１００７は、キーボードや、マウス、マイク等で構成される。また、出力部１００６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うインター予測部と、
　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化する符号化部と
　を備える画像処理装置。
（２）
　前記インター予測部は、
　　前記カレント予測ブロックの第１の色差成分を対象とし、前記輝度成分と前記第１の色差成分とを用いた動き補償処理を施して前記カレント予測ブロック内の予測画素の第１の色差成分を生成する第１の補間フィルタと、
　　前記カレント予測ブロックの第２の色差成分を対象とし、前記輝度成分と前記第２の色差成分とを用いた動き補償処理を施して前記カレント予測ブロック内の予測画素の第２の色差成分を生成する第２の補間フィルタと、
　を有する
　上記（１）に記載の画像処理装置。
（３）
　前記インター予測部は、前記第１の補間フィルタに前記輝度成分および前記第１の色差成分が供給されるとともに、前記第２の補間フィルタに前記輝度成分および前記第２の色差成分が供給される構成となっている
　上記（２）に記載の画像処理装置。
（４）
　前記輝度成分、前記第１の色差成分、および前記第２の色差成分として、Ｙ信号、Ｃｂ信号、およびＣｒ信号、または、Ｙ信号、Ｕ信号、およびＶ信号が用いられる
　上記（２）または（３）に記載の画像処理装置。
（５）
　前記クロスコンポーネントインター予測を行うか否かを識別する識別データを設定する設定部をさらに備え、
　前記符号化部は、前記設定部により設定された前記識別データを含むビットストリームを生成する
　上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
　画像処理装置が、
　符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うことと、
　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化することと
　を含む画像処理方法。
（７）
　復号処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うインター予測部と、
　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号する復号部と
　を備える画像処理装置。
（８）
　画像処理装置が、
　復号処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うことと、
　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号することと
　を含む画像処理方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　画像処理システム，　１２　画像符号化装置，　１３　画像復号装置，　２１　インター予測部，　２２　符号化部，　２３　設定部，　３１　インター予測部，　３２　復号部，　６１　輝度補間フィルタ，　６２　クロマＣｂ用補間フィルタ，　６３　クロマＣｒ用補間フィルタ

Claims (8)

  1. 　符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うインター予測部と、
    　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化する符号化部と
    　を備える画像処理装置。
  2. 　前記インター予測部は、
    　　前記カレント予測ブロックの第１の色差成分を対象とし、前記輝度成分と前記第１の色差成分とを用いた動き補償処理を施して前記カレント予測ブロック内の予測画素の第１の色差成分を生成する第１の補間フィルタと、
    　　前記カレント予測ブロックの第２の色差成分を対象とし、前記輝度成分と前記第２の色差成分とを用いた動き補償処理を施して前記カレント予測ブロック内の予測画素の第２の色差成分を生成する第２の補間フィルタと、
    　を有する
    　請求項１に記載の画像処理装置。
  3. 　前記インター予測部は、前記第１の補間フィルタに前記輝度成分および前記第１の色差成分が供給されるとともに、前記第２の補間フィルタに前記輝度成分および前記第２の色差成分が供給される構成となっている
    　請求項２に記載の画像処理装置。
  4. 　前記輝度成分、前記第１の色差成分、および前記第２の色差成分として、Ｙ信号、Ｃｂ信号、およびＣｒ信号、または、Ｙ信号、Ｕ信号、およびＶ信号が用いられる
    　請求項２に記載の画像処理装置。
  5. 　前記クロスコンポーネントインター予測を行うか否かを識別する識別データを設定する設定部をさらに備え、
    　前記符号化部は、前記設定部により設定された前記識別データを含むビットストリームを生成する
    　請求項１に記載の画像処理装置。
  6. 　画像処理装置が、
    　符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うことと、
    　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化することと
    　を含む画像処理方法。
  7. 　復号処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うインター予測部と、
    　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号する復号部と
    　を備える画像処理装置。
  8. 　画像処理装置が、
    　復号処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して前記カレント予測ブロック内の予測画素を生成する際に、前記カレント予測ブロックの色差成分を対象として、画像の輝度成分と画像の色差成分との両方を用いて前記補間フィルタを適用するクロスコンポーネントインター予測を行うことと、
    　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号することと
    　を含む画像処理方法。
PCT/JP2020/035427 2019-09-19 2020-09-18 画像処理装置および画像処理方法 WO2021054437A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962902841P 2019-09-19 2019-09-19
US62/902,841 2019-09-19

Publications (1)

Publication Number Publication Date
WO2021054437A1 true WO2021054437A1 (ja) 2021-03-25

Family

ID=74884301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035427 WO2021054437A1 (ja) 2019-09-19 2020-09-18 画像処理装置および画像処理方法

Country Status (1)

Country Link
WO (1) WO2021054437A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7514395B2 (ja) 2021-08-02 2024-07-10 テンセント・アメリカ・エルエルシー 参照画像再サンプリング（ｒｐｒ）によるルマ及びクロマのための適応アップサンプリングフィルタ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080008238A1 (en) * 2006-07-04 2008-01-10 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus
WO2016051893A1 (ja) * 2014-09-30 2016-04-07 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080008238A1 (en) * 2006-07-04 2008-01-10 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus
WO2016051893A1 (ja) * 2014-09-30 2016-04-07 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像圧縮伝送システム、動画像符号化方法、動画像復号方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A L I KHAIRAT ET AL.: "ADAPTIVE CROSS-COMPONENT PREDICTION FOR 4:4:4 HIGH EFFICIENCY VIDEO CODING", ICIP, vol. 2014, 2014, pages 3734 - 3738, XP055205888, DOI: 10.1109/ICIP.2014.7025758 *
HAN HUANG ET AL.: "Guided Cross-Component Prediction for RGB Video Coding", 2018 DATA COMPRESSION CONFERENCE, 2018, pages 80 - 86, XP033376045, DOI: 10.1109/DCC.2018.00016 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7514395B2 (ja) 2021-08-02 2024-07-10 テンセント・アメリカ・エルエルシー 参照画像再サンプリング（ｒｐｒ）によるルマ及びクロマのための適応アップサンプリングフィルタ

Similar Documents

Publication Publication Date Title
US20130003838A1 (en) Lossless Coding and Associated Signaling Methods for Compound Video
JP7319389B2 (ja) 適応ループ・フィルタを用いたエンコーダ、デコーダおよび対応する方法
JP7314281B2 (ja) イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ
WO2020228717A1 (en) Block dimension settings of transform skip mode
US11843806B2 (en) Encoder, a decoder and corresponding methods of deblocking filter adaptation
KR20210126771A (ko) 인트라 예측 모드에 관련된 인코더, 디코더 및 대응하는 방법들
WO2020228718A1 (en) Interaction between transform skip mode and other coding tools
KR20210087088A (ko) Cbf 플래그들의 효율적인 시그널링의 방법
JPWO2020175145A1 (ja) 画像処理装置及び画像処理方法
WO2021054437A1 (ja) 画像処理装置および画像処理方法
WO2021060262A1 (ja) 画像処理装置および画像処理方法
WO2021060484A1 (ja) 画像処理装置および画像処理方法
WO2021054438A1 (ja) 画像処理装置および画像処理方法
WO2021125316A1 (ja) 画像処理装置および画像処理方法
WO2020262370A1 (ja) 画像処理装置および画像処理方法
WO2020184715A1 (ja) 画像処理装置および画像処理方法
JP7509143B2 (ja) 画像処理装置および画像処理方法
WO2023127940A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20864732

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20864732

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP