WO2019009314A1 - 符号化装置、復号装置、符号化方法および復号方法 - Google Patents
符号化装置、復号装置、符号化方法および復号方法 Download PDFInfo
- Publication number
- WO2019009314A1 WO2019009314A1 PCT/JP2018/025289 JP2018025289W WO2019009314A1 WO 2019009314 A1 WO2019009314 A1 WO 2019009314A1 JP 2018025289 W JP2018025289 W JP 2018025289W WO 2019009314 A1 WO2019009314 A1 WO 2019009314A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- division
- node
- tree structure
- block
- nodes
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Definitions
- the present disclosure relates to an encoding device, a decoding device, an encoding method, and a decoding method.
- HEVC High-Efficiency Video Coding
- JCT-VC Joint Collaborative Team on Video Coding
- the present disclosure aims to provide an encoding device, a decoding device, an encoding method, or a decoding method that can realize further improvement.
- An encoding apparatus includes a circuit and a memory, and the circuit uses the memory to select a division mode of a target block to be encoded from a plurality of division modes, and the code Generating division information indicating the division mode selected for the conversion target block according to a syntax based on a tree structure including the plurality of division modes as a plurality of nodes, and in the tree structure, for each parent node If there is a first child node and a second child node, the division granularity of each of all the nodes in the first subtree including the first child node as a root node is: (i) the second Each sub-tree of the second sub-tree including a child node as a root node has a size equal to or greater than the division granularity of each of the nodes, or (ii) each of all the nodes in the second sub-tree A divided particle size below the size of the.
- a decoding device includes a circuit and a memory, and the circuit includes a plurality of division modes as a plurality of nodes using the memory, and has a tree structure that is effective in a decoding target block. And the division mode indicated by the division information generated for the block to be decoded according to the syntax based on the specified tree structure of the attribute, and in the tree structure, each parent node.
- the division granularity of each of all the nodes in the first subtree that includes the first child node as a root node is: (i) the second Of each node in the second subtree including a child node of the first root node as a root node, or (ii) all nodes in the second subtree Are the respective divided particle size less in size.
- the present disclosure can provide an encoding device, a decoding device, an encoding method or a decoding method that can realize further improvement.
- FIG. 1 is a block diagram showing a functional configuration of the coding apparatus according to the first embodiment.
- FIG. 2 is a diagram showing an example of block division in the first embodiment.
- FIG. 3 is a table showing transform basis functions corresponding to each transform type.
- FIG. 4A is a view showing an example of the shape of a filter used in ALF.
- FIG. 4B is a view showing another example of the shape of a filter used in ALF.
- FIG. 4C is a view showing another example of the shape of a filter used in ALF.
- FIG. 5A is a diagram illustrating 67 intra prediction modes in intra prediction.
- FIG. 5B is a flowchart for describing an outline of predicted image correction processing by OBMC processing.
- FIG. 5A is a diagram illustrating 67 intra prediction modes in intra prediction.
- FIG. 5B is a flowchart for describing an outline of predicted image correction processing by OBMC processing.
- FIG. 5C is a conceptual diagram for describing an outline of predicted image correction processing by OBMC processing.
- FIG. 5D is a diagram illustrating an example of FRUC.
- FIG. 6 is a diagram for describing pattern matching (bilateral matching) between two blocks along a motion trajectory.
- FIG. 7 is a diagram for describing pattern matching (template matching) between a template in a current picture and a block in a reference picture.
- FIG. 8 is a diagram for explaining a model assuming uniform linear motion.
- FIG. 9A is a diagram for describing derivation of a motion vector in units of sub blocks based on motion vectors of a plurality of adjacent blocks.
- FIG. 9B is a diagram for describing an overview of motion vector derivation processing in the merge mode.
- FIG. 9A is a diagram for describing derivation of a motion vector in units of sub blocks based on motion vectors of a plurality of adjacent blocks.
- FIG. 9B is a diagram for describing an
- FIG. 9C is a conceptual diagram for describing an overview of DMVR processing.
- FIG. 9D is a diagram for describing an outline of a predicted image generation method using luminance correction processing by LIC processing.
- FIG. 10 is a block diagram showing a functional configuration of the decoding apparatus according to the first embodiment.
- FIG. 11 is a diagram showing an example of the division mode in the second embodiment.
- FIG. 12 is a flowchart illustrating an example of syntax determination processing of block division information by the division unit of the coding apparatus according to the second embodiment.
- FIG. 13 is a diagram showing an example of a tree structure of division information in the second embodiment.
- FIG. 14 is a diagram showing an example of a tree structure of division information in the second embodiment.
- FIG. 15 is a diagram showing another example of the tree structure of the division information in the second embodiment.
- FIG. 16 is a diagram showing another example of the tree structure of the division information in the second embodiment.
- FIG. 17 is a diagram showing an example of a tree structure in which the appearance order of the division modes is restricted in the second embodiment.
- FIG. 18 is a flowchart of an example of syntax determination processing of block division information by the division unit of the coding apparatus according to the third embodiment.
- FIG. 19 is a diagram showing an example of a tree structure of division information in the third embodiment.
- FIG. 20 is a diagram showing an example of a tree structure of division information in the third embodiment.
- FIG. 21 is a flowchart of an example of syntax determination processing of block division information by the division unit of the coding apparatus according to the fourth embodiment.
- FIG. 22 is a flowchart of an example of syntax determination processing of block division information by the division unit of the coding apparatus according to the fifth embodiment.
- FIG. 23 is a flowchart illustrating an example of syntax decoding processing of block division information by the entropy decoding unit of the decoding device according to the sixth embodiment.
- FIG. 24A is a block diagram showing an implementation example of the coding apparatus in each embodiment.
- FIG. 24B is a flowchart showing the processing operation of the coding apparatus provided with the circuit and the memory in each embodiment.
- FIG. 24C is a block diagram showing an implementation example of the decoding device in each embodiment.
- FIG. 24D is a flowchart showing the processing operation of the decoding device provided with the circuit and the memory in each embodiment.
- FIG. 24A is a block diagram showing an implementation example of the coding apparatus in each embodiment.
- FIG. 24B is a flowchart showing the processing operation of the coding apparatus provided with the circuit and the memory in each embodiment.
- FIG. 24C is
- FIG. 25 is an overall configuration diagram of a content supply system for realizing content distribution service.
- FIG. 26 is a diagram illustrating an example of a coding structure at the time of scalable coding.
- FIG. 27 is a diagram illustrating an example of a coding structure at the time of scalable coding.
- FIG. 28 is a view showing an example of a display screen of a web page.
- FIG. 29 is a view showing an example of a display screen of a web page.
- FIG. 30 is a diagram illustrating an example of a smartphone.
- FIG. 31 is a block diagram showing a configuration example of a smartphone.
- An encoding apparatus includes a circuit and a memory, and the circuit uses the memory to select a division mode of a target block to be encoded from a plurality of division modes, and the code Generating division information indicating the division mode selected for the conversion target block according to a syntax based on a tree structure including the plurality of division modes as a plurality of nodes, and in the tree structure, for each parent node If there is a first child node and a second child node, the division granularity of each of all the nodes in the first subtree including the first child node as a root node is: (i) the second Each sub-tree of the second sub-tree including a child node as a root node has a size equal to or greater than the division granularity of each of the nodes, or (ii) each of all the nodes in the second sub-tree A divided particle size below the size of the.
- the circuit generates the tree structure used to generate division information of the encoding target block by selecting a division mode for each node of the tree structure, and the generation is performed by selecting the tree structure.
- the division granularity of any node in the first subtree including the target node as a root node is greater than the division granularity of any node in the second subtree Split mode may be selected.
- the plurality of division modes may include a division mode in which a block is divided into three.
- each parent node of the tree structure is branched into a partial tree having a large division granularity and a partial tree having a small division granularity, and it is suppressed that a large division granularity and a small division granularity are mixed in the partial tree. There is. Therefore, the occurrence probability of the division information of each block represented by the tree structure can be biased. As a result, there is a possibility that the code amount by variable-length coding of division information can be reduced.
- the circuit selects a division mode for each node such that the division granularity monotonously increases or decreases monotonically as the hierarchy of the tree structure increases. May be
- the division granularity changes continuously in the depth direction of the tree structure. Therefore, the correlation between the occurrence probability of the division information in the parent node and the child node may be enhanced, and the efficiency of variable-length coding of the division information may be improved.
- the circuit further selects the tree structure used for generating the division information of the coding target block by selecting any one tree structure from a plurality of tree structures based on a predetermined coding parameter. May be switched.
- the circuit may set an initial value of an occurrence probability of the division mode to each of all the division modes included in the plurality of tree structures.
- variable-length coding specifically, arithmetic coding
- a decoding device includes a circuit and a memory, and the circuit includes a plurality of division modes as a plurality of nodes using the memory, and has a tree structure that is effective in a decoding target block. And the division mode indicated by the division information generated for the block to be decoded according to the syntax based on the specified tree structure of the attribute, and in the tree structure, each parent node.
- the division granularity of each of all the nodes in the first subtree that includes the first child node as a root node is: (i) the second Of each node in the second subtree including a child node of the first root node as a root node, or (ii) all nodes in the second subtree Are the respective divided particle size less in size.
- the tree structure is generated by selecting a split mode for each node of the tree structure, and in the tree structure, any node in the first subtree including the node to be selected as a root node
- the division mode may be selected for the node to be selected such that the division granularity is greater than the division granularity of any node in the second subtree.
- the plurality of division modes may include a division mode in which a block is divided into three.
- each parent node of the tree structure of the specified attribute is branched into a subtree having a large division granularity and a subtree having a small division granularity, and a large division granularity and a small division granularity are mixed in the subtree Is being suppressed. Therefore, the occurrence probability of the division information of each block indicated by the tree structure can be biased. As a result, it is possible to appropriately decode the code amount reduced division information generated according to the syntax based on the tree structure and variable-length encoded.
- the division mode may be selected for each node so that the division granularity monotonously increases or monotonically decreases as the hierarchy of the tree structure increases.
- the division granularity changes continuously in the depth direction of the tree structure. Therefore, the correlation between the occurrence probability of the division information in the parent node and the child node is enhanced. As a result, it is possible to appropriately decode division information with high encoding efficiency, which is generated according to the syntax based on the tree structure and is variable-length encoded.
- the circuit further selects the tree structure used to specify the division mode of the decoding target block by selecting any one tree structure from a plurality of tree structures based on a predetermined coding parameter. You may switch.
- the circuit may set an initial value of an occurrence probability of the division mode to each of all the division modes included in the plurality of tree structures.
- variable-length decoding of divided information (specifically, arithmetic decoding)
- Embodiment 1 First, an outline of the first embodiment will be described as an example of an encoding apparatus and a decoding apparatus to which the process and / or the configuration described in each aspect of the present disclosure described later can be applied.
- Embodiment 1 is merely an example of an encoding apparatus and a decoding apparatus to which the process and / or the configuration described in each aspect of the present disclosure can be applied, and the processing and / or the process described in each aspect of the present disclosure
- the configuration can also be implemented in a coding apparatus and a decoding apparatus that are different from the first embodiment.
- the encoding apparatus or the decoding apparatus according to the first embodiment corresponds to the constituent elements described in each aspect of the present disclosure among a plurality of constituent elements that configure the encoding apparatus or the decoding apparatus.
- Replacing a component with a component described in each aspect of the present disclosure (2) A plurality of configurations constituting the encoding device or the decoding device with respect to the encoding device or the decoding device of the first embodiment
- Addition of processing to the method performed by the encoding apparatus or the decoding apparatus of the first embodiment, and / or a plurality of processes included in the method home Replacing a process corresponding to the process described in each aspect of the present disclosure with the process described in each aspect of the present disclosure after replacing some of the processes and arbitrary changes such as deletion.
- the component described in each aspect of the present disclosure is a component of a part of the plurality of components constituting the encoding apparatus or the decoding apparatus of the first aspect Implementing in combination with a component having a part of the functions to be provided or a component performing a part of the process performed by the component described in each aspect of the present disclosure (5)
- the encoding apparatus according to the first embodiment Or a component having a part of functions provided by a part of a plurality of components constituting the decoding apparatus, or a plurality of components constituting the coding apparatus or the decoding apparatus of the first embodiment
- Part of A component performing a part of the process performed by the component is a component described in each aspect of the present disclosure, a component provided with a part of the function of the component described in each aspect of the present disclosure, or the present Implementing in combination with a component that performs part of the processing performed by the components described in each aspect of the disclosure (6)
- the manner of implementation of the processing and / or configuration described in each aspect of the present disclosure is not limited to the above example.
- it may be implemented in an apparatus used for a purpose different from the moving picture / image coding apparatus or the moving picture / image decoding apparatus disclosed in the first embodiment, or the process and / or the process described in each aspect.
- the configuration may be implemented alone.
- the processes and / or configurations described in the different embodiments may be implemented in combination.
- FIG. 1 is a block diagram showing a functional configuration of coding apparatus 100 according to the first embodiment.
- the encoding device 100 is a moving image / image coding device that encodes a moving image / image in units of blocks.
- the encoding apparatus 100 is an apparatus for encoding an image in units of blocks, and includes a dividing unit 102, a subtracting unit 104, a converting unit 106, a quantizing unit 108, and entropy coding.
- Unit 110 inverse quantization unit 112, inverse transformation unit 114, addition unit 116, block memory 118, loop filter unit 120, frame memory 122, intra prediction unit 124, inter prediction unit 126, And a prediction control unit 128.
- the encoding device 100 is realized by, for example, a general-purpose processor and a memory.
- the processor controls the division unit 102, the subtraction unit 104, the conversion unit 106, the quantization unit 108, the entropy coding unit 110, and the dequantization unit 112.
- the inverse transform unit 114, the addition unit 116, the loop filter unit 120, the intra prediction unit 124, the inter prediction unit 126, and the prediction control unit 128 function.
- coding apparatus 100 includes division section 102, subtraction section 104, conversion section 106, quantization section 108, entropy coding section 110, inverse quantization section 112, inverse conversion section 114, addition section 116, and loop filter section 120. , And may be realized as one or more dedicated electronic circuits corresponding to the intra prediction unit 124, the inter prediction unit 126, and the prediction control unit 128.
- the dividing unit 102 divides each picture included in the input moving image into a plurality of blocks, and outputs each block to the subtracting unit 104.
- the division unit 102 first divides a picture into blocks of a fixed size (for example, 128 ⁇ 128).
- This fixed size block may be referred to as a coding tree unit (CTU).
- the dividing unit 102 divides each of fixed size blocks into blocks of variable size (for example, 64 ⁇ 64 or less) based on recursive quadtree and / or binary tree block division.
- This variable sized block may be referred to as a coding unit (CU), a prediction unit (PU) or a transform unit (TU).
- CUs, PUs, and TUs need not be distinguished, and some or all of the blocks in a picture may be processing units of CUs, PUs, and TUs.
- FIG. 2 is a diagram showing an example of block division in the first embodiment.
- solid lines represent block boundaries by quadtree block division
- broken lines represent block boundaries by binary tree block division.
- the block 10 is a square block (128 ⁇ 128 block) of 128 ⁇ 128 pixels.
- the 128x128 block 10 is first divided into four square 64x64 blocks (quadtree block division).
- the upper left 64x64 block is further vertically divided into two rectangular 32x64 blocks, and the left 32x64 block is further vertically divided into two rectangular 16x64 blocks (binary block division). As a result, the upper left 64x64 block is divided into two 16x64 blocks 11, 12 and a 32x64 block 13.
- the upper right 64x64 block is divided horizontally into two rectangular 64x32 blocks 14 and 15 (binary block division).
- the lower left 64x64 block is divided into four square 32x32 blocks (quadtree block division). Of the four 32x32 blocks, the upper left block and the lower right block are further divided.
- the upper left 32x32 block is vertically divided into two rectangular 16x32 blocks, and the right 16x32 block is further horizontally split into two 16x16 blocks (binary block division).
- the lower right 32x32 block is divided horizontally into two 32x16 blocks (binary block division).
- the lower left 64x64 block is divided into a 16x32 block 16, two 16x16 blocks 17, 18, two 32x32 blocks 19, 20, and two 32x16 blocks 21, 22.
- the lower right 64x64 block 23 is not divided.
- the block 10 is divided into thirteen variable sized blocks 11 to 23 based on recursive quadtree and binary tree block division. Such division is sometimes called quad-tree plus binary tree (QTBT) division.
- QTBT quad-tree plus binary tree
- one block is divided into four or two blocks (quadtree or binary tree block division) in FIG. 2, the division is not limited to this.
- one block may be divided into three blocks (tri-tree block division).
- a partition including such a ternary tree block partition may be referred to as a multi type tree (MBT) partition.
- MBT multi type tree
- the subtracting unit 104 subtracts a prediction signal (prediction sample) from an original signal (original sample) in block units divided by the dividing unit 102. That is, the subtraction unit 104 calculates a prediction error (also referred to as a residual) of the encoding target block (hereinafter, referred to as a current block). Then, the subtracting unit 104 outputs the calculated prediction error to the converting unit 106.
- the original signal is an input signal of the coding apparatus 100, and is a signal (for example, a luminance (luma) signal and two color difference (chroma) signals) representing an image of each picture constituting a moving image.
- a signal representing an image may also be referred to as a sample.
- Transform section 106 transforms the prediction error in the spatial domain into a transform coefficient in the frequency domain, and outputs the transform coefficient to quantization section 108.
- the transform unit 106 performs, for example, discrete cosine transform (DCT) or discrete sine transform (DST) determined in advance on the prediction error in the spatial domain.
- DCT discrete cosine transform
- DST discrete sine transform
- Transform section 106 adaptively selects a transform type from among a plurality of transform types, and transforms the prediction error into transform coefficients using a transform basis function corresponding to the selected transform type. You may Such transformation may be referred to as explicit multiple core transform (EMT) or adaptive multiple transform (AMT).
- EMT explicit multiple core transform
- AMT adaptive multiple transform
- the plurality of transformation types include, for example, DCT-II, DCT-V, DCT-VIII, DST-I and DST-VII.
- FIG. 3 is a table showing transform basis functions corresponding to each transform type. In FIG. 3, N indicates the number of input pixels. The choice of transform type from among these multiple transform types may depend, for example, on the type of prediction (intra-prediction and inter-prediction) or depending on the intra-prediction mode.
- Information indicating whether to apply such EMT or AMT (for example, called an AMT flag) and information indicating the selected conversion type are signaled at CU level. Note that the signaling of these pieces of information need not be limited to the CU level, but may be at other levels (eg, sequence level, picture level, slice level, tile level or CTU level).
- the conversion unit 106 may re-convert the conversion coefficient (conversion result). Such reconversion may be referred to as adaptive secondary transform (AST) or non-separable secondary transform (NSST). For example, the conversion unit 106 performs reconversion for each sub block (for example, 4 ⁇ 4 sub blocks) included in the block of transform coefficients corresponding to the intra prediction error.
- the information indicating whether to apply the NSST and the information on the transformation matrix used for the NSST are signaled at the CU level. Note that the signaling of these pieces of information need not be limited to the CU level, but may be at other levels (eg, sequence level, picture level, slice level, tile level or CTU level).
- Separable conversion is a method in which conversion is performed multiple times by separating in each direction as many as the number of dimensions of the input, and Non-Separable conversion is two or more when the input is multidimensional. This is a method of collectively converting the dimensions of 1 and 2 into one dimension.
- Non-Separable conversion if the input is a 4 ⁇ 4 block, it is regarded as one array having 16 elements, and 16 ⁇ 16 conversion is performed on the array There is one that performs transformation processing with a matrix.
- the quantization unit 108 quantizes the transform coefficient output from the transform unit 106. Specifically, the quantization unit 108 scans the transform coefficient of the current block in a predetermined scan order, and quantizes the transform coefficient based on the quantization parameter (QP) corresponding to the scanned transform coefficient. Then, the quantization unit 108 outputs the quantized transform coefficient of the current block (hereinafter, referred to as a quantization coefficient) to the entropy coding unit 110 and the inverse quantization unit 112.
- QP quantization parameter
- the predetermined order is an order for quantization / inverse quantization of transform coefficients.
- the predetermined scan order is defined in ascending order (low frequency to high frequency) or descending order (high frequency to low frequency) of the frequency.
- the quantization parameter is a parameter that defines a quantization step (quantization width). For example, if the value of the quantization parameter increases, the quantization step also increases. That is, as the value of the quantization parameter increases, the quantization error increases.
- the entropy coding unit 110 generates a coded signal (coded bit stream) by subjecting the quantization coefficient input from the quantization unit 108 to variable-length coding. Specifically, for example, the entropy coding unit 110 binarizes the quantization coefficient and performs arithmetic coding on the binary signal.
- the inverse quantization unit 112 inversely quantizes the quantization coefficient which is the input from the quantization unit 108. Specifically, the inverse quantization unit 112 inversely quantizes the quantization coefficient of the current block in a predetermined scan order. Then, the inverse quantization unit 112 outputs the inverse quantized transform coefficient of the current block to the inverse transform unit 114.
- the inverse transform unit 114 restores the prediction error by inversely transforming the transform coefficient which is the input from the inverse quantization unit 112. Specifically, the inverse transform unit 114 restores the prediction error of the current block by performing inverse transform corresponding to the transform by the transform unit 106 on the transform coefficient. Then, the inverse conversion unit 114 outputs the restored prediction error to the addition unit 116.
- the restored prediction error does not match the prediction error calculated by the subtracting unit 104 because the information is lost due to quantization. That is, the restored prediction error includes the quantization error.
- the addition unit 116 reconstructs the current block by adding the prediction error, which is the input from the inverse conversion unit 114, and the prediction sample, which is the input from the prediction control unit 128. Then, the addition unit 116 outputs the reconstructed block to the block memory 118 and the loop filter unit 120. Reconstruction blocks may also be referred to as local decoding blocks.
- the block memory 118 is a storage unit for storing a block in an encoding target picture (hereinafter referred to as a current picture) which is a block referred to in intra prediction. Specifically, the block memory 118 stores the reconstructed block output from the adding unit 116.
- the loop filter unit 120 applies a loop filter to the block reconstructed by the adding unit 116, and outputs the filtered reconstructed block to the frame memory 122.
- the loop filter is a filter (in-loop filter) used in the coding loop, and includes, for example, a deblocking filter (DF), a sample adaptive offset (SAO), an adaptive loop filter (ALF) and the like.
- a least squares error filter is applied to remove coding distortion, for example, multiple 2x2 subblocks in the current block, based on local gradient direction and activity.
- One filter selected from the filters is applied.
- subblocks for example, 2x2 subblocks
- a plurality of classes for example, 15 or 25 classes.
- the direction value D of the gradient is derived, for example, by comparing gradients in a plurality of directions (for example, horizontal, vertical and two diagonal directions).
- the gradient activation value A is derived, for example, by adding gradients in a plurality of directions and quantizing the addition result.
- a filter for the subblock is determined among the plurality of filters.
- FIGS. 4A to 4C are diagrams showing a plurality of examples of filter shapes used in ALF.
- FIG. 4A shows a 5 ⁇ 5 diamond shaped filter
- FIG. 4B shows a 7 ⁇ 7 diamond shaped filter
- FIG. 4C shows a 9 ⁇ 9 diamond shaped filter.
- Information indicating the shape of the filter is signaled at the picture level. Note that the signaling of the information indicating the shape of the filter does not have to be limited to the picture level, and may be another level (for example, sequence level, slice level, tile level, CTU level or CU level).
- the on / off of the ALF is determined, for example, at the picture level or the CU level. For example, as to luminance, it is determined whether to apply ALF at the CU level, and as to color difference, it is determined whether to apply ALF at the picture level.
- Information indicating on / off of ALF is signaled at picture level or CU level. Note that the signaling of the information indicating ALF on / off need not be limited to the picture level or CU level, and may be other levels (eg, sequence level, slice level, tile level or CTU level) Good.
- the set of coefficients of the plurality of selectable filters (eg, up to 15 or 25 filters) is signaled at the picture level.
- the signaling of the coefficient set need not be limited to the picture level, but may be other levels (eg, sequence level, slice level, tile level, CTU level, CU level or sub-block level).
- the frame memory 122 is a storage unit for storing a reference picture used for inter prediction, and may be referred to as a frame buffer. Specifically, the frame memory 122 stores the reconstructed block filtered by the loop filter unit 120.
- the intra prediction unit 124 generates a prediction signal (intra prediction signal) by performing intra prediction (also referred to as in-screen prediction) of the current block with reference to a block in the current picture stored in the block memory 118. Specifically, the intra prediction unit 124 generates an intra prediction signal by performing intra prediction with reference to samples (for example, luminance value, color difference value) of a block adjacent to the current block, and performs prediction control on the intra prediction signal. Output to the part 128.
- intra prediction signal intra prediction signal
- intra prediction also referred to as in-screen prediction
- the intra prediction unit 124 performs intra prediction using one of a plurality of predefined intra prediction modes.
- the plurality of intra prediction modes include one or more non-directional prediction modes and a plurality of directional prediction modes.
- Non-Patent Document 1 One or more non-directional prediction modes are described, for example, in It includes Planar prediction mode and DC prediction mode defined in H.265 / High-Efficiency Video Coding (HEVC) standard (Non-Patent Document 1).
- Planar prediction mode and DC prediction mode defined in H.265 / High-Efficiency Video Coding (HEVC) standard (Non-Patent Document 1).
- HEVC High-Efficiency Video Coding
- the plurality of directionality prediction modes are, for example, H. It includes 33 directional prediction modes defined by the H.265 / HEVC standard. In addition to the 33 directions, the plurality of directionality prediction modes may further include 32 direction prediction modes (a total of 65 directionality prediction modes).
- FIG. 5A is a diagram showing 67 intra prediction modes (2 non-directional prediction modes and 65 directional prediction modes) in intra prediction. Solid arrows indicate H. A broken line arrow represents the added 32 directions, which represents the 33 directions defined in the H.265 / HEVC standard.
- a luminance block may be referred to in intra prediction of a chrominance block. That is, the chrominance component of the current block may be predicted based on the luminance component of the current block.
- Such intra prediction may be referred to as cross-component linear model (CCLM) prediction.
- the intra prediction mode (for example, referred to as a CCLM mode) of a chrominance block referencing such a luminance block may be added as one of the intra prediction modes of the chrominance block.
- the intra prediction unit 124 may correct the pixel value after intra prediction based on the gradient of the reference pixel in the horizontal / vertical directions. Intra prediction with such correction is sometimes called position dependent intra prediction combination (PDPC). Information indicating the presence or absence of application of PDPC (for example, called a PDPC flag) is signaled, for example, at CU level. Note that the signaling of this information need not be limited to the CU level, but may be at other levels (eg, sequence level, picture level, slice level, tile level or CTU level).
- the inter prediction unit 126 performs inter prediction (also referred to as inter-frame prediction) of a current block with reference to a reference picture that is a reference picture stored in the frame memory 122 and that is different from the current picture. Generate a prediction signal). Inter prediction is performed in units of a current block or sub blocks (for example, 4 ⁇ 4 blocks) in the current block. For example, the inter prediction unit 126 performs motion estimation on the current block or sub block in the reference picture. Then, the inter prediction unit 126 generates an inter prediction signal of the current block or sub block by performing motion compensation using motion information (for example, a motion vector) obtained by the motion search. Then, the inter prediction unit 126 outputs the generated inter prediction signal to the prediction control unit 128.
- inter prediction also referred to as inter-frame prediction
- a motion vector predictor may be used to signal the motion vector. That is, the difference between the motion vector and the predicted motion vector may be signaled.
- the inter prediction signal may be generated using not only the motion information of the current block obtained by the motion search but also the motion information of the adjacent block. Specifically, the inter prediction signal is generated in units of sub blocks in the current block by weighting and adding a prediction signal based on motion information obtained by motion search and a prediction signal based on motion information of an adjacent block. It may be done.
- Such inter prediction (motion compensation) may be called OBMC (overlapped block motion compensation).
- OBMC block size information indicating the size of the sub-block for the OBMC
- OBMC flag information indicating whether or not to apply the OBMC mode
- the level of signaling of these pieces of information need not be limited to the sequence level and the CU level, and may be other levels (eg, picture level, slice level, tile level, CTU level or subblock level) Good.
- FIG. 5B and FIG. 5C are a flowchart and a conceptual diagram for explaining an outline of predicted image correction processing by OBMC processing.
- a predicted image (Pred) by normal motion compensation is acquired using the motion vector (MV) assigned to the encoding target block.
- the motion vector (MV_L) of the encoded left adjacent block is applied to the current block to obtain a predicted image (Pred_L), and the predicted image and Pred_L are weighted and superimposed. Perform the first correction of the image.
- the motion vector (MV_U) of the encoded upper adjacent block is applied to the coding target block to obtain a predicted image (Pred_U), and the predicted image subjected to the first correction and the Pred_U are weighted.
- a second correction of the predicted image is performed by adding and superposing, and this is made a final predicted image.
- the right adjacent block and the lower adjacent block may be used to perform correction more than two steps. It is possible.
- the area to be superimposed may not be the pixel area of the entire block, but only a partial area near the block boundary.
- the processing target block may be a prediction block unit or a sub block unit obtained by further dividing the prediction block.
- obmc_flag is a signal indicating whether to apply the OBMC process.
- the encoding apparatus it is determined whether the encoding target block belongs to a complex area of motion, and if it belongs to a complex area of motion, the value 1 is set as obmc_flag. The encoding is performed by applying the OBMC processing, and when not belonging to the complex region of motion, the value 0 is set as the obmc_flag and the encoding is performed without applying the OBMC processing.
- the decoding apparatus decodes the obmc_flag described in the stream, and switches whether to apply the OBMC process according to the value to perform decoding.
- the motion information may be derived on the decoding device side without being signalized.
- the merge mode defined in the H.265 / HEVC standard may be used.
- motion information may be derived by performing motion search on the decoding device side. In this case, motion search is performed without using the pixel value of the current block.
- the mode in which motion estimation is performed on the side of the decoding apparatus may be referred to as a pattern matched motion vector derivation (PMMVD) mode or a frame rate up-conversion (FRUC) mode.
- PMMVD pattern matched motion vector derivation
- FRUC frame rate up-conversion
- FIG. 5D An example of the FRUC process is shown in FIG. 5D.
- a plurality of candidate lists (which may be common to the merge list) each having a predicted motion vector are generated Be done.
- the best candidate MV is selected from among the plurality of candidate MVs registered in the candidate list. For example, an evaluation value of each candidate included in the candidate list is calculated, and one candidate is selected based on the evaluation value.
- a motion vector for the current block is derived based on the selected candidate motion vector.
- the selected candidate motion vector (best candidate MV) is derived as it is as the motion vector for the current block.
- a motion vector for the current block may be derived by performing pattern matching in a peripheral region of a position in the reference picture corresponding to the selected candidate motion vector. That is, the search is performed on the area around the best candidate MV by the same method, and if there is an MV for which the evaluation value is good, the best candidate MV is updated to the MV and the current block is updated. It may be used as the final MV. In addition, it is also possible to set it as the structure which does not implement the said process.
- the evaluation value is calculated by calculating the difference value of the reconstructed image by pattern matching between the area in the reference picture corresponding to the motion vector and the predetermined area. Note that the evaluation value may be calculated using information other than the difference value.
- first pattern matching or second pattern matching is used as pattern matching.
- the first pattern matching and the second pattern matching may be referred to as bilateral matching and template matching, respectively.
- pattern matching is performed between two blocks in two different reference pictures, which are along the motion trajectory of the current block. Therefore, in the first pattern matching, a region in another reference picture along the motion trajectory of the current block is used as the predetermined region for calculation of the evaluation value of the candidate described above.
- FIG. 6 is a diagram for explaining an example of pattern matching (bilateral matching) between two blocks along a motion trajectory.
- First pattern matching among pairs of two blocks in two reference pictures (Ref0, Ref1) which are two blocks along the motion trajectory of the current block (Cur block), Two motion vectors (MV0, MV1) are derived by searching for the most matching pair. Specifically, for the current block, a reconstructed image at a designated position in the first encoded reference picture (Ref 0) designated by the candidate MV, and a symmetric MV obtained by scaling the candidate MV at a display time interval.
- the difference with the reconstructed image at the specified position in the second coded reference picture (Ref 1) specified in step is derived, and the evaluation value is calculated using the obtained difference value.
- the candidate MV with the best evaluation value among the plurality of candidate MVs may be selected as the final MV.
- motion vectors (MV0, MV1) pointing to two reference blocks are the temporal distance between the current picture (Cur Pic) and the two reference pictures (Ref0, Ref1) It is proportional to (TD0, TD1).
- the mirror symmetric bi-directional motion vector Is derived when the current picture is temporally located between two reference pictures, and the temporal distances from the current picture to the two reference pictures are equal, in the first pattern matching, the mirror symmetric bi-directional motion vector Is derived.
- pattern matching is performed between a template in the current picture (a block adjacent to the current block in the current picture (eg, upper and / or left adjacent blocks)) and a block in the reference picture. Therefore, in the second pattern matching, a block adjacent to the current block in the current picture is used as the predetermined area for calculating the evaluation value of the candidate described above.
- FIG. 7 is a diagram for explaining an example of pattern matching (template matching) between a template in a current picture and a block in a reference picture.
- the current block (Cur Pic) is searched for in the reference picture (Ref 0) for a block that most closely matches a block adjacent to the current block (Cur block).
- Motion vectors are derived.
- the reconstructed image of the left adjacent region and / or the upper adjacent encoded region and the encoded reference picture (Ref 0) specified by the candidate MV are equivalent to each other.
- the evaluation value is calculated using the obtained difference value, and the candidate MV having the best evaluation value among the plurality of candidate MVs is selected as the best candidate MV Good.
- a FRUC flag Information indicating whether to apply such a FRUC mode (for example, called a FRUC flag) is signaled at the CU level.
- a signal for example, called a FRUC mode flag
- a method of pattern matching for example, first pattern matching or second pattern matching
- the signaling of these pieces of information need not be limited to the CU level, but may be at other levels (eg, sequence level, picture level, slice level, tile level, CTU level or subblock level) .
- This mode is sometimes referred to as a bi-directional optical flow (BIO) mode.
- BIO bi-directional optical flow
- FIG. 8 is a diagram for explaining a model assuming uniform linear motion.
- (v x , v y ) indicate velocity vectors
- ⁇ 0 and ⁇ 1 indicate the time between the current picture (Cur Pic) and two reference pictures (Ref 0 and Ref 1 ), respectively.
- (MVx 0 , MVy 0 ) indicates a motion vector corresponding to the reference picture Ref 0
- (MVx 1 , MVy 1 ) indicates a motion vector corresponding to the reference picture Ref 1 .
- the optical flow equation is: (i) the time derivative of the luminance value, (ii) the product of the horizontal velocity and the horizontal component of the spatial gradient of the reference image, and (iii) the vertical velocity and the spatial gradient of the reference image The product of the vertical components of and the sum of is equal to zero.
- a motion vector in units of blocks obtained from a merge list or the like is corrected in units of pixels.
- the motion vector may be derived on the decoding device side by a method different from the derivation of the motion vector based on a model assuming uniform linear motion.
- motion vectors may be derived on a subblock basis based on motion vectors of a plurality of adjacent blocks.
- This mode is sometimes referred to as affine motion compensation prediction mode.
- FIG. 9A is a diagram for describing derivation of a motion vector in units of sub blocks based on motion vectors of a plurality of adjacent blocks.
- the current block includes sixteen 4 ⁇ 4 subblocks.
- the motion vector v 0 of the upper left corner control point of the current block is derived based on the motion vector of the adjacent block
- the motion vector v 1 of the upper right corner control point of the current block is derived based on the motion vector of the adjacent subblock Be done.
- the motion vector (v x , v y ) of each sub block in the current block is derived according to the following equation (2).
- x and y indicate the horizontal position and the vertical position of the sub block, respectively, and w indicates a predetermined weighting factor.
- the derivation method of the motion vector of the upper left and upper right control points may include several different modes.
- Information indicating such an affine motion compensation prediction mode (for example, called an affine flag) is signaled at the CU level. Note that the signaling of the information indicating this affine motion compensation prediction mode need not be limited to the CU level, and other levels (eg, sequence level, picture level, slice level, tile level, CTU level or subblock level) ) May be.
- the prediction control unit 128 selects one of the intra prediction signal and the inter prediction signal, and outputs the selected signal as a prediction signal to the subtraction unit 104 and the addition unit 116.
- FIG. 9B is a diagram for describing an overview of motion vector derivation processing in the merge mode.
- a predicted MV list in which candidates for predicted MV are registered is generated.
- the prediction MV candidate the position of the coding target block in the coded reference picture, which is the MV of the plurality of coded blocks located in the spatial periphery of the coding target block, is projected
- Temporally adjacent prediction MV which is an MV possessed by a nearby block
- joint prediction MV which is an MV generated by combining spatially adjacent prediction MV and MVs of temporally adjacent prediction MV, and zero prediction MV whose value is MV, etc.
- one prediction MV is selected from among the plurality of prediction MVs registered in the prediction MV list, and it is determined as the MV of the current block.
- merge_idx which is a signal indicating which prediction MV has been selected, is described in the stream and encoded.
- the prediction MVs registered in the prediction MV list described in FIG. 9B are an example, and the number is different from the number in the drawing, or the configuration does not include some types of the prediction MV in the drawing, It may have a configuration in which prediction MVs other than the type of prediction MV in the drawing are added.
- the final MV may be determined by performing the DMVR process described later using the MV of the coding target block derived in the merge mode.
- FIG. 9C is a conceptual diagram for describing an overview of DMVR processing.
- a first reference picture which is a processed picture in the L0 direction and a second reference picture which is a processed picture in the L1 direction To generate a template by averaging each reference pixel.
- the regions around candidate MVs of the first reference picture and the second reference picture are respectively searched, and the MV with the lowest cost is determined as the final MV.
- the cost value is calculated using the difference value between each pixel value of the template and each pixel value of the search area, the MV value, and the like.
- the outline of the process described here is basically common to the encoding apparatus and the decoding apparatus.
- FIG. 9D is a diagram for describing an outline of a predicted image generation method using luminance correction processing by LIC processing.
- an MV for obtaining a reference image corresponding to a current block to be coded is derived from a reference picture which is a coded picture.
- a predicted image for a block to be encoded is generated.
- the shape of the peripheral reference area in FIG. 9D is an example, and other shapes may be used.
- a predicted image is generated from a plurality of reference pictures, and is similar to the reference image acquired from each reference picture. After performing luminance correction processing by a method, a predicted image is generated.
- lic_flag is a signal indicating whether to apply the LIC process.
- the encoding apparatus it is determined whether or not the encoding target block belongs to the area in which the luminance change occurs, and when it belongs to the area in which the luminance change occurs, as lic_flag A value of 1 is set and encoding is performed by applying LIC processing, and when not belonging to an area where a luminance change occurs, a value of 0 is set as lic_flag and encoding is performed without applying the LIC processing.
- the decoding apparatus decodes lic_flag described in the stream, and switches whether to apply the LIC processing according to the value to perform decoding.
- determining whether to apply the LIC process for example, there is also a method of determining according to whether or not the LIC process is applied to the peripheral block.
- a method of determining according to whether or not the LIC process is applied to the peripheral block For example, when the encoding target block is in merge mode, whether or not the surrounding encoded blocks selected in the derivation of the MV in merge mode processing are encoded by applying LIC processing According to the result, whether to apply the LIC process is switched to perform encoding. In the case of this example, the processing in the decoding is completely the same.
- FIG. 10 is a block diagram showing a functional configuration of decoding apparatus 200 according to Embodiment 1.
- the decoding device 200 is a moving image / image decoding device that decodes a moving image / image in units of blocks.
- the decoding apparatus 200 includes an entropy decoding unit 202, an inverse quantization unit 204, an inverse conversion unit 206, an addition unit 208, a block memory 210, a loop filter unit 212, and a frame memory 214. , An intra prediction unit 216, an inter prediction unit 218, and a prediction control unit 220.
- the decoding device 200 is realized by, for example, a general-purpose processor and a memory. In this case, when the processor executes the software program stored in the memory, the processor determines whether the entropy decoding unit 202, the inverse quantization unit 204, the inverse conversion unit 206, the addition unit 208, the loop filter unit 212, the intra prediction unit 216 functions as an inter prediction unit 218 and a prediction control unit 220.
- the decoding apparatus 200 is a dedicated unit corresponding to the entropy decoding unit 202, the inverse quantization unit 204, the inverse conversion unit 206, the addition unit 208, the loop filter unit 212, the intra prediction unit 216, the inter prediction unit 218, and the prediction control unit 220. And one or more electronic circuits.
- the entropy decoding unit 202 entropy decodes the coded bit stream. Specifically, the entropy decoding unit 202 performs arithmetic decoding, for example, from a coded bit stream to a binary signal. Then, the entropy decoding unit 202 debinarizes the binary signal. Thereby, the entropy decoding unit 202 outputs the quantization coefficient to the dequantization unit 204 in block units.
- the inverse quantization unit 204 inversely quantizes the quantization coefficient of the block to be decoded (hereinafter referred to as a current block), which is an input from the entropy decoding unit 202. Specifically, the dequantization part 204 dequantizes the said quantization coefficient about each of the quantization coefficient of a current block based on the quantization parameter corresponding to the said quantization coefficient. Then, the dequantization unit 204 outputs the dequantized quantization coefficient (that is, transform coefficient) of the current block to the inverse transformation unit 206.
- a current block which is an input from the entropy decoding unit 202.
- the dequantization part 204 dequantizes the said quantization coefficient about each of the quantization coefficient of a current block based on the quantization parameter corresponding to the said quantization coefficient. Then, the dequantization unit 204 outputs the dequantized quantization coefficient (that is, transform coefficient) of the current block to the inverse transformation unit 206.
- the inverse transform unit 206 restores the prediction error by inversely transforming the transform coefficient that is the input from the inverse quantization unit 204.
- the inverse transform unit 206 determines the current block based on the deciphered transformation type information. Inverse transform coefficients of
- the inverse transform unit 206 applies inverse retransformation to the transform coefficients.
- the addition unit 208 adds the prediction error, which is the input from the inverse conversion unit 206, and the prediction sample, which is the input from the prediction control unit 220, to reconstruct the current block. Then, the adding unit 208 outputs the reconstructed block to the block memory 210 and the loop filter unit 212.
- the block memory 210 is a storage unit for storing a block within a picture to be decoded (hereinafter referred to as a current picture) which is a block referred to in intra prediction. Specifically, the block memory 210 stores the reconstructed block output from the adding unit 208.
- the loop filter unit 212 applies a loop filter to the block reconstructed by the adding unit 208, and outputs the filtered reconstructed block to the frame memory 214 and a display device or the like.
- one filter is selected from the plurality of filters based on the local gradient direction and activity, The selected filter is applied to the reconstruction block.
- the frame memory 214 is a storage unit for storing a reference picture used for inter prediction, and may be referred to as a frame buffer. Specifically, the frame memory 214 stores the reconstructed block filtered by the loop filter unit 212.
- the intra prediction unit 216 refers to a block in the current picture stored in the block memory 210 to perform intra prediction based on the intra prediction mode read from the coded bit stream, thereby generating a prediction signal (intra prediction Signal). Specifically, the intra prediction unit 216 generates an intra prediction signal by performing intra prediction with reference to samples (for example, luminance value, color difference value) of a block adjacent to the current block, and performs prediction control on the intra prediction signal. Output to unit 220.
- the intra prediction unit 216 may predict the chrominance component of the current block based on the luminance component of the current block. .
- the intra prediction unit 216 corrects the pixel value after intra prediction based on the gradient of reference pixels in the horizontal / vertical directions.
- the inter prediction unit 218 predicts the current block with reference to the reference picture stored in the frame memory 214.
- the prediction is performed in units of the current block or subblocks (for example, 4 ⁇ 4 blocks) in the current block.
- the inter prediction unit 218 generates an inter prediction signal of the current block or sub block by performing motion compensation using motion information (for example, a motion vector) read from the coded bit stream, and generates an inter prediction signal. It is output to the prediction control unit 220.
- the inter prediction unit 218 determines not only the motion information of the current block obtained by the motion search but also the motion information of the adjacent block. Use to generate an inter prediction signal.
- the inter prediction unit 218 is configured to follow the method of pattern matching deciphered from the coded stream (bilateral matching or template matching). Motion information is derived by performing motion search. Then, the inter prediction unit 218 performs motion compensation using the derived motion information.
- the inter prediction unit 218 derives a motion vector based on a model assuming uniform linear motion. Also, in the case where the information deciphered from the coded bit stream indicates that the affine motion compensation prediction mode is applied, the inter prediction unit 218 performs motion vectors in units of sub blocks based on motion vectors of a plurality of adjacent blocks. Derive
- the prediction control unit 220 selects one of the intra prediction signal and the inter prediction signal, and outputs the selected signal to the addition unit 208 as a prediction signal.
- Second Embodiment Encoding apparatus 100 in the present embodiment has the configuration shown in FIG. 1 as in the first embodiment. Further, division section 102 of coding apparatus 100 in the present embodiment has an additional function or an alternative function to that of the first embodiment.
- the division unit 102 selects the division shape of the coding block such that the evaluation value designed based on RD (Rate-Distortion: rate distortion) becomes small.
- FIG. 11 is a diagram showing an example of the division mode.
- the division unit 102 divides a parent block (also referred to as a reference block) into four blocks as shown in (a) of FIG. 11, and divides it into three rectangular blocks as shown in (b) of FIG. It divides
- the divisions shown in (a), (b) and (c) of FIG. 11 are referred to as four division (QT), three division (TT) and two division (BT), respectively. Two division methods of horizontal and vertical can be selected for the three division and the two division.
- FIG. 11 shows an example of a total of five types of divided shapes.
- the division unit 102 has five types of division modes.
- the division unit 102 also has a split mode called split (S: Split) indicating that further splitting is to be performed, and a split mode called non-split (NS: Non Split) indicating that no split is performed.
- the division unit 102 repeats division of blocks starting from a block such as CTU (Coding Tree Unit) while selecting any one of these division modes until a predetermined condition is satisfied.
- a predetermined condition an evaluation value based on the above-described RD or the like reaches a predetermined threshold, or the number of divided layers reaches a predetermined maximum value, or a block size after division reaches a predetermined minimum size. And other conditions. When such conditions are met, the final division size and shape of the block are determined.
- the dividing unit 102 generates division information indicating a final division size and a division mode for expressing a shape, in accordance with a syntax expressed in a tree structure. That is, the division unit 102 selects the division mode of the current block from among the plurality of division modes. Then, the division unit 102 generates division information indicating the division mode selected for the encoding target block according to a syntax based on a tree structure including a plurality of division modes as a plurality of nodes.
- the entropy coding unit 110 performs variable-length coding on the division information.
- FIG. 12 is a flowchart showing an example of syntax determination processing of block division information by division section 102 of coding apparatus 100 in the second exemplary embodiment.
- the division unit 102 generates a division information tree as syntax determination processing of block division information.
- the split information tree is a tree structure of split information including a plurality of nodes each indicating a split mode.
- the dividing unit 102 determines whether or not the current node is immediately after the branch determination (step S101).
- the division mode indicated by the current node is selected so that one of the conditions (1) and (2) is satisfied. (Step S102).
- Condition (1) is a condition that the division granularity of any child node in one branch A is equal to or larger than the division granularity of any child node in the other branch B.
- Condition (2) is a condition that the division granularity of any child node in one branch A is equal to or smaller than the division granularity of any child node in the other branch B.
- the division unit 102 divides the division granularity of any child node in one branch A into the other branch B.
- the division mode of the current node belonging to the branch A side is selected so as to be equal to or less than the division granularity of any child node of.
- the above-described branch A is, for example, a subtree including the current node as a root node
- the branch B is a subtree including sibling nodes of the current node as a root node.
- the division granularity corresponds to the number of divisions, and is, for example, the number of child blocks when the block is divided into a plurality of child blocks.
- the division granularity of four division (QT), three division (TT), two division (BT) and non-split (S) are expressed as 4, 3, 2 and 1, respectively.
- FIG. 13 and FIG. 14 are diagrams showing an example of a tree structure of division information in the present embodiment.
- each branch is started from a conditional branch (that is, branch determination) as to whether or not the division mode is QT.
- each branch is started from the conditional branch whether the division mode is S or not.
- the node on the left is QT
- the node on the right is S. Since the division granularity of QT is 4 and the maximum value of the division granularity of each node in the branch below S is 3, the division granularity of all nodes in the left branch is all nodes in the right branch Greater than the division particle size of That is, the division granularity of all nodes in the subtree including the nodes of QT is larger than the division granularity of all nodes in the subtree including the node of S as a root node.
- the division granularity of NS is 1, and the minimum value of the division granularity of each node in the branch below TT is 2. Therefore, the division granularity of all nodes in the left branch is smaller than the division granularity of all nodes in the right branch. That is, the division granularity of all nodes in the subtree including the nodes of NS is smaller than that of all nodes in the subtree including the node of TT as a root node.
- a branch below a predetermined node is a partial tree including the predetermined node as a root note.
- FIG. 14 there is a magnitude relationship between the division granularity in the left branch and the division granularity in the right branch after each branch.
- Ver (Vertical) and Hor (Horizontal) in FIGS. 13 and 14 respectively indicate division in the horizontal direction and the vertical direction. Further, even when there is a division mode in which the division granularity is larger than 4, it is possible to generate a tree structure as in the example shown in FIG. 13 or FIG. 14 according to the flowchart shown in FIG.
- the nodes of the second layer branch that is, nodes below the branch for determining whether the division mode is S, include no division, two divisions, and three divisions.
- (2) [division grain size 2] and [division grain size 1 and division There are three types of grain size 3]
- FIG. 14 three types of nodes having a division granularity of 2, 3 or 4 are included as nodes below the branch of the second layer, that is, the branch for determining whether the division mode is QT. Therefore, as in FIG. 13, only two of the three ways of division are effective.
- FIG. 15 and FIG. 16 are diagrams showing another example of the tree structure of division information in the second embodiment.
- the tree structure of each of FIGS. 15 and 16 is a structure in which TT and Ver are interchanged from the tree structures of each of FIGS. 13 and 14. If the correlation in the division direction (horizontal direction and vertical direction) is higher than the division granularity, the structures shown in FIGS. 15 and 16 may be effective.
- the left and right nodes after Ver's branch are both TT, and the maximum value or the minimum value of the division granularity of the nodes included in the branches below each of the left and right nodes is equal.
- selectable elements at end nodes of tree When the order of appearance of split modes such as QT, BT, and TT is constrained, selectable elements (that is, split modes) are also constrained after the end node of the split information tree is reached. For example, if the order of appearance of each division mode is constrained in the order of QT, BT, TT, then division by QT can not be performed after BT or TT.
- FIG. 17 is a diagram illustrating an example of a tree structure in which the appearance order of the division modes is restricted.
- the dividing unit 102 divides the blocks to be divided so that QT can not be selected when the blocks are further divided at the four terminal nodes of HB, VB, HT, and VT in the tree structure of FIG. You may decide the mode.
- the division unit 103 can select QT, BT, or TT as the division mode of the block in the further division of the block at the end node of QT.
- division information indicating the division modes of HB, VB, HT, VT, QT, and NS is “1000” and “1000” according to the syntax based on the tree structure of FIG. 1001 ",” 1010 “,” 1011 “,” 11 “, and” 0 "are generated. Also, such division information may be referred to as syntax.
- the present embodiment may be implemented in combination with at least a part of other aspects in the present disclosure.
- part of the processes described in the flowchart of this embodiment part of the configuration of the apparatus, part of the syntax, and the like may be implemented in combination with other aspects.
- Third Embodiment Encoding apparatus 100 in the present embodiment has the configuration shown in FIG. 1 as in the first embodiment. Further, the division section 102 of the coding apparatus 100 in the present embodiment has an additional function or an alternative function to the first embodiment, as in the second embodiment.
- FIG. 18 is a flowchart illustrating an example of syntax determination processing of block division information by the division unit 102 of the coding apparatus 100 according to the third embodiment.
- division unit 102 further arranges the division granularity of the nodes in ascending or descending order in the depth direction of the tree structure as shown in the flowchart of FIG. 18. , Select split mode.
- the dividing unit 102 first determines whether the current node is immediately after the branch determination (step S101). Here, if it is determined that the division unit 102 is immediately after the branch determination (Yes in step S101), at least one of the division modes indicated by the current node is satisfied so that one of the conditions (1) and (2) is satisfied. One candidate is selected (step S102a).
- the conditions (1) and (2) are respectively identical to the conditions (1) and (2) shown in the flowchart of FIG.
- the dividing unit 102 specifies the minimum division granularity as N1 among the division granularity of the division mode indicated by each node in the hierarchy higher than the current node in the tree structure. Then, the dividing unit 102 selects a division mode having the largest division granularity of N1 or less from the at least one division mode candidate selected in step S102 a (step S103).
- FIG. 19 and FIG. 20 are diagrams showing an example of a tree structure of division information in the present embodiment.
- the division mode of each node is arranged such that the division granularity is in descending order.
- the division mode of each node is arranged such that the division granularity is in ascending order.
- the division granularity of all the nodes in one branch is (1) larger than the division granularity of all the nodes in the other branch or
- the property to be either equal or (2) smaller or equal is similar to the tree structure of the second embodiment.
- the tree structure of the present embodiment differs from the tree structure of the second embodiment in the following points.
- the point is that as in the tree structure shown in FIG. 19, the division granularity of the child node determined by the branch determination of each branch decreases in order from the upper hierarchy to the lower hierarchy, or the tree shown in FIG.
- the division granularity of the child node determined by the branch determination of each branch unit is the point that the size increases in order from the upper hierarchy to the lower hierarchy.
- the division granularity of all child nodes does not have to be smaller (or larger) in order from the upper hierarchy to the lower hierarchy, and only the division granularity of some of the child nodes It may be smaller (or larger) in order from the upper hierarchy to the lower hierarchy.
- a division mode (eg, QT, TT, BT, or NS, etc.) having a division granularity smaller by one than the division granularity of the higher layer division mode is selected. That is, the division granularity of the division mode according to the branch determination in the branch part of the hierarchy one rank higher than the arbitrary branch part (for example, 4 smaller for QT, 3 for TT, 2 for BT, 1 for NS)
- the division mode which is the granularity, is used as a node for branch determination of that arbitrary branch.
- a division mode having a division granularity which is one larger than the division granularity relating to the branch determination in the branch part of the hierarchy one rank higher is used as a node for the branch determination of the arbitrary branch.
- the division granularity of the child node whose division number is determined by branch determination at any branch portion is from the upper hierarchy.
- the division mode at any given branch is selected to be smaller in order according to the lower hierarchy.
- the division mode at any given branch is selected such that the division granularity of the child node increases in order from the upper hierarchy to the lower hierarchy.
- the present embodiment may be implemented in combination with at least a part of other aspects in the present disclosure.
- part of the processes described in the flowchart of this embodiment part of the configuration of the apparatus, part of the syntax, and the like may be implemented in combination with other aspects.
- Embodiment 4 Encoding apparatus 100 in the present embodiment has the configuration shown in FIG. 1 as in the first embodiment. Further, the dividing section 102 of the coding apparatus 100 in the present embodiment has an additional function or an alternative function to the first embodiment, as in the second or third embodiment.
- FIG. 21 is a flowchart showing an example of syntax determination processing of block division information by the division section 102 of the coding apparatus 100 according to the fourth embodiment.
- the attribute of the division information tree can be changed based on a predetermined coding parameter. Different from tax determination processing.
- the dividing unit 102 first selects an attribute of the division information tree based on a predetermined coding parameter (step S100). Then, the dividing unit 102 determines whether the current node is immediately after the branch determination (step S101). Here, when the dividing unit 102 determines that it is immediately after the branch determination (Yes in step S101), one of the conditions (1) and (2) based on the attribute of the division information tree selected in step S100. Select one or the other. Then, the division unit 102 selects the division mode indicated by the current node so as to satisfy the selected condition (step S102 b).
- the conditions (1) and (2) are the same as the conditions (1) and (2) shown in the flowchart of FIG.
- division section 102 for a slice or a picture of intra coding, shows the division information tree of the attribute shown in FIG. 13, that is, the division information of the attribute in which the branch determination starts from QT having a large division granularity. Select a tree
- division section 102 performs division information tree of the attribute shown in FIG. 14 for the slice or picture of inter coding, that is, the division information of the attribute in which the branch determination starts from S with small division granularity Select a tree Thereby, the attribute of the split information tree, that is, the split information tree is switched.
- the switching of the attribute of the division information tree can be performed in a sequence, a slice, a picture, or a unit into which the slice is divided (such as CTU).
- the encoding apparatus 100 may encode information indicating an attribute of a valid split information tree as header information such as a slice or a picture, or encode the information by associating the information with a picture type or the like. It does not have to be.
- the division unit 102 may select the attribute of the division information tree based on not only the predetermined coding parameter but also other parameters, or instead of the predetermined coding parameter, another parameter may be selected. It may be selected based only on Another parameter may be, for example, the probability of occurrence of the split mode.
- the other parameter is, specifically, the occurrence probability P1 of the division mode in the coded picture, or the occurrence probability of the division mode acquired in the first pass when encoding is performed in two passes. P2 and so on.
- the other parameter is the occurrence probability P1
- the decoding device 200 can obtain the occurrence probability of the division mode in the decoded picture, and can determine the attribute of the division information tree.
- the encoding device 100 may encode information for determining a division information tree as header information.
- the efficiency of variable-length coding of division information is improved by selecting a tree suitable for the occurrence probability of division information by switching the division information tree according to the tendency of the division granularity. there's a possibility that.
- the present embodiment may be implemented in combination with at least a part of other aspects in the present disclosure.
- part of the processes described in the flowchart of this embodiment part of the configuration of the apparatus, part of the syntax, and the like may be implemented in combination with other aspects.
- Fifth Embodiment Encoding apparatus 100 in the present embodiment has the configuration shown in FIG. 1 as in the first embodiment. Further, division section 102 of encoding apparatus 100 according to the present embodiment has an additional function or an alternative function to that of the first embodiment, as in the second to fourth embodiments.
- FIG. 22 is a flowchart illustrating an example of syntax determination processing of block division information by the division unit 102 of the coding apparatus 100 according to the fifth embodiment.
- the initial value of the occurrence probability is set for all elements appearing in the division information tree of selectable attributes. It differs from Form 4.
- the above-described element, that is, the element of division information is, for example, a division mode.
- the dividing unit 102 first sets an initial value of the occurrence probability to all elements of the division information used in the division information tree of selectable attributes (step S99). For example, when the elements of the division information used by the division information tree are different, there are elements of the division information which are not used in a specific division information tree. However, the division unit 102 also sets initial values for the elements of such division information.
- the dividing unit 102 executes the processes of steps S100, S101, and S102b as in the fourth embodiment.
- the present embodiment may be implemented in combination with at least a part of other aspects in the present disclosure.
- part of the processes described in the flowchart of this embodiment part of the configuration of the apparatus, part of the syntax, and the like may be implemented in combination with other aspects.
- Sixth Embodiment Decoding apparatus 200 in the present embodiment has a configuration shown in FIG. 10, as in the first embodiment. Also, the entropy decoding unit 202 of the decoding apparatus 200 in the present embodiment has an additional function or an alternative function to the first embodiment.
- FIG. 23 is a flowchart illustrating an example of syntax decoding processing of block division information by the entropy decoding unit 202 of the decoding device 200 according to the sixth embodiment.
- the entropy decoding unit 202 first specifies the attribute of the division information tree that becomes effective in the reference block (for example, CTU) to be decoded (step S201). Next, the entropy decoding unit 202 decodes the division information of the reference block based on the division information tree of the identified attribute (step S202). That is, the entropy decoding unit 202 performs variable-length decoding on the division information generated and variable-length encoded for the decoding target block that is the reference block. Then, the entropy decoding unit 202 specifies the division mode indicated by the variable length decoded division information according to the syntax based on the division information tree of the attribute specified in step S201.
- the split information tree is, for example, one of the trees generated in each form from the second embodiment to the fifth embodiment.
- the entropy decoding unit 202 may always use the default division information tree. Further, the initial value of the occurrence probability for the element of the division information is set in the same manner as at the time of encoding.
- the entropy decoding unit 202 decodes the information and selects or generates the split information tree according to the decoded information. Then, the entropy decoding unit 202 may decode the division information in accordance with the selected or generated division information tree.
- Each element of the division information included in the division information tree may be variable-length coded by arithmetic coding or the like.
- the entropy decoding unit 202 performs variable-length decoding on the element that has been variable-length encoded based on a predetermined variable-length encoding method for each element of the division information, corresponding to the predetermined variable-length encoding method Variable length decoding based on the method.
- the present embodiment may be implemented in combination with at least a part of other aspects in the present disclosure.
- part of the processes described in the flowchart of this embodiment part of the configuration of the apparatus, part of the syntax, and the like may be implemented in combination with other aspects.
- the division information of the encoding target block may include, for example, information indicating an attribute of a tree structure represented by a plurality of division modes, and a syntax generated according to the tree structure.
- the information indicating the attribute of the tree structure may be, as an example, information specifying the arrangement or order of the division modes constituting the tree structure, or any tree structure among a plurality of predetermined tree structures. It may be information indicating whether to use.
- a plurality of split modes in the tree structure are, for example, “2-split (BT), 3-split (TT), 4-split (QT), split (S) indicating that further split is to be performed, no further split is performed “Non-split (NS)”, “vertical split (Ver)”, and “horizontal split (Hor)” may be included.
- the types of block division shapes (including no division) that can be expressed in the tree structure syntax using all division modes are, for example, “4 divisions, 3 vertical divisions, 3 horizontal divisions, 2 vertical divisions” , Horizontal division into two, and no division.
- a tree structure in which the division mode of the block shape is expressed only once or twice in each of these block division shapes, but the present invention is limited to these examples. I can not.
- a division mode that can be selected when division is further performed from a specific division mode may be determined in advance.
- child node in branch A is, for example, located not only in “child nodes directly belonging to branch A but in a hierarchy lower than the hierarchy of the child nodes, and the extension of branch A Contains a node that belongs to
- the division mode of the child node whose number of divisions is determined by the branch determination in the highest hierarchy is the maximum or minimum division granularity It may be split mode. That is, the division unit 102 and the entropy decoding unit 202 may use, for example, a division mode (QT as an example) which is the largest division granularity among selectable division modes or a division mode (an example NS) which is the smallest division granularity. Either of them may be selected as the split mode used for branch determination in the highest hierarchy.
- a division mode QT as an example
- NS division mode
- division information of the encoding target block is generated using a division mode of “four division, vertical two division, horizontal two division, no division”. In this case, there are few patterns in the tree structure that can be expressed by the split mode.
- the second to sixth embodiments for example, in the case of using six or more types of division modes including no division, as one example
- the number of split modes that can be selected to represent the tree structure is large, and the pattern of the tree structure that can be represented is also large.
- the inventors of the present invention have a problem that some of the tree structures may lead to an increase in the code amount in variable-length coding depending on the nature of the block to be coded, etc. It turned out that it becomes remarkable as the expression pattern of tree structure increases. That is, in the case of using only four or less division modes, the tree structure can be selected to some extent.
- the tree structure and the division mode can be selected from a large number of patterns with a high degree of freedom. Therefore, by expressing a tree structure by selecting a division mode that may promote an increase in code amount, the probability of lowering the final coding efficiency is high. Therefore, the syntax generation process of block division information according to each of the second to fifth embodiments significantly improves the conventionally unrecognized problem of suppressing increase in code amount in variable length coding. It is possible to have new technical significance.
- FIG. 24A is a block diagram showing an implementation example of the coding apparatus in the second to fifth embodiments.
- the encoding device 1a includes a circuit 2a and a memory 3a.
- the components of the coding apparatus 100 shown in FIG. 1 are implemented by the circuit 2a and the memory 3a shown in FIG. 24A.
- the circuit 2a is a circuit that performs information processing, and is a circuit that can access the memory 3a.
- the circuit 2a is a dedicated or general-purpose electronic circuit that encodes a moving image.
- the circuit 2a may be a processor such as a CPU.
- the circuit 2a may be an assembly of a plurality of electronic circuits.
- the circuit 2a may play a role of a plurality of components excluding the component for storing information among the plurality of components of the encoding device 100 illustrated in FIG.
- the memory 3a is a general-purpose or dedicated memory in which information for the circuit 2a to encode moving pictures is stored.
- the memory 3a may be an electronic circuit or may be connected to the circuit 2a. Also, the memory 3a may be included in the circuit 2a. Also, the memory 3a may be a collection of a plurality of electronic circuits. In addition, the memory 3a may be a magnetic disk or an optical disk, or may be expressed as a storage or a recording medium.
- the memory 3a may be a non-volatile memory or a volatile memory.
- a moving image to be encoded may be stored, or a bit string corresponding to the encoded moving image may be stored.
- a program for the circuit 2a to encode a moving image may be stored in the memory 3a.
- the memory 3a may play a role of a component for storing information among a plurality of components of the encoding device 100 illustrated in FIG. Specifically, the memory 3a may play the role of the block memory 118 and the frame memory 122 shown in FIG. More specifically, the memory 3a may store processed sub blocks, processed blocks, processed pictures, and the like.
- all of the plurality of components shown in FIG. 1 may not be mounted, or all of the plurality of processes described above may not be performed. Some of the components shown in FIG. 1 may be included in other devices, and some of the above-described processes may be performed by other devices.
- FIG. 24B is a flowchart showing the processing operation of the encoding device 1a provided with the circuit 2a and the memory 3a.
- the circuit 2a first uses the memory 3a to select the division mode of the current block from among a plurality of division modes (step S11a). Next, the circuit 2a generates division information indicating the division mode selected for the encoding target block according to a syntax based on a tree structure including a plurality of division modes as a plurality of nodes (step S12a).
- each of all the nodes in the first subtree including the first child node as a root node is greater than or equal to that of each node in the second subtree including the second child node as the root node, or (ii) all in the second subtree
- the division granularity of each of the nodes is less than or equal to.
- the circuit 2a generates the above-mentioned tree structure used to generate division information of the current block by selecting the division mode for each node of the tree structure. Then, in the generation of the tree structure, the circuit 2a is configured such that the division granularity of any node in the first subtree including the node to be selected as a root node is greater than the division granularity of any node in the second subtree
- the split mode is selected for the node to be selected so as to be large.
- the plurality of division modes may include a division mode for dividing a block into three.
- circuit 2a generates a tree structure shown in FIGS. 13 to 17 as in the second embodiment, and divides the division information indicating the division mode selected for the encoding target block into the tree. Generate according to the syntax based on structure.
- each parent node of the tree structure is branched into a partial tree having a large division granularity and a partial tree having a small division granularity, and it is suppressed that a large division granularity and a small division granularity are mixed in the partial tree. There is. Therefore, the occurrence probability of the division information of each block represented by the tree structure can be biased. As a result, there is a possibility that the code amount by variable-length coding of division information can be reduced.
- circuit 2a selects the division mode for each node so that the division granularity monotonously increases or monotonically decreases as the tree structure hierarchy increases. Good. Specifically, circuit 2a generates a tree structure shown in FIG. 19 or 20 as in the third embodiment.
- the division granularity changes continuously in the depth direction of the tree structure. Therefore, the correlation between the occurrence probability of the division information in the parent node and the child node may be enhanced, and the efficiency of variable-length coding of the division information may be improved.
- the circuit 2a switches the tree structure used to generate division information of the current block by selecting any one tree structure from a plurality of tree structures based on a predetermined coding parameter. May be Specifically, as in the fourth embodiment, the circuit 2a switches the tree structure based on a coding type such as a picture type or QP.
- circuit 2a may further set an initial value of the occurrence probability of the division mode to each of all the division modes included in the plurality of tree structures. Specifically, circuit 2a sets the initial value of the occurrence probability to all elements of the division information as in the fifth embodiment.
- variable-length coding specifically, arithmetic coding
- FIG. 24C is a block diagram showing an implementation example of the decoding device in the sixth embodiment.
- the decoding device 1b includes a circuit 2b and a memory 3b.
- the components of the decoding apparatus 200 shown in FIG. 10 are implemented by the circuit 2 b and the memory 3 b shown in FIG. 24C.
- the circuit 2 b is a circuit that performs information processing, and is a circuit that can access the memory 3 b.
- the circuit 2b is a general-purpose or dedicated electronic circuit that decodes a moving image.
- the circuit 2b may be a processor such as a CPU.
- the circuit 2b may be an assembly of a plurality of electronic circuits.
- the circuit 2b may play a role of a plurality of components excluding the components for storing information among the plurality of components of the decoding device 200 illustrated in FIG.
- the memory 3 b is a general-purpose or dedicated memory in which information for the circuit 2 b to decode moving pictures is stored.
- the memory 3 b may be an electronic circuit or may be connected to the circuit 2 b. Also, the memory 3 b may be included in the circuit 2 b.
- the memory 3 b may be a collection of a plurality of electronic circuits. Further, the memory 3 b may be a magnetic disk or an optical disk or the like, or may be expressed as a storage or a recording medium or the like.
- the memory 3 b may be a non-volatile memory or a volatile memory.
- a bit string corresponding to a coded moving image may be stored, or a moving image corresponding to a decoded bit string may be stored.
- a program for the circuit 2b to decode a moving image may be stored in the memory 3b.
- the memory 3 b may play a role of a component for storing information among the plurality of components of the decoding device 200 illustrated in FIG. 10. Specifically, the memory 3b may play the role of the block memory 210 and the frame memory 214 shown in FIG. More specifically, the memory 3 b may store processed sub-blocks, processed blocks, processed pictures, and the like.
- all of the plurality of components shown in FIG. 10 may not be mounted, or all of the plurality of processes described above may not be performed. Some of the components shown in FIG. 10 may be included in other devices, or some of the above-described processes may be performed by other devices.
- FIG. 24D is a flowchart showing the processing operation of the decoding device 1b provided with the circuit 2b and the memory 3b.
- the circuit 2b first includes a plurality of division modes as a plurality of nodes using the memory 3b, and specifies an attribute of a tree structure that becomes effective in the decoding target block (step S11b). Next, the circuit 2b specifies the division mode indicated by the division information generated for the block to be decoded according to the syntax based on the specified attribute tree structure (step S12b).
- each of all the nodes in the first subtree including the first child node as a root node is greater than or equal to that of each node in the second subtree including the second child node as the root node, or (ii) all in the second subtree
- the division granularity of each of the nodes is less than or equal to.
- the tree structure is generated by selecting a split mode for each node of the tree structure, where the tree structure splits any node in the first subtree including the node to be selected as a root node
- the split mode is selected for the selected node such that the granularity is greater than the split granularity of any node in the second subtree.
- the plurality of division modes may include a division mode for dividing a block into three.
- the circuit 2a specifies the attribute of the tree structure shown in FIGS. 13 to 17 in the second embodiment, and specifies the division mode in accordance with the syntax based on the tree structure of the attribute.
- each parent node of the tree structure of the specified attribute is branched into a subtree having a large division granularity and a subtree having a small division granularity, and a large division granularity and a small division granularity are mixed in the subtree Is being suppressed. Therefore, the occurrence probability of the division information of each block indicated by the tree structure can be biased. As a result, it is possible to appropriately decode the code amount reduced division information generated according to the syntax based on the tree structure and variable-length encoded.
- the division mode may be selected for each node so that the division granularity monotonously increases or monotonically decreases as the hierarchy of the tree structure increases.
- the circuit 2b specifies the attribute of the tree structure shown in FIG. 19 or 20 in the third embodiment.
- the division granularity changes continuously in the depth direction of the tree structure. Therefore, the correlation between the occurrence probability of the division information in the parent node and the child node is enhanced. As a result, it is possible to appropriately decode division information with high encoding efficiency, which is generated according to the syntax based on the tree structure and is variable-length encoded.
- the circuit 2b switches the tree structure used to specify the division mode of the block to be decoded by further selecting any one tree structure from a plurality of tree structures based on a predetermined coding parameter. It is also good. Specifically, as in the fourth embodiment, the circuit 2b switches the tree structure based on a coding type such as a picture type or QP.
- circuit 2b may further set an initial value of the occurrence probability of the division mode to each of all the division modes included in the plurality of tree structures. Specifically, as in the fifth embodiment, circuit 2b sets an initial value of the occurrence probability for all elements of the division information.
- variable-length decoding of divided information (specifically, arithmetic decoding)
- the number of nodes in the first subtree (that is, in branch A) in each of the above embodiments may be one or more.
- the number of nodes in the second subtree (i.e., in branch B) may be one or more.
- the encoding device and the decoding device in each of the above embodiments may be used as an image encoding device and an image decoding device, respectively, or may be used as a moving image encoding device and a moving image decoding device.
- each component may be configured by dedicated hardware or implemented by executing a software program suitable for each component.
- Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
- each of the encoding device and the decoding device includes a processing circuit (Processing Circuitry), and a storage device (Storage) electrically connected to the processing circuit and accessible from the processing circuit.
- Processing Circuitry Processing Circuitry
- Storage storage device
- the processing circuit includes at least one of dedicated hardware and a program execution unit, and executes processing using a storage device.
- the storage device stores a software program executed by the program execution unit.
- software for realizing the encoding device or the decoding device of each of the above-described embodiments is the following program.
- this program causes the computer to execute the processing according to the flowchart shown in any one of FIG. 5B, FIG. 5D, FIG. 12, FIG. 18, FIG. 21 to FIG.
- each component may be a circuit as described above. These circuits may constitute one circuit as a whole or may be separate circuits. Each component may be realized by a general purpose processor or a dedicated processor.
- another component may execute the processing that a particular component performs. Further, the order of executing the processing may be changed, or a plurality of processing may be executed in parallel. Also, the coding and decoding apparatus may include the coding apparatus and the decoding apparatus.
- first and second ordinal numbers used in the description may be replaced as appropriate.
- ordinal numbers may be newly given or removed for components and the like.
- each of the functional blocks can usually be realized by an MPU, a memory, and the like. Further, the processing by each of the functional blocks is usually realized by a program execution unit such as a processor reading and executing software (program) recorded in a recording medium such as a ROM.
- the software may be distributed by downloading or the like, or may be distributed by being recorded in a recording medium such as a semiconductor memory.
- each embodiment may be realized by centralized processing using a single device (system), or may be realized by distributed processing using a plurality of devices. Good.
- the processor that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
- the system is characterized by having an image coding apparatus using an image coding method, an image decoding apparatus using an image decoding method, and an image coding / decoding apparatus provided with both.
- Other configurations in the system can be suitably modified as the case may be.
- FIG. 25 is a diagram showing an overall configuration of a content supply system ex100 for realizing content distribution service.
- the area for providing communication service is divided into desired sizes, and base stations ex106, ex107, ex108, ex109 and ex110, which are fixed wireless stations, are installed in each cell.
- each device such as a computer ex111, a game machine ex112, a camera ex113, a home appliance ex114, and a smartphone ex115 via the Internet service provider ex102 or the communication network ex104 and the base stations ex106 to ex110 on the Internet ex101 Is connected.
- the content supply system ex100 may connect any of the above-described elements in combination.
- the respective devices may be connected to each other directly or indirectly via a telephone network, near-field radio, etc., not via the base stations ex106 to ex110 which are fixed wireless stations.
- the streaming server ex103 is connected to each device such as the computer ex111, the game machine ex112, the camera ex113, the home appliance ex114, and the smartphone ex115 via the Internet ex101 or the like.
- the streaming server ex103 is connected to a terminal or the like in a hotspot in the aircraft ex117 via the satellite ex116.
- a radio access point or a hotspot may be used instead of base stations ex106 to ex110.
- the streaming server ex103 may be directly connected to the communication network ex104 without the internet ex101 or the internet service provider ex102, or may be directly connected with the airplane ex117 without the satellite ex116.
- the camera ex113 is a device capable of shooting a still image such as a digital camera and shooting a moving image.
- the smartphone ex115 is a smartphone, a mobile phone, a PHS (Personal Handyphone System), or the like compatible with a mobile communication system generally called 2G, 3G, 3.9G, 4G, and 5G in the future.
- the home appliance ex118 is a refrigerator or a device included in a home fuel cell cogeneration system.
- a terminal having a photographing function when a terminal having a photographing function is connected to the streaming server ex103 through the base station ex106 or the like, live distribution and the like become possible.
- a terminal (a computer ex111, a game machine ex112, a camera ex113, a home appliance ex114, a smartphone ex115, a terminal in an airplane ex117, etc.) transmits the still image or moving image content captured by the user using the terminal.
- the encoding process described in each embodiment is performed, and video data obtained by the encoding and sound data obtained by encoding a sound corresponding to the video are multiplexed, and the obtained data is transmitted to the streaming server ex103. That is, each terminal functions as an image coding apparatus according to an aspect of the present disclosure.
- the streaming server ex 103 streams the content data transmitted to the requested client.
- the client is a computer ex111, a game machine ex112, a camera ex113, a home appliance ex114, a smartphone ex115, a terminal in the airplane ex117, or the like capable of decoding the above-described encoded data.
- Each device that receives the distributed data decrypts and reproduces the received data. That is, each device functions as an image decoding device according to an aspect of the present disclosure.
- the streaming server ex103 may be a plurality of servers or a plurality of computers, and may process, record, or distribute data in a distributed manner.
- the streaming server ex103 may be realized by a CDN (Contents Delivery Network), and content delivery may be realized by a network connecting a large number of edge servers distributed around the world and the edge servers.
- CDN Content Delivery Network
- content delivery may be realized by a network connecting a large number of edge servers distributed around the world and the edge servers.
- physically close edge servers are dynamically assigned according to clients. The delay can be reduced by caching and distributing the content to the edge server.
- processing is distributed among multiple edge servers, or the distribution subject is switched to another edge server, or a portion of the network where a failure has occurred. Since the delivery can be continued bypassing, high-speed and stable delivery can be realized.
- each terminal may perform encoding processing of captured data, or may perform processing on the server side, or may share processing with each other.
- a processing loop is performed twice.
- the first loop the complexity or code amount of the image in frame or scene units is detected.
- the second loop processing is performed to maintain the image quality and improve the coding efficiency.
- the terminal performs a first encoding process
- the server receiving the content performs a second encoding process, thereby improving the quality and efficiency of the content while reducing the processing load on each terminal. it can.
- the first encoded data made by the terminal can also be received and reproduced by another terminal, enabling more flexible real time delivery Become.
- the camera ex 113 or the like extracts a feature amount from an image, compresses data relating to the feature amount as metadata, and transmits the data to the server.
- the server performs compression according to the meaning of the image, for example, determining the importance of the object from the feature amount and switching the quantization accuracy.
- Feature amount data is particularly effective in improving the accuracy and efficiency of motion vector prediction at the time of second compression in the server.
- the terminal may perform simple coding such as VLC (variable length coding) and the server may perform coding with a large processing load such as CABAC (context adaptive binary arithmetic coding method).
- a plurality of video data in which substantially the same scenes are shot by a plurality of terminals.
- a unit of GOP Group of Picture
- a unit of picture or a tile into which a picture is divided, using a plurality of terminals for which photographing was performed and other terminals and servers which are not photographing as necessary.
- the encoding process is allocated in units, etc., and distributed processing is performed. This reduces delay and can realize more real time performance.
- the server may manage and / or instruct the video data captured by each terminal to be mutually referred to.
- the server may receive the encoded data from each terminal and change the reference relationship among a plurality of data, or may correct or replace the picture itself and re-encode it. This makes it possible to generate streams with enhanced quality and efficiency of each piece of data.
- the server may deliver the video data after performing transcoding for changing the coding method of the video data.
- the server may convert the encoding system of the MPEG system into the VP system, or the H.264 system. H.264. It may be converted to 265.
- the encoding process can be performed by the terminal or one or more servers. Therefore, in the following, although the description such as “server” or “terminal” is used as the subject of processing, part or all of the processing performed by the server may be performed by the terminal, or the processing performed by the terminal Some or all may be performed on the server. In addition, with regard to these, the same applies to the decoding process.
- the server not only encodes a two-dimensional moving image, but also automatically encodes a still image based on scene analysis of the moving image or at a time designated by the user and transmits it to the receiving terminal. It is also good. Furthermore, if the server can acquire relative positional relationship between the imaging terminals, the three-dimensional shape of the scene is not only determined based on the two-dimensional moving image but also the video of the same scene captured from different angles. Can be generated. Note that the server may separately encode three-dimensional data generated by a point cloud or the like, or an image to be transmitted to the receiving terminal based on a result of recognizing or tracking a person or an object using the three-dimensional data. Alternatively, it may be generated by selecting or reconfiguring from videos taken by a plurality of terminals.
- the user can enjoy the scene by arbitrarily selecting each video corresponding to each photographing terminal, or from the three-dimensional data reconstructed using a plurality of images or videos, the video of the arbitrary viewpoint You can also enjoy the extracted content.
- the sound may be picked up from a plurality of different angles as well as the video, and the server may multiplex the sound from a specific angle or space with the video and transmit it according to the video.
- the server may create viewpoint images for the right eye and for the left eye, respectively, and may perform coding to allow reference between each viewpoint video using Multi-View Coding (MVC) or the like. It may be encoded as another stream without reference. At the time of decoding of another stream, reproduction may be performed in synchronization with each other so that a virtual three-dimensional space is reproduced according to the viewpoint of the user.
- MVC Multi-View Coding
- the server superimposes virtual object information in the virtual space on camera information in the real space based on the three-dimensional position or the movement of the user's viewpoint.
- the decoding apparatus may acquire or hold virtual object information and three-dimensional data, generate a two-dimensional image according to the movement of the user's viewpoint, and create superimposed data by smoothly connecting.
- the decoding device transmits the motion of the user's viewpoint to the server in addition to the request for virtual object information, and the server creates superimposed data in accordance with the motion of the viewpoint received from the three-dimensional data held in the server.
- the superimposed data may be encoded and distributed to the decoding device.
- the superimposed data has an ⁇ value indicating transparency as well as RGB
- the server sets the ⁇ value of a portion other than the object created from the three-dimensional data to 0 etc., and the portion is transparent , May be encoded.
- the server may set RGB values of predetermined values as a background, such as chroma key, and generate data in which the portion other than the object has a background color.
- the decryption processing of the distributed data may be performed by each terminal which is a client, may be performed by the server side, or may be performed sharing each other.
- one terminal may send a reception request to the server once, the content corresponding to the request may be received by another terminal and decoded, and the decoded signal may be transmitted to a device having a display. Data of high image quality can be reproduced by distributing processing and selecting appropriate content regardless of the performance of the communicable terminal itself.
- a viewer's personal terminal may decode and display a partial area such as a tile in which a picture is divided. Thereby, it is possible to confirm at hand the area in which the user is in charge or the area to be checked in more detail while sharing the whole image.
- encoded data over the network such as encoded data being cached on a server that can be accessed in a short time from a receiving terminal, or copied to an edge server in a content delivery service, etc. It is also possible to switch the bit rate of the received data based on ease.
- the server may have a plurality of streams with the same content but different qualities as individual streams, but is temporally / spatial scalable which is realized by coding into layers as shown in the figure.
- the configuration may be such that the content is switched using the feature of the stream. That is, the decoding side determines low-resolution content and high-resolution content by determining which layer to decode depending on the internal factor of performance and external factors such as the state of the communication band. It can be switched freely and decoded. For example, when it is desired to view the continuation of the video being watched by the smartphone ex115 while moving on a device such as the Internet TV after returning home, the device only has to decode the same stream to different layers, so the burden on the server side Can be reduced.
- the picture is encoded for each layer, and the enhancement layer includes meta information based on statistical information of the image, etc., in addition to the configuration for realizing the scalability in which the enhancement layer exists above the base layer.
- the decoding side may generate high-quality content by super-resolving a picture of the base layer based on the meta information.
- the super resolution may be either an improvement in the SN ratio at the same resolution or an expansion of the resolution.
- Meta information includes information for identifying linear or non-linear filter coefficients used for super-resolution processing, or information for identifying parameter values in filter processing used for super-resolution processing, machine learning or least squares operation, etc. .
- the picture may be divided into tiles or the like according to the meaning of an object or the like in the image, and the decoding side may be configured to decode only a part of the area by selecting the tile to be decoded.
- the decoding side can position the desired object based on the meta information And determine the tile that contains the object. For example, as shown in FIG. 27, meta-information is stored using a data storage structure different from pixel data, such as an SEI message in HEVC. This meta information indicates, for example, the position, size, or color of the main object.
- meta information may be stored in units of a plurality of pictures, such as streams, sequences, or random access units.
- the decoding side can acquire the time when a specific person appears in the video and the like, and can identify the picture in which the object exists and the position of the object in the picture by combining the information with the picture unit.
- FIG. 28 is a diagram showing an example of a display screen of a web page in the computer ex111 and the like.
- FIG. 29 is a diagram showing an example of a display screen of a web page in the smartphone ex115 and the like.
- the web page may include a plurality of link images which are links to image content, and the appearance differs depending on the browsing device.
- the display device When multiple link images are visible on the screen, the display device until the user explicitly selects the link image, or until the link image approaches near the center of the screen or the entire link image falls within the screen
- the (decoding device) displays still images or I pictures of each content as link images, displays images such as gif animation with a plurality of still images or I pictures, etc., receives only the base layer Decode and display.
- the display device decodes the base layer with the highest priority.
- the display device may decode up to the enhancement layer if there is information indicating that the content is scalable in the HTML configuring the web page.
- the display device decodes only forward referenced pictures (I picture, P picture, forward referenced only B picture) before the selection or when the communication band is very strict. And, by displaying, it is possible to reduce the delay between the decoding time of the leading picture and the display time (delay from the start of decoding of content to the start of display).
- the display device may roughly ignore the reference relationship of pictures and roughly decode all B pictures and P pictures with forward reference, and may perform normal decoding as time passes and the number of received pictures increases.
- the receiving terminal when transmitting or receiving still image or video data such as two-dimensional or three-dimensional map information for automatic traveling or driving assistance of a car, the receiving terminal is added as image information belonging to one or more layers as meta information Information on weather or construction may also be received, and these may be correlated and decoded.
- the meta information may belong to the layer or may be simply multiplexed with the image data.
- the receiving terminal since a car including a receiving terminal, a drone or an airplane moves, the receiving terminal transmits the position information of the receiving terminal at the time of reception request to seamlessly receive and decode while switching the base stations ex106 to ex110. Can be realized.
- the receiving terminal can dynamically switch how much meta information is received or how much map information is updated according to the user's selection, the user's situation or the state of the communication band. become.
- the client can receive, decode, and reproduce the encoded information transmitted by the user in real time.
- the server may perform the encoding process after performing the editing process. This can be realized, for example, with the following configuration.
- the server performs recognition processing such as shooting error, scene search, meaning analysis, and object detection from the original image or encoded data after shooting in real time or by accumulation. Then, the server manually or automatically corrects out-of-focus or camera shake, etc. based on the recognition result, or a scene with low importance such as a scene whose brightness is low or out of focus compared with other pictures. Make edits such as deleting, emphasizing the edge of an object, or changing the color. The server encodes the edited data based on the edited result. It is also known that the audience rating drops when the shooting time is too long, and the server works not only with scenes with low importance as described above, but also moves as content becomes within a specific time range according to the shooting time. Scenes with a small amount of motion may be clipped automatically based on the image processing result. Alternatively, the server may generate and encode a digest based on the result of semantic analysis of the scene.
- recognition processing such as shooting error, scene search, meaning analysis, and object detection from the original image or encoded data after shooting in real
- the server may change and encode the face of a person at the periphery of the screen, or the inside of a house, etc. into an image out of focus.
- the server recognizes whether or not the face of a person different from the person registered in advance appears in the image to be encoded, and if so, performs processing such as mosaicing the face portion. May be Alternatively, the user designates a person or background area desired to process an image from the viewpoint of copyright etc.
- preprocessing or post-processing of encoding replaces the designated area with another video or blurs the focus. It is also possible to perform such processing. If it is a person, it is possible to replace the image of the face part while tracking the person in the moving image.
- the decoding apparatus first receives the base layer with the highest priority, and performs decoding and reproduction, although it depends on the bandwidth.
- the decoding device may receive the enhancement layer during this period, and may play back high-quality video including the enhancement layer if it is played back more than once, such as when playback is looped.
- scalable coding it is possible to provide an experience in which the stream gradually becomes smart and the image becomes better although it is a rough moving image when it is not selected or when it starts watching.
- the same experience can be provided even if the coarse stream played back first and the second stream coded with reference to the first moving image are configured as one stream .
- these encoding or decoding processes are generally processed in an LSI ex 500 that each terminal has.
- the LSI ex 500 may be a single chip or a plurality of chips.
- Software for moving image encoding or decoding is incorporated in any recording medium (CD-ROM, flexible disk, hard disk, etc.) readable by computer ex111 or the like, and encoding or decoding is performed using the software. It is also good.
- moving image data acquired by the camera may be transmitted. The moving image data at this time is data encoded by the LSI ex 500 included in the smartphone ex 115.
- the LSI ex 500 may be configured to download and activate application software.
- the terminal first determines whether the terminal corresponds to the content coding scheme or has the ability to execute a specific service. If the terminal does not support the content encoding method or does not have the ability to execute a specific service, the terminal downloads the codec or application software, and then acquires and reproduces the content.
- the present invention is not limited to the content supply system ex100 via the Internet ex101, but also to a system for digital broadcasting at least a moving picture coding apparatus (image coding apparatus) or a moving picture decoding apparatus (image decoding apparatus) of the above embodiments. Can be incorporated. There is a difference in that it is multicast-oriented with respect to the configuration in which the content supply system ex100 can be easily unicasted, since multiplexed data in which video and sound are multiplexed is transmitted on broadcast radio waves using satellites etc. Similar applications are possible for the encoding process and the decoding process.
- FIG. 30 is a diagram showing the smartphone ex115.
- FIG. 31 is a diagram showing an example of configuration of the smartphone ex115.
- the smartphone ex115 receives an antenna ex450 for transmitting and receiving radio waves to and from the base station ex110, a camera unit ex465 capable of taking video and still images, a video taken by the camera unit ex465, and the antenna ex450 And a display unit ex ⁇ b> 458 for displaying data obtained by decoding an image or the like.
- the smartphone ex115 further includes an operation unit ex466 that is a touch panel or the like, a voice output unit ex457 that is a speaker or the like for outputting voice or sound, a voice input unit ex456 that is a microphone or the like for inputting voice, Identify the user, the memory unit ex 467 capable of storing encoded video or still image, recorded voice, received video or still image, encoded data such as mail, or decoded data, and specify a network, etc. And a slot unit ex464 that is an interface unit with the SIM ex 468 for authenticating access to various data. Note that an external memory may be used instead of the memory unit ex467.
- a main control unit ex460 that integrally controls the display unit ex458 and the operation unit ex466, a power supply circuit unit ex461, an operation input control unit ex462, a video signal processing unit ex455, a camera interface unit ex463, a display control unit ex459, / Demodulation unit ex452, multiplexing / demultiplexing unit ex453, audio signal processing unit ex454, slot unit ex464, and memory unit ex467 are connected via a bus ex470.
- the power supply circuit unit ex461 activates the smartphone ex115 to an operable state by supplying power from the battery pack to each unit.
- the smartphone ex115 performs processing such as call and data communication based on control of the main control unit ex460 having a CPU, a ROM, a RAM, and the like.
- the audio signal collected by the audio input unit ex456 is converted to a digital audio signal by the audio signal processing unit ex454, spread spectrum processing is performed by the modulation / demodulation unit ex452, and digital analog conversion is performed by the transmission / reception unit ex451.
- transmission is performed via the antenna ex450.
- the received data is amplified and subjected to frequency conversion processing and analog-to-digital conversion processing, subjected to spectrum despreading processing by modulation / demodulation unit ex452, and converted to an analog sound signal by sound signal processing unit ex454.
- Output from In the data communication mode text, still images, or video data are sent to the main control unit ex460 via the operation input control unit ex462 by the operation of the operation unit ex466 or the like of the main unit, and transmission and reception processing is similarly performed.
- the video signal processing unit ex 455 executes the video signal stored in the memory unit ex 467 or the video signal input from the camera unit ex 465 as described above.
- the video data is compressed and encoded by the moving picture encoding method shown in the form, and the encoded video data is sent to the multiplexing / demultiplexing unit ex453.
- the audio signal processing unit ex454 encodes an audio signal collected by the audio input unit ex456 while capturing a video or a still image with the camera unit ex465, and sends the encoded audio data to the multiplexing / demultiplexing unit ex453.
- the multiplexing / demultiplexing unit ex453 multiplexes the encoded video data and the encoded audio data according to a predetermined method, and performs modulation processing and conversion by the modulation / demodulation unit (modulation / demodulation circuit unit) ex452 and the transmission / reception unit ex451. It processes and transmits via antenna ex450.
- the multiplexing / demultiplexing unit ex453 multiplexes in order to decode multiplexed data received via the antenna ex450.
- the multiplexed data is divided into a bit stream of video data and a bit stream of audio data, and the encoded video data is supplied to the video signal processing unit ex455 via the synchronization bus ex470, and The converted audio data is supplied to the audio signal processing unit ex 454.
- the video signal processing unit ex 455 decodes the video signal by the moving picture decoding method corresponding to the moving picture coding method described in each of the above embodiments, and is linked from the display unit ex 458 via the display control unit ex 459. An image or a still image included in the moving image file is displayed.
- the audio signal processing unit ex 454 decodes the audio signal, and the audio output unit ex 457 outputs the audio. Furthermore, since real-time streaming is widespread, depending on the user's situation, it may happen that sound reproduction is not socially appropriate. Therefore, as an initial value, it is preferable to be configured to reproduce only the video data without reproducing the audio signal. Audio may be synchronized and played back only when the user performs an operation such as clicking on video data.
- the smartphone ex115 has been described as an example, in addition to a transceiving terminal having both an encoder and a decoder as a terminal, a transmitting terminal having only the encoder and a receiver having only the decoder There are three possible implementation forms: terminals. Furthermore, in the digital broadcasting system, it has been described that multiplexed data in which audio data is multiplexed with video data is received or transmitted, but in multiplexed data, character data related to video other than audio data is also described. It may be multiplexed, or video data itself may be received or transmitted, not multiplexed data.
- the terminal often includes a GPU. Therefore, a configuration in which a large area is collectively processed using the performance of the GPU may be performed using a memory shared by the CPU and the GPU, or a memory whose address is managed so as to be commonly used. As a result, coding time can be shortened, real time property can be secured, and low delay can be realized. In particular, it is efficient to perform processing of motion search, deblock filter, sample adaptive offset (SAO), and transform / quantization collectively in units of pictures or the like on the GPU instead of the CPU.
- SAO sample adaptive offset
- the encoding device and the decoding device of the present disclosure have the effect of the possibility of further improvement, and for example, television, digital video recorder, car navigation, mobile phone, digital camera, digital video camera, in-vehicle camera, and network camera. Etc. can be used for information display devices or imaging devices, etc., and the value of use is high.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
さらなる改善を実現する符号化装置を提供する。この符号化装置は、複数の分割モードから、符号化対象ブロックの分割モードを選択し、符号化対象ブロックに対して選択された分割モードを示す分割情報を、その複数の分割モードを複数のノードとして含むツリー構造に基づくシンタックスにしたがって生成する。そのツリー構造では、各親ノードに対して第1の子ノードと第2の子ノードがある場合、第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、(i)第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または(ii)第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである。
Description
本開示は、符号化装置、復号装置、符号化方法および復号方法に関する。
HEVC(High-Efficiency Video Coding)と称される映像符号化標準規格が、JCT-VC(Joint Collaborative Team on Video Coding)により標準化されている。
H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding))
このような符号化及び復号技術では、さらなる改善が求められている。
そこで、本開示は、さらなる改善を実現できる符号化装置、復号装置、符号化方法または復号方法を提供することを目的とする。
本開示の一態様に係る符号化装置は、回路と、メモリと、を備え、前記回路は、前記メモリを用いて、複数の分割モードから、符号化対象ブロックの分割モードを選択し、前記符号化対象ブロックに対して選択された前記分割モードを示す分割情報を、前記複数の分割モードを複数のノードとして含むツリー構造に基づくシンタックスにしたがって生成し、前記ツリー構造では、各親ノードに対して第1の子ノードと第2の子ノードがある場合、前記第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、(i)前記第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または(ii)前記第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである。
本開示の一態様に係る復号装置は、回路と、メモリと、を備え、前記回路は、前記メモリを用いて、複数の分割モードを複数のノードとして含み、復号対象ブロックにおいて有効となるツリー構造の属性を特定し、特定された前記属性のツリー構造に基づくシンタックスにしたがって、前記復号対象ブロックに対して生成された分割情報が示す分割モードを特定し、前記ツリー構造では、各親ノードに対して第1の子ノードと第2の子ノードがある場合、前記第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、(i)前記第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または(ii)前記第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示は、さらなる改善を実現できる符号化装置、復号装置、符号化方法または復号方法を提供できる。
本開示の一態様に係る符号化装置は、回路と、メモリと、を備え、前記回路は、前記メモリを用いて、複数の分割モードから、符号化対象ブロックの分割モードを選択し、前記符号化対象ブロックに対して選択された前記分割モードを示す分割情報を、前記複数の分割モードを複数のノードとして含むツリー構造に基づくシンタックスにしたがって生成し、前記ツリー構造では、各親ノードに対して第1の子ノードと第2の子ノードがある場合、前記第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、(i)前記第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または(ii)前記第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである。例えば、前記回路は、ツリー構造の各ノードに対して分割モードを選択することによって、前記符号化対象ブロックの分割情報の生成に用いられる前記ツリー構造を生成し、前記ツリー構造の生成では、選択対象のノードをルートノードとして含む前記第1の部分木内の任意のノードの分割粒度が、前記第2の部分木内の任意のノードの分割粒度よりも大きくなるように、前記選択対象のノードに対して分割モードを選択してもよい。また、前記複数の分割モードは、ブロックを3分割する分割モードを含んでもよい。
これにより、ツリー構造の各親ノードは、分割粒度の大きい部分木と、分割粒度の小さい部分木とに分岐されて、大きい分割粒度と小さい分割粒度とが部分木内において混在することが抑えられている。したがって、そのツリー構造によって表現される、各ブロックの分割情報の発生確率に偏りを持たせることができる。その結果、分割情報の可変長符号化による符号量を低減することができる可能性がある。
また、前記回路は、前記ツリー構造の生成では、前記ツリー構造の階層が増加するごとに、分割粒度が単調に増加、あるいは、単調に減少するように、各ノードに対して分割モードを選択してもよい。
これにより、ツリー構造の深度方向において分割粒度が連続的に変化する。したがって、親ノードと子ノードとにおける分割情報の発生確率の相関が高まり、分割情報の可変長符号化の効率が向上する可能性がある。
また、前記回路は、さらに、複数のツリー構造から何れか1つのツリー構造を、所定の符号化パラメータに基づいて選択することによって、前記符号化対象ブロックの分割情報の生成に用いられる前記ツリー構造を切り替えてもよい。
これにより、分割情報の発生確率に適したツリー構造を用いることができ、その結果、分割情報の可変長符号化の効率が向上する可能性がある。
また、前記回路は、さらに、前記複数のツリー構造に含まれる全ての分割モードのそれぞれに対して、当該分割モードの発生確率の初期値を設定してもよい。
これにより、分割情報の可変長符号化(具体的には算術符号化)において、初期値が不定となり誤動作してしまうことを抑えることができる。
本開示の一態様に係る復号装置は、回路と、メモリと、を備え、前記回路は、前記メモリを用いて、複数の分割モードを複数のノードとして含み、復号対象ブロックにおいて有効となるツリー構造の属性を特定し、特定された前記属性のツリー構造に基づくシンタックスにしたがって、前記復号対象ブロックに対して生成された分割情報が示す分割モードを特定し、前記ツリー構造では、各親ノードに対して第1の子ノードと第2の子ノードがある場合、前記第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、(i)前記第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または(ii)前記第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである。例えば、前記ツリー構造は、ツリー構造の各ノードに対して分割モードを選択することによって生成され、前記ツリー構造では、選択対象のノードをルートノードとして含む前記第1の部分木内の任意のノードの分割粒度が、前記第2の部分木内の任意のノードの分割粒度よりも大きくなるように、前記選択対象のノードに対して分割モードが選択されていてもよい。また、前記複数の分割モードは、ブロックを3分割する分割モードを含んでもよい。
これにより、特定される属性のツリー構造の各親ノードは、分割粒度の大きい部分木と、分割粒度の小さい部分木とに分岐されて、大きい分割粒度と小さい分割粒度とが部分木内において混在することが抑えられている。したがって、そのツリー構造によって示される、各ブロックの分割情報の発生確率に偏りを持たせることができる。その結果、そのツリー構造に基づくシンタックスにしたがって生成されて可変長符号化された、符号量が低減された分割情報を、適切に復号することができる。
また、前記ツリー構造では、前記ツリー構造の階層が増加するごとに、分割粒度が単調に増加、あるいは、単調に減少するように、各ノードに対して分割モードが選択されていてもよい。
これにより、ツリー構造の深度方向において分割粒度が連続的に変化する。したがって、親ノードと子ノードとにおける分割情報の発生確率の相関が高まる。その結果、そのツリー構造に基づくシンタックスにしたがって生成されて可変長符号化された、高い符号化効率の分割情報を、適切に復号することができる。
また、前記回路は、さらに、複数のツリー構造から何れか1つのツリー構造を、所定の符号化パラメータに基づいて選択することによって、前記復号対象ブロックの分割モードの特定に用いられる前記ツリー構造を切り替えてもよい。
これにより、分割情報の発生確率に適したツリー構造を用いることができ、その結果、高い符号化効率の分割情報を、適切に復号することができる。
また、前記回路は、さらに、前記複数のツリー構造に含まれる全ての分割モードのそれぞれに対して、当該分割モードの発生確率の初期値を設定してもよい。
これにより、分割情報の可変長復号(具体的には、算術復号)において、初期値が不定となり誤動作してしまうことを抑えることができる。
以下、実施の形態について図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
まず、後述する本開示の各態様で説明する処理および/または構成を適用可能な符号化装置および復号化装置の一例として、実施の形態1の概要を説明する。ただし、実施の形態1は、本開示の各態様で説明する処理および/または構成を適用可能な符号化装置および復号化装置の一例にすぎず、本開示の各態様で説明する処理および/または構成は、実施の形態1とは異なる符号化装置および復号化装置においても実施可能である。
まず、後述する本開示の各態様で説明する処理および/または構成を適用可能な符号化装置および復号化装置の一例として、実施の形態1の概要を説明する。ただし、実施の形態1は、本開示の各態様で説明する処理および/または構成を適用可能な符号化装置および復号化装置の一例にすぎず、本開示の各態様で説明する処理および/または構成は、実施の形態1とは異なる符号化装置および復号化装置においても実施可能である。
実施の形態1に対して本開示の各態様で説明する処理および/または構成を適用する場合、例えば以下のいずれかを行ってもよい。
(1)実施の形態1の符号化装置または復号化装置に対して、当該符号化装置または復号化装置を構成する複数の構成要素のうち、本開示の各態様で説明する構成要素に対応する構成要素を、本開示の各態様で説明する構成要素に置き換えること
(2)実施の形態1の符号化装置または復号化装置に対して、当該符号化装置または復号化装置を構成する複数の構成要素のうち一部の構成要素について機能または実施する処理の追加、置き換え、削除などの任意の変更を施した上で、本開示の各態様で説明する構成要素に対応する構成要素を、本開示の各態様で説明する構成要素に置き換えること
(3)実施の形態1の符号化装置または復号化装置が実施する方法に対して、処理の追加、および/または当該方法に含まれる複数の処理のうちの一部の処理について置き換え、削除などの任意の変更を施した上で、本開示の各態様で説明する処理に対応する処理を、本開示の各態様で説明する処理に置き換えること
(4)実施の形態1の符号化装置または復号化装置を構成する複数の構成要素のうちの一部の構成要素を、本開示の各態様で説明する構成要素、本開示の各態様で説明する構成要素が備える機能の一部を備える構成要素、または本開示の各態様で説明する構成要素が実施する処理の一部を実施する構成要素と組み合わせて実施すること
(5)実施の形態1の符号化装置または復号化装置を構成する複数の構成要素のうちの一部の構成要素が備える機能の一部を備える構成要素、または実施の形態1の符号化装置または復号化装置を構成する複数の構成要素のうちの一部の構成要素が実施する処理の一部を実施する構成要素を、本開示の各態様で説明する構成要素、本開示の各態様で説明する構成要素が備える機能の一部を備える構成要素、または本開示の各態様で説明する構成要素が実施する処理の一部を実施する構成要素と組み合わせて実施すること
(6)実施の形態1の符号化装置または復号化装置が実施する方法に対して、当該方法に含まれる複数の処理のうち、本開示の各態様で説明する処理に対応する処理を、本開示の各態様で説明する処理に置き換えること
(7)実施の形態1の符号化装置または復号化装置が実施する方法に含まれる複数の処理のうちの一部の処理を、本開示の各態様で説明する処理と組み合わせて実施すること
(2)実施の形態1の符号化装置または復号化装置に対して、当該符号化装置または復号化装置を構成する複数の構成要素のうち一部の構成要素について機能または実施する処理の追加、置き換え、削除などの任意の変更を施した上で、本開示の各態様で説明する構成要素に対応する構成要素を、本開示の各態様で説明する構成要素に置き換えること
(3)実施の形態1の符号化装置または復号化装置が実施する方法に対して、処理の追加、および/または当該方法に含まれる複数の処理のうちの一部の処理について置き換え、削除などの任意の変更を施した上で、本開示の各態様で説明する処理に対応する処理を、本開示の各態様で説明する処理に置き換えること
(4)実施の形態1の符号化装置または復号化装置を構成する複数の構成要素のうちの一部の構成要素を、本開示の各態様で説明する構成要素、本開示の各態様で説明する構成要素が備える機能の一部を備える構成要素、または本開示の各態様で説明する構成要素が実施する処理の一部を実施する構成要素と組み合わせて実施すること
(5)実施の形態1の符号化装置または復号化装置を構成する複数の構成要素のうちの一部の構成要素が備える機能の一部を備える構成要素、または実施の形態1の符号化装置または復号化装置を構成する複数の構成要素のうちの一部の構成要素が実施する処理の一部を実施する構成要素を、本開示の各態様で説明する構成要素、本開示の各態様で説明する構成要素が備える機能の一部を備える構成要素、または本開示の各態様で説明する構成要素が実施する処理の一部を実施する構成要素と組み合わせて実施すること
(6)実施の形態1の符号化装置または復号化装置が実施する方法に対して、当該方法に含まれる複数の処理のうち、本開示の各態様で説明する処理に対応する処理を、本開示の各態様で説明する処理に置き換えること
(7)実施の形態1の符号化装置または復号化装置が実施する方法に含まれる複数の処理のうちの一部の処理を、本開示の各態様で説明する処理と組み合わせて実施すること
なお、本開示の各態様で説明する処理および/または構成の実施の仕方は、上記の例に限定されるものではない。例えば、実施の形態1において開示する動画像/画像符号化装置または動画像/画像復号化装置とは異なる目的で利用される装置において実施されてもよいし、各態様において説明した処理および/または構成を単独で実施してもよい。また、異なる態様において説明した処理および/または構成を組み合わせて実施してもよい。
[符号化装置の概要]
まず、実施の形態1に係る符号化装置の概要を説明する。図1は、実施の形態1に係る符号化装置100の機能構成を示すブロック図である。符号化装置100は、動画像/画像をブロック単位で符号化する動画像/画像符号化装置である。
まず、実施の形態1に係る符号化装置の概要を説明する。図1は、実施の形態1に係る符号化装置100の機能構成を示すブロック図である。符号化装置100は、動画像/画像をブロック単位で符号化する動画像/画像符号化装置である。
図1に示すように、符号化装置100は、画像をブロック単位で符号化する装置であって、分割部102と、減算部104と、変換部106と、量子化部108と、エントロピー符号化部110と、逆量子化部112と、逆変換部114と、加算部116と、ブロックメモリ118と、ループフィルタ部120と、フレームメモリ122と、イントラ予測部124と、インター予測部126と、予測制御部128と、を備える。
符号化装置100は、例えば、汎用プロセッサ及びメモリにより実現される。この場合、メモリに格納されたソフトウェアプログラムがプロセッサにより実行されたときに、プロセッサは、分割部102、減算部104、変換部106、量子化部108、エントロピー符号化部110、逆量子化部112、逆変換部114、加算部116、ループフィルタ部120、イントラ予測部124、インター予測部126及び予測制御部128として機能する。また、符号化装置100は、分割部102、減算部104、変換部106、量子化部108、エントロピー符号化部110、逆量子化部112、逆変換部114、加算部116、ループフィルタ部120、イントラ予測部124、インター予測部126及び予測制御部128に対応する専用の1以上の電子回路として実現されてもよい。
以下に、符号化装置100に含まれる各構成要素について説明する。
[分割部]
分割部102は、入力動画像に含まれる各ピクチャを複数のブロックに分割し、各ブロックを減算部104に出力する。例えば、分割部102は、まず、ピクチャを固定サイズ(例えば128x128)のブロックに分割する。この固定サイズのブロックは、符号化ツリーユニット(CTU)と呼ばれることがある。そして、分割部102は、再帰的な四分木(quadtree)及び/又は二分木(binary tree)ブロック分割に基づいて、固定サイズのブロックの各々を可変サイズ(例えば64x64以下)のブロックに分割する。この可変サイズのブロックは、符号化ユニット(CU)、予測ユニット(PU)あるいは変換ユニット(TU)と呼ばれることがある。なお、本実施の形態では、CU、PU及びTUは区別される必要はなく、ピクチャ内の一部又はすべてのブロックがCU、PU、TUの処理単位となってもよい。
分割部102は、入力動画像に含まれる各ピクチャを複数のブロックに分割し、各ブロックを減算部104に出力する。例えば、分割部102は、まず、ピクチャを固定サイズ(例えば128x128)のブロックに分割する。この固定サイズのブロックは、符号化ツリーユニット(CTU)と呼ばれることがある。そして、分割部102は、再帰的な四分木(quadtree)及び/又は二分木(binary tree)ブロック分割に基づいて、固定サイズのブロックの各々を可変サイズ(例えば64x64以下)のブロックに分割する。この可変サイズのブロックは、符号化ユニット(CU)、予測ユニット(PU)あるいは変換ユニット(TU)と呼ばれることがある。なお、本実施の形態では、CU、PU及びTUは区別される必要はなく、ピクチャ内の一部又はすべてのブロックがCU、PU、TUの処理単位となってもよい。
図2は、実施の形態1におけるブロック分割の一例を示す図である。図2において、実線は四分木ブロック分割によるブロック境界を表し、破線は二分木ブロック分割によるブロック境界を表す。
ここでは、ブロック10は、128x128画素の正方形ブロック(128x128ブロック)である。この128x128ブロック10は、まず、4つの正方形の64x64ブロックに分割される(四分木ブロック分割)。
左上の64x64ブロックは、さらに2つの矩形の32x64ブロックに垂直に分割され、左の32x64ブロックはさらに2つの矩形の16x64ブロックに垂直に分割される(二分木ブロック分割)。その結果、左上の64x64ブロックは、2つの16x64ブロック11、12と、32x64ブロック13とに分割される。
右上の64x64ブロックは、2つの矩形の64x32ブロック14、15に水平に分割される(二分木ブロック分割)。
左下の64x64ブロックは、4つの正方形の32x32ブロックに分割される(四分木ブロック分割)。4つの32x32ブロックのうち左上のブロック及び右下のブロックはさらに分割される。左上の32x32ブロックは、2つの矩形の16x32ブロックに垂直に分割され、右の16x32ブロックはさらに2つの16x16ブロックに水平に分割される(二分木ブロック分割)。右下の32x32ブロックは、2つの32x16ブロックに水平に分割される(二分木ブロック分割)。その結果、左下の64x64ブロックは、16x32ブロック16と、2つの16x16ブロック17、18と、2つの32x32ブロック19、20と、2つの32x16ブロック21、22とに分割される。
右下の64x64ブロック23は分割されない。
以上のように、図2では、ブロック10は、再帰的な四分木及び二分木ブロック分割に基づいて、13個の可変サイズのブロック11~23に分割される。このような分割は、QTBT(quad-tree plus binary tree)分割と呼ばれることがある。
なお、図2では、1つのブロックが4つ又は2つのブロックに分割されていたが(四分木又は二分木ブロック分割)、分割はこれに限定されない。例えば、1つのブロックが3つのブロックに分割されてもよい(三分木ブロック分割)。このような三分木ブロック分割を含む分割は、MBT(multi type tree)分割と呼ばれることがある。
[減算部]
減算部104は、分割部102によって分割されたブロック単位で原信号(原サンプル)から予測信号(予測サンプル)を減算する。つまり、減算部104は、符号化対象ブロック(以下、カレントブロックという)の予測誤差(残差ともいう)を算出する。そして、減算部104は、算出された予測誤差を変換部106に出力する。
減算部104は、分割部102によって分割されたブロック単位で原信号(原サンプル)から予測信号(予測サンプル)を減算する。つまり、減算部104は、符号化対象ブロック(以下、カレントブロックという)の予測誤差(残差ともいう)を算出する。そして、減算部104は、算出された予測誤差を変換部106に出力する。
原信号は、符号化装置100の入力信号であり、動画像を構成する各ピクチャの画像を表す信号(例えば輝度(luma)信号及び2つの色差(chroma)信号)である。以下において、画像を表す信号をサンプルともいうこともある。
[変換部]
変換部106は、空間領域の予測誤差を周波数領域の変換係数に変換し、変換係数を量子化部108に出力する。具体的には、変換部106は、例えば空間領域の予測誤差に対して予め定められた離散コサイン変換(DCT)又は離散サイン変換(DST)を行う。
変換部106は、空間領域の予測誤差を周波数領域の変換係数に変換し、変換係数を量子化部108に出力する。具体的には、変換部106は、例えば空間領域の予測誤差に対して予め定められた離散コサイン変換(DCT)又は離散サイン変換(DST)を行う。
なお、変換部106は、複数の変換タイプの中から適応的に変換タイプを選択し、選択された変換タイプに対応する変換基底関数(transform basis function)を用いて、予測誤差を変換係数に変換してもよい。このような変換は、EMT(explicit multiple core transform)又はAMT(adaptive multiple transform)と呼ばれることがある。
複数の変換タイプは、例えば、DCT-II、DCT-V、DCT-VIII、DST-I及びDST-VIIを含む。図3は、各変換タイプに対応する変換基底関数を示す表である。図3においてNは入力画素の数を示す。これらの複数の変換タイプの中からの変換タイプの選択は、例えば、予測の種類(イントラ予測及びインター予測)に依存してもよいし、イントラ予測モードに依存してもよい。
このようなEMT又はAMTを適用するか否かを示す情報(例えばAMTフラグと呼ばれる)及び選択された変換タイプを示す情報は、CUレベルで信号化される。なお、これらの情報の信号化は、CUレベルに限定される必要はなく、他のレベル(例えば、シーケンスレベル、ピクチャレベル、スライスレベル、タイルレベル又はCTUレベル)であってもよい。
また、変換部106は、変換係数(変換結果)を再変換してもよい。このような再変換は、AST(adaptive secondary transform)又はNSST(non-separable secondary transform)と呼ばれることがある。例えば、変換部106は、イントラ予測誤差に対応する変換係数のブロックに含まれるサブブロック(例えば4x4サブブロック)ごとに再変換を行う。NSSTを適用するか否かを示す情報及びNSSTに用いられる変換行列に関する情報は、CUレベルで信号化される。なお、これらの情報の信号化は、CUレベルに限定される必要はなく、他のレベル(例えば、シーケンスレベル、ピクチャレベル、スライスレベル、タイルレベル又はCTUレベル)であってもよい。
ここで、Separableな変換とは、入力の次元の数だけ方向ごとに分離して複数回変換を行う方式であり、Non-Separableな変換とは、入力が多次元であった際に2つ以上の次元をまとめて1次元とみなして、まとめて変換を行う方式である。
例えば、Non-Separableな変換の1例として、入力が4×4のブロックであった場合にはそれを16個の要素を持ったひとつの配列とみなし、その配列に対して16×16の変換行列で変換処理を行うようなものが挙げられる。
また、同様に4×4の入力ブロックを16個の要素を持ったひとつの配列とみなした後に、その配列に対してGivens回転を複数回行うようなもの(Hypercube Givens Transform)もNon-Separableな変換の例である。
[量子化部]
量子化部108は、変換部106から出力された変換係数を量子化する。具体的には、量子化部108は、カレントブロックの変換係数を所定の走査順序で走査し、走査された変換係数に対応する量子化パラメータ(QP)に基づいて当該変換係数を量子化する。そして、量子化部108は、カレントブロックの量子化された変換係数(以下、量子化係数という)をエントロピー符号化部110及び逆量子化部112に出力する。
量子化部108は、変換部106から出力された変換係数を量子化する。具体的には、量子化部108は、カレントブロックの変換係数を所定の走査順序で走査し、走査された変換係数に対応する量子化パラメータ(QP)に基づいて当該変換係数を量子化する。そして、量子化部108は、カレントブロックの量子化された変換係数(以下、量子化係数という)をエントロピー符号化部110及び逆量子化部112に出力する。
所定の順序は、変換係数の量子化/逆量子化のための順序である。例えば、所定の走査順序は、周波数の昇順(低周波から高周波の順)又は降順(高周波から低周波の順)で定義される。
量子化パラメータとは、量子化ステップ(量子化幅)を定義するパラメータである。例えば、量子化パラメータの値が増加すれば量子化ステップも増加する。つまり、量子化パラメータの値が増加すれば量子化誤差が増大する。
[エントロピー符号化部]
エントロピー符号化部110は、量子化部108から入力である量子化係数を可変長符号化することにより符号化信号(符号化ビットストリーム)を生成する。具体的には、エントロピー符号化部110は、例えば、量子化係数を二値化し、二値信号を算術符号化する。
エントロピー符号化部110は、量子化部108から入力である量子化係数を可変長符号化することにより符号化信号(符号化ビットストリーム)を生成する。具体的には、エントロピー符号化部110は、例えば、量子化係数を二値化し、二値信号を算術符号化する。
[逆量子化部]
逆量子化部112は、量子化部108からの入力である量子化係数を逆量子化する。具体的には、逆量子化部112は、カレントブロックの量子化係数を所定の走査順序で逆量子化する。そして、逆量子化部112は、カレントブロックの逆量子化された変換係数を逆変換部114に出力する。
逆量子化部112は、量子化部108からの入力である量子化係数を逆量子化する。具体的には、逆量子化部112は、カレントブロックの量子化係数を所定の走査順序で逆量子化する。そして、逆量子化部112は、カレントブロックの逆量子化された変換係数を逆変換部114に出力する。
[逆変換部]
逆変換部114は、逆量子化部112からの入力である変換係数を逆変換することにより予測誤差を復元する。具体的には、逆変換部114は、変換係数に対して、変換部106による変換に対応する逆変換を行うことにより、カレントブロックの予測誤差を復元する。そして、逆変換部114は、復元された予測誤差を加算部116に出力する。
逆変換部114は、逆量子化部112からの入力である変換係数を逆変換することにより予測誤差を復元する。具体的には、逆変換部114は、変換係数に対して、変換部106による変換に対応する逆変換を行うことにより、カレントブロックの予測誤差を復元する。そして、逆変換部114は、復元された予測誤差を加算部116に出力する。
なお、復元された予測誤差は、量子化により情報が失われているので、減算部104が算出した予測誤差と一致しない。すなわち、復元された予測誤差には、量子化誤差が含まれている。
[加算部]
加算部116は、逆変換部114からの入力である予測誤差と予測制御部128からの入力である予測サンプルとを加算することによりカレントブロックを再構成する。そして、加算部116は、再構成されたブロックをブロックメモリ118及びループフィルタ部120に出力する。再構成ブロックは、ローカル復号ブロックと呼ばれることもある。
加算部116は、逆変換部114からの入力である予測誤差と予測制御部128からの入力である予測サンプルとを加算することによりカレントブロックを再構成する。そして、加算部116は、再構成されたブロックをブロックメモリ118及びループフィルタ部120に出力する。再構成ブロックは、ローカル復号ブロックと呼ばれることもある。
[ブロックメモリ]
ブロックメモリ118は、イントラ予測で参照されるブロックであって符号化対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ118は、加算部116から出力された再構成ブロックを格納する。
ブロックメモリ118は、イントラ予測で参照されるブロックであって符号化対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ118は、加算部116から出力された再構成ブロックを格納する。
[ループフィルタ部]
ループフィルタ部120は、加算部116によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ122に出力する。ループフィルタとは、符号化ループ内で用いられるフィルタ(インループフィルタ)であり、例えば、デブロッキング・フィルタ(DF)、サンプルアダプティブオフセット(SAO)及びアダプティブループフィルタ(ALF)などを含む。
ループフィルタ部120は、加算部116によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ122に出力する。ループフィルタとは、符号化ループ内で用いられるフィルタ(インループフィルタ)であり、例えば、デブロッキング・フィルタ(DF)、サンプルアダプティブオフセット(SAO)及びアダプティブループフィルタ(ALF)などを含む。
ALFでは、符号化歪みを除去するための最小二乗誤差フィルタが適用され、例えばカレントブロック内の2x2サブブロックごとに、局所的な勾配(gradient)の方向及び活性度(activity)に基づいて複数のフィルタの中から選択された1つのフィルタが適用される。
具体的には、まず、サブブロック(例えば2x2サブブロック)が複数のクラス(例えば15又は25クラス)に分類される。サブブロックの分類は、勾配の方向及び活性度に基づいて行われる。例えば、勾配の方向値D(例えば0~2又は0~4)と勾配の活性値A(例えば0~4)とを用いて分類値C(例えばC=5D+A)が算出される。そして、分類値Cに基づいて、サブブロックが複数のクラス(例えば15又は25クラス)に分類される。
勾配の方向値Dは、例えば、複数の方向(例えば水平、垂直及び2つの対角方向)の勾配を比較することにより導出される。また、勾配の活性値Aは、例えば、複数の方向の勾配を加算し、加算結果を量子化することにより導出される。
このような分類の結果に基づいて、複数のフィルタの中からサブブロックのためのフィルタが決定される。
ALFで用いられるフィルタの形状としては例えば円対称形状が利用される。図4A~図4Cは、ALFで用いられるフィルタの形状の複数の例を示す図である。図4Aは、5x5ダイヤモンド形状フィルタを示し、図4Bは、7x7ダイヤモンド形状フィルタを示し、図4Cは、9x9ダイヤモンド形状フィルタを示す。フィルタの形状を示す情報は、ピクチャレベルで信号化される。なお、フィルタの形状を示す情報の信号化は、ピクチャレベルに限定される必要はなく、他のレベル(例えば、シーケンスレベル、スライスレベル、タイルレベル、CTUレベル又はCUレベル)であってもよい。
ALFのオン/オフは、例えば、ピクチャレベル又はCUレベルで決定される。例えば、輝度についてはCUレベルでALFを適用するか否かが決定され、色差についてはピクチャレベルでALFを適用するか否かが決定される。ALFのオン/オフを示す情報は、ピクチャレベル又はCUレベルで信号化される。なお、ALFのオン/オフを示す情報の信号化は、ピクチャレベル又はCUレベルに限定される必要はなく、他のレベル(例えば、シーケンスレベル、スライスレベル、タイルレベル又はCTUレベル)であってもよい。
選択可能な複数のフィルタ(例えば15又は25までのフィルタ)の係数セットは、ピクチャレベルで信号化される。なお、係数セットの信号化は、ピクチャレベルに限定される必要はなく、他のレベル(例えば、シーケンスレベル、スライスレベル、タイルレベル、CTUレベル、CUレベル又はサブブロックレベル)であってもよい。
[フレームメモリ]
フレームメモリ122は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ122は、ループフィルタ部120によってフィルタされた再構成ブロックを格納する。
フレームメモリ122は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ122は、ループフィルタ部120によってフィルタされた再構成ブロックを格納する。
[イントラ予測部]
イントラ予測部124は、ブロックメモリ118に格納されたカレントピクチャ内のブロックを参照してカレントブロックのイントラ予測(画面内予測ともいう)を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部124は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部128に出力する。
イントラ予測部124は、ブロックメモリ118に格納されたカレントピクチャ内のブロックを参照してカレントブロックのイントラ予測(画面内予測ともいう)を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部124は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部128に出力する。
例えば、イントラ予測部124は、予め規定された複数のイントラ予測モードのうちの1つを用いてイントラ予測を行う。複数のイントラ予測モードは、1以上の非方向性予測モードと、複数の方向性予測モードと、を含む。
1以上の非方向性予測モードは、例えばH.265/HEVC(High-Efficiency Video Coding)規格(非特許文献1)で規定されたPlanar予測モード及びDC予測モードを含む。
複数の方向性予測モードは、例えばH.265/HEVC規格で規定された33方向の予測モードを含む。なお、複数の方向性予測モードは、33方向に加えてさらに32方向の予測モード(合計で65個の方向性予測モード)を含んでもよい。図5Aは、イントラ予測における67個のイントラ予測モード(2個の非方向性予測モード及び65個の方向性予測モード)を示す図である。実線矢印は、H.265/HEVC規格で規定された33方向を表し、破線矢印は、追加された32方向を表す。
なお、色差ブロックのイントラ予測において、輝度ブロックが参照されてもよい。つまり、カレントブロックの輝度成分に基づいて、カレントブロックの色差成分が予測されてもよい。このようなイントラ予測は、CCLM(cross-component linear model)予測と呼ばれることがある。このような輝度ブロックを参照する色差ブロックのイントラ予測モード(例えばCCLMモードと呼ばれる)は、色差ブロックのイントラ予測モードの1つとして加えられてもよい。
イントラ予測部124は、水平/垂直方向の参照画素の勾配に基づいてイントラ予測後の画素値を補正してもよい。このような補正をともなうイントラ予測は、PDPC(position dependent intra prediction combination)と呼ばれることがある。PDPCの適用の有無を示す情報(例えばPDPCフラグと呼ばれる)は、例えばCUレベルで信号化される。なお、この情報の信号化は、CUレベルに限定される必要はなく、他のレベル(例えば、シーケンスレベル、ピクチャレベル、スライスレベル、タイルレベル又はCTUレベル)であってもよい。
[インター予測部]
インター予測部126は、フレームメモリ122に格納された参照ピクチャであってカレントピクチャとは異なる参照ピクチャを参照してカレントブロックのインター予測(画面間予測ともいう)を行うことで、予測信号(インター予測信号)を生成する。インター予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部126は、カレントブロック又はサブブロックについて参照ピクチャ内で動き探索(motion estimation)を行う。そして、インター予測部126は、動き探索により得られた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成する。そして、インター予測部126は、生成されたインター予測信号を予測制御部128に出力する。
インター予測部126は、フレームメモリ122に格納された参照ピクチャであってカレントピクチャとは異なる参照ピクチャを参照してカレントブロックのインター予測(画面間予測ともいう)を行うことで、予測信号(インター予測信号)を生成する。インター予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部126は、カレントブロック又はサブブロックについて参照ピクチャ内で動き探索(motion estimation)を行う。そして、インター予測部126は、動き探索により得られた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成する。そして、インター予測部126は、生成されたインター予測信号を予測制御部128に出力する。
動き補償に用いられた動き情報は信号化される。動きベクトルの信号化には、予測動きベクトル(motion vector predictor)が用いられてもよい。つまり、動きベクトルと予測動きベクトルとの間の差分が信号化されてもよい。
なお、動き探索により得られたカレントブロックの動き情報だけでなく、隣接ブロックの動き情報も用いて、インター予測信号が生成されてもよい。具体的には、動き探索により得られた動き情報に基づく予測信号と、隣接ブロックの動き情報に基づく予測信号と、を重み付け加算することにより、カレントブロック内のサブブロック単位でインター予測信号が生成されてもよい。このようなインター予測(動き補償)は、OBMC(overlapped block motion compensation)と呼ばれることがある。
このようなOBMCモードでは、OBMCのためのサブブロックのサイズを示す情報(例えばOBMCブロックサイズと呼ばれる)は、シーケンスレベルで信号化される。また、OBMCモードを適用するか否かを示す情報(例えばOBMCフラグと呼ばれる)は、CUレベルで信号化される。なお、これらの情報の信号化のレベルは、シーケンスレベル及びCUレベルに限定される必要はなく、他のレベル(例えばピクチャレベル、スライスレベル、タイルレベル、CTUレベル又はサブブロックレベル)であってもよい。
OBMCモードについて、より具体的に説明する。図5B及び図5Cは、OBMC処理による予測画像補正処理の概要を説明するためのフローチャート及び概念図である。
まず、符号化対象ブロックに割り当てられた動きベクトル(MV)を用いて通常の動き補償による予測画像(Pred)を取得する。
次に、符号化済みの左隣接ブロックの動きベクトル(MV_L)を符号化対象ブロックに適用して予測画像(Pred_L)を取得し、前記予測画像とPred_Lとを重みを付けて重ね合わせることで予測画像の1回目の補正を行う。
同様に、符号化済みの上隣接ブロックの動きベクトル(MV_U)を符号化対象ブロックに適用して予測画像(Pred_U)を取得し、前記1回目の補正を行った予測画像とPred_Uとを重みを付けて重ね合わせることで予測画像の2回目の補正を行い、それを最終的な予測画像とする。
なお、ここでは左隣接ブロックと上隣接ブロックを用いた2段階の補正の方法を説明したが、右隣接ブロックや下隣接ブロックを用いて2段階よりも多い回数の補正を行う構成とすることも可能である。
なお、重ね合わせを行う領域はブロック全体の画素領域ではなく、ブロック境界近傍の一部の領域のみであってもよい。
なお、ここでは1枚の参照ピクチャからの予測画像補正処理について説明したが、複数枚の参照ピクチャから予測画像を補正する場合も同様であり、各々の参照ピクチャから補正した予測画像を取得した後に、得られた予測画像をさらに重ね合わせることで最終的な予測画像とする。
なお、前記処理対象ブロックは、予測ブロック単位であっても、予測ブロックをさらに分割したサブブロック単位であってもよい。
OBMC処理を適用するかどうかの判定の方法として、例えば、OBMC処理を適用するかどうかを示す信号であるobmc_flagを用いる方法がある。具体的な一例としては、符号化装置において、符号化対象ブロックが動きの複雑な領域に属しているかどうかを判定し、動きの複雑な領域に属している場合はobmc_flagとして値1を設定してOBMC処理を適用して符号化を行い、動きの複雑な領域に属していない場合はobmc_flagとして値0を設定してOBMC処理を適用せずに符号化を行う。一方、復号化装置では、ストリームに記述されたobmc_flagを復号化するとことで、その値に応じてOBMC処理を適用するかどうかを切替えて復号化を行う。
なお、動き情報は信号化されずに、復号装置側で導出されてもよい。例えば、H.265/HEVC規格で規定されたマージモードが用いられてもよい。また例えば、復号装置側で動き探索を行うことにより動き情報が導出されてもよい。この場合、カレントブロックの画素値を用いずに動き探索が行われる。
ここで、復号装置側で動き探索を行うモードについて説明する。この復号装置側で動き探索を行うモードは、PMMVD(pattern matched motion vector derivation)モード又はFRUC(frame rate up-conversion)モードと呼ばれることがある。
FRUC処理の一例を図5Dに示す。まず、カレントブロックに空間的又は時間的に隣接する符号化済みブロックの動きベクトルを参照して、各々が予測動きベクトルを有する複数の候補のリスト(マージリストと共通であってもよい)が生成される。次に、候補リストに登録されている複数の候補MVの中からベスト候補MVを選択する。例えば、候補リストに含まれる各候補の評価値が算出され、評価値に基づいて1つの候補が選択される。
そして、選択された候補の動きベクトルに基づいて、カレントブロックのための動きベクトルが導出される。具体的には、例えば、選択された候補の動きベクトル(ベスト候補MV)がそのままカレントブロックのための動きベクトルとして導出される。また例えば、選択された候補の動きベクトルに対応する参照ピクチャ内の位置の周辺領域において、パターンマッチングを行うことにより、カレントブロックのための動きベクトルが導出されてもよい。すなわち、ベスト候補MVの周辺の領域に対して同様の方法で探索を行い、さらに評価値が良い値となるMVがあった場合は、ベスト候補MVを前記MVに更新して、それをカレントブロックの最終的なMVとしてもよい。なお、当該処理を実施しない構成とすることも可能である。
サブブロック単位で処理を行う場合も全く同様の処理としてもよい。
なお、評価値は、動きベクトルに対応する参照ピクチャ内の領域と、所定の領域との間のパターンマッチングによって再構成画像の差分値を求めることにより算出される。なお、差分値に加えてそれ以外の情報を用いて評価値を算出してもよい。
パターンマッチングとしては、第1パターンマッチング又は第2パターンマッチングが用いられる。第1パターンマッチング及び第2パターンマッチングは、それぞれ、バイラテラルマッチング(bilateral matching)及びテンプレートマッチング(template matching)と呼ばれることがある。
第1パターンマッチングでは、異なる2つの参照ピクチャ内の2つのブロックであってカレントブロックの動き軌道(motion trajectory)に沿う2つのブロックの間でパターンマッチングが行われる。したがって、第1パターンマッチングでは、上述した候補の評価値の算出のための所定の領域として、カレントブロックの動き軌道に沿う他の参照ピクチャ内の領域が用いられる。
図6は、動き軌道に沿う2つのブロック間でのパターンマッチング(バイラテラルマッチング)の一例を説明するための図である。図6に示すように、第1パターンマッチングでは、カレントブロック(Cur block)の動き軌道に沿う2つのブロックであって異なる2つの参照ピクチャ(Ref0、Ref1)内の2つのブロックのペアの中で最もマッチするペアを探索することにより2つの動きベクトル(MV0、MV1)が導出される。具体的には、カレントブロックに対して、候補MVで指定された第1の符号化済み参照ピクチャ(Ref0)内の指定位置における再構成画像と、前記候補MVを表示時間間隔でスケーリングした対称MVで指定された第2の符号化済み参照ピクチャ(Ref1)内の指定位置における再構成画像との差分を導出し、得られた差分値を用いて評価値を算出する。複数の候補MVの中で最も評価値が良い値となる候補MVを最終MVとして選択するとよい。
連続的な動き軌道の仮定の下では、2つの参照ブロックを指し示す動きベクトル(MV0、MV1)は、カレントピクチャ(Cur Pic)と2つの参照ピクチャ(Ref0、Ref1)との間の時間的な距離(TD0、TD1)に対して比例する。例えば、カレントピクチャが時間的に2つの参照ピクチャの間に位置し、カレントピクチャから2つの参照ピクチャへの時間的な距離が等しい場合、第1パターンマッチングでは、鏡映対称な双方向の動きベクトルが導出される。
第2パターンマッチングでは、カレントピクチャ内のテンプレート(カレントピクチャ内でカレントブロックに隣接するブロック(例えば上及び/又は左隣接ブロック))と参照ピクチャ内のブロックとの間でパターンマッチングが行われる。したがって、第2パターンマッチングでは、上述した候補の評価値の算出のための所定の領域として、カレントピクチャ内のカレントブロックに隣接するブロックが用いられる。
図7は、カレントピクチャ内のテンプレートと参照ピクチャ内のブロックとの間でのパターンマッチング(テンプレートマッチング)の一例を説明するための図である。図7に示すように、第2パターンマッチングでは、カレントピクチャ(Cur Pic)内でカレントブロック(Cur block)に隣接するブロックと最もマッチするブロックを参照ピクチャ(Ref0)内で探索することによりカレントブロックの動きベクトルが導出される。具体的には、カレントブロックに対して、左隣接および上隣接の両方もしくはどちらか一方の符号化済み領域の再構成画像と、候補MVで指定された符号化済み参照ピクチャ(Ref0)内の同等位置における再構成画像との差分を導出し、得られた差分値を用いて評価値を算出し、複数の候補MVの中で最も評価値が良い値となる候補MVをベスト候補MVとして選択するとよい。
このようなFRUCモードを適用するか否かを示す情報(例えばFRUCフラグと呼ばれる)は、CUレベルで信号化される。また、FRUCモードが適用される場合(例えばFRUCフラグが真の場合)、パターンマッチングの方法(第1パターンマッチング又は第2パターンマッチング)を示す情報(例えばFRUCモードフラグと呼ばれる)がCUレベルで信号化される。なお、これらの情報の信号化は、CUレベルに限定される必要はなく、他のレベル(例えば、シーケンスレベル、ピクチャレベル、スライスレベル、タイルレベル、CTUレベル又はサブブロックレベル)であってもよい。
ここで、等速直線運動を仮定したモデルに基づいて動きベクトルを導出するモードについて説明する。このモードは、BIO(bi-directional optical flow)モードと呼ばれることがある。
図8は、等速直線運動を仮定したモデルを説明するための図である。図8において、(vx,vy)は、速度ベクトルを示し、τ0、τ1は、それぞれ、カレントピクチャ(Cur Pic)と2つの参照ピクチャ(Ref0,Ref1)との間の時間的な距離を示す。(MVx0,MVy0)は、参照ピクチャRef0に対応する動きベクトルを示し、(MVx1、MVy1)は、参照ピクチャRef1に対応する動きベクトルを示す。
このとき速度ベクトル(vx,vy)の等速直線運動の仮定の下では、(MVx0,MVy0)及び(MVx1,MVy1)は、それぞれ、(vxτ0,vyτ0)及び(-vxτ1,-vyτ1)と表され、以下のオプティカルフロー等式(1)が成り立つ。
ここで、I(k)は、動き補償後の参照画像k(k=0,1)の輝度値を示す。このオプティカルフロー等式は、(i)輝度値の時間微分と、(ii)水平方向の速度及び参照画像の空間勾配の水平成分の積と、(iii)垂直方向の速度及び参照画像の空間勾配の垂直成分の積と、の和が、ゼロと等しいことを示す。このオプティカルフロー等式とエルミート補間(Hermite interpolation)との組み合わせに基づいて、マージリスト等から得られるブロック単位の動きベクトルが画素単位で補正される。
なお、等速直線運動を仮定したモデルに基づく動きベクトルの導出とは異なる方法で、復号装置側で動きベクトルが導出されてもよい。例えば、複数の隣接ブロックの動きベクトルに基づいてサブブロック単位で動きベクトルが導出されてもよい。
ここで、複数の隣接ブロックの動きベクトルに基づいてサブブロック単位で動きベクトルを導出するモードについて説明する。このモードは、アフィン動き補償予測(affine motion compensation prediction)モードと呼ばれることがある。
図9Aは、複数の隣接ブロックの動きベクトルに基づくサブブロック単位の動きベクトルの導出を説明するための図である。図9Aにおいて、カレントブロックは、16の4x4サブブロックを含む。ここでは、隣接ブロックの動きベクトルに基づいてカレントブロックの左上角制御ポイントの動きベクトルv0が導出され、隣接サブブロックの動きベクトルに基づいてカレントブロックの右上角制御ポイントの動きベクトルv1が導出される。そして、2つの動きベクトルv0及びv1を用いて、以下の式(2)により、カレントブロック内の各サブブロックの動きベクトル(vx,vy)が導出される。
ここで、x及びyは、それぞれ、サブブロックの水平位置及び垂直位置を示し、wは、予め定められた重み係数を示す。
このようなアフィン動き補償予測モードでは、左上及び右上角制御ポイントの動きベクトルの導出方法が異なるいくつかのモードを含んでもよい。このようなアフィン動き補償予測モードを示す情報(例えばアフィンフラグと呼ばれる)は、CUレベルで信号化される。なお、このアフィン動き補償予測モードを示す情報の信号化は、CUレベルに限定される必要はなく、他のレベル(例えば、シーケンスレベル、ピクチャレベル、スライスレベル、タイルレベル、CTUレベル又はサブブロックレベル)であってもよい。
[予測制御部]
予測制御部128は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として減算部104及び加算部116に出力する。
予測制御部128は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として減算部104及び加算部116に出力する。
ここで、マージモードにより符号化対象ピクチャの動きベクトルを導出する例を説明する。図9Bは、マージモードによる動きベクトル導出処理の概要を説明するための図である。
まず、予測MVの候補を登録した予測MVリストを生成する。予測MVの候補としては、符号化対象ブロックの空間的に周辺に位置する複数の符号化済みブロックが持つMVである空間隣接予測MV、符号化済み参照ピクチャにおける符号化対象ブロックの位置を投影した近辺のブロックが持つMVである時間隣接予測MV、空間隣接予測MVと時間隣接予測MVのMV値を組合わせて生成したMVである結合予測MV、および値がゼロのMVであるゼロ予測MV等がある。
次に、予測MVリストに登録されている複数の予測MVの中から1つの予測MVを選択することで、符号化対象ブロックのMVとして決定する。
さらに可変長符号化部では、どの予測MVを選択したかを示す信号であるmerge_idxをストリームに記述して符号化する。
なお、図9Bで説明した予測MVリストに登録する予測MVは一例であり、図中の個数とは異なる個数であったり、図中の予測MVの一部の種類を含まない構成であったり、図中の予測MVの種類以外の予測MVを追加した構成であったりしてもよい。
なお、マージモードにより導出した符号化対象ブロックのMVを用いて、後述するDMVR処理を行うことによって最終的なMVを決定してもよい。
ここで、DMVR処理を用いてMVを決定する例について説明する。
図9Cは、DMVR処理の概要を説明するための概念図である。
まず、処理対象ブロックに設定された最適MVPを候補MVとして、前記候補MVに従って、L0方向の処理済みピクチャである第1参照ピクチャ、およびL1方向の処理済みピクチャである第2参照ピクチャから参照画素をそれぞれ取得し、各参照画素の平均をとることでテンプレートを生成する。
次に、前記テンプレートを用いて、第1参照ピクチャおよび第2参照ピクチャの候補MVの周辺領域をそれぞれ探索し、最もコストが最小となるMVを最終的なMVとして決定する。なお、コスト値はテンプレートの各画素値と探索領域の各画素値との差分値およびMV値等を用いて算出する。
なお、符号化装置および復号化装置では、ここで説明した処理の概要は基本的に共通である。
なお、ここで説明した処理そのものでなくても、候補MVの周辺を探索して最終的なMVを導出することができる処理であれば、他の処理を用いてもよい。
ここで、LIC処理を用いて予測画像を生成するモードについて説明する。
図9Dは、LIC処理による輝度補正処理を用いた予測画像生成方法の概要を説明するための図である。
まず、符号化済みピクチャである参照ピクチャから符号化対象ブロックに対応する参照画像を取得するためのMVを導出する。
次に、符号化対象ブロックに対して、左隣接および上隣接の符号化済み周辺参照領域の輝度画素値と、MVで指定された参照ピクチャ内の同等位置における輝度画素値とを用いて、参照ピクチャと符号化対象ピクチャとで輝度値がどのように変化したかを示す情報を抽出して輝度補正パラメータを算出する。
MVで指定された参照ピクチャ内の参照画像に対して前記輝度補正パラメータを用いて輝度補正処理を行うことで、符号化対象ブロックに対する予測画像を生成する。
なお、図9Dにおける前記周辺参照領域の形状は一例であり、これ以外の形状を用いてもよい。
また、ここでは1枚の参照ピクチャから予測画像を生成する処理について説明したが、複数枚の参照ピクチャから予測画像を生成する場合も同様であり、各々の参照ピクチャから取得した参照画像に同様の方法で輝度補正処理を行ってから予測画像を生成する。
LIC処理を適用するかどうかの判定の方法として、例えば、LIC処理を適用するかどうかを示す信号であるlic_flagを用いる方法がある。具体的な一例としては、符号化装置において、符号化対象ブロックが輝度変化が発生している領域に属しているかどうかを判定し、輝度変化が発生している領域に属している場合はlic_flagとして値1を設定してLIC処理を適用して符号化を行い、輝度変化が発生している領域に属していない場合はlic_flagとして値0を設定してLIC処理を適用せずに符号化を行う。一方、復号化装置では、ストリームに記述されたlic_flagを復号化するとことで、その値に応じてLIC処理を適用するかどうかを切替えて復号化を行う。
LIC処理を適用するかどうかの判定の別の方法として、例えば、周辺ブロックでLIC処理を適用したかどうかに従って判定する方法もある。具体的な一例としては、符号化対象ブロックがマージモードであった場合、マージモード処理におけるMVの導出の際に選択した周辺の符号化済みブロックがLIC処理を適用して符号化したかどうかを判定し、その結果に応じてLIC処理を適用するかどうかを切替えて符号化を行う。なお、この例の場合、復号化における処理も全く同様となる。
[復号装置の概要]
次に、上記の符号化装置100から出力された符号化信号(符号化ビットストリーム)を復号可能な復号装置の概要について説明する。図10は、実施の形態1に係る復号装置200の機能構成を示すブロック図である。復号装置200は、動画像/画像をブロック単位で復号する動画像/画像復号装置である。
次に、上記の符号化装置100から出力された符号化信号(符号化ビットストリーム)を復号可能な復号装置の概要について説明する。図10は、実施の形態1に係る復号装置200の機能構成を示すブロック図である。復号装置200は、動画像/画像をブロック単位で復号する動画像/画像復号装置である。
図10に示すように、復号装置200は、エントロピー復号部202と、逆量子化部204と、逆変換部206と、加算部208と、ブロックメモリ210と、ループフィルタ部212と、フレームメモリ214と、イントラ予測部216と、インター予測部218と、予測制御部220と、を備える。
復号装置200は、例えば、汎用プロセッサ及びメモリにより実現される。この場合、メモリに格納されたソフトウェアプログラムがプロセッサにより実行されたときに、プロセッサは、エントロピー復号部202、逆量子化部204、逆変換部206、加算部208、ループフィルタ部212、イントラ予測部216、インター予測部218及び予測制御部220として機能する。また、復号装置200は、エントロピー復号部202、逆量子化部204、逆変換部206、加算部208、ループフィルタ部212、イントラ予測部216、インター予測部218及び予測制御部220に対応する専用の1以上の電子回路として実現されてもよい。
以下に、復号装置200に含まれる各構成要素について説明する。
[エントロピー復号部]
エントロピー復号部202は、符号化ビットストリームをエントロピー復号する。具体的には、エントロピー復号部202は、例えば、符号化ビットストリームから二値信号に算術復号する。そして、エントロピー復号部202は、二値信号を多値化(debinarize)する。これにより、エントロピー復号部202は、ブロック単位で量子化係数を逆量子化部204に出力する。
エントロピー復号部202は、符号化ビットストリームをエントロピー復号する。具体的には、エントロピー復号部202は、例えば、符号化ビットストリームから二値信号に算術復号する。そして、エントロピー復号部202は、二値信号を多値化(debinarize)する。これにより、エントロピー復号部202は、ブロック単位で量子化係数を逆量子化部204に出力する。
[逆量子化部]
逆量子化部204は、エントロピー復号部202からの入力である復号対象ブロック(以下、カレントブロックという)の量子化係数を逆量子化する。具体的には、逆量子化部204は、カレントブロックの量子化係数の各々について、当該量子化係数に対応する量子化パラメータに基づいて当該量子化係数を逆量子化する。そして、逆量子化部204は、カレントブロックの逆量子化された量子化係数(つまり変換係数)を逆変換部206に出力する。
逆量子化部204は、エントロピー復号部202からの入力である復号対象ブロック(以下、カレントブロックという)の量子化係数を逆量子化する。具体的には、逆量子化部204は、カレントブロックの量子化係数の各々について、当該量子化係数に対応する量子化パラメータに基づいて当該量子化係数を逆量子化する。そして、逆量子化部204は、カレントブロックの逆量子化された量子化係数(つまり変換係数)を逆変換部206に出力する。
[逆変換部]
逆変換部206は、逆量子化部204からの入力である変換係数を逆変換することにより予測誤差を復元する。
逆変換部206は、逆量子化部204からの入力である変換係数を逆変換することにより予測誤差を復元する。
例えば符号化ビットストリームから読み解かれた情報がEMT又はAMTを適用することを示す場合(例えばAMTフラグが真)、逆変換部206は、読み解かれた変換タイプを示す情報に基づいてカレントブロックの変換係数を逆変換する。
また例えば、符号化ビットストリームから読み解かれた情報がNSSTを適用することを示す場合、逆変換部206は、変換係数に逆再変換を適用する。
[加算部]
加算部208は、逆変換部206からの入力である予測誤差と予測制御部220からの入力である予測サンプルとを加算することによりカレントブロックを再構成する。そして、加算部208は、再構成されたブロックをブロックメモリ210及びループフィルタ部212に出力する。
加算部208は、逆変換部206からの入力である予測誤差と予測制御部220からの入力である予測サンプルとを加算することによりカレントブロックを再構成する。そして、加算部208は、再構成されたブロックをブロックメモリ210及びループフィルタ部212に出力する。
[ブロックメモリ]
ブロックメモリ210は、イントラ予測で参照されるブロックであって復号対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ210は、加算部208から出力された再構成ブロックを格納する。
ブロックメモリ210は、イントラ予測で参照されるブロックであって復号対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ210は、加算部208から出力された再構成ブロックを格納する。
[ループフィルタ部]
ループフィルタ部212は、加算部208によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ214及び表示装置等に出力する。
ループフィルタ部212は、加算部208によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ214及び表示装置等に出力する。
符号化ビットストリームから読み解かれたALFのオン/オフを示す情報がALFのオンを示す場合、局所的な勾配の方向及び活性度に基づいて複数のフィルタの中から1つのフィルタが選択され、選択されたフィルタが再構成ブロックに適用される。
[フレームメモリ]
フレームメモリ214は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ214は、ループフィルタ部212によってフィルタされた再構成ブロックを格納する。
フレームメモリ214は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ214は、ループフィルタ部212によってフィルタされた再構成ブロックを格納する。
[イントラ予測部]
イントラ予測部216は、符号化ビットストリームから読み解かれたイントラ予測モードに基づいて、ブロックメモリ210に格納されたカレントピクチャ内のブロックを参照してイントラ予測を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部216は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部220に出力する。
イントラ予測部216は、符号化ビットストリームから読み解かれたイントラ予測モードに基づいて、ブロックメモリ210に格納されたカレントピクチャ内のブロックを参照してイントラ予測を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部216は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部220に出力する。
なお、色差ブロックのイントラ予測において輝度ブロックを参照するイントラ予測モードが選択されている場合は、イントラ予測部216は、カレントブロックの輝度成分に基づいて、カレントブロックの色差成分を予測してもよい。
また、符号化ビットストリームから読み解かれた情報がPDPCの適用を示す場合、イントラ予測部216は、水平/垂直方向の参照画素の勾配に基づいてイントラ予測後の画素値を補正する。
[インター予測部]
インター予測部218は、フレームメモリ214に格納された参照ピクチャを参照して、カレントブロックを予測する。予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部218は、符号化ビットストリームから読み解かれた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成し、インター予測信号を予測制御部220に出力する。
インター予測部218は、フレームメモリ214に格納された参照ピクチャを参照して、カレントブロックを予測する。予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部218は、符号化ビットストリームから読み解かれた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成し、インター予測信号を予測制御部220に出力する。
なお、符号化ビットストリームから読み解かれた情報がOBMCモードを適用することを示す場合、インター予測部218は、動き探索により得られたカレントブロックの動き情報だけでなく、隣接ブロックの動き情報も用いて、インター予測信号を生成する。
また、符号化ビットストリームから読み解かれた情報がFRUCモードを適用することを示す場合、インター予測部218は、符号化ストリームから読み解かれたパターンマッチングの方法(バイラテラルマッチング又はテンプレートマッチング)に従って動き探索を行うことにより動き情報を導出する。そして、インター予測部218は、導出された動き情報を用いて動き補償を行う。
また、インター予測部218は、BIOモードが適用される場合に、等速直線運動を仮定したモデルに基づいて動きベクトルを導出する。また、符号化ビットストリームから読み解かれた情報がアフィン動き補償予測モードを適用することを示す場合には、インター予測部218は、複数の隣接ブロックの動きベクトルに基づいてサブブロック単位で動きベクトルを導出する。
[予測制御部]
予測制御部220は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として加算部208に出力する。
予測制御部220は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として加算部208に出力する。
(実施の形態2)
本実施の形態における符号化装置100は、実施の形態1と同様に、図1に示す構成を有する。また、本実施の形態における符号化装置100の分割部102は、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
本実施の形態における符号化装置100は、実施の形態1と同様に、図1に示す構成を有する。また、本実施の形態における符号化装置100の分割部102は、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
[符号化装置の分割部の処理フロー]
符号化ブロックでは、基準となるブロックサイズから順にそのブロックを分割することが可能である。分割部102では、RD(Rate-Distortion:レート歪み)などに基づいて設計した評価値が小さくなるような符号化ブロックの分割形状が選択される。
符号化ブロックでは、基準となるブロックサイズから順にそのブロックを分割することが可能である。分割部102では、RD(Rate-Distortion:レート歪み)などに基づいて設計した評価値が小さくなるような符号化ブロックの分割形状が選択される。
図11は、分割モードの一例を示す図である。分割部102は、図11の(a)に示すように親ブロック(基準ブロックともいう)を4つのブロックに分割、図11の(b)に示すように3つの矩形のブロックに分割、または、図11の(c)に示すように2つの矩形のブロックに分割する。なお、図11の(a)、(b)、および(c)に示す分割を、それぞれ4分割(QT)、3分割(TT)、および2分割(BT)という。3分割と2分割については、水平と垂直の2つの分割方法を選択できる。具体的には、3分割には、水平方向の3分割(HT)と、垂直方向の3分割(VT)とがあり、2分割には、水平方向の2分割(HB)と、垂直方向の2分割(VB)とがある。すなわち、図11では、合計5種類の分割形状の例を示す。言い換えれば、分割部102は、5種類の分割モードを有する。また、分割部102は、更なる分割を行うことを示すスプリット(S:Split)と呼ばれる分割モード、および、分割を行わないことを示す非スプリット(NS:Non Split)と呼ばれる分割モードを備えていてもよい。例えば、分割部102は、CTU(Coding Tree Unit)などのブロックを起点として、これらの分割モードから何れかのモードを選択しながら、所定の条件が満たされるまでブロックの分割を繰り返す。この所定の条件は、上述のRDなどに基づく評価値が所定の閾値に達する、あるいは、分割の階層数が所定の最大値に達する、あるいは、分割後のブロックサイズが所定の最小サイズに達する、などの条件である。このような条件を満たすと、ブロックの最終的な分割サイズと形状が決定される。
分割部102は、最終的な分割サイズと形状を表現するための分割モードを示す分割情報を、ツリー構造で表現されるシンタックスに従って生成する。つまり、分割部102は、複数の分割モードから、符号化対象ブロックの分割モードを選択する。そして、分割部102は、その符号化対象ブロックに対して選択された分割モードを示す分割情報を、複数の分割モードを複数のノードとして含むツリー構造に基づくシンタックスにしたがって生成する。エントロピー符号化部110は、その分割情報を可変長符号化する。
図12は、実施の形態2における符号化装置100の分割部102によるブロック分割情報のシンタックス決定処理の一例を示すフローチャートである。
分割部102は、ブロック分割情報のシンタックス決定処理として、分割情報ツリーを生成する。この分割情報ツリーは、それぞれ分割モードを示す複数のノードを含む、分割情報のツリー構造である。
まず、分割部102は、現ノードが分岐判定の直後にあるか否かを判定する(ステップS101)。ここで、分割部102は、分岐判定の直後であると判定すると(ステップS101のYes)、条件(1)および(2)の何れか一方を満たすように、現ノードによって示される分割モードを選択する(ステップS102)。
条件(1)は、一方の分岐A内の任意の子ノードの分割粒度が、他方の分岐B内の任意の子ノードの分割粒度と等しい、あるいは、その分割粒度よりも大きいという条件である。条件(2)は、一方の分岐A内の任意の子ノードの分割粒度が、他方の分岐B内の任意の子ノードの分割粒度と等しい、あるいは、その分割粒度よりも小さいという条件である。
ここで、分割モードの総称を分割情報と呼ぶとすると、分割情報のツリー構造の分岐部では、分割部102は、一方の分岐A内の任意の子ノードの分割粒度が、他方の分岐B内の任意の子ノードの分割粒度以上または以下となるように、分岐A側に属する現ノードの分割モードを選択する。なお、上述の分岐Aは、例えば、現ノードをルートノードとして含む部分木であって、分岐Bは、現ノードの兄弟ノードをルートノードとして含む部分木である。
また、分割粒度とは、分割の個数に相当するもので、例えば、ブロックが複数の子ブロックに分割される場合におけるその子ブロックの数である。具体的には、4分割(QT)、3分割(TT)、2分割(BT)、および非スプリット(S)の分割粒度は、それぞれ、4、3、2、および1と表現される。
[ツリー構造の例1]
図13と図14は、本実施の形態における分割情報のツリー構造の一例を示す図である。図13に示すツリー構造では、図13の(a)に示すように、分割モードがQTであるかどうかの条件分岐(すなわち分岐判定)から各分岐が開始される。図14に示すツリー構造では、分割モードがSであるかどうかの条件分岐から各分岐が開始される。
図13と図14は、本実施の形態における分割情報のツリー構造の一例を示す図である。図13に示すツリー構造では、図13の(a)に示すように、分割モードがQTであるかどうかの条件分岐(すなわち分岐判定)から各分岐が開始される。図14に示すツリー構造では、分割モードがSであるかどうかの条件分岐から各分岐が開始される。
ここで、図13のツリー構造における最初の分岐後には、図13の(b)に示すように2つのノードがあり、左側のノードはQTで、右側のノードはSである。QTの分割粒度は4であり、S以下の分岐内の各ノードの分割粒度の最大値は3であるため、左側の分岐内の全てのノードの分割粒度は、右側の分岐内の全てのノードの分割粒度よりも大きい。つまり、QTのノードを含む部分木内の全てのノードの分割粒度は、Sのノードをルートノードとして含む部分木内の全てのノードの分割粒度よりも大きい。
また、図13の(c)に示すように、S直下、つまりSの分岐後にも2つのノードがあり、左側のノードはNSで、右側のノードはTTである。さらに、NSの分割粒度は1であり、TT以下の分岐内の各ノードの分割粒度の最小値は2である。したがって、左側の分岐内の全てのノードの分割粒度は、右側の分岐内の全てのノードの分割粒度よりも小さい。つまり、NSのノードを含む部分木内の全てのノードの分割粒度は、TTのノードをルートノードとして含む部分木内の全てのノードの分割粒度よりも小さい。
なお、本開示において、所定のノード(分割モードを示すノード)以下の分岐とは、その所定のノードをルートノートとして含む部分木である。
図14に示すツリー構造においても、各分岐後にある、左側の分岐内の分割粒度と、右側の分岐内の分割粒度とに大小関係が存在する。ここで、図13および図14におけるVer(Vertical)とHor(Horizontal)は、それぞれ、水平方向と垂直方向の分割を示す。また、分割粒度が4より大きい分割モードが存在する際にも、図12に示すフローチャートにしたがって、図13または図14に示す例のように、ツリー構造を生成することができる。
図13のツリー構造の詳細について説明する。このツリー構造では、BTに加えてTTも含まれる。したがって、2階層目の分岐、つまり、分割モードがSであるかどうかを判定する分岐より下のノードとして、分割無しと、2分割と、3分割とが含まれる。ここで、分岐の左右両側に属するノードの分け方としては、(1)[分割粒度1]と[分割粒度2と分割粒度3]、(2)[分割粒度2]と[分割粒度1と分割粒度3]、および(3)[分割粒度3]と[分割粒度1と分割粒度2]の3通り存在する。(2)の場合には、分割粒度2よりも大きい(分割粒度3)ノードと小さい(分割粒度1)ノードとが一方の分岐内に混在するため、選択可能な候補としては(1)又は(3)があげられる。図13に示すツリー構造の生成では、(1)が選択されている。なお、上述の2階層目の分岐またはノードは、図13において最も上にある分岐またはノード(ルートノード)が1階層目に属する場合に、その1階層目の次に下にある階層に属する分岐またはノードである。また、N階層目(Nは1以上の整数)の分岐またはノードは、その1階層目から下にN番目にある階層に属する分岐またはノードである。N階層目の分岐またはノードは、図13以外の他の図においても、同様の意味で用いられる。
図14では、2階層目の分岐、つまり、分割モードがQTであるかどうかを判定する分岐より下のノードとして、分割粒度が2、3または4である3種類のノードが含まれる。従って、図13と同様に、3通りの分け方のうち、2通りのみが有効である。
[ツリー構造の例2]
図15と図16は、実施の形態2における分割情報のツリー構造の別の例を示す図である。図15および図16のそれぞれのツリー構造において、各分岐の左側と右側のそれぞれの分岐(すなわち部分木)内の分割粒度に、大小関係が存在することは、図13と図14のそれぞれのツリー構造と同様である。図15および図16のそれぞれのツリー構造は、図13および図14のそれぞれのツリー構造から、TTとVerとが入れ替えられた構造である。分割粒度よりも、分割方向(水平方向および垂直方向)の相関が高い場合に、図15および図16に示す構造が有効となる可能性がある。図15および図16に示す構造では、Verの分岐後にある左右のノードはともにTTであり、左右のそれぞれのノード以下の分岐内に含まれるノードの分割粒度の最大値あるいは最小値は、等しい。
図15と図16は、実施の形態2における分割情報のツリー構造の別の例を示す図である。図15および図16のそれぞれのツリー構造において、各分岐の左側と右側のそれぞれの分岐(すなわち部分木)内の分割粒度に、大小関係が存在することは、図13と図14のそれぞれのツリー構造と同様である。図15および図16のそれぞれのツリー構造は、図13および図14のそれぞれのツリー構造から、TTとVerとが入れ替えられた構造である。分割粒度よりも、分割方向(水平方向および垂直方向)の相関が高い場合に、図15および図16に示す構造が有効となる可能性がある。図15および図16に示す構造では、Verの分岐後にある左右のノードはともにTTであり、左右のそれぞれのノード以下の分岐内に含まれるノードの分割粒度の最大値あるいは最小値は、等しい。
[ツリーの末端ノードにおいて選択可能な要素]
QT、BT、およびTTなどの分割モードの出現順序が制約されている場合には、分割情報ツリーの末端ノードに達した後に、選択可能な要素(すなわち分割モード)も制約される。例えば、各分割モードの出現順が、QT、BT、TTの順に制約されると、BTまたはTTの後には、QTによる分割は行えない。
QT、BT、およびTTなどの分割モードの出現順序が制約されている場合には、分割情報ツリーの末端ノードに達した後に、選択可能な要素(すなわち分割モード)も制約される。例えば、各分割モードの出現順が、QT、BT、TTの順に制約されると、BTまたはTTの後には、QTによる分割は行えない。
図17は、分割モードの出現順序が制約されているツリー構造の一例を示す図である。
分割部102は、図17のツリー構造における、HB、VB、HT、およびVTの4つの末端ノードにおいては、ブロックを更に分割する際にはQTを選択できないように、その分割されるブロックの分割モードを決めてもよい。一方、分割部103は、QTの末端ノードでは、ブロックの更なる分割において、そのブロックの分割モードとしてQT、BTまたはTTを選択することができる。
なお、図17のツリー構造では、例えば、HB、VB、HT、VT、QT、およびNSの分割モードを示す分割情報は、図17のツリー構造に基づくシンタックスにしたがって、それぞれ「1000」、「1001」、「1010」、「1011」、「11」、および「0」として生成される。また、このような分割情報をシンタックスと称してもよい。
[実施の形態2の効果]
実施の形態2によれば、各分岐部において、2つの分岐内に含まれる分割モードの分割粒度の間に大小関係が発生する。例えば、細かい絵柄では分割粒度が高まるなど、分割粒度が大きいケースと分割粒度が小さいケースとでは発生確率に偏りが生じ易いため、結果として、分割情報の可変長符号化による符号量を低減できる可能性がある。
実施の形態2によれば、各分岐部において、2つの分岐内に含まれる分割モードの分割粒度の間に大小関係が発生する。例えば、細かい絵柄では分割粒度が高まるなど、分割粒度が大きいケースと分割粒度が小さいケースとでは発生確率に偏りが生じ易いため、結果として、分割情報の可変長符号化による符号量を低減できる可能性がある。
[他の態様との組合せ]
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
(実施の形態3)
本実施の形態における符号化装置100は、実施の形態1と同様に、図1に示す構成を有する。また、本実施の形態における符号化装置100の分割部102は、実施の形態2と同様、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
本実施の形態における符号化装置100は、実施の形態1と同様に、図1に示す構成を有する。また、本実施の形態における符号化装置100の分割部102は、実施の形態2と同様、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
[符号化装置の分割部の処理フロー]
図18は、実施の形態3における符号化装置100の分割部102によるブロック分割情報のシンタックス決定処理の一例を示すフローチャートである。
図18は、実施の形態3における符号化装置100の分割部102によるブロック分割情報のシンタックス決定処理の一例を示すフローチャートである。
分割部102は、図18のフローチャートに示すように、実施の形態2のシンタックス決定処理において、更に、ツリー構造の深度方向に対して、ノードの分割粒度が昇順、あるいは、降順に並ぶように、分割モードを選択する。
具体的には、分割部102は、まず、現ノードが分岐判定の直後にあるか否かを判定する(ステップS101)。ここで、分割部102は、分岐判定の直後であると判定すると(ステップS101のYes)、条件(1)および(2)の何れか一方を満たすように、現ノードによって示される分割モードの少なくとも1つの候補を選択する(ステップS102a)。条件(1)および(2)のそれぞれは、図12のフローチャートに示す条件(1)および(2)と同一である。
次に、分割部102は、ツリー構造において、現ノードよりも上位の階層にある各ノードによって示される分割モードの分割粒度のうち、最小の分割粒度をN1として特定する。そして、分割部102は、ステップS102aにおいて選択された少なくとも1つの分割モードの候補の中から、N1以下の最大の分割粒度を有する分割モードを選択する(ステップS103)。
[ツリー構造の例]
図19と図20は、本実施の形態における分割情報のツリー構造の一例を示す図である。図19に示すツリー構造では、図19の(a)に示すように、分割粒度が降順となるように、各ノードの分割モードが配置される。また、図20に示すツリー構造では、分割粒度が昇順となるように、各ノードの分割モードが配置される。図19の(b)および(c)に示すように、各分岐部において、一方の分岐内の全てノードの分割粒度が、他方の分岐内の全てのノードの分割粒度よりも(1)大きい又は等しい、あるいは、(2)小さい又は等しい、のいずれかとなる性質は、実施の形態2のツリー構造と同様である。
図19と図20は、本実施の形態における分割情報のツリー構造の一例を示す図である。図19に示すツリー構造では、図19の(a)に示すように、分割粒度が降順となるように、各ノードの分割モードが配置される。また、図20に示すツリー構造では、分割粒度が昇順となるように、各ノードの分割モードが配置される。図19の(b)および(c)に示すように、各分岐部において、一方の分岐内の全てノードの分割粒度が、他方の分岐内の全てのノードの分割粒度よりも(1)大きい又は等しい、あるいは、(2)小さい又は等しい、のいずれかとなる性質は、実施の形態2のツリー構造と同様である。
すなわち、本実施の形態のツリー構造は、以下の点において実施の形態2のツリー構造と異なる。その点は、図19に示すツリー構造のように、各分岐部の分岐判定によって決定した子ノードの分割粒度が、上位の階層から下位の階層に従って順に小さくなる点、または、図20に示すツリー構造のように、各分岐部の分岐判定によって決定した子ノードの分割粒度が、上位の階層から下位の階層に従って順に大きくなる点である。
ここで、本実施の形態のツリー構造では、全ての子ノードの分割粒度が上位の階層から下位の階層に従って順に小さくなる(または大きくなる)必要は無く、一部の子ノードの分割粒度のみが上位の階層から下位の階層に従って順に小さく(または大きく)なってもよい。
言い換えれば、本実施の形態のツリー構造では、図19の例に示すように、任意の分岐部での分岐判定に係る分割モードとして、Verではなく分割数を示す分割モードが選択される場合、上位の階層の分割モードの分割粒度よりも1だけ小さい分割粒度の分割モード(例えばQT、TT、BT、またはNSなど)が選択される。つまり、その任意の分岐部の一つ上位の階層の分岐部での分岐判定に係る分割モードの分割粒度(例えばQTなら4、TTなら3、BTなら2、NSなら1)よりも1小さい分割粒度である分割モードが、その任意の分岐部の分岐判定のノードとして用いられる。図20の例では、一つ上位の階層の分岐部での分岐判定に係る分割粒度よりも1大きい分割粒度である分割モードが、その任意の分岐部の分岐判定のノードとして用いられる。
あるいは、さらに言い換えれば、本実施の形態のツリー構造では、図19の例に示すように、任意の分岐部での分岐判定により分割数が決定される子ノードの分割粒度が、上位の階層から下位の階層に従って順に小さくなるように、その任意の分岐部における分割モードが選択される。図20の例では、その子ノードの分割粒度が、上位の階層から下位の階層に従って順に大きくなるように、その任意の分岐部における分割モードが選択される。
[実施の形態3の効果]
実施の形態3によれば、ツリー構造の深度方向において分割粒度が連続的に変化するため、親ノードと自ノード(すなわち子ノード)の分割モードの発生確率の相関が高まり、分割情報の可変長符号化の効率が向上する可能性がある。
実施の形態3によれば、ツリー構造の深度方向において分割粒度が連続的に変化するため、親ノードと自ノード(すなわち子ノード)の分割モードの発生確率の相関が高まり、分割情報の可変長符号化の効率が向上する可能性がある。
[他の態様との組合せ]
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
(実施の形態4)
本実施の形態における符号化装置100は、実施の形態1と同様に、図1に示す構成を有する。また、本実施の形態における符号化装置100の分割部102は、実施の形態2または3と同様、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
本実施の形態における符号化装置100は、実施の形態1と同様に、図1に示す構成を有する。また、本実施の形態における符号化装置100の分割部102は、実施の形態2または3と同様、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
[符号化装置の分割部の処理フロー]
図21は、実施の形態4における符号化装置100の分割部102によるブロック分割情報のシンタックス決定処理の一例を示すフローチャートである。
図21は、実施の形態4における符号化装置100の分割部102によるブロック分割情報のシンタックス決定処理の一例を示すフローチャートである。
本実施の形態におけるシンタックス決定処理では、図21のフローチャートに示すように、所定の符号化パラメータに基づいて、分割情報ツリーの属性が変更可能である点が、実施の形態2および3のシンタックス決定処理と異なる。
具体的には、分割部102は、まず、所定の符号化パラメータに基づいて、分割情報ツリーの属性を選択する(ステップS100)。そして、分割部102は、現ノードが分岐判定の直後にあるか否かを判定する(ステップS101)。ここで、分割部102は、分岐判定の直後であると判定すると(ステップS101のYes)、ステップS100で選択された分割情報ツリーの属性に基づいて、条件(1)および(2)のうちの何れか一方を選択する。そして、分割部102は、その選択された条件を満たすように、現ノードによって示される分割モードを選択する(ステップS102b)。なお、条件(1)および(2)のそれぞれは、図12のフローチャートに示す条件(1)および(2)と同一である。
ここで、上述の所定の符号化パラメータとしては、ピクチャタイプおよびQP(量子化パラメータ)などがある。例えば、イントラ符号化のスライスあるいはピクチャでは、基準ブロックがサイズの小さいブロックに分割される傾向がある。したがって、分割部102は、ステップS100では、イントラ符号化のスライスあるいはピクチャに対しては、図13に示す属性の分割情報ツリー、すなわち、分割粒度の大きいQTから分岐判定が開始する属性の分割情報ツリーを選択する。一方、インター符号化のスライスあるいはピクチャでは、イントラ符号化に比べて分割数が少ない傾向がある。したがって、分割部102は、ステップS100では、インター符号化のスライスあるいはピクチャに対しては、図14に示す属性の分割情報ツリー、すなわち、分割粒度の小さいSから分岐判定が開始する属性の分割情報ツリーを選択する。これにより、分割情報ツリーの属性、すなわち分割情報ツリーが切り替えられる。
分割情報ツリーの属性の切り替えは、シーケンス、スライス、ピクチャ、あるいは、スライスを分割した単位(CTUなど)などで実施可能である。符号化装置100は、有効な分割情報ツリーの属性を示す情報を、スライスまたはピクチャなどのヘッダ情報として符号化してもよいし、あるいは、ピクチャタイプなどと関連付けておくことで、その情報を符号化しなくてもよい。
なお、分割部102は、分割情報ツリーの属性を、所定の符号化パラメータだけでなく、他のパラメータにも基づいて選択してもよく、あるいは、所定の符号化パラメータの代わりに、他のパラメータのみに基づいて選択してもよい。他のパラメータは、例えば分割モードの発生確率であってもよい。この場合、他のパラメータは、具体的には、符号化済みのピクチャにおける分割モードの発生確率P1、あるいは、2パスで符号化を実施する際に、1パス目に取得した分割モードの発生確率P2などである。ここで、他のパラメータが発生確率P1である場合、復号装置200は、復号済みのピクチャにおける分割モードの発生確率を取得して、分割情報ツリーの属性を決定することができる。また、符号化装置100は、分割情報ツリーを決定するための情報をヘッダ情報として符号化してもよい。
[実施の形態4の効果]
実施の形態4によれば、分割粒度の大小の傾向に応じた分割情報ツリーの切り替えにより、分割情報の発生確率に適したツリーを選択することで、分割情報の可変長符号化の効率が向上する可能性がある。
実施の形態4によれば、分割粒度の大小の傾向に応じた分割情報ツリーの切り替えにより、分割情報の発生確率に適したツリーを選択することで、分割情報の可変長符号化の効率が向上する可能性がある。
[他の態様との組合せ]
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
(実施の形態5)
本実施の形態における符号化装置100は、実施の形態1と同様に、図1に示す構成を有する。また、本実施の形態における符号化装置100の分割部102は、実施の形態2~4と同様、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
本実施の形態における符号化装置100は、実施の形態1と同様に、図1に示す構成を有する。また、本実施の形態における符号化装置100の分割部102は、実施の形態2~4と同様、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
[符号化装置の分割部の処理フロー]
図22は、実施の形態5における符号化装置100の分割部102によるブロック分割情報のシンタックス決定処理の一例を示すフローチャートである。
図22は、実施の形態5における符号化装置100の分割部102によるブロック分割情報のシンタックス決定処理の一例を示すフローチャートである。
本実施の形態におけるシンタックス決定処理では、図22のフローチャートに示すように、選択可能な属性の分割情報ツリーに出現する全ての要素に対して、発生確率の初期値を設定する点が、実施の形態4と異なる。なお、上述の要素、すなわち分割情報の要素は、例えば分割モードである。
具体的には、分割部102は、まず、選択可能な属性の分割情報ツリーで使用される分割情報の全ての要素に対して、発生確率の初期値を設定する(ステップS99)。例えば、分割情報ツリーによって使用される分割情報の要素が異なる場合には、特定の分割情報ツリーでは使用されない分割情報の要素が存在する。しかし、分割部102は、そのような分割情報の要素に対しても初期値を設定する。
そして、分割部102は、実施の形態4と同様、ステップS100、S101およびS102bの処理を実行する。
[実施の形態5の効果]
実施の形態5によれば、出現し得る全ての分割情報の要素に対して発生確率の初期値が設定されるため、算術符号化および算術復号時に初期値が不定となり誤動作し得る問題を解決することができる。
実施の形態5によれば、出現し得る全ての分割情報の要素に対して発生確率の初期値が設定されるため、算術符号化および算術復号時に初期値が不定となり誤動作し得る問題を解決することができる。
[他の態様との組合せ]
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
(実施の形態6)
本実施の形態における復号装置200は、実施の形態1と同様に、図10に示す構成を有する。また、本実施の形態における復号装置200のエントロピー復号部202は、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
本実施の形態における復号装置200は、実施の形態1と同様に、図10に示す構成を有する。また、本実施の形態における復号装置200のエントロピー復号部202は、実施の形態1に対して付加的な機能、または代替え的な機能を有する。
[復号装置のエントロピー復号部の処理フロー]
図23は、実施の形態6における復号装置200のエントロピー復号部202によるブロック分割情報のシンタックス復号処理の一例を示すフローチャートである。
図23は、実施の形態6における復号装置200のエントロピー復号部202によるブロック分割情報のシンタックス復号処理の一例を示すフローチャートである。
エントロピー復号部202は、シンタックス復号処理では、まず、復号対象となる基準ブロック(例えばCTUなど)において有効となる分割情報ツリーの属性を特定する(ステップS201)。次に、エントロピー復号部202は、特定した属性の分割情報ツリーに基づいて基準ブロックの分割情報を復号する(ステップS202)。つまり、エントロピー復号部202は、基準ブロックである復号対象ブロックに対して生成されて可変長符号化された分割情報を可変長復号する。そして、エントロピー復号部202は、その可変長復号された分割情報によって示される分割モードを、ステップS201で特定された属性の分割情報ツリーに基づくシンタックスにしたがって特定する。
分割情報ツリーは、例えば、実施の形態2から実施の形態5までの各形態により生成されたツリーのうちのいずれかである。また、分割情報ツリーの属性が固定されている場合には、エントロピー復号部202は、常にデフォルトの分割情報ツリーを用いてもよい。また、分割情報の要素に対する発生確率の初期値は、符号化時と同様の方法で設定される。
また、分割情報ツリーを決定するための情報が符号化されている場合は、エントロピー復号部202は、当該情報を復号して、復号されたその情報にしたがって分割情報ツリーを選択あるいは生成する。そして、エントロピー復号部202は、その選択あるいは生成された分割情報ツリーに従って分割情報を復号してもよい。
なお、分割情報ツリーに含まれる分割情報のそれぞれの要素は、算術符号化などによって可変長符号化されていてもよい。この場合、エントロピー復号部202は、分割情報の要素毎に、所定の可変長符号化方法に基づいて可変長符号化されたその要素を、その所定の可変長符号化方法に対応する可変長復号方法に基づいて可変長復号する。
[実施の形態6の効果]
実施の形態6によれば、実施の形態2から実施の形態5での符号化方法により符号化された分割情報を適切に復号することができる。
実施の形態6によれば、実施の形態2から実施の形態5での符号化方法により符号化された分割情報を適切に復号することができる。
[他の態様との組合せ]
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
本実施の形態を本開示における他の態様の少なくとも一部と組み合わせて実施してもよい。また、本実施の形態のフローチャートに記載の一部の処理、装置の一部の構成、シンタックスの一部などを他の態様と組み合わせて実施してもよい。
[実施の形態2~6に係る補足説明]
符号化対象ブロックの分割情報は、例えば、複数の分割モードによって表現されるツリー構造の属性を示す情報と、当該ツリー構造に従って生成されたシンタックスとを含んでいてもよい。ここで、ツリー構造の属性を示す情報とは、一例として、ツリー構造を構成する分割モードの配置または順番などを指定する情報であってもよいし、所定の複数のツリー構造のうちどのツリー構造を用いるかを示す情報であってもよい。
符号化対象ブロックの分割情報は、例えば、複数の分割モードによって表現されるツリー構造の属性を示す情報と、当該ツリー構造に従って生成されたシンタックスとを含んでいてもよい。ここで、ツリー構造の属性を示す情報とは、一例として、ツリー構造を構成する分割モードの配置または順番などを指定する情報であってもよいし、所定の複数のツリー構造のうちどのツリー構造を用いるかを示す情報であってもよい。
ツリー構造にある複数の分割モードは、例えば、「2分割(BT)、3分割(TT)、4分割(QT)、更なる分割を行うことを示すスプリット(S)、更なる分割を行わないことを示す非スプリット(NS)、垂直方向への分割(Ver)、および、水平方向への分割(Hor)」を含んでいてもよい。この場合、全ての分割モードを用いたツリー構造のシンタックスで表現しうるブロック分割形状(分割なしを含める)の種類は、一例として、「4分割、垂直3分割、水平3分割、垂直2分割、水平2分割、および、分割なし」の少なくとも6種類となる。実施の形態2~実施の形態6では、これらのブロック分割形状のそれぞれで、そのブロック形状の分割モードを、1度または2度のみ用いて表現したツリー構造を開示したが、これらの例に限られない。例えば、複数の分割モードのそれぞれを複数回ずつ用いてツリー構造を構成することにより、6種類以上のブロック分割形状を表現することが可能となる。その場合、実施の形態2のように、特定の分割モードからさらに分割を行う場合に選択可能な分割モードをあらかじめ決定しておいてもよい。
なお、本開示において「分岐A内の子ノード」は、例えば、「分岐Aに直接的に属する子ノードだけでなく、当該子ノードの階層よりも下の階層に位置し、分岐Aの延長上に属しているノード」を含んでいる。
また、実施の形態2~実施の形態6におけるツリー構造の条件を満たすために、最上位の階層での分岐判定によって分割数が決定される子ノードの分割モードは、最大または最小の分割粒度の分割モードであってもよい。つまり、分割部102およびエントロピー復号部202は、例えば、選択しうる分割モードの中で最大の分割粒度である分割モード(一例としてQT)または最小の分割粒度である分割モード(一例としてNS)のいずれかを、最上位の階層での分岐判定に用いる分割モードに選択してもよい。
ここで、分割なしを含めて4種類以下の分割モードのみを用いる場合、例えば「4分割、垂直2分割、水平2分割、分割なし」の分割モードを用いて符号化対象ブロックの分割情報を生成する場合は、分割モードによって表現し得るツリー構造のパターンが少ない。一方、実施の形態2~6のように、例えば、分割なしを含めて6種類以上の分割モードを用いる場合、一例として「4分割、垂直3分割、水平3分割、垂直2分割、水平2分割、および、分割なし」の分割モードを用いる場合は、ツリー構造を表現するために選択しうる分割モードの数が多く、表現できるツリー構造のパターンも多い。ここで、本発明者らは、幾つかのツリー構造の中には、符号化対象ブロック等の性質によっては可変長符号化における符号量の増加につながるものがあるという課題があり、当該課題はツリー構造の表現パターンが増加するにつれて顕著になることを見出した。すなわち、4種類以下の分割モードのみを用いる場合では、ある程度ツリー構造を必然的に選択し得る。これに対して、実施の形態2~6のように例えば6種類以上の分割モードを用いる場合においては、多数のパターンの中から、ツリー構造および分割モードを選択する自由度が高い。したがって、符号量の増加を促進する可能性のある分割モードを選択してツリー構造を表現してしまうことによって、最終的な符号化効率を低下させる蓋然性が高くなる。そこで、実施の形態2~5のそれぞれに係るブロック分割情報のシンタックス生成処理は、可変長符号化における符号量の増加を抑制し得るという、従来には認識されていなかった課題を顕著に改善し得る、新たな技術的意義を有するものである。
[実施の形態2~6の実装例]
図24Aは、実施の形態2~5における符号化装置の実装例を示すブロック図である。符号化装置1aは、回路2aおよびメモリ3aを備える。例えば、図1に示された符号化装置100の複数の構成要素は、図24Aに示された回路2aおよびメモリ3aによって実装される。
図24Aは、実施の形態2~5における符号化装置の実装例を示すブロック図である。符号化装置1aは、回路2aおよびメモリ3aを備える。例えば、図1に示された符号化装置100の複数の構成要素は、図24Aに示された回路2aおよびメモリ3aによって実装される。
回路2aは、情報処理を行う回路であり、メモリ3aにアクセス可能な回路である。例えば、回路2aは、動画像を符号化する専用又は汎用の電子回路である。回路2aは、CPUのようなプロセッサであってもよい。また、回路2aは、複数の電子回路の集合体であってもよい。また、例えば、回路2aは、図1に示された符号化装置100の複数の構成要素のうち、情報を記憶するための構成要素を除く、複数の構成要素の役割を果たしてもよい。
メモリ3aは、回路2aが動画像を符号化するための情報が記憶される汎用又は専用のメモリである。メモリ3aは、電子回路であってもよく、回路2aに接続されていてもよい。また、メモリ3aは、回路2aに含まれていてもよい。また、メモリ3aは、複数の電子回路の集合体であってもよい。また、メモリ3aは、磁気ディスク又は光ディスク等であってもよいし、ストレージ又は記録媒体等と表現されてもよい。また、メモリ3aは、不揮発性メモリでもよいし、揮発性メモリでもよい。
例えば、メモリ3aには、符号化される動画像が記憶されてもよいし、符号化された動画像に対応するビット列が記憶されてもよい。また、メモリ3aには、回路2aが動画像を符号化するためのプログラムが記憶されていてもよい。
また、例えば、メモリ3aは、図1に示された符号化装置100の複数の構成要素のうち、情報を記憶するための構成要素の役割を果たしてもよい。具体的には、メモリ3aは、図1に示されたブロックメモリ118及びフレームメモリ122の役割を果たしてもよい。より具体的には、メモリ3aには、処理済みサブブロック、処理済みブロック及び処理済みピクチャ等が記憶されてもよい。
なお、符号化装置100において、図1に示された複数の構成要素の全てが実装されなくてもよいし、上述された複数の処理の全てが行われなくてもよい。図1に示された複数の構成要素の一部は、他の装置に含まれていてもよいし、上述された複数の処理の一部は、他の装置によって実行されてもよい。
図24Bは、回路2aおよびメモリ3aを備えた符号化装置1aの処理動作を示すフローチャートである。
回路2aは、メモリ3aを用いて、まず、複数の分割モードから、符号化対象ブロックの分割モードを選択する(ステップS11a)。次に、回路2aは、符号化対象ブロックに対して選択された分割モードを示す分割情報を、複数の分割モードを複数のノードとして含むツリー構造に基づくシンタックスにしたがって生成する(ステップS12a)。ここで、そのツリー構造では、各親ノードに対して第1の子ノードと第2の子ノードがある場合、第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、(i)第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または(ii)第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである。
例えば、回路2aは、ツリー構造の各ノードに対して分割モードを選択することによって、符号化対象ブロックの分割情報の生成に用いられる上述のツリー構造を生成する。そして、そのツリー構造の生成では、回路2aは、選択対象のノードをルートノードとして含む第1の部分木内の任意のノードの分割粒度が、第2の部分木内の任意のノードの分割粒度よりも大きくなるように、選択対象のノードに対して分割モードを選択する。また、その複数の分割モードは、ブロックを3分割する分割モードを含んでいてもよい。具体的には、回路2aは、実施の形態2のように、図13~図17に示すツリー構造を生成し、符号化対象ブロックに対して選択された分割モードを示す分割情報を、そのツリー構造に基づくシンタックスにしたがって生成する。
これにより、ツリー構造の各親ノードは、分割粒度の大きい部分木と、分割粒度の小さい部分木とに分岐されて、大きい分割粒度と小さい分割粒度とが部分木内において混在することが抑えられている。したがって、そのツリー構造によって表現される、各ブロックの分割情報の発生確率に偏りを持たせることができる。その結果、分割情報の可変長符号化による符号量を低減することができる可能性がある。
また、回路2aは、ツリー構造の生成では、ツリー構造の階層が増加するごとに、分割粒度が単調に増加、あるいは、単調に減少するように、各ノードに対して分割モードを選択してもよい。具体的には、回路2aは、実施の形態3のように、図19または図20に示すツリー構造を生成する。
これにより、ツリー構造の深度方向において分割粒度が連続的に変化する。したがって、親ノードと子ノードとにおける分割情報の発生確率の相関が高まり、分割情報の可変長符号化の効率が向上する可能性がある。
また、回路2aは、さらに、複数のツリー構造から何れか1つのツリー構造を、所定の符号化パラメータに基づいて選択することによって、符号化対象ブロックの分割情報の生成に用いられるツリー構造を切り替えてもよい。具体的には、回路2aは、実施の形態4のように、ピクチャタイプまたはQPなどの符号化パラメータに基づいて、ツリー構造を切り替える。
これにより、分割情報の発生確率に適したツリー構造を用いることができ、その結果、分割情報の可変長符号化の効率が向上する可能性がある。
また、回路2aは、さらに、複数のツリー構造に含まれる全ての分割モードのそれぞれに対して、当該分割モードの発生確率の初期値を設定してもよい。具体的には、回路2aは、実施の形態5のように、分割情報の全ての要素に対して、発生確率の初期値を設定する。
これにより、分割情報の可変長符号化(具体的には、算術符号化)において、初期値が不定となり誤動作してしまうことを抑えることができる。
図24Cは、実施の形態6における復号装置の実装例を示すブロック図である。復号装置1bは、回路2bおよびメモリ3bを備える。例えば、図10に示された復号装置200の複数の構成要素は、図24Cに示された回路2bおよびメモリ3bによって実装される。
回路2bは、情報処理を行う回路であり、メモリ3bにアクセス可能な回路である。例えば、回路2bは、動画像を復号する汎用又は専用の電子回路である。回路2bは、CPUのようなプロセッサであってもよい。また、回路2bは、複数の電子回路の集合体であってもよい。また、例えば、回路2bは、図10に示された復号装置200の複数の構成要素のうち、情報を記憶するための構成要素を除く、複数の構成要素の役割を果たしてもよい。
メモリ3bは、回路2bが動画像を復号するための情報が記憶される汎用又は専用のメモリである。メモリ3bは、電子回路であってもよく、回路2bに接続されていてもよい。また、メモリ3bは、回路2bに含まれていてもよい。また、メモリ3bは、複数の電子回路の集合体であってもよい。また、メモリ3bは、磁気ディスク又は光ディスク等であってもよいし、ストレージ又は記録媒体等と表現されてもよい。また、メモリ3bは、不揮発性メモリでもよいし、揮発性メモリでもよい。
例えば、メモリ3bには、符号化された動画像に対応するビット列が記憶されてもよいし、復号されたビット列に対応する動画像が記憶されてもよい。また、メモリ3bには、回路2bが動画像を復号するためのプログラムが記憶されていてもよい。
また、例えば、メモリ3bは、図10に示された復号装置200の複数の構成要素のうち、情報を記憶するための構成要素の役割を果たしてもよい。具体的には、メモリ3bは、図10に示されたブロックメモリ210及びフレームメモリ214の役割を果たしてもよい。より具体的には、メモリ3bには、処理済みサブブロック、処理済みブロック及び処理済みピクチャ等が記憶されてもよい。
なお、復号装置200において、図10に示された複数の構成要素の全てが実装されなくてもよいし、上述された複数の処理の全てが行われなくてもよい。図10に示された複数の構成要素の一部は、他の装置に含まれていてもよいし、上述された複数の処理の一部は、他の装置によって実行されてもよい。
図24Dは、回路2bおよびメモリ3bを備えた復号装置1bの処理動作を示すフローチャートである。
回路2bは、メモリ3bを用いて、まず、複数の分割モードを複数のノードとして含み、復号対象ブロックにおいて有効となるツリー構造の属性を特定する(ステップS11b)。次に、回路2bは、特定された属性のツリー構造に基づくシンタックスにしたがって、復号対象ブロックに対して生成された分割情報が示す分割モードを特定する(ステップS12b)。ここで、そのツリー構造では、各親ノードに対して第1の子ノードと第2の子ノードがある場合、第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、(i)第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または(ii)第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである。
例えば、そのツリー構造は、ツリー構造の各ノードに対して分割モードを選択することによって生成され、そのツリー構造では、選択対象のノードをルートノードとして含む第1の部分木内の任意のノードの分割粒度が、第2の部分木内の任意のノードの分割粒度よりも大きくなるように、その選択対象のノードに対して分割モードが選択されている。また、その複数の分割モードは、ブロックを3分割する分割モードを含んでいてもよい。具体的には、回路2aは、実施の形態2における図13~図17に示すツリー構造の属性を特定し、その属性のツリー構造に基づくシンタックスにしたがって、分割モードを特定する。
これにより、特定される属性のツリー構造の各親ノードは、分割粒度の大きい部分木と、分割粒度の小さい部分木とに分岐されて、大きい分割粒度と小さい分割粒度とが部分木内において混在することが抑えられている。したがって、そのツリー構造によって示される、各ブロックの分割情報の発生確率に偏りを持たせることができる。その結果、そのツリー構造に基づくシンタックスにしたがって生成されて可変長符号化された、符号量が低減された分割情報を、適切に復号することができる。
また、ツリー構造では、そのツリー構造の階層が増加するごとに、分割粒度が単調に増加、あるいは、単調に減少するように、各ノードに対して分割モードが選択されていてもよい。具体的には、回路2bは、実施の形態3における図19または図20に示すツリー構造の属性を特定する。
これにより、ツリー構造の深度方向において分割粒度が連続的に変化する。したがって、親ノードと子ノードとにおける分割情報の発生確率の相関が高まる。その結果、そのツリー構造に基づくシンタックスにしたがって生成されて可変長符号化された、高い符号化効率の分割情報を、適切に復号することができる。
また、回路2bは、さらに、複数のツリー構造から何れか1つのツリー構造を、所定の符号化パラメータに基づいて選択することによって、復号対象ブロックの分割モードの特定に用いられるツリー構造を切り替えてもよい。具体的には、回路2bは、実施の形態4のように、ピクチャタイプまたはQPなどの符号化パラメータに基づいて、ツリー構造を切り替える。
これにより、分割情報の発生確率に適したツリー構造を用いることができ、その結果、高い符号化効率の分割情報を、適切に復号することができる。
また、回路2bは、さらに、複数のツリー構造に含まれる全ての分割モードのそれぞれに対して、当該分割モードの発生確率の初期値を設定してもよい。具体的には、回路2bは、実施の形態5のように、分割情報の全ての要素に対して、発生確率の初期値を設定する。
これにより、分割情報の可変長復号(具体的には、算術復号)において、初期値が不定となり誤動作してしまうことを抑えることができる。
なお、上記各実施の形態における第1の部分木内(すなわち分岐A内)のノードの数は、1つであってもよく、複数であってもよい。同様に、第2の部分木内(すなわち分岐B内)のノードの数は、1つであってもよく、複数であってもよい。
[補足]
上記各実施の形態における符号化装置及び復号装置は、それぞれ、画像符号化装置及び画像復号装置として利用されてもよいし、動画像符号化装置及び動画像復号装置として利用されてもよい。
上記各実施の形態における符号化装置及び復号装置は、それぞれ、画像符号化装置及び画像復号装置として利用されてもよいし、動画像符号化装置及び動画像復号装置として利用されてもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
具体的には、符号化装置及び復号装置のそれぞれは、処理回路(Processing Circuitry)と、当該処理回路に電気的に接続された、当該処理回路からアクセス可能な記憶装置(Storage)とを備えていてもよい。
処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含み、記憶装置を用いて処理を実行する。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。
ここで、上記各実施の形態の符号化装置又は復号装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、図5B、図5D、図12、図18、図21~図23、図20Bおよび図20Dのうちの何れかに示すフローチャートにしたがった処理を実行させる。
また、各構成要素は、上述の通り、回路であってもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路であってもよい。また、各構成要素は、汎用的なプロセッサで実現されてもよいし、専用のプロセッサで実現されてもよい。
また、特定の構成要素が実行する処理を別の構成要素が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。また、符号化復号装置が、符号化装置及び復号装置を備えていてもよい。
説明に用いられた第1及び第2等の序数は、適宜、付け替えられてもよい。また、構成要素などに対して、序数が新たに与えられてもよいし、取り除かれてもよい。
以上、符号化装置及び復号装置の態様について、各実施の形態に基づいて説明したが、符号化装置及び復号装置の態様は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、符号化装置及び復号装置の態様の範囲内に含まれてもよい。
(実施の形態7)
以上の各実施の形態において、機能ブロックの各々は、通常、MPU及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、プロセッサなどのプログラム実行部が、ROM等の記録媒体に記録されたソフトウェア(プログラム)を読み出して実行することで実現される。当該ソフトウェアはダウンロード等により配布されてもよいし、半導体メモリなどの記録媒体に記録して配布されてもよい。なお、各機能ブロックをハードウェア(専用回路)によって実現することも、当然、可能である。
以上の各実施の形態において、機能ブロックの各々は、通常、MPU及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、プロセッサなどのプログラム実行部が、ROM等の記録媒体に記録されたソフトウェア(プログラム)を読み出して実行することで実現される。当該ソフトウェアはダウンロード等により配布されてもよいし、半導体メモリなどの記録媒体に記録して配布されてもよい。なお、各機能ブロックをハードウェア(専用回路)によって実現することも、当然、可能である。
また、各実施の形態において説明した処理は、単一の装置(システム)を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
本開示の態様は、以上の実施例に限定されることなく、種々の変更が可能であり、それらも本開示の態様の範囲内に包含される。
さらにここで、上記各実施の形態で示した動画像符号化方法(画像符号化方法)又は動画像復号化方法(画像復号方法)の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、画像復号方法を用いた画像復号装置、及び両方を備える画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
[使用例]
図25は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex106、ex107、ex108、ex109、ex110が設置されている。
図25は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex106、ex107、ex108、ex109、ex110が設置されている。
このコンテンツ供給システムex100では、インターネットex101に、インターネットサービスプロバイダex102又は通信網ex104、及び基地局ex106~ex110を介して、コンピュータex111、ゲーム機ex112、カメラex113、家電ex114、及びスマートフォンex115などの各機器が接続される。当該コンテンツ供給システムex100は、上記のいずれかの要素を組合せて接続するようにしてもよい。固定無線局である基地局ex106~ex110を介さずに、各機器が電話網又は近距離無線等を介して直接的又は間接的に相互に接続されていてもよい。また、ストリーミングサーバex103は、インターネットex101等を介して、コンピュータex111、ゲーム機ex112、カメラex113、家電ex114、及びスマートフォンex115などの各機器と接続される。また、ストリーミングサーバex103は、衛星ex116を介して、飛行機ex117内のホットスポット内の端末等と接続される。
なお、基地局ex106~ex110の代わりに、無線アクセスポイント又はホットスポット等が用いられてもよい。また、ストリーミングサーバex103は、インターネットex101又はインターネットサービスプロバイダex102を介さずに直接通信網ex104と接続されてもよいし、衛星ex116を介さず直接飛行機ex117と接続されてもよい。
カメラex113はデジタルカメラ等の静止画撮影、及び動画撮影が可能な機器である。また、スマートフォンex115は、一般に2G、3G、3.9G、4G、そして今後は5Gと呼ばれる移動通信システムの方式に対応したスマートフォン機、携帯電話機、又はPHS(Personal Handyphone System)等である。
家電ex118は、冷蔵庫、又は家庭用燃料電池コージェネレーションシステムに含まれる機器等である。
コンテンツ供給システムex100では、撮影機能を有する端末が基地局ex106等を通じてストリーミングサーバex103に接続されることで、ライブ配信等が可能になる。ライブ配信では、端末(コンピュータex111、ゲーム機ex112、カメラex113、家電ex114、スマートフォンex115、及び飛行機ex117内の端末等)は、ユーザが当該端末を用いて撮影した静止画又は動画コンテンツに対して上記各実施の形態で説明した符号化処理を行い、符号化により得られた映像データと、映像に対応する音を符号化した音データと多重化し、得られたデータをストリーミングサーバex103に送信する。即ち、各端末は、本開示の一態様に係る画像符号化装置として機能する。
一方、ストリーミングサーバex103は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントは、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、ゲーム機ex112、カメラex113、家電ex114、スマートフォンex115、又は飛行機ex117内の端末等である。配信されたデータを受信した各機器は、受信したデータを復号化処理して再生する。即ち、各機器は、本開示の一態様に係る画像復号装置として機能する。
[分散処理]
また、ストリーミングサーバex103は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバex103は、CDN(Contents Delivery Network)により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。CDNでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられる。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、何らかのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
また、ストリーミングサーバex103は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバex103は、CDN(Contents Delivery Network)により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。CDNでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられる。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、何らかのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
また、配信自体の分散処理にとどまらず、撮影したデータの符号化処理を各端末で行ってもよいし、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、一般に符号化処理では、処理ループが2度行われる。1度目のループでフレーム又はシーン単位での画像の複雑さ、又は、符号量が検出される。また、2度目のループでは画質を維持して符号化効率を向上させる処理が行われる。例えば、端末が1度目の符号化処理を行い、コンテンツを受け取ったサーバ側が2度目の符号化処理を行うことで、各端末での処理負荷を減らしつつもコンテンツの質と効率を向上させることができる。この場合、ほぼリアルタイムで受信して復号する要求があれば、端末が行った一度目の符号化済みデータを他の端末で受信して再生することもできるので、より柔軟なリアルタイム配信も可能になる。
他の例として、カメラex113等は、画像から特徴量抽出を行い、特徴量に関するデータをメタデータとして圧縮してサーバに送信する。サーバは、例えば特徴量からオブジェクトの重要性を判断して量子化精度を切り替えるなど、画像の意味に応じた圧縮を行う。特徴量データはサーバでの再度の圧縮時の動きベクトル予測の精度及び効率向上に特に有効である。また、端末でVLC(可変長符号化)などの簡易的な符号化を行い、サーバでCABAC(コンテキスト適応型二値算術符号化方式)など処理負荷の大きな符号化を行ってもよい。
さらに他の例として、スタジアム、ショッピングモール、又は工場などにおいては、複数の端末によりほぼ同一のシーンが撮影された複数の映像データが存在する場合がある。この場合には、撮影を行った複数の端末と、必要に応じて撮影をしていない他の端末及びサーバを用いて、例えばGOP(Group of Picture)単位、ピクチャ単位、又はピクチャを分割したタイル単位などで符号化処理をそれぞれ割り当てて分散処理を行う。これにより、遅延を減らし、よりリアルタイム性を実現できる。
また、複数の映像データはほぼ同一シーンであるため、各端末で撮影された映像データを互いに参照し合えるように、サーバで管理及び/又は指示をしてもよい。または、各端末からの符号化済みデータを、サーバが受信し複数のデータ間で参照関係を変更、又はピクチャ自体を補正或いは差し替えて符号化しなおしてもよい。これにより、一つ一つのデータの質と効率を高めたストリームを生成できる。
また、サーバは、映像データの符号化方式を変更するトランスコードを行ったうえで映像データを配信してもよい。例えば、サーバは、MPEG系の符号化方式をVP系に変換してもよいし、H.264をH.265に変換してもよい。
このように、符号化処理は、端末、又は1以上のサーバにより行うことが可能である。よって、以下では、処理を行う主体として「サーバ」又は「端末」等の記載を用いるが、サーバで行われる処理の一部又は全てが端末で行われてもよいし、端末で行われる処理の一部又は全てがサーバで行われてもよい。また、これらに関しては、復号処理についても同様である。
[3D、マルチアングル]
近年では、互いにほぼ同期した複数のカメラex113及び/又はスマートフォンex115などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することも増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合される。
近年では、互いにほぼ同期した複数のカメラex113及び/又はスマートフォンex115などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することも増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合される。
サーバは、2次元の動画像を符号化するだけでなく、動画像のシーン解析などに基づいて自動的に、又は、ユーザが指定した時刻において、静止画を符号化し、受信端末に送信してもよい。サーバは、さらに、撮影端末間の相対的な位置関係を取得できる場合には、2次元の動画像だけでなく、同一シーンが異なるアングルから撮影された映像に基づき、当該シーンの3次元形状を生成できる。なお、サーバは、ポイントクラウドなどにより生成した3次元のデータを別途符号化してもよいし、3次元データを用いて人物又はオブジェクトを認識或いは追跡した結果に基づいて、受信端末に送信する映像を、複数の端末で撮影した映像から選択、又は、再構成して生成してもよい。
このようにして、ユーザは、各撮影端末に対応する各映像を任意に選択してシーンを楽しむこともできるし、複数画像又は映像を用いて再構成された3次元データから任意視点の映像を切り出したコンテンツを楽しむこともできる。さらに、映像と同様に音も複数の相異なるアングルから収音され、サーバは、映像に合わせて特定のアングル又は空間からの音を映像と多重化して送信してもよい。
また、近年ではVirtual Reality(VR)及びAugmented Reality(AR)など、現実世界と仮想世界とを対応付けたコンテンツも普及してきている。VRの画像の場合、サーバは、右目用及び左目用の視点画像をそれぞれ作成し、Multi-View Coding(MVC)などにより各視点映像間で参照を許容する符号化を行ってもよいし、互いに参照せずに別ストリームとして符号化してもよい。別ストリームの復号時には、ユーザの視点に応じて仮想的な3次元空間が再現されるように互いに同期させて再生するとよい。
ARの画像の場合には、サーバは、現実空間のカメラ情報に、仮想空間上の仮想物体情報を、3次元的位置又はユーザの視点の動きに基づいて重畳する。復号装置は、仮想物体情報及び3次元データを取得又は保持し、ユーザの視点の動きに応じて2次元画像を生成し、スムーズにつなげることで重畳データを作成してもよい。または、復号装置は仮想物体情報の依頼に加えてユーザの視点の動きをサーバに送信し、サーバは、サーバに保持される3次元データから受信した視点の動きに合わせて重畳データを作成し、重畳データを符号化して復号装置に配信してもよい。なお、重畳データは、RGB以外に透過度を示すα値を有し、サーバは、3次元データから作成されたオブジェクト以外の部分のα値が0などに設定し、当該部分が透過する状態で、符号化してもよい。もしくは、サーバは、クロマキーのように所定の値のRGB値を背景に設定し、オブジェクト以外の部分は背景色にしたデータを生成してもよい。
同様に配信されたデータの復号処理はクライアントである各端末で行っても、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、ある端末が、一旦サーバに受信リクエストを送り、そのリクエストに応じたコンテンツを他の端末で受信し復号処理を行い、ディスプレイを有する装置に復号済みの信号が送信されてもよい。通信可能な端末自体の性能によらず処理を分散して適切なコンテンツを選択することで画質のよいデータを再生することができる。また、他の例として大きなサイズの画像データをTV等で受信しつつ、鑑賞者の個人端末にピクチャが分割されたタイルなど一部の領域が復号されて表示されてもよい。これにより、全体像を共有化しつつ、自身の担当分野又はより詳細に確認したい領域を手元で確認することができる。
また今後は、屋内外にかかわらず近距離、中距離、又は長距離の無線通信が複数使用可能な状況下で、MPEG-DASHなどの配信システム規格を利用して、接続中の通信に対して適切なデータを切り替えながらシームレスにコンテンツを受信することが予想される。これにより、ユーザは、自身の端末のみならず屋内外に設置されたディスプレイなどの復号装置又は表示装置を自由に選択しながらリアルタイムで切り替えられる。また、自身の位置情報などに基づいて、復号する端末及び表示する端末を切り替えながら復号を行うことができる。これにより、目的地への移動中に、表示可能なデバイスが埋め込まれた隣の建物の壁面又は地面の一部に地図情報を表示させながら移動することも可能になる。また、符号化データが受信端末から短時間でアクセスできるサーバにキャッシュされている、又は、コンテンツ・デリバリー・サービスにおけるエッジサーバにコピーされている、などの、ネットワーク上での符号化データへのアクセス容易性に基づいて、受信データのビットレートを切り替えることも可能である。
[スケーラブル符号化]
コンテンツの切り替えに関して、図26に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的/空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤまで復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えば移動中にスマートフォンex115で視聴していた映像の続きを、帰宅後にインターネットTV等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
コンテンツの切り替えに関して、図26に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的/空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤまで復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えば移動中にスマートフォンex115で視聴していた映像の続きを、帰宅後にインターネットTV等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
さらに、上記のように、レイヤ毎にピクチャが符号化されており、ベースレイヤの上位にエンハンスメントレイヤが存在するスケーラビリティを実現する構成以外に、エンハンスメントレイヤが画像の統計情報などに基づくメタ情報を含み、復号側が、メタ情報に基づきベースレイヤのピクチャを超解像することで高画質化したコンテンツを生成してもよい。超解像とは、同一解像度におけるSN比の向上、及び、解像度の拡大のいずれであってもよい。メタ情報は、超解像処理に用いる線形或いは非線形のフィルタ係数を特定するため情報、又は、超解像処理に用いるフィルタ処理、機械学習或いは最小2乗演算におけるパラメータ値を特定する情報などを含む。
または、画像内のオブジェクトなどの意味合いに応じてピクチャがタイル等に分割されており、復号側が、復号するタイルを選択することで一部の領域だけを復号する構成であってもよい。また、オブジェクトの属性(人物、車、ボールなど)と映像内の位置(同一画像における座標位置など)とをメタ情報として格納することで、復号側は、メタ情報に基づいて所望のオブジェクトの位置を特定し、そのオブジェクトを含むタイルを決定できる。例えば、図27に示すように、メタ情報は、HEVCにおけるSEIメッセージなど画素データとは異なるデータ格納構造を用いて格納される。このメタ情報は、例えば、メインオブジェクトの位置、サイズ、又は色彩などを示す。
また、ストリーム、シーケンス又はランダムアクセス単位など、複数のピクチャから構成される単位でメタ情報が格納されてもよい。これにより、復号側は、特定人物が映像内に出現する時刻などが取得でき、ピクチャ単位の情報と合わせることで、オブジェクトが存在するピクチャ、及び、ピクチャ内でのオブジェクトの位置を特定できる。
[Webページの最適化]
図28は、コンピュータex111等におけるwebページの表示画面例を示す図である。図29は、スマートフォンex115等におけるwebページの表示画面例を示す図である。図28及び図29に示すようにwebページが、画像コンテンツへのリンクであるリンク画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なる。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまでは、表示装置(復号装置)は、リンク画像として各コンテンツが有する静止画又はIピクチャを表示したり、複数の静止画又はIピクチャ等でgifアニメのような映像を表示したり、ベースレイヤのみ受信して映像を復号及び表示したりする。
図28は、コンピュータex111等におけるwebページの表示画面例を示す図である。図29は、スマートフォンex115等におけるwebページの表示画面例を示す図である。図28及び図29に示すようにwebページが、画像コンテンツへのリンクであるリンク画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なる。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまでは、表示装置(復号装置)は、リンク画像として各コンテンツが有する静止画又はIピクチャを表示したり、複数の静止画又はIピクチャ等でgifアニメのような映像を表示したり、ベースレイヤのみ受信して映像を復号及び表示したりする。
ユーザによりリンク画像が選択された場合、表示装置は、ベースレイヤを最優先にして復号する。なお、webページを構成するHTMLにスケーラブルなコンテンツであることを示す情報があれば、表示装置は、エンハンスメントレイヤまで復号してもよい。また、リアルタイム性を担保するために、選択される前又は通信帯域が非常に厳しい場合には、表示装置は、前方参照のピクチャ(Iピクチャ、Pピクチャ、前方参照のみのBピクチャ)のみを復号及び表示することで、先頭ピクチャの復号時刻と表示時刻との間の遅延(コンテンツの復号開始から表示開始までの遅延)を低減できる。また、表示装置は、ピクチャの参照関係を敢えて無視して全てのBピクチャ及びPピクチャを前方参照にして粗く復号し、時間が経ち受信したピクチャが増えるにつれて正常の復号を行ってもよい。
[自動走行]
また、車の自動走行又は走行支援のため2次元又は3次元の地図情報などの静止画又は映像データを送受信する場合、受信端末は、1以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
また、車の自動走行又は走行支援のため2次元又は3次元の地図情報などの静止画又は映像データを送受信する場合、受信端末は、1以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
この場合、受信端末を含む車、ドローン又は飛行機などが移動するため、受信端末は、当該受信端末の位置情報を受信要求時に送信することで、基地局ex106~ex110を切り替えながらシームレスな受信及び復号を実現できる。また、受信端末は、ユーザの選択、ユーザの状況又は通信帯域の状態に応じて、メタ情報をどの程度受信するか、又は地図情報をどの程度更新していくかを動的に切り替えることが可能になる。
以上のようにして、コンテンツ供給システムex100では、ユーザが送信した符号化された情報をリアルタイムでクライアントが受信して復号し、再生することができる。
[個人コンテンツの配信]
また、コンテンツ供給システムex100では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。また、このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは例えば、以下のような構成で実現できる。
また、コンテンツ供給システムex100では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。また、このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは例えば、以下のような構成で実現できる。
撮影時にリアルタイム又は蓄積して撮影後に、サーバは、原画又は符号化済みデータから撮影エラー、シーン探索、意味の解析、及びオブジェクト検出などの認識処理を行う。そして、サーバは、認識結果に基いて手動又は自動で、ピントずれ又は手ブレなどを補正したり、明度が他のピクチャに比べて低い又は焦点が合っていないシーンなどの重要性の低いシーンを削除したり、オブジェクトのエッジを強調したり、色合いを変化させるなどの編集を行う。サーバは、編集結果に基いて編集後のデータを符号化する。また撮影時刻が長すぎると視聴率が下がることも知られており、サーバは、撮影時間に応じて特定の時間範囲内のコンテンツになるように上記のように重要性が低いシーンのみならず動きが少ないシーンなどを、画像処理結果に基き自動でクリップしてもよい。または、サーバは、シーンの意味解析の結果に基づいてダイジェストを生成して符号化してもよい。
なお、個人コンテンツには、そのままでは著作権、著作者人格権、又は肖像権等の侵害となるものが写り込んでいるケースもあり、共有する範囲が意図した範囲を超えてしまうなど個人にとって不都合な場合もある。よって、例えば、サーバは、画面の周辺部の人の顔、又は家の中などを敢えて焦点が合わない画像に変更して符号化してもよい。また、サーバは、符号化対象画像内に、予め登録した人物とは異なる人物の顔が映っているかどうかを認識し、映っている場合には、顔の部分にモザイクをかけるなどの処理を行ってもよい。または、符号化の前処理又は後処理として、著作権などの観点からユーザが画像を加工したい人物又は背景領域を指定し、サーバは、指定された領域を別の映像に置き換える、又は焦点をぼかすなどの処理を行うことも可能である。人物であれば、動画像において人物をトラッキングしながら、顔の部分の映像を置き換えることができる。
また、データ量の小さい個人コンテンツの視聴はリアルタイム性の要求が強いため、帯域幅にもよるが、復号装置は、まずベースレイヤを最優先で受信して復号及び再生を行う。復号装置は、この間にエンハンスメントレイヤを受信し、再生がループされる場合など2回以上再生される場合に、エンハンスメントレイヤも含めて高画質の映像を再生してもよい。このようにスケーラブルな符号化が行われているストリームであれば、未選択時又は見始めた段階では粗い動画だが、徐々にストリームがスマートになり画像がよくなるような体験を提供することができる。スケーラブル符号化以外にも、1回目に再生される粗いストリームと、1回目の動画を参照して符号化される2回目のストリームとが1つのストリームとして構成されていても同様の体験を提供できる。
[その他の使用例]
また、これらの符号化又は復号処理は、一般的に各端末が有するLSIex500において処理される。LSIex500は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータex111等で読み取り可能な何らかの記録メディア(CD-ROM、フレキシブルディスク、又はハードディスクなど)に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンex115がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンex115が有するLSIex500で符号化処理されたデータである。
また、これらの符号化又は復号処理は、一般的に各端末が有するLSIex500において処理される。LSIex500は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータex111等で読み取り可能な何らかの記録メディア(CD-ROM、フレキシブルディスク、又はハードディスクなど)に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンex115がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンex115が有するLSIex500で符号化処理されたデータである。
なお、LSIex500は、アプリケーションソフトをダウンロードしてアクティベートする構成であってもよい。この場合、端末は、まず、当該端末がコンテンツの符号化方式に対応しているか、又は、特定サービスの実行能力を有するかを判定する。端末がコンテンツの符号化方式に対応していない場合、又は、特定サービスの実行能力を有さない場合、端末は、コーデック又はアプリケーションソフトをダウンロードし、その後、コンテンツ取得及び再生する。
また、インターネットex101を介したコンテンツ供給システムex100に限らず、デジタル放送用システムにも上記各実施の形態の少なくとも動画像符号化装置(画像符号化装置)又は動画像復号化装置(画像復号装置)のいずれかを組み込むことができる。衛星などを利用して放送用の電波に映像と音が多重化された多重化データを載せて送受信するため、コンテンツ供給システムex100のユニキャストがし易い構成に対してマルチキャスト向きであるという違いがあるが符号化処理及び復号処理に関しては同様の応用が可能である。
[ハードウェア構成]
図30は、スマートフォンex115を示す図である。また、図31は、スマートフォンex115の構成例を示す図である。スマートフォンex115は、基地局ex110との間で電波を送受信するためのアンテナex450と、映像及び静止画を撮ることが可能なカメラ部ex465と、カメラ部ex465で撮像した映像、及びアンテナex450で受信した映像等が復号されたデータを表示する表示部ex458とを備える。スマートフォンex115は、さらに、タッチパネル等である操作部ex466と、音声又は音響を出力するためのスピーカ等である音声出力部ex457と、音声を入力するためのマイク等である音声入力部ex456と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ex467と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのSIMex468とのインタフェース部であるスロット部ex464とを備える。なお、メモリ部ex467の代わりに外付けメモリが用いられてもよい。
図30は、スマートフォンex115を示す図である。また、図31は、スマートフォンex115の構成例を示す図である。スマートフォンex115は、基地局ex110との間で電波を送受信するためのアンテナex450と、映像及び静止画を撮ることが可能なカメラ部ex465と、カメラ部ex465で撮像した映像、及びアンテナex450で受信した映像等が復号されたデータを表示する表示部ex458とを備える。スマートフォンex115は、さらに、タッチパネル等である操作部ex466と、音声又は音響を出力するためのスピーカ等である音声出力部ex457と、音声を入力するためのマイク等である音声入力部ex456と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ex467と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのSIMex468とのインタフェース部であるスロット部ex464とを備える。なお、メモリ部ex467の代わりに外付けメモリが用いられてもよい。
また、表示部ex458及び操作部ex466等を統括的に制御する主制御部ex460と、電源回路部ex461、操作入力制御部ex462、映像信号処理部ex455、カメラインタフェース部ex463、ディスプレイ制御部ex459、変調/復調部ex452、多重/分離部ex453、音声信号処理部ex454、スロット部ex464、及びメモリ部ex467とがバスex470を介して接続されている。
電源回路部ex461は、ユーザの操作により電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンex115を動作可能な状態に起動する。
スマートフォンex115は、CPU、ROM及びRAM等を有する主制御部ex460の制御に基づいて、通話及データ通信等の処理を行う。通話時は、音声入力部ex456で収音した音声信号を音声信号処理部ex454でデジタル音声信号に変換し、これを変調/復調部ex452でスペクトラム拡散処理し、送信/受信部ex451でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex450を介して送信する。また受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変調/復調部ex452でスペクトラム逆拡散処理し、音声信号処理部ex454でアナログ音声信号に変換した後、これを音声出力部ex457から出力する。データ通信モード時は、本体部の操作部ex466等の操作によってテキスト、静止画、又は映像データが操作入力制御部ex462を介して主制御部ex460に送出され、同様に送受信処理が行われる。データ通信モード時に映像、静止画、又は映像と音声を送信する場合、映像信号処理部ex455は、メモリ部ex467に保存されている映像信号又はカメラ部ex465から入力された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重/分離部ex453に送出する。また、音声信号処理部ex454は、映像又は静止画等をカメラ部ex465で撮像中に音声入力部ex456で収音した音声信号を符号化し、符号化された音声データを多重/分離部ex453に送出する。多重/分離部ex453は、符号化済み映像データと符号化済み音声データを所定の方式で多重化し、変調/復調部(変調/復調回路部)ex452、及び送信/受信部ex451で変調処理及び変換処理を施してアンテナex450を介して送信する。
電子メール又はチャットに添付された映像、又はウェブページ等にリンクされた映像を受信した場合、アンテナex450を介して受信された多重化データを復号するために、多重/分離部ex453は、多重化データを分離することにより、多重化データを映像データのビットストリームと音声データのビットストリームとに分け、同期バスex470を介して符号化された映像データを映像信号処理部ex455に供給するとともに、符号化された音声データを音声信号処理部ex454に供給する。映像信号処理部ex455は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって映像信号を復号し、ディスプレイ制御部ex459を介して表示部ex458から、リンクされた動画像ファイルに含まれる映像又は静止画が表示される。また音声信号処理部ex454は、音声信号を復号し、音声出力部ex457から音声が出力される。なおリアルタイムストリーミングが普及しているため、ユーザの状況によっては音声の再生が社会的にふさわしくない場も起こりえる。そのため、初期値としては、音声信号は再生せず映像データのみを再生する構成の方が望ましい。ユーザが映像データをクリックするなど操作を行った場合にのみ音声を同期して再生してもよい。
またここではスマートフォンex115を例に説明したが、端末としては符号化器及び復号化器を両方持つ送受信型端末の他に、符号化器のみを有する送信端末、及び、復号化器のみを有する受信端末という3通りの実装形式が考えられる。さらに、デジタル放送用システムにおいて、映像データに音声データなどが多重化された多重化データを受信又は送信するとして説明したが、多重化データには、音声データ以外に映像に関連する文字データなどが多重化されてもよいし、多重化データではなく映像データ自体が受信又は送信されてもよい。
なお、CPUを含む主制御部ex460が符号化又は復号処理を制御するとして説明したが、端末はGPUを備えることも多い。よって、CPUとGPUで共通化されたメモリ、又は共通に使用できるようにアドレスが管理されているメモリにより、GPUの性能を活かして広い領域を一括して処理する構成でもよい。これにより符号化時間を短縮でき、リアルタイム性を確保し、低遅延を実現できる。特に動き探索、デブロックフィルタ、SAO(Sample Adaptive Offset)、及び変換・量子化の処理を、CPUではなく、GPUでピクチャなどの単位で一括して行うと効率的である。
本開示の符号化装置および復号装置は、さらなる改善の可能性があるという効果を奏し、例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ、車載カメラ、およびネットワークカメラ等の情報表示機器または撮像機器に利用可能であり、利用価値が高い。
100 符号化装置
102 分割部
104 減算部
106 変換部
108 量子化部
110 エントロピー符号化部
112、204 逆量子化部
114、206 逆変換部
116、208 加算部
118、210 ブロックメモリ
120、212 ループフィルタ部
122、214 フレームメモリ
124、216 イントラ予測部
126、218 インター予測部
128、220 予測制御部
200 復号装置
202 エントロピー復号部
102 分割部
104 減算部
106 変換部
108 量子化部
110 エントロピー符号化部
112、204 逆量子化部
114、206 逆変換部
116、208 加算部
118、210 ブロックメモリ
120、212 ループフィルタ部
122、214 フレームメモリ
124、216 イントラ予測部
126、218 インター予測部
128、220 予測制御部
200 復号装置
202 エントロピー復号部
Claims (14)
- 回路と、
メモリと、を備え、
前記回路は、前記メモリを用いて、
複数の分割モードから、符号化対象ブロックの分割モードを選択し、
前記符号化対象ブロックに対して選択された前記分割モードを示す分割情報を、前記複数の分割モードを複数のノードとして含むツリー構造に基づくシンタックスにしたがって生成し、
前記ツリー構造では、
各親ノードに対して第1の子ノードと第2の子ノードがある場合、前記第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、
(i)前記第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または
(ii)前記第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである、
符号化装置。 - 前記回路は、
ツリー構造の各ノードに対して分割モードを選択することによって、前記符号化対象ブロックの分割情報の生成に用いられる前記ツリー構造を生成し、
前記ツリー構造の生成では、
選択対象のノードをルートノードとして含む前記第1の部分木内の任意のノードの分割粒度が、前記第2の部分木内の任意のノードの分割粒度よりも大きくなるように、前記選択対象のノードに対して分割モードを選択する、
請求項1に記載の符号化装置。 - 前記回路は、前記ツリー構造の生成では、
前記ツリー構造の階層が増加するごとに、分割粒度が単調に増加、あるいは、単調に減少するように、各ノードに対して分割モードを選択する、
請求項2に記載の符号化装置。 - 前記回路は、さらに、
複数のツリー構造から何れか1つのツリー構造を、所定の符号化パラメータに基づいて選択することによって、前記符号化対象ブロックの分割情報の生成に用いられる前記ツリー構造を切り替える、
請求項1~3の何れか1項に記載の符号化装置。 - 前記回路は、さらに、
前記複数のツリー構造に含まれる全ての分割モードのそれぞれに対して、当該分割モードの発生確率の初期値を設定する、
請求項4に記載の符号化装置。 - 前記複数の分割モードは、ブロックを3分割する分割モードを含む、
請求項1~5の何れか1項に記載の符号化装置。 - 回路と、
メモリと、を備え、
前記回路は、前記メモリを用いて、
複数の分割モードを複数のノードとして含み、復号対象ブロックにおいて有効となるツリー構造の属性を特定し、
特定された前記属性のツリー構造に基づくシンタックスにしたがって、前記復号対象ブロックに対して生成された分割情報が示す分割モードを特定し、
前記ツリー構造では、
各親ノードに対して第1の子ノードと第2の子ノードがある場合、前記第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、
(i)前記第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または
(ii)前記第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである、
復号装置。 - 前記ツリー構造は、ツリー構造の各ノードに対して分割モードを選択することによって生成され、
前記ツリー構造では、
選択対象のノードをルートノードとして含む前記第1の部分木内の任意のノードの分割粒度が、前記第2の部分木内の任意のノードの分割粒度よりも大きくなるように、前記選択対象のノードに対して分割モードが選択されている、
請求項7に記載の復号装置。 - 前記ツリー構造では、
前記ツリー構造の階層が増加するごとに、分割粒度が単調に増加、あるいは、単調に減少するように、各ノードに対して分割モードが選択されている、
請求項8に記載の復号装置。 - 前記回路は、さらに、
複数のツリー構造から何れか1つのツリー構造を、所定の符号化パラメータに基づいて選択することによって、前記復号対象ブロックの分割モードの特定に用いられる前記ツリー構造を切り替える
請求項7~9の何れか1項に記載の復号装置。 - 前記回路は、さらに、
前記複数のツリー構造に含まれる全ての分割モードのそれぞれに対して、当該分割モードの発生確率の初期値を設定する、
請求項10に記載の復号装置。 - 前記複数の分割モードは、ブロックを3分割する分割モードを含む、
請求項7~11の何れか1項に記載の復号装置。 - 複数の分割モードから、符号化対象ブロックの分割モードを選択し、
前記符号化対象ブロックに対して選択された前記分割モードを示す分割情報を、前記複数の分割モードを複数のノードとして含むツリー構造に基づくシンタックスにしたがって生成し、
前記ツリー構造では、
各親ノードに対して第1の子ノードと第2の子ノードがある場合、前記第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、
(i)前記第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または
(ii)前記第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである、
符号化方法。 - 複数の分割モードを複数のノードとして含み、復号対象ブロックにおいて有効となるツリー構造の属性を特定し、
特定された前記属性のツリー構造に基づくシンタックスにしたがって、前記復号対象ブロックに対して生成された分割情報が示す分割モードを特定し、
前記ツリー構造では、
各親ノードに対して第1の子ノードと第2の子ノードがある場合、前記第1の子ノードをルートノードとして含む第1の部分木内の全てのノードのそれぞれの分割粒度は、
(i)前記第2の子ノードをルートノードとして含む第2の部分木内の全てのノードのそれぞれの分割粒度以上の大きさである、または
(ii)前記第2の部分木内の全てのノードのそれぞれの分割粒度以下の大きさである、
復号方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762529353P | 2017-07-06 | 2017-07-06 | |
US62/529353 | 2017-07-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019009314A1 true WO2019009314A1 (ja) | 2019-01-10 |
Family
ID=64950073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/025289 WO2019009314A1 (ja) | 2017-07-06 | 2018-07-04 | 符号化装置、復号装置、符号化方法および復号方法 |
Country Status (2)
Country | Link |
---|---|
TW (1) | TW201907719A (ja) |
WO (1) | WO2019009314A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738735A (zh) * | 2019-10-23 | 2020-01-31 | 黄河勘测规划设计研究院有限公司 | 一种提高三维数字地球平台展示效果的方法 |
WO2020262020A1 (ja) * | 2019-06-25 | 2020-12-30 | ソニー株式会社 | 情報処理装置および方法 |
JP2022535665A (ja) * | 2019-04-23 | 2022-08-10 | オッポ広東移動通信有限公司 | 画像デコーディング方法、デコーダおよび記憶媒体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012150693A1 (en) * | 2011-05-05 | 2012-11-08 | Mitsubishi Electric Corporation | Residual quadtree structure for transform units in non-square prediction units |
WO2016091161A1 (en) * | 2014-12-10 | 2016-06-16 | Mediatek Singapore Pte. Ltd. | Method of video coding using binary tree block partitioning |
US20170347095A1 (en) * | 2016-05-25 | 2017-11-30 | Arris Enterprises Llc | Jvet quadtree plus binary tree (qtbt) structure with multiple asymmetrical partitioning |
-
2018
- 2018-07-04 WO PCT/JP2018/025289 patent/WO2019009314A1/ja active Application Filing
- 2018-07-04 TW TW107123150A patent/TW201907719A/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012150693A1 (en) * | 2011-05-05 | 2012-11-08 | Mitsubishi Electric Corporation | Residual quadtree structure for transform units in non-square prediction units |
WO2016091161A1 (en) * | 2014-12-10 | 2016-06-16 | Mediatek Singapore Pte. Ltd. | Method of video coding using binary tree block partitioning |
US20170347095A1 (en) * | 2016-05-25 | 2017-11-30 | Arris Enterprises Llc | Jvet quadtree plus binary tree (qtbt) structure with multiple asymmetrical partitioning |
Non-Patent Citations (3)
Title |
---|
F. LE LEANNEC ET AL.: "Asymmetric Coding Units in QTBT", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-D0064-RL, 4TH MEETING, October 2016 (2016-10-01), Chengdu, CN, pages 1 - 10 * |
HAN HUANG ET AL.: "EE 2.1: Quadtree plus binary tree structure integration with JEM tools", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-C0024_RL, 3RD MEETING, May 2016 (2016-05-01), Geneva, CH, pages 1 - 5 * |
XIANG LI ET AL.: "Multi-Type-Tree", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-D0117RL, 4TH MEETING, Chengdu, CN, pages 1 - 3 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022535665A (ja) * | 2019-04-23 | 2022-08-10 | オッポ広東移動通信有限公司 | 画像デコーディング方法、デコーダおよび記憶媒体 |
JP7309909B2 (ja) | 2019-04-23 | 2023-07-18 | オッポ広東移動通信有限公司 | 画像デコーディング方法、デコーダおよび記憶媒体 |
US11882318B2 (en) | 2019-04-23 | 2024-01-23 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for picture decoding, decoder and storage medium |
US11930223B2 (en) | 2019-04-23 | 2024-03-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for picture decoding, decoder and storage medium |
JP7490863B2 (ja) | 2019-04-23 | 2024-05-27 | オッポ広東移動通信有限公司 | 画像デコーディング方法、デコーダおよび記憶媒体 |
WO2020262020A1 (ja) * | 2019-06-25 | 2020-12-30 | ソニー株式会社 | 情報処理装置および方法 |
CN110738735A (zh) * | 2019-10-23 | 2020-01-31 | 黄河勘测规划设计研究院有限公司 | 一种提高三维数字地球平台展示效果的方法 |
CN110738735B (zh) * | 2019-10-23 | 2023-11-07 | 黄河勘测规划设计研究院有限公司 | 一种提高三维数字地球平台展示效果的方法 |
Also Published As
Publication number | Publication date |
---|---|
TW201907719A (zh) | 2019-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6946419B2 (ja) | 復号装置、復号方法及びプログラム | |
JP7422811B2 (ja) | 非一時的記憶媒体 | |
JP6806916B2 (ja) | 復号装置及び復号方法 | |
WO2019009129A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP2022008413A (ja) | 復号装置、符号化装置及び記録媒体 | |
JPWO2019155971A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019138998A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2018097115A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019013235A1 (ja) | 符号化装置、符号化方法、復号装置及び復号方法 | |
WO2019221103A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019069968A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
WO2019013236A1 (ja) | 符号化装置、符号化方法、復号装置及び復号方法 | |
JP2022093625A (ja) | 符号化装置、復号装置、符号化方法、及び復号方法 | |
WO2019098152A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019009314A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
WO2019163794A1 (ja) | 符号化装置及び符号化方法 | |
WO2019131364A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019124191A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019069902A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
WO2019082985A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019059107A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2018097117A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019021803A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019065329A1 (ja) | 符号化装置、復号装置、符号化方法、及び復号方法 | |
WO2019031369A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18827511 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18827511 Country of ref document: EP Kind code of ref document: A1 |