WO2020261313A1 - 画像符号化方法、及び画像復号方法 - Google Patents

画像符号化方法、及び画像復号方法 Download PDF

Info

Publication number
WO2020261313A1
WO2020261313A1 PCT/JP2019/024859 JP2019024859W WO2020261313A1 WO 2020261313 A1 WO2020261313 A1 WO 2020261313A1 JP 2019024859 W JP2019024859 W JP 2019024859W WO 2020261313 A1 WO2020261313 A1 WO 2020261313A1
Authority
WO
WIPO (PCT)
Prior art keywords
tree
color information
color
image
prediction
Prior art date
Application number
PCT/JP2019/024859
Other languages
English (en)
French (fr)
Inventor
志織 杉本
誠之 高村
清水　淳
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2021528644A priority Critical patent/JP7273339B2/ja
Priority to PCT/JP2019/024859 priority patent/WO2020261313A1/ja
Priority to US17/621,592 priority patent/US20220358685A1/en
Publication of WO2020261313A1 publication Critical patent/WO2020261313A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Definitions

  • the present invention relates to an image coding method and an image decoding method.
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • wavelet transform etc.
  • Entropy encoding is performed. Since the dimension of the conversion basis and the dimension of the image are the same, the number of data does not change before and after the conversion and the amount of information is not reduced, but the distribution of the data is biased by the conversion and the coding efficiency by entropy coding is improved. To do. Further, at this time, the amount of information can be further reduced by roughly quantizing the high frequency component, which is said to have a low contribution rate to the subjective image quality.
  • the images are divided into processing unit blocks and the spatial / temporal continuity of the subject is used.
  • the image signal is predicted spatially / temporally for each block.
  • JPEG Joint Photographic Experts Group
  • MPEG Motion Picture Experts Group
  • AVC Advanced Video Coding
  • the amount of generated code is controlled by adjusting the QP (Quantization Parameter) when the coefficients of DCT and DST are quantized.
  • QP Quality Parameter
  • the lack of high-frequency components due to the increase in QP and the block distortion generated at the block boundary affect the image quality, and the information related to the context is lost depending on the target image.
  • the mainstream method is to reduce the amount of information by converting the image into the frequency domain and quantizing it.
  • a palette color palette
  • palette coding is also a method called palette coding, which is the object of coding. Palette coding is mainly used for an image when the number of colors appearing in the image is small and when it cannot be efficiently expressed by a conversion basis for a natural image such as DCT.
  • H. 265 / HEVC employs palette encoding mode as a tool for profiling screen content.
  • Screen content is a general term for images that are not natural images, such as images generated by computer graphics.
  • HEVC defines a copy index, which means that the same color as the adjacent pixel is used, in addition to the index for the normal palette. Therefore, for screen content that has a small number of colors locally and in many cases the same colors are spatially continuous, use the palette coding mode for each block and use a short code length for the copy index. By allocating, efficient compression is possible.
  • the palette coding of HEVC is described in, for example, Non-Patent Document 1.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide an image coding method and an image decoding method capable of efficiently encoding.
  • the image when encoding an image to be encoded, the image is represented by a pixel or a block and a color assigned to the pixel or the block, and the block division tree and the block division tree. It is an image coding method that encodes the color information assigned to all the nodes including the root node, the intermediate node, and the leaf node of the above, and divides the coded target image by an arbitrary split tree.
  • the block in the middle of division or the block after the end of division A color information determination step that determines a representative color representing the above and assigns the determined color as color information corresponding to each node, a tree coding step that encodes the block split tree, and a code for the color information. It is an image coding method having a color information coding step to be converted.
  • coding can be performed efficiently.
  • FIG. 1 is a block diagram showing a configuration of an image coding device 100 according to an embodiment of the present invention.
  • the image coding device 100 includes an image input unit 101, a tree determination unit 102, a tree prediction unit 103, a color determination unit 104, a color prediction unit 105, and an entropy coding unit 106. , Is equipped.
  • the image input unit 101 receives an input of an image to be processed (hereinafter, referred to as "encoded image") output from an external device.
  • the image input unit 101 outputs the coded image to the tree determination unit 102 and the color determination unit 104, respectively.
  • the tree determination unit 102 acquires an image to be encoded, which is output from the image input unit 101.
  • the tree determination unit 102 generates a tree vector (block split tree) from the image to be encoded.
  • the tree may be any tree such as a binary tree, a ternary tree, or a quadtree, but in the present embodiment, it is assumed to be a quadtree as an example for the sake of simplicity.
  • the tree determination unit 102 outputs the coded image and the generated tree vector to the tree prediction unit 103.
  • the tree prediction unit 103 acquires the coded target image and the tree vector output from the tree determination unit 102.
  • the tree prediction unit 103 generates a tree prediction vector and a tree compression vector from the coded image and the tree vector.
  • the tree prediction unit 103 outputs the generated tree prediction vector and the tree compression vector to the color determination unit 104 and the color prediction unit 105, respectively. Further, the tree prediction unit 103 outputs the generated tree compression vector to the entropy coding unit 106.
  • the color determination unit 104 acquires an image to be encoded output from the image input unit 101. Further, the color determination unit 104 acquires the tree prediction vector and the tree compression vector output from the tree prediction unit 103. The color determination unit 104 generates a color vector from the image to be encoded, the tree prediction vector, and the tree compression vector. The color determination unit 104 outputs the coded image and the generated color vector to the color prediction unit 105.
  • the color prediction unit 105 acquires the tree prediction vector and the tree compression vector output from the tree prediction unit 103. Further, the color prediction unit 105 acquires the coded target image and the color vector output from the color determination unit 104. The color prediction unit 105 generates a color compression vector from the coded image, the color vector, the tree prediction vector, and the tree compression vector. The color prediction unit 105 outputs the generated color compression vector to the entropy coding unit 106.
  • the entropy encoding unit 106 acquires the tree compression vector output from the tree prediction unit 103. Further, the entropy encoding unit 106 acquires the color compression vector output from the color prediction unit 105. The entropy encoding unit 106 entropy-encodes the tree compression vector and the color compression vector. The entropy coding unit 106 outputs the code to an external device.
  • FIG. 2 is a flowchart showing the operation of the image coding device 100 according to the embodiment of the present invention.
  • the image input unit 101 accepts the input of the image to be encoded (step S101).
  • the tree determination unit 102 generates a tree vector from the image to be encoded (step S102).
  • the tree may be any tree such as a binary tree, a ternary tree, or a quadtree, but in the following description, it is assumed to be a quadtree.
  • the tree determination unit 102 determines whether or not to divide the coded image into four. Any criterion may be used in this determination. For example, as the simplest determination criterion, a determination criterion that divides the coded target image when the number of colors of the coded target image is equal to or greater than the threshold value can be used. Here, when the threshold value is 2, lossless compression (lossless compression) is performed.
  • the judgment may be made using statistical information such as a histogram and variance.
  • the amount of information about the information indicating the tree structure and the color information generated by the division of the image to be encoded and the amount of other information for example, the amount of information required when performing orthogonal conversion and quantization or palette coding.
  • the quality of the decoded image the determination may be made by calculating the trade-off.
  • the tree determination unit 102 assigns a symbol indicating the division to the root node of the tree, and further generates four child nodes. Then, the tree determination unit 102 sequentially determines whether or not to divide the coded image into four in order for each child node, as described above.
  • the symbol indicating that the coded image is not divided is a and the symbol indicating that the coded image is divided is b
  • the tree vector is a binary vector.
  • the order of determination may be any order, but in the present embodiment, the determination is performed in the order in which the depth is prioritized for the sake of simplicity. For example, when the coded image is divided at a certain node, the tree determination unit 102 further shifts to the determination about the child node of the node. Further, when the division is not performed in a certain node, the tree determination unit 102 shifts to the determination for the undetermined sibling nodes (parallel nodes). When the determination for all the sibling nodes is completed, the tree determination unit 102 shifts to the determination for the sibling node of the parent node of the node.
  • the tree prediction unit 103 generates a tree prediction vector and a tree compression vector from the coded image and the tree vector (step S103).
  • the image to be encoded has fractal properties
  • one subset of the image is represented by a reduction of another subset, and the subtree structures representing the corresponding parts match, or rotate or invert each other.
  • the tree structure is created by a depth-first search
  • the previously encoded tree structure is copied, rotated, or determined between subtrees that are not in a direct parent-child relationship with each other. By doing so, the tree structure (prediction subtree) to be encoded later can be predicted.
  • the tree prediction unit 103 makes the same prediction using the tree vector used in the other decoded frames as the prediction reference source. You may.
  • the subvector representing the target subtree and the previously generated subvector It is possible to perform high speed by bit operation on the tree vector.
  • the determination can be made by rearranging the partial vectors according to the operations and then performing a bit operation.
  • any other determination method may be used.
  • the tree prediction unit 103 When a certain subtree is predicted by referring to another subtree (reference subtree), the tree prediction unit 103 adds a new symbol to the prediction information (tree prediction information) for identifying the reference destination and the operation. May be assigned and exchanged for the original subvector to be a tree compression vector. Alternatively, the tree prediction unit 103 may exchange a symbol representing only the use of prediction with the original subvector to form a tree compression vector, and represent the prediction information by another vector.
  • the information that identifies the prediction reference destination may be coordinate information on the image or an index on the tree vector.
  • the information for specifying the prediction reference destination may be depth information for specifying the depth of the node based on the tree structure and an index indicating the node position within the depth.
  • the information that identifies the prediction reference destination (tree prediction information) may be a difference (difference tree) from the same type of information that represents the position of the prediction reference source.
  • the tree prediction unit 103 may determine whether or not to perform prediction by comparing the amount of information of the prediction information vector and the amount of information of the vector representing the prediction residual with the amount of information of the original prediction target vector. Good.
  • the processing by the tree prediction unit 103 is performed before the processing by the color determination unit 104, but the order of these processes may be reversed.
  • the optimum reference destination may be determined by assuming that the color information is also predicted from the reference source.
  • the color determination unit 104 generates a color vector from the image to be encoded, the tree prediction vector, and the tree compression vector (step S104).
  • the color vector is a vector consisting of color information corresponding to all the nodes of the tree prediction vector.
  • the color information may indicate the average value of the entire block, or may be a statistic such as a median value or a repeat value.
  • the prediction performance of the child node may change significantly depending on what kind of information the parent node has, depending on the color information prediction method described later and the state of the target block. Therefore, the information indicating the type of information possessed by each node may be separately encoded as additional information.
  • the processing by the color determination unit 104 and the processing by the color prediction unit 10 may be executed at the same time, and the optimum type of information may be selected. Further, instead of the color information itself, an index corresponding to the palette may be used. Further, when the corresponding node is a block, a predetermined pattern dictionary index may be used instead of the color information itself.
  • the color prediction unit 105 generates a color prediction vector and a color compression vector from the coded image, the color vector, and the tree prediction vector (step S105).
  • the procedure for generating the color prediction vector and the color compression vector depends on the procedure for generating the tree prediction vector. In the present embodiment, for the sake of simplicity, it is assumed that the tree prediction vector is generated by the depth-first search as described above, and the prediction is performed from the root node with the depth-first search as described above. I will go on.
  • the prediction method may be any method.
  • a parent-child prediction in which a child node (encoding target node) is predicted using the color information of the parent node and the predicted value is added to the color prediction vector can be considered.
  • the color prediction unit 105 may add the difference between the predicted value (color information adjacent prediction value) by the parent-child prediction and the actual color information (color information adjacent prediction residual) to the color compression vector. .. Further, the color prediction unit 105 predicts the difference value from other already encoded sibling nodes, and the difference (color information) between the predicted difference value (predicted value between color information trees) and the actual difference value. Predicted residuals between trees) may be added to the color compression vector.
  • the color prediction unit 105 uses the color information of the corresponding node of the prediction reference destination as the predicted value. You may try to do it.
  • the color prediction unit 105 does not use the color information itself as a prediction value, but inherits only the correlation between the parent and child of each node of the reference tree and between the siblings, and uses the correlation for prediction of the target node. You may. For example, the color prediction unit 105 derives the difference between the color information of the reference node and the color information of the parent node of the reference node, and adds this difference to the color information of the parent node of the target node to obtain the target node. It may be set to the predicted value of.
  • the color prediction unit 105 may inherit the index as it is and create only the palette according to the target tree.
  • the color prediction unit 105 may predict the color information by referring to the color information of another decoded frame when the image to be encoded is one frame having an image.
  • the entropy encoding unit 106 entropy-encodes the tree compression vector and the color compression vector, and outputs the code (step S106). Any method may be used for entropy encoding.
  • the order of the tree and the color information is also arbitrary.
  • the entropy encoding unit 106 may perform scanning in order from the root node with priority given to depth.
  • the entropy encoding unit 106 may arrange all the nodes belonging to the same depth and then perform the same scan for a depth one step deeper.
  • FIG. 3 is a block diagram showing a configuration of an image decoding device 200 according to an embodiment of the present invention.
  • the image decoding device 200 includes a code input unit 201, an entropy decoding unit 202, a tree prediction unit 203, a color prediction unit 204, and an image reconstruction unit 205.
  • the code input unit 201 receives an input of a code to be processed (hereinafter, referred to as “decoding target code”) output from an external device.
  • the code input unit 201 outputs the decoding target code to the entropy decoding unit 202.
  • the entropy decoding unit 202 acquires the decoding target code output from the code input unit 201.
  • the entropy decoding unit 202 entropy-decodes the decoding target code and generates a decoding tree compression vector and a decoding color compression vector.
  • the entropy decoding unit 202 outputs the generated decoding tree compression vector to the tree prediction unit 203. Further, the entropy decoding unit 202 outputs the generated decoding color compression vector to the color prediction unit 204.
  • the tree prediction unit 203 acquires the decoding tree compression vector output from the entropy decoding unit 202.
  • the tree prediction unit 203 generates a decoding tree vector from the decoding tree compression vector.
  • the tree prediction unit 203 outputs the generated decoding tree vector to the color prediction unit 204 and the image reconstruction unit 205, respectively.
  • the color prediction unit 204 acquires the decoding color compression vector output from the entropy decoding unit 202. Further, the color prediction unit 204 acquires the decoding tree vector output from the tree prediction unit 203. The color prediction unit 204 generates a decoding color vector from the decoding color compression vector and the decoding tree vector. The color prediction unit 204 outputs the generated decoded color vector to the image reconstruction unit 205.
  • the image reconstruction unit 205 acquires the decoding tree vector output from the tree prediction unit 203. Further, the image reconstruction unit 205 acquires the decoded color vector output from the color prediction unit 204. The image reconstruction unit 205 generates a decoded image from the decoding tree vector and the decoding color vector. The image reconstruction unit 205 outputs the generated decoded image to an external device.
  • FIG. 4 is a flowchart showing the operation of the image decoding device 200 according to the embodiment of the present invention.
  • the code input unit 201 accepts the input of the code to be decoded (step S201).
  • the entropy decoding unit 202 entropy decodes the decoding target code and generates a decoding tree compression vector and a decoding color compression vector (step S202).
  • the tree prediction unit 203 generates a decoding tree vector from the decoding tree compression vector (step S203).
  • the method for generating the decoding tree vector may be any method as long as it corresponds to the method for generating the tree structure in the image coding apparatus 100.
  • the tree prediction unit 203 can decode and use the additional information.
  • scalable decoding may be realized by discontinuing tree generation in the middle.
  • all the branches may be censored at the same depth, or some determination may be made for each branch so that the branches are censored at an appropriate depth.
  • the corresponding decoding color compression vector may be used for the above-mentioned censoring determination.
  • the corresponding decoding color vector may be decoded at the same time, and the value of the decoding color vector may be used for the above-mentioned censoring determination.
  • the color prediction unit 204 generates a decoding color vector from the decoding color compression vector and the decoding tree vector (step S204).
  • the method for generating the decoded color vector may be any method as long as it is a method corresponding to the method for generating color information in the image coding apparatus 100.
  • the image reconstruction unit 205 generates and outputs a decoded image from the decoding tree vector and the decoding color vector (step S205).
  • the image reconstruction unit 205 identifies the corresponding pixel or block in each leaf node of the decoding tree vector, and uses the corresponding color information to determine the color of the corresponding pixel.
  • the method for determining the color of the corresponding pixel may be any method as long as it is a method corresponding to the method for generating the tree structure and the method for generating the color information in the image coding apparatus 100.
  • the image reconstruction unit 205 uses the truncated portion as a leaf node and uses the color information of the leaf node as usual to use the corresponding pixel. Determine the color of. If truncated, the decoded image may be decoded as an image with the same resolution as the original image, or as a low resolution image with the deepest leaf node assigned the smallest unit, one pixel. You may.
  • the decoded image is not censored.
  • the image of is downsampled by Haar Wavelet. Further, when the original resolution decoding is performed in the same case as above, the downsampling image becomes upsampled. Further, when the block mode value is used as the color information, an image obtained by sampling the original image with the mode mode is obtained.
  • each branch is cut off at a different depth, it is possible to control the quality for each image area. For example, it is easily realized that an ROI (Region of Interest; target area) is set so that the ROI is preferentially decoded.
  • ROI Region of Interest
  • the image coding method when the image to be coded is encoded, the image is assigned to pixels or blocks and pixels or blocks.
  • the color is represented by, and the block division tree and the color information assigned to all the nodes including the root node, the intermediate node, and the leaf node of the block division tree are encoded.
  • the image coding method includes a division tree generation step of dividing an image to be encoded by an arbitrary division tree to generate a block division tree, and a block in the middle of division corresponding to each node of the block division tree.
  • the color information determination step for determining the representative color representing the block in the middle of division or the block after the division is completed and assigning the determined color as the color information corresponding to each node, and the block division tree It has a tree coding step for encoding and a color information coding step for encoding color information.
  • the image decoding method by the image decoding device 200 decodes the tree information and the color information from the code data, and is based on the decoded tree information and the color information. Decode the image.
  • the image decoding method includes a tree decoding step for decoding a split tree from code data, and a color for decoding color information corresponding to all nodes including the root node, intermediate node, and leaf node of the split tree from the code data. It has an information decoding step and an image decoding step for decoding an image based on a split tree and color information.
  • the image coding device 100 and the image decoding device 200 in the present embodiment can set an arbitrary coded image as a pixel or a block which is a set of pixels and a color assigned to the pixel or the block. It is represented by. Further, the image encoding device 100 and the image decoding device 200 divide the block into a tree structure such as a binary tree / ternary tree / quadtree, and color information possessed by each node including an intermediate node and a leaf node. Represented by ,. The image coding device 100 and the image decoding device 200 predict not only between adjacent pixels but also between adjacent pixels by predicting color information between a parent node and a child node and predicting a tree structure between different tree depths.
  • a tree structure such as a binary tree / ternary tree / quadtree
  • the image coding device 100 and the image decoding device 200 can also predict the tree structure by referring to the already decoded partial tree.
  • the image coding device 100 and the image decoding device 200 can perform efficient compression by utilizing the fractal nature of the image by performing tree structure prediction between different tree depths.
  • the image coding device 100 and the image decoding device 200 according to the embodiment of the present invention can improve the coding efficiency.
  • the image coding device 100 and the image decoding device 200 in the above-described embodiment may be realized by a computer.
  • the program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed.
  • the term "computer system” as used herein includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • a "computer-readable recording medium” is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. It may also include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client in that case. Further, the above program may be for realizing a part of the above-mentioned functions, and may be further realized for realizing the above-mentioned functions in combination with a program already recorded in the computer system. It may be realized by using hardware such as PLD (Programmable Logic Device) or FPGA (Field Programmable Gate Array).
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化対象画像を符号化する場合に、画像を、画素又はブロックと、画素又はブロックに割り当てられた色と、で表し、ブロック分割ツリーと、ブロック分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに割り当てられた色情報と、を符号化する画像符号化方法は、符号化対象画像に対して任意の分割木による分割を行い、ブロック分割ツリーを生成する分割ツリー生成ステップと、ブロック分割ツリーの各ノードに対応する、分割途中のブロック又は分割終了後のブロックについて、分割途中のブロック又は分割終了後のブロックを代表する代表色を決定し、決定された色を各ノードに対応する色情報として割り当てる色情報決定ステップと、ブロック分割ツリーを符号化するツリー符号化ステップと、色情報を符号化する色情報符号化ステップと、を有する。

Description

画像符号化方法、及び画像復号方法
　本発明は、画像符号化方法、及び画像復号方法に関する。
　一般的な画像符号化では、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）、ＤＳＴ（Discrete Sine Transform；離散サイン変換）、及びウェーブレット変換等によって、画像領域から周波数領域への直交変換が行われてからエントロピー符号化が行われる。変換基底の次元と画像の次元とが同一であるため、変換の前後でデータの数は変わらず情報量は削減されないが、変換によってデータの分布が偏ることでエントロピー符号化による符号化効率が向上する。また、このとき主観的な画像品質への寄与率が低いといわれている高周波成分を荒く量子化することで、さらに情報量を削減することもできる。
　また、特に複数の画像を効率的に圧縮する必要のある映像符号化では、より圧縮率を上げるため、画像を処理単位ブロックに分割し、被写体の空間的／時間的な連続性を利用してブロックごとにその画像信号を空間的／時間的に予測する。その予測方法を示す予測情報と、予測残差信号に対して上述の変換や量子化を行ったものとを符号化することで、画像信号そのものを符号化する場合に比べて大幅な符号化効率の向上が図られる。
　画像／映像符号化の標準規格であるＪＰＥＧ（Joint Photographic Experts Group）、Ｈ．２６４／ＭＰＥＧ（Moving Picture Experts Group）－４　ＡＶＣ（Advanced Video Coding）、及びＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）では、ＤＣＴやＤＳＴの係数を量子化する際のＱＰ（Quantization Parameter；量子化パラメータ）が調整されることで発生符号量が制御される。一方で、ＱＰの上昇に伴う高周波成分の欠落、またブロック境界に発生するブロック歪みが画像品質に影響を与え、対象となる画像によってはコンテキストに関わる情報が欠損する。
　このように、一般的には画像を周波数領域に変換し量子化することで情報量を削減する方法が主流である。その一方で、別の方法として、画像に使われている色を並べたルックアップテーブル（色のセット）であるパレット（カラーパレット）と、画素ごとにテーブル参照のために割り当てられたインデックスとを符号化対象とする、パレット符号化と呼ばれる方法もある。パレット符号化は、画像中に出現する色の数が少ない場合、及び、ＤＣＴ等の自然画像向けの変換基底で効率よく表現ができない場合における画像に対して主に用いられる。
　Ｈ．２６５／ＨＥＶＣでは、パレット符号化モードをスクリーンコンテンツのプロファイルのためのツールとして採用している。スクリーンコンテンツとは、コンピュータグラフィックスで生成された映像等、自然画ではない映像の総称である。ＨＥＶＣでは、通常のパレットに対するインデックスの他に、隣接画素と同じ色を使用することを意味するコピーインデックスを定義している。従って、局所的に色数が少なく、かつ、多くの場合において同じ色が空間的に連続するスクリーンコンテンツに対しては、ブロックごとにパレット符号化モードを使用し、またコピーインデックスに短い符号長を割り当てることで、効率の良い圧縮が可能である。なお、ＨＥＶＣのパレットコーディングについては、例えば、非特許文献１に詳しい。
　一方で、画素のスキャン順が決まっており、スキャン順が前後に隣接している隣接画素同士の色が異なる場合、いくら近傍に同じ色が存在していても、コピーインデックスを使うことはできず、通常のパレットインデックスを使わざるを得ない。また、局所的に色数が多い場合は、パレットインデックスの情報量が増加するため、圧縮効率を期待することはできない。
W. Pu, M. Karczewicz, R. Joshi, V. Seregin, F. Zou, J. Sole, Y. C. Sun, T. D. Chuang, P. Lai, S. Liu, S. T. Hsiang, J. Ye, and Y. W. Huang, "Palette Mode Coding in HEVC Screen Content Coding Extension," IEEE Journal on Emerging and Selected Topics in Circuits and Systems, vol. 6, no. 4, pp. 420-432, 2016.
　上述したように、隣接画素同士の色が異なる場合、及び、局所的に色数が多い場合には、パレット符号化の符号化効率が悪化する。
　本発明は、このような事情に鑑みてなされたもので、効率的に符号化を行うことができる画像符号化方法及び画像復号方法を提供することを目的とする。
　本発明の一態様は、符号化対象画像を符号化する場合に、画像を、画素又はブロックと、前記画素又は前記ブロックに割り当てられた色と、で表し、ブロック分割ツリーと、前記ブロック分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに割り当てられた色情報と、を符号化する画像符号化方法であって、前記符号化対象画像に対して任意の分割木による分割を行い、前記ブロック分割ツリーを生成する分割ツリー生成ステップと、前記ブロック分割ツリーの各ノードに対応する、分割途中のブロック又は分割終了後のブロックについて、前記分割途中のブロック又は前記分割終了後のブロックを代表する代表色を決定し、決定された前記色を前記各ノードに対応する色情報として割り当てる色情報決定ステップと、前記ブロック分割ツリーを符号化するツリー符号化ステップと、前記色情報を符号化する色情報符号化ステップと、を有する画像符号化方法である。
　本発明により、効率的に符号化を行うことができる。
本発明の一実施形態における画像符号化装置１００の構成を示すブロック図である。 本発明の一実施形態における画像符号化装置１００の動作を示すフローチャートである。 本発明の一実施形態における画像復号装置２００の構成を示すブロック図である。 本発明の一実施形態における画像復号装置２００の動作を示すフローチャートである。
　以下、本発明の一実施形態における画像符号化装置１００及び画像復号装置２００について説明する。
［画像符号化装置の機能構成］
　以下、図１を参照して、画像符号化装置１００の機能構成について説明する。図１は、本発明の一実施形態における画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、図１に示すように、画像入力部１０１と、ツリー決定部１０２と、ツリー予測部１０３と、色決定部１０４と、色予測部１０５と、エントロピー符号化部１０６と、を備えている。
　画像入力部１０１は、外部の装置から出力された、処理対象となる画像（以下、「符号化対象画像」という。）の入力を受け付ける。画像入力部１０１は、符号化対象画像を、ツリー決定部１０２、及び色決定部１０４へそれぞれ出力する。
　ツリー決定部１０２は、画像入力部１０１から出力された、符号化対象画像を取得する。ツリー決定部１０２は、符号化対象画像からツリーベクトル（ブロック分割ツリー）を生成する。なお、ツリーは、二分木、三分木、又は四分木等、どのようなツリーでも構わないが、本実施形態においては説明を簡単にするため、一例として四分木であるものとする。ツリー決定部１０２は、符号化対象画像と、生成されたツリーベクトルとを、ツリー予測部１０３へ出力する。
　ツリー予測部１０３は、ツリー決定部１０２から出力された符号化対象画像とツリーベクトルとを取得する。ツリー予測部１０３は、符号化対象画像とツリーベクトルとから、ツリー予測ベクトルとツリー圧縮ベクトルとを生成する。ツリー予測部１０３は、生成されたツリー予測ベクトルとツリー圧縮ベクトルとを、色決定部１０４、及び色予測部１０５へそれぞれ出力する。また、ツリー予測部１０３は、生成されたツリー圧縮ベクトルをエントロピー符号化部１０６へ出力する。
　色決定部１０４は、画像入力部１０１から出力された符号化対象画像を取得する。また、色決定部１０４は、ツリー予測部１０３から出力された、ツリー予測ベクトルとツリー圧縮ベクトルとを取得する。色決定部１０４は、符号化対象画像とツリー予測ベクトルとツリー圧縮ベクトルとから、色ベクトルを生成する。色決定部１０４は、符号化対象画像と、生成された色ベクトルとを、色予測部１０５へ出力する。
　色予測部１０５は、ツリー予測部１０３から出力された、ツリー予測ベクトルとツリー圧縮ベクトルとを取得する。また、色予測部１０５は、色決定部１０４から出力された、符号化対象画像と色ベクトルとを取得する。色予測部１０５は、符号化対象画像と色ベクトルとツリー予測ベクトルとツリー圧縮ベクトルとから、色圧縮ベクトルを生成する。色予測部１０５は、生成された色圧縮ベクトルをエントロピー符号化部１０６へ出力する。
　エントロピー符号化部１０６は、ツリー予測部１０３から出力されたツリー圧縮ベクトルを取得する。また、エントロピー符号化部１０６は、色予測部１０５から出力された色圧縮ベクトルを取得する。エントロピー符号化部１０６は、ツリー圧縮ベクトルと色圧縮ベクトルとをエントロピー符号化する。エントロピー符号化部１０６は、符号を外部の装置へ出力する。
［画像符号化装置の動作］
　以下、図２を参照して、画像符号化装置１００の動作について説明する。図２は、本発明の一実施形態における画像符号化装置１００の動作を示すフローチャートである。
　まず、画像入力部１０１は、符号化対象画像の入力を受け付ける（ステップＳ１０１）。次に、ツリー決定部１０２は、符号化対象画像からツリーベクトルを生成する（ステップＳ１０２）。なお、上述したように、ツリーは、例えば二分木、三分木、又は四分木等、どのようなツリーであっても構わないが、以下の説明においては四分木であるものとする。
　以下、説明を簡単にするため、符号化対象画像の画像サイズは、縦横それぞれ２Ｎであるものとして説明する。まず、ツリー決定部１０２は、符号化対象画像を四分割するか否かについての判定を行う。この判定において、どのような判定基準が用いられても構わない。例えば、最も単純な判定基準として、符号化対象画像の色数が閾値以上の場合に符号化対象画像の分割を行う、という判定基準を用いることができる。ここで、閾値を２とした場合、ロスレス圧縮（可逆圧縮）となる。
　なお、ヒストグラムや、分散等の統計的情報を使用して判定がなされてもよい。あるいは、符号化対象画像の分割によって生じる、ツリー構造を示す情報及び色情報についての情報量と、他の情報量等（例えば、直交変換と量子化又はパレット符号化を行う場合に必要な情報量及び復号画像の品質）とのトレードオフを計算することによって、判定がなされてもよい。
　ツリー決定部１０２は、符号化対象画像の分割を行った場合、ツリーのルートノードに分割を示すシンボルを割り当て、さらに４つの子ノードを生成する。そして、ツリー決定部１０２は、各子ノードについて順番に、上記と同様に、符号化対象画像を四分割するか否かについての判定を行う。符号化対象画像を分割しないことを示すシンボルをａ、符号化対象画像を分割することを示すシンボルをｂとした場合、ツリーベクトルは二値のベクトルとなる。
　なお、判定の順番はどのような順番であってもよいが、本実施形態においては、説明を簡単にするため、深さを優先させた順番で判定が行われるものとする。例えば、ツリー決定部１０２は、あるノードにおいて符号化対象画像の分割が行われた場合には、さらに当該ノードの子ノードについての判定に移行する。また、ツリー決定部１０２は、あるノードにおいて分割が行われなかった場合には、未判定の兄弟ノード（並列するノード）について判定に移行する。なお、全ての兄弟ノードについての判定が完了した場合には、ツリー決定部１０２は、当該ノードの親ノードの兄弟ノードについての判定に移行する。
　次に、ツリー予測部１０３は、符号化対象画像とツリーベクトルとから、ツリー予測ベクトルとツリー圧縮ベクトルとを生成する（ステップＳ１０３）。符号化対象画像にフラクタル性がある場合、画像のある部分集合が別の部分集合の縮小で表され、該当する部分を表す部分ツリー構造同士が、一致する、又は互いに回転や反転した関係になることがある。上述したように、深さ優先の探索によってツリー構造が作成された場合、互いに直系の親子関係にはない部分ツリー同士においては、前に符号化された方のツリー構造をコピー、回転、又は判定することによって、後に符号化される方のツリー構造（予測部分ツリー）を予測することができる。
　なお、符号化対象画像が映像の中のある１フレームである場合には、ツリー予測部１０３は、他の復号済みのフレームにおいて使用したツリーベクトルを予測参照元として、同様の予測を行うようにしてもよい。
　ある部分ツリーが、既に符号化済みのツリー構造の一部によって予測可能であるか否かについての判定は、ツリーベクトルが二値である場合、対象部分ツリーを表す部分ベクトルと、それまでに生成したツリーベクトルに対するビット演算とによって、高速に行うことが可能である。回転及び反転等の操作を伴う場合には、部分ベクトルを操作に応じて並べ替えてからビット演算を行うことによって判定が可能である。なお、その他、どのような判定方法が用いられてもよい。
　ある部分ツリーが、他の部分ツリー（参照部分ツリー）を参照することによって予測される場合、ツリー予測部１０３は、参照先及び操作を特定するための予測情報（ツリー予測情報）に新たなシンボルを割当てて、元の部分ベクトルと交換して、ツリー圧縮ベクトルとしてもよい。又は、ツリー予測部１０３は、予測を用いることだけを表すシンボルを元の部分ベクトルと交換してツリー圧縮ベクトルとし、予測情報を別のベクトルによって表現するようにしてもよい。
　なお、予測参照先を特定する情報は、画像上での座標情報であってもよいし、ツリーベクトル上のインデックスであってもよい。又は、予測参照先を特定する情報は、ツリー構造に基づきノードの深度を特定するための深度情報と当該深度内でのノード位置を示すインデックスとであってもよい。又は、予測参照先を特定する情報（ツリー予測情報）は、予測参照元の位置を表す同種の情報との差分（差分ツリー）であってもよい。また、ツリー予測部１０３は、予測情報ベクトルの情報量及び予測残差を表すベクトルの情報量と、元の予測対象ベクトルの情報量とを比較して、予測を行うかどうかを決定してもよい。
　また、本実施形態においては、ツリー予測部１０３による処理を、色決定部１０４による処理の前に行っているが、これらの処理の順序を逆にしてもよい。この場合、色情報も参照元から予測されるものとして、最適な参照先が決定されるようにしてもよい。
　次に、色決定部１０４は、符号化対象画像とツリー予測ベクトルとツリー圧縮ベクトルとから、色ベクトルを生成する（ステップＳ１０４）。色ベクトルは、ツリー予測ベクトルの全てのノードに対応する色情報からなるベクトルである。対応ノードがブロックである場合、色情報は、ブロック全体の平均値を示したものであってもよいし、中央値又は再頻値等の統計量であってもよい。
　なお、後述する色情報予測の方法、及び対象ブロックの状態により、親ノードがどのような種類の情報を持つかによって、子ノードの予測性能が大きく変わることがある。したがって、各ノードが持つ種類の情報を示す情報が、別途付加情報として符号化されてもよい。
　また、色決定部１０４による処理と色予測部１０によるの処理とが同時に実行され、最適な種類の情報が選択されるようにしてもよい。また、色情報そのものの代わりに、パレットに対応するインデックスが用いられてもよい。また、対応ノードがブロックである場合、色情報そのものの代わりに、予め定められたパターン辞書のインデックスが用いられてもよい。
　次に、色予測部１０５は、符号化対象画像と色ベクトルとツリー予測ベクトルとから、色予測ベクトルと色圧縮ベクトルとを生成する（ステップＳ１０５）。色予測ベクトル及び色圧縮ベクトルの生成の手順は、ツリー予測ベクトルの生成手順に依存する。本実施形態においては、説明を簡単にするため、ツリー予測ベクトルが、上述したように、深さ優先の探索で生成されていることとし、上記と同様にルートノードから深さ優先で予測が行われていくこととする。
　なお、予測の方法はどのような方法であってもよい。例えば、予測の方法として、親ノードの色情報を使用して子ノード（符号化対象ノード）の予測を行い、予測値を色予測ベクトルに追加する親子間予測が考えられる。この場合、色予測部１０５は、親子間予測による予測値（色情報隣接予測値）と実際の色情報との差分（色情報隣接予測残差）を色圧縮ベクトルに追加するようにしてもよい。さらに、色予測部１０５は、その差分値を、既に符号化済みの他の兄弟ノードから予測し、予測された差分値（色情報ツリー間予測値）と実際の差分値との差分（色情報ツリー間予測残差）を、色圧縮ベクトルに追加するようにしてもよい。
　又は、対象ノードを含む部分ツリーが他の部分ツリー（参照部分ツリー）を参照することによって予測されている場合、色予測部１０５は、その予測参照先の対応するノードの色情報を予測値とするようにしてもよい。
　又は、色予測部１０５は、色情報そのものを予測値とせず、参照先ツリーの各ノードの親子間及び兄弟間の相関関係だけを継承し、当該相関関係を対象ノードの予測に利用するようにしてもよい。例えば、色予測部１０５は、参照先ノードの色情報と当該参照先ノードの親ノードの色情報との差を導出し、この差を対象ノードの親ノードの色情報に加算したものを対象ノードの予測値とするようにしてもよい。
　又は、色情報としてパレットに対するインデックス値を使用している場合、色予測部１０５は、インデックスをそのまま継承し、パレットのみを対象ツリーに合わせて作成するようにしてもよい。
　又は、色予測部１０５は、符号化対象画像が映像のある１フレームである場合に、他の復号済みのフレームの色情報を参照することによって、色情報を予測するようにしてもよい。
　最後に、エントロピー符号化部１０６は、ツリー圧縮ベクトルと色圧縮ベクトルとをエントロピー符号化し、符号を出力する（ステップＳ１０６）。エントロピー符号化の方法はどのような方法あってもよい。また、ツリー及び色情報の並び順についても、任意である。例えば、エントロピー符号化部１０６は、ルートノードから順に、深度を優先してスキャンを行うようにしてもよい。又は、例えば、エントロピー符号化部１０６は、同じ深度に属するノードについて全て並べた後、さらに一段階深い深度について同様にスキャンを行うようにしてもよい。
　なお、深度別にスキャンされる場合には、復号時にエントロピー復号が途中で打ち切られたとしても、既に復号した深度までの情報を用いて、低解像度画像を生成することが可能である。
［画像復号装置の機能構成］
　以下、図３を参照して、画像復号装置２００の機能構成について説明する。図３は、本発明の一実施形態における画像復号装置２００の構成を示すブロック図である。画像復号装置２００は、図３に示すように、符号入力部２０１と、エントロピー復号部２０２と、ツリー予測部２０３と、色予測部２０４と、画像再構成部２０５と、を備えている。
　符号入力部２０１は、外部の装置から出力された、処理対象となる符号（以下、「復号対象符号」という。）の入力を受け付ける。符号入力部２０１は、復号対象符号を、エントロピー復号部２０２へ出力する。
　エントロピー復号部２０２は、符号入力部２０１から出力された復号対象符号を取得する。エントロピー復号部２０２は、復号対象符号をエントロピー復号し、復号ツリー圧縮ベクトルと復号色圧縮ベクトルとを生成する。エントロピー復号部２０２は、生成された復号ツリー圧縮ベクトルをツリー予測部２０３へ出力する。また、エントロピー復号部２０２は、生成された復号色圧縮ベクトルを色予測部２０４へ出力する。
　ツリー予測部２０３は、エントロピー復号部２０２から出力された復号ツリー圧縮ベクトルを取得する。ツリー予測部２０３は、復号ツリー圧縮ベクトルから復号ツリーベクトルを生成する。ツリー予測部２０３は、生成された復号ツリーベクトルを、色予測部２０４及び画像再構成部２０５へそれぞれ出力する。
　色予測部２０４は、エントロピー復号部２０２から出力された復号色圧縮ベクトルを取得する。また、色予測部２０４は、ツリー予測部２０３から出力された復号ツリーベクトルを取得する。色予測部２０４は、復号色圧縮ベクトルと復号ツリーベクトルとから、復号色ベクトルを生成する。色予測部２０４は、生成された復号色ベクトルを画像再構成部２０５へ出力する。
　画像再構成部２０５は、ツリー予測部２０３から出力された復号ツリーベクトルを取得する。また、画像再構成部２０５は、色予測部２０４から出力された復号色ベクトルを取得する。画像再構成部２０５は、復号ツリーベクトルと復号色ベクトルとから、復号画像を生成する。画像再構成部２０５は、生成された復号画像を外部の装置へ出力する。
［画像復号装置の動作］
　以下、図４を参照して、画像復号装置２００の動作について説明する。図４は、本発明の一実施形態における画像復号装置２００の動作を示すフローチャートである。
　まず、符号入力部２０１は、復号対象符号の入力を受け付ける（ステップＳ２０１）。次に、エントロピー復号部２０２は、復号対象符号をエントロピー復号し、復号ツリー圧縮ベクトルと復号色圧縮ベクトルとを生成する（ステップＳ２０２）。
　次に、ツリー予測部２０３は、復号ツリー圧縮ベクトルから復号ツリーベクトルを生成する（ステップＳ２０３）。復号ツリーベクトルの生成の方法は、画像符号化装置１００におけるツリー構造の生成方法に対応する方法であるならば、どのような方法であってもよい。別途付加情報が符号化されている場合には、ツリー予測部２０３は、当該付加情報それを復号して使用することができる。
　なお、ツリー生成が途中で打ち切られるようにすることで、スケーラブル復号が実現されてもよい。この場合、全ての枝が同じ深度で打ち切られてもよいし、枝ごとに何らかの判定が行われて適切な深度で打ち切られるようにしてもよい。また、この場合、対応する復号色圧縮ベクトルが、上記の打ち切りの判定に用いられてもよい。又は、対応する復号色ベクトルの復号が同時に行われるようにし、復号色ベクトルの値が、上記の打ち切りの判定に用いられてもよい。
　次に、色予測部２０４は、復号色圧縮ベクトルと復号ツリーベクトルとから、復号色ベクトルを生成する（ステップＳ２０４）。復号色ベクトルの生成の方法は、画像符号化装置１００におけるの色情報の生成方法に対応する方法であるならば、どのような方法であってもよい。
　最後に、画像再構成部２０５は、復号ツリーベクトルと復号色ベクトルとから、復号画像を生成し、出力する（ステップＳ２０５）。画像再構成部２０５は、復号ツリーベクトルの各リーフノードにおける対応画素又はブロックを特定し、対応する色情報を使用して対応画素の色を決定する。対応画素の色の決定の方法は、画像符号化装置１００におけるツリー構造の生成方法と色情報の生成方法とに対応する方法であるならば、どのような方法であってもよい。
　上述したように、復号色圧縮ベクトルの生成が途中で打ち切られている場合、画像再構成部２０５は、打ち切られた部分をリーフノードとして、通常通りそのリーフノードの色情報を用いて、対応画素の色を決定する。打ち切りが行われている場合、復号画像は、原画像と同じ解像度の画像として復号されてもよいし、又は、最も深いリーフノードに最小単位である１画素が割り当てられる低解像度の画像として復号されてもよい。
　例えば、もし色情報としてブロック平均色が選択されており、かつ、全ての枝が同じ深度で打ち切られているケースで低解像度復号が行われると、復号される画像は、打ち切りがなされなかった場合の画像がハールウェーブレットでダウンサンプリングされたものになる。また、上記と同じケースで原解像度復号が行われると、ダウンサンプリング画像がアップサンプリングされたものになる。また、色情報としてブロック最頻値が使用されていた場合、原画像に対し最頻値フィルタでサンプリングが行われた画像が得られる。
　なお、枝ごとに異なる深度で打ち切りがなされる場合、画像の領域ごとに品質をコントロールすることが可能となる。例えば、ＲＯＩ（Region of Interest；対象領域）が設定され、当該ＲＯＩが優先的に復号されるようにすることが容易に実現される。
　以上説明したように、本発明の一実施形態における画像符号化装置１００による画像符号化方法は、符号化対象画像を符号化する場合に、画像を、画素又はブロックと、画素又はブロックに割り当てられた色と、で表し、ブロック分割ツリーと、ブロック分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに割り当てられた色情報と、を符号化する。当該画像符号化方法は、符号化対象画像に対して任意の分割木による分割を行い、ブロック分割ツリーを生成する分割ツリー生成ステップと、ブロック分割ツリーの各ノードに対応する、分割途中のブロック又は分割終了後のブロックについて、分割途中のブロック又は分割終了後のブロックを代表する代表色を決定し、決定された色を各ノードに対応する色情報として割り当てる色情報決定ステップと、ブロック分割ツリーを符号化するツリー符号化ステップと、色情報を符号化する色情報符号化ステップとを有する。
　また、以上説明したように、本発明の一実施形態における画像復号装置２００による画像復号方法は、符号データからツリー情報と色情報とを復号し、復号されたツリー情報と色情報とに基づいて画像を復号する。当該画像復号方法は、符号データから、分割ツリーを復号するツリー復号ステップと、符号データから、分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに対応する色情報を復号する色情報復号ステップと、分割ツリーと色情報とに基づいて画像を復号する画像復号ステップとを有する。
　上記の構成を備えることにより、本実施形態における画像符号化装置１００及び画像復号装置２００は、任意の符号化対象画像を、画素又は画素の集合であるブロックと、画素又はブロックに割り当てられた色と、で表す。また、画像符号化装置１００及び画像復号装置２００は、ブロック分割を、二分木／三分木／四分木等のツリー構造と、中間ノードとリーフノードとを含めた各ノードが持つ色情報と、で表す。画像符号化装置１００及び画像復号装置２００は、親ノードと子ノードとの間での色情報予測、及び異なるツリー深度の間でのツリー構造の予測を行うことによって、隣接画素間だけでなく、広域な空間的予測を行うことができる。また、画像符号化装置１００及び画像復号装置２００は、既に復号済みの部分ツリーを参照してツリー構造予測を行うこともできる。画像符号化装置１００及び画像復号装置２００は、ツリー構造予測を、異なるツリー深度同士で行うことで、画像の持つフラクタル性を利用して、効率的な圧縮を行うことができる。
　以上により、本発明の一実施形態における画像符号化装置１００及び画像復号装置２００は、符号化効率を向上させることができる。
　上述した実施形態における画像符号化装置１００と画像復号装置２００を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
　また上記プログラムは、上述した機能の一部を実現するためのものであっても良く、さらに上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
　以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
１００・・・画像符号化装置、１０１・・・画像入力部、１０２・・・ツリー決定部、１０３・・・ツリー予測部、１０４・・・色決定部、１０５・・・色予測部、１０６・・・エントロピー符号化部、２００・・・画像復号装置、２０１・・・符号入力部、２０２・・・エントロピー復号部、２０３・・・ツリー予測部、２０４・・・色予測部、２０５・・・画像再構成部

Claims (13)

  1. 　符号化対象画像を符号化する場合に、画像を、画素又はブロックと、前記画素又は前記ブロックに割り当てられた色と、で表し、ブロック分割ツリーと、前記ブロック分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに割り当てられた色情報と、を符号化する画像符号化方法であって、
    　前記符号化対象画像に対して任意の分割木による分割を行い、前記ブロック分割ツリーを生成する分割ツリー生成ステップと、
    　前記ブロック分割ツリーの各ノードに対応する、分割途中のブロック又は分割終了後のブロックについて、前記分割途中のブロック又は前記分割終了後のブロックを代表する代表色を決定し、決定された前記色を前記各ノードに対応する色情報として割り当てる色情報決定ステップと、
    　前記ブロック分割ツリーを符号化するツリー符号化ステップと、
    　前記色情報を符号化する色情報符号化ステップと、
    　を有する画像符号化方法。
  2. 　前記ブロック分割ツリーの任意のノード以下のツリーである部分ツリーについて、既に符号化済みの他の部分ツリーである参照部分ツリーを参照して予測を行い、予測された前記部分ツリーである予測部分ツリーを生成するツリー予測ステップ
    　をさらに備え、
    　前記ツリー符号化ステップは、前記参照部分ツリーを特定するツリー予測情報と、前記部分ツリーと前記予測部分ツリーとの差を特定する差分ツリーと、を符号化する
    　請求項１に記載の画像符号化方法。
  3. 　任意の符号化対象ノードについて、前記符号化対象ノードの既に符号化済みである親ノード又は兄弟ノードの色情報を参照して色情報隣接予測値を生成し、前記符号化対象ノードの色情報と前記色情報隣接予測値との差分である色情報隣接予測残差を生成する色情報隣接予測ステップ
    　をさらに備え、
    　前記色情報符号化ステップは、前記色情報隣接予測残差を符号化対象とする
    　請求項２に記載の画像符号化方法。
  4. 　前記ブロック分割ツリーの任意の前記部分ツリーのそれぞれのノードについて、前記参照部分ツリーに対応する前記色情報を参照して色情報ツリー間予測値を生成し、前記色情報ツリー間予測値と前記符号化対象ノードの色情報との差分である色情報ツリー間予測残差を生成する色情報ツリー間予測ステップ
    　をさらに備え、
    　前記色情報符号化ステップは、前記参照部分ツリーを特定する色情報ツリー間予測情報と、前記色情報ツリー間予測残差とを符号化する
    　請求項３に記載の画像符号化方法。
  5. 　前記画像に含まれる前記色情報、前記色情報隣接予測残差、及び前記色情報ツリー間予測残差に使用される色のセットであるカラーパレットを生成するカラーパレット生成ステップ
    　をさらに備え、
    　前記色情報符号化ステップは、前記カラーパレットと、前記カラーパレットに対応するインデックスと、を符号化する
    　請求項４に記載の画像符号化方法。
  6. 　前記ツリー符号化ステップ及び前記色情報符号化ステップは、前記ブロック分割ツリー及び前記色情報を符号化する場合に、前記ブロック分割ツリーの深度別に符号化を行う
    　請求項１から請求項５のいずれか一項に記載の画像符号化方法。
  7. 　前記色情報決定ステップは、前記ブロックに含まれる画素について、前記画素の再頻値を代表色として前記代表色をノードに対応する色情報として割り当てる
    　請求項１から請求項６のいずれか一項に記載の画像符号化方法。
  8. 　符号データからツリー情報と色情報とを復号し、復号されたツリー情報と前記色情報とに基づいて画像を復号する画像復号方法であって、
    　前記符号データから、ブロック分割ツリーを復号するツリー復号ステップと、
    　前記符号データから、前記ブロック分割ツリーのルートノードと中間ノードとリーフノードとを含む全てのノードに対応する色情報を復号する色情報復号ステップと、
    　前記ブロック分割ツリーと前記色情報とに基づいて前記画像を復号する画像復号ステップと、
    　を有する画像復号方法。
  9. 　ツリー予測ステップ
    　をさらに備え、
    　前記ツリー復号ステップは、前記ブロック分割ツリーの任意のノード以下のツリーである部分ツリーについて、既に復号済みの他の部分ツリーである参照部分ツリーを特定するツリー予測情報と、前記参照部分ツリーに基づいて予測された前記部分ツリーである予測部分ツリーと前記部分ツリーとの差を特定する差分ツリーと、を復号し、
    　前記ツリー予測ステップは、前記参照部分ツリーを参照して前記予測部分ツリーを生成し、前記予測部分ツリーと前記差分ツリーとから前記ブロック分割ツリーを生成する
    　請求項８に記載の画像復号方法。
  10. 　色情報隣接予測ステップ
    　をさらに有し、
    　前記色情報復号ステップは、復号対象ノードの色情報と色情報隣接予測値との差分である色情報隣接予測残差を復号し、
    　前記色情報隣接予測ステップは、任意の前記復号対象ノードについて、前記復号対象ノードの既に符号化済みの親ノード又は兄弟ノードの色情報を参照して前記色情報隣接予測値を生成し、前記色情報隣接予測値と前記色情報隣接予測残差とから前記色情報を生成する
    　請求項９に記載の画像復号方法。
  11. 　色情報ツリー間予測ステップ
    　をさらに有し、
    　前記色情報復号ステップは、前記ブロック分割ツリーの任意の前記部分ツリーのそれぞれのノードについて、既に符号化済みの他の前記参照部分ツリーを特定する色情報ツリー間予測情報と、色情報ツリー間予測値と前記復号対象ノードの色情報との差分である色情報ツリー間予測残差とを復号し、
    　前記色情報ツリー間予測ステップは、前記参照部分ツリーに対応する色情報を参照して色情報ツリー間予測値を生成し、前記色情報ツリー間予測値と前記色情報ツリー間予測残差とから前記色情報を生成する
    　請求項１０に記載の画像復号方法。
  12. 　カラー割当ステップ
    　をさらに有し、
    　前記色情報復号ステップは、前記画像に含まれる、前記色情報、前記色情報隣接予測残差、又は前記色情報ツリー間予測残差に使用される色のセットであるカラーパレットと、各ノードにおける前記カラーパレットに対応するインデックスとを復号し、
    　前記カラー割当ステップは、前記カラーパレットと前記インデックスとから前記各ノードの色情報を生成する
    　請求項１１に記載の画像復号方法。
  13. 　前記ツリー復号ステップ及び前記色情報復号ステップは、
    　前記ブロック分割ツリー及び前記色情報を復号する場合に、前記ブロック分割ツリーの深度別に復号を行う
    　請求項８から請求項１２のいずれか一項に記載の画像復号方法。
PCT/JP2019/024859 2019-06-24 2019-06-24 画像符号化方法、及び画像復号方法 WO2020261313A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021528644A JP7273339B2 (ja) 2019-06-24 2019-06-24 画像符号化方法、及び画像復号方法
PCT/JP2019/024859 WO2020261313A1 (ja) 2019-06-24 2019-06-24 画像符号化方法、及び画像復号方法
US17/621,592 US20220358685A1 (en) 2019-06-24 2019-06-24 Image encoding method and image decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024859 WO2020261313A1 (ja) 2019-06-24 2019-06-24 画像符号化方法、及び画像復号方法

Publications (1)

Publication Number Publication Date
WO2020261313A1 true WO2020261313A1 (ja) 2020-12-30

Family

ID=74061556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024859 WO2020261313A1 (ja) 2019-06-24 2019-06-24 画像符号化方法、及び画像復号方法

Country Status (3)

Country Link
US (1) US20220358685A1 (ja)
JP (1) JP7273339B2 (ja)
WO (1) WO2020261313A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116996687A (zh) * 2023-07-21 2023-11-03 深圳市战音科技有限公司 一种图像拆分编码方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05250136A (ja) * 1992-03-04 1993-09-28 Fujitsu Ltd データ圧縮用辞書作成方法及び符号化方法
JP2000092331A (ja) * 1998-09-17 2000-03-31 Sony Corp 階層データの生成装置および方法、階層データの生成復元システムおよび方法
JP2003513538A (ja) * 1999-10-22 2003-04-08 アクティブスカイ，インコーポレイテッド オブジェクト指向ビデオシステム
JP2005524319A (ja) * 2002-04-30 2005-08-11 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 適応的な区画を通じた画像および画像シーケンスの圧縮

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005981A (en) * 1996-04-11 1999-12-21 National Semiconductor Corporation Quadtree-structured coding of color images and intra-coded images
EP2461293A1 (en) * 2005-09-23 2012-06-06 Slipstream Data Inc. Method, system and computer program product for providing entropy constrained color splitting for palette images with color-wise splitting
CN104618727B (zh) * 2009-12-10 2018-01-12 Sk电信有限公司 使用树形结构的解码方法
JP5281624B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP5357199B2 (ja) * 2011-03-14 2013-12-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
US9467701B2 (en) * 2012-04-05 2016-10-11 Qualcomm Incorporated Coded block flag coding
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US9883197B2 (en) * 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US10382791B2 (en) * 2015-03-06 2019-08-13 Qualcomm Incorporated Data structure for video coding unit
MX2018014492A (es) * 2016-05-25 2019-08-12 Arris Entpr Llc Estructura de bloque de codificacion de jvet con particionamiento asimetrico.
CN107566848B (zh) * 2016-06-30 2020-04-14 华为技术有限公司 编解码的方法及装置
CN108933941A (zh) * 2017-05-26 2018-12-04 富士通株式会社 图像编码方法和装置以及图像解码方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05250136A (ja) * 1992-03-04 1993-09-28 Fujitsu Ltd データ圧縮用辞書作成方法及び符号化方法
JP2000092331A (ja) * 1998-09-17 2000-03-31 Sony Corp 階層データの生成装置および方法、階層データの生成復元システムおよび方法
JP2003513538A (ja) * 1999-10-22 2003-04-08 アクティブスカイ，インコーポレイテッド オブジェクト指向ビデオシステム
JP2005524319A (ja) * 2002-04-30 2005-08-11 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． 適応的な区画を通じた画像および画像シーケンスの圧縮

Also Published As

Publication number Publication date
JP7273339B2 (ja) 2023-05-15
US20220358685A1 (en) 2022-11-10
JPWO2020261313A1 (ja) 2020-12-30

Similar Documents

Publication Publication Date Title
JP6342549B2 (ja) ビデオ復号化方法とその装置
RU2666319C1 (ru) Способ, устройство и система для кодирования и декодирования единицы кодирования
CN107835421B (zh) 对视频编码的方法和设备以及对视频解码的方法和设备
JP6351040B2 (ja) 層状の信号品質階層のおける信号処理およびインヘリタンスの方法、プログラム、及び、コンピュータシステム
TWI554082B (zh) 於視訊寫碼處理中用於係數階層寫碼之萊斯（ｒｉｃｅ）參數更新
US20170302939A1 (en) Adaptive screen and video coding scheme
JPWO2020066680A1 (ja) 画像処理装置および方法
JP5718363B2 (ja) 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置
TWI625962B (zh) 取樣自適應偏移解碼方法
CN113545064A (zh) 用于处理视频内容的方法和***
KR101266577B1 (ko) 화상 처리 방법 및 장치
JP2005333622A (ja) イメージおよびビデオの予測可逆符号化
JP6178798B2 (ja) 終了可能な空間ツリー型位置符号化および復号
JP6664819B2 (ja) デジタル画像のブロックのマスクベースの処理のためのシステムおよび方法
JP2015504256A (ja) Ｈｅｖｃにおけるｃａｂａｃの高スループット符号化
KR100908282B1 (ko) 단계적 가역 비디오 부호화 방법, 단계적 가역 비디오 복호 방법, 단계적 가역 비디오 부호화 장치, 단계적 가역 비디오 복호 장치, 이들의 프로그램의 기록 매체
KR102218696B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
JP2013219823A (ja) ビデオ符号化方法及び装置、ビデオ復号化方法及び装置
JP2014511628A (ja) 映像をコーディングするための方法
WO2011121843A1 (ja) 画像符号化及び画像復号化方法
KR20110045949A (ko) 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
KR102012906B1 (ko) 디지털 이미지의 블록을 처리하는 시스템 및 방법
WO2020261313A1 (ja) 画像符号化方法、及び画像復号方法
WO2021002214A1 (ja) 情報処理装置および方法
Singh et al. A brief introduction on image compression techniques and standards

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19935224

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528644

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19935224

Country of ref document: EP

Kind code of ref document: A1