JPWO2011121843A1 - Image encoding and image decoding method - Google Patents
Image encoding and image decoding method Download PDFInfo
- Publication number
- JPWO2011121843A1 JPWO2011121843A1 JP2012508020A JP2012508020A JPWO2011121843A1 JP WO2011121843 A1 JPWO2011121843 A1 JP WO2011121843A1 JP 2012508020 A JP2012508020 A JP 2012508020A JP 2012508020 A JP2012508020 A JP 2012508020A JP WO2011121843 A1 JPWO2011121843 A1 JP WO2011121843A1
- Authority
- JP
- Japan
- Prior art keywords
- block
- flag
- blocks
- decoding
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
ブロック単位での分割情報を示すフラグを含むビットストリームを取得するステップと、前記階層の深さＮよりも深さが小さい階層に属する上位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す上位フラグを復号し取得するステップと、前記階層の深さＮに属する下位ブロックのうち、第１の下位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す第１の下位フラグを復号し取得するステップと、既に取得している前記上位フラグ及び複数の前記第１の下位フラグが特定の組み合わせである場合に、前記階層の深さＮに属する第２の下位ブロックの四分木の分割情報を示す第２の下位フラグとして予め定めた第１の値を設定し、前記特定の組み合わせではない場合に、前記第２の下位フラグを復号し取得するステップと、前記上位フラグと、第１及び第２の下位フラグに従って、前記ブロックの復号画像信号を生成するステップと、を具備する。A step of obtaining a bitstream including a flag indicating division information in block units, and division of the quadrature tree of the upper block assigned to a higher block belonging to a hierarchy having a depth smaller than the depth N of the hierarchy A step of decoding and obtaining a high-order flag indicating information; and first information indicating quadrant tree division information of the high-order block given to the first low-order block among the low-order blocks belonging to the depth N of the hierarchy And a second lower block belonging to the depth N of the hierarchy when the upper flag and the plurality of first lower flags already acquired are in a specific combination A first value set in advance is set as a second lower flag indicating division information of the quadtree, and the second lower flag is decoded and acquired when it is not the specific combination A step that, with the upper flag, in accordance with the first and second lower flags comprises the steps of: generating a decoded image signal of the block.
Description
本実施形態は、符号化及び復号化方法に関する。 The present embodiment relates to an encoding and decoding method.
動画像の符号化技術の１つとしてＨ．２６４（例えば非特許文献１）が知られている。Ｈ．２６４は復号化（デコード）の方法を定めた規格である。Ｈ．２６４では、フレーム内およびフレーム間予測の残差（予測誤差）は予め定められた直交変換により変換し、その変換係数を量子化したうえで符号化する。直交変換のサイズは符号化モードにより４ｘ４画素ブロック、８ｘ８画素ブロックの２種類のいずれかが使用される。直交変換の係数は、量子化によりゼロになることが多い。そこでＨ．２６４では、符号量を減らすために、すべての変換係数がゼロであるかを表す１ビットのフラグを符号化し、すべての変換係数がゼロである場合には変換係数の符号化をスキップする。このフラグは、０がすべての係数がゼロであることを表し、１が少なくとも１つの非ゼロの係数があることを表す。 One of the video encoding techniques is H.264. H.264 (for example, Non-Patent Document 1) is known. H. H.264 is a standard that defines a decoding method. H. In H.264, a residual (prediction error) in intra-frame and inter-frame prediction is converted by a predetermined orthogonal transform, and the transform coefficient is quantized and encoded. As the size of the orthogonal transform, either a 4 × 4 pixel block or an 8 × 8 pixel block is used depending on the encoding mode. The coefficient of the orthogonal transform often becomes zero due to quantization. So H. In H.264, in order to reduce the code amount, a 1-bit flag indicating whether all transform coefficients are zero is encoded, and when all transform coefficients are zero, encoding of the transform coefficients is skipped. This flag indicates that 0 indicates that all coefficients are zero, and 1 indicates that there is at least one non-zero coefficient.
Ｈ．２６４では、４ｘ４画素ブロック内の変換数に対するフラグをＣＢＦ（coded block flag）と呼び、８ｘ８画素以上のブロックに対するフラグについてはＣＢＰ（coded block pattern）と呼ぶ。ＣＢＦについては、符号化モードにより、すべての変換係数がゼロであるか否かを表す場合と、変換係数の最初の変換係数（ＤＣ成分）以外の係数がすべてゼロであるか否かを表す場合がある。また、４つの４ｘ４画素ブロックは８ｘ８画素のブロックが分割されたものとして扱われ、４つの４ｘ４画素ブロックの変換係数がすべて０である場合には、８ｘ８画素のブロックに対するフラグ（ＣＢＰ）を０とする。また、１６ｘ１６画素のブロックに対してもＣＢＰは符号化され、このＣＢＰは、４つの８ｘ８画素の輝度信号（Luminance）ブロック、その１６ｘ１６画素のブロックに対応する２つの色差信号（Chrominance）ブロックのすべての変換係数がゼロであるか否かを表す。これらのことからわかるように、変換係数が０であるか否かという情報（ＣＢＰおよびＣＢＦ）は階層的に符号化されている。 H. In H.264, a flag for the number of conversions in a 4 × 4 pixel block is called a CBF (coded block flag), and a flag for a block of 8 × 8 pixels or more is called a CBP (coded block pattern). For CBF, depending on the encoding mode, whether all transform coefficients are zero or not, and whether all coefficients other than the first transform coefficient (DC component) of the transform coefficient are zero There is. In addition, four 4x4 pixel blocks are treated as if an 8x8 pixel block was divided, and when the conversion coefficients of the four 4x4 pixel blocks are all 0, the flag (CBP) for the 8x8 pixel block is set to 0. To do. Also, CBP is encoded for a block of 16 × 16 pixels, and this CBP is composed of four 8 × 8 pixel luminance signal (Luminance) blocks and all two color difference signal (Chrominance) blocks corresponding to the block of 16 × 16 pixels. Represents whether or not the conversion coefficient is zero. As can be seen from these, information (CBP and CBF) indicating whether or not the transform coefficient is 0 is hierarchically encoded.
符号化モードによっては、ＣＢＰおよびＣＢＦの符号化において、ＣＢＰが０であるなら必ずＣＢＦが０であるというモードが存在する。Ｈ．２６４では、これらの符号化モードにおいても、ＣＢＰが１、すべてのＣＢＦが０という情報を符号化できる。このようなＣＢＰとＣＢＦの組み合わせに符号を割り当てることは冗長である。この冗長性を排除すれば、圧縮率を向上できる。 Depending on the encoding mode, there exists a mode in which CBF is always 0 if CBP is 0 in encoding of CBP and CBF. H. In H.264, even in these encoding modes, information that CBP is 1 and all CBFs are 0 can be encoded. It is redundant to assign a code to such a combination of CBP and CBF. If this redundancy is eliminated, the compression rate can be improved.
なお、Ｈ．２６４におけるＣＢＦとＣＢＰの符号化でなくても、ＣＢＰを階層的に符号化する場合には同様の冗長性が生じる。また、Ｈ．２６４のインター予測ではスキップ予測であるか否かをあらわすモード情報を１ビットで符号化する。今後のＨ．２６４の拡張を考えると、このスキップフラグを階層的に符号化する場合についても同様の冗長性が生じると考えられる。階層的なスキップフラグの符号化における冗長性については、Ｈ．２６４におけるＣＢＰおよびＣＢＦの冗長性に対する本発明の解決手段と同じ手段で解決できる。 H. Even when the CBF and CBP are not encoded in H.264, the same redundancy occurs when the CBP is encoded hierarchically. H. In the H.264 inter prediction, mode information indicating whether or not the skip prediction is performed is encoded by 1 bit. Future H.D. Considering the extension of H.264, it is considered that the same redundancy occurs when the skip flag is encoded hierarchically. For redundancy in hierarchical skip flag encoding, see H.C. It can be solved by the same means as the solution of the present invention for CBP and CBF redundancy in H.264.
本発明の目的は、階層的なＣＢＰやＣＢＦ、スキップフラグの符号化時の冗長性を排除した圧縮データを得ること、及び圧縮データを復号化することにある。 An object of the present invention is to obtain compressed data that eliminates redundancy during encoding of hierarchical CBP, CBF, and skip flag, and to decode the compressed data.
実施形態の画像復号化方法は、入力画像信号を、階層の深さＮに応じたブロックサイズに分割されたブロックを復号する動画像復号化方法において、ブロック単位での分割情報を示すフラグを含むビットストリームを取得するステップと、前記階層の深さＮよりも深さが小さい階層に属する上位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す上位フラグを復号し取得するステップと、前記階層の深さＮに属する下位ブロックのうち、第１の下位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す第１の下位フラグを復号し取得するステップと、既に取得している前記上位フラグ及び複数の前記第１の下位フラグが特定の組み合わせである場合に、前記階層の深さＮに属する第２の下位ブロックの四分木の分割情報を示す第２の下位フラグとして予め定めた第１の値を設定し、前記特定の組み合わせではない場合に、前記第２の下位フラグを復号し取得するステップと、前記上位フラグと、第１及び第２の下位フラグに従って、前記ブロックの復号画像信号を生成するステップと、を具備する。 An image decoding method according to an embodiment includes a flag indicating division information in units of blocks in a moving image decoding method for decoding a block obtained by dividing an input image signal into block sizes corresponding to a hierarchical depth N. A step of acquiring a bitstream, and a step of decoding and acquiring a higher flag indicating division information of a quadtree of the upper block, which is assigned to a higher block belonging to a hierarchy having a depth smaller than the depth N of the hierarchy Decoding and obtaining a first lower flag indicating division information of the quadtree of the upper block given to the first lower block among the lower blocks belonging to the depth N of the hierarchy; A quadtree of a second lower block belonging to the depth N of the hierarchy when the upper flag and the plurality of first lower flags already acquired are in a specific combination A first value set in advance as a second lower flag indicating division information is set, and when the combination is not the specific combination, the step of decoding and obtaining the second lower flag, the upper flag, Generating a decoded image signal of the block according to the first and second lower flags.
また、実施形態の画像復号化方法は、入力画像信号を、階層の深さＮに応じたブロックサイズに分割されたブロックに符号化処理を行う動画像符号化方法において、ブロック単位での分割情報を示すフラグを符号化するステップと、前記階層の深さＮよりも深さが小さい階層に属する上位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す上位フラグを取得するステップと、前記階層の深さＮに属する下位ブロックのうち、第１の下位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す第１の下位フラグを取得するステップと、既に取得している前記上位フラグ及び複数の前記第１の下位フラグが特定の組み合わせである場合に、前記階層の深さＮに属する第２の下位ブロックの四分木の分割情報を示す第２の下位フラグとして予め定めた第１の値を設定し、前記特定の組み合わせではない場合に、前記第２の下位フラグを取得するステップと、前記上位フラグと、第１及び第２の下位フラグに従って、前記ブロックの局部復号画像信号を生成するステップと、を具備する。 In addition, the image decoding method according to the embodiment is a moving image encoding method in which an input image signal is encoded into blocks divided into block sizes corresponding to the depth N of the hierarchy. And a step of obtaining an upper flag indicating division information of a quadtree of the upper block given to an upper block belonging to a hierarchy having a depth smaller than the depth N of the hierarchy. And obtaining a first lower flag indicating division information of the quadtree of the upper block, which is assigned to the first lower block among the lower blocks belonging to the depth N of the hierarchy, and has already been acquired The quadrant tree division information of the second lower block belonging to the depth N of the hierarchy when the upper flag and the plurality of first lower flags are in a specific combination. A first value that is set in advance as a low-order flag of the first, and when the combination is not the specific combination, the step of obtaining the second low-order flag, the high-order flag, and the first and second low-order flags And generating a locally decoded image signal of the block.
本発明によれば、階層的なＣＢＰやＣＢＦ、スキップフラグの符号化時の冗長性を排除した符号化手段により圧縮されたデータが与えられたときに、復号化する画像復号化方法を提供することができる。 According to the present invention, there is provided an image decoding method for decoding when data compressed by an encoding unit that eliminates redundancy in encoding of hierarchical CBP, CBF, and skip flag is given. be able to.
以下、図面を参照しながら本発明の実施の形態に係る画像復号化方法、画像符号化方法、および装置について詳細に説明する。なお、以下の実施の形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
まず、Ｈ．２６４で復号化可能なデータを生成する符号化手段について簡単に説明しておく。この符号化手段は、例えば、図１に示すような、フレーム内予測（Ｉｎｔｒａ予測）またはフレーム間予測（Ｉｎｔｅｒ予測）、離散コサイン変換（ＤＣＴ；Discrete Cosine Transform)の近似である整数精度の直交変換およびその逆変換、係数の量子化および逆量子化、コンテキスト適応２値算術符号（ＣＡＢＡＣ； Context-based Adaptive Binary Arithmetic Code)あるいは可変長符号化(ＣＡＶＬＣ；Context-adaptive Variable Length Coding)と呼ばれるエントロピー符号を組み合わせた手段により、Ｈ．２６４で復号化可能なデータを生成できる。Hereinafter, an image decoding method, an image encoding method, and an apparatus according to embodiments of the present invention will be described in detail with reference to the drawings. Note that, in the following embodiments, the same numbered parts are assumed to perform the same operation, and repeated description is omitted.
First, H. An encoding means for generating data that can be decoded by H.264 will be briefly described. This encoding means, for example, as shown in FIG. 1, is an integer-precision orthogonal transform that is an approximation of intra-frame prediction (Intra prediction), inter-frame prediction (Inter prediction), or discrete cosine transform (DCT). And its inverse transform, coefficient quantization and inverse quantization, entropy code called Context-based Adaptive Binary Arithmetic Code (CABAC) or variable length coding (CAVLC) By means of a combination of H.264 data that can be decoded can be generated.
本実施の形態では、符号化においては上位のＣＢＰが１である場合に、下位のＣＢＰ（４ｘ４画素の場合はＣＢＦ）がすべて０であるという冗長な組み合わせに符号を割り当てないことを考える。本実施の形態の画像復号化方法はそのような圧縮データの復号化を目的とする。また、上位のスキップフラグが０である場合に、下位のスキップフラグがすべて１となるという冗長な組み合わせへの符号の割り当てを避けた符号化を行うものとする。本実施の形態の画像復号化方法はそのような圧縮データの復号化を行う。 In the present embodiment, it is considered that no code is assigned to a redundant combination in which all the lower CBPs (CBF in the case of 4 × 4 pixels) are 0 when the upper CBP is 1 in encoding. The image decoding method of the present embodiment aims to decode such compressed data. In addition, when the upper skip flag is 0, encoding is performed while avoiding the assignment of codes to redundant combinations in which the lower skip flags are all 1. The image decoding method according to the present embodiment decodes such compressed data.
（階層的ＣＢＰの冗長性削減、エンコーダ）
以下、残差信号の有無を表す情報をコーデットパターンデータと呼ぶこととする。Ｈ．２６４の規格書においては、コーデットパターンデータのうち、複数の８ｘ８画素あるいは１６ｘ１６画素ブロックに対するフラグをまとめたデータがＣＢＰ、１つの４ｘ４画素ブロックに対するフラグがＣＢＦに対応する。コーデットパターンデータのうち、上位の１ブロックに対応するコーデットパターンデータをｕｐｐｅｒ＿ｆｌａｇ、その上位の１ブロックに属するｉ番目の下位のコーデットパターンデータをｌｏｗｅｒ＿ｆｌａｇｓ［ｉ］と呼ぶことにする。例えば、上記非特許文献１において、Ｌｕｍｉｎａｎｃｅ信号に対する８ｘ８画素ブロックのＣＢＰおよび４ｘ４画素ブロックのＣＢＦの場合、ｕｐｐｅｒ＿ｆｌａｇおよびｌｏｗｅｒ＿ｆｌａｇｓ［ｉ］は、それぞれＣｏｄｅｄＢｌｏｃｋＰａｔｔｅｒｎＬｕｍａ内の１ビット、およびｉ番目の４ｘ４画素ブロックの残差信号に対するｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇに対応する。(Reduce redundancy of hierarchical CBP, encoder)
Hereinafter, information indicating the presence / absence of a residual signal will be referred to as coded pattern data. H. In the H.264 standard, among the coded pattern data, data that summarizes flags for a plurality of 8 × 8 pixel or 16 × 16 pixel blocks corresponds to CBP, and a flag for one 4 × 4 pixel block corresponds to CBF. Of the coded pattern data, the coded pattern data corresponding to the upper one block is called upper_flag, and the i-th lower coded pattern data belonging to the upper one block is called lower_flags [i]. For example, in
ＭＰＥＧ−１／２／４の圧縮ビデオ復号規格やＨ．２６４など多くの規格に定められた復号化の過程では、画像をブロック単位で区切ったうえで、ブロック単位での復号化処理を行う。そこで、以下の説明では、ブロック単位での符号化（エンコード）の過程の一例、およびブロック単位での復号化（デコード）の過程の一例について説明する。画面全体の処理は、ブロック単位の処理を区切られたブロックの数だけ繰り返すことで行える。 MPEG-1 / 2/4 compressed video decoding standard and H.264 standard. In the decoding process defined in many standards such as H.264, the image is divided in units of blocks, and then the decoding process is performed in units of blocks. Therefore, in the following description, an example of a process of encoding (encoding) in units of blocks and an example of a process of decoding (decoding) in units of blocks will be described. The processing of the entire screen can be performed by repeating the processing for each block by the number of divided blocks.
本発明の実施の形態では、コーデットパターンデータを階層的に符号化する際に、特定のパターンに対応する符号量を減らすことで圧縮率を向上させる手段を提供し、およびそのような手段で生成されたビットストリームを復号化する。特定のパターンの具体的な例（下位が４ビットの場合）を図２に示し、図２に対応した単純な階層的コーデットパターンデータの例（下位が４ビットの場合）を図３に示す（なお、図３は上記非特許文献１のＨ．２６４で使われている）。 In the embodiment of the present invention, when coded pattern data is hierarchically encoded, a means for improving the compression ratio by reducing the amount of code corresponding to a specific pattern is provided, and generated by such means. Decoded bitstream is decoded. A specific example of a specific pattern (when the lower order is 4 bits) is shown in FIG. 2, and an example of simple hierarchical code pattern data corresponding to FIG. 2 (when the lower order is 4 bits) is shown in FIG. 3 is used in H.264 of Non-Patent Document 1).
図３では、下位コーデットパターンデータ（ｌｏｗｅｒ−ｆｌａｇｓ）が０００１の場合に、符号化データは０００１になる。これに対し、図２の本発明の実施の形態では、下位コーデットパターンデータ（ｌｏｗｅｒ−ｆｌａｇｓ）が０００１の場合には最後の１ビットを符号せず、符号化データを０００とする。復号化においては、上位コーデットパターンデータが１であり、かつ、４ビットの下位コーデットパターンのうち、最後の１ビットを除いた３ビットが０００であることがわかれば、最後の１ビットは１であることがわかる。すなわち、符号化において１ビット分符号化する必要、および、符号化されたデータの復号化において１ビット分復号化する必要がなくなる場合がある。 In FIG. 3, when the low-order code pattern data (lower-flags) is 0001, the encoded data is 0001. On the other hand, in the embodiment of the present invention shown in FIG. 2, when the lower-order code pattern data (lower-flags) is 0001, the last 1 bit is not encoded and the encoded data is 000. In decoding, if it is found that the upper code pattern data is 1 and 3 bits excluding the last 1 bit in the 4-bit lower code pattern are 000, the last 1 bit is 1. I know that there is. That is, there is a case where it is not necessary to encode 1 bit in encoding, and it is not necessary to decode 1 bit in decoding encoded data.
なお、図２では下位のコーデットパターンデータを４ビットとしているが、特に４ビットである必要はなく、例えば図４に示す２ビットであってもよい。２ビットの場合には、上位コーデットパターンデータが１であり、かつ、２ビットの下位コーデットパターンのうち、最初の１ビットが０であることがわかれば、最後の１ビットは１であることがわかる。したがって、この場合も、符号化において１ビット分符号化する必要、および、符号化されたデータの復号化において１ビット分復号化する必要がなくなる場合がある。 In FIG. 2, the low-order code pattern data is 4 bits. However, it is not particularly necessary to be 4 bits. For example, 2 bits shown in FIG. 4 may be used. In the case of 2 bits, if it is found that the upper code pattern data is 1 and the first 1 bit is 0 in the 2-bit lower code pattern, the last 1 bit may be 1. Recognize. Therefore, in this case as well, there is a case where it is not necessary to encode one bit in encoding and it is not necessary to decode one bit in decoding encoded data.
次に、ブロック単位のＣＢＰの符号化の過程を示すフローチャートを図５、符号化に利用する装置の一例を図６に示す。コーデットパターンデータの符号化は、例えば、次の方法により行える。なお、以下の説明では、コーデットパターンデータ以外の部分の符号化であるステップ３、ステップ１１も含めて説明する。
Next, FIG. 5 shows a flowchart showing the process of encoding CBP in block units, and FIG. 6 shows an example of an apparatus used for encoding. The coding pattern data can be encoded by the following method, for example. In the following description,
ステップ１．（Ｓ５０１）画像入力部６０１が画像ブロックを読み込む。ここで読み込むブロックは、典型的には、ステップ５における上位コーデットパターンデータに対応したブロックと同じか、それより大きなサイズ（例えば、１６ｘ１６画素）を持つものとする。
ステップ２．（Ｓ５０２）演算ユニット６０２がＳ５０１で読みこんだブロックに対して符号化すべき予測モードをプログラム用メモリ６０５から読み込む。なお、この予測モードは予め決めておく場合もあるし、複数の予測モードのそれぞれでステップＳ５０３以降を行い最も良いモードを選択する場合もある。他にも予測モードを設定する変形例はたくさんある。
ステップ３．演算ユニット６０２は予測モードを符号化して、符号化データ出力部６０４はビットストリームに出力する。
ステップ４．（Ｓ５０３）演算ユニット６０２は予測モードとすでに復号可能となったデータを利用してブロック予測を行い、入力画像ブロックと予測画像ブロックの差である予測残差を求める。
ステップ５．（Ｓ５０４）演算ユニット６０２は、予測残差にブロック変換（例えば、あらかじめトレーニングデータにより生成したＫＬＴの基底や、ＤＣＴの基底を利用した直交変換）および量子化を施す。ここで変換を行うブロックは、ステップ１のブロックよりも小さなサイズ（例えば、４ｘ４画素）を持つものとする。次に、演算ユニット６０２は量子化された変換係数の中に非０の係数が存在するか否かをあらわす情報をブロック単位で算出する。典型的には、この情報は、ブロック内に非０の係数が存在する場合には１、ブロック内の係数がすべて０の場合には０という、ブロックごとに１ビットのフラグ情報になる。この情報を下位のコーデットパターンデータ（下位ＣＢＰやＣＢＦ）と呼ぶ。次に、下位のコーデットパターンデータの集合（例えば、４つの下位のコーデットパターンデータ）がすべて０か否かという情報を表す、より大きなブロックに対するコーデットパターンデータである上位のコーデットパターンデータ（上位ＣＢＰ）を求める。典型的には、上位のコーデットパターンデータは、下位のコーデットパターンデータがすべて０であれば０、下位のコーデットパターンデータに１つでも非０の情報があれば１という、ブロックごとに１ビットのフラグ情報になる。ここで、上位コーデットパターンデータに対応するブロックのサイズは、下位コーデットパターンデータよりも大きなサイズ（例えば８ｘ８画素）を持つものとする。
Step 5. (S504) The
ステップ６．（Ｓ５０５）演算ユニット６０２が上位のコーデットパターンデータを符号化して、符号化データ出力部６０４がビットストリームに出力する。
Step 6. (S505) The
ステップ７．（Ｓ５０６）演算ユニット６０２は、上位のコーデットパターンデータが０である場合にはステップ８〜１０を飛ばし、そうでないのならステップ８を実行する。
Step 7. (S506) The
ステップ８．（Ｓ５０７）ステップ８〜１０は下位のコーデットパターンデータを１ビットずつ符号化していく過程である。このステップでは次の条件分岐を実行する。演算ユニット６０２は、すでに符号化された下位のコーデットパターンデータが特定のパターンデータである場合（典型的には、最後の１ビットの下位のコーデットパターンデータを符号化する場合であって、かつ、符号化済みの下位のコーデットパターンデータがすべて０である場合）には、次のビットストリームに出力するステップ９を飛ばし、そうでなければステップ９を実行する。
ステップ９．（Ｓ５０８）次に、演算ユニット６０２は符号化すべき下位のコーデットパターンデータを符号化して、符号化データ出力部６０４はビットストリームに出力する。
Step 9. (S508) Next, the
ステップ１０．（Ｓ５０９）演算ユニット６０２は、下位のコーデットパターンデータをすべて符号化していればステップ１１に進め、そうでなければステップ８に戻る。Ｓ５０７からＳ５０９のループはビット数に応じて回る回数が決まり、例えば４ビットであれば４回だけ回すことになる。
ステップ１１．符号化データ出力部６０４は、コーデットパターンデータが非０のブロックについて、量子化された変換係数を符号化してビットストリームに出力する。
なお、ステップ３はＳ５０１やＳ５０２より前にあってもよい。エンコーダは、例えば、符号化すべき予測モードを切り替えながらステップ２〜１１を繰り返し試したうえで、符号化効率が良い予測モードを選択することで、圧縮率を向上させることができる。ただし、デコード可能なビットストリームを出力するために、このような繰り返しは必須ではなく、別の基準で予測モードを決めてもよい。
次に、符号化装置について図６を参照して説明する。
本実施の形態の符号化装置は、画像入力部６０１、演算ユニット６０２、データ用メモリ６０３、符号化データ出力部６０４、プログラム用メモリ６０５を含む。Next, the encoding apparatus will be described with reference to FIG.
The encoding apparatus according to the present embodiment includes an
画像入力部６０１は画像ブロックを読み込む。演算ユニット６０２は、画像入力部６０１が読み込んだ画像ブロックに対し、データ用メモリ６０３およびプログラム用メモリ６０５を参照して符号化を行う。データ用メモリ６０３は、一時記憶装置であり、例えば現在処理しているフレームの前フレームを一時的に記憶する。データ用メモリ６０３は例えばＲＡＭである。プログラム用メモリ６０５は、符号化のためのプログラムを記憶している。プログラム用メモリ６０５は例えばＲＯＭまたはＲＡＭである。符号化データ出力部６０４は、符号化されたデータをビットストリームに出力する。
The
（階層的ＣＢＰの冗長性削減、デコーダ）
以上の方法で生成されたビットストリームを復号化（ブロック単位のＣＢＰの復号化）する方法のフローチャートの一例を図７に、復号化を実行するための装置の一例を図８に示す。コーデットパターンデータの復号化は、例えば、次のステップ１〜１０の方法により行える。(Reduce redundancy of hierarchical CBP, decoder)
FIG. 7 shows an example of a flowchart of a method for decoding the bit stream generated by the above method (decoding of CBP in units of blocks), and FIG. 8 shows an example of an apparatus for executing the decoding. The decoding of the coded pattern data can be performed by the following
ステップ１．（Ｓ７０１）符号化データ入力部８０１が入力データとしてビットストリームを入力する。ビットストリームは、ブロック単位での予測情報、ブロック単位での予測残差信号の有無を表すコーデットパターンデータ、およびブロック単位での予測残差信号をエントロピー符号化した画像データを含む。
ステップ２．（Ｓ７０２）次に演算ユニット８０２が、取得すべきデータが上位のコーデットパターンデータ（例えば、上位のＣＢＰ）であるかどうかを判定し、上位のコーデットパターンデータであると判定された場合にはステップ３へ、そうでなければステップ４へ飛ぶ。
ステップ３．（Ｓ７０３）演算ユニット８０２が上位のコーデットパターンデータをエントロピー復号により取得する。ステップ９へ飛ぶ。
ステップ４．（Ｓ７０４）次に演算ユニット８０２が、取得すべきデータが上位コーデットパターンデータに属するコーデットパターンデータである下位のコーデットパターンデータ（例えば、下位のＣＢＰあるいは下位のＣＢＦ）であるかどうかを判定し、下位のコーデットパターンデータであると判定された場合にはステップ６へ、そうでなければステップ５へ飛ぶ。
ステップ５．（Ｓ７０５）次に演算ユニット８０２が取得すべき（コーデットパターンデータ以外の）データを取得しステップ９へ飛ぶ。 Step 5. (S705) Next, the data to be acquired by the arithmetic unit 802 (other than the coded pattern data) is acquired and the process jumps to Step 9.
ステップ６．（Ｓ７０６）演算ユニット８０２が、すでに取得された下位のコーデットパターンデータが予め定められたパターンであるかどうかを判定し、予め定められたパターンである場合にはステップ７へ飛び、そうでなければステップ８へ飛ぶ。例えば、図２の例においては、予め定められたパターンとは、下位のコーデットパターンデータが４ビットであり、かつ、すでに下位のコーデットパターンデータが３ビット取得されていて次に取得すべきデータが４ビット目のコーデットパターンデータであり、かつ、すでに取得された３ビットが０００であるパターンを指す。
Step 6. (S706) The
ステップ７．（Ｓ７０７）次に演算ユニット８０２が、取得すべき下位のコーデットパターンデータとして、予め定められた固定値を設定し、設定後ステップ９へ飛ぶ。例えば、図２の例では、次に取得すべき４ビット目のコーデットパターンデータとして１を設定する。
Step 7. (S707) Next, the
ステップ８．（Ｓ７０８）次に演算ユニット８０２が、取得すべき下位のコーデットパターンデータをエントロピー復号により取得する。
ステップ９．（Ｓ７０９）演算ユニット８０２がブロック情報の取得が完了しているかどうかを判定し、取得が完了していればステップ１０へ飛び、そうでなければステップ２へ飛ぶ。ブロック情報は、復号された、ブロック単位での予測情報およびブロック単位での予測残差信号を示す。すなわち、このフローでは明示されていないが、ビットストリームに含まれる情報がブロック単位での予測情報である場合にはビットストリームを復号化しブロック単位での予測情報を得るステップがあり、ビットストリームに含まれる情報がブロック単位での予測残差信号である場合にはビットストリームを復号化しブロック単位での予測残差信号を得るステップがある。
Step 9. (S709) The
ステップ１０．（Ｓ７１０）演算ユニット８０２が取得されたブロック情報に基づきブロック画像信号を復元し、画像出力部８０４が復元された画像を出力する。
次に、復号化装置について図８を参照して説明する。
本実施の形態の復号化装置は、符号化データ入力部８０１、演算ユニット８０２、データ用メモリ８０３、画像出力部８０４、プログラム用メモリ８０５を含む。Next, the decoding apparatus will be described with reference to FIG.
The decoding apparatus according to the present embodiment includes an encoded data input unit 801, an
符号化データ入力部８０１は入力データとしてビットストリームを入力する。演算ユニット８０２は、符号化データ入力部８０１が入力したビットストリームに含まれるブロックを、ブロックの切れ目を判断しながら、データ用メモリ６０３およびプログラム用メモリ６０５を参照して復号化を行う。データ用メモリ８０３は、一時記憶装置であり、例えば符号化データ入力部８０１が入力したビットストリームを一時的に記憶する。プログラム用メモリ８０５は、復号化のためのプログラムを記憶していて、例えば下記図９または図１０に示す擬似プログラムに対応するプログラムを格納している。
The encoded data input unit 801 inputs a bit stream as input data. The
次に、下位のコーデットパターンデータが４ビットの階層的ＣＢＰの場合の復号化方法のシンタックスの一例を図９に、下位のコーデットパターンデータがｎｕｍ＿ｌｏｗｅｒ＿ｂｌｏｃｋｓビットの階層的ＣＢＰの場合の復号化方法のシンタックスの一例を図１０に示す。図９、図１０において、ａｅ（ｖ）とされた行はエントロピー復号（例えばＣＡＢＡＣ）により１ビットの情報を取得することを表し、そうでない行はその行を実行することを表す。「（ｕｐｐｅｒ＿ｆｌａｇ ｉｓ ａｌｒｅａｄｙ ｄｅｃｏｄｅｄ）」は、上位のコーデットパターンデータがすでにｕｐｐｅｒ＿ｆｌａｇとして取得されていることを表す。「（ｏｔｈｅｒ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓｅｓ， ｏｐｔｉｏｎａｌ）」は、もし他のシンタックス処理が必要であれば、そのシンタックス処理を実行することを表す。なお、コーデットパターンデータが特定の組み合わせであるかを判定する条件分岐判定は反転させることが可能である。図９の条件分岐判定を反転させた例を図１１に示す。他の図についても同様である。 Next, FIG. 9 shows an example of the syntax of the decoding method when the lower-order code pattern data is a 4-bit hierarchical CBP. FIG. 9 shows the decoding method when the lower-order code pattern data is a num_lower_blocks-bit hierarchical CBP. An example of the syntax is shown in FIG. 9 and 10, a line indicated as ae (v) indicates that 1-bit information is acquired by entropy decoding (for example, CABAC), and a line that does not indicate that the line is executed. “(Upper_flag is already decoded)” indicates that the higher-order code pattern data has already been acquired as upper_flag. “(Other decoding processes, optional)” indicates that if other syntax processing is necessary, the syntax processing is executed. It should be noted that the conditional branch determination for determining whether the coded pattern data is a specific combination can be reversed. An example in which the conditional branch determination in FIG. 9 is reversed is shown in FIG. The same applies to other figures.
（ＣＢＰとＣＢＦ）
Ｈ．２６４では、４ｘ４画素のブロックに対応したコーデットパターンデータであるｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは、第１のｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇ、第１のｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが非０の場合には第１の変換係数、第２のｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇ、第２のｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが非０の場合には第２の変換係数、というように、変換係数とあわせて復号化される。この場合、上位のコーデットパターンデータとして８ｘ８画素のブロックに対応するＣＢＰ、下位のコーデットパターンデータとして８ｘ８画素のブロックを構成する各４ｘ４画素のブロックに対応したＣＢＦを考えると、シンタックスは図１２のように表せる。図１２は、８ｘ８画素のブロックに対応するＣＢＰが非０の場合に、４ｘ４画素ブロックのＣＢＦを復号化する方法の一例を示す。(CBP and CBF)
H. In H.264, coded_block_flag, which is coded pattern data corresponding to a block of 4 × 4 pixels, is the first coded_block_flag, and when the first coded_block_flag is non-zero, the first conversion coefficient, the second coded_block_flag, and the second coded_block are In the case of non-zero, the second transform coefficient is decoded together with the transform coefficient. In this case, considering the CBP corresponding to the 8 × 8 pixel block as the upper code pattern data and the CBF corresponding to each 4 × 4 pixel block constituting the 8 × 8 pixel block as the lower code pattern data, the syntax is as shown in FIG. It can be expressed as follows. FIG. 12 shows an example of a method for decoding a CBF of a 4 × 4 pixel block when the CBP corresponding to the block of 8 × 8 pixels is non-zero.
図１２において、引数ｂｌｏｃｋＩｎｄｅｘは、処理中の４ｘ４画素ブロックがそれを含む８ｘ８画素のブロック内で先頭のブロックを０としたときのインデックスを表し、（ｄｅｃｏｄｅ ｒｅｓｉｄｕａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ ｃｏｅｆｆＬｅｖｅｌ［ｉ］）は変換係数を復号化することを表す。また、最初の４ｘ４画素ブロックを復号化する前に、ｎｏｎｚｅｒｏ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇ＿ｆｏｕｎｄには０を設定しておくものとする。８ｘ８画素のブロックを構成する４ｘ４画素ブロックは４つあるから、ｂｌｏｃｋＩｎｄｅｘが３であり、かつ、他のｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが０である場合には、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを復号化せずに１とすることができる。そうでない場合には、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを復号化する必要がある。なお、図１２には含まれていないが、予測モードによっては常にｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを復号化する必要があるため、図１２の関数を呼び出す前に、常にｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを復号化する必要があるかを、判定しておく必要がある。常にｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを復号化する必要がある予測モードとしては、例えば、Ｈ．２６４のＩｎｔｒａ１６ｘ１６予測があげられる。このモードでは、輝度ブロックに対応したＣＢＰの表現として、１６ｘ１６画素ブロックを構成する４つの８ｘ８ブロックに対する４ビットのＣＢＰについて、すべてのビットが０であるかすべてのビットが１であるかの２通りしか用意されていない。この場合、上位のＣＢＰが１かつ下位のＣＢＦがすべて０という符号を用意しておかなければ、１６ｘ１６画素内の任意の８ｘ８画素ブロックにおいて、８ｘ８画素ブロック内のＣＢＦがすべて０になるというコーデットパターンデータを表現できない。したがって、Ｈ．２６４のＩｎｔｒａ１６ｘ１６予測では、常にｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを復号化する必要がある。 In FIG. 12, an argument blockIndex represents an index when a 4 × 4 pixel block being processed has a leading block of 0 in an 8 × 8 pixel block including the block, and (decode residual coefficients coeffLevel [i]) represents a conversion coefficient. It represents decoding. Also, before decoding the first 4 × 4 pixel block, 0 is set to nonzero_coded_block_flag_found. Since there are four 4 × 4 pixel blocks constituting an 8 × 8 pixel block, when blockIndex is 3 and other coded_block_flag is 0, coded_block_flag can be set to 1 without decoding. Otherwise, the coded_block_flag needs to be decoded. Although not included in FIG. 12, since it is necessary to always decode coded_block_flag depending on the prediction mode, it is determined whether it is necessary to always decode coded_block_flag before calling the function of FIG. It is necessary to keep. As a prediction mode in which coded_block_flag must always be decoded, for example, H.264 H.264 Intra16 × 16 prediction. In this mode, CBP corresponding to the luminance block is expressed in two ways, with all bits being 0 or all bits being 1 for 4-bit CBP for four 8x8 blocks constituting a 16x16 pixel block. Only available. In this case, unless a sign that the upper CBP is 1 and the lower CBF is all 0 is prepared, a coded pattern in which all CBFs in an 8x8 pixel block are 0 in an arbitrary 8x8 pixel block in 16x16 pixels. The data cannot be represented. Therefore, H.H. In H.264 Intra16 × 16 prediction, it is necessary to always decode coded_block_flag.
（上位ＣＢＰと下位ＣＢＰ）
Ｈ．２６４では、上位のコーデットパターンデータを持つブロック（マクロブロック）のサイズは１６ｘ１６画素である。しかし、符号化効率を考えると、例えばマクロブロックのサイズを３２ｘ３２画素や６４ｘ６４画素に拡張するという拡張も考えられる。これを拡張マクロブロックと呼ぶことにする。拡張マクロブロックでは、例えば、３２ｘ３２画素の拡張マクロブロックを構成する１６ｘ１６画素のブロックは、輝度ブロックのみを考えれば４個、輝度ブロック４つに加えてＣｂ、Ｃｒの色差ブロックまで考えれば１２個存在することになる。ＣＢＰは０となることが多く、０のフラグを１２個も符号化することは避けたい。そこでマクロブロックの拡張として、３２ｘ３２画素の拡張マクロブロックを構成するＣＢＰがすべて０であるか、１つ以上の非０のビットを持つＣＢＰであるかというコーデットパターンデータを符号化することが考えられる。この実施例では、３２ｘ３２画素の拡張マクロブロックに対するコーデットパターンデータをｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２と呼ぶことにする。ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２は１ビットのフラグ情報である。さらに大きな拡張マクロブロックとして、６４ｘ６４画素のレベル２拡張マクロブロックを考えるなら、レベル２拡張マクロブロックを構成する３２ｘ３２画素のＣＢＰであるｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２がすべて０であるか、１つ以上の非０のビットを持つＣＢＰであるかを符号化することが考えられる。この実施例では、６４ｘ６４画素の拡張マクロブロックに対するコーデットパターンデータをｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿６４と呼ぶこととし、その６４ｘ６４画素ブロックを構成する４つの３２ｘ３２画素ブロックについては、インデックスを付与してｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［０］〜ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［３］と呼ぶことにする。(Upper CBP and Lower CBP)
H. In H.264, the size of a block (macroblock) having higher-order code pattern data is 16 × 16 pixels. However, considering the encoding efficiency, for example, an extension of expanding the macroblock size to 32 × 32 pixels or 64 × 64 pixels is also conceivable. This is called an extended macroblock. In the extended macroblock, for example, there are four 16 × 16 pixel blocks constituting the extended macroblock of 32 × 32 pixels if only the luminance block is considered, and if there are four luminance blocks and Cb and Cr color difference blocks, there are 12 blocks. Will do. CBP is often 0, and it is desirable to avoid coding 12 flags of 0. Thus, as an extension of the macroblock, it is conceivable to code the coded pattern data indicating whether the CBPs constituting the extended macroblock of 32 × 32 pixels are all 0 or CBP having one or more non-zero bits. . In this embodiment, the coded pattern data for an extended macroblock of 32 × 32 pixels is called coded_block_pattern_32. coded_block_pattern_32 is 1-bit flag information. If a
ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿６４およびｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２をデコードする処理の流れの一例を図１３、別の一例を図１４に示す。双方の図は、上位ブロックのサイズが６４ｘ６４画素、下位ブロックのサイズが３２ｘ３２画素であり、かつ、下位が４ビットの階層的ＣＢＰを復号化する方法の一例を示す。 FIG. 13 shows an example of the flow of processing for decoding coded_block_pattern_64 and coded_block_pattern_32, and FIG. 14 shows another example. Both figures show an example of a method of decoding a hierarchical CBP in which the size of the upper block is 64 × 64 pixels, the size of the lower block is 32 × 32 pixels, and the lower block is 4 bits.
「（ｏｔｈｅｒ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓｅｓ， ｏｐｔｉｏｎａｌ）」は、もし他のシンタックス処理が必要であれば、そのシンタックス処理を実行することを表す。図１３は、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿６４とｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２が符号化されたデータを復号化する場合の一例を表している。図１３では、まずｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿６４を復号化し、それが０でない場合にはｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２の各要素を復号化している。この際、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［３］については、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［０］〜ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［２］のうち１つ以上が非０であれば復号化するが、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［０］〜ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［２］のすべてが０である場合にはｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［３］を１とする。図１４は、図１３におけるｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿６４とｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２が別の関数として表現された場合の一例を表している。図１４において、ｍａｃｒｏｂｌｏｃｋ＿ｃｌｕｓｔｅｒ＿ｒｅｓｉｄｕａｌ＿６４ｘ６４（）は６４ｘ６４画素のレベル２拡張マクロブロックの残差を復号化するための関数であり、ｍａｃｒｏｂｌｏｃｋ＿ｃｌｕｓｔｅｒ＿ｒｅｓｉｄｕａｌ＿３２ｘ３２（）は３２ｘ３２画素の拡張マクロブロックの残差を復号化するための関数である。図１３に対し、図１４では、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿６４の復号化がｍａｃｒｏｂｌｏｃｋ＿ｃｌｕｓｔｅｒ＿ｒｅｓｉｄｕａｌ＿６４ｘ６４（）で行われ、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２の各要素の復号化はｍａｃｒｏｂｌｏｃｋ＿ｃｌｕｓｔｅｒ＿ｒｅｓｉｄｕａｌ＿３２ｘ３２（）で行われている点が異なる。ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［０］〜ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［２］のすべてが０である場合に、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿３２［３］を復号化せず固定値１とする点は図１３と同じである。
“(Other decoding processes, optional)” indicates that if other syntax processing is necessary, the syntax processing is executed. FIG. 13 illustrates an example of decoding data in which coded_block_pattern_64 and coded_block_pattern_32 are encoded. In FIG. 13, first, coded_block_pattern_64 is decoded, and when it is not 0, each element of coded_block_pattern_32 is decoded. At this time, coded_block_pattern_32 [3] is decoded if at least one of coded_block_pattern_32 [0] to coded_block_pattern_32 [2] is non-zero, but coded_block_pattern_32 [0] to coded_block_patch_block0p32_pat_32_3 is all In this case, coded_block_pattern_32 [3] is set to 1. FIG. 14 shows an example in which coded_block_pattern_64 and coded_block_pattern_32 in FIG. 13 are expressed as different functions. In FIG. 14, macroblock_cluster_residual_64x64 () is a function for decoding the residual of the
（階層的ＣＢＰの具体例）
シンタックスの一例として、１６ｘ１６画素のブロックに対して１ビットの輝度ＣＢＰが符号化および復号化され、輝度ＣＢＰが１の場合にのみ、１６ｘ１６画素のブロック内に属する各ブロックについて、変換係数の有無をＣＢＰとして符号化および復号化される例を、図１５のシンタックスにしたがって説明する。図１５は、１６ｘ１６の画素ブロックに対する１ビットの輝度ＣＢＰが与えられた場合に、４ｘ４、８ｘ８、１６ｘ８、８ｘ１６、１６ｘ１６の変換についてのｃｂｐを得るシンタックスの一例を示す。(Specific example of hierarchical CBP)
As an example of syntax, if a 1-bit luminance CBP is encoded and decoded for a 16 × 16 pixel block and the luminance CBP is 1, the presence / absence of a transform coefficient for each block belonging to the 16 × 16 pixel block An example of encoding and decoding as a CBP will be described with reference to the syntax of FIG. FIG. 15 shows an example of a syntax for obtaining cbp for 4 × 4, 8 × 8, 16 × 8, 8 × 16, and 16 × 16 conversion when a 1-bit luminance CBP for a 16 × 16 pixel block is given.
変換のサイズとして、４ｘ４、８ｘ８、１６ｘ８、８ｘ１６、１６ｘ１６の５通りを考える。変換タイプ「ｃｕｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅ」は、４ｘ４に対応する０、８ｘ８に対応する１、１６ｘ８／８ｘ１６／１６ｘ１６のいずれかに対応する２の３値を取るものとする。「ｃｕｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅ」が２の場合、変換サイズは、予測ブロックのサイズが１６ｘ８であれば１６ｘ８、８ｘ１６であれば８ｘ１６、それ以外であれば１６ｘ１６とする。変換サイズが４ｘ４および８ｘ８の場合には、４つの８ｘ８ブロックに対する４ビットのＣＢＰが必要である。変換サイズが１６ｘ８および８ｘ１６の場合には、それぞれ、２つの１６ｘ８ブロックおよび２つの８ｘ１６ブロックに対する２ビットのＣＢＰが必要である。変換サイズが１６ｘ１６の場合には、１ビットのＣＢＰが必要である。 As conversion sizes, 5 types of 4 × 4, 8 × 8, 16 × 8, 8 × 16, and 16 × 16 are considered. The conversion type “cur_transform_type” is assumed to take three values of 0 corresponding to one of 0 corresponding to 4 × 4, 1 corresponding to 8 × 8, and 16 × 8/8 × 16/16 × 16. When “cur_transform_type” is 2, the transform size is 16 × 8 if the predicted block size is 16 × 8, 8 × 16 if 8 × 16, and 16 × 16 otherwise. For transform sizes 4x4 and 8x8, a 4 bit CBP for 4 8x8 blocks is required. For transform sizes of 16x8 and 8x16, a 2-bit CBP is required for two 16x8 blocks and two 8x16 blocks, respectively. When the conversion size is 16 × 16, 1-bit CBP is required.
この場合、図１５に示すように、ｃｕｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅが０または１の場合には図２に対応した読み込みを行い、ｃｕｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅが２かつ変換サイズが１６ｘ８／８ｘ１６の場合には図４に対応した読み込みを行い、ｃｕｒ＿ｔｒａｎｓｆｏｒｍ＿ｔｙｐｅが２かつ変換サイズが１６ｘ１６の場合には与えられたＣＢＰをそのまま利用することで、本発明を利用できることになる。なお、図１５において、「ｃｂｐ＿ｌｕｍａ＿１ｂｉｔ」は１ビットの輝度ＣＢＰを表し、「ＭｂＰａｒｔＷｉｄｔｈ（ｍｂ＿ｔｙｐｅ）」および「ＭｂＰａｒｔＨｅｉｇｈｔ（ｍｂ＿ｔｙｐｅ）」は予測ブロックのサイズを表し、ｃｂｐは１６ｘ１６輝度ブロックを４つの８ｘ８ブロックに分割した場合の、各８ｘ８輝度ブロックに対応した４ビットのｃｂｐを表す。図１５のシンタックスでは、１６ｘ８／８ｘ１６／１６ｘ１６の場合について、ｃｂｐを８ｘ８ブロックにあわせて４ビットとしているが、これらの場合にｃｂｐを８ｘ８ブロックにあわせる必要はなく、それぞれ２ビット、２ビット、１ビットのｃｂｐとして読み込んでもよい。 In this case, as shown in FIG. 15, when cur_transform_type is 0 or 1, reading corresponding to FIG. 2 is performed, and when cur_transform_type is 2 and the conversion size is 16 × 8/8 × 16, reading corresponding to FIG. 4 is performed. When cur_transform_type is 2 and the transform size is 16x16, the present invention can be used by using the given CBP as it is. In FIG. 15, “cbp_luma — 1 bit” represents 1-bit luminance CBP, “MbPartWidth (mb_type)” and “MbPartHeight (mb_type)” represent prediction block sizes, and cbp represents 16 × 16 luminance blocks in four 8 × 8 blocks. When divided, 4 bits of cbp corresponding to each 8 × 8 luminance block are represented. In the syntax of FIG. 15, in the case of 16 × 8/8 × 16/16 × 16, cbp is set to 4 bits in accordance with the 8 × 8 block. However, in these cases, it is not necessary to adjust cbp to the 8 × 8 block, and 2 bits, 2 bits, It may be read as 1-bit cbp.
（四分木分割による再帰構造をもった階層ブロックにおけるＣＢＦ符号化）
本実施形態の変更例として、Ｈ．２６４のブロック構造をＭｘＭサイズ（Ｍは２のべき乗）のブロックに階層的に分割することを考える。この際、上位ブロックサイズを２Ｎｘ２Ｎ、下位ブロックサイズをＮｘＮ（Ｎは２のべき乗）で表現する。図２０Ａ、図２０Ｂに２Ｎｘ２ＮサイズとＮｘＮサイズの符号化ブロックを示す。上位ブロックサイズを分割する際には、分割を示す１ビットのフラグを用いて分割の有無を表現する。ＣＢＦについても同様に、上位ブロックに上位ＣＢＦが存在し、下記ブロックには０から３で示される４つのＮｘＮブロック毎に４つの下位ＣＢＦが存在する。ここで上位ＣＢＦが１で有りかつ下位ＣＢＦが全て０の場合は、上位ＣＢＦが０である場合と同じ表現となるため冗長である。このようなＣＢＦの符号化を考えた場合、上位ＣＢＦは、上位ブロックを分割するかどうかを示す情報と等価となる。(CBF coding in hierarchical blocks with recursive structure by quadtree partitioning)
As a modification of the present embodiment, H. Suppose that the H.264 block structure is hierarchically divided into blocks of MxM size (M is a power of 2). At this time, the upper block size is expressed by 2N × 2N, and the lower block size is expressed by N × N (N is a power of 2). 20A and 20B show 2Nx2N size and NxN size encoded blocks. When the upper block size is divided, the presence / absence of division is expressed using a 1-bit flag indicating division. Similarly, for the CBF, an upper block CBF exists in the upper block, and in the following block, four lower CBFs exist for every four NxN blocks indicated by 0 to 3. Here, when the upper CBF is 1 and the lower CBFs are all 0, the expression is the same as when the upper CBF is 0, which is redundant. When considering such CBF encoding, the upper CBF is equivalent to information indicating whether to divide the upper block.
ＮｘＮを更に分割する場合においても、上記関係を用いて再帰的に表現することが可能である。例えば、上位ブロックと下位ブロックを再帰的に組み合わせた時の階層的な四分木分割の一例を図２０Ｃに示す。図２０Ｂでは下位ブロックとなっていたブロック２が、図２０Ｃでは更に四分木分割されている。この場合、図２０Ｃのブロック２には上位ブロックとしてのＣＢＦが存在するとともに、ブロック２を四分木分割しているので下位ブロックの４つのＣＢＦも存在することになる。ここでは、ブロック２の下位ブロックの番号を０’、１’、２’、３’として上位ブロックと区別している。
Even when NxN is further divided, it can be recursively expressed using the above relationship. For example, FIG. 20C shows an example of hierarchical quadtree partitioning when the upper block and the lower block are recursively combined.
つまり、上位ブロックと下位ブロックの構成は、階層の深さによって変化する。例えば、階層の深さ（ｌａｙｅｒ）で表現される上位ブロックは、（ｌａｙｅｒ＋１）の階層では４つの下位ブロックを持つことになる。同様に（ｌａｙｅｒ＋１）の階層で表現される上位ブロックは、（ｌａｙｅｒ＋２）の階層では４つの下位ブロックを持つことになる。ＣＢＦについても同様の階層化による四分木分割が可能である。 That is, the configuration of the upper block and the lower block changes depending on the depth of the hierarchy. For example, an upper block expressed by a layer depth (layer) has four lower blocks in the layer (layer + 1). Similarly, the upper block expressed in the (layer + 1) hierarchy has four lower blocks in the (layer + 2) hierarchy. Quad tree division by similar hierarchization is also possible for CBF.
このような階層的なブロック分割に対応するシンタクスの一例として、階層構造を再帰的に表現したときのＣＢＦの関係を図２１に示す。図中に示されるｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）は、図中太字で表されている、上位ブロックの非０の変換係数の有無を表すｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇと、下位ブロックの非０の変換係数の有無を表すｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを符号化するシンタクス構造を示している。図中のｃｕｒｒＢｌｏｃｋＰｏｓは、当該ブロックの位置を示す情報であり、ｌａｙｅｒは、階層構造の深さを示す。例えば、ｃｕｒｒＢｌｏｃｋＰｏｓ０は図２０Ｂにおけるブロック０を示し、ｃｕｒｒＢｌｏｃｋＰｏｓ３は図２０Ｂにおけるブロック３を示している。ｌａｙｅｒの一例として、図２０Ａで２Ｎｘ２Ｎサイズが６４ｘ６４の例を示すと、ＮｘＮサイズは３２ｘ３２となり、ｌａｙｅｒは１となる。更にＮｘＮを分割する場合、Ｎ／２ｘＮ／２サイズは１６ｘ１６となり、ｌａｙｅｒは２となる。
As an example of syntax corresponding to such hierarchical block division, the relationship of CBF when a hierarchical structure is recursively expressed is shown in FIG. Transform_unit () shown in the figure encodes upper_coded_block_flag that indicates the presence / absence of non-zero transform coefficients in the upper block and lower_coded_block_flag that represents the presence / absence of non-zero transform coefficients in the lower block, which are shown in bold in the figure. Shows the syntax structure. In the figure, currBlockPos is information indicating the position of the block, and layer indicates the depth of the hierarchical structure. For example, currBlockPos0 indicates
ｃｕｒｒＬｏｗｅｒＡｖａｉｌａｂｌｅは、当該ブロックが下位ＣＢＦを保持することができるかどうかを示す内部変数である。言い換えれば、当該ブロックが、分割可能かどうかを示している。例えば、予め定めた最小分割ブロックサイズよりも当該ブロックを分割したときのブロックサイズが小さくなる場合、下位ＣＢＦを持つことができないためｃｕｒｒＬｏｗｅｒＡｖａｉｌａｂｌｅは０となる。一方、当該ブロックを更に分割することが可能である場合ｃｕｒｒＬｏｗｅｒＡｖａｉｌａｂｌｅは１となる。 currLowerAvailable is an internal variable indicating whether or not the block can hold a lower CBF. In other words, it indicates whether or not the block can be divided. For example, if the block size when the block is divided is smaller than a predetermined minimum divided block size, currLowerAvailable is 0 because the lower CBF cannot be provided. On the other hand, currLowerAvailable is 1 when the block can be further divided.
ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは、上位ブロックの非０の変換係数の有無を示すフラグであり、言い換えれば上位ブロックを分割するかどうかを表している。分割する場合は１、分割しない場合は０となる。ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが１である場合、上位ブロックに非０の変換係数が存在するため、更に下位ＣＢＦを持つことが可能となる。関数ｃａｌｃｕｌａｔｅＢｌｏｃｋＰｏｓ（）は、当該ブロックを四分木分割した際、ｉ（ｉは０から最大３まで）で示される分割後のブロックの位置を返す関数である。ｃｕｒｒＢｌｏｃｋＰｏｓ０から３は、最大４つまでの分割後のブロックの位置を示す。 upper_coded_block_flag is a flag indicating the presence or absence of a non-zero transform coefficient in the upper block, in other words, whether or not the upper block is divided. It is 1 when dividing, and 0 when not dividing. When upper_coded_block_flag is 1, since there is a non-zero conversion coefficient in the upper block, it is possible to have a lower CBF. The function calculateBlockPos () is a function that returns the position of the block after division indicated by i (i is from 0 to a maximum of 3) when the block is divided into quadtrees. currBlockPos0 to 3 indicate the positions of blocks after division up to four.
ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは、下位ブロックの非０の変換係数の有無を示すシンタクス要素であり、当該下位ブロックに非０の変換係数が存在する場合は１を、存在しない場合は０となる。ｃｏｄｅｄＢｌｏｃｋＦｌａｇは階層構造毎にｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを保持する内部変数であり、下位ブロックに該当する当該ブロックからｌａｙｅｒが０で示される上位ブロックまでのｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが保持されている。 The lower_coded_block_flag is a syntax element indicating the presence / absence of a non-zero transform coefficient in a lower block, and is 1 when a non-zero transform coefficient exists in the lower block, and 0 when not present. CodedBlockFlag is an internal variable that holds lower_coded_block_flag for each hierarchical structure, and holds lower_coded_block_flag from the block corresponding to the lower block to the upper block indicated by layer = 0.
ｒｅｓｉｄｕａｌ＿ｂｌｏｃｋ（）は、ＣＢＦ以外の変換係数に関連する情報を符号化する関数である。なお、本関数は非０の変換係数が存在する時だけ（ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが１のときだけ）呼び出される。更に、本関数はｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）以外の関数で呼び出される構成としてもよい。 residual_block () is a function that encodes information related to transform coefficients other than CBF. This function is called only when a non-zero conversion coefficient exists (only when lower_coded_block_flag is 1). Further, this function may be called by a function other than transform_unit ().
図２１で示される再帰構造を持ったシンタクス構造を考えた場合、上位ＣＢＰが１である場合に、下位のＣＢＰ（４ｘ４画素の場合はＣＢＦ）がすべて０であるという冗長な組み合わせが存在する。 Considering the syntax structure having the recursive structure shown in FIG. 21, when the upper CBP is 1, there is a redundant combination in which the lower CBP (CBF in the case of 4 × 4 pixels) is all 0.
（四分木分割による再帰構造をもった階層ブロックにおけるＣＢＦの冗長度削減）
図２１で説明した再帰構造を持つＣＢＦのシンタクス構造時にも発生する下位ＣＢＦの冗長性を削減したシンタクス構造の一例が図２２に示されている。図２２では、ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）関数に、ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇが引数として追加されている。ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇは、当該ブロックにおいてｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを符号化又は復号するかどうかを示す1ビットの内部変数である。上位ＣＢＦが存在した場合（上位ブロックのｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが１の場合）で且つ、４つの下位ＣＢＦの内の最初の３つのｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが全て０である場合、ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇが１となる。そうでない場合は、ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇは０に設定される。(Reduce CBF redundancy in hierarchical blocks with a recursive structure by quadtree partitioning)
FIG. 22 shows an example of a syntax structure in which the redundancy of the lower CBF that occurs even in the case of the CBF syntax structure having the recursive structure described in FIG. 21 is reduced. In FIG. 22, “DecodedSkipFlag” is added as an argument to the transform_unit () function. “DecodedSkipFlag” is a 1-bit internal variable indicating whether or not lower_coded_block_flag is encoded or decoded in the block. If the upper CBF exists (when the upper block upper_coded_block_flag is 1) and the first three lower_coded_block_flags of the four lower CBFs are all 0, the DecodedSkipFlag is 1. Otherwise, DecodedSkipFlag is set to 0.
逆にいえば、ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇが１の場合、下位ブロックの最初から３番目までのＣＢＦが０であるため、４番目に相当する下位ブロックのＣＢＦ（ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇ）は自動的に１に設定される。ここでは、最初の３つのｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが全て０である場合を説明したが、符号化及び復号の際に最後に処理されるブロック以外が全て０である場合にＤｅｃｏｄｅｄＳｋｉｐＦｌａｇが１とすることも容易に実現可能である。このようなシンタクス構造をもつことで、四分木分割されたシンタクス構造における下位ＣＢＦの冗長性を削減することが可能となる。 Conversely, when the decoded skip flag is 1, the CBFs from the first to the third of the lower blocks are 0, so the CBF (lower_coded_block_flag) of the lower block corresponding to the fourth is automatically set to 1. Here, the case where the first three lower_coded_block_flags are all 0 has been described. However, when the blocks other than the last block to be processed at the time of encoding and decoding are all 0, it is also easily realized that the Decoded Skip Flag is 1. Is possible. By having such a syntax structure, it becomes possible to reduce the redundancy of the lower CBF in the syntax structure divided by the quadtree.
（シンタクス要素の分割）
なお、本実施の形態に関わるシンタクス要素のｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇとｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇを別々の関数として分けることも可能である。この例が図２３Ａ及び図２３Ｂに記述されている。(Syntax element division)
It should be noted that the upper_coded_block_flag and lower_coded_block_flag of the syntax elements according to the present embodiment can be separated as separate functions. An example of this is described in FIGS. 23A and 23B.
図２３Ａでは、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇのみを再帰的に符号化するシンタクス構造である。図中に示される(・・・)は、ＣＢＦ以外の様々なシンタクス要素、関数が記述されてもよいことを意味している。ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇが０となる場合に、ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｔｒｅｅ（）関数が呼ばれる。一方、図２３Ｂにｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｔｒｅｅ（）関数が示されている。ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｔｒｅｅ（）関数は、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇのみを符号化する関数である。以上のように上位ブロックと下位ブロックを分割しても、分割しない図２２と同一の機能を実現できる。 FIG. 23A shows a syntax structure that recursively encodes only the upper_coded_block_flag. (...) shown in the figure means that various syntax elements and functions other than CBF may be described. When upper_coded_block_flag becomes 0, the transform_unit_tree () function is called. On the other hand, FIG. 23B shows a transform_unit_tree () function. The transform_unit_tree () function is a function that encodes only the lower_coded_block_flag. As described above, even if the upper block and the lower block are divided, the same function as that of FIG.
（ＣＢＦ符号化例１：冗長度有り）
図２０Ｂの場合で、４つの下位ブロックと上位ブロックのＣＢＦの符号長を図２１のシンタクスに従って算出した場合の符号量は、図３で示されている。下位ＣＢＦの組み合わせ（ｌｏｗｅｒ＿ｃｏｄｅｓ）が０００１の場合に、符号化データは０００１となり、４ビットが必要となる。これに対し、図２２のシンタクスに従って算出した場合の符号量は、図２で示されている。下位ＣＢＦ（ｌｏｗｅｒ＿ｃｏｄｅｓ）が０００１の場合には最後の１ビットを符号せず、符号化データを０００とする。これにより、冗長な最後の1ビットの符号量を削減できる。(CBF coding example 1: with redundancy)
In the case of FIG. 20B, the code amount when the code lengths of the CBFs of the four lower blocks and the upper block are calculated according to the syntax of FIG. 21 is shown in FIG. When the combination of the lower CBF (lower_codes) is 0001, the encoded data is 0001 and 4 bits are required. On the other hand, the code amount when calculated according to the syntax of FIG. 22 is shown in FIG. When the lower CBF (lower_codes) is 0001, the last 1 bit is not encoded and the encoded data is 000. As a result, the redundant last 1-bit code amount can be reduced.
次に図２０Ｂの場合に、図２１のシンタクス構造を用いてＣＢＦを符号化・復号化した場合の、各ブロックの符号長を図２４Ａに示す。本図を用いて符号化・復号化の流れを説明する。ここで、図２０Ｂでは、ブロック３のみが非０の変換係数を有し、それ以外のブロックは非０の変換係数を持たない場合を考える。 Next, in the case of FIG. 20B, FIG. 24A shows the code length of each block when the CBF is encoded / decoded using the syntax structure of FIG. The flow of encoding / decoding will be described with reference to FIG. Here, in FIG. 20B, consider a case where only block 3 has a non-zero transform coefficient, and the other blocks do not have a non-zero transform coefficient.
先ず、図２０Ａの２Ｎｘ２Ｎの上位ブロック０”に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼ばれる。ここで上位ブロックは４つの下位ブロックに分割されているため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは１として符号化される。次に図２０Ｂのブロック０に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここでＮｘＮのブロック０は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。更に当該ブロックは非ゼロの変換係数を持たないため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。
First, transform_unit () is called for the 2N × 2N
次にブロック１に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここでＮｘＮのブロック１は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。更に当該ブロックは非ゼロの変換係数を持たないため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。ブロック２についても同様の符号化・復号化処理が施される。最後にブロック３に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここでＮｘＮのブロック３は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。当該ブロックは非ゼロの変換係数を持つため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは１として符号化・復号化される。
Next, transform_unit () is called for
以上の処理を経て、符号化・復号化されたＣＢＦの情報は５ビットのｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇと４ビットのｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇとなり９ビットの符号長となる。 Through the above processing, the encoded / decoded CBF information becomes a 5-bit upper_coded_block_flag and a 4-bit lower_coded_block_flag, and has a 9-bit code length.
（ＣＢＦ符号化例１：冗長度削減手法）
次に図２０Ｂの場合に、図２２のシンタクス構造を用いてＣＢＦを符号化・復号化した場合の、各ブロックの符号長を図２４Ｂに示す。本図を用いて符号化・復号化の流れを説明する。ここでは、先ほどと同様に、ブロック３のみが非０の変換係数を有し、それ以外のブロックは非０の変換係数を持たない場合を考える。(CBF coding example 1: redundancy reduction method)
Next, in the case of FIG. 20B, FIG. 24B shows the code length of each block when the CBF is encoded / decoded using the syntax structure of FIG. The flow of encoding / decoding will be described with reference to FIG. Here, as before, only the
ブロック０”及びブロック０からブロック２までは前述と同一の処理が施される。なお、このとき、ＤｅｃｏｄｅＳｋｉｐＦｌａｇは０である。最後にブロック３に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここで、ブロック０、ブロック１、ブロック２の３つの下位ブロックのＣＢＦが全て０となるため、ＤｅｃｏｄｅＳｋｉｐＦｌａｇが１に設定される。ブロック３は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。ＤｅｃｏｄｅＳｋｉｐＦｌａｇが１であるため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは符号化・復号化されず、内部的に１が設定される。
The same processing as described above is performed for
以上の処理を経て、符号化・復号化されたＣＢＦの情報は５ビットのｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇと３ビットのｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇとなり８ビットの符号長となる。これにより、１ビットの無駄な符号を削減できる。 Through the above processing, the encoded / decoded CBF information becomes a 5-bit upper_coded_block_flag and a 3-bit lower_coded_block_flag, and has a code length of 8 bits. Thereby, a 1-bit useless code can be reduced.
（ＣＢＦ符号化例２：冗長度有り）
次に図２０Ｃの場合に、図２１のシンタクス構造を用いてＣＢＦを符号化・復号化した場合の、各ブロックの符号長を図２４Ｃに示す。本図を用いて符号化・復号化の流れを説明する。ここで、図２０Ｃでは、ブロック３’のみが非０の変換係数を有し、それ以外のブロックは非０の変換係数を持たない場合を考える。(CBF encoding example 2: with redundancy)
Next, in the case of FIG. 20C, the code length of each block when the CBF is encoded / decoded using the syntax structure of FIG. 21 is shown in FIG. 24C. The flow of encoding / decoding will be described with reference to FIG. Here, in FIG. 20C, a case is considered in which only block 3 ′ has a non-zero transform coefficient, and other blocks do not have a non-zero transform coefficient.
ブロック０”、ブロック０及びブロック１は、図２４Ａの説明と同一の処理が施される。続いてブロック２に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここでブロック２は４つの下位ブロックに分割されているため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは１として符号化・復号化される。続いてブロック２の下位ブロックであるブロック０’に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここでＮ／２ｘＮ／２のブロック０’は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。更に当該ブロックは非ゼロの変換係数を持たないため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。
次にブロック１’に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここでＮ／２ｘＮ／２のブロック１’は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。更に当該ブロックは非ゼロの変換係数を持たないため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。ブロック２’についても同様の符号化・復号化処理が施される。続いてブロック３’に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここでＮ／２ｘＮ／２のブロック３’は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。当該ブロックは非ゼロの変換係数を持つため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは１として符号化・復号化される。
Next, transform_unit () is called for block 1 '. Here, since N / 2 × N / 2
引き続き、ブロック３に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここでＮｘＮのブロック３は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。更に当該ブロックは非ゼロの変換係数を持たないため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。
Subsequently, transform_unit () is called for
以上の処理を経て、符号化・復号化されたＣＢＦの情報は９ビットのｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇと７ビットのｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇとなり１６ビットの符号長となる。 Through the above processing, the encoded / decoded CBF information is 9 bits upper_coded_block_flag and 7 bits lower_coded_block_flag, and has a 16-bit code length.
（ＣＢＦ符号化例２：冗長度削減手法）
次に図２０Ｃの場合に、図２２のシンタクス構造を用いてＣＢＦを符号化・復号化した場合の、各ブロックの符号長を図２４Ｄに示す。本図を用いて符号化・復号化の流れを説明する。ここでは、先ほどと同様に、ブロック３’のみが非０の変換係数を有し、それ以外のブロックは非０の変換係数を持たない場合を考える。(CBF coding example 2: redundancy reduction method)
Next, in the case of FIG. 20C, the code length of each block when CBF is encoded / decoded using the syntax structure of FIG. 22 is shown in FIG. 24D. The flow of encoding / decoding will be described with reference to FIG. Here, as before, only the
ブロック０”、ブロック０からブロック１、及びブロック０’からブロック２’までは前述と同一の処理が施される。なお、このとき、ＤｅｃｏｄｅＳｋｉｐＦｌａｇは０である。続いてブロック３’に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここで、ブロック０’、ブロック１’、ブロック２’の３つの下位ブロックのＣＢＦが全て０となるため、ＤｅｃｏｄｅＳｋｉｐＦｌａｇが１に設定される。ブロック３’は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。更にＤｅｃｏｄｅＳｋｉｐＦｌａｇが１であるため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは符号化・復号化されず、内部的に１が設定される。
引き続き、ブロック３に対してｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）が呼び出される。ここでＮｘＮのブロック３は下位ブロックに分割されていないため、ｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。更に当該ブロックは非ゼロの変換係数を持たないため、ｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇは０として符号化・復号化される。
Subsequently, transform_unit () is called for
以上の処理を経て、符号化・復号化されたＣＢＦの情報は９ビットのｕｐｐｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇと６ビットのｌｏｗｅｒ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇとなり１５ビットの符号長となる。これにより、１ビットの無駄な符号を削減できる。 Through the above processing, the encoded / decoded CBF information is 9 bits of upper_coded_block_flag and 6 bits of lower_coded_block_flag, and has a code length of 15 bits. Thereby, a 1-bit useless code can be reduced.
（図２２に準じた符号化フローチャート）
図２２のシンタクス構造に基づいて、本実施の形態を図５のフローチャート及び図６の符号化装置に沿って説明する。コーデットパターンデータの符号化は、例えば、次の方法により行える。なお、以下の説明では、コーデットパターンデータ以外の部分の符号化であるステップ３、ステップ１１も含めて説明する。(Encoding flowchart according to FIG. 22)
Based on the syntax structure of FIG. 22, the present embodiment will be described along the flowchart of FIG. 5 and the encoding device of FIG. The coding pattern data can be encoded by the following method, for example. In the following description,
ステップ１．（Ｓ５０１）画像入力部６０１が画像ブロックを読み込む。ここで読み込むブロックは、典型的には、ステップ５における上位コーデットパターンデータに対応したブロックと同じか、それより大きなサイズ（例えば、６４ｘ６４画素）を持つものとする。
ステップ２．（Ｓ５０２）演算ユニット６０２がＳ５０１で読みこんだブロックに対して符号化すべき予測モードをプログラム用メモリ６０５から読み込む。なお、この予測モードは予め決めておく場合もあるし、複数の予測モードのそれぞれでステップＳ５０３以降を行い最も良いモードを選択する場合もある。他にも予測モードを設定する変形例はたくさんある。
ステップ３．演算ユニット６０２は予測モードを符号化して、符号化データ出力部６０４はビットストリームに出力する。
ステップ４．（Ｓ５０３）演算ユニット６０２は予測モードとすでに復号可能となったデータを利用してブロック予測を行い、入力画像ブロックと予測画像ブロックの差である予測残差を求める。
ステップ５．（Ｓ５０４）演算ユニット６０２は、予測残差にブロック変換（例えば、あらかじめトレーニングデータにより生成したＫＬＴの基底や、ＤＣＴの基底を利用した直交変換）および量子化を施す。ここで変換を行うブロックは、ステップ１のブロックよりも小さなサイズ（例えば、４ｘ４画素）を持つものとする。次に、演算ユニット６０２は量子化された変換係数の中に非０の係数が存在するか否かをあらわす情報をブロック単位で算出する。典型的には、この情報は、ブロック内に非０の係数が存在する場合には１、ブロック内の係数がすべて０の場合には０という、ブロックごとに１ビットのフラグ情報になる。この情報を下位のコーデットパターンデータ（下位ＣＢＰやＣＢＦ）と呼ぶ。次に、下位のコーデットパターンデータの集合（例えば、４つの下位のコーデットパターンデータ）がすべて０か否かという情報を表す、より大きなブロックに対するコーデットパターンデータである上位のコーデットパターンデータ（上位ＣＢＰ）を求める。典型的には、上位のコーデットパターンデータは、下位のコーデットパターンデータがすべて０であれば０、下位のコーデットパターンデータに１つでも非０の情報があれば１という、ブロックごとに１ビットのフラグ情報になる。ここで、上位コーデットパターンデータに対応するブロックのサイズは、下位コーデットパターンデータよりも大きなサイズ（例えば８ｘ８画素）を持つものとする。この処理を階層的に行って最下位のＣＢＰから最上位のＣＢＰまでを設定する。例えば最下位のブロックを４ｘ４画素、最上位のブロックを６４ｘ６４画素とした場合、階層の深さが０（６４ｘ６４画素ブロック）から５（４ｘ４画素ブロック）までで表現される。
Step 5. (S504) The
ステップ６．（Ｓ５０５）演算ユニット６０２が上位のコーデットパターンデータを符号化して、符号化データ出力部６０４がビットストリームに出力する。
Step 6. (S505) The
ステップ７．（Ｓ５０６）演算ユニット６０２は、上位のコーデットパターンデータが０である場合にはステップ８〜１０を飛ばし、そうでないのならステップ８を実行する。
Step 7. (S506) The
ステップ８．（Ｓ５０７）ステップ８〜１０は下位のコーデットパターンデータを１ビットずつ符号化していく過程である。このステップでは次の条件分岐を実行する。演算ユニット６０２は、すでに符号化された下位のコーデットパターンデータが特定のパターンデータである場合（典型的には、最後の１ビットの下位のコーデットパターンデータを符号化する場合であって、かつ、符号化済みの下位のコーデットパターンデータがすべて０である場合）には、次のビットストリームに出力するステップ９を飛ばし、そうでなければステップ９を実行する。
ステップ９．（Ｓ５０８）次に、演算ユニット６０２は符号化すべき下位のコーデットパターンデータを符号化して、符号化データ出力部６０４はビットストリームに出力する。
Step 9. (S508) Next, the
ステップ１０．（Ｓ５０９）演算ユニット６０２は、下位のコーデットパターンデータをすべて符号化していればステップ１１に進め、そうでなければステップ８に戻る。Ｓ５０７からＳ５０９のループはビット数に応じて回る回数が決まり、例えば４ビットであれば４回だけ回すことになる。また、このステップ７〜１０は、上位ブロックが分割されなくなるまで（ステップ１０の判定がＹｅｓになるまで）、階層に応じて再帰的に繰り返される。
ステップ１１．符号化データ出力部６０４は、コーデットパターンデータが非０のブロックについて、量子化された変換係数を符号化してビットストリームに出力する。
なお、ステップ３はＳ５０１やＳ５０２より前にあってもよい。エンコーダは、例えば、符号化すべき予測モードを切り替えながらステップ２〜１１を繰り返し試したうえで、符号化効率が良い予測モードを選択することで、圧縮率を向上させることができる。ただし、デコード可能なビットストリームを出力するために、このような繰り返しは必須ではなく、別の基準で予測モードを決めてもよい。
（図２２に準じた復号フローチャート）
次に本実施の形態で説明した図２２のシンタクス構造を図７のフローチャート及び図８の復号装置に沿って説明する。(Decoding flowchart according to FIG. 22)
Next, the syntax structure of FIG. 22 described in the present embodiment will be described along the flowchart of FIG. 7 and the decoding device of FIG.
以上の方法で生成されたビットストリームを復号化（ブロック単位のＣＢＰの復号化）する方法のフローチャートの一例を図７に、復号化を実行するための装置の一例を図８に示す。コーデットパターンデータの復号化は、例えば、次のステップ１〜１０の方法により行える。
FIG. 7 shows an example of a flowchart of a method for decoding the bit stream generated by the above method (decoding of CBP in units of blocks), and FIG. 8 shows an example of an apparatus for executing the decoding. The decoding of the coded pattern data can be performed by the following
ステップ１．（Ｓ７０１）符号化データ入力部８０１が入力データとしてビットストリームを入力する。ビットストリームは、ブロック単位での予測情報、ブロック単位での予測残差信号の有無を表すコーデットパターンデータ、およびブロック単位での予測残差信号をエントロピー符号化した画像データを含む。
ステップ２．（Ｓ７０２）次に演算ユニット８０２が、取得すべきデータが上位のコーデットパターンデータ（例えば、上位のＣＢＰ）であるかどうかを判定し、上位のコーデットパターンデータであると判定された場合にはステップ３へ、そうでなければステップ４へ飛ぶ。
ステップ３．（Ｓ７０３）演算ユニット８０２が上位のコーデットパターンデータをエントロピー復号により取得する。ステップ９へ飛ぶ。
ステップ４．（Ｓ７０４）次に演算ユニット８０２が、取得すべきデータが上位コーデットパターンデータに属するコーデットパターンデータである下位のコーデットパターンデータ（例えば、下位のＣＢＰあるいは下位のＣＢＦ）であるかどうかを判定し、下位のコーデットパターンデータであると判定された場合にはステップ６へ、そうでなければステップ５へ飛ぶ。
ステップ５．（Ｓ７０５）次に演算ユニット８０２が取得すべき（コーデットパターンデータ以外の）データを取得しステップ９へ飛ぶ。 Step 5. (S705) Next, the data to be acquired by the arithmetic unit 802 (other than the coded pattern data) is acquired and the process jumps to Step 9.
ステップ６．（Ｓ７０６）演算ユニット８０２が、すでに取得された下位のコーデットパターンデータが予め定められたパターンであるかどうかを判定し、予め定められたパターンである場合にはステップ７へ飛び、そうでなければステップ８へ飛ぶ。例えば、図２の例においては、予め定められたパターンとは、下位のコーデットパターンデータが４ビットであり、かつ、すでに下位のコーデットパターンデータが３ビット取得されていて次に取得すべきデータが４ビット目のコーデットパターンデータであり、かつ、すでに取得された３ビットが０００であるパターンを指す。
Step 6. (S706) The
ステップ７．（Ｓ７０７）次に演算ユニット８０２が、取得すべき下位のコーデットパターンデータとして、予め定められた固定値を設定し、設定後ステップ９へ飛ぶ。例えば、図２の例では、次に取得すべき４ビット目のコーデットパターンデータとして１を設定する。
Step 7. (S707) Next, the
ステップ８．（Ｓ７０８）次に演算ユニット８０２が、取得すべき下位のコーデットパターンデータをエントロピー復号により取得する。
ステップ９．（Ｓ７０９）演算ユニット８０２がブロック情報の取得が完了しているかどうかを判定し、取得が完了していればステップ１０へ飛び、そうでなければステップ２へ飛ぶ。ブロック情報は、復号された、ブロック単位での予測情報およびブロック単位での予測残差信号を示す。すなわち、このフローでは明示されていないが、ビットストリームに含まれる情報がブロック単位での予測情報である場合にはビットストリームを復号化しブロック単位での予測情報を得るステップがあり、ビットストリームに含まれる情報がブロック単位での予測残差信号である場合にはビットストリームを復号化しブロック単位での予測残差信号を得るステップがある。
Step 9. (S709) The
ステップ１０．（Ｓ７１０）演算ユニット８０２が取得されたブロック情報に基づきブロック画像信号を復元し、画像出力部８０４が復元された画像を出力する。
このステップ２〜９は、上位ブロックが分割されなくなるまで（ステップ９の判定がＹｅｓになるまで）、階層に応じて再帰的に繰り返される。
本実施の形態に関わる復号化装置については図８と同一の構成であるため、説明を省略する。 The decoding apparatus according to this embodiment has the same configuration as that in FIG.
（ダイレクトモード）
Ｈ．２６４の多くのフレーム間符号化モードでは、すでに復号化した情報から求められる動き予測に対する動きの予測誤差、および予測で得られたブロックと画像ブロックとの予測残差の２つの情報を符号化および復号化する。しかし、動きの予測誤差を符号化および復号化せず予測残差のみを符号化および復号化するダイレクトモード、すでに復号化した情報から求められる動き予測のみを利用したスキップモードという２つの特殊なモードが用意されている。なお、Ｈ．２６４ではＢスライスと呼ばれるデータに対してのみダイレクトモードが用意されているが、Ｐスライスと呼ばれるデータについても同じ定義でのダイレクトモードが実現できるため、本実施の形態ではスライスの種類については特に限定しない。(Direct mode)
H. In many inter-frame coding modes of H.264, two pieces of information such as a motion prediction error for motion prediction obtained from already decoded information and a prediction residual between a block and an image block obtained by the prediction are encoded and Decrypt. However, there are two special modes: a direct mode that encodes and decodes only a prediction residual without encoding and decoding motion prediction errors, and a skip mode that uses only motion prediction obtained from already decoded information Is prepared. H. In H.264, a direct mode is prepared only for data called a B slice, but since a direct mode with the same definition can be realized for data called a P slice, the type of slice is particularly limited in this embodiment. do not do.
スキップモードとダイレクトモードという２つのモードを比較すると、スキップモードはダイレクトモードの予測残差が存在しないモードであると考えられる。Ｈ．２６４では予測残差が存在しないダイレクトモードを符号化することも可能であるが、そのような場合にはスキップモードで符号化し、復号化時にダイレクトモードでは常に予測残差が存在すると解釈してもよく、予測残差が存在しないダイレクトモードは冗長なモードであることがわかる。したがって、拡張マクロブロックにおける階層的なコーデットブロックデータをデコードする際には、ダイレクトモードとして符号化されたブロックと同一サイズのコーデットブロックデータに限り、コーデットブロックデータをエントロピー復号化により取得せずに、予測残差の存在を表す固定値（１）を設定できる。換言すれば、ブロック単位での予測情報がダイレクトモードである場合に、上位コーデットパターンデータを前記ビットストリームから復号化せずに予め定めた値を設定する。なお、ダイレクトモードにおける下位のブロック（例えば、６４ｘ６４画素のレベル２拡張マクロブロックでダイレクトモードと記録されている場合にそのブロックを構成する４つの３２ｘ３２画素の拡張マクロブロック）については、予測残差の存在の有無は不明であって、コーデットブロックデータを符号化および復号化する必要がある。
Comparing two modes, the skip mode and the direct mode, the skip mode is considered to be a mode in which no prediction residual exists in the direct mode. H. In H.264, it is possible to encode a direct mode in which no prediction residual exists, but in such a case, it is encoded in the skip mode, and it is interpreted that there is always a prediction residual in the direct mode at the time of decoding. It can be seen that the direct mode without the prediction residual is a redundant mode. Therefore, when decoding the hierarchical coded block data in the extended macroblock, only the coded block data having the same size as the block coded as the direct mode is acquired without entropy decoding. A fixed value (1) representing the presence of the prediction residual can be set. In other words, when the prediction information in units of blocks is in the direct mode, a predetermined value is set without decoding higher-order code pattern data from the bitstream. For the lower-level blocks in the direct mode (for example, four 32 × 32 pixel extended macroblocks constituting the block when the
（スキップフラグ）
今までの説明ではコーデットブロックデータの無駄を減らす手段について述べてきた。同じ手段で、スキップモードをあらわすスキップフラグについても冗長な情報を減らすことができる。スキップモードは、ブロックがスキップである場合に１、そうでない場合に０となるフラグである。スキップ予測が可能なブロックのサイズとして２種以上のサイズが用意されている場合には、スキップフラグを階層的に符号化する必要がある。この場合、図１６（単純な階層的スキップフラグの一例）のように実装することになるが、これは今まで述べてきたＣＢＰとＣＢＦの例を論理反転させた表になっており、従来のコーデットブロックデータが冗長であった理由と同じ理由で冗長である。したがって、図１７（本実施の形態の階層的スキップフラグの一例）に示すように、下位のスキップフラグとして４つのフラグが符号化および復号化される場合、上位のスキップフラグが０、下位のスキップフラグのうち第１、第２、第３のスキップフラグが１であるなら、第４の下位のスキップフラグを符号化および復号化せずに、０という固定値を利用できる。(Skip flag)
The explanation so far has described means for reducing the waste of code block data. With the same means, redundant information can be reduced for the skip flag indicating the skip mode. The skip mode is a flag that becomes 1 when the block is skipped and 0 when it is not. When two or more sizes are prepared as the sizes of blocks that can be skip-predicted, it is necessary to encode the skip flag hierarchically. In this case, it is implemented as shown in FIG. 16 (an example of a simple hierarchical skip flag). This is a table obtained by logically inverting the examples of CBP and CBF described so far. It is redundant for the same reason that the coded block data is redundant. Therefore, as shown in FIG. 17 (an example of a hierarchical skip flag according to the present embodiment), when four flags are encoded and decoded as the lower skip flags, the upper skip flag is 0 and the lower skip is performed. If the first, second, and third skip flags among the flags are 1, a fixed value of 0 can be used without encoding and decoding the fourth lower skip flag.
階層的なスキップフラグを符号化する方法の流れを表す図を図２８に示す。符号化は、次の流れで行われる。 FIG. 28 illustrates a flow of a method for encoding a hierarchical skip flag. Encoding is performed in the following flow.
ステップ１．（Ｓ２８０１）画像入力部６０１が画像ブロックを読み込む。
ステップ２．（Ｓ２８０２）演算ユニット６０２がＳ５０１で読みこんだブロックに対して符号化すべき予測モードをプログラム用メモリ６０５から読み込む。予測モードは、スキップフラグ（Ｓｋｉｐ）の情報を含む。なお、この予測モードは予め決めておく場合もあるし、複数の予測モードのそれぞれでステップＳ５０３以降を行い最も良いモードを選択する場合もある。他にも予測モードを設定する変形例はたくさんある。
ステップ３．（Ｓ２８０３）演算ユニット６０２は上位のスキップフラグを符号化して、符号化データ出力部６０４はビットストリームに出力する。
ステップ４．（Ｓ２８０４）このステップは次の条件分岐を実行する。演算ユニット６０２は、上位のスキップフラグが１であれば、ステップ５〜９を飛ばす。そうでなければステップ５を実行する。
ステップ５．（Ｓ２８０５）演算ユニット６０２は、スキップフラグ以外の、上位の予測モードを符号化して、符号化データ出力部６０４からビットストリームに出力する。
Step 5. (S2805) The
ステップ６．（Ｓ２８０６）ステップ６〜８は下位のスキップフラグのうち１ビットを符号化する過程である。このステップでは次の条件分岐を実行する。演算ユニット６０２は、すでに符号化された下位のスキップフラグが特定のパターンデータである場合（典型的には、最後の１ビットの下位のスキップフラグを符号化する場合であって、かつ、符号化済みの下位のスキップフラグがすべて１である場合）には、次のビットストリームに出力するステップ７を飛ばし、そうでなければステップ７を実行する。
Step 6. (S2806) Steps 6 to 8 are processes for encoding one bit of the lower skip flags. In this step, the next conditional branch is executed. The
ステップ７．（Ｓ２８０７）演算ユニット６０２は符号化すべき下位のスキップフラグを符号化して、符号化データ出力部６０４からビットストリームに出力する。
Step 7. (S2807) The
ステップ８．（Ｓ２８０８）演算ユニット６０２は、スキップフラグ以外の、下位の予測モードを符号化して、符号化データ出力部６０４からビットストリームに出力する。また、演算ユニット６０２は、残差情報があるなら、残差情報を符号化して、符号化データ出力部６０４からビットストリームに出力する。
ステップ９．（Ｓ２８０９）演算ユニット６０２は、（下位のスキップフラグを含めた）下位のブロックをすべて符号化していればブロックの符号化を終了する。そうでなければ、次の下位のブロックを符号化するために、ステップ６に戻る。Ｓ２８０６からＳ２８０９のループは上位のブロックに属する下位のブロックの数に応じて回る回数が決まり、例えば下位のブロックが４つに分割されているなら４回だけ回すことになる。
Step 9. (S2809) The
エンコーダは、例えば、符号化すべき予測モードを切り替えながらステップ２〜９を繰り返し試したうえで、符号化効率が良い予測モードを選択することで、圧縮率を向上させることができる。ただし、デコード可能なビットストリームを出力するために、このような繰り返しは必須ではなく、別の基準で予測モードを決めてもよい。
The encoder can improve the compression rate by, for example, repeatedly trying
階層的なスキップフラグの復号化の流れは図７とほとんど同じである。図７に対応する、ブロック単位のスキップフラグの復号化の流れの一例を図１８に示す。図１８の流れは、Ｓ７０２〜Ｓ７０８におけるＣＢＰが、Ｓ１８０２〜Ｓ１８０８におけるスキップフラグ（図１８ではｓｋｉｐと表記）に置き換わる点が図７と異なる。対応するシンタックスは、例えば、図１９のようになる。図１９は、階層的なスキップフラグに対する本実施の形態を利用したフラグ削減の一例である。 The flow of decoding the hierarchical skip flag is almost the same as in FIG. FIG. 18 shows an example of the decoding flow of the block-by-block skip flag corresponding to FIG. The flow in FIG. 18 is different from FIG. 7 in that the CBP in S702 to S708 is replaced with a skip flag in S1802 to S1808 (indicated as “skip” in FIG. 18). The corresponding syntax is, for example, as shown in FIG. FIG. 19 is an example of flag reduction using this embodiment for hierarchical skip flags.
（四分木分割による再帰構造をもった階層ブロックにおけるスキップフラグ符号化）
図２０Ａから図２０Ｃまでで説明したような四分木分割による再帰構造においても、前述の通り、スキップフラグ或いはダイレクトモードの冗長度を削減可能である。図２５にこの場合のシンタクス構造の一例を示す。図２５に示されるｃｏｄｉｎｇ＿ｕｎｉｔ（）は、予測モードなどに関連する情報を符号化する関数である。本関数の基本構造は、図２２とほぼ同じである。上位ブロックのスキップフラグをｕｐｐｅｒ＿ｓｋｉｐ＿ｆｌａｇ、４つの下位ブロックのスキップフラグをｌｏｗｅｒ＿ｓｋｉｐ＿ｆｌａｇと表現している。ここで、図２２の説明時と同様、上位スキップフラグは、当該ブロックを分割するかどうかを示す情報と等価である。ｃｕｒｒＬｏｗｅｒＡｖａｉｌａｂｌｅは、当該ブロックを分割することが可能かどうかを示す内部変数である。例えば、予め定めた最小分割ブロックサイズよりも当該ブロックを分割したときのブロックサイズが小さくなる場合、下位ブロックがスキップモードを取ることができないためｃｕｒｒＬｏｗｅｒＡｖａｉｌａｂｌｅは０となる。一方、当該ブロックを更に分割することが可能である場合ｃｕｒｒＬｏｗｅｒＡｖａｉｌａｂｌｅは１となる。(Skip flag coding in hierarchical blocks with recursive structure by quadtree partitioning)
Also in the recursive structure by quadtree partitioning as described in FIGS. 20A to 20C, the redundancy of the skip flag or the direct mode can be reduced as described above. FIG. 25 shows an example of the syntax structure in this case. Coding_unit () shown in FIG. 25 is a function that encodes information related to the prediction mode and the like. The basic structure of this function is almost the same as in FIG. The skip flag of the upper block is expressed as upper_skip_flag, and the skip flag of the four lower blocks is expressed as lower_skip_flag. Here, as in the description of FIG. 22, the upper skip flag is equivalent to information indicating whether or not to divide the block. currLowerAvailable is an internal variable indicating whether or not the block can be divided. For example, when the block size when the block is divided is smaller than a predetermined minimum divided block size, currLowerAvailable is 0 because the lower block cannot take the skip mode. On the other hand, currLowerAvailable is 1 when the block can be further divided.
ｕｐｐｅｒ＿ｓｋｉｐ＿ｆｌａｇは、上位ブロックがスキップモードかどうかを示すフラグであり、言い換えれば上位ブロックを分割するかどうかを表している。分割する場合は１、分割しない場合は０となる。 upper_skip_flag is a flag indicating whether the upper block is in the skip mode, in other words, whether the upper block is divided. It is 1 when dividing, and 0 when not dividing.
ＡｖａｉｌａｂｌｅＳｋｉｐは、当該ブロックがスキップモードを選択できるかどうかを示す1ビットの内部変数である。当該スライスがイントラ予測のみで構成されるＩ−ｓｌｉｃｅである場合に、スキップモードのフラグを符号化することは無駄であり、符号量増に繋がるため、上記場合ＡｖａｉｌａｂｌｅＳｋｉｐは０に設定される。それ以外の場合には１に設定される。つまり、ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇが０且つＡｖａｉｌａｂｌｅＳｋｉｐが１の場合のみｌｏｗｅｒ＿ｓｋｉｐ＿ｆｌａｇが符号化される。 “AvailableSkip” is a 1-bit internal variable indicating whether or not the block can select the skip mode. When the slice is an I-slice configured only by intra prediction, encoding the skip mode flag is useless and leads to an increase in the amount of codes. In this case, AvailableSkip is set to 0. Otherwise, it is set to 1. That is, lower_skip_flag is encoded only when DecodedSkipFlag is 0 and AvailableSkip is 1.
ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇは、当該ブロックにおいてｌｏｗｅｒ＿ｓｋｉｐ＿ｆｌａｇを符号化又は復号するかどうかを示す1ビットの内部変数である。上位スキップフラグが存在した場合（上位ブロックのｕｐｐｅｒ＿ｓｋｉｐ＿ｆｌａｇが１の場合）で且つ、４つの下位スキップフラグの内の最初の３つのｌｏｗｅｒ＿ｓｋｉｐ＿ｆｌａｇが全て０である場合、ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇが１となる。そうでない場合は、ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇは０に設定される。逆にいえば、ＤｅｃｏｄｅｄＳｋｉｐＦｌａｇが１の場合、下位ブロックの最初から３番目までのスキップフラグが０であるため、４番目に相当する下位ブロックのスキップフラグ（ｌｏｗｅｒ＿ｓｋｉｐ＿ｆｌａｇ）は自動的に１に設定される。 “DecodedSkipFlag” is a 1-bit internal variable indicating whether lower_skip_flag is encoded or decoded in the block. When the upper skip flag exists (when upper_skip_flag of the upper block is 1), and when the first three lower_skip_flags of the four lower skip flags are all 0, DecodedSkipFlag is 1. Otherwise, DecodedSkipFlag is set to 0. Conversely, when the Skipped Skip Flag is 1, the skip flag from the first to the third of the lower block is 0, so the skip flag (lower_skip_flag) of the lower block corresponding to the fourth is automatically set to 1. .
（シンタクス分割例）
このようなシンタクス構造をもつことで、四分木分割されたシンタクス構造における下位スキップフラグの冗長性を削減することが可能となる。なお、本実施の形態に関わるシンタクス要素のｕｐｐｅｒ＿ｓｋｉｐ＿ｆｌａｇとｌｏｗｅｒ＿ｓｋｉｐ＿ｆｌａｇを別々の関数として分けることも可能である。この例が図２６Ａ及び図２６Ｂに記述されている。(Example of syntax division)
By having such a syntax structure, it becomes possible to reduce the redundancy of the low-order skip flag in the syntax structure divided by the quadtree. Note that the syntax elements upper_skip_flag and lower_skip_flag according to the present embodiment can be separated as separate functions. An example of this is described in FIGS. 26A and 26B.
図２６Ａでは、ｕｐｐｅｒ＿ｓｋｉｐ＿ｆｌａｇのみを再帰的に符号化するシンタクス構造である。ｕｐｐｅｒ＿ｓｋｉｐ＿ｆｌａｇが０となる場合に、ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）関数が呼ばれる。一方、図２６Ｂにｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）関数が示されている。ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）関数は、ｌｏｗｅｒ＿ｓｋｉｐ＿ｆｌａｇのみを符号化する関数である。以上のように上位ブロックと下位ブロックを分割しても、分割しない図２５と同一の機能を実現できる。 FIG. 26A shows a syntax structure that recursively encodes only the upper_skip_flag. When upper_skip_flag becomes 0, the prediction_unit () function is called. On the other hand, the prediction_unit () function is shown in FIG. 26B. The prediction_unit () function is a function that encodes only the lower_skip_flag. As described above, even when the upper block and the lower block are divided, the same function as that of FIG. 25 can be realized.
（コーデットブロックフラグとスキップフラグの組み合わせ例）
実施の形態で説明した、図２２に示されるコーデットブロックフラグのシンタクス構造と図２６に示されるスキップフラグのシンタクス構造を組み合わせることも可能である。図２７にこれら２つを組み合わせた場合のシンタクス構造を示す。ｃｏｄｉｎｇ＿ｕｎｉｔ（）関数内部で、ｐｒｅｄｉｃｔｉｏｎ＿ｕｎｉｔ（）関数とｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（）関数が呼ばれる構成とすることで、コーデットブロックフラグとスキップフラグの冗長性をそれぞれ削減できる。尚、図中に示されるＤｅｃｏｄｅＳｋｉｐＴｒａｎｓＦｌａｇは、図２２で説明したＤｅｃｏｄｅＳｋｉｐＦｌａｇと同じ機能を有するが、スキップフラグの冗長度削減時のフラグの名称が被るため、異なるインデックスを与えている。(Combination example of coded block flag and skip flag)
It is also possible to combine the syntax structure of the code block flag shown in FIG. 22 and the syntax structure of the skip flag shown in FIG. 26 described in the embodiment. FIG. 27 shows a syntax structure when these two are combined. With the configuration in which the prediction_unit () function and the transform_unit () function are called inside the coding_unit () function, the redundancy of the coded block flag and the skip flag can be reduced. Note that DecodeSkipTransFlag shown in the figure has the same function as DecodeSkipFlag described in FIG. 22, but is given a different index because it has the same name as the flag when the redundancy of the skip flag is reduced.
（発明の効果）
以上に述べたように、本実施の形態を用いると、階層的なＣＢＰやＣＢＦ、およびスキップフラグについて、その冗長性の排除により、圧縮率の高い符号化手段、およびその符号化手段により圧縮されたデータの復号化手段を提供できる。なお、本実施の形態での手段および方法は従来の冗長性を排除するものであって、新しい符号化モードやフラグの追加は行っていない。したがって、従来の符号化方法に対して本実施の形態に記載の方法でフラグの符号化を行うという変更のみを加えた符号化手段を用いるなら、符号量が減ることはあっても増えることはないと期待できる。(Effect of the invention)
As described above, when this embodiment is used, hierarchical CBP, CBF, and skip flag are compressed by encoding means having a high compression ratio and the encoding means by eliminating redundancy. Data decoding means can be provided. Note that the means and method in the present embodiment eliminate conventional redundancy and do not add new encoding modes or flags. Therefore, if an encoding unit is used in which only a change of performing flag encoding by the method described in this embodiment is used with respect to the conventional encoding method, the amount of code may be reduced, but increased. I can expect that.
上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の画像復号化方法および画像符号化方法による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の画像復号化方法および画像符号化方法と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、記憶媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。The instructions shown in the processing procedure shown in the above-described embodiment can be executed based on a program that is software. A general-purpose computer system stores this program in advance and reads this program, so that it is possible to obtain the same effects as those obtained by the image decoding method and the image encoding method of the above-described embodiment. The instructions described in the above-described embodiments are, as programs that can be executed by a computer, magnetic disks (flexible disks, hard disks, etc.), optical disks (CD-ROM, CD-R, CD-RW, DVD-ROM, DVD). ± R, DVD ± RW, etc.), semiconductor memory, or a similar recording medium. As long as the computer or embedded system can read the storage medium, the storage format may be any form. If the computer reads the program from the recording medium and causes the CPU to execute instructions described in the program based on the program, the computer performs the same operation as the image decoding method and the image encoding method of the above-described embodiment. Can be realized. Of course, when the computer acquires or reads the program, it may be acquired or read through a network.
In addition, the OS (operating system), database management software, MW (middleware) such as a network, etc. running on the computer based on the instructions of the program installed in the computer or embedded system from the storage medium realize this embodiment. A part of each process for performing may be executed.
Furthermore, the storage medium in the present invention is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted via a LAN or the Internet is downloaded and stored or temporarily stored.
Also, the number of storage media is not limited to one, and the processing in the present embodiment is executed from a plurality of media, and the configuration of the media is included in the storage media in the present invention.
なお、本願発明におけるコンピュータまたは組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。The computer or the embedded system in the present invention is for executing each process in the present embodiment based on a program stored in a storage medium, and includes a single device such as a personal computer or a microcomputer, Any configuration such as a system in which apparatuses are connected to a network may be used.
Further, the computer in the embodiment of the present invention is not limited to a personal computer, but includes an arithmetic processing device, a microcomputer, and the like included in an information processing device, and a device capable of realizing the functions in the embodiment of the present invention by a program, The device is a general term.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
６０１…画像入力部、６０２、８０２…演算ユニット、６０３、８０３…データ用メモリ、６０４…符号化データ出力部、６０５、８０５…プログラム用メモリ、８０１…符号化データ入力部、８０４…画像出力部。 601: Image input unit, 602, 802 ... Arithmetic unit, 603, 803 ... Data memory, 604 ... Encoded data output unit, 605, 805 ... Program memory, 801 ... Encoded data input unit, 804 ... Image output unit .
Claims (10)
ブロック単位での分割情報を示すフラグを含むビットストリームを取得するステップと、
前記階層の深さＮよりも深さが小さい階層に属する上位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す上位フラグを復号し取得するステップと、
前記階層の深さＮに属する下位ブロックのうち、第１の下位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す第１の下位フラグを復号し取得するステップと、
既に取得している前記上位フラグ及び複数の前記第１の下位フラグが特定の組み合わせである場合に、前記階層の深さＮに属する第２の下位ブロックの四分木の分割情報を示す第２の下位フラグとして予め定めた第１の値を設定し、前記特定の組み合わせではない場合に、前記第２の下位フラグを復号し取得するステップと、
前記上位フラグと、第１及び第２の下位フラグに従って、前記ブロックの復号画像信号を生成するステップと、
を具備する動画像復号化方法。In a moving image decoding method for decoding a block obtained by dividing an input image signal into block sizes corresponding to a depth N of a hierarchy,
Obtaining a bitstream including a flag indicating division information in units of blocks;
Decoding and obtaining an upper flag indicating division information of a quadtree of the upper block given to an upper block belonging to a hierarchy having a depth smaller than the depth N of the hierarchy;
Decoding and obtaining a first lower flag indicating division information of the quadrature tree of the upper block given to the first lower block among the lower blocks belonging to the depth N of the hierarchy;
Second information indicating the quadtree division information of the second lower block belonging to the depth N of the hierarchy when the upper flag and the plurality of first lower flags already acquired are in a specific combination. Setting a predetermined first value as a lower flag of the first and decoding and obtaining the second lower flag if it is not the specific combination;
Generating a decoded image signal of the block according to the upper flag and first and second lower flags;
A video decoding method comprising:
ブロック単位での分割情報を示すフラグを符号化するステップと、
前記階層の深さＮよりも深さが小さい階層に属する上位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す上位フラグを取得するステップと、
前記階層の深さＮに属する下位ブロックのうち、第１の下位ブロックに付与された、前記上位ブロックの四分木の分割情報を示す第１の下位フラグを取得するステップと、
既に取得している前記上位フラグ及び複数の前記第１の下位フラグが特定の組み合わせである場合に、前記階層の深さＮに属する第２の下位ブロックの四分木の分割情報を示す第２の下位フラグとして予め定めた第１の値を設定し、前記特定の組み合わせではない場合に、前記第２の下位フラグを取得するステップと、
前記上位フラグと、第１及び第２の下位フラグに従って、前記ブロックの局部復号画像信号を生成するステップと、
を具備する動画像符号化方法。In a moving image encoding method for performing an encoding process on an input image signal into blocks divided into block sizes according to the depth N of the hierarchy,
Encoding a flag indicating division information in units of blocks;
Obtaining an upper flag indicating division information of a quadtree of the upper block given to an upper block belonging to a hierarchy having a depth smaller than the depth N of the hierarchy;
Obtaining a first lower flag indicating division information of a quadtree of the upper block given to a first lower block among lower blocks belonging to the depth N of the hierarchy;
Second information indicating the quadtree division information of the second lower block belonging to the depth N of the hierarchy when the upper flag and the plurality of first lower flags already acquired are in a specific combination. Setting a predetermined first value as a lower flag of the first and acquiring the second lower flag when it is not the specific combination;
Generating a locally decoded image signal of the block according to the upper flag and first and second lower flags;
A video encoding method comprising:
前記ビットストリームに含まれる情報が上位コーデットパターンデータである場合に、前記ビットストリームを復号化し上位コーデットパターンデータを取得するステップと、
前記ビットストリームに含まれる情報が前記上位コーデットパターンデータに属するコーデットパターンデータである下位コーデットパターンデータであり、かつ、すでに取得した前記上位コーデットパターンデータと該下位コーデットパターンデータの組み合わせが特定の組み合わせである場合に下位コーデットパターンデータとして予め定めたデータを設定し、前記特定の組み合わせでない場合に前記ビットストリームを復号化し次の下位コーデットパターンデータを取得するステップと、
前記コーデットパターンデータによりブロック単位での予測残差信号の有無を判別するステップと、
前記ビットストリームに含まれる情報がブロック単位での予測情報である場合には、前記ビットストリームを復号化しブロック単位での予測情報を得るステップと、
前記ビットストリームに含まれる情報がブロック単位での予測残差信号である場合には、前記ビットストリームを復号化しブロック単位での予測残差信号を得るステップと、
前記ブロック単位での予測情報、および前記ブロック単位での予測残差信号を利用して、画像信号を復号化するステップと、を具備することを特徴とする画像復号化方法。Inputting a bitstream including prediction information in block units, coded pattern data indicating the presence or absence of a prediction residual signal in block units, and image data obtained by entropy encoding the prediction residual signal in block units;
When the information included in the bitstream is higher-order code pattern data, decoding the bitstream to obtain higher-order code pattern data;
The information included in the bit stream is lower code pattern data that is code pattern data belonging to the higher code pattern data, and the combination of the already acquired higher code pattern data and the lower code pattern data is a specific combination. Setting predetermined data as lower-order code pattern data in some cases, and decoding the bitstream if not the specific combination to obtain next lower-order code pattern data;
Determining the presence or absence of a prediction residual signal in block units based on the coded pattern data;
If the information included in the bitstream is prediction information in units of blocks, decoding the bitstream to obtain prediction information in units of blocks;
When the information included in the bitstream is a prediction residual signal in units of blocks, decoding the bitstream to obtain a prediction residual signal in units of blocks;
And a step of decoding an image signal using the prediction information in units of blocks and the prediction residual signal in units of blocks.
前記ビットストリームに含まれる予測情報が複数のブロックのスキップ予測を表す上位スキップデータである場合に、前記ビットストリームを復号化し上位スキップデータを取得するステップと、
前記ビットストリームに含まれる予測情報が前記上位スキップデータに属するスキップデータである下位スキップデータであり、かつ、すでに取得した前記上位スキップデータと該下位スキップデータの組み合わせが特定の組み合わせである場合に次の下位スキップデータとして予め定めたデータを設定し、前記特定の組み合わせでない場合に前記ビットストリームを復号化し次の下位スキップデータを取得するステップと、
前記ブロック単位での予測情報、および前記ブロック単位での予測残差信号を利用して、画像信号を復号化するステップと、を具備することを特徴とする画像復号化方法。Inputting a bitstream including prediction information in units of blocks and image data obtained by entropy encoding a prediction residual signal in units of blocks;
When the prediction information included in the bitstream is higher skip data representing skip prediction of a plurality of blocks, decoding the bitstream to obtain higher skip data;
When the prediction information included in the bitstream is lower skip data that is skip data belonging to the upper skip data, and the combination of the acquired upper skip data and the lower skip data is a specific combination Setting predetermined data as lower skip data, and decoding the bitstream if not the specific combination to obtain the next lower skip data;
And a step of decoding an image signal using the prediction information in units of blocks and the prediction residual signal in units of blocks.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2010/055640 WO2011121715A1 (en) | 2010-03-30 | 2010-03-30 | Image decoding method |
| JPPCT/JP2010/055640 | 2010-03-30 | ||
| PCT/JP2010/071155 WO2011121843A1 (en) | 2010-03-30 | 2010-11-26 | Image coding and image decoding method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2011121843A1 true JPWO2011121843A1 (en) | 2013-07-04 |
Family
ID=44711509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012508020A Pending JPWO2011121843A1 (en) | 2010-03-30 | 2010-11-26 | Image encoding and image decoding method |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JPWO2011121843A1 (en) |
| KR (1) | KR20120043014A (en) |
| CN (1) | CN102484716A (en) |
| WO (2) | WO2011121715A1 (en) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107105259B (en) * | 2011-03-10 | 2021-12-28 | 夏普株式会社 | Image decoding device and method, and recording medium |
| KR20130049524A (en) * | 2011-11-04 | 2013-05-14 | 오수미 | Method for generating intra prediction block |
| US10390016B2 (en) | 2011-11-04 | 2019-08-20 | Infobridge Pte. Ltd. | Apparatus of encoding an image |
| CN103118250B (en) * | 2011-11-16 | 2017-09-26 | 中兴通讯股份有限公司 | A kind of decoding method and device of frame in division symbolizing |
| CN104137545B (en) * | 2012-01-19 | 2018-06-05 | 寰发股份有限公司 | The coding of encoding block flag and the coding/decoding method of video bit stream and device |
| WO2013107027A1 (en) * | 2012-01-19 | 2013-07-25 | Mediatek Singapore Pte. Ltd. | Methods and apparatuses of cbf coding in hevc |
| US9462275B2 (en) * | 2012-01-30 | 2016-10-04 | Qualcomm Incorporated | Residual quad tree (RQT) coding for video coding |
| US9307264B2 (en) * | 2012-06-22 | 2016-04-05 | Sharp Kabushiki Kaisha | Arithmetic decoding device, arithmetic coding device, image decoding apparatus, and image coding apparatus |
| CN104321970B (en) * | 2012-06-26 | 2018-01-19 | 英特尔公司 | Interlayer coding unit quaternary tree model prediction |
| CN104604225B (en) * | 2012-09-10 | 2018-01-26 | 太阳专利托管公司 | Method for encoding images, picture decoding method, picture coding device, picture decoding apparatus and image encoding/decoding device |
| US9307257B2 (en) * | 2013-09-25 | 2016-04-05 | Mitsubishi Electric Research Laboratories, Inc. | Method for improving compression efficiency of distributed source coding using intra-band information |
| US9014499B2 (en) * | 2013-09-25 | 2015-04-21 | Mitsubishi Electric Research Laboratories, Inc. | Distributed source coding using prediction modes obtained from side information |
| CN103826115B (en) * | 2014-03-21 | 2016-03-02 | 华为技术有限公司 | The coding and decoding processing method of Iamge Segmentation mode and device |
| JP6341756B2 (en) * | 2014-05-26 | 2018-06-13 | キヤノン株式会社 | Image processing apparatus and image processing apparatus control method |
| CN111373447A (en) * | 2017-11-22 | 2020-07-03 | 松下电器（美国）知识产权公司 | Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device |
| CN114697653B (en) * | 2018-03-05 | 2023-11-14 | 松下电器（美国）知识产权公司 | Encoding device, decoding device, and storage medium |
| CN113711600B (en) * | 2019-04-26 | 2024-06-21 | 松下电器（美国）知识产权公司 | Encoding device, decoding device, encoding method, and decoding method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003324731A (en) * | 2002-04-26 | 2003-11-14 | Sony Corp | Encoder, decoder, image processing apparatus, method and program for them |
| JP2009510962A (en) * | 2005-10-03 | 2009-03-12 | ノキア コーポレイション | Adaptive variable length code for independent variables |
| JP2009531997A (en) * | 2006-03-27 | 2009-09-03 | クゥアルコム・インコーポレイテッド | Method and system for encoding and decoding information related to video compression |
| WO2010039733A2 (en) * | 2008-10-03 | 2010-04-08 | Qualcomm Incorporated | Video coding with large macroblocks |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101258756A (en) * | 2005-07-21 | 2008-09-03 | 诺基亚公司 | Variable length codes for scalable video coding |
| US20070230564A1 (en) * | 2006-03-29 | 2007-10-04 | Qualcomm Incorporated | Video processing with scalability |
-
2010
- 2010-03-30 WO PCT/JP2010/055640 patent/WO2011121715A1/en active Application Filing
- 2010-11-26 WO PCT/JP2010/071155 patent/WO2011121843A1/en active Application Filing
- 2010-11-26 KR KR1020127004738A patent/KR20120043014A/en not_active Application Discontinuation
- 2010-11-26 JP JP2012508020A patent/JPWO2011121843A1/en active Pending
- 2010-11-26 CN CN2010800376170A patent/CN102484716A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003324731A (en) * | 2002-04-26 | 2003-11-14 | Sony Corp | Encoder, decoder, image processing apparatus, method and program for them |
| JP2009510962A (en) * | 2005-10-03 | 2009-03-12 | ノキア コーポレイション | Adaptive variable length code for independent variables |
| JP2009531997A (en) * | 2006-03-27 | 2009-09-03 | クゥアルコム・インコーポレイテッド | Method and system for encoding and decoding information related to video compression |
| WO2010039733A2 (en) * | 2008-10-03 | 2010-04-08 | Qualcomm Incorporated | Video coding with large macroblocks |
| JP2012504910A (en) * | 2008-10-03 | 2012-02-23 | クゥアルコム・インコーポレイテッド | Video coding using large macro blocks |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120043014A (en) | 2012-05-03 |
| WO2011121843A1 (en) | 2011-10-06 |
| CN102484716A (en) | 2012-05-30 |
| WO2011121715A1 (en) | 2011-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2011121843A1 (en) | Image coding and image decoding method | |
| US11750841B2 (en) | Methods and apparatuses for coding transform blocks | |
| JP6542400B2 (en) | Coefficient group and coefficient coding for coefficient scanning | |
| JP6461355B2 (en) | Apparatus, method, and program for encoding or decoding image | |
| JP6162150B2 (en) | Residual quadtree (RQT) coding for video coding | |
| JP5869108B2 (en) | Memory efficient context modeling | |
| KR101446287B1 (en) | Video coding method and computer readable redording meduimusing quadtree | |
| JP6339083B2 (en) | Coded block flag (CBF) coding for 4: 2: 2 sample format in video coding | |
| JP5869008B2 (en) | Conversion in video coding | |
| US9706214B2 (en) | Image and video decoding implementations | |
| US10972758B2 (en) | Multi-type-tree framework for transform in video coding | |
| JP2023040199A (en) | Integrated conversion type notification and transform type dependent transform coefficient level coding | |
| KR101975254B1 (en) | Method and apparatus for parallel entropy encoding/decoding | |
| TWI789668B (en) | Determining a parametrization for context-adaptive binary arithmetic coding | |
| JP2020526145A (en) | Improving compulsory segmentation of boundaries | |
| GB2534612A (en) | Palette predictor initializer when encoding or decoding self-contained coding structures | |
| JP2024003218A (en) | Decoding device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131015 |