JP6039163B2 - Image encoding device, image encoding method and program, image decoding device, image decoding method and program - Google Patents
Image encoding device, image encoding method and program, image decoding device, image decoding method and program Download PDFInfo
- Publication number
- JP6039163B2 JP6039163B2 JP2011091346A JP2011091346A JP6039163B2 JP 6039163 B2 JP6039163 B2 JP 6039163B2 JP 2011091346 A JP2011091346 A JP 2011091346A JP 2011091346 A JP2011091346 A JP 2011091346A JP 6039163 B2 JP6039163 B2 JP 6039163B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- sub
- quantization parameter
- encoding
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は画像符号化方法・復号方法に関し、特に画像中の量子化パラメータの予測符号化方法・復号方法に関する。 The present invention relates to an image encoding method / decoding method, and more particularly to a predictive encoding method / decoding method of a quantization parameter in an image.
動画像の圧縮記録方法として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が知られている。（非特許文献１）
Ｈ．２６４においてはｍｂ＿ｑｐ＿ｄｅｌｔａ符号を用いて、マクロブロック（１６画素×１６画素）単位に量子化パラメータを変更することできる。非特許文献１に記載されている７−２３式によれば、ブロックの符号化の順に復号されたマクロブロックの量子化パラメータＱＰＹＰＲＥＶに差分値であるｍｂ＿ｑｐ＿ｄｅｌｔａを加算することで量子化パラメータを変更している。
近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立され、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）として標準化が進められている。対象となる画面サイズの増大に伴い、従来のマクロブロック（１６画素×１６画素）より大きなブロックサイズでの分割が検討されている。この大きなサイズの基本ブロックはＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれ、そのサイズは最大６４画素×６４画素として検討が進められている。（非特許文献２）ＬＣＵはさらに分割されて、細かなサブブロックを形成し、変換や量子化等を行うサブブロックとしてＣＵ（Ｃｏｎｄｉｎｇ Ｕｎｉｔ）に分割される。分割の方法としてはブロック内を縦横２分割していく領域四分木構造となっている。
図２（ａ）に領域四分木構造の様子を表す。太枠の１０００は基本ブロックを表し、説明を簡易にするため、６４画素×６４画素の構成とする。１００１と１０１０はサブブロックであり、３２画素×３２画素のサブブロックとする。１００２〜１００９もサブブロックであり、１６画素×１６画素のサブブロックとする。このように細かく分割して、変換等の符号化処理を行う。
As a method of compressing and recording moving images, H.264 H.264 / MPEG-4 AVC (hereinafter referred to as H.264) is known. (Non-Patent Document 1)
H. In H.264, the quantization parameter can be changed in units of macroblocks (16 pixels × 16 pixels) using the mb_qp_delta code. According to Equation 7-23 described in
In recent years, H.C. As a successor to H.264, activities to start international standardization of a more efficient coding method have started. JCT-VC (Joint Collaborative Team on Video Coding) was established between ISO / IEC and ITU-T, and standardized as HEVC (High Efficiency Video Coding) (hereinafter, HEVC). With an increase in the target screen size, division with a block size larger than a conventional macroblock (16 pixels × 16 pixels) is being studied. This basic block having a large size is called an LCU (Large Coding Unit), and the size of the basic block is being studied as a maximum of 64 pixels × 64 pixels. (Non-Patent Document 2) The LCU is further divided to form fine sub-blocks, and is divided into CUs (Conding Units) as sub-blocks for performing transformation, quantization, and the like. As a division method, an area quadtree structure in which a block is divided into two vertically and horizontally is used.
FIG. 2A shows the state of the area quadtree structure. A
ＨＥＶＣにおいて、量子化パラメータの制御をＨ．２６４のマクロブロックと同様に基本ブロック単位で行うことが考えられている。しかしながら、実際にはサブブロック単位で量子化パラメータ制御を行うことが画質の観点から望ましい。
サブブロック単位で量子化パラメータ制御を行う場合、基本ブロックは領域四分木構造に従って処理される。すなわち、図２（ａ）において、３２画素×３２画素のサブブロック１００１につづき、１６画素×１６画素のサブブロック１００２から１００９が番号の順に処理され、最後に３２画素×３２画素のサブブロック１０１０が処理される。前のサブブロックの量子化パラメータを予測値として差分が算出され、それぞれのサブブロックの量子化パラメータが符号化される。図２（ｄ）にその様子を示す。矢印は量子化パラメータの予測の方向を表している。これは符号化と同じ順番であるため、符号量制御を行いながら処理を行うことができる。このため、処理時間の遅延が少なく、リアルタイムでの符号化が必要なアプリケーションには非常に有効である。
しかしながら、各サブブロックで量子化パラメータの最適化を図った場合、量子化パラメータの差分値の取得は領域四分木構造に従って処理が行われるため、差分値にばらつきがみられる。例えば、図２（ｂ）に各サブブロックの量子化パラメータ値を示す。本図では左上から右下に量子化パラメータの値がなだらかに変化した場合を想定している。サブブロック１００１の量子化パラメータは１２であり、サブブロック１００２ではその差分が＋２となる。順に、＋４、−６、＋６、−６、±０、＋２、＋４、＋２となっている。よって、このように領域四分木構造に従った場合、値が乱高下するため、発生する符号が大きくなるといった問題が生じる。
画像では隣接するサブブロック間では量子化パラメータは似た値になることが知られている。これを利用して、上述した問題を解決するために、図２（ｅ）のように、処理対象のサブブロックの左に隣接するサブブロックがある場合、その量子化パラメータを予測値とする方法が考えられる。また、ＪＣＴ−ＶＣに「ＣＵ−Ｌｅｖｅｌ ＱＰ Ｐｒｅｄｉｃｔｉｏｎ」（非特許文献３）では、図２（ｆ）、（ｇ）のように、サブブロック単位で横方向のサブブロックの量子化パラメータを予測値とする方法も提案されている。図２（ｆ）は左側にサブブロックが存在する場合を表す。この場合、左側のサブブロックの量子化パラメータから予測を行うことができる。一方、図２（ｇ）は画像の左端のようなサブブロックであり、左側にサブブロックが存在しない場合の量子化パラメータの予測を表している。
しかしながら、これらの方法では例えば急激に量子化パラメータを変更せざるを得ない場合に対応できない。すなわち、図２（ｃ）はサブブロック１００１まで符号化したところで符号量が増大し符号量を減少させるために、サブブロック１００２から急激に量子化パラメータの値を大きくした例を示している。この場合、例えば図２（ｅ）の予測値の参照順ではサブブロック１００２及びサブブロック１００４に対して２２と２０のような大きな差分値が発生してしまう。この点、図２（ｄ）の参照順ではサブブロック１００２に対してのみ大きな差分値２２が発生するものの、サブブロック１００４に対しては−６という比較的小さな差分値になる。
したがって、本発明は上述した課題を解決するためになされたものであり、その用途に応じて、処理時間の遅延が少ない符号化と高効率な符号化を適応的に使用することを目的としている。また、符号化モードを用いて、軽微な変更で更に符号化効率の向上を実現することを目的としている。
In HEVC, the quantization parameter is controlled by H.264. Similar to the H.264 macroblock, it is considered to perform the basic block unit. However, in practice, it is desirable from the viewpoint of image quality to perform quantization parameter control in units of sub-blocks.
When quantization parameter control is performed in units of sub-blocks, basic blocks are processed according to a region quadtree structure. That is, in FIG. 2A, the
However, when the quantization parameter is optimized in each sub-block, the difference value of the quantization parameter is obtained in accordance with the region quadtree structure. For example, FIG. 2B shows the quantization parameter value of each sub-block. In this figure, it is assumed that the quantization parameter value changes gently from the upper left to the lower right. The quantization parameter of the
In the image, it is known that the quantization parameter has a similar value between adjacent sub-blocks. Using this, in order to solve the above-described problem, as shown in FIG. 2E, when there is a subblock adjacent to the left of the subblock to be processed, the quantization parameter is used as a predicted value. Can be considered. Further, in “CU-Level QP Prediction” (Non-patent Document 3) in JCT-VC, as shown in FIGS. 2 (f) and 2 (g), the quantization parameter of the horizontal sub-block is predicted for each sub-block. A method has also been proposed. FIG. 2 (f) shows a case where a sub-block exists on the left side. In this case, prediction can be performed from the quantization parameter of the left sub-block. On the other hand, FIG. 2G is a sub-block as shown at the left end of the image, and represents the prediction of the quantization parameter when there is no sub-block on the left side.
However, these methods cannot cope with, for example, a case where the quantization parameter must be changed suddenly. That is, FIG. 2C shows an example in which the value of the quantization parameter is suddenly increased from the
Therefore, the present invention has been made to solve the above-described problems, and an object thereof is to adaptively use coding with less processing time delay and highly efficient coding according to the application. . It is another object of the present invention to further improve the encoding efficiency with minor changes using the encoding mode.
上述課題を解決するため、本発明の画像符号化装置は以下の構成を備える。即ち、画像に含まれるブロックを符号化する画像符号化装置であって、前記画像の符号化モード、前記ブロックの符号化モード、及び前記ブロックに含まれる処理対象のサブブロックの符号化モードのうち、少なくともいずれか１つを取得する取得手段と、前記取得手段によって取得された符号化モードがイントラ予測モードである場合に、前記処理対象のサブブロックの量子化パラメータと、当該処理対象のサブブロックとの位置関係に基づく第１のサブブロックの量子化パラメータとの差分値を符号化し、前記取得手段によって取得された符号化モードがインター予測モードである場合に、前記処理対象のサブブロックの量子化パラメータと、前記処理対象のサブブロックとの符号化順序関係に基づく第２のサブブロックの量子化パラメータとの差分値を符号化する符号化手段とを有することを特徴とする。In order to solve the above-described problems, an image encoding device of the present invention has the following configuration. That is, an image encoding device that encodes a block included in an image, the encoding mode of the image, the encoding mode of the block, and the encoding mode of a sub-block to be processed included in the block , An acquisition unit that acquires at least one, and when the encoding mode acquired by the acquisition unit is an intra prediction mode, the quantization parameter of the sub-block to be processed and the sub-block to be processed When the difference value from the quantization parameter of the first sub-block based on the positional relationship with the first sub-block is encoded, and the encoding mode acquired by the acquisition unit is the inter prediction mode, the quantum of the sub-block to be processed The quantization parameter of the second sub-block based on the coding order relationship between the quantization parameter and the sub-block to be processed. And having a coding means for coding a difference value between data.
本発明により、処理時間の遅延が少ない符号化と高効率な符号化を適応的に使用することが可能になる。また、スライスやピクチャの符号化モードに合わせて量子化パラメータの予測方法を変更することにより、それぞれの符号化モードで最適な量子化パラメータの差分符号化が行えるようになる。 According to the present invention, it is possible to adaptively use coding with less processing time delay and highly efficient coding. Also, by changing the prediction method of the quantization parameter in accordance with the coding mode of the slice or picture, the optimum differential encoding of the quantization parameter can be performed in each coding mode.
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail based on the preferred embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.
＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。
<
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an image encoding apparatus according to this embodiment.
図１において、１１０００は画像データを入力する端子である。１１００１は入力画像を複数の基本ブロック単位でブロックを切り出し、必要に応じてサブブロックに分割するブロック分割部である。説明を容易にするために、入力画像は８ビットの画素値を持つこととするが、これに限定されない。また、基本ブロックのサイズを６４画素×６４画素とし、サブブロックの最小サイズを８画素×８画素とする。またブロックの分割に関しては縦横１／２のサイズに４分割する方法を例にとって説明するが、これにブロックの形状、サイズは限定されない。サブブロックの分割に関しては、特に限定されない。例えば全体をサブブロックに分割し、エッジ量などを算出しクラスタリングして分割を行っても構わない。すなわち、エッジが多く集まる部分は細かくサブブロックを設定し、平坦な部分は大きなサブブロックを設定する。サブブロックの分割の状態はサブブロックごとに分割の有無を四分木分割の順番に表したサブブロック分割情報として後段に出力する。
In FIG. 1,
サブブロックの量子化パラメータの差分値を算出するためのサブブロックの量子化パラメータ予測値の算出方法について図２（ｅ）及び（ｆ）を用いて説明する。図２（ｅ）は画像の左端等で基本ブロックの左にサブブロックがない場合を示している。図２（ｆ）は左側に符号化済みの基本ブロックが存在する場合を示している。両者において、各サブブロックは左隣りで当該サブブロックの左上隅の画素が接するサブブロックの量子化パラメータを予測値とする。もし、左側に参照可能なサブブロックがない場合、図２（ｄ）の復号する順と同じように参照を行う。図２（ｅ）に示すように、サブブロック１００６及び１００８において、サブブロックの符号化の順に符号化されたサブブロック１００５及び１００７の量子化パラメータを参照する。 A method for calculating a prediction parameter value of a sub-block for calculating a difference value of the quantization parameter of the sub-block will be described with reference to FIGS. 2 (e) and 2 (f). FIG. 2E shows a case where there is no sub-block at the left end of the basic block at the left end of the image. FIG. 2 (f) shows a case where an encoded basic block exists on the left side. In both cases, each subblock is adjacent to the left, and the quantization parameter of the subblock that is in contact with the pixel in the upper left corner of the subblock is used as a predicted value. If there is no sub-block that can be referred to on the left side, reference is made in the same order as in FIG. As shown in FIG. 2E, in the sub-blocks 1006 and 1008, the quantization parameters of the sub-blocks 1005 and 1007 encoded in the order of sub-block encoding are referred to.
１１００２は処理対象ブロックである各サブブロックの量子化パラメータを決定する量子化パラメータ決定部である。
１１００３はブロック分割部１１００１で分割された各基本ブロックを、サブブロック単位で予測を行い、差分値算出を行い、各サブブロックの予測誤差を算出するブロック予測部である。静止画または動画の場合のイントラフレームではイントラ予測を行い、動画の場合は動き補償予測も行うものとする。
１１００４は各サブブロックの予測誤差に対して直交変換を行い、直交変換係数を算出するブロック変換部である。直交変換に関しては特に限定しないが、離散コサイン変換やアダマール変換等を用いてもよい。１１００５は量子化パラメータ決定部１１００２で決定された量子化パラメータによって前記直交変換係数を量子化するブロック量子化部である。この量子化によって量子化係数を得ることができる。
１１００６はこのようにして得られた量子化係数を符号化して量子化係数符号データを生成するブロック符号化部である。符号化の方法は特に限定しないが、ハフマン符号や算術符号等を用いることができる。１１００７はブロック再生画像生成部である。ブロック量子化部１１００５、ブロック変換部１１００４の逆の動作を行って予測誤差を再生し、ブロック予測部１１００３の結果から基本ブロックの復号画像を生成する。再生された画像データは保持され、ブロック予測部１１００３での予測に用いられる。
１１０１１は操作部であり、ユーザが、処理時間の遅延が少ない符号化か高効率な符号化かを選択する操作部である。処理時間の遅延が少ない符号化を実施する場合は０を、高効率な符号化の場合は１を選択フラグとして出力する。１１００８は量子化パラメータ決定部１１００２で決定した各サブブロックの量子化パラメータを符号化して量子化パラメータ符号データを生成する量子化パラメータ符号化部である。
１１００９は統合符号化部である。ヘッダ情報や予測に関する符号を生成するとともに、量子化パラメータ符号化部１１００８で生成された量子化パラメータ符号データおよびブロック符号化部１１００６で生成された量子化係数符号データを統合する。１１０１０は端子であり、統合符号化部１１００９で統合されて生成されたビットストリームを外部に出力する端子である。
11003 is a block prediction unit that predicts each basic block divided by the
上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。 An image encoding operation in the image encoding apparatus will be described below. In the present embodiment, moving image data is input in units of frames, but still image data for one frame may be input.
端子１１０００から入力された１フレーム分の画像データはブロック分割部１１００１に入力され、６４画素×６４画素の基本ブロックに分割される。さらに必要に応じて最小８画素×８画素のサブブロックに分割される。サブブロックの分割に関する情報と分割された画像データは量子化パラメータ決定部１１００２とブロック予測部１１００３に入力される。
The image data for one frame input from the terminal 11000 is input to the
ブロック予測部１１００３ではブロック再生画像生成部１１００７に保持されている再生画像を参照して予測を行い、予測誤差を生成してブロック変換部１１００４及びブロック再生画像生成部１１００７に入力する。ブロック変換部１１００４では入力された予測誤差に対して直交変換を行い、直交変換係数を求め、ブロック量子化部１１００５に入力する。
The
一方、量子化パラメータ決定部１１００２では入力された各サブブロック単位で発生した符号量を鑑みて、サブブロック単位で画質と符号量のバランスから最適な量子化パラメータを決定する。決定された各サブブロックの量子化パラメータはブロック量子化部１１００５、ブロック再生画像生成部１１００７、量子化パラメータ符号化部１１００８に入力される。また、ブロック分割部１１００１から分割情報も同様に入力される。
On the other hand, the quantization
ブロック量子化部１１００５において、ブロック変換部１１００４から出力された直交変換係数を量子化パラメータ決定部１１００２で決定した量子化パラメータで量子化して量子化係数を生成する。生成された量子化係数はブロック符号化部１１００６とブロック再生画像生成部１１００７に入力される。ブロック再生画像生成部１１００７では入力された量子化係数を量子化パラメータ決定部１１００２で決定した量子化パラメータで直交変換係数を再生する。直交変換係数は逆直交変換されて予測誤差を再生する。再生された予測誤差は予測時に参照した画素値等によって再生画像として生成され、保持される。一方、ブロック符号化部１１００６では量子化係数を符号化し、量子化係数符号データを生成して統合符号化部１１００９に出力する。
The
量子化パラメータ決定部１１００２で決定された量子化パラメータは量子化パラメータ符号化部１１００８で基本ブロック単位で符号化される。
The quantization parameter determined by the quantization
図３に量子化パラメータ符号化部１１００８の詳細なブロック図を示す。図３において、１は図１の量子化パラメータ決定部１１００２から各サブブロックの量子化パラメータとサブブロック分割情報を入力する端子である。２は入力された各サブブロックの量子化パラメータを一旦格納する量子化パラメータ保持部である。３は符号化の順に符号化されたサブブロックの量子化パラメータを格納する量子化パラメータ保持部である。例えば、直前に符号化されたサブブロックの量子化パラメータを保持する。４は、符号化するサブブロックの周囲に存在する符号化されたサブブロック（本実施形態では左）の量子化パラメータを格納する量子化パラメータ保持部である。４に格納される量子化パラメータはサブブロック分割情報に基づいてリセットが行われる。例えば、図２（ａ）であれば、サブブロック１００２の符号化時にはサブブロック１００１の量子化パラメータが保持されている。また、サブブロック１００５の符号化時にはサブブロック１００１からサブブロック１００４の量子化パラメータが保持されている。サブブロック１００６やサブブロック１００８では横に符号化されたサブブロックがない。この時、量子化パラメータ保持部４はリセットされる。
FIG. 3 shows a detailed block diagram of the quantization
５は量子化パラメータ保持部４に格納された各サブブロックの量子化パラメータから符号化するサブブロックの量子化パラメータの予測値を決定するサブブロック量子化パラメータ予測値決定部である。
６は図１の操作部１１０１１から選択フラグを受け取る端子である。７は受け取った選択信号を符号化する選択フラグ符号化部である。以後、この符号化結果をｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号と呼称する。８はこのｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号を出力する端子である。９はセレクタであり、端子６から入力される選択フラグに基づいて、入力先を選択する。選択フラグが０であれば、量子化パラメータ保持部３からの出力を、１であれば、量子化パラメータ予測値決定部５からの出力を選択して入力する。１０はサブブロック量子化パラメータ差分部である。量子化パラメータ保持部２で保持された量子化パラメータからセレクタ９の出力値を減算し、サブブロック量子化パラメータ差分値を算出する。１１はサブブロック量子化パラメータ差分値を符号化するサブブロック量子化パラメータ符号化部である。生成された符号化データはｃｕ＿ｑｐ＿ｄｅｌｔａ符号として図１の統合符号部１１００９に出力される。
以上の構成において、処理に先駆け、端子６から選択フラグが入力され、セレクタ９と選択フラグ符号化部７に入力される。選択フラグ符号化部７は入力された選択フラグを符号化してｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号を端子８から出力する。また、セレクタ９は選択フラグが０であれば、量子化パラメータ保持部３の出力を、そうでなければ、量子化パラメータ予測値決定部５の出力を入力として選択する。
In the above configuration, prior to processing, a selection flag is input from the
量子化パラメータ保持部２は端子１から入力されるサブブロック量子化パラメータを格納する。これと並行して、量子化パラメータ予測値決定部５は量子化パラメータ保持部３及び４から周囲のサブブロックの量子化パラメータから当該サブブロックの量子化パラメータ予測値を決定する。量子化パラメータ保持部４を参照し、サブブロック分割情報に基づいて、符号化するサブブロックの周囲（本実施形態では左側）に符号化済みのサブブロックがあるか否かを判定する。もし、量子化パラメータ保持部４に当該サブブロックの左上隅の画素が接する位置のサブブロックが符号化済みであれば、そのサブブロックの量子化パラメータを予測値とする。符号化済みでなければ、ブロックの符号化の順に符号化したサブブロックが該当する場合は量子化パラメータ保持部３から量子化パラメータを予測値とする。
The quantization
セレクタ９は選択フラグが０であれば、復号する順に従って量子化パラメータの予測値を決定するので、量子化パラメータ保持部３の出力をサブブロック量子化パラメータ差分部１０に入力する。選択フラグが１であれば、符号化効率向上のため、符号化するサブブロックの左隣または、ブロックの符号化の順に符号化されたサブブロックの量子化パラメータを予測値とする。このため、サブブロック量子化パラメータ予測値決定部５の出力をサブブロック量子化パラメータ差分部１０に入力する。
If the selection flag is 0, the selector 9 determines the prediction value of the quantization parameter according to the decoding order, and therefore inputs the output of the quantization
サブブロック量子化パラメータ差分部１０は符号化するサブブロックの量子化パラメータを量子化パラメータ保持部２から読み出し、セレクタ９から入力された量子化パラメータ予測値を減算し、差分値をサブブロック量子化パラメータ符号化部１１に入力する。サブブロック量子化パラメータ符号化部１１は入力された量子化パラメータ差分値をゴロム符号化してｃｕ＿ｑｐ＿ｄｅｌｔａ符号を端子１２から出力する。
The sub-block quantization
図１に戻り、統合符号化部１１００９は画像のシーケンス、フレームのヘッダといった符号を生成する。また、シーケンスのヘッダ（Ｈ．２６４ではＳｕｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））にｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号を挿入する。各基本ブロックに関しては、ブロック予測部１１００３から予測のモードといった情報を取得して符号化する。続いて量子化パラメータ符号化部１１００８から基本ブロックの分割状況を表すサブブロック分割情報を入力し、符号化する。符号化の方法は特に限定しないが、非特許分献２に記載の方法を使うことができる。以後、サブブロックごとにｃｕ＿ｑｐ＿ｄｅｌｔａ符号と各量子化係数符号データをビットストリームとして端子１１０１０から出力する。
Returning to FIG. 1, the
図４は、実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャートである。まず、ステップＳ００１にて、★ユーザは操作部１１０１１から処理時間の遅延が少ない符号化か高効率な符号化かを選択する。選択された機能に合わせて、選択フラグを生成する。
FIG. 4 is a flowchart illustrating image encoding processing in the image encoding device according to the first embodiment. First, in step S001, the user selects, from the
ステップＳ００２にて、選択フラグを符号化し、ｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号を生成する。
ステップＳ００３にて、統合符号化部１１００９はシーケンス、フレームのヘッダといった符号を生成し、ｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号を含めて出力する。
ステップＳ００４にて、ブロック分割部１１００１は入力された画像に対して、基本ブロックを画像の左上から順に切り出す。
ステップＳ００５にて、ブロック分割部１１００１はさらに基本ブロックをサブブロックに分割する。
ステップＳ００６にて、量子化パラメータ決定部１１００２は、各サブブロックの量子化パラメータを決定する。
ステップＳ００７にて、量子化パラメータ符号化部１１００８は、ステップＳ００１で決定した選択フラグが復号する順に量子化パラメータの予測を行うモードを示すものか否かを判定する。もし、復号する順に量子化パラメータの予測を行うモード（選択フラグが０）を選択していれば、ステップＳ００８に進み、そうでなければステップＳ００９に進む。
ステップＳ００８にて、量子化パラメータ符号化部１１００８は、ブロックの符号化の順に符号化したサブブロックの量子化パラメータを予測値として決定する。
ステップＳ００９にて、量子化パラメータ符号化部１１００８は、符号化するサブブロックの周囲（本実施形態では左隣）または、ブロックの符号化の順に符号化されたサブブロックの量子化パラメータを予測値として決定する。
ステップＳ０１０にて、量子化パラメータ符号化部１１００８は、符号化するサブブロックの量子化パラメータから予測値を引き、サブブロックの量子化パラメータ差分値を算出する。
ステップＳ０１１にて、量子化パラメータ符号化部１１００８は、サブブロック量子化パラメータ差分値にゴロム符号化を行い、ｃｕ＿ｑｐ＿ｄｅｌｔａ符号を出力する。
ステップＳ０１２にて、サブブロックの画像データに対して、予測を行い、予測誤差に対して、直交変換、量子化を行い、得られた量子化係数を符号化して量子化係数符号データを出力する。
ステップＳ０１３にて、得られた量子化係数を逆量子化、逆変換を行い、予測誤差を算出する。この予測誤差と再生画像から当該サブブロックの再生画像を生成する。
ステップＳ０１４にて、画像符号化装置は、当該基本ブロック内の全てのサブブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ０１５に進み、終了していなければ次のサブブロックを対象としてステップＳ００５に戻る。
ステップＳ０１５にて、画像符号化装置は、全ての基本ブロックの符号化が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次の基本ブロックを対象としてステップＳ００４に戻る。
In step S002, the selection flag is encoded to generate a qp_delta_select_flag code.
In step S003, the
In step S004, the
In step S005,
In step S006, the quantization
In step S007, the quantization
In step S008, the quantization
In step S009, the quantization
In step S010, the quantization
In step S011, the quantization
In step S012, prediction is performed on the image data of the sub-block, orthogonal transformation and quantization are performed on the prediction error, the obtained quantized coefficient is encoded, and quantized coefficient code data is output. .
In step S013, the obtained quantization coefficient is inversely quantized and inversely transformed to calculate a prediction error. A reproduction image of the sub-block is generated from the prediction error and the reproduction image.
In step S014, the image coding apparatus determines whether or not the coding of all the sub-blocks in the basic block has been finished. If finished, the process proceeds to step S015. Return to step S005 for the sub-block.
In step S015, the image encoding apparatus determines whether or not encoding of all the basic blocks has been completed, and if completed, stops all operations and ends the processing, otherwise The process returns to step S004 for the next basic block.
この結果、図５に示すようなビットストリームを生成することができる。シーケンスヘッダ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）２０００１にｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号２０００５が含まれ、本符号化データの量子化パラメータの差分値を求めるための予測値の算出方法を特定できる。また、基本ブロック（ＬＣＵ）には分割情報を符号化したｓｐｌｉｔ＿ｃｏｄｉｎｇ＿ｆｌａｇ符号２００１０が含まれている。さらに、各サブブロックの符号化データ（ｃｏｒｄｉｎｇ＿ｕｎｉｔ（））には各サブブロックの量子化パラメータ差分値の符号化結果であるｃｕ＿ｑｐ＿ｄｅｌｔａ符号２０００９が含まれている。
As a result, a bit stream as shown in FIG. 5 can be generated. A sequence header (Sequence Parameter Set) 20001 includes a
以上の構成と動作により、特にステップＳ００５からステップＳ０１１の処理により、用途に適合した各サブブロック量子化パラメータの差分値を符号化ができる。さらに、本実施形態では説明のために基本ブロックを６４画素×６４画素、サブブロックを８画素×８画素までとしたが、これに限定されない。例えば基本ブロックは１２８画素×１２８画素等のブロックサイズへの変更が可能であり、また、基本ブロック、サブブロックの形状も正方形に限定されず、８画素×４画素などの長方形でもよい。 With the above configuration and operation, it is possible to encode the difference value of each sub-block quantization parameter suitable for the application, particularly by the processing from step S005 to step S011. Furthermore, in this embodiment, for the purpose of explanation, the basic block is 64 pixels × 64 pixels and the sub-block is 8 pixels × 8 pixels. However, the present invention is not limited to this. For example, the basic block can be changed to a block size of 128 pixels × 128 pixels, and the shapes of the basic block and sub-block are not limited to squares, but may be rectangles such as 8 pixels × 4 pixels.
なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の符号化にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わないし、値を符号化せずにそのままの値を出力しても構わない。また、選択フラグの符号と動作の組み合わせについても、これに限定されない。 In the present embodiment, the basic block quantization parameter, the sub-block quantization parameter difference value, and the quantization coefficient are encoded using Golomb coding. However, the present invention is not limited to this. For example, Huffman coding or other arithmetic coding may be used, and the value may be output as it is without being coded. Further, the combination of the sign of the selection flag and the operation is not limited to this.
さらに、復号する順ではない場合の量子化パラメータの参照についてもこれに限定されない。さらにはサブブロックの中に複数の直交変換サイズのブロックが存在してももちろん構わない。さらに、本実施形態ではｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号２０００５をシーケンスヘッダ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）２０００１に含む形をとった。しかしこれに限定されずピクチャヘッダ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）２０００２やスライスヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ）２０００７など他のヘッダに含む形をとってももちろん構わない。図２７にスライスヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ）２０００７にｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号２００３０を挿入したビットストリームの一例を示す。
Furthermore, the reference of the quantization parameter when the decoding order is not used is not limited to this. Further, there may be a plurality of orthogonal transform size blocks in the sub-block. Furthermore, in the present embodiment, the
なお、本実施形態で復号する順で量子化パラメータを予測する手段と符号化するサブブロックの周囲のサブブロックの量子化パラメータから予測する手段を備えていた。しかしいずれか一方しか存在しない場合には、存在する手段を表すｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号が挿入される。 In this embodiment, there are provided means for predicting quantization parameters in the order of decoding and means for predicting from quantization parameters of subblocks around the subblock to be encoded. However, when only one of them exists, a qp_delta_select_flag code representing the existing means is inserted.
＜実施形態２＞
図６は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、図５に示す実施形態１で生成された符号化データの復号について説明する。
<
FIG. 6 is a block diagram showing a configuration of an image decoding apparatus according to
１１００は符号化されたビットストリームを入力する端子である。１１０１はビットストリームのヘッダ情報の復号、ビットストリームから必要な符号を分離して後段へ出力する復号・分離部である。復号・分離部１１０１は図１の統合符号化部１１００９の逆の動作を行う。１１０９はｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号２０００５を復号し、選択フラグを再生する選択フラグ復号部である。１１０２は量子化パラメータの符号化データを復号する量子化パラメータ復号部である。１１０３は各サブブロックの量子化係数符号を復号し、量子化係数を再生するブロック復号部である。１１０４は量子化パラメータ復号部１１０２で再生されたサブブロック量子化パラメータによって量子化係数に逆量子化を行い、直交変換係数を再生するブロック逆量子化部である。１１０５は図１のブロック変換部１１００４の逆直交変換を行い、予測誤差を再生するブロック逆変換部である。１１０６は予測誤差と復号済みの画像データからサブブロックの画像データを再生するブロック再生部である。１１０７は再生されたサブブロックの画像データをそれぞれの位置に配置し、基本ブロックの画像データを再生するブロック合成部である。
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態１で生成された動画像ビットストリームをフレーム単位に入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。 An image decoding operation in the image decoding apparatus will be described below. In the present embodiment, the moving image bitstream generated in the first embodiment is input in units of frames. However, a configuration may be adopted in which a still image bitstream for one frame is input.
図６において、端子１１００から入力された１フレーム分のストリームデータは復号・分離部１１０１に入力され、画像を再生するのに必要なヘッダ情報が復号される。ヘッダに含まれるｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号２０００５は選択フラグ復号部１１０９に入力され、量子化パラメータの再生を行う予測の方法を選択するフラグが再生される。選択フラグは量子化パラメータ復号部１１０２に入力される。
In FIG. 6, stream data for one frame input from a terminal 1100 is input to a decoding /
また、基本ブロック単位で分割情報（ｓｐｌｉｔ＿ｃｏｄｉｎｇ＿ｆｌａｇ符号２００１０）も復号・分離部１１０１で復号され、量子化パラメータ復号部１１０２に入力される。これに続くサブブロックごとにサブブロックの量子化パラメータ差分値符号（ｃｕ＿ｑｐ＿ｄｅｌｔａ符号）ともに量子化パラメータ復号部１１０２に入力する。
Further, the division information (split_coding_flag code 20010) in units of basic blocks is also decoded by the decoding /
図７は量子化パラメータ復号部１１０２の詳細を表すブロック図である。１００は復号・分離部１１０１から復号するサブブロックを含む基本ブロックのサブブロックの分割情報を入力する端子である。１０１は選択フラグ復号部１１０９から選択フラグを入力する端子である。１０２は図５の復号・分離部１１０１からサブブロック量子化パラメータ差分符号（ｃｕ＿ｑｐ＿ｄｅｌｔａ符号２０００９）を入力する端子である。１０３はサブブロック量子化パラメータ差分符号を入力して復号し、サブブロック量子化パラメータの差分値を再生するサブブロック量子化パラメータ差分値復号部である。１０４は決定されたサブブロック量子化パラメータの予測値とサブブロック量子化パラメータ差分値を加算してサブブロック量子化パラメータを再生するサブブロック量子化パラメータ加算部である。１０５は再生されたサブブロック量子化パラメータを図６のブロック逆量子化部１１０４に出力する端子である。
FIG. 7 is a block diagram showing details of the quantization
端子１０１から入力された選択フラグがセレクタ１０９に入力される。セレクタ１０９は、選択フラグが０であれば、量子化パラメータ保持部１０６を入力先とする。選択フラグが１であれば、量子化パラメータ予測値決定部１０８を入力先とする。
A selection flag input from the terminal 101 is input to the
端子１０２から入力されたサブブロック量子化パラメータ差分値符号はサブブロック量子化パラメータ差分値復号部１０３に入力され、ゴロム符号の復号により、サブブロック量子化パラメータ差分値を再生し、サブブロック量子化パラメータ加算部１０４に入力する。サブブロック量子化パラメータ加算部１０４はセレクタ１０９を介して入力されるサブブロック量子化パラメータの予測値とサブブロック量子化パラメータ差分値を加算し、サブブロック量子化パラメータを再生する。再生されたサブブロック量子化パラメータは端子１０５から図６のブロック逆量子化部１１０４に出力される。また、再生されたサブブロック量子化パラメータは量子化パラメータ保持部１０６と量子化パラメータ保持部１０７に入力される。量子化パラメータ保持部１０６は常に前に復号されたサブブロックの量子化パラメータを保持している。量子化パラメータ保持部１０７は、実施形態１の図３の量子化パラメータ保持部４と同様に、復号の対象となるサブブロックの左側に存在する量子化パラメータを保持する。
The sub-block quantization parameter difference value code input from the terminal 102 is input to the sub-block quantization parameter difference
量子化パラメータ予測値決定部１０８は端子１００からサブブロックの分割情報を入力する。また、量子化パラメータ保持部１０６からブロックの符号化の順に復号したサブブロックの量子化パラメータと、量子化パラメータ保持部１０７から周囲の（本実施形態では左）サブブロックの量子化パラメータを入力する。分割情報に従って、当該サブブロックの左上隅の画素が接する位置のサブブロックの量子化パラメータを予測値とする。もし、左側に該当するサブブロックがない場合は、量子化パラメータ保持部１０６のブロックの符号化の順に復号したサブブロックの量子化パラメータを予測値とする。
The quantization parameter predicted
セレクタ１０９は選択フラグが０の時、すなわち、復号する順にサブブロックの量子化パラメータの予測値を決定する場合は、量子化パラメータ保持部１０６を入力先とする。選択フラグが０の時、すなわち、周囲のサブブロックから量子化パラメータを決定する場合は量子化パラメータ予測値決定部１０８を入力先とする。
When the selection flag is 0, that is, when the prediction value of the quantization parameter of the sub-block is determined in the decoding order, the
図６に戻り、復号・分離部１１０１において分離されたサブブロックの量子化係数符号データはブロック復号部１１０３に入力され、ゴロム符号の復号により各量子化係数が再生される。サブブロックの量子化係数が再生されたら、ブロック逆量子化部１１０４に入力される。ブロック逆量子化部１１０４では、入力されたサブブロックの量子化係数とサブブロック量子化パラメータから逆量子化を行い、直交変換係数を再生する。再生された直交変換係数はブロック逆変換部１１０５にて逆変換を行い、予測誤差を再生する。再生された予測誤差はブロック再生部１１０６に入力され、復号済みの周囲の画素データ、または前のフレームの画素データから予測を行ってサブブロックの画像データを再生する。ブロック合成部１１０７は再生されたサブブロックの画像データをそれぞれの位置に配置し、基本ブロックの画像データを再生する。再生された基本ブロックの画像データは端子１１０８を介して外部に出力される。
Returning to FIG. 6, the quantized coefficient code data of the sub-block separated by the decoding /
図８は、実施形態２に係る画像復号装置における画像復号処理を示すフローチャートである。 FIG. 8 is a flowchart illustrating an image decoding process in the image decoding apparatus according to the second embodiment.
まず、ステップＳ１０１にて、復号・分離部１１０１がヘッダ情報を復号する。ステップＳ１０２にて、ｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号２０００５を選択フラグ復号部１１０９で復号する。
ステップＳ１０３にて、サブブロック量子化パラメータ復号部１０３はサブブロック量子化パラメータ差分値符号化データを復号し、サブブロック量子化パラメータ差分値を再生する。
ステップＳ１０２で復号して得られた選択フラグが復号する順に量子化パラメータの予測を行うモード（処理時間の遅延が少ない符号化）を選択したか否かを判定する。もし、復号する順に量子化パラメータの予測を行うモード（選択フラグが０）を選択していれば、ステップＳ１０５に進み、そうでなければステップＳ１０６に進む。
ステップＳ１０５にて、ブロックの符号化の順に復号したサブブロックの量子化パラメータを予測値として決定する。
ステップＳ１０６にて、復号するサブブロックの周囲（本実施形態では左隣）または、ブロックの符号化の順に符号化されたサブブロックの量子化パラメータを予測値として決定する。
ステップＳ１０７にて、ステップＳ１０５またはステップＳ１０６にて得られた量子化パラメータの予測値とステップＳ１０３で得られた差分値を加算し、サブブロック量子化パラメータを再生する。
ステップＳ１０８にて、サブブロックの量子化係数符号データを復号し、量子化係数を再生し、逆量子化、逆直交変換を行い、予測誤差を再生する。さらに復号済みの周囲の画素データまたは前のフレームの画素データから予測を行い、サブブロックの復号画像を再生する。
ステップＳ１０９にて、サブブロックの復号画像を基本ブロックの復号画像に配置する。ステップＳ１１０にて、画像復号装置は、当該基本ブロック内の全てのサブブロックの復号が終了したか否かの判定を行い、終了していればステップＳ１１１に進み、終了していなければ次のサブブロックを対象としてステップＳ１０３に戻る。
ステップＳ１１１にて、基本ブロックの復号画像をフレームの復号画像に配置する。ステップＳ１１２にて、画像復号装置は、全ての基本ブロックの復号が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次の基本ブロックを対象としてステップＳ１０３に戻る。
First, in step S101, the decoding /
In step S103, the sub-block quantization
It is determined whether or not a mode (encoding with a small processing time delay) in which quantization parameters are predicted in the order of decoding by the selection flag obtained by decoding in step S102 is selected. If the mode for selecting the quantization parameter (selection flag is 0) is selected in the decoding order, the process proceeds to step S105, and if not, the process proceeds to step S106.
In step S105, the quantization parameter of the sub-block decoded in the order of block coding is determined as a predicted value.
In step S106, the quantization parameter of the sub-block encoded around the sub-block to be decoded (in the present embodiment, on the left side) or in the coding order of the block is determined as a predicted value.
In step S107, the predicted value of the quantization parameter obtained in step S105 or step S106 and the difference value obtained in step S103 are added to reproduce the sub-block quantization parameter.
In step S108, the quantization coefficient code data of the sub-block is decoded, the quantization coefficient is reproduced, inverse quantization and inverse orthogonal transformation are performed, and the prediction error is reproduced. Further, prediction is performed from the decoded surrounding pixel data or the pixel data of the previous frame, and the decoded image of the sub-block is reproduced.
In step S109, the decoded image of the sub-block is arranged in the decoded image of the basic block. In step S110, the image decoding apparatus determines whether or not the decoding of all the subblocks in the basic block has been completed. If the decoding has been completed, the process proceeds to step S111. Return to step S103 for the block.
In step S111, the decoded image of the basic block is arranged in the decoded image of the frame. In step S112, the image decoding apparatus determines whether or not the decoding of all the basic blocks has been completed. If the decoding has been completed, the image decoding apparatus stops all the operations and ends the process. The process returns to step S103 for the basic block.
以上の構成と動作により、実施形態１で生成された、用途ごとに異なるビットストリームの復号を行い、再生画像を得ることができる。 With the above configuration and operation, it is possible to decode a different bitstream generated according to the first embodiment and obtain a reproduced image.
また、実施形態１と同様にブロックのサイズ、処理ユニットのサイズ、参照する処理ユニットとその画素の配置、符号についてはこれに限定されない。さらに、復号する順ではない場合の量子化パラメータの参照についてもこれに限定されない。
なお、本実施形態でサブブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の復号にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わない。
Further, as in the first embodiment, the block size, the processing unit size, the arrangement of reference processing units and their pixels, and the codes are not limited thereto. Furthermore, the reference of the quantization parameter when the decoding order is not used is not limited to this.
Although the present embodiment has been described using Golomb coding for decoding the sub-block quantization parameter, the sub-block quantization parameter difference value, and the quantization coefficient, the present invention is not limited to this. For example, Huffman coding or other arithmetic coding may be used.
＜実施形態３＞
本実施形態では符号化装置は実施形態１の図１と同じ構成をとる。ただし、量子化パラメータ符号化部１１００８の構成が異なる。
<
In this embodiment, the encoding apparatus has the same configuration as that of FIG. However, the configuration of the quantization
図９は本実施形態の量子化パラメータ符号化部１１００８の詳細な構成を示すブロック図である。図９において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
FIG. 9 is a block diagram showing a detailed configuration of the quantization
２００は端子１から入力されるサブブロックの分割情報を入力し、符号化するサブブロックがフレームやスライスの端部か否かを判定する端部判定部である。端部判定部２００は当該サブブロックが端部に位置するのであれば端部判定信号として１をそうでなければ０を出力する。
２０１は量子化パラメータ保持部４に格納された各サブブロックの量子化パラメータから符号化するサブブロックの量子化パラメータの予測値を決定するサブブロック量子化パラメータ予測値決定部である。すなわち、符号化処理を行うサブブロックの周囲（本実施形態では左）のサブブロックの量子化パラメータを参照して予測値を決定する。
２０２は符号化されたサブブロックの量子化パラメータを格納する量子化パラメータ保持部である。量子化パラメータ保持部２０２は量子化パラメータ保持部１０７から順に量子化パラメータを受け取る。これにより、符号化されたサブブロックの量子化パラメータを符号化対象のサブブロックの上のサブブロックまでの量子化パラメータを保持する。
２０３は量子化パラメータ保持部２０２に格納された各サブブロックの量子化パラメータから符号化するサブブロックの量子化パラメータの予測値を決定する端部量子化パラメータ予測値決定部である。すなわち、サブブロックがフレームやスライスの左端にあたる場合、符号化処理を行うサブブロックの上側のサブブロックの量子化パラメータを参照して予測値を決定する。
２０４はセレクタであり、実施形態１の図３のセレクタ９と同様に端子６から入力される選択フラグによって入力先を選択する。選択フラグが０であれば、量子化パラメータ保持部３を入力先に選択する。選択フラグが１であれば、端部量子化パラメータ予測値決定部２０３を入力先に選択する。
２０５もセレクタであり、端部判定部２００からの端部判定信号に基づいて入力先を選択する。端部判定信号が０であれば、セレクタ２０４を、そうでなければ量子化パラメータ予測値決定部２０１を入力先として選択する。
201 is a sub-block quantization parameter prediction value determination unit that determines a prediction value of a quantization parameter of a sub-block to be encoded from the quantization parameter of each sub-block stored in the quantization parameter holding unit 4. That is, the prediction value is determined with reference to the quantization parameter of the sub-block around the sub-block to be encoded (left in this embodiment).
上記構成において、実施形態１と同様に、端子１１０００から画像データが入力され、ブロック分割部１１００１でサブブロックに分割され、量子化パラメータ決定部１１００２で各サブブロックの量子化パラメータが決定される。決定されたサブブロック量子化パラメータは量子化パラメータ符号化部１１００８に入力される。
In the above configuration, as in the first embodiment, image data is input from the terminal 11000, divided into sub-blocks by the
図９に移り、実施形態１と同様に選択フラグ符号化部７は入力された選択フラグを符号化してｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号を端子８から出力する。また、セレクタ２０４は選択フラグが０であれば、量子化パラメータ保持部３の出力を、そうでなければ、端部量子化パラメータ予測値決定部２０３の出力を入力として選択する。量子化パラメータ保持部２は端子１から入力されるサブブロック量子化パラメータを格納する。
9, the selection
これと並行して、量子化パラメータ予測値決定部２０１は量子化パラメータ保持部４から周囲（本実施形態では左）のサブブロックの量子化パラメータから当該サブブロックの量子化パラメータ予測値を決定する。量子化パラメータ保持部４を参照し、当該サブブロックの左上隅の画素が接する位置のサブブロックの量子化パラメータを予測値と決定する。
また、端部量子化パラメータ予測値決定部２０２は量子化パラメータ保持部２０２から周囲（本実施形態では上）のサブブロックの量子化パラメータから当該サブブロックの量子化パラメータ予測値を決定する。量子化パラメータ保持部２０２を参照し、当該サブブロックの左上隅の画素が接する位置のサブブロックの量子化パラメータを予測値と決定する。
量子化パラメータ保持部３はブロックの符号化の順に符号化した（例えば、直前に符号化された）サブブロックの量子化パラメータを予測値とする。
In parallel with this, the quantization parameter prediction
Also, the end quantization parameter prediction
The quantization
セレクタ２０４は選択フラグが０であれば、復号する順に従って量子化パラメータの予測値を決定するので、量子化パラメータ保持部３の出力をセレクタ２０５に入力する。選択フラグが１であれば、符号化効率向上のため、符号化するサブブロックの左隣のサブブロックの量子化パラメータを予測値とする。このため、端部量子化パラメータ予測値決定部２０２の出力をセレクタ２０５に入力する。
If the selection flag is 0, the
一方、端部判定部２００は入力された分割情報と処理の進捗から符号化するサブブロックがフレームまたはスライスの端部に位置するかどうかを判定して端部判定信号を生成する。
On the other hand, the
セレクタ２０５は端部判定信号が０であれば、処理するサブブロックは端部ではないと判定し、量子化パラメータ予測値決定部２０１を入力先に選択する。この時、符号化するサブブロックの左隣の量子化パラメータが予測値となり、サブブロック量子化パラメータ差分部１０に入力される。また、端部判定信号が１であれば、処理するサブブロックは端部であると判定し、セレクタ２０４を入力先に選択する。この時、選択フラグが０であれば、復号する順に選択された量子化パラメータが、１であれば、符号化するサブブロックの直上の量子化パラメータが予測値となり、サブブロック量子化パラメータ差分部１０に入力される。以下、実施形態１と同様に差分値を求め、符号化されて、サブブロック量子化パラメータ差分符号であるｃｕ＿ｑｐ＿ｄｅｌｔａ符号を端子１２から出力する。
If the edge determination signal is 0, the
図１０は、実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャートである。図１０において、実施形態１の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。 FIG. 10 is a flowchart illustrating image coding processing in the image coding apparatus according to the third embodiment. In FIG. 10, the same numbers are assigned to portions that perform the same functions as those in FIG. 4 of the first embodiment, and descriptions thereof are omitted.
ステップＳ００１からステップＳ００６にて、実施形態１と同様に量子化パラメータの予測方法を選択し、選択モードを決定して、ヘッダ情報とともに符号化する。フレームを基本ブロックに分割し、さらにサブブロックに分割する。さらにそれぞれのサブブロックの量子化パラメータを決定する。 In step S001 to step S006, a quantization parameter prediction method is selected as in the first embodiment, a selection mode is determined, and encoding is performed together with header information. The frame is divided into basic blocks and further divided into sub-blocks. Further, the quantization parameter of each sub-block is determined.
ステップＳ２００にて、サブブロックの分割情報から符号化するサブブロックがフレームやスライスの端部にあるか否かを判定する。すなわち、符号化するサブブロックの左隣に符号化済みの参照可能なサブブロックが存在するか否かを判定する。存在するならばステップＳ００９に進む。そうでなければステップＳ２０１に進む。
ステップＳ２０１にて、実施形態１の図４のステップＳ００７と同様に選択フラグが０であれば、ステップＳ００８に進み、そうでなければステップＳ２０２に進む。
ステップＳ２０２にて、符号化対象のサブブロックの左上隅の画素が接する直上のサブブロックの量子化パラメータを予測値とする。符号化対象のサブブロックがフレームまたはスライスの左上に存在する場合、予測値はスライスで指定された量子化パラメータとするがこれに限定されない
以後、ステップＳ０１０からステップＳ０１３を行い、サブブロック量子化パラメータの差分値の算出と符号化、サブブロックの予測誤差の符号化と再生画像の生成を全てのサブブロック、基本ブロックに対して行う。
In step S200, it is determined whether or not the subblock to be encoded is located at the end of the frame or slice from the subblock division information. That is, it is determined whether there is an encoded reference sub-block on the left side of the sub-block to be encoded. If it exists, the process proceeds to step S009. Otherwise, the process proceeds to step S201.
In step S201, if the selection flag is 0 as in step S007 of FIG. 4 of the first embodiment, the process proceeds to step S008, and if not, the process proceeds to step S202.
In step S202, the quantization parameter of the sub block immediately above which the pixel at the upper left corner of the sub block to be encoded touches is set as a predicted value. If the sub-block to be encoded exists in the upper left of the frame or slice, the prediction value is the quantization parameter specified in the slice, but is not limited to this. Thereafter, Step S010 to Step S013 are performed, and the sub-block quantization parameter is set. Difference values are calculated and encoded, sub-block prediction errors are encoded, and reproduced images are generated for all sub-blocks and basic blocks.
量子化パラメータの予測に関して図２（ｇ）を用いて説明を加える。図２（ｅ）の実施形態１で用いた予測と比較して、サブブロック１００６とサブブロック１００８の予測が異なる。選択フラグが０であれば、復号する順の予測が行われるため、実施形態１と同様に端部のこれらのサブブロックは符号順で予測される。選択フラグが１であれば、これらのサブブロックは端部量子化パラメータの予測決定部２０２からの出力で予測する。すなわち、隣接する直上のサブブロックの量子化パラメータから予測を行い、図２（ｇ）のようになる。
The quantization parameter prediction will be described with reference to FIG. Compared with the prediction used in
以上の構成と動作により、端部においても復号する順に量子化パラメータを予測するか周囲の参照できる量子化パラメータから予測するかを選択することにより、端部でも処理時間の遅延を優先するか、符号化効率を優先するか選択できる効果がある。 With the above configuration and operation, by selecting whether to predict the quantization parameter in the decoding order in the end portion or predicting from the quantization parameter that can be referred to in the vicinity, priority is given to the delay of the processing time at the end portion, There is an effect that it is possible to select whether to give priority to the encoding efficiency.
なお、実施形態１の図４のステップＳ００９では左隣に参照するサブブロックがない場合は復号する順に予測を行う方法で説明したが、これの代わりに図１０のステップＳ２０１、ステップＳ００８、ステップＳ２０２を用いてももちろん構わない。
なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の符号化にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わない。
Note that, in step S009 of FIG. 4 of the first exemplary embodiment, the method of performing prediction in the decoding order when there is no sub-block to be referred to on the left is described, but instead of this, steps S201, S008, and S202 of FIG. Of course you can use.
In the present embodiment, the basic block quantization parameter, the sub-block quantization parameter difference value, and the quantization coefficient are encoded using Golomb coding. However, the present invention is not limited to this. For example, Huffman coding or other arithmetic coding may be used.
＜実施形態４＞
本実施形態では符号化装置は実施形態２の図６と同じ構成をとる。ただし、量子化パラメータ復号部１１０２の構成が異なる。本実施形態では、実施形態３で生成された符号化データの復号を例にとって説明する。
<Embodiment 4>
In the present embodiment, the encoding apparatus has the same configuration as that of FIG. However, the configuration of the quantization
図１１は本実施形態の量子化パラメータ復号部１１０２の詳細な構成を示すブロック図である。図１１において、実施形態２の図７と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
図１１において、３００は復号対象となるサブブロックがフレームまたはスライスの端部にあるか否かを判定する端部判定部である。実施形態３の図７の端部判定部２００と同様に動作し、端部判定信号を生成する。
FIG. 11 is a block diagram showing a detailed configuration of the quantization
In FIG. 11,
３０１は量子化パラメータ保持部１０７に格納された各サブブロックの量子化パラメータから復号するサブブロックの量子化パラメータの予測値を決定するサブブロック量子化パラメータ予測値決定部である。すなわち、本実施形態では復号処理を行うサブブロックの左のサブブロックの量子化パラメータを参照して予測値を決定する。
３０２は復号されたサブブロックの量子化パラメータを格納する量子化パラメータ保持部である。量子化パラメータ保持部３０２は量子化パラメータ保持部１０７から順に量子化パラメータを受け取る。これにより、復号されたサブブロックの量子化パラメータを復号対象のサブブロックの上のサブブロックまでの量子化パラメータを保持する。
３０３は量子化パラメータ保持部３０２に格納された各サブブロックの量子化パラメータから復号するサブブロックの量子化パラメータの予測値を決定する端部量子化パラメータ予測値決定部である。すなわち、復号処理を行うサブブロックの上のサブブロックの量子化パラメータを参照して予測値を決定する。
３０４はセレクタであり、実施形態２の図７のセレクタ１０９と同様に端子１０１から入力される選択フラグによって入力先を選択する。選択フラグが０であれば、量子化パラメータ保持部１０６を入力先に選択する。選択フラグが１であれば、端部量子化パラメータ予測値決定部３０３を入力先に選択する。
３０５もセレクタであり、端部判定部３００からの端部判定信号に基づいて入力先を選択する。端部判定信号が０であれば、セレクタ３０４を、そうでなければ量子化パラメータ予測値決定部３０１を入力先として選択する。
Reference numeral 305 denotes a selector that selects an input destination based on an end determination signal from the
上記画像復号装置における画像の復号動作を以下に説明する。実施形態２と同様に、端子１００からサブブロックの分割情報、端子１０１から選択フラグ、端子１０２からサブブロックの量子化パラメータ差分値符号（ｃｕ＿ｑｐ＿ｄｅｌｔａ符号）が入力される。
上記の構成において、端子１０２から入力されたサブブロックのサブブロック量子化パラメータ差分値符号はサブブロック量子化パラメータ差分値復号部１０３に入力され、ゴロム符号の復号により、サブブロック量子化パラメータ差分値を再生する。サブブロック量子化パラメータ加算部１０４はセレクタ３０５を介して入力されるサブブロック量子化パラメータの予測値とサブブロック量子化パラメータ差分値を加算し、サブブロック量子化パラメータを再生する。また、量子化パラメータ保持部１０６と量子化パラメータ保持部１０７に入力される。量子化パラメータ保持部３０２は量子化パラメータ保持部１０７から、今後符号化対象サブブロックの上になることがある量子化パラメータを入力し、格納する。
An image decoding operation in the image decoding apparatus will be described below. As in the second embodiment, subblock division information is input from the terminal 100, a selection flag is input from the terminal 101, and a quantization parameter difference value code (cu_qp_delta code) of the subblock is input from the terminal 102.
In the above configuration, the sub-block quantization parameter difference value code of the sub-block input from the terminal 102 is input to the sub-block quantization parameter difference
実施形態２と同様に、量子化パラメータ保持部１０６は常に復号する順に前に復号されたサブブロックの量子化パラメータを保持している。量子化パラメータ保持部１０７は、復号の対象となるサブブロックの周囲（本実施形態では左）に存在する量子化パラメータを保持する。
Similar to the second embodiment, the quantization
量子化パラメータ予測値決定部３０３は量子化パラメータ保持部１０７から上にあるサブブロックの量子化パラメータを入力する。本実施形態では、当該サブブロックの左上隅の画素が接する位置のサブブロックの量子化パラメータを予測値とする。
The quantization parameter prediction
セレクタ３０４は選択フラグが０の時、すなわち、復号する順にサブブロックの量子化パラメータの予測値を決定する場合は、量子化パラメータ保持部１０６を入力先とする。選択フラグが０の時、すなわち、周囲のサブブロックから量子化パラメータを決定する場合は量子化パラメータ予測値決定部３０３を入力先とする。
When the selection flag is 0, that is, when the prediction value of the quantization parameter of the sub-block is determined in the decoding order, the
図１２は、実施形態４に係る画像復号装置における画像復号処理を示すフローチャートである。図１２において、実施形態２の図８と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。 FIG. 12 is a flowchart illustrating image decoding processing in the image decoding apparatus according to the fourth embodiment. In FIG. 12, the same numbers are assigned to portions that perform the same functions as those in FIG. 8 of the second embodiment, and description thereof is omitted.
ステップＳ１０１とステップＳ１０２によって、実施形態２と同様にヘッダ情報と量子化パラメータ予測方法を表す絵ｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号の復号を行う。ステップＳ１０３でｃｕ＿ｑｐ＿ｄｅｌｔａ符号を復号して、サブブロックの量子化パラメータの差分値を算出する。 In steps S101 and S102, the picture qp_delta_select_flag code representing the header information and the quantization parameter prediction method is decoded as in the second embodiment. In step S103, the cu_qp_delta code is decoded, and the difference value of the quantization parameter of the sub-block is calculated.
ステップＳ３００にて、サブブロックの分割情報から復号するサブブロックがフレームやスライスの端部にあるか否かを判定する。すなわち、復号するサブブロックの左隣に符号化済みの参照可能なサブブロックが存在するか否かを判定する。存在するならばステップＳ１０６に進む。そうでなければステップＳ３０１に進む。
ステップＳ３０１にて、量子化パラメータ復号部１１０２は、実施形態１の図４のステップＳ００７と同様に選択フラグが０であれば、ステップＳ１０５に進み、そうでなければステップＳ３０２に進む。
ステップＳ３０２にて、量子化パラメータ復号部１１０２は、符号化対象のサブブロックの左上隅の画素が接する直上のサブブロックの量子化パラメータを予測値とする。符号化対象のサブブロックがフレームまたはスライスの左上に存在する場合、予測値はスライスで指定された量子化パラメータとするが、これに限定されない。
以後、ステップＳ１０７からステップＳ１１２を行い、サブブロック量子化パラメータの再生、サブブロックの予測誤差の復号と再生画像の生成を全てのサブブロック、基本ブロックに対して行う。
In step S300, it is determined whether or not a sub-block to be decoded from the sub-block division information is at the end of the frame or slice. That is, it is determined whether or not an encoded referenceable sub-block exists on the left side of the sub-block to be decoded. If it exists, the process proceeds to step S106. Otherwise, the process proceeds to step S301.
In step S301, the quantization
In step S302, the quantization
Thereafter, Steps S107 to S112 are performed, and subblock quantization parameters are reproduced, subblock prediction errors are decoded, and reproduced images are generated for all subblocks and basic blocks.
以上の構成と動作により、実施形態３で生成した、端部においても復号する順に量子化パラメータを予測するか、周囲の参照できる量子化パラメータから予測するかを選択した符号化データを復号することができる。 With the above configuration and operation, decoding encoded data that is generated in the third embodiment and that selects whether to predict the quantization parameter in the decoding order at the end or from the quantization parameter that can be referred to in the surroundings is decoded. Can do.
なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の復号にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わない。なお、実施形態２の図８におけるステップＳ１０６では左隣に参照するサブブロックがない場合は復号する順に予測を行う方法で説明したが、これの代わりに図１２のステップＳ３０１、ステップＳ１０５、ステップＳ３０２を用いてももちろん構わない。 In the present embodiment, the basic block quantization parameter, the sub-block quantization parameter difference value, and the quantization coefficient have been described using Golomb coding, but the present invention is not limited to this. For example, Huffman coding or other arithmetic coding may be used. Note that, in step S106 in FIG. 8 of the second embodiment, the method of performing prediction in the decoding order when there is no sub-block to be referred to on the left side has been described. Of course you can use.
＜実施形態５＞
図１３は本実施形態の画像符号化装置を示すブロック図である。図１３において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
<
FIG. 13 is a block diagram showing an image encoding apparatus according to this embodiment. In FIG. 13, the same numbers are assigned to portions that perform the same functions as those in FIG. 1 of the first embodiment, and descriptions thereof are omitted.
１１１００はスライス単位で符号化モードを決定するスライス符号化モード決定部である。ここでは説明を簡単にするため、フレーム内符号化を行いイントラ符号化のモードと動き補償を行って符号化するインター符号化のモードを例にとる。１１１０３はブロック予測部であり、スライスの符号化モードによって、イントラ予測か動き補償による予測を行う。１１１０８は量子化パラメータ符号化部である。実施形態１の図１の量子化パラメータ符号化部１１００８とはスライス符号化モードを入力する点にある。
フレームの符号化に先立ち、スライス符号化モード決定部１１１００は当該フレームのスライスをイントラ符号化するかインター符号化するかを決定する。例えば、それまで入力されたフレームの枚数から、周期的にイントラ符号化モードを選択し、残りはインター符号化モードを選択することができる。決定されたスライス符号化モードは量子化パラメータ符号化部１１１０８とブロック予測部１１１０３に入力される。ブロック予測部１１１０３ではスライスがイントラ予測を行う場合、そのイントラ予測を行ったモードも合わせて出力する。例えば、非特許文献１に記載の８つの予測モードを用いてもよい。この予測モードは量子化パラメータ符号化部１１１０８に入力される。
Prior to frame encoding, the slice encoding
図１４は本実施形態の量子化パラメータ符号化部１１１０８の詳細な構成を示すブロック図である。図１４において、実施形態１の図３と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
FIG. 14 is a block diagram showing a detailed configuration of the quantization
４００は図１３のスライス符号化モード決定部１１１００からスライスの符号化モードを入力する端子である。４０１は端子４００から入力されたスライスの符号化モードと端子６から入力される選択フラグからセレクタ９の入力先を選択する選択信号を生成する制御部である。４０２は端子であり、図１３のブロック予測部１１１０３から係数の予測に用いたられるイントラ予測モードを入力する。４０３は端子４０２から入力されたイントラ予測モードに従って周囲のサブブロックの量子化パラメータを選択する量子化パラメータ予測値決定部である。
処理に先駆け、選択フラグ符号化部７で入力された選択フラグを符号化してｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号を端子８から出力する。
Prior to the processing, the selection flag input by the selection
また、スライスの符号化の先頭で、スライスの符号化モードが端子４００から制御部４０１に入力される。
制御部４０１は入力されたスライス符号化モードと選択フラグからセレクタ９の選択信号を生成する。すなわち、選択フラグが０であり、スライスの符号化モードがイントラ予測であれば、セレクタ９の入力先を量子化パラメータ保持部３とする。この時の制御信号は０となる。選択フラグが０であり、スライスの符号化モードがインター予測であれば、セレクタ９の入力先を量子化パラメータ保持部３とする。この時の制御信号は０となる。選択フラグが１であり、スライスの符号化モードがイントラ予測であれば、セレクタ９の入力先を量子化パラメータ予測値決定部４０３とする。この時の制御信号は１となる。選択フラグが１であり、スライスの符号化モードがインター予測であれば、セレクタ９の入力先を量子化パラメータ保持部３とする。この時の制御信号は０となる。
Also, at the beginning of the encoding of the slice, the encoding mode of the slice is input from the terminal 400 to the
The
量子化パラメータ予測値決定部４０３は端子４０２から入力されたイントラ予測モードを入力する。非特許文献１に記載されているイントラ予測を行った場合、予測モードが０、３、５、７の場合は符号化対象のサブブロックの上に存在するサブブロックの量子化パラメータを参照する。予測モード１、６、８の場合は左に存在するサブブロックの量子化パラメータを参照する。予測モード２、４の場合は上と左のサブブロックの量子化パラメータの平均値を予測値に用いる。本実施形態では、予測モードと量子化パラメータの参照対象の組み合わせは上記の通りとするが、これに限定されない。
The quantization parameter prediction
セレクタ９は制御信号が０であれば、量子化パラメータ保持部３の出力を、そうでなければ、量子化パラメータ予測値決定部４０３の出力を入力として選択する。セレクタ９を介して得られた量子化パラメータはサブブロック量子化パラメータ差分部１０と量子化パラメータ保持部３及び４に入力される。
セレクタ９は制御信号が０であれば、復号する順に従って量子化パラメータの予測値を決定するので、量子化パラメータ保持部３の出力をサブブロック量子化パラメータ差分部１０に入力する。制御信号が１であれば、符号化効率向上のため、イントラ予測モードに従って、符号化するサブブロックの左隣または上のサブブロックの量子化パラメータを予測値とする。このため、サブブロック量子化パラメータ予測値決定部４０３の出力をサブブロック量子化パラメータ差分部１０に入力する。
If the control signal is 0, the selector 9 selects the output of the quantization
If the control signal is 0, the selector 9 determines the prediction value of the quantization parameter according to the decoding order, and therefore inputs the output of the quantization
サブブロック量子化パラメータ差分部１０は符号化するサブブロックの量子化パラメータを量子化パラメータ保持部２から読み出し、セレクタ９から入力された量子化パラメータ予測値を引き差分を サブブロック量子化パラメータ符号化部１１に入力する。サブブロック量子化パラメータ符号化部１１は入力された量子化パラメータ差分値をゴロム符号化してｃｕ＿ｑｐ＿ｄｅｌｔａ符号を端子１２から出力する。
The sub-block quantization
図１５は、実施形態５に係る画像符号化装置における画像符号化処理を示すフローチャートである。図１５において、実施形態１の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。 FIG. 15 is a flowchart illustrating image encoding processing in the image encoding device according to the fifth embodiment. In FIG. 15, the same numbers are assigned to portions that perform the same functions as those in FIG. 4 of the first embodiment, and description thereof is omitted.
ステップＳ００１からステップＳ００３にて、実施形態１と同様に量子化パラメータの予測方法を選択し、選択モードを決定して、ヘッダ情報とともに符号化する。
ステップＳ４０１にて、スライスモード決定部１１１００は、スライスの先頭でスライスの符号化モードを決定し、符号化を行い、ｓｌｉｃｅ＿ｔｙｐｅ符号を生成する。図５にスライスのヘッダの符号化データの様子を示す。ｓｌｉｃｅ＿ｔｙｐｅ符号２００１１はスライスヘッダに含まれる。
ステップＳ００４からステップＳ００６で、ブロック分割部１１００１は、フレームを基本ブロックに分割し、さらにサブブロックに分割する。さらにそれぞれのサブブロックの量子化パラメータを決定する。
ステップＳ４０２にて、量子化パラメータ符号化部１１１０８は、スライス符号化モードがイントラ符号化モードかインター符号化モードかを判定する。イントラ符号化モードならばステップＳ４０３に進む。インター符号化モードでならばステップＳ００８に進む。
ステップＳ４０３にて、量子化パラメータ符号化部１１１０８は、実施形態１の図４のステップＳ００７と同様に選択フラグが０であれば、ステップＳ００８に進み、そうでなければステップＳ４０４に進む。
ステップＳ４０４にて、量子化パラメータ符号化部１１１０８は、符号化対象のサブブロックのイントラ予測モードに従って周囲のサブブロックの量子化パラメータから予測値を決定する。
以後、ステップＳ０１０からステップＳ０１６を行い、サブブロック量子化パラメータの差分値の算出と符号化、サブブロックの予測誤差の符号化と再生画像の生成を全てのサブブロック、基本ブロック、スライスに対して行う。
In steps S001 to S003, a quantization parameter prediction method is selected in the same manner as in the first embodiment, a selection mode is determined, and encoding is performed together with header information.
In step S401, the slice
In step S004 to step S006, the
In step S402, the quantization
In step S403, the quantization
In step S404, the quantization
Thereafter, Steps S010 to S016 are performed to calculate and encode the difference value of the sub-block quantization parameter, encode the prediction error of the sub-block, and generate a reproduced image for all the sub-blocks, basic blocks, and slices. Do.
以上の構成と動作により、用途に適合した各サブブロック量子化パラメータの差分値を符号化ができるまた、インター符号化の場合、画像の構成と量子化パラメータの相関が低いため、復号する順に量子化パラメータの予測を行ってもよい。また、イントラ符号化の場合は画像の特性に合った量子化パラメータの予測を行うことができる。これらによって処理時間の遅延の減少と画質の向上の両方を行える効果もある。 With the above configuration and operation, the difference value of each sub-block quantization parameter suitable for the application can be encoded.In the case of inter encoding, since the correlation between the image configuration and the quantization parameter is low, the quantization order is increased. A prediction parameter may be predicted. In addition, in the case of intra coding, it is possible to predict a quantization parameter that matches the characteristics of an image. These also have the effect of reducing both the processing time delay and improving the image quality.
なお、本実施形態ではサブブロック量子化パラメータの予測にイントラ予測モードを用いたが、これに限定されず、実施形態１や実施形態２のよそくの方法やそれ以外の方法でも構わない。
In this embodiment, the intra prediction mode is used for the prediction of the sub-block quantization parameter. However, the present invention is not limited to this, and the method described in
また、本実施形態では基本ブロック量子化パラメータを前の基本ブロックの各サブブロック量子化パラメータの平均値としたが、これに限定されない。例えばサブブロックの中央値としても構わないし、最も頻度の高いサブブロック量子化パラメータの値としてももちろん構わない。このように算出方法を複数用意し、最も効率の良い基本ブロック量子化パラメータを選択してその方法を表す符号を用いて符号化してももちろん構わない。 In this embodiment, the basic block quantization parameter is the average value of the sub-block quantization parameters of the previous basic block. However, the present invention is not limited to this. For example, it may be the median value of the sub-blocks, or of course the value of the most frequently used sub-block quantization parameter. Of course, a plurality of calculation methods may be prepared, and the most efficient basic block quantization parameter may be selected and encoded using a code representing the method.
本実施形態ではスライス単位で符号化モードを決定したが、これに限定されず、ＭＰＥＧ‐１、２、４のようにフレームやピクチャ単位で符号化モードを設定できる場合はこれを用いても構わない。さらに、細かな単位としてマクロブロック等の基本ブロック単位で用いてももちろん構わない。 In the present embodiment, the encoding mode is determined in units of slices, but the present invention is not limited to this. If the encoding mode can be set in units of frames or pictures as in MPEG-1, 2, 4, this may be used. Absent. Further, as a fine unit, it may of course be used in basic block units such as macroblocks.
＜実施形態６＞
図１６は本実施形態の画像復号装置を示すブロック図である。図１６において、実施形態２の図６と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
<
FIG. 16 is a block diagram showing an image decoding apparatus according to this embodiment. In FIG. 16, the same numbers are assigned to portions that perform the same functions as those in FIG. 6 of the second embodiment, and description thereof is omitted.
１５０１はスライスの符号化タイプの符号化データ（ｓｌｉｃｅ＿ｔｙｐｅ符号）を復号するスライス符号化モード復号部である。１５０２は量子化パラメータ復号部であり、実施形態２の図６の量子化パラメータ復号部１１０２とはスライス符号化モードを入力する点が異なる。
図１６において、端子１１００から入力された１フレーム分のストリームデータは復号・分離部１１０１に入力され、画像を再生するのに必要なヘッダ情報が復号される。ヘッダに含まれるｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号２０００５は選択フラグ復号部１１０９に入力され、量子化パラメータの再生を行う予測の方法を選択するフラグが再生される。選択フラグは量子化パラメータ復号部１５０２に入力される。
In FIG. 16, the stream data for one frame input from the terminal 1100 is input to the decoding /
さらに、スライスの先頭において、スライス符号化モードを表す符号（ｓｌｉｃｅ＿ｔｙｐｅ符号２００１１）がスライス符号化モード復号部１５０１に入力され、復号されてスライスの符号化モードが再生される。再生されたスライス符号化モードは量子化パラメータ復号部１５０２に入力される。
Furthermore, a code representing the slice coding mode (slice_type code 20011) is input to the slice coding
また、基本ブロック単位で分割情報（ｓｐｌｉｔ＿ｃｏｄｉｎｇ＿ｆｌａｇ符号２００１０）も復号・分離部１１０１で復号され、量子化パラメータ復号部１１０２に入力される。これに続くサブブロックごとにサブブロックの量子化パラメータ差分値符号（ｃｕ＿ｑｐ＿ｄｅｌｔａ符号）ともに量子化パラメータ復号部１５０２に入力する。
Further, the division information (split_coding_flag code 20010) in units of basic blocks is also decoded by the decoding /
図１７は、本発明の実施形態６に係る量子化パラメータ復号部１５０２の構成を示すブロック図である。本実施形態では、実施形態５で生成された符号化データの復号を例にとって説明する。
図１７において、実施形態２の図７と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
FIG. 17 is a block diagram showing a configuration of a quantization
In FIG. 17, the same numbers are assigned to portions that perform the same functions as those in FIG. 7 of the second embodiment, and description thereof is omitted.
５０１は端子であり、スライス符号化モード復号部１５０１で再生されたスライス符号化モードが入力される。５０２は端子５０１から入力されたスライスの符号化モードと端子１０１から入力される選択フラグからセレクタ１０９の入力先を選択する選択信号を生成する制御部である。５０３は端子４０２から入力されたイントラ予測モードに従って周囲のサブブロックの量子化パラメータを選択する量子化パラメータ予測値決定部である。
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では動画像ビットストリームをフレーム単位に入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。 An image decoding operation in the image decoding apparatus will be described below. In this embodiment, a moving image bit stream is input in units of frames. However, a configuration may be adopted in which a still image bit stream for one frame is input.
スライス単位の復号処理に先立ち、スライスの符号化モードが端子５０１から制御部５０２に入力される。
制御部５０２は入力されたスライス符号化モードと選択フラグからセレクタ１０９の選択信号を生成する。すなわち、選択フラグが０であり、スライスの符号化モードがイントラ予測であれば、セレクタ９の入力先を量子化パラメータ保持部１０６とする。この時の制御信号は０となる。選択フラグが０であり、スライスの符号化モードがインター予測であれば、セレクタ１０９の入力先を量子化パラメータ保持部１０６とする。この時の制御信号は０となる。選択フラグが１であり、スライスの符号化モードがイントラ予測であれば、セレクタ１０９の入力先を量子化パラメータ予測値決定部５０３とする。この時の制御信号は１となる。選択フラグが１であり、スライスの符号化モードがインター予測であれば、セレクタ１０９の入力先を量子化パラメータ保持部１０６とする。この時の制御信号は０となる。
Prior to the decoding process in units of slices, the coding mode of the slice is input from the terminal 501 to the
The
量子化パラメータ予測値決定部５０３は端子５０１から入力されたイントラ予測モードを入力するイントラ予測を行った場合、予測モードが０、３、５、７の場合は符号化対象のサブブロックの上に存在するサブブロックの量子化パラメータを参照する。予測モード１、６、８の場合は左に存在するサブブロックの量子化パラメータを参照する。予測モード２、４の場合は上と左のサブブロックの量子化パラメータの平均値を予測値に用いる。本実施形態では予測モードと量子化パラメータの参照対象の組み合わせは上記の通りとするが、これに限定されない。
When the prediction
セレクタ１０９を介して入力されたサブブロックの量子化パラメータの予測値はサブブロック量子化パラメータ加算部１０４に入力され、復号された差分値に加算されて量子化パラメータを再生する。再生された量子化パラメータは端子１０５からブロック逆量子化部１１０４に出力される。また、量子化パラメータ保持部１０６及び量子化パラメータ保持部１０７に入力され、以後のサブブロックの量子化の予測値算出に用いられる。
The prediction value of the quantization parameter of the sub-block input via the
図１８は、実施形態６に係る画像復号装置における画像復号処理を示すフローチャートである。 FIG. 18 is a flowchart illustrating image decoding processing in the image decoding apparatus according to the sixth embodiment.
ステップＳ１０１からステップＳ１０２にて、復号分離部１１０１と選択フラグ復号部１１０９は、ヘッダ情報とそれに含まれるｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号の復号を行う。
ステップＳ５０１にて、スライス復号化モード復号部１５０１は、スライスヘッダに含まれるｓｌｉｃｅ＿ｔｙｐｅ符号を復号し、スライス符号化モードを取得する。
ステップＳ１０３からサブブロック単位での処理を行う。ステップＳ１０３にて、量子化パラメータ復号部１５０２は、量子化パラメータ差分値符号であるｃｕ＿ｑｐ＿ｄｅｌｔａ符号を復号し、量子化パラメータ差分値を再生する。
ステップＳ５０２にて、量子化パラメータ復号部１５０２は、スライス符号化モードがイントラ符号化モードかインター符号化モードかを判定する。イントラ符号化モードならばステップＳ５０３に進む。インター符号化モードでならばステップＳ１０５に進む。
ステップＳ５０３にて、量子化パラメータ復号部１５０２は、実施形態２の図８のステップＳ１０４と同様に判定し、選択フラグが０であれば、ステップＳ１０５に進み、そうでなければステップＳ５０４に進む。
ステップＳ５０４にて、量子化パラメータ復号部１５０２は、復号対象のサブブロックのイントラ予測モードに従って周囲のサブブロックの量子化パラメータから予測値を決定する。
In steps S101 to S102, the decoding /
In step S501, the slice decoding
Processing is performed in units of sub-blocks from step S103. In step S103, the quantization
In step S502, the quantization
In step S503, the quantization
In step S504, the quantization
以後、ステップＳ１０７からステップＳ１１３を行い、サブブロック量子化パラメータの差分値の再生、サブブロックの予測誤差の復号と再生画像の生成を全てのサブブロック、基本ブロック、スライスに対して行う。 Thereafter, Steps S107 to S113 are performed, and reproduction of subblock quantization parameter difference values, decoding of subblock prediction errors and generation of reproduced images are performed for all subblocks, basic blocks, and slices.
以上の構成と動作により、各サブブロック量子化パラメータの差分値を符号化ができるスライス等の符号化モードを参照して量子化パラメータの予測を適応的に変更して処理時間の遅延の減少と画質の向上の両方を行えるビットストリームを復号することができる。 With the above configuration and operation, the processing time delay can be reduced by adaptively changing the prediction of the quantization parameter with reference to the coding mode such as a slice that can encode the difference value of each sub-block quantization parameter. It is possible to decode a bitstream that can both improve image quality.
＜実施形態７＞
図１９は本実施形態の画像符号化装置を示すブロック図である。図１９において、実施形態５の図１３と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。実施形態５の図１３とは操作部１１０１１が不要な点が異なる。１４００８は量子化パラメータ符号化部である。実施形態５の図１３の量子化パラメータ符号化部１１００８とは選択フラグが入力されない点にある。
<
FIG. 19 is a block diagram showing an image encoding apparatus according to this embodiment. In FIG. 19, the same numbers are assigned to portions that perform the same functions as those in FIG. 13 of the fifth embodiment, and description thereof is omitted. 13 is different from FIG. 13 of the fifth embodiment in that the
実施形態５と同様に、フレームの符号化に先立ち、スライス符号化モード決定部１１１００は当該フレームのスライスをイントラ符号化するかインター符号化するかを決定する。決定されたスライス符号化モードは量子化パラメータ符号化部１４００８とブロック予測部１１１０３に入力される。
Similar to the fifth embodiment, prior to frame encoding, the slice encoding
図２０は本実施形態の量子化パラメータ符号化部１４００８の詳細な構成を示すブロック図である。図２０において、実施形態５の図１４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。 FIG. 20 is a block diagram showing a detailed configuration of the quantization parameter encoding unit 14008 of this embodiment. In FIG. 20, the same numbers are assigned to portions that perform the same functions as those in FIG. 14 of the fifth embodiment, and the description thereof is omitted.
６００はセレクタであり、端子４００から入力されるスライス符号化モードによって入力先を切り替える。
実施形態５と同様に、量子化パラメータ決定部１１００２で決定された量子化パラメータが量子化パラメータ保持部２に格納される。
As in the fifth embodiment, the quantization parameter determined by the quantization
端子４００から入力されたスライス符号化モードはセレクタ６００に入力される。スライスの符号化モードがイントラ予測であれば、セレクタ６００の入力先を量子化パラメータ予測値決定部４０３とする。スライスの符号化モードがインター予測であれば、セレクタ６００の入力先を量子化パラメータ保持部３とする。
The slice encoding mode input from the terminal 400 is input to the
量子化パラメータ予測値決定部４０３は実施形態５と同様にイントラ予測モードに従って周囲のサブブロックの量子化パラメータから予測値を算出する。
The quantization parameter prediction
セレクタ６００を介して得られた量子化パラメータはサブブロック量子化パラメータ差分部１０と量子化パラメータ保持部３及び４に入力される。量子化パラメータ保持部３及び４は以後のサブブロックの量子化パラメータの予測のために使われる。
The quantization parameter obtained via the
以後、実施形態５と同様にサブブロック量子化パラメータ差分部１０で量子化パラメータ差分値を算出し、サブブロック量子化パラメータ符号化部１１で符号化し、ｃｕ＿ｑｐ＿ｄｅｌｔａ符号を端子１２から出力する。
Thereafter, as in the fifth embodiment, the sub-block quantization
図２１は、実施形態７に係る画像符号化装置における画像符号化処理を示すフローチャートである。図２１において、実施形態５の図１５と異なる点はステップＳ００１、ステップＳ００３、ステップＳ４０３が無い点である。 FIG. 21 is a flowchart illustrating image encoding processing in the image encoding device according to the seventh embodiment. 21 is different from FIG. 15 of the fifth embodiment in that step S001, step S003, and step S403 are not provided.
統合符号化部１１００９は、実施形態５と同様にステップＳ００２でヘッダの符号化を行う。その後、各スライスの符号化処理を行う。ステップＳ４０１ではスライスの符号化モードの決定とその符号化を行う。
The
ステップＳ００４からステップＳ００６でフレームを基本ブロックに分割し、さらにサブブロックに分割する。さらにそれぞれのサブブロックの量子化パラメータを決定する。
ステップＳ４０２にて、量子化パラメータ符号化部１４００８は、スライス符号化モードがイントラ符号化モードかインター符号化モードかを判定する。イントラ符号化モードならばステップＳ４０３に進む。インター符号化モードでならばステップＳ００８に進む。
ステップＳ４０４にて、量子化パラメータ符号化部１４００８は、符号化対象のサブブロックのイントラ予測モードに従って周囲のサブブロックの量子化パラメータから予測値を決定する。
In steps S004 to S006, the frame is divided into basic blocks and further divided into sub-blocks. Further, the quantization parameter of each sub-block is determined.
In step S402, the quantization parameter encoding unit 14008 determines whether the slice encoding mode is an intra encoding mode or an inter encoding mode. If it is the intra coding mode, the process proceeds to step S403. If it is in the inter coding mode, the process proceeds to step S008.
In step S404, the quantization parameter encoding unit 14008 determines a prediction value from the quantization parameters of surrounding subblocks according to the intra prediction mode of the subblock to be encoded.
以後、ステップＳ０１０からステップＳ０１６を行い、サブブロック量子化パラメータの差分値の算出と符号化、サブブロックの予測誤差の符号化と再生画像の生成を全てのサブブロック、基本ブロック、スライスに対して行う。 Thereafter, Steps S010 to S016 are performed to calculate and encode the difference value of the sub-block quantization parameter, encode the prediction error of the sub-block, and generate a reproduced image for all the sub-blocks, basic blocks, and slices. Do.
図２２に本実施形態で生成されたビットストリームの一例を示す。シーケンスヘッダ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）２０００１にｑｐ＿ｄｅｌｔａ＿ｓｅｌｅｃｔ＿ｆｌａｇ符号２０００５が含まれていない。スライスの符号化モードを表す符号ｓｌｉｃｅ＿ｔｙｐｅ符号２００１１がスライスヘッダに含まれている。
FIG. 22 shows an example of the bit stream generated in this embodiment. The sequence header (Sequence Parameter Set) 20001 does not include the
以上の構成と動作により、符号化モードを選択フラグの代わりに用いることで、そのオーバーヘッドを削減できる。さらに、簡易な構成で各サブブロック量子化パラメータの差分値を符号化ができるスライス等の符号化モードを参照して量子化パラメータの予測を適応的に変更して処理時間の遅延の減少と画質の向上の両方を行うことができる。 With the above configuration and operation, the overhead can be reduced by using the encoding mode instead of the selection flag. Furthermore, the processing time delay and image quality can be reduced by adaptively changing the prediction of the quantization parameter by referring to a coding mode such as a slice that can encode the difference value of each sub-block quantization parameter with a simple configuration. Both can be improved.
本実施形態ではスライス単位で符号化モードを決定したが、これに限定されず、ＭＰＥＧ‐１、２、４のようにフレームやピクチャ単位で符号化モードを設定できる場合はこれを用いても構わない。さらに、細かな単位としてマクロブロック等の基本ブロック単位で用いてももちろん構わない。 In the present embodiment, the encoding mode is determined in units of slices, but the present invention is not limited to this. If the encoding mode can be set in units of frames or pictures as in MPEG-1, 2, 4, this may be used. Absent. Further, as a fine unit, it may of course be used in basic block units such as macroblocks.
＜実施形態８＞
図２３は本実施形態の画像復号装置を示すブロック図である。図２３において、実施形態６の図１６と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。実施形態６の図１６とは選択フラグ復号部１１０９が不要な点が異なる。また、本実施形態は実施形態７で生成されたビットストリーム（図２２）を復号する。
<Embodiment 8>
FIG. 23 is a block diagram showing an image decoding apparatus according to this embodiment. In FIG. 23, parts having the same functions as those in FIG. 16 of the sixth embodiment are denoted by the same reference numerals and description thereof is omitted. It differs from FIG. 16 of
図２３において、端子１１００から入力された１フレーム分のストリームデータは復号・分離部１１０１に入力され、画像を再生するのに必要なヘッダ情報が復号される。
In FIG. 23, stream data for one frame input from a terminal 1100 is input to a decoding /
さらに、スライスの先頭において、スライス符号化モードを表す符号（ｓｌｉｃｅ＿ｔｙｐｅ符号２００１１）がスライス符号化モード復号部１５０１に入力され、復号されてスライスの符号化モードが再生される。再生されたスライス符号化モードは量子化パラメータ復号部１５０２に入力される。
Furthermore, a code representing the slice coding mode (slice_type code 20011) is input to the slice coding
また、基本ブロック単位で分割情報（ｓｐｌｉｔ＿ｃｏｄｉｎｇ＿ｆｌａｇ符号２００１０）も復号・分離部１１０１で復号され、量子化パラメータ復号部１１０２に入力される。これに続くサブブロックごとにサブブロックの量子化パラメータ差分値符号（ｃｕ＿ｑｐ＿ｄｅｌｔａ符号）ともに量子化パラメータ復号部１５０２に入力する。
Further, the division information (split_coding_flag code 20010) in units of basic blocks is also decoded by the decoding /
図２４は、本発明の実施形態８に係る量子化パラメータ復号部１５０２の構成を示すブロック図である。本実施形態では、実施形態７で生成された符号化データの復号を例にとって説明する。
図２４において、実施形態６の図１７と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。６００はセレクタであり、端子４００から入力されるスライス符号化モードによって入力先を切り替える。
FIG. 24 is a block diagram showing a configuration of a quantization
In FIG. 24, the same reference numerals are given to portions that perform the same functions as those in FIG. 17 of the sixth embodiment, and description thereof is omitted.
実施形態５と同様に、スライス単位の復号処理に先立ち、スライスの符号化モードが端子５０１からセレクタ７０１に入力される。
セレクタ７０１は入力されたスライス符号化モードがイントラ予測であれば、入力先を量子化パラメータ予測値決定部５０３とする。スライスの符号化モードがインター予測であれば、入力先を量子化パラメータ保持部１０６とする。
Similar to the fifth embodiment, prior to the decoding process in units of slices, the coding mode of the slice is input from the terminal 501 to the
When the input slice encoding mode is intra prediction, the
以下、実施形態６と同様に、量子化パラメータ予測値決定部５０３は端子５０１から入力されたイントラ予測モードに従って周囲のサブブロックの量子化パラメータから予測値を算出する。
Hereinafter, similarly to the sixth embodiment, the quantization parameter prediction
セレクタ７０１を介して入力されたサブブロックの量子化パラメータの予測値はサブブロック量子化パラメータ加算部１０４に入力され、復号された差分値に加算されて量子化パラメータを再生する。再生された量子化パラメータは端子１０５からブロック逆量子化部１１０４に出力される。また、量子化パラメータ保持部１０６及び量子化パラメータ保持部１０７に入力され、以後のサブブロックの量子化の予測値算出に用いられる。
The prediction value of the quantization parameter of the sub-block input via the
図２５は、実施形態６に係る画像復号装置における画像復号処理を示すフローチャートである。図２５において、実施形態６の図１８と異なる点はステップＳ００２、ステップＳ５０３が無い点である。 FIG. 25 is a flowchart illustrating image decoding processing in the image decoding apparatus according to the sixth embodiment. 25 differs from FIG. 18 of the sixth embodiment in that there are no steps S002 and S503.
ステップＳ１０１にて、ヘッダ情報との復号を行う。ステップＳ５０１にて、スライス符号化モード復号部１５０１は、スライスヘッダに含まれるｓｌｉｃｅ＿ｔｙｐｅ符号を復号し、スライス符号化モードを取得する。
ステップＳ１０３からサブブロック単位での処理を行う。ステップＳ１０３にて、量子化パラメータ復号部１５０２は、量子化パラメータ差分値符号であるｃｕ＿ｑｐ＿ｄｅｌｔａ符号を復号し、量子化パラメータ差分値を再生する。
ステップＳ５０２にて、量子化パラメータ復号部１５０２は、スライス符号化モードがイントラ符号化モードかインター符号化モードかを判定する。イントラ符号化モードならばステップＳ５０４に進む。インター符号化モードでならばステップＳ１０５に進む。
ステップＳ５０４にて、量子化パラメータ復号部１５０２は、復号対象のサブブロックのイントラ予測モードに従って周囲のサブブロックの量子化パラメータから予測値を決定する。
In step S101, the header information is decoded. In step S501, the slice encoding
Processing is performed in units of sub-blocks from step S103. In step S103, the quantization
In step S502, the quantization
In step S504, the quantization
以後、ステップＳ１０７からステップＳ１１３を行い、サブブロック量子化パラメータの差分値の再生、サブブロックの予測誤差の復号と再生画像の生成を全てのサブブロック、基本ブロック、スライスに対して行う。 Thereafter, Steps S107 to S113 are performed, and reproduction of subblock quantization parameter difference values, decoding of subblock prediction errors and generation of reproduced images are performed for all subblocks, basic blocks, and slices.
以上の構成と動作により、各サブブロック量子化パラメータの差分値を符号化ができるスライス等の符号化モードを参照して量子化パラメータの予測を適応的に変更して処理時間の遅延の減少と画質の向上の両方を行えるビットストリームを復号することができる。 With the above configuration and operation, the processing time delay can be reduced by adaptively changing the prediction of the quantization parameter with reference to the coding mode such as a slice that can encode the difference value of each sub-block quantization parameter. It is possible to decode a bitstream that can both improve image quality.
また、実施形態１から８において、選択フラグは０と１の値しか持たないように説明したが、これに限定されない。実施形態１、３、５の其々の符号化方法を切り替えらえるように複数ビットで表す値であってももちろん構わない。
本実施形態においてスライス単位の符号化モードに基づいて予測値を復号する順に求めるか、周囲のサブブロックの量子化パラメータからも求めるかを判定したが、基本ブロック単位で判定しても構わない。例えば、Ｈ．２６４のマクロブロックの符号化モードに基づいて判定しても構わない。
In the first to eighth embodiments, the selection flag is described as having only values of 0 and 1. However, the present invention is not limited to this. Of course, a value represented by a plurality of bits may be used so that the encoding methods of the first, third, and fifth embodiments can be switched.
In the present embodiment, it is determined whether the prediction values are obtained in the order of decoding based on the coding mode in units of slices or from the quantization parameters of the surrounding sub-blocks, but may be determined in units of basic blocks. For example, H.M. The determination may be made based on the encoding mode of H.264 macroblock.
＜実施形態９＞
図１、図３、図６、図７、図９、図１１、図１３、図１４、図１６、図１７、図１９、図２０、図２３、図２４に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。
図２６は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
<Ninth Embodiment>
1, 3, 6, 7, 9, 11, 13, 14, 16, 17, 19, 20, 23, and 24 are hardware components. It has been described in the above embodiment as being configured. However, the processing performed by each processing unit shown in these figures may be configured by a computer program.
FIG. 26 is a block diagram illustrating a configuration example of computer hardware applicable to the image display device according to each of the above embodiments.
ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１４０１は、図１、図３、図６、図７、図９、図１１、図１３、図１４、図１６、図１７、図１９、図２０、図２３、図２４に示した各処理部として機能することになる。
ＲＡＭ１４０２は、外部記憶装置１４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１４０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１４０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
ＲＯＭ１４０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１４０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１４０１に対して入力することができる。表示部１４０５は、ＣＰＵ１４０１による処理結果を表示する。また表示部１４０５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。
The
The
The
外部記憶装置１４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、図１、図６、図１３、図１６、図１９、図２３に示した各部の機能をＣＰＵ１４０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１４０６には、処理対象としての各画像データが保存されていても良い。
外部記憶装置１４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。Ｉ／Ｆ１４０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１４０７を介して様々な情報を取得したり、送出したりすることができる。１４０８は上述の各部を繋ぐバスである。
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１４０１が中心となってその制御を行う。
The
Computer programs and data stored in the
The operation having the above-described configuration is controlled by the
＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
<Other embodiments>
The object of the present invention can also be achieved by supplying a storage medium storing a computer program code for realizing the above-described functions to the system, and the system reading and executing the computer program code. In this case, the computer program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the computer program code constitutes the present invention. In addition, the operating system (OS) running on the computer performs part or all of the actual processing based on the code instruction of the program, and the above-described functions are realized by the processing. .
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。 Furthermore, you may implement | achieve with the following forms. That is, the computer program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer. Then, based on the instruction of the code of the computer program, the above-described functions are realized by the CPU or the like provided in the function expansion card or function expansion unit performing part or all of the actual processing.
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
本実施形態においてスライス単位の符号化モードに基づいて予測値を復号する順に求めるか、周囲のサブブロックの量子化パラメータからも求めるかを判定したが、基本ブロック単位で判定しても構わない。例えば、Ｈ．２６４のマクロブロックの符号化モードでｍｂ＿ｔｙｐｅ符号の復号結果に基づいて判定しても構わない。
When the present invention is applied to the above storage medium, the computer program code corresponding to the flowchart described above is stored in the storage medium.
In the present embodiment, it is determined whether the prediction values are obtained in the order of decoding based on the coding mode in units of slices or from the quantization parameters of the surrounding sub-blocks, but may be determined in units of basic blocks. For example, H.M. The determination may be made based on the decoding result of the mb_type code in the H.264 macroblock encoding mode.
Claims (16)
前記画像の符号化モード、前記ブロックの符号化モード、及び前記ブロックに含まれる処理対象のサブブロックの符号化モードのうち、少なくともいずれか１つを取得する取得手段と、
前記取得手段によって取得された符号化モードがイントラ予測モードである場合に、前記処理対象のサブブロックの量子化パラメータと、当該処理対象のサブブロックとの位置関係に基づく第１のサブブロックの量子化パラメータとの差分値を符号化し、前記取得手段によって取得された符号化モードがインター予測モードである場合に、前記処理対象のサブブロックの量子化パラメータと、前記処理対象のサブブロックとの符号化順序関係に基づく第２のサブブロックの量子化パラメータとの差分値を符号化する符号化手段と、
を有することを特徴とする画像符号化装置。 An image encoding device for encoding a block included in an image,
Obtaining means for obtaining at least one of the coding mode of the image, the coding mode of the block, and the coding mode of a processing target sub-block included in the block;
When the encoding mode acquired by the acquisition unit is an intra prediction mode, the quantization parameter of the first sub-block based on the quantization parameter of the sub-block to be processed and the positional relationship between the sub-block to be processed When the encoding mode acquired by the acquisition unit is an inter prediction mode, the quantization parameter of the processing target sub-block and the code of the processing target sub-block are encoded. Encoding means for encoding a difference value with the quantization parameter of the second sub-block based on the encoding order relationship;
An image encoding apparatus comprising:
前記画像の符号化モード、前記ブロックの符号化モード、及び前記処理対象のサブブロックの符号化モードのうち、少なくともいずれか１つを取得する第１の取得手段と、前記第１の取得手段によって取得された符号化モードがイントラ予測モードである場合に、前記処理対象のサブブロックとの位置関係に基づく第１のサブブロックの量子化パラメータと、前記復号手段によって復号された差分値とを用いて、前記処理対象のサブブロックの量子化パラメータを取得し、
前記第１の取得手段によって取得された符号化モードがインター予測モードである場合に、前記処理対象のサブブロックとの符号化順序関係に基づく第２のサブブロックの量子化パラメータと、前記復号手段によって復号された差分値とを用いて、前記処理対象のサブブロックの量子化パラメータを取得する第２の取得手段と、
を有することを特徴とする画像復号装置。 An image decoding apparatus for decoding data obtained by encoding a block included in an image, and decoding means for decoding code data related to a difference value between a quantization parameter of a processing target sub-block included in the block and a predetermined parameter When,
A first acquisition unit that acquires at least one of the encoding mode of the image, the encoding mode of the block, and the encoding mode of the sub-block to be processed; and the first acquisition unit. When the acquired encoding mode is the intra prediction mode, the quantization parameter of the first sub-block based on the positional relationship with the sub-block to be processed and the difference value decoded by the decoding unit are used. To obtain the quantization parameter of the processing target sub-block,
When the encoding mode acquired by the first acquisition unit is an inter prediction mode, the quantization parameter of the second sub-block based on the encoding order relationship with the sub-block to be processed, and the decoding unit Second acquisition means for acquiring a quantization parameter of the sub-block to be processed using the difference value decoded by
An image decoding apparatus comprising:
前記画像の符号化モード、前記ブロックの符号化モード、及び前記ブロックに含まれる処理対象のサブブロックの符号化モードのうち、少なくともいずれか１つを取得する取得工程と、
前記取得工程によって取得された符号化モードがイントラ予測モードである場合に、前記処理対象のサブブロックの量子化パラメータと、当該処理対象のサブブロックとの位置関係に基づく第１のサブブロックの量子化パラメータとの差分値を符号化し、前記取得工程によって取得された符号化モードがインター予測モードである場合に、前記処理対象のサブブロックの量子化パラメータと、前記処理対象のサブブロックとの符号化順序関係に基づく第２のサブブロックの量子化パラメータとの差分値を符号化する符号化工程と、
を有することを特徴とする画像符号化方法。 An image encoding method for encoding a block included in an image,
An acquisition step of acquiring at least one of the encoding mode of the image, the encoding mode of the block, and the encoding mode of a processing target sub-block included in the block;
When the encoding mode acquired by the acquisition step is an intra prediction mode, the quantum of the first sub-block based on the quantization parameter of the sub-block to be processed and the positional relationship between the sub-block to be processed When the encoding mode acquired by the acquisition step is an inter prediction mode, the quantization parameter of the processing target sub-block and the code of the processing target sub-block are encoded. An encoding step of encoding a difference value with the quantization parameter of the second sub-block based on the encoding order relationship;
An image encoding method characterized by comprising:
前記画像の符号化モード、前記ブロックの符号化モード、及び前記処理対象のサブブロックの符号化モードのうち、少なくともいずれか１つを取得する第１の取得工程と、前記第１の取得工程によって取得された符号化モードがイントラ予測モードである場合に、前記処理対象のサブブロックとの位置関係に基づく第１のサブブロックの量子化パラメータと、前記復号工程によって復号された差分値とを用いて、前記処理対象のサブブロックの量子化パラメータを取得し、
前記第１の取得工程によって取得された符号化モードがインター予測モードである場合に、前記処理対象のサブブロックとの符号化順序関係に基づく第２のサブブロックの量子化パラメータと、前記復号工程によって復号された差分値とを用いて、前記処理対象のサブブロックの量子化パラメータを取得する第２の取得工程と、
を有することを特徴とする画像復号装置。 An image decoding method for decoding data obtained by encoding a block included in an image, the decoding step for decoding code data relating to a difference value between a quantization parameter of a processing target sub-block included in the block and a predetermined parameter When,
A first acquisition step of acquiring at least one of the encoding mode of the image, the encoding mode of the block, and the encoding mode of the sub-block to be processed; and the first acquisition step. When the acquired encoding mode is the intra prediction mode, the quantization parameter of the first sub-block based on the positional relationship with the processing target sub-block and the difference value decoded by the decoding step are used. To obtain the quantization parameter of the processing target sub-block,
When the encoding mode acquired by the first acquisition step is an inter prediction mode, the quantization parameter of the second sub-block based on the encoding order relationship with the processing target sub-block, and the decoding step A second acquisition step of acquiring the quantization parameter of the sub-block to be processed using the difference value decoded by
An image decoding apparatus comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011091346A JP6039163B2 (en) | 2011-04-15 | 2011-04-15 | Image encoding device, image encoding method and program, image decoding device, image decoding method and program |
| PCT/JP2012/002525 WO2012140889A1 (en) | 2011-04-15 | 2012-04-12 | Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011091346A JP6039163B2 (en) | 2011-04-15 | 2011-04-15 | Image encoding device, image encoding method and program, image decoding device, image decoding method and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012227612A JP2012227612A (en) | 2012-11-15 |
| JP2012227612A5 JP2012227612A5 (en) | 2014-05-29 |
| JP6039163B2 true JP6039163B2 (en) | 2016-12-07 |
Family
ID=47009080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011091346A Active JP6039163B2 (en) | 2011-04-15 | 2011-04-15 | Image encoding device, image encoding method and program, image decoding device, image decoding method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6039163B2 (en) |
| WO (1) | WO2012140889A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120016980A (en) | 2010-08-17 | 2012-02-27 | 한국전자통신연구원 | Image encoding and decoding method and the same apparatus |
| KR20210031783A (en) * | 2018-04-01 | 2021-03-22 | 주식회사 비원영상기술연구소 | Image encoding/decoding method and apparatus |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070230564A1 (en) * | 2006-03-29 | 2007-10-04 | Qualcomm Incorporated | Video processing with scalability |
| CA2681025C (en) * | 2007-03-20 | 2015-10-13 | Fujitsu Limited | Video encoding and decoding apparatus and method using quantization in sub-blocks |
| US8897359B2 (en) * | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| JP5241622B2 (en) * | 2008-07-02 | 2013-07-17 | キヤノン株式会社 | Encoding apparatus and encoding method |
-
2011
- 2011-04-15 JP JP2011091346A patent/JP6039163B2/en active Active
-
2012
- 2012-04-12 WO PCT/JP2012/002525 patent/WO2012140889A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012227612A (en) | 2012-11-15 |
| WO2012140889A1 (en) | 2012-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5875236B2 (en) | Image encoding device, image encoding method and program, image decoding device, image decoding method and program | |
| EP3090553B1 (en) | Block vector prediction in video and image coding/decoding | |
| JP2022020694A (en) | Method for video image decoding, device, and computer program | |
| JP2022513457A (en) | Methods and equipment for color conversion in VVC | |
| JP2024019495A (en) | Image encoder, image decoder, image encoding method, and image decoding method | |
| JP2013012887A (en) | Image encoding apparatus, image encoding method and program, image decoding apparatus, image decoding method and program | |
| JP6415637B2 (en) | Decoding device, decoding method, program, and storage medium | |
| JP6039163B2 (en) | Image encoding device, image encoding method and program, image decoding device, image decoding method and program | |
| US20230067360A1 (en) | Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program | |
| KR20220019289A (en) | An image encoding apparatus, an image decoding apparatus, an image encoding method, an image decoding method, and a non-transitory computer-readable storage medium storing a computer program | |
| JP6686095B2 (en) | Decoding device, decoding method, program, and storage medium | |
| JP6953576B2 (en) | Coding device, coding method, program and storage medium | |
| JP6150912B2 (en) | Image encoding device, image encoding method and program, image decoding device, image decoding method and program | |
| WO2021049277A1 (en) | Image coding device and image decoding device | |
| JP2014049875A (en) | Image encoder, image decoder, image encoding program, and image decoding program | |
| KR20220019283A (en) | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140411 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150331 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161104 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6039163 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |