JP6953576B2 - Coding device, coding method, program and storage medium - Google Patents
Coding device, coding method, program and storage medium Download PDFInfo
- Publication number
- JP6953576B2 JP6953576B2 JP2020059111A JP2020059111A JP6953576B2 JP 6953576 B2 JP6953576 B2 JP 6953576B2 JP 2020059111 A JP2020059111 A JP 2020059111A JP 2020059111 A JP2020059111 A JP 2020059111A JP 6953576 B2 JP6953576 B2 JP 6953576B2
- Authority
- JP
- Japan
- Prior art keywords
- subblock
- quantization parameter
- block
- sub
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は符号化装置、符号化方法及びプログラムに関し、特に画像中の量子化パラメータの予測符号化方法に関する。 The present invention relates to coding devices, coding methods and programs, and particularly to predictive coding methods for quantization parameters in images.
動画像の圧縮記録方法として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下、Ｈ．２６４）が知られている（非特許文献１）。Ｈ．２６４は１セグメント地上波デジタル放送などで広く使われている。 As a method for compressing and recording moving images, H.I. 264 / MPEG-4 AVC (hereinafter, H.264) is known (Non-Patent Document 1). H. 264 is widely used in 1-segment terrestrial digital broadcasting and the like.
Ｈ．２６４においてはｍｂ＿ｑｐ＿ｄｅｌｔａ符号を用いて、マクロブロック（１６画素×１６画素）単位に量子化パラメータを変更することできる。非特許文献１に記載されている７−２３式によれば、直前に復号されたマクロブロックの量子化パラメータＱＰＹＰＲＥＶに差分値であるｍｂ＿ｑｐ＿ｄｅｌｔａを加算することで、マクロブロック（１６画素×１６画素）単位に量子化パラメータを変更している。 H. In 264, the quantization parameter can be changed in macroblock (16 pixels × 16 pixels) units by using the mb_qp_delta code. According to the 7-23 equation described in Non-Patent Document 1, the macroblock (16 pixels × 16 pixels) is obtained by adding the difference value mb_qp_delta to the quantization parameter QPY PREV of the macroblock decoded immediately before. ) The quantization parameter is changed in units.
近年、Ｈ．２６４の後継としてさらに高効率な符号化方式であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の国際標準化を行う活動が開始された。本活動では、対象となる画面サイズの増大に伴い、従来のマクロブロック（１６画素×１６画素）より大きなブロックサイズでの分割が検討されている。非特許文献２によれば、この大きなサイズの基本ブロックはＬＣＴＢ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）と呼ばれている。そのサイズは６４画素×６４画素として検討が進められている（非特許文献２）。ＬＣＴＢはさらに分割されて、細かなサブブロックを形成し、変換や量子化等を行うサブブロックとしてＣＴＢ（Ｃｏｎｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）に分割される。分割の方法としてはブロック内を縦横２分割していく領域四分木構造となっている。 In recent years, H. As a successor to 264, activities to internationally standardize HEVC (High Efficiency Video Coding), which is a more efficient coding method, have been started. In this activity, as the target screen size increases, division into a block size larger than the conventional macroblock (16 pixels × 16 pixels) is being studied. According to Non-Patent Document 2, this large-sized basic block is called an LCTB (Largest Coding Tree Block). The size is being studied as 64 pixels × 64 pixels (Non-Patent Document 2). The LCTB is further divided to form fine sub-blocks, and is divided into CTBs (Conding Tree Blocks) as sub-blocks for performing conversion, quantization, and the like. As a method of division, the block has a regional quadtree structure in which the block is divided into two vertically and horizontally.
図２（ａ）に領域四分木構造の様子を表す。太枠の１００００は基本ブロックを表し、説明を簡易にするため、６４画素×６４画素の構成とする。１０００１と１００１０はサブブロックであり、１６画素×１６画素のサブブロックとする。１０００２〜１０００９もサブブロックであり、８画素×８画素のサブブロックとする。このように細かく分割して、変換等の符号化処理を行う。 FIG. 2A shows the state of the region quadtree structure. The thick frame of 10000 represents a basic block, and in order to simplify the explanation, the configuration is 64 pixels × 64 pixels. 10001 and 10010 are sub-blocks, and are sub-blocks of 16 pixels × 16 pixels. 10002 to 10009 are also subblocks, and are subblocks of 8 pixels × 8 pixels. In this way, it is divided into small pieces and coding processing such as conversion is performed.
ＨＥＶＣにおいて、量子化パラメータの制御をＨ．２６４のマクロブロックと同様に基本ブロック単位で行うことが考えられている。しかしながら、実際にはサブブロック単位で量子化パラメータ制御を行うことが画質の観点から望ましい。この場合、サブブロック単位で量子化パラメータ制御を行うことにより、より細かい単位での量子化ができることが期待できる。 In HEVC, the control of quantization parameters is controlled by H.I. It is considered to be performed in basic block units as in the case of 264 macroblocks. However, in reality, it is desirable to control the quantization parameter in subblock units from the viewpoint of image quality. In this case, it can be expected that quantization can be performed in finer units by controlling the quantization parameters in subblock units.
しかしながら、より細かい単位での量子化ができても、領域四分木構造に従って処理が行われるので、サブブロック単位での並列処理を効率よく行えず、符号化・復号処理の高速化を図ることができなかった。具体的には、図２（ａ）において、１６画素×１６画素のサブブロック１０００１につづき、８画素×８画素のサブブロック１０００２から１０００９が番号の順に処理され、最後に１６画素×１６画素のサブブロック１００１０が処理される。前のサブブロックの量子化パラメータを予測値として差分でそれぞれのサブブロックの量子化パラメータが算出されるため、これらは逐次処理を行う必要がある。このため、サブブロック単位での並列処理が効率よく行えないことになる。
However, even if quantization can be performed in finer units, processing is performed according to the region quadtree structure, so parallel processing in subblock units cannot be performed efficiently, and the coding / decoding processing should be speeded up. I couldn't. Specifically, in FIG. 2A, following the 16-pixel × 16-
さらに、各サブブロックで量子化パラメータの最適化を図った場合、量子化パラメータの差分値の取得は領域四分木構造に従って処理が行われるため、差分値にばらつきが発生する。例えば、図２（ｂ）に各サブブロックの中央に量子化パラメータ値を示す。本図では左上から右下に量子化パラメータ値がなだらかに変化した場合を想定している。このような場合は通常の自然画像では起こりやすい現象である。サブブロック１０００１の量子化パラメータは１２であり、サブブロック１０００２ではその差分が＋２となる。順に、＋４、−６、＋６、−６、±０、＋２、＋４、＋２となっている。このように領域四分木構造に従った場合、値が乱高下するため、発生する符号が大きくなるといった問題が生じる。
Further, when the quantization parameter is optimized in each subblock, the difference value of the quantization parameter is acquired according to the region quadtree structure, so that the difference value varies. For example, FIG. 2B shows the quantization parameter value in the center of each subblock. In this figure, it is assumed that the quantization parameter value changes gently from the upper left to the lower right. Such a case is a phenomenon that is likely to occur in a normal natural image. The quantization parameter of the
したがって、本発明は上述した課題を解決するためになされたものであり、各サブブロックの符号化・復号を並列に行うことを可能とし、高速な処理を実現するとともに高効率の量子化パラメータ符号化・復号を実現することを目的としている。 Therefore, the present invention has been made to solve the above-mentioned problems, and it is possible to perform coding and decoding of each subblock in parallel, realize high-speed processing, and highly efficient quantization parameter code. The purpose is to realize the conversion / decoding.
上述の問題点を解決するため、本発明の符号化装置は以下の構成を有する。すなわち、入力画像の量子化処理を行うための量子化パラメータを符号化する符号化装置であって、
前記入力画像に含まれる、四分木構造によって表現される複数のブロックのうちの１つのブロックに含まれるサブブロックのそれぞれの量子化パラメータを取得する取得手段と、
前記取得手段によって取得された、第１のサブブロックの量子化パラメータと、前記第１のサブブロックの後に符号化される第２のサブブロックの量子化パラメータとの差分に関する第１データを符号化し、第３のサブブロックの量子化パラメータと、前記第３のサブブロックより前に符号化された少なくとも２つのサブブロックの量子化パラメータの平均を四捨五入した値との差分に関する第２データを符号化する符号化手段と、
前記入力画像に含まれる、前記第１のサブブロック、前記第２のサブブロック、および、前記第３のサブブロックの画像から、周囲の画素データまたは前記入力画像の前のフレームの画素データに基づいて、予測誤差を生成する生成手段と、
前記生成手段によって生成された前記第１のサブブロックの予測誤差、前記第２のサブブロックの予測誤差、および、前記第３のサブブロックの予測誤差に対して直交変換を行う変換手段と、
前記取得手段によって取得された、第１のサブブロックの量子化パラメータ、第２のサブブロックの量子化パラメータ、第３のサブブロックの量子化パラメータに基づいて、前記変換手段によって得られた前記第１のサブブロックの直交変換係数、前記第２のサブブロックの直交変換係数、および、前記第３のサブブロックの直交変換係数を量子化する量子化手段と、
前記量子化手段によって量子化された直交変換係数を符号化する係数符号化手段と、
を備えることを特徴とする。
In order to solve the above-mentioned problems, the coding apparatus of the present invention has the following configuration. That is, it is a coding device that encodes the quantization parameters for performing the quantization processing of the input image.
An acquisition means for acquiring the quantization parameters of each of the sub-blocks included in one block among the plurality of blocks represented by the quadtree structure included in the input image.
The first data regarding the difference between the quantization parameter of the first subblock acquired by the acquisition means and the quantization parameter of the second subblock encoded after the first subblock is encoded. , Encode the second data regarding the difference between the quantization parameter of the third subblock and the rounded average of the quantization parameters of at least two subblocks encoded prior to the third subblock. Coding means and
Based on the surrounding pixel data or the pixel data of the frame before the input image from the images of the first subblock, the second subblock, and the third subblock included in the input image. And the generation means to generate the prediction error,
A conversion means that performs orthogonal transformation with respect to the prediction error of the first subblock , the prediction error of the second subblock , and the prediction error of the third subblock generated by the generation means.
The first obtained by the conversion means based on the quantization parameter of the first subblock, the quantization parameter of the second subblock, and the quantization parameter of the third subblock acquired by the acquisition means. A quantization means for quantizing the orthogonal conversion coefficient of one subblock, the orthogonal conversion coefficient of the second subblock, and the orthogonal conversion coefficient of the third subblock.
A coefficient coding means that encodes the orthogonal transformation coefficient quantized by the quantization means, and
It is characterized by having.
本発明により、符号量を抑え、かつ高効率の処理で量子化パラメータの符号化・復号が可能になる。 INDUSTRIAL APPLICABILITY According to the present invention, the amount of code can be suppressed and the quantization / decoding of the quantization parameter can be performed with high efficiency processing.
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。 Hereinafter, the present invention will be described in detail with reference to the accompanying drawings, based on its preferred embodiments. The configuration shown in the following embodiments is only an example, and the present invention is not limited to the illustrated configuration.
＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０００は画像データを入力する端子である。
１００１は入力画像を複数の基本ブロック単位でブロックを切り出し、必要に応じてサブブロックに分割するブロック分割部である。量子化制御はサブブロック単位で行うことになる。説明を容易にするために、入力画像は８ビットの画素値を持つこととするが、これに限定されない。また、基本ブロックのサイズを６４画素×６４画素とし、サブブロックの最小サイズを８画素×８画素とする。この場合、基本ブロックは、４つのサブブロックを包含することになる。またブロックの分割に関しては縦横１／２のサイズに４分割する方法を例にとって説明するが、これにブロックの形状、サイズは限定されない。基本ブロックはサブブロックを最低限２つ以上包含していればよい。サブブロックの分割に関しては、特に限定されない。例えば全体をサブブロックに分割し、エッジ量などを算出しクラスタリングして分割を行っても構わない。すなわち、エッジが多く集まる部分は細かくサブブロックを設定し、平坦な部分は大きなサブブロックを設定する。１００２は基本ブロックの量子化パラメータ、および各サブブロックの量子化パラメータを決定する量子化パラメータ決定部である。
<Embodiment 1>
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an image coding apparatus of this embodiment. In FIG. 1, 1000 is a terminal for inputting image data.
１００３はブロック分割部１００１で分割された各サブブロックを、サブブロック単位で予測を行い、各サブブロックの予測誤差を算出するブロック予測部である。静止画または動画の場合のイントラフレームではイントラ予測を行い、動画の場合は動き補償予測も行うものとする。１００４は各サブブロックの予測誤差に対して直交変換を行い、直交変換係数を算出するブロック変換部である。直交変換に関しては特に限定しないが、離散コサイン変換やアダマール変換等を用いてもよい。１００５は量子化パラメータ決定部１００２で決定されたサブブロック単位の量子化パラメータによって前記直交変換係数を量子化するブロック量子化部である。この量子化によって量子化係数を得ることができる。１００６はこのようにして得られたサブブロック単位の量子化係数を可変長符号化して量子化係数符号データを生成するブロック符号化部である。符号化の方法は特に限定しないが、ハフマン符号や算術符号等を用いることができる。１００７はブロック再生画像生成部である。ブロック量子化部、ブロック変換部１００４の逆の動作を行って予測誤差を再生し、ブロック予測部１００３の結果から基本ブロックの復号画像を生成する。再生された画像データは保持され、ブロック予測部１００３での予測に用いられる。
１００８は量子化パラメータ決定部１００２で決定した基本ブロックの量子化パラメータおよび各サブブロックの量子化パラメータを符号化して量子化パラメータ符号データを生成する量子化パラメータ符号化部である。
Reference numeral 100 denotes a quantization parameter coding unit that encodes the quantization parameters of the basic block and the quantization parameters of each subblock determined by the quantization
１００９は統合符号化部である。ヘッダ情報や予測に関する符号を生成するとともに、量子化パラメータ符号化部１００８で生成された量子化パラメータ符号データおよびブロック符号化部１００６で生成された量子化係数符号データを統合する。１０１０は端子であり、統合符号化部１００９で統合されて生成されたビットストリームを外部に出力する端子である。
上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。 The image coding operation in the image coding apparatus will be described below. In the present embodiment, the moving image data is input in frame units, but the still image data for one frame may be input.
端子１０００から入力された１フレーム分の画像データはブロック分割部１００１に入力され、６４画素×６４画素の基本ブロックに分割される。さらに必要に応じて最小８画素×８画素のサブブロックに分割される。サブブロックの分割に関する情報と分割された画像データは量子化パラメータ決定部１００２とブロック予測部１００３に入力される。
The image data for one frame input from the terminal 1000 is input to the
ブロック予測部１００３ではブロック再生画像生成部１００７に保持されている再生画像を参照して予測を行い、予測誤差を生成してブロック変換部１００４及びブロック再生画像生成部１００７に入力する。ブロック変換部１００４では入力された予測誤差に対して直交変換を行い、直交変換係数を求め、ブロック量子化部１００５に入力する。
The
一方、量子化パラメータ決定部１００２では入力された各サブブロック単位で発生した符号量を鑑みて、サブブロック単位で画質と符号量のバランスから最適な量子化パラメータを決定する。例えば、特開平４−３２３９６１号公報に記載されているような手法を用いることができる。決定された各サブブロックの量子化パラメータはブロック量子化部１００５、ブロック再生画像生成部１００７、量子化パラメータ符号化部１００８に入力される。
On the other hand, the quantization
ブロック量子化部１００５において、ブロック変換部１００４から出力された直交変換係数を量子化パラメータ決定部１００２で決定した量子化パラメータで量子化して量子化係数を生成する。生成された量子化係数はブロック符号化部１００６とブロック再生画像生成部１００７に入力される。ブロック再生画像生成部１００７では入力された量子化係数を量子化パラメータ決定部１００２で決定した量子化パラメータで直交変換係数を再生する。直交変換係数は逆直交変換されて予測誤差を再生する。再生された予測誤差は予測時に参照した画素値等によって再生画像として生成され、保持される。一方、ブロック符号化部１００６では量子化係数を符号化し、量子化係数符号データを生成して統合符号化部１００９に出力する。
In the
量子化パラメータ決定部１００２で決定された量子化パラメータは量子化パラメータ符号化部１００８で基本ブロック単位に符号化される。
The quantization parameter determined by the quantization
図３に量子化パラメータ符号化部１００８の詳細なブロック図を示す。図３において、１は図１の量子化パラメータ決定部１００２から各サブブロックの量子化パラメータを入力する端子である。２は入力された各サブブロックの量子化パラメータを一旦格納する量子化パラメータ保持部である。３は格納された各サブブロックの量子化パラメータから基本ブロックの量子化パラメータを決定する基本ブロック量子化パラメータ決定部である。４は基本ブロック量子化パラメータを符号化して基本ブロック量子化パラメータ符号を生成する基本ブロック量子化パラメータ符号化部である。５は生成された基本ブロック量子化パラメータ符号を図１の統合符号化部１００９に出力する端子である。６は基本ブロック量子化パラメータを用いて各サブブロックの量子化パラメータとの差分を求めるサブブロック量子化パラメータ差分部である。７は前記差分を符号化してサブブロック量子化パラメータ差分値符号を生成するサブブロック量子化パラメータ符号化部である。８はサブブロック量子化パラメータ符号を図１の統合符号化部１００９に出力する端子である。
FIG. 3 shows a detailed block diagram of the quantization
以上の構成において、量子化パラメータ保持部２は端子１から入力されるサブブロック量子化パラメータを基本ブロック単位で格納する。格納されたら、基本ブロック量子化パラメータ決定部３は基本ブロック量子化パラメータ算出を行う。本実施形態ではサブブロック量子化パラメータの平均値を算出する。図２（ｂ）の場合、その平均値は１４．６となる。量子化パラメータの符号化が整数単位であれば、四捨五入を行い、基本ブロック量子化パラメータを１５とする。決定された基本ブロック量子化パラメータは基本ブロック量子化パラメータ符号化部４とサブブロック量子化パラメータ差分部６に入力される。基本ブロック量子化パラメータ符号化部４は入力された基本ブロック量子化パラメータをゴロム符号化で符号化し、基本ブロック量子化パラメータ符号を生成して端子５を経由して出力する。 In the above configuration, the quantization parameter holding unit 2 stores the sub-block quantization parameter input from the terminal 1 in basic block units. Once stored, the basic block quantization parameter determination unit 3 calculates the basic block quantization parameter. In this embodiment, the average value of the subblock quantization parameters is calculated. In the case of FIG. 2B, the average value is 14.6. If the coding of the quantization parameter is in integer units, rounding is performed and the basic block quantization parameter is set to 15. The determined basic block quantization parameter is input to the basic block quantization parameter coding unit 4 and the sub-block quantization parameter difference unit 6. The basic block quantization parameter coding unit 4 encodes the input basic block quantization parameter by Golomb coding, generates a basic block quantization parameter code, and outputs the code via the terminal 5.
一方、サブブロック量子化パラメータ差分部６では各サブブロック量子化パラメータと基本ブロック量子化パラメータとの差分を算出する。図２（ｂ）の場合、差分値は領域四分木構造の順で−３、−１、＋３、−３、＋３、−３、−３、−１、−１、＋５となる。これらの差分値はサブブロック量子化パラメータ符号化部７に入力される。サブブロック量子化パラメータ符号化部７ではこれらの値を変化の有無とともに符号化する。まず、最初のサブブロック１０００１の量子化パラメータは基本ブロック量子化パラメータの１５とは異なる。そこで、変化があったことを表す１ビットの値“１”と差分値“−３”をゴロム符号化によって符号化し、サブブロック量子化パラメータ差分値符号化データとして端子８から出力する。続いて、第２番目のサブブロック１０００２のサブブロック量子化パラメータの差分値を符号化する。この差分値は基本ブロック量子化パラメータと異なるため、変化があったことを表す１ビットの値“１”と−１をゴロム符号化した符号を端子８から出力する。以後、同様に変化があったことを表す１ビットの値“１”とサブブロック量子化パラメータの差分値を符号化し、サブブロック量子化パラメータ差分値符号化データを生成する。
On the other hand, the sub-block quantization parameter difference unit 6 calculates the difference between each sub-block quantization parameter and the basic block quantization parameter. In the case of FIG. 2B, the difference values are -3, -1, +3, -3, +3, -3, -3, -1, -1, +5 in the order of the region quadtree structure. These difference values are input to the subblock quantization
図１に戻り、統合符号化部１００９は画像のシーケンス、フレームのヘッダといった符号を生成し、各基本ブロックに関しては、ブロック予測部１００３から予測のモードといった情報を取得して符号化する。続いて量子化パラメータ符号化部１００８から基本ブロック量子化パラメータ符号を入力する。以後、サブブロックごとにサブブロック量子化パラメータ差分値符号化データと各量子化係数符号データを統合してビットストリームとして端子１０１０から出力する。
Returning to FIG. 1, the
図４は、実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャートである。まず、ステップＳ００１にて、統合符号化部１００９はシーケンス、フレームのヘッダといった符号を生成して出力する。
FIG. 4 is a flowchart showing an image coding process in the image coding apparatus according to the first embodiment. First, in step S001, the
ステップＳ００２にて、ブロック分割部１００１は入力された画像に対して、基本ブロックを画像の左上から順に切り出す。
In step S002, the
ステップＳ００３にて、ブロック分割部１００１はさらに基本ブロックをサブブロックに分割する。
In step S003, the
ステップＳ００４にて、各サブブロックの量子化パラメータを決定する。ステップＳ００５にて、ステップＳ００４で求められたサブブロック量子化パラメータから基本ブロックの量子化パラメータを決定する。本実施例では説明のため、基本ブロック内のサブブロックの量子化パラメータの平均値を基本ブロックの量子化パラメータとして算出する。 In step S004, the quantization parameter of each subblock is determined. In step S005, the basic block quantization parameter is determined from the sub-block quantization parameter obtained in step S004. In this embodiment, for the sake of explanation, the average value of the quantization parameters of the sub-blocks in the basic block is calculated as the quantization parameters of the basic block.
ステップＳ００６にて、ステップＳ００５で決定された基本ブロック量子化パラメータをゴロム符号化して基本ブロック量子化パラメータ符号として出力する。 In step S006, the basic block quantization parameter determined in step S005 is Golomb-coded and output as a basic block quantization parameter code.
ステップＳ００７にて、サブブロック単位でサブブロック量子化パラメータの符号化を行う。領域四分木構造の順で基本ブロックと同じ量子化パラメータを使用する場合は１ビットの符号“０”を符号として出力する。異なる場合は、１ビットの符号“１”に続いてサブブロック量子化パラメータと基本ブロック量子化パラメータとの差分を符号化して出力する。 In step S007, the subblock quantization parameter is encoded in subblock units. When the same quantization parameter as the basic block is used in the order of the region quadtree structure, the 1-bit code "0" is output as the code. If they are different, the difference between the sub-block quantization parameter and the basic block quantization parameter is encoded and output following the 1-bit code “1”.
ステップＳ００８にて、サブブロックの画像データに対して、予測を行い、予測誤差に対して、直交変換、量子化を行い、得られた量子化係数を符号化して量子化係数符号データを出力する。 In step S008, prediction is performed on the image data of the subblock, orthogonal transformation and quantization are performed on the prediction error, the obtained quantization coefficient is encoded, and the quantization coefficient code data is output. ..
ステップＳ００９にて、得られた量子化係数を逆量子化、逆変換を行い、予測誤差を算出する。この予測誤差と再生画像からの予測値から当該サブブロックの再生画像を生成する。 In step S009, the obtained quantization coefficient is inversely quantized and inversely transformed to calculate the prediction error. A reproduced image of the subblock is generated from this prediction error and the predicted value from the reproduced image.
ステップＳ０１０にて、画像符号化装置は、当該基本ブロック内の全てのサブブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ０１１に進み、終了していなければ次のサブブロックを対象としてステップＳ００７に戻る。 In step S010, the image coding apparatus determines whether or not the coding of all the subblocks in the basic block is completed, and if it is completed, the process proceeds to step S011, and if not, the next step is performed. Return to step S007 for the subblock of.
ステップＳ０１１にて、画像符号化装置は、全ての基本ブロックの符号化が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次の基本ブロックを対象としてステップＳ００２に戻る。 In step S011, the image coding apparatus determines whether or not the coding of all the basic blocks is completed, and if so, stops all operations and ends the process, otherwise. Return to step S002 for the next basic block.
以上の構成と動作により、特にステップＳ００５からステップＳ００９の処理により、基本ブロック量子化パラメータを用いて各サブブロック量子化パラメータの差分値を符号化することで発生する符号量を抑制することができる。 With the above configuration and operation, it is possible to suppress the amount of code generated by encoding the difference value of each sub-block quantization parameter using the basic block quantization parameter, particularly by the processing of steps S005 to S009. ..
なお、本実施形態では平均値をそのまま用いたが、これに限定されず、平均値に最も近い実在するサブブロック量子化パラメータを選択しても構わない。例えば、図２（ｂ）の例では平均値は前述の通り１４．６であるが、四捨五入ではなく、最も近い実在するサブブロック量子化パラメータの値、１４を用いても構わない。このようにすることで変化を表す符号を“０”とすることができ、伝送するサブブロック量子化パラメータ差分値もより少なくできる。 In this embodiment, the average value is used as it is, but the present invention is not limited to this, and an existing subblock quantization parameter closest to the average value may be selected. For example, in the example of FIG. 2B, the average value is 14.6 as described above, but the nearest existing subblock quantization parameter value, 14, may be used instead of rounding. By doing so, the sign representing the change can be set to "0", and the subblock quantization parameter difference value to be transmitted can also be reduced.
さらに本構成において、予測、量子化、変換、符号化を並列に効率よく行うことが可能になり、高速化を図ることができる効果もある。 Further, in this configuration, prediction, quantization, transformation, and coding can be efficiently performed in parallel, which has the effect of increasing the speed.
図５に、図２（ａ）に示した基本ブロックのサブブロックを量子化・変換・符号化する例を示す。ここでは説明のために符号化処理に使用するプロセッサを３つと仮定する。これらのプロセッサ（Ａ〜Ｃ）で各サブブロックの量子化パラメータ（ＱＰ）の算出、量子化パラメータ差分値（ΔＱＰ）の算出・符号化、予測誤差の直交変換・量子化、量子化係数の符号化を行う場合を例にとる。この時、別プロセッサでこれらの符号を統合することとする。 FIG. 5 shows an example of quantizing, transforming, and coding a subblock of the basic block shown in FIG. 2 (a). Here, for the sake of explanation, it is assumed that three processors are used for the coding process. Calculation of quantization parameter (QP) of each subblock, calculation / coding of quantization parameter difference value (ΔQP), orthogonal transformation / quantization of prediction error, code of quantization coefficient with these processors (A to C) Take the case of performing the conversion as an example. At this time, these codes are integrated by another processor.
図５（ａ）は従来の並列処理の例を表した図である。最初にプロセッサＡにサブブロック１０００１の処理を、プロセッサＢにサブブロック１０００２の処理を、プロセッサＣにサブブロック１０００３の処理を割り当てる。ＱＰの算出に関してはブロックの大きさや画像の複雑度等によって処理時間が変わる。ブロックサイズの大きいサブブロック１０００１の量子化パラメータ算出はサブブロック１０００２やサブブロック１０００３より時間がかかる傾向にある。
FIG. 5A is a diagram showing an example of conventional parallel processing. First, the processor A is assigned the processing of the
量子化パラメータ算出に続き、量子化パラメータ差分値算出を行う。サブブロック１０００２のサブブロック量子化パラメータ差分値の算出はサブブロック１０００１のサブブロック量子化パラメータ算出が終了しなければ求められない。したがってこの間、プロセッサＡでのサブブロック１０００１のサブブロック量子化パラメータの算出までプロセッサＢは待機状態になる。また、サブブロック１０００２の量子化パラメータ算出がサブブロック１０００３より時間がかかった場合、サブブロック１０００３の差分値の算出はサブブロック１０００２のサブブロック量子化パラメータの算出が終了しなければ求められない。この間、プロセッサＢでのサブブロック１０００２のサブブロック量子化パラメータの算出までプロセッサＣは待機状態になる。
Following the quantization parameter calculation, the quantization parameter difference value is calculated. The calculation of the sub-block quantization parameter difference value of the sub-block 10002 is not obtained unless the sub-block quantization parameter calculation of the sub-block 10001 is completed. Therefore, during this period, the processor B is in a standby state until the subblock quantization parameter of the
これに対して、図５（ｂ）は本実施形態での並列処理の例を表した図である。従来の場合と同様に、プロセッサＡにサブブロック１０００１の処理を、プロセッサＢにサブブロック１０００２の処理を、プロセッサＣにサブブロック１０００３の処理を割り当てる。サブブロック量子化パラメータの算出に続き、サブブロック量子化パラメータ差分値の算出を行う。サブブロック１０００２のサブブロック量子化パラメータ差分値の算出は、基本ブロック量子化パラメータが算出済みなので、サブブロック量子化パラメータの算出の直後から開始できる。以上により本発明によって並列化を効率よく行うことができる。特に複数のサイズのサブブロックが混在する場合、処理の間隔を縮める効果が大きくなる。
On the other hand, FIG. 5B is a diagram showing an example of parallel processing in the present embodiment. As in the conventional case, the processor A is assigned the processing of the
なお、本実施形態においては、基本ブロック量子化パラメータの値そのものを符号化したが、前に処理した基本ブロック量子化パラメータを用いて予測を行い符号化してもよい。 In the present embodiment, the value of the basic block quantization parameter itself is encoded, but it may be predicted and encoded using the previously processed basic block quantization parameter.
さらに、本実施形態では説明のために基本ブロックを６４画素×６４画素、サブブロックを８画素×８画素までとしたが、これに限定されない。例えば基本ブロックは１２８画素×１２８画素等のブロックサイズへの変更が可能であり、また、基本ブロック、サブブロックの形状も正方形に限定されず、８画素×４画素などの長方形で発明の本質は変わらない。 Further, in the present embodiment, the basic block is limited to 64 pixels × 64 pixels and the subblock is limited to 8 pixels × 8 pixels for the sake of explanation, but the present invention is not limited to this. For example, the basic block can be changed to a block size such as 128 pixels x 128 pixels, and the shapes of the basic block and subblocks are not limited to squares, and the essence of the invention is a rectangle such as 8 pixels x 4 pixels. does not change.
また、本実施形態では基本ブロック量子化パラメータを各サブブロック量子化パラメータの平均値としたが、これに限定されない。例えばサブブロックの中央値としても構わないし、最も頻度の高いサブブロック量子化パラメータの値としてももちろん構わない。このように算出方法を複数用意し、最も効率の良い基本ブロック量子化パラメータを選択してももちろん構わない。 Further, in the present embodiment, the basic block quantization parameter is set as the average value of each sub-block quantization parameter, but the present invention is not limited to this. For example, it may be the median value of subblocks, or of course, the value of the most frequent subblock quantization parameter. Of course, a plurality of calculation methods may be prepared in this way, and the most efficient basic block quantization parameter may be selected.
なお、サブブロック量子化パラメータ差分値符号化データとして変化の有無を表す符号を１ビット付与して符号化を行ったが、これに限定されず、変化がない場合でもサブブロック量子化パラメータ差分値を符号化してももちろん構わない。 The subblock quantization parameter difference value was encoded by adding 1 bit of a code indicating the presence or absence of change as the coded data, but the coding is not limited to this, and the subblock quantization parameter difference value is not limited to this. Of course, it does not matter if.
なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の符号化にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わないし、値を符号化せずにそのままの値を出力しても構わない。 In the present embodiment, the basic block quantization parameter, the sub-block quantization parameter difference value, and the quantization coefficient have been coded using Golomb coding, but the present invention is not limited to this. For example, Huffman coding or other arithmetic coding may be used, or the value may be output as it is without coding.
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。 In the present embodiment, a frame using intra-prediction has been described as an example, but it is clear that a frame in which inter-prediction that performs motion compensation can be used for prediction can also be used.
＜実施形態２＞
本実施形態では、実施形態１の符号化方法を用いて符号化された符号データを復号する画像復号方法について説明する。図６は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。
<Embodiment 2>
In this embodiment, an image decoding method for decoding code data encoded by using the coding method of the first embodiment will be described. FIG. 6 is a block diagram showing a configuration of an image decoding device according to a second embodiment of the present invention.
１１００は符号化されたビットストリームを入力する端子である。１１０１はビットストリームのヘッダ情報の復号、ビットストリームから必要な符号を分離して後段へ出力する復号・分離部である。復号・分離部１１０１は図１の統合符号化部１００９の逆の動作を行う。１１０２は量子化パラメータの符号化データを復号する量子化パラメータ復号部である。１１０３は各サブブロックの量子化係数符号を復号し、量子化係数を再生するブロック復号部である。１１０４は量子化パラメータ復号部１１０２で再生されたサブブロック量子化パラメータによって量子化係数に逆量子化を行い、直交変換係数を再生するブロック逆量子化部である。１１０５は図１のブロック変換部１００４の逆直交変換を行い、予測誤差を再生するブロック逆変換部である。１１０６は予測誤差と復号済みの画像データからサブブロックの画像データを再生するブロック再生部である。１１０７は再生されたサブブロックの画像データをそれぞれの位置に配置し、基本ブロックの画像データを再生するブロック合成部である。
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態１で生成された動画像ビットストリームをフレーム単位に入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。 The image decoding operation in the image decoding device will be described below. In the present embodiment, the moving image bitstream generated in the first embodiment is input in frame units, but a still image bitstream for one frame may be input.
図６において、端子１１００から入力された１フレーム分のストリームデータは復号・分離部１１０１に入力され、画像を再生するのに必要なヘッダ情報が復号される。これに続く基本ブロック量子化パラメータ符号を量子化パラメータ復号部１１０２に入力する。さらにそれに続くサブブロック量子化パラメータ差分値符号も量子化パラメータ復号部１１０２に入力する。
In FIG. 6, the stream data for one frame input from the terminal 1100 is input to the decoding /
図７は量子化パラメータ復号部１１０２の詳細を表すブロック図である。１０１は図６の復号・分離部１１０１から基本ブロック量子化パラメータ符号を入力する端子である。１０２は図６の復号・分離部１１０１からサブブロック量子化パラメータ差分符号化データを入力する端子である。１０３は基本ブロック量子化パラメータ符号を入力して復号し、基本ブロック量子化パラメータを再生する基本ブロック量子化パラメータ復号部である。１０４はサブブロック量子化パラメータ差分値符号化データを復号し、各サブブロック量子化パラメータ差分値を再生するサブブロック量子化パラメータ復号部である。１０５は再生された基本ブロック量子化パラメータと各サブブロック量子化パラメータ差分値を加算して各サブブロック量子化パラメータを再生するサブブロック量子化パラメータ加算部である。１０６は再生された各サブブロック量子化パラメータを図６のブロック逆量子化部１１０４に出力する端子である。
FIG. 7 is a block diagram showing details of the quantization
端子１０１から入力された基本ブロック量子化パラメータ符号は基本ブロック量子化パラメータ復号部１０３に入力され、ゴロム符号の復号により、基本ブロック量子化パラメータを再生し、これを保持する。
The basic block quantization parameter code input from the terminal 101 is input to the basic block quantization
端子１０２から入力されたサブブロック量子化パラメータ差分値符号化データはサブブロック量子化パラメータ復号部１０４に入力され、ゴロム符号の復号により、サブブロック量子化パラメータ差分値を再生する。すなわち、基本ブロック量子化パラメータに対して変化の有無を表す１ビットを復号し、変化がない場合はサブブロック量子化パラメータ差分値として０を出力する。変化がある場合は続いてサブブロック量子化パラメータ差分値を復号し、出力する。サブブロック量子化パラメータ加算部１０５で再生された基本ブロック量子化パラメータにサブブロック量子化パラメータ差分値を加算してサブブロック量子化パラメータを再生し、端子１０６から出力する。
The sub-block quantization parameter difference value coding data input from the terminal 102 is input to the sub-block quantization
図６に戻り、復号・分離部１１０１において分離されたサブブロックの量子化係数符号データはブロック復号部１１０３に入力され、ゴロム符号の復号により各量子化係数が再生される。サブブロックの量子化係数が再生されたら、ブロック逆量子化部１１０４に入力される。ブロック逆量子化部１１０４では、入力されたサブブロックの量子化係数とサブブロック量子化パラメータから逆量子化を行い、直交変換係数を再生する。再生された直交変換係数はブロック逆変換部１１０５にて逆変換を行い、予測誤差を再生する。再生された予測誤差はブロック再生部１１０６に入力され、復号済みの周囲の画素データ、または前のフレームの画素データから予測を行ってサブブロックの画像データを再生する。ブロック合成部１１０７は再生されたサブブロックの画像データをそれぞれの位置に配置し、基本ブロックの画像データを再生する。再生された基本ブロックの画像データは端子１１０８を介して外部に出力される。また、ブロック再生部１１０６に入力され、予測値算出に使用される。
Returning to FIG. 6, the quantization coefficient code data of the sub-block separated by the decoding /
図８は、実施形態２に係る画像復号装置における画像復号処理を示すフローチャートである。まず、ステップＳ１０１にて、復号・分離部１１０１がヘッダ情報を復号する。
FIG. 8 is a flowchart showing an image decoding process in the image decoding apparatus according to the second embodiment. First, in step S101, the decoding /
ステップＳ１０２にて、基本ブロック量子化パラメータ復号部１０３は基本ブロック量子化パラメータ符号を復号し、基本ブロック量子化パラメータを再生する。
In step S102, the basic block quantization
ステップＳ１０３にて、サブブロック量子化パラメータ復号部１０４はサブブロック量子化パラメータ差分値符号化データを復号し、サブブロック量子化パラメータ差分値を再生する。さらに、基本ブロック量子化パラメータを加算し、サブブロック量子化パラメータを再生する。
In step S103, the subblock quantization
ステップＳ１０４にて、サブブロックの量子化係数符号データを復号し、量子化係数を再生し、逆量子化、逆直交変換を行い、予測誤差を再生する。さらに復号済みの周囲の画素データまたは前のフレームの画素データから予測を行い、サブブロックの復号画像を再生する。 In step S104, the quantization coefficient code data of the subblock is decoded, the quantization coefficient is reproduced, the inverse quantization and the inverse orthogonal transformation are performed, and the prediction error is reproduced. Further, prediction is performed from the peripheral pixel data that has been decoded or the pixel data of the previous frame, and the decoded image of the subblock is reproduced.
ステップＳ１０５にて、サブブロックの復号画像を基本ブロックの復号画像に配置する。ステップＳ１０６にて、画像復号装置は、当該基本ブロック内の全てのサブブロックの復号が終了したか否かの判定を行い、終了していればステップＳ１０７に進み、終了していなければ次のサブブロックを対象としてステップＳ１０３に戻る。 In step S105, the decoded image of the subblock is placed on the decoded image of the basic block. In step S106, the image decoding device determines whether or not the decoding of all the subblocks in the basic block has been completed, and if it has completed, the process proceeds to step S107, and if not, the next sub. Return to step S103 for the block.
ステップＳ１０７にて、基本ブロックの復号画像をフレームの復号画像に配置する。ステップＳ１０８にて、画像復号装置は、全ての基本ブロックの復号が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次の基本ブロックを対象としてステップＳ１０２に戻る。 In step S107, the decoded image of the basic block is placed on the decoded image of the frame. In step S108, the image decoding device determines whether or not the decoding of all the basic blocks has been completed, and if so, stops all operations and ends the process. If not, the next Return to step S102 for the basic block.
以上の構成と動作により、実施形態１で生成された、符号量が削減されたビットストリームの復号を行い、再生画像を得ることができる。 With the above configuration and operation, the bitstream generated in the first embodiment with a reduced code amount can be decoded to obtain a reproduced image.
さらにサブブロックごとに区切り記号などで符号が識別できる形式であれば、サブブロックの量子化パラメータの再生、サブブロックの逆量子化、逆変換、画像データの再生を並列に効率的に行うことができ、高速な復号が行えるという効果もある。 Furthermore, if the code can be identified by a delimiter for each subblock, it is possible to efficiently reproduce the quantization parameter of the subblock, dequantize the subblock, reverse conversion, and reproduce the image data in parallel. It also has the effect of being able to perform high-speed decoding.
図９に図２（ａ）に示した基本ブロックのサブブロックを復号・逆量子化・逆変換して予測誤差を再生する例を示す。実施形態１の図５と同様にここでは説明のために使用するプロセッサを３つと仮定する。これらのプロセッサで各サブブロックの量子化パラメータ差分値（ΔＱＰ）の復号、量子化パラメータ（ＱＰ）の再生、量子化係数の復号、量子化係数の逆量子化・逆直交変換を行う場合を例にとる。この時、別プロセッサでこれらの符号を分離することとする。 FIG. 9 shows an example in which the subblock of the basic block shown in FIG. 2A is decoded, dequantized, and inversely transformed to reproduce the prediction error. Similar to FIG. 5 of the first embodiment, it is assumed here that three processors are used for explanation. An example of using these processors to decode the quantization parameter difference value (ΔQP) of each subblock, reproduce the quantization parameter (QP), decode the quantization coefficient, and perform inverse quantization / inverse orthogonal conversion of the quantization coefficient. Take to. At this time, these codes are separated by another processor.
図９（ａ）は従来の並列処理の例を表した図である。最初にプロセッサＡにサブブロック１０００１の処理を、プロセッサＢにサブブロック１０００２の処理を、プロセッサＣにサブブロック１０００３の処理を割り当てる。プロセッサＡは先頭なので、サブブロック量子化パラメータそのものを復号し、プロセッサＢおよびＣは各サブブロック量子化パラメータ差分値を復号し、続いてサブブロック量子化パラメータの再生を行う。これはサブブロック量子化パラメータの予測値となる前のサブブロックのサブブロック量子化パラメータとサブブロック量子化パラメータ差分値の加算によって実現する。
FIG. 9A is a diagram showing an example of conventional parallel processing. First, the processor A is assigned the processing of the
サブブロック１０００２のサブブロック量子化パラメータの再生はサブブロック１０００１の量子化パラメータの復号が終了しなければ求められない。したがってこの間、プロセッサＡでのサブブロック１０００１の量子化パラメータの再生までプロセッサＢは待機状態になる。
Regeneration of the subblock quantization parameter of
また、サブブロック１０００２の量子化パラメータ再生も同様で、プロセッサＢでのサブブロック１０００２の量子化パラメータの再生までの間、プロセッサＣは待機状態になる。以後、処理が終了したプロセッサに順次、領域四分木構造の順、すなわち、サブブロック１０００４、サブブロック１０００５、サブブロック１０００６の順に処理される。サブブロック１０００６のサブブロック量子化パラメータの再生はサブブロック１０００５の量子化パラメータの再生が終了しなければ求められない。したがってこの間、プロセッサＡでのサブブロック１０００５の量子化パラメータの再生までプロセッサＣは待機状態になる。
The same applies to the regeneration of the quantization parameter of the sub-block 10002, and the processor C is in the standby state until the quantization parameter of the sub-block 10002 is reproduced by the processor B. After that, the processed processors are sequentially processed in the order of the area quadtree structure, that is, in the order of
これに対して、図９（ｂ）は本実施形態での並列処理の例を表した図である。まず、プロセッサＡは基本ブロック量子化パラメータを復号して保持しておく。以下、従来の場合と同様に、プロセッサＡにサブブロック１０００１の処理を、プロセッサＢにサブブロック１０００２の処理を、プロセッサＣにサブブロック１０００３の処理を割り当てる。サブブロック量子化パラメータ差分値の復号に続き、サブブロック量子化パラメータの再生を行う。サブブロック１０００２の量子化パラメータの再生は、基本ブロック量子化パラメータが再生済みなので、サブブロック量子化パラメータ差分値の復号の直後から開始できる。本発明によって並列化を効率よく行うことができる。特に複数のサイズのサブブロックが混在する場合、処理の間隔を縮める効果が大きくなる。
On the other hand, FIG. 9B is a diagram showing an example of parallel processing in the present embodiment. First, the processor A decodes and holds the basic block quantization parameter. Hereinafter, as in the conventional case, the processor A is assigned the processing of the
また、画像データからその一部を切り出す編集等のアプリケーションを考えた時、例えば、図２（ａ）のサブブロック１０００８のみを切り出す場合を考える。従来例であれば、サブブロック１０００１から１００７までの復号が必要である。本発明によればサブブロック１０００１とサブブロック１０００６のみを復号すればイントラ予測を含めても復号できることが分かる。このように復号処理をスキップすることで処理の速度を向上させることができる。
Further, when considering an application such as editing that cuts out a part of the image data, for example, consider a case where only the
また、実施形態１と同様にブロックのサイズ、処理ユニットのサイズ、参照する処理ユニットとその画素の配置、符号についてはこれに限定されない。 Further, as in the first embodiment, the block size, the processing unit size, the reference processing unit and its pixel arrangement, and the code are not limited thereto.
なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の復号にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わないし、値を符号化せずにそのままの値を出力しても構わない。 In this embodiment, Golomb coding has been used for decoding the basic block quantization parameter, the sub-block quantization parameter difference value, and the quantization coefficient, but the present invention is not limited to this. For example, Huffman coding or other arithmetic coding may be used, or the value may be output as it is without coding.
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。 In the present embodiment, a frame using intra-prediction has been described as an example, but it is clear that a frame in which inter-prediction that performs motion compensation can be used for prediction can also be used.
＜実施形態３＞
図１０は本実施形態の画像符号化装置を示すブロック図である。本実施形態では、先頭のサブブロックの量子化パラメータを基本ブロック量子化パラメータとし、個別に基本ブロック量子化パラメータを符号化しない。また変化の有無を表す符号がないことが実施形態１と異なる点である。ただし、実施形態１と同様に変化の有無を表す符号を用いた符号化を行っても構わない。図１０において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
<Embodiment 3>
FIG. 10 is a block diagram showing an image coding apparatus of this embodiment. In the present embodiment, the quantization parameter of the first subblock is used as the basic block quantization parameter, and the basic block quantization parameter is not individually encoded. Further, it is different from the first embodiment in that there is no symbol indicating the presence or absence of change. However, as in the first embodiment, coding may be performed using a code indicating the presence or absence of change. In FIG. 10, the same numbers are assigned to the portions that perform the same functions as those in FIG. 1 of the first embodiment, and the description thereof will be omitted.
１２０８はサブブロック量子化パラメータの符号化を行い、量子化パラメータ符号データを生成する量子化パラメータ符号化部である。１２０９は統合符号化部である。ヘッダ情報や予測に関する符号を生成するとともに、量子化パラメータ符号化部１２０８で生成された量子化パラメータ符号データおよびブロック符号化部１００６で生成された量子化係数符号データを統合する。
図１１に量子化パラメータ符号化部１２０８の詳細なブロック図を示す。図１１において、実施形態１の図３と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
FIG. 11 shows a detailed block diagram of the quantization
２００はセレクタであり、入力されたサブブロック量子化パラメータのサブブロックの位置に応じて出力先を選択する。２０３は基本ブロックの領域四分木構造順で先頭のサブブロックの量子化パラメータを基本ブロック量子化パラメータとして保持する基本ブロック量子化パラメータ保持部である。２０６は続く各サブブロックの量子化パラメータと基本ブロック量子化パラメータとの差分値を算出するサブブロック量子化パラメータ差分部である。２０７は先頭のサブブロックの量子化パラメータと各サブブロックのサブブロック量子化パラメータ差分値を符号化するサブブロック量子化パラメータ符号化部である。
上記の構成において、実施形態１と同様に、サブブロック量子化パラメータを端子１から領域四分木構造の順に入力する。セレクタ２００は領域四分木構造順で先頭のサブブロックの量子化パラメータについては基本ブロック量子化パラメータ保持部２０３に出力する。それ以降のサブブロック量子化パラメータに関してはサブブロック量子化パラメータ差分部２０６に出力する。
In the above configuration, the subblock quantization parameters are input in the order of the region quadtree structure from the terminal 1 as in the first embodiment. The
先頭のサブブロックのサブブロックは基本ブロック量子化パラメータとして基本ブロック量子化パラメータ保持部２０３で保持される。その後、先頭の量子化パラメータはサブブロック量子化パラメータ差分部２０６にも入力される。当該サブブロック量子化パラメータは基本ブロックの先頭であるため、差分の算出は行わず、そのまま後段のサブブロック量子化パラメータ符号化部２０７に出力する。サブブロック量子化パラメータ符号化部２０７では入力されたサブブロック量子化パラメータをゴロム符号によって符号化し、端子８からサブブロック量子化パラメータ符号化データとして出力する。
The subblock of the first subblock is held by the basic block quantization
続いて、端子１から領域四分木構造の順にサブブロック量子化パラメータが入力され、セレクタ２００を介して、サブブロック量子化パラメータ差分部２０６に入力される。サブブロック量子化パラメータ差分部２０６では入力されたサブブロック量子化パラメータと基本ブロック量子化パラメータ保持部２０３に保持されている基本ブロック量子化パラメータとの差分値を算出する。サブブロック量子化パラメータ符号化部２０７では量子化パラメータ差分値をゴロム符号により符号化し、サブブロック量子化パラメータ差分値符号化データを生成し、サブブロック量子化パラメータ符号化データとして端子８から出力する。以後、基本ブロック内のサブブロックのサブブロック量子化パラメータに関して、差分を求め、符号化する。
Subsequently, the sub-block quantization parameters are input in the order of the region quadtree structure from the terminal 1, and are input to the sub-block quantization
図１２は、実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャートである。図１２において、実施形態１の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。 FIG. 12 is a flowchart showing an image coding process in the image coding apparatus according to the third embodiment. In FIG. 12, the same numbers are assigned to the parts that perform the same functions as those in FIG. 4 of the first embodiment, and the description thereof will be omitted.
ステップＳ００１からステップＳ００４までは実施形態１と同様にサブブロック分割とサブブロック量子化パラメータの決定を行う。 From step S001 to step S004, subblock division and subblock quantization parameters are determined in the same manner as in the first embodiment.
ステップＳ２０５にて、先頭のサブブロック量子化パラメータを基本ブロック量子化パラメータとして保持する。 In step S205, the head subblock quantization parameter is held as a basic block quantization parameter.
ステップＳ２０６にて、入力されたサブブロックが基本ブロックの先頭のサブブロックか否かを判定し、先頭であればステップＳ２０８に進み、そうでなければ、ステップＳ２０７に進む。ステップＳ２０７にて、ステップＳ２０５で保持された基本ブロック量子化パラメータと入力されたサブブロック量子化パラメータとの差分を算出する。 In step S206, it is determined whether or not the input subblock is the first subblock of the basic block, and if it is the first, the process proceeds to step S208, and if not, the process proceeds to step S207. In step S207, the difference between the basic block quantization parameter held in step S205 and the input subblock quantization parameter is calculated.
ステップＳ２０８にて、入力されたサブブロック量子化パラメータ、ないしサブブロック量子化パラメータ差分値をゴロム符号により符号化し、サブブロック量子化パラメータ符号化データとして出力する。
ステップＳ００８、ステップＳ００９は実施形態１と同様に動作する。ステップＳ２１０にて基本ブロック内の全てのサブブロックについて処理が終わったか否かを判定する。終了していなければ次のサブブロックの処理のためにステップＳ２０６に進む。終わっていればステップＳ０１１に進む。以後、実施形態１と同様に画像全体の符号化を行う。以上の構成と動作により、基本ブロック量子化パラメータを先頭のサブブロック量子化パラメータとすることで、基本ブロック量子化パラメータを送らずに済むので、符号化効率を向上させる効果がある。
In step S208, the input sub-block quantization parameter or sub-block quantization parameter difference value is encoded by the Golomb code and output as sub-block quantization parameter coding data.
Step S008 and step S009 operate in the same manner as in the first embodiment. In step S210, it is determined whether or not the processing has been completed for all the subblocks in the basic block. If it is not completed, the process proceeds to step S206 for the processing of the next subblock. If it is finished, the process proceeds to step S011. After that, the entire image is encoded in the same manner as in the first embodiment. With the above configuration and operation, by setting the basic block quantization parameter as the head sub-block quantization parameter, it is not necessary to send the basic block quantization parameter, which has the effect of improving the coding efficiency.
また、実施形態１と同様に並列処理を効果的に行うことも可能になる。すなわち、図５（ａ）にてプロセッサＢとＣは最初についてはプロセッサＡの先頭のサブブロック量子化パラメータの算出を待つ必要がある。しかし、以後、サブブロック１０００５の量子化パラメータ差分値の算出はサブブロック１０００４の処理を待たずに行えるようになる。 Further, it is possible to effectively perform parallel processing as in the first embodiment. That is, in FIG. 5A, the processors B and C need to wait for the calculation of the subblock quantization parameter at the head of the processor A for the first time. However, thereafter, the calculation of the quantization parameter difference value of the sub-block 10005 can be performed without waiting for the processing of the sub-block 10004.
なお、実施形態１の基本ブロック量子化パラメータを符号化する方法と本実施形態の基本ブロック量子化パラメータを先頭のサブブロック量子化パラメータとすることを切り替える符号を設け、符号化効率の良い方を選択してももちろん構わない。 In addition, a code for switching between the method of encoding the basic block quantization parameter of the first embodiment and the basic block quantization parameter of the present embodiment as the first sub-block quantization parameter is provided, and the one with better coding efficiency is provided. Of course, you can choose it.
なお、先頭のサブブロック量子化パラメータ（基本ブロック量子化パラメータ）と後続のサブブロック量子化パラメータ差分値について同じ符号化を施すように説明したが、これに限定されない。それぞれ個別の符号化方法を適用してももちろん構わない。 Although it has been described that the first sub-block quantization parameter (basic block quantization parameter) and the subsequent sub-block quantization parameter difference value are subjected to the same coding, the present invention is not limited to this. Of course, individual coding methods may be applied to each.
なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の符号化にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わない。 In the present embodiment, the basic block quantization parameter, the sub-block quantization parameter difference value, and the quantization coefficient have been coded using Golomb coding, but the present invention is not limited to this. Of course, it may be Huffman coding or other arithmetic coding.
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。 In the present embodiment, a frame using intra-prediction has been described as an example, but it is clear that a frame in which inter-prediction that performs motion compensation can be used for prediction can also be used.
＜実施形態４＞
本実施形態では、実施形態３の符号化方法を用いて符号化された符号データを復号する画像復号方法について説明する。図１３は実施形態３の符号化方法を用いて符号化された符号データを復号する画像復号装置を示すブロック図である。図１３において、実施形態２の図６と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
<Embodiment 4>
In this embodiment, an image decoding method for decoding code data encoded by using the coding method of the third embodiment will be described. FIG. 13 is a block diagram showing an image decoding device that decodes code data encoded by using the coding method of the third embodiment. In FIG. 13, the same numbers are assigned to the parts that perform the same functions as those in FIG. 6 of the second embodiment, and the description thereof will be omitted.
図１３において、１３０１は復号・分離部であり、ビットストリームのヘッダ情報の復号、ビットストリームから必要な符号を分離して後段へ出力する。１３０２は量子化パラメータ復号部でありサブブロック量子化パラメータを再生する。実施形態２の図１０における復号・分離部３０１、量子化パラメータ復号部３０２とは量子化パラメータの符号データが異なる。
In FIG. 13, 1301 is a decoding / separation unit, which decodes the header information of the bitstream, separates the necessary code from the bitstream, and outputs it to the subsequent stage.
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態３で生成された動画像ビットストリームをフレーム単位に入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。 The image decoding operation in the image decoding device will be described below. In the present embodiment, the moving image bitstream generated in the third embodiment is input in frame units, but a still image bitstream for one frame may be input.
実施形態２と同様に、端子１１００から入力された１フレーム分のストリームデータは復号・分離部１３０１に入力され、画像を再生するのに必要なヘッダ情報が復号される。これに続くサブブロック量子化パラメータ符号化データを領域四分木構造の順に量子化パラメータ復号部１３０２に入力する。
Similar to the second embodiment, the stream data for one frame input from the terminal 1100 is input to the decoding /
図１４は量子化パラメータ復号部１３０２の詳細なブロック図である。図１４において、実施形態２の図７と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
FIG. 14 is a detailed block diagram of the quantization
３０４はサブブロック量子化パラメータ及びサブブロック量子化パラメータ差分値符号化データを復号し、各サブブロック量子化パラメータ差分値を再生するサブブロック量子化パラメータ復号部である。３００はセレクタであり、入力されたサブブロック量子化パラメータのサブブロックの位置に応じて出力先を選択する。３１０は最初に復号されたサブブロック量子化パラメータを基本ブロック量子化パラメータとして保持する基本量子化パラメータ保持部である。３０５は保持された基本ブロック量子化パラメータと各サブブロック量子化パラメータ差分値を加算して各サブブロック量子化パラメータを再生するサブブロック量子化パラメータ加算部である。
上記の構成において、基本ブロックの復号の開始時に、セレクタ３００は出力先を基本ブロック量子化パラメータ保持部３１０とする。端子１０２から入力された基本ブロックの先頭サブブロックのサブブロック量子化パラメータ符号化データはサブブロック量子化パラメータ復号部１０４に入力され、ゴロム符号の復号により、サブブロック量子化パラメータを再生する。この先頭サブブロックのサブブロック量子化パラメータはセレクタ３００を介して基本ブロック量子化パラメータ保持部３１０に入力され、当該基本ブロックの処理中、保持される。また、サブブロック量子化パラメータ加算部３０５にも先頭サブブロックのサブブロック量子化パラメータが入力される。サブブロック量子化パラメータ加算部３０５は先頭サブブロックに関しては差分値ではないので、再生されたサブブロック量子化パラメータを端子１０６から出力する。先頭のサブブロック量子化パラメータが基本ブロック量子化パラメータ保持部３１０に記録されたら、セレクタ３００は出力先をサブブロック量子化パラメータ加算部３０５とする。
In the above configuration, at the start of decoding the basic block, the
続いて、２番目以降のサブブロック量子化パラメータ差分値符号化データがサブブロック量子化パラメータ復号部３０４に入力される。入力されたサブブロック量子化パラメータ差分値符号化データはゴロム符号の復号により、サブブロック量子化パラメータ差分値を再生する。サブブロック量子化パラメータ加算部３０５では、保持された基本ブロック量子化パラメータにセレクタ３００を介して入力されたサブブロック量子化パラメータ差分値を加算する。このようにして、サブブロック量子化パラメータを再生し、端子１０６から出力する。以後、基本ブロック内のサブブロックのサブブロック量子化パラメータに関して、復号を行い、サブブロック量子化パラメータ差分値を求め、加算してサブブロック量子化パラメータを再生する。
Subsequently, the second and subsequent sub-block quantization parameter difference value coding data are input to the sub-block quantization
図１５は、本実施形態における画像復号処理を示すフローチャートである。図１５において、実施形態２の図８と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。 FIG. 15 is a flowchart showing the image decoding process in the present embodiment. In FIG. 15, the same numbers are assigned to the portions that perform the same functions as those in FIG. 8 of the second embodiment, and the description thereof will be omitted.
ステップＳ１０１は実施形態２と同様にヘッダ情報の復号を行う。ステップＳ３１０にて、復号するサブブロックが基本ブロックの先頭のサブブロックか否かを判定し、先頭サブブロックであれば、ステップＳ３１１に進み、そうでなければステップＳ３０３に進む。 Step S101 decodes the header information in the same manner as in the second embodiment. In step S310, it is determined whether or not the subblock to be decoded is the first subblock of the basic block, and if it is the first subblock, the process proceeds to step S311. If not, the process proceeds to step S303.
ステップＳ３１１にて、入力されたサブブロック量子化パラメータに関する符号はサブブロック量子化パラメータの符号化データである。これをゴロム符号で復号する。復号結果を基本ブロック量子化パラメータとして保持する。その後、先頭のサブブロックの復号画像生成のため、ステップＳ１０４に進む。 In step S311, the code relating to the input subblock quantization parameter is the coded data of the subblock quantization parameter. This is decoded with a Golomb code. The decoding result is retained as a basic block quantization parameter. After that, the process proceeds to step S104 to generate a decoded image of the first subblock.
ステップＳ３０３にて、入力されたサブブロック量子化パラメータに関する符号はサブブロック量子化パラメータ差分値の符号化データである。これをゴロム符号で復号し、サブブロック量子化パラメータ差分値を再生する。再生されたサブブロック量子化パラメータ差分値はステップＳ３１１で保持されている基本ブロック量子化パラメータと加算される。加算された結果がサブブロック量子化パラメータとなる。２番目以降のサブブロックの復号画像生成のため、ステップＳ１０４に進む。 In step S303, the code relating to the input subblock quantization parameter is the coded data of the subblock quantization parameter difference value. This is decoded by the Golomb code, and the subblock quantization parameter difference value is reproduced. The regenerated sub-block quantization parameter difference value is added to the basic block quantization parameter held in step S311. The added result becomes the subblock quantization parameter. The process proceeds to step S104 to generate a decoded image of the second and subsequent subblocks.
以下、実施形態２と同様に、サブブロックの復号画像の生成、フレーム画像の再生が行われる。 Hereinafter, as in the second embodiment, the decoded image of the subblock is generated and the frame image is reproduced.
以上の構成と動作により、実施形態３で生成した、個別に基本量子化パラメータの符号化を行わず符号量を抑えた符号化データを復号することができる。 With the above configuration and operation, it is possible to decode the coded data generated in the third embodiment without individually coding the basic quantization parameters and suppressing the code amount.
また、実施形態２と同様に並列処理を効果的に行うことも可能になる。すなわち、図９（ｂ）にてプロセッサＡの量子化パラメータの復号の代わりに基本ブロックの先頭サブブロック量子化パラメータの復号が基本ブロック量子化パラメータの復号および先頭のサブブロック量子化パラメータ差分値の復号を置き換えることになる。これによりＢとＣは最初についてはプロセッサＡの先頭のサブブロック量子化パラメータの復号を待つ必要があるが、以後、全てのサブブロックの量子化パラメータの再生は他のサブブロックの処理を待たずに行えるようになる。 Further, it is possible to effectively perform parallel processing as in the second embodiment. That is, in FIG. 9B, instead of decoding the quantization parameter of the processor A, the decoding of the first subblock quantization parameter of the basic block is the decoding of the basic block quantization parameter and the decoding of the first subblock quantization parameter difference value. It will replace the decryption. As a result, B and C must initially wait for the decoding of the first subblock quantization parameter of processor A, but thereafter, the regeneration of the quantization parameter of all subblocks does not wait for the processing of other subblocks. You will be able to do it.
なお、本実施形態で基本ブロック量子化パラメータ、サブブロック量子化パラメータ差分値および量子化係数の復号にゴロム符号化を用いて説明したが、これに限定されない。例えばハフマン符号化やその他の算術符号化であってももちろん構わない。 In this embodiment, Golomb coding has been used for decoding the basic block quantization parameter, the sub-block quantization parameter difference value, and the quantization coefficient, but the present invention is not limited to this. Of course, it may be Huffman coding or other arithmetic coding.
なお、実施形態３で基本ブロック量子化パラメータを符号化する方法と本実施形態の基本ブロック量子化パラメータを先頭のサブブロック量子化パラメータとすることを切り替える符号を設けた場合、その符号を解釈し、図８のステップＳ１０２を実行する。もしくは、図１５のステップＳ３１０、Ｓ３１１，Ｓ３０３を実行するかを選択すればよい。 When a code for switching between the method of encoding the basic block quantization parameter in the third embodiment and the basic block quantization parameter of the present embodiment as the first sub-block quantization parameter is provided, the code is interpreted. , Step S102 of FIG. 8 is executed. Alternatively, it may be selected whether to execute steps S310, S311, and S303 of FIG.
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。 In the present embodiment, a frame using intra-prediction has been described as an example, but it is clear that a frame in which inter-prediction that performs motion compensation can be used for prediction can also be used.
＜実施形態５＞
本実施形態では、直前の基本ブロックのサブブロック量子化パラメータを用いて基本ブロック量子化パラメータを決定する実施の形態を説明する。
本実施形態では符号化装置は実施形態３の図１０と同じ構成をとる。ただし、量子化パラメータ符号化部１２０８の構成が異なる。
<Embodiment 5>
In this embodiment, an embodiment in which the basic block quantization parameter is determined using the subblock quantization parameter of the immediately preceding basic block will be described.
In the present embodiment, the coding apparatus has the same configuration as that of FIG. 10 of the third embodiment. However, the configuration of the quantization
図１６は本実施形態の量子化パラメータ符号化部１２０８の詳細な構成を示すブロック図である。
FIG. 16 is a block diagram showing a detailed configuration of the quantization
図１６において、４００はセレクタであり、入力されたサブブロック量子化パラメータの基本ブロックの位置に応じて入力先を選択する。４１０は１つ前の基本ブロックのサブブロック量子化パラメータを保持するサブブロック量子化パラメータ保持部である。４０３は基本ブロック量子化パラメータ決定部である。サブブロック量子化パラメータ保持部４１０が保持するサブブロック量子化パラメータから符号化処理する基本ブロックの基本ブロック量子化パラメータを決定する。４０６はサブブロック量子化パラメータ差分部であり、基本ブロック量子化パラメータと各サブブロック量子化パラメータとの差分値を算出する。４０７は先頭のサブブロックの量子化パラメータと各サブブロックのサブブロック量子化パラメータ差分値を符号化するサブブロック量子化パラメータ符号化部である。
In FIG. 16, 400 is a selector and selects an input destination according to the position of the basic block of the input subblock quantization parameter.
上記構成において、実施形態３と同様に、端子１０００から画像データが入力され、ブロック分割部１００１でサブブロックに分割され、量子化パラメータ決定部１００２で各サブブロックの量子化パラメータが決定される。決定されたサブブロック量子化パラメータは量子化パラメータ符号化部１２０８に入力される。
In the above configuration, as in the third embodiment, image data is input from the terminal 1000, divided into sub-blocks by the
図１６に移り、入力されたサブブロック量子化パラメータは画像の先頭の基本ブロックの先頭サブブロックであれば、セレクタ４００は端子１からの入力を選択する。入力されたサブブロック量子化パラメータはサブブロック量子化パラメータ保持部４１０とサブブロック量子化パラメータ差分部４０６、セレクタ４００を経由して基本ブロック量子化パラメータ決定部４０３に入力される。サブブロック量子化パラメータ保持部４１０は次の基本ブロックの処理のためにサブブロック量子化パラメータを保持する。基本ブロック量子化パラメータ決定部４０３は実施形態３の基本ブロック量子化パラメータ保持部２０３と同様に入力されたサブブロック量子化パラメータを基本ブロック量子化パラメータとして保持する。サブブロック量子化パラメータ差分部４０６は実施形態３のサブブロック量子化パラメータ差分部２０６と同様に、サブブロック量子化パラメータをそのまま出力する。サブブロック量子化パラメータ符号化部４０７はこの先頭のサブブロック量子化パラメータをゴロム符号で符号化し、端子８から出力する。
Moving to FIG. 16, if the input subblock quantization parameter is the first subblock of the first basic block of the image, the
以後、画像の先頭の基本ブロックの他のサブブロック量子化パラメータは端子１から入力され、サブブロック量子化パラメータ保持部４１０とサブブロック量子化パラメータ差分部４０６に入力される。サブブロック量子化パラメータ差分部４０６では基本ブロック量子化パラメータ決定部４０３から出力される基本ブロック量子化パラメータと入力との差分値を算出する。差分値はサブブロック量子化パラメータ符号化部４０７に入力され、実施形態３と同様に符号化され、端子８から出力される。
After that, the other sub-block quantization parameters of the basic block at the head of the image are input from the terminal 1 and input to the sub-block quantization
一方、続いて入力される画像の先頭ではない基本ブロックについてその処理を説明する。基本ブロックの符号化処理に先立ち、セレクタ４００は入力先にサブブロック量子化パラメータ保持部４１０を選択する。基本ブロック量子化パラメータ決定部４０３は保持されているサブブロック量子化パラメータの平均値を算出し、これを基本ブロック量子化パラメータとする。その後、端子１から当該基本ブロックのサブブロック量子化パラメータがサブブロック量子化パラメータ差分部４０６に入力される。サブブロック量子化パラメータ差分部４０６では基本ブロック量子化パラメータ決定部４０３から出力される基本ブロック量子化パラメータと入力との差分値を算出する。差分値はサブブロック量子化パラメータ符号化部４０７に入力され、実施形態３と同様に符号化され、端子８から出力される。
On the other hand, the processing of the basic block that is not the beginning of the subsequently input image will be described. Prior to the basic block coding process, the
図１７は、実施形態５に係る画像符号化装置における画像符号化処理を示すフローチャートである。図１７において、実施形態１の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。 FIG. 17 is a flowchart showing an image coding process in the image coding apparatus according to the fifth embodiment. In FIG. 17, the same numbers are assigned to the portions that perform the same functions as those in FIG. 4 of the first embodiment, and the description thereof will be omitted.
ステップＳ００１からＳ００３は実施形態１と同様にヘッダ情報の符号化、基本ブロックの分割、サブブロックの分割を行う。ステップＳ４０１にて、当該基本ブロックが画像の先頭か否かを判定する。先頭であれば、ステップＳ４０２にすすみ、そうでなければステップＳ４０９に進む。ステップＳ４０２にて、先頭基本ブロックの先頭のサブブロックか否かを判定する。先頭のサブブロックであれば、ステップＳ４０３に進み、そうでなければ、ステップＳ４０６に進む。 In steps S001 to S003, header information is encoded, basic blocks are divided, and subblocks are divided, as in the first embodiment. In step S401, it is determined whether or not the basic block is the beginning of the image. If it is the beginning, the process proceeds to step S402, otherwise the process proceeds to step S409. In step S402, it is determined whether or not the block is the first subblock of the first basic block. If it is the first subblock, the process proceeds to step S403, otherwise the process proceeds to step S406.
ステップＳ４０３にて、先頭基本ブロックの先頭サブブロックのサブブロック量子化パラメータを決定し、次の基本ブロックの処理の際に参照できるように保持する。ステップＳ４０４にて、ステップＳ４０３で決定されたサブブロック量子化パラメータを基本ブロック量子化パラメータとして保持する。ステップＳ４０５にて、ステップＳ４０３で決定されたサブブロック量子化パラメータを符号化し、ステップＳ００８に進む。ステップＳ４０６にて、当該サブブロックのサブブロック量子化パラメータを決定し、次の基本ブロックの処理の際に参照できるように保持する。 In step S403, the subblock quantization parameter of the first subblock of the first basic block is determined and held so that it can be referred to in the processing of the next basic block. In step S404, the sub-block quantization parameter determined in step S403 is held as a basic block quantization parameter. In step S405, the subblock quantization parameter determined in step S403 is encoded, and the process proceeds to step S008. In step S406, the subblock quantization parameter of the subblock is determined and held so that it can be referred to when processing the next basic block.
ステップＳ４０７にて、ステップＳ４０６で決定されたサブブロック量子化パラメータからステップＳ４０４で保持された基本ブロック量子化パラメータを引く。これにより当該サブブロックのサブブロック量子化パラメータ差分値を算出する。ステップＳ４０８にて、ステップＳ４０７で算出された量子化パラメータ差分値を符号化し、量子化パラメータ差分値符号化データを生成し、ステップＳ００８に進む。ステップＳ４０９にて、先頭ではない基本ブロックの先頭のサブブロックか否かを判定する。先頭のサブブロックであれば、ステップＳ４１０に進み、そうでなければ、ステップＳ４０６に進む。ステップＳ４１０にて、ステップＳ４０３ないしステップＳ４０６にて保持された前の基本ブロックのサブブロック量子化パラメータを参照して、当該基本ブロックの基本ブロック量子化パラメータを算出する。本実施形態では前記サブブロック量子化パラメータの平均値を算出し、これを基本ブロック量子化パラメータとする。ステップＳ４１１にて、当該サブブロックのサブブロック量子化パラメータを決定し、次の基本ブロックの処理の際に参照できるように保持する。 In step S407, the basic block quantization parameter held in step S404 is subtracted from the subblock quantization parameter determined in step S406. As a result, the subblock quantization parameter difference value of the subblock is calculated. In step S408, the quantization parameter difference value calculated in step S407 is encoded, the quantization parameter difference value coding data is generated, and the process proceeds to step S008. In step S409, it is determined whether or not the block is the head subblock of the basic block that is not the head. If it is the first subblock, the process proceeds to step S410, otherwise the process proceeds to step S406. In step S410, the basic block quantization parameter of the basic block is calculated with reference to the subblock quantization parameter of the previous basic block held in steps S403 to S406. In the present embodiment, the average value of the sub-block quantization parameters is calculated, and this is used as the basic block quantization parameter. In step S411, the subblock quantization parameter of the subblock is determined and held so that it can be referred to in the processing of the next basic block.
ステップＳ４１２にて、ステップＳ４１１で決定されたサブブロック量子化パラメータからステップＳ４１０で算出された基本ブロック量子化パラメータを引く。これにより当該サブブロックのサブブロック量子化パラメータ差分値を算出する。 In step S412, the basic block quantization parameter calculated in step S410 is subtracted from the subblock quantization parameter determined in step S411. As a result, the subblock quantization parameter difference value of the subblock is calculated.
ステップＳ４１３にて、ステップＳ４１２で算出された量子化パラメータ差分値を符号化し、量子化パラメータ差分値符号化データを生成し、ステップＳ００８に進む。ステップＳ４１４にて、画像符号化装置は、当該基本ブロック内の全てのサブブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ０１１に進み、終了していなければ次のサブブロックを対象としてステップＳ４０１に戻る。ステップＳ００８、ステップＳ００９，ステップＳ０１１は実施形態１と同様に動作し、画像全体の符号化を行う。 In step S413, the quantization parameter difference value calculated in step S412 is encoded, the quantization parameter difference value coding data is generated, and the process proceeds to step S008. In step S414, the image coding apparatus determines whether or not the coding of all the subblocks in the basic block is completed, and if it is completed, the process proceeds to step S011, and if not, the next step is performed. Return to step S401 for the subblock of. Step S008, step S009, and step S011 operate in the same manner as in the first embodiment, and encode the entire image.
以上の構成と動作により、前の基本ブロックのサブブロック量子化パラメータを用いて基本ブロック量子化パラメータを決定するので、当該基本ブロックの処理を開始すると同時に基本ブロック量子化パラメータの決定が行える。このため処理の遅延を最小限に抑える効果がある。また、基本ブロック量子化パラメータを前の基本ブロックのサブブロック量子化パラメータから産出することで、基本ブロック量子化パラメータを送らずに済むので、符号化効率が向上する効果もある。 With the above configuration and operation, the basic block quantization parameter is determined using the subblock quantization parameter of the previous basic block. Therefore, the basic block quantization parameter can be determined at the same time as the processing of the basic block is started. Therefore, there is an effect of minimizing the processing delay. Further, by producing the basic block quantization parameter from the sub-block quantization parameter of the previous basic block, it is not necessary to send the basic block quantization parameter, which has the effect of improving the coding efficiency.
また、実施形態１と同様に並列処理を効果的に行うことも可能になる。すなわち、図５（ｂ）にて符号化以前に基本ブロック量子化パラメータが前の基本ブロックのサブブロック量子化パラメータによって算出されている。これにより全サブブロックの量子化パラメータ差分値の算出はそれぞれのサブブロックの処理を待たずに行えるようになる。 Further, it is possible to effectively perform parallel processing as in the first embodiment. That is, in FIG. 5B, the basic block quantization parameter is calculated by the subblock quantization parameter of the previous basic block before coding. As a result, the calculation of the quantization parameter difference value of all sub-blocks can be performed without waiting for the processing of each sub-block.
なお、本実施形態では画像の先頭の基本ブロックの時のみ先頭サブブロックのサブブロック量子化パラメータをそのまま符号化したが、これに限定されない。つまり複数の基本ブロックからなるスライスのような構成をとり、その先頭の基本ブロックに対して同様な処理を行っても構わない。 In the present embodiment, the subblock quantization parameter of the first subblock is encoded as it is only in the case of the first basic block of the image, but the present invention is not limited to this. That is, a slice-like structure composed of a plurality of basic blocks may be formed, and the same processing may be performed on the first basic block.
また、本実施形態では前の基本ブロックのサブブロック量子化パラメータを参照して決定したが、これに限定されず、前の基本ブロックの最後のサブブロック量子化パラメータを当該基本ブロックの基本ブロック量子化パラメータとしても構わない。さらには周囲の基本ブロックのサブブロック量子化パラメータまたは基本ブロック量子化パラメータを参照してももちろん構わない。 Further, in the present embodiment, the determination is made with reference to the subblock quantization parameter of the previous basic block, but the present invention is not limited to this, and the last subblock quantization parameter of the previous basic block is the basic block quantum of the basic block. It may be used as a quantization parameter. Further, of course, the subblock quantization parameter or the basic block quantization parameter of the surrounding basic block may be referred to.
また、本実施形態では基本ブロック量子化パラメータを前の基本ブロックの各サブブロック量子化パラメータの平均値としたが、これに限定されない。例えばサブブロックの中央値としても構わないし、最も頻度の高いサブブロック量子化パラメータの値としてももちろん構わない。このように算出方法を複数用意し、最も効率の良い基本ブロック量子化パラメータを選択してその方法を表す符号を用いて符号化してももちろん構わない。 Further, in the present embodiment, the basic block quantization parameter is set as the average value of each subblock quantization parameter of the previous basic block, but the present invention is not limited to this. For example, it may be the median value of subblocks, or of course, the value of the most frequent subblock quantization parameter. Of course, a plurality of calculation methods may be prepared in this way, the most efficient basic block quantization parameter may be selected, and the code representing the method may be used for encoding.
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである。 In the present embodiment, a frame using intra-prediction has been described as an example, but it is clear that a frame in which inter-prediction that performs motion compensation can be used for prediction can also be used.
＜実施形態６＞
本実施形態では、実施形態５の符号化方法を用いて符号化された符号データを復号する画像復号方法について説明する。本実施形態では符号化装置は実施形態４の図１３と同じ構成をとる。ただし、量子化パラメータ復号部１３０２の構成が異なる。
<Embodiment 6>
In this embodiment, an image decoding method for decoding code data encoded by using the coding method of the fifth embodiment will be described. In this embodiment, the coding apparatus has the same configuration as that of FIG. 13 of the fourth embodiment. However, the configuration of the quantization
図１８は、本発明の実施形態６に係る量子化パラメータ復号部１３０２の構成を示すブロック図である。図１８において、実施形態４の図１４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
FIG. 18 is a block diagram showing the configuration of the quantization
５００はセレクタであり、入力されたサブブロック量子化パラメータのサブブロック及びそのサブブロックの基本ブロックの位置に応じて出力先を選択する。５０１はサブブロック量子化パラメータ自体が符号化されている場合に符号を復号し、サブブロック量子化パラメータを再生するサブブロック量子化パラメータ復号部である。５０２はサブブロック量子化パラメータ差分値が符号化されている場合に符号を復号し、サブブロック量子化パラメータ差分値を再生するサブブロック量子化パラメータ差分値復号部である。５０３はセレクタであり、入力されたサブブロック量子化パラメータのサブブロック及びそのサブブロックの基本ブロックの位置に応じて入力先を選択する。５０４は基本ブロック量子化パラメータを決定する基本ブロック量子化パラメータ決定部である。５０５は決定された基本ブロック量子化パラメータと各サブブロック量子化パラメータ差分値を加算して各サブブロック量子化パラメータを再生するサブブロック量子化パラメータ加算部である。５０６はセレクタであり、入力されたサブブロック量子化パラメータのサブブロック及びそのサブブロックの基本ブロックの位置に応じて入力先を選択する。５０７は再生されたサブブロック量子化パラメータを保持するサブブロック量子化パラメータ保持部である。
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では動画像ビットストリームをフレーム単位に入力する構成となっているが、１フレーム分の静止画像ビットストリームを入力する構成としても構わない。 The image decoding operation in the image decoding device will be described below. In the present embodiment, the moving image bitstream is input in frame units, but a still image bitstream for one frame may be input.
１フレーム分のビットストリームの復号処理に先立ち、セレクタ５００は出力先をサブブロック量子化パラメータ復号部５０１とし、セレクタ５０３は入力先をサブブロック量子化パラメータ復号部５０１とする。セレクタ５０５は入力先をサブブロック量子化パラメータ復号部５０１とする。
Prior to the decoding process of the bit stream for one frame, the
まず先頭基本ブロックのサブブロック量子化パラメータの符号化データがセレクタ５００を介してサブブロック量子化パラメータ復号部５０１に入力される。サブブロック量子化パラメータ復号部５０１はゴロム符号を用いて復号し、サブブロック量子化パラメータを再生する。このサブブロック量子化パラメータはセレクタ５０３を介して基本ブロック量子化パラメータ決定部５０４に入力される。基本ブロック量子化パラメータ決定部５０４は前記サブブロック量子化パラメータのサブブロックが先頭基本ブロックの先頭サブブロックであることから、入力をそのまま保持して基本ブロック量子化パラメータとする。また、サブブロック量子化パラメータ復号部５０１で再生されたサブブロック量子化パラメータはセレクタ５０６を介して端子１０６から出力される。また、サブブロック量子化パラメータはサブブロック量子化パラメータ保持部５０７で保持される。
First, the encoded data of the subblock quantization parameter of the first basic block is input to the subblock quantization
その後、セレクタ５００は出力先をサブブロック量子化パラメータ差分値復号部５０２とし、セレクタ５０３は入力先をサブブロック量子化パラメータ保持部５０７とする。セレクタ５０６は入力先をサブブロック量子化パラメータ加算部３０５とする。
After that, the
続くサブブロックのサブブロック量子化パラメータ差分値符号化データが入力されると、セレクタ５００を介してサブブロック量子化パラメータ差分値復号部５０２に入力される。サブブロック量子化パラメータ差分値復号部５０２ではサブブロック量子化パラメータ差分値符号化データを復号してサブブロック量子化パラメータ差分値を再生する。サブブロック量子化パラメータ加算部３０５では、基本ブロック量子化パラメータにサブブロック量子化パラメータ差分値を加算し、サブブロック量子化パラメータを再生する。再生されたサブブロック量子化パラメータは端子１０６から出力される。また、サブブロック量子化パラメータはサブブロック量子化パラメータ保持部５０７で保持される。
When the subblock quantization parameter difference value coding data of the subsequent subblock is input, it is input to the subblock quantization parameter difference
続く基本ブロックのサブブロック量子化パラメータ差分値符号化データが入力される。この時、基本ブロック量子化パラメータ決定部５０４は前の基本ブロックのサブブロック量子化パラメータをサブブロック量子化パラメータ保持部５０７から読み出す。読み出されたサブブロック量子化パラメータの平均値を求め、当該基本ブロックの基本ブロック量子化パラメータとする。
Subblock quantization parameter difference value coding data of the following basic block is input. At this time, the basic block quantization
入力されたサブブロック量子化パラメータ差分値符号化データはサブブロック量子化パラメータ差分値復号部５０２で復号され、サブブロック量子化パラメータ差分値を再生する。サブブロック量子化パラメータ加算部３０５でサブブロック量子化パラメータを再生し、端子１０６から出力し、サブブロック量子化パラメータ保持部５０７で保持する。
続いて入力されるサブブロック量子化パラメータ差分値符号化データに関しても同様にサブブロック量子化パラメータ差分値を再生し多のち、サブブロック量子化パラメータを再生する。再生されたサブブロック量子化パラメータは端子１０６から出力され、サブブロック量子化パラメータ保持部５０７で保持される。
The input subblock quantization parameter difference value coding data is decoded by the subblock quantization parameter difference
Subblock quantization parameter difference value for the subsequent input sub-block quantization parameter difference value In the same way, the sub-block quantization parameter difference value is reproduced, and then the sub-block quantization parameter is reproduced. The reproduced subblock quantization parameter is output from the terminal 106 and is held by the subblock quantization
図１９は、実施形態６に係る画像復号装置における画像復号処理を示すフローチャートである。 FIG. 19 is a flowchart showing an image decoding process in the image decoding apparatus according to the sixth embodiment.
ステップＳ１０１は実施形態２と同様にヘッダ情報の復号を行う。ステップＳ５０１にて、復号するサブブロックの基本ブロックが画像の先頭か否かを判定し、先頭基本ブロックであれば、ステップＳ５０２に進み、そうでなければステップＳ５０４に進む。 Step S101 decodes the header information in the same manner as in the second embodiment. In step S501, it is determined whether or not the basic block of the subblock to be decoded is the beginning of the image. If it is the beginning basic block, the process proceeds to step S502, and if not, the process proceeds to step S504.
ステップＳ５０２にて、復号するサブブロックが基本ブロックの先頭のサブブロックか否かを判定し、先頭ブロックであれば、ステップＳ５０３に進み、そうでなければステップＳ５０６に進む。ステップＳ５０３にて、入力されたサブブロック量子化パラメータに関する符号はサブブロック量子化パラメータの符号化データである。これをゴロム符号で復号する。復号結果を基本ブロック量子化パラメータとして保持する。と同時に次の基本ブロックの基本ブロック量子化パラメータを決定する際に参照するために別途保持しておく。その後、先頭のサブブロックの復号画像生成のため、ステップＳ１０４に進む。
ステップＳ５０４にて、復号するサブブロックが基本ブロックの先頭のサブブロックか否かを判定し、先頭ブロックであれば、ステップＳ５０５に進み、そうでなければステップＳ５０６に進む。
In step S502, it is determined whether or not the subblock to be decoded is the first subblock of the basic block, and if it is the first block, the process proceeds to step S503, and if not, the process proceeds to step S506. In step S503, the code relating to the input subblock quantization parameter is the coded data of the subblock quantization parameter. This is decoded with a Golomb code. The decoding result is retained as a basic block quantization parameter. At the same time, it is stored separately for reference when determining the basic block quantization parameter of the next basic block. After that, the process proceeds to step S104 to generate a decoded image of the first subblock.
In step S504, it is determined whether or not the subblock to be decoded is the first subblock of the basic block, and if it is the first block, the process proceeds to step S505, and if not, the process proceeds to step S506.
ステップＳ５０５にて、保持されている前の基本ブロックのサブブロック量子化パラメータから平均値を求め、基本ブロック量子化パラメータとして算出する。以後、ステップＳ５０６に進む。 In step S505, the average value is obtained from the subblock quantization parameter of the previous basic block held and calculated as the basic block quantization parameter. After that, the process proceeds to step S506.
ステップＳ５０６にて、入力されたサブブロック量子化パラメータに関する符号はサブブロック量子化パラメータ差分値符号化データである。これをゴロム符号で復号し、サブブロック量子化パラメータ差分値を再生する。再生されたサブブロック量子化パラメータ差分値はステップＳ５０３ないしはステップＳ５０５で保持または算出されていた基本ブロック量子化パラメータと加算される。加算された結果がサブブロック量子化パラメータとなる。以後、サブブロックの復号画像生成のため、ステップＳ１０４に進む。以下、実施形態４と同様に、サブブロックの復号画像の生成、フレーム画像の再生が行われる。 In step S506, the code relating to the input subblock quantization parameter is the subblock quantization parameter difference value coded data. This is decoded by the Golomb code, and the subblock quantization parameter difference value is reproduced. The regenerated sub-block quantization parameter difference value is added to the basic block quantization parameter held or calculated in step S503 or step S505. The added result becomes the subblock quantization parameter. After that, the process proceeds to step S104 to generate a decoded image of the subblock. Hereinafter, as in the fourth embodiment, the decoded image of the subblock is generated and the frame image is reproduced.
以上の構成と動作により、実施形態５で生成された基本ブロック量子化パラメータ値を符号化しないビットストリームを復号することができる。 With the above configuration and operation, it is possible to decode the bit stream in which the basic block quantization parameter value generated in the fifth embodiment is not encoded.
また、実施形態２と同様に並列処理を効果的に行うことも可能になる。すなわち、図９（ｂ）にてプロセッサＡの基本ブロック量子化パラメータの復号の代わりに前の基本ブロックのサブブロック量子化パラメータによる基本ブロック量子化パラメータの算出と置き換えることになる。これにより、全てのサブブロックの量子化パラメータの再生は他のサブブロックの処理を待たずに行えるようになる。 Further, it is possible to effectively perform parallel processing as in the second embodiment. That is, in FIG. 9B, instead of decoding the basic block quantization parameter of the processor A, it is replaced with the calculation of the basic block quantization parameter by the subblock quantization parameter of the previous basic block. As a result, the quantization parameters of all subblocks can be regenerated without waiting for the processing of other subblocks.
なお、本実施形態では基本ブロック量子化パラメータを前の基本ブロックの各サブブロック量子化パラメータの平均値としたが、実施形態５の基本ブロック量子化パラメータの算出方法と同じ方法であればこれに限定されない。例えばサブブロックの中央値としても構わないし、最も頻度の高いサブブロック量子化パラメータの値としてももちろん構わない。これらの情報はサブブロック量子化パラメータ保持部５０７に保持されているサブブロック量子化パラメータから導出できる。
In the present embodiment, the basic block quantization parameter is set as the average value of each sub-block quantization parameter of the previous basic block, but if it is the same method as the calculation method of the basic block quantization parameter of the fifth embodiment, this is used. Not limited. For example, it may be the median value of subblocks, or of course, the value of the most frequent subblock quantization parameter. This information can be derived from the sub-block quantization parameters held in the sub-block quantization
また、符号化側でこのように算出方法を複数用意し、最も効率の良い基本ブロック量子化パラメータを選択してその方法を表す符号を用いて符号化しても、復号して同様にサブブロック量子化パラメータを算出できる。 Further, even if a plurality of calculation methods are prepared in this way on the coding side, the most efficient basic block quantization parameter is selected, and the code representing the method is used for coding, the sub-block quantum is similarly decoded. Quantization parameters can be calculated.
なお、本実施形態においては、イントラ予測を用いるフレームを例にとって説明したが、予測に動き補償を行うインター予測を使用できるフレームにおいても対応できることは明らかである
＜実施形態７＞
図１、図３、図６、図７、図１０、図１１、図１３、図１４、図１６、図１８に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。
In this embodiment, a frame using intra-prediction has been described as an example, but it is clear that a frame in which inter-prediction that performs motion compensation can be used for prediction can also be used <
In the above embodiment, it is assumed that each of the processing units shown in FIGS. 1, 3, 6, 7, 10, 10, 11, 13, 14, 16, and 18 is configured by hardware. explained. However, the processing performed by each processing unit shown in these figures may be configured by a computer program.
図２０は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。 FIG. 20 is a block diagram showing a configuration example of computer hardware applicable to the image display device according to each of the above embodiments.
ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１４０１は、図１、図３、図６、図７、図１０、図１１、図１３、図１４、図１６、図１８に示した各処理部として機能することになる。
The
ＲＡＭ１４０２は、外部記憶装置１４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１４０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１４０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。
The
ＲＯＭ１４０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１４０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１４０１に対して入力することができる。表示部１４０５は、ＣＰＵ１４０１による処理結果を表示する。また表示部１４０５は例えば液晶ディスプレイのようなホールド型の表示装置や、フィールドエミッションタイプの表示装置のようなインパルス型の表示装置で構成される。
The
外部記憶装置１４０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、図１、図３、図６、図７、図１０、図１１、図１３、図１４、図１６、図１８に示した各部の機能をＣＰＵ１４０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１４０６には、処理対象としての各画像データが保存されていても良い。
The external storage device 1406 is a large-capacity information storage device typified by a hard disk drive device. The external storage device 1406 has the functions of the OS (operating system) and the parts shown in FIGS. 1, 3, 6, 7, 10, 10, 11, 13, 14, 14, 16, and 18. A computer program for realizing the
外部記憶装置１４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。Ｉ／Ｆ１４０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１４０７を介して様々な情報を取得したり、送出したりすることができる。１４０８は上述の各部を繋ぐバスである。
The computer programs and data stored in the external storage device 1406 are appropriately loaded into the
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１４０１が中心となってその制御を行う。
In the operation having the above configuration, the
また、ＣＰＵがマルチコアである場合、それぞれのコアに各処理のスレッドを割り当てることで並列処理を効率よく行うことができる。 Further, when the CPU is multi-core, parallel processing can be efficiently performed by allocating threads for each processing to each core.
＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
<Other Embodiments>
An object of the present invention is also achieved by supplying a storage medium in which a computer program code that realizes the above-mentioned functions is recorded to a system, and the system reads and executes the computer program code. In this case, the computer program code itself read from the storage medium realizes the function of the above-described embodiment, and the storage medium storing the computer program code constitutes the present invention. It also includes cases where the operating system (OS) running on the computer performs part or all of the actual processing based on the instructions in the code of the program, and the processing realizes the above-mentioned functions. ..
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。 Further, it may be realized in the following form. That is, the computer program code read from the storage medium is written to the memory provided in the function expansion card inserted in the computer or the function expansion unit connected to the computer. Then, based on the instruction of the code of the computer program, the function expansion card, the CPU provided in the function expansion unit, or the like performs a part or all of the actual processing to realize the above-mentioned function.
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。 When the present invention is applied to the storage medium, the storage medium stores the code of the computer program corresponding to the flowchart described above.
Claims (4)
前記入力画像に含まれる、四分木構造によって表現される複数のブロックのうちの１つのブロックに含まれるサブブロックのそれぞれの量子化パラメータを取得する取得手段と、
前記取得手段によって取得された、第１のサブブロックの量子化パラメータと、前記第１のサブブロックの後に符号化される第２のサブブロックの量子化パラメータとの差分に関する第１データを符号化し、第３のサブブロックの量子化パラメータと、前記第３のサブブロックより前に符号化された少なくとも２つのサブブロックの量子化パラメータの平均を四捨五入した値との差分に関する第２データを符号化する符号化手段と、
前記入力画像に含まれる、前記第１のサブブロック、前記第２のサブブロック、および、前記第３のサブブロックの画像から、周囲の画素データまたは前記入力画像の前のフレームの画素データに基づいて、予測誤差を生成する生成手段と、
前記生成手段によって生成された前記第１のサブブロックの予測誤差、前記第２のサブブロックの予測誤差、および、前記第３のサブブロックの予測誤差に対して直交変換を行う変換手段と、
前記取得手段によって取得された、第１のサブブロックの量子化パラメータ、第２のサブブロックの量子化パラメータ、第３のサブブロックの量子化パラメータに基づいて、前記変換手段によって得られた前記第１のサブブロックの直交変換係数、前記第２のサブブロックの直交変換係数、および、前記第３のサブブロックの直交変換係数を量子化する量子化手段と、
前記量子化手段によって量子化された直交変換係数を符号化する係数符号化手段と、
を備えることを特徴とする符号化装置。 A coding device that encodes the quantization parameters for performing the quantization process of the input image.
An acquisition means for acquiring the quantization parameters of each of the sub-blocks included in one block among the plurality of blocks represented by the quadtree structure included in the input image.
The first data regarding the difference between the quantization parameter of the first subblock acquired by the acquisition means and the quantization parameter of the second subblock encoded after the first subblock is encoded. , Encode the second data regarding the difference between the quantization parameter of the third subblock and the rounded average of the quantization parameters of at least two subblocks encoded prior to the third subblock. Coding means and
Based on the surrounding pixel data or the pixel data of the frame before the input image from the images of the first subblock, the second subblock, and the third subblock included in the input image. And the generation means to generate the prediction error,
A conversion means that performs orthogonal transformation with respect to the prediction error of the first subblock , the prediction error of the second subblock , and the prediction error of the third subblock generated by the generation means.
The first obtained by the conversion means based on the quantization parameter of the first subblock, the quantization parameter of the second subblock, and the quantization parameter of the third subblock acquired by the acquisition means. A quantization means for quantizing the orthogonal conversion coefficient of one subblock, the orthogonal conversion coefficient of the second subblock, and the orthogonal conversion coefficient of the third subblock.
A coefficient coding means that encodes the orthogonal transformation coefficient quantized by the quantization means, and
A coding device comprising.
前記入力画像に含まれる、四分木構造によって表現される複数のブロックのうちの１つのブロックに含まれるサブブロックのそれぞれの量子化パラメータを取得する取得工程と、
前記取得工程において取得された、第１のサブブロックの量子化パラメータと、前記第１のサブブロックの後に符号化される第２のサブブロックの量子化パラメータとの差分に関する第１データを符号化し、第３のサブブロックの量子化パラメータと、前記第３のサブブロックより前に符号化された少なくとも２つのサブブロックの量子化パラメータの平均を四捨五入した値との差分に関する第２データを符号化する符号化工程と、
前記入力画像に含まれる、前記第１のサブブロック、前記第２のサブブロック、および、前記第３のサブブロックの画像から、周囲の画素データまたは前記入力画像の前のフレームの画素データに基づいて、予測誤差を生成する生成工程と、
前記生成工程において生成された前記第１のサブブロックの予測誤差、前記第２のサブブロックの予測誤差、および、前記第３のサブブロックの予測誤差に対して直交変換を行う変換工程と、
前記取得工程において取得された、第１のサブブロックの量子化パラメータ、第２のサブブロックの量子化パラメータ、第３のサブブロックの量子化パラメータに基づいて、前記変換工程において得られた前記第１のサブブロックの直交変換係数、前記第２のサブブロックの直交変換係数、および、前記第３のサブブロックの直交変換係数を量子化する量子化工程と、
前記量子化工程において量子化された直交変換係数を符号化する係数符号化工程と、
を備えることを特徴とする符号化方法。 It is a coding method that encodes the quantization parameters for performing the quantization process of the input image.
An acquisition step of acquiring the quantization parameters of each of the sub-blocks included in one of the plurality of blocks represented by the quadtree structure included in the input image, and
The first data regarding the difference between the quantization parameter of the first subblock acquired in the acquisition step and the quantization parameter of the second subblock encoded after the first subblock is encoded. , Encode the second data regarding the difference between the quantization parameter of the third subblock and the rounded average of the quantization parameters of at least two subblocks encoded prior to the third subblock. Coding process and
Based on the surrounding pixel data or the pixel data of the frame before the input image from the images of the first subblock, the second subblock, and the third subblock included in the input image. And the generation process that generates the prediction error,
A conversion step of performing orthogonal transformation on the prediction error of the first subblock, the prediction error of the second subblock, and the prediction error of the third subblock generated in the generation step.
The first obtained in the conversion step based on the quantization parameter of the first subblock, the quantization parameter of the second subblock, and the quantization parameter of the third subblock acquired in the acquisition step. A quantization step of quantizing the orthogonal conversion coefficient of one subblock, the orthogonal conversion coefficient of the second subblock, and the orthogonal conversion coefficient of the third subblock.
A coefficient coding step that encodes the orthogonal transformation coefficient quantized in the quantization step, and
A coding method comprising.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020059111A JP6953576B2 (en) | 2018-10-03 | 2020-03-27 | Coding device, coding method, program and storage medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018188340A JP6686095B2 (en) | 2018-10-03 | 2018-10-03 | Decoding device, decoding method, program, and storage medium |
| JP2020059111A JP6953576B2 (en) | 2018-10-03 | 2020-03-27 | Coding device, coding method, program and storage medium |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018188340A Division JP6686095B2 (en) | 2018-10-03 | 2018-10-03 | Decoding device, decoding method, program, and storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020102885A JP2020102885A (en) | 2020-07-02 |
| JP6953576B2 true JP6953576B2 (en) | 2021-10-27 |
Family
ID=71140038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020059111A Active JP6953576B2 (en) | 2018-10-03 | 2020-03-27 | Coding device, coding method, program and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6953576B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008126135A1 (en) * | 2007-03-20 | 2008-10-23 | Fujitsu Limited | Time-varying image encoding method and device, and time-varying image decoding device |
| US8542730B2 (en) * | 2008-02-22 | 2013-09-24 | Qualcomm, Incorporated | Fast macroblock delta QP decision |
| US20110274162A1 (en) * | 2010-05-04 | 2011-11-10 | Minhua Zhou | Coding Unit Quantization Parameters in Video Coding |
| KR20120016980A (en) * | 2010-08-17 | 2012-02-27 | 한국전자통신연구원 | Image encoding and decoding method and the same apparatus |
-
2020
- 2020-03-27 JP JP2020059111A patent/JP6953576B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020102885A (en) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5875236B2 (en) | Image encoding device, image encoding method and program, image decoding device, image decoding method and program | |
| JP7508675B2 (en) | Image encoding device, image encoding method, and program, image decoding device, image decoding method, and program | |
| JP6415637B2 (en) | Decoding device, decoding method, program, and storage medium | |
| JP6953576B2 (en) | Coding device, coding method, program and storage medium | |
| JP6686095B2 (en) | Decoding device, decoding method, program, and storage medium | |
| JP6039163B2 (en) | Image encoding device, image encoding method and program, image decoding device, image decoding method and program | |
| JP6150912B2 (en) | Image encoding device, image encoding method and program, image decoding device, image decoding method and program | |
| JP7508676B2 (en) | Image encoding device, image encoding method, and program, image decoding device, image decoding method, and program | |
| US20220201337A1 (en) | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, and non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200327 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210929 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6953576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |